Total Pageviews

Sunday, 22 August 2021

Wechatscope


每日数据存档

由于 Wechatscope(http://wechatscope.jmsc.hku.hk/) 项目只提供七天内的被删数据,设计定时任务每日获取近三天的数据,并去重后合并到同一数据库内。

git clone https://github.com/Terminus2049/Wechatscope

设置定时任务:

crontab -e

wechatscope.R 负责抓取最近三天的数据并合并到数据库内。可开启定时任务:

复制 0 */1 * * * cd ~/Wechatscope && R CMD BATCH wechatscope.R 到最后一行。程序会每小时运行一次。

表格化

app.R 利用 shiny 进行表格化。

在 R 语言环境中 shiny::runApp()

在线部署并自动更新

在 Linux 服务器上安装 shiny-server

cd /srv/shiny-server/
git clone https://github.com/Terminus2049/Wechatscope

同样开启定时任务:

crontab -e

复制 0 */1 * * * cd /srv/shiny-server/Wechatscope/ && R CMD BATCH wechatscope.R 到定时任务中。

然后就可以在 http://<ip>:3838/Wechatscope/ 查看。

注意

  1. 请安装合适的 R 版本,不要使用默认的 R 版本,但也不要安装最新的 R 3.5,应安装 R 3.4。安装教程:UBUNTU PACKAGES FOR R

  2. 下载并安装 shiny-server

  3. 需要安装 R 包 readrshinyhttrDT 和 data.table,如果内存过小,会编译失败,可通过 此教程 处理。

下载原始文件

安装rust,编译后:

./target/release/wechat_scope_dl < ceninfo.csv
from https://github.com/Terminus2049/Wechatscope

No comments:

Post a Comment