Twitter抓取与分析的开源利器-x-kit

 


X-Kit是一款专注于Twitter（现X平台）用户数据与推文抓取、分析的开源工具。设计初衷是帮助开发者、研究人员及营销团队自动化获取社交媒体数据，支持竞品分析、舆情监控、用户行为研究等场景，显著提升数据采集效率与处理灵活性。基于Typescript编写，遵守MIT开源协议。

功能特色：

    用户信息抓取：批量获取指定用户的昵称、粉丝数等基础数据，支持多账号并发处理。
    推文内容采集：按时间范围或关键词过滤抓取推文，支持转评赞等互动数据的结构化存储。
    时间线定时更新：通过定时任务（如每日/小时级）自动同步用户最新动态，确保数据实时性。
    本地化存储：数据按日期分类存放于accounts/（用户信息）与tweets/（推文）目录，便于后续分析。

 
安装

bun install

使用方法

1. 配置环境变量

在项目根目录创建 .env 文件,添加以下配置:

AUTH_TOKEN=你的X认证Token
GET_ID_X_TOKEN=用于获取用户ID的Token

2. 添加需要追踪的用户

在 dev-accounts.json 中添加用户信息:

{
  "username": "用户名",
  "twitter_url": "用户主页链接", 
  "description": "用户描述",
  "tags": ["标签1", "标签2"]
}

3. 运行脚本

# 获取用户信息
bun run scripts/index.ts

# 获取最新推文
bun run scripts/fetch-tweets.ts

# 批量关注用户
bun run scripts/batch-follow.ts

自动化部署

项目使用 GitHub Actions 实现自动化:

    get-home-latest-timeline.yml: 每30分钟获取一次最新推文
    daily-get-tweet-id.yml: 每天获取一次用户信息

数据存储

    用户信息保存在 accounts/ 目录
    推文数据保存在 tweets/ 目录,按日期命名

源代码：https://github.com/xiaoxiunique/x-kit