butubb/MediaCrawler

Fork 0

Files

T

butubb 2112c1a870

Deploy VitePress site to Pages / build (push) Canceled after 0s

Details

Deploy VitePress site to Pages / Deploy (push) Canceled after 0s

Details

feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程，直接发 HTTP

移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。

**目前能用的（真环境实测，非推断）**：

    profile/other : 200, 7075 字节  —— 博主主页指标（粉丝/获赞/作品数/昵称）
    aweme/detail  : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）

**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
  1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
     带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
     同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
     挑中的恰好是「批量拉作品列表」这个最敏感的动作。
  2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
     代价，过几小时要重测）。

  所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。

**排查中控住变量后得到的两条事实**（都写进注释了）：
  · `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
    UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
    （我先前猜的 sec-ch-ua 不是关键。）
  · 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
    从 CDP 取齐 cookie + UA + hints，而不是各自写死。

「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。

测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。

2026-10-10 17:12:25 +08:00

3.5 KiB

Raw Blame History

name: auto_collector version: 1.0.0 status: archived archived_date: 2026-06-21 description: [已归档] 24小时自动信息收集设计，无实现代码 triggers: []

Auto Collector Skill（24h 自动信息收集）

概述

24小时自动监控多平台信息源，发现新内容后自动抓取、分类、入库、通知。

触发词

触发词	动作
开始收集	启动定时监控任务
停止收集	暂停所有定时任务
收集状态	返回当前监控列表、最近采集时间、今日采集数量
收集报告	生成今日采集摘要
添加监控 [URL/博主名]	新增监控源
删除监控 [名称]	移除监控源

监控频率与工具

信息源	监控频率	采集工具	备注
B站/YouTube 订阅更新	每 30 分钟	BiliNote API	需 BiliNote Docker
小红书指定博主	每 2 小时	TikOmni Skills	✅ 已安装
抖音指定账号	每 2 小时	TikOmni Skills	✅ 已安装
RSS 订阅源	每 15 分钟	feedparser	✅ 已安装
指定网页监控	每 1 小时	Crawl4AI	✅ 已安装

采集流程

定时触发
  → 检查信息源是否有新内容
    ├─ 无新内容 → 记录日志，等待下一轮
    └─ 有新内容 → 自动抓取
         ├─ 视频 → bilinote 技能生成笔记
         ├─ 图文 → web-clipper 技能提取正文
         ├─ 社交帖子 → social-collector 技能结构化提取
         └─ 音频/RSS → 提取全文
       → kb_manager 自动入库（写入 03_knowledge/00_inbox/）
       → 标记标签：#自动采集 #平台名 #日期
       → 凌晨 2:00 汇总日报 → 写入 Obsidian 01_daily/

定时任务配置

WorkBuddy 自动化配置

任务	频率	说明
RSS 检查	FREQ=HOURLY;INTERVAL=1	检查所有 RSS 源
社交平台检查	FREQ=HOURLY;INTERVAL=2	小红书/抖音博主
网页变化检查	FREQ=HOURLY;INTERVAL=1	指定网页监控
采集日报	FREQ=DAILY;BYHOUR=23	每日 23:00 汇总

macOS cron 授权

# 系统设置 → 隐私与安全性 → 完全磁盘访问权限 → 添加 /usr/sbin/cron

配置文件

监控源列表存储在：~/workbuddy-agent-os/agent-sync/02_skills/auto_collector/sources.json

{
  "rss": [
    {"name": "示例RSS", "url": "https://example.com/feed.xml", "last_checked": null}
  ],
  "xiaohongshu": [
    {"name": "博主A", "user_id": "xxx", "last_checked": null}
  ],
  "douyin": [
    {"name": "账号B", "user_id": "xxx", "last_checked": null}
  ],
  "web_pages": [
    {"name": "目标网页", "url": "https://example.com", "last_hash": null}
  ]
}

依赖

包	版本	用途	安装状态
feedparser	latest	RSS 解析	✅ 已安装
schedule	latest	定时任务	✅ 已安装
@tikomni/skills	latest	小红书/抖音采集	✅ 已安装
crawl4ai	latest	网页抓取	✅ 已安装
chromadb	latest	向量存储（可选）	✅ 已安装

注意事项

BiliNote 需要 Docker 运行，首次使用前需手动部署
社交平台采集可能需要登录态，TikOmni 已处理
网页变化检测基于内容哈希对比
所有采集内容先入 00_inbox/，由 collect_to_inbox 每日 2:30 提取各目录内容转入收件箱，再由 inbox_refine 技能每日凌晨 3:00 自动提纯归档
采集日报写入 01_daily/，由 memory_manager 每日凌晨 2:00 汇总

3.5 KiB Raw Blame History Unescape Escape