butubb
2112c1a870
移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。
**目前能用的（真环境实测，非推断）**：
profile/other : 200, 7075 字节 —— 博主主页指标（粉丝/获赞/作品数/昵称）
aweme/detail : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）
**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
挑中的恰好是「批量拉作品列表」这个最敏感的动作。
2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
代价，过几小时要重测）。
所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。
**排查中控住变量后得到的两条事实**（都写进注释了）：
· `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
（我先前猜的 sec-ch-ua 不是关键。）
· 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
从 CDP 取齐 cookie + UA + hints，而不是各自写死。
「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。
测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。
108 lines
3.5 KiB
Markdown
108 lines
3.5 KiB
Markdown
---
|
||
name: auto_collector
|
||
version: 1.0.0
|
||
status: archived
|
||
archived_date: 2026-06-21
|
||
description: [已归档] 24小时自动信息收集设计，无实现代码
|
||
triggers: []
|
||
---
|
||
|
||
# Auto Collector Skill（24h 自动信息收集）
|
||
|
||
## 概述
|
||
|
||
24小时自动监控多平台信息源，发现新内容后自动抓取、分类、入库、通知。
|
||
|
||
## 触发词
|
||
|
||
| 触发词 | 动作 |
|
||
|--------|------|
|
||
| 开始收集 | 启动定时监控任务 |
|
||
| 停止收集 | 暂停所有定时任务 |
|
||
| 收集状态 | 返回当前监控列表、最近采集时间、今日采集数量 |
|
||
| 收集报告 | 生成今日采集摘要 |
|
||
| 添加监控 [URL/博主名] | 新增监控源 |
|
||
| 删除监控 [名称] | 移除监控源 |
|
||
|
||
## 监控频率与工具
|
||
|
||
| 信息源 | 监控频率 | 采集工具 | 备注 |
|
||
|--------|----------|----------|------|
|
||
| B站/YouTube 订阅更新 | 每 30 分钟 | BiliNote API | 需 BiliNote Docker |
|
||
| 小红书指定博主 | 每 2 小时 | TikOmni Skills | ✅ 已安装 |
|
||
| 抖音指定账号 | 每 2 小时 | TikOmni Skills | ✅ 已安装 |
|
||
| RSS 订阅源 | 每 15 分钟 | feedparser | ✅ 已安装 |
|
||
| 指定网页监控 | 每 1 小时 | Crawl4AI | ✅ 已安装 |
|
||
|
||
## 采集流程
|
||
|
||
```
|
||
定时触发
|
||
→ 检查信息源是否有新内容
|
||
├─ 无新内容 → 记录日志，等待下一轮
|
||
└─ 有新内容 → 自动抓取
|
||
├─ 视频 → bilinote 技能生成笔记
|
||
├─ 图文 → web-clipper 技能提取正文
|
||
├─ 社交帖子 → social-collector 技能结构化提取
|
||
└─ 音频/RSS → 提取全文
|
||
→ kb_manager 自动入库（写入 03_knowledge/00_inbox/）
|
||
→ 标记标签：#自动采集 #平台名 #日期
|
||
→ 凌晨 2:00 汇总日报 → 写入 Obsidian 01_daily/
|
||
```
|
||
|
||
## 定时任务配置
|
||
|
||
### WorkBuddy 自动化配置
|
||
|
||
| 任务 | 频率 | 说明 |
|
||
|------|------|------|
|
||
| RSS 检查 | FREQ=HOURLY;INTERVAL=1 | 检查所有 RSS 源 |
|
||
| 社交平台检查 | FREQ=HOURLY;INTERVAL=2 | 小红书/抖音博主 |
|
||
| 网页变化检查 | FREQ=HOURLY;INTERVAL=1 | 指定网页监控 |
|
||
| 采集日报 | FREQ=DAILY;BYHOUR=23 | 每日 23:00 汇总 |
|
||
|
||
### macOS cron 授权
|
||
|
||
```bash
|
||
# 系统设置 → 隐私与安全性 → 完全磁盘访问权限 → 添加 /usr/sbin/cron
|
||
```
|
||
|
||
## 配置文件
|
||
|
||
监控源列表存储在：`~/workbuddy-agent-os/agent-sync/02_skills/auto_collector/sources.json`
|
||
|
||
```json
|
||
{
|
||
"rss": [
|
||
{"name": "示例RSS", "url": "https://example.com/feed.xml", "last_checked": null}
|
||
],
|
||
"xiaohongshu": [
|
||
{"name": "博主A", "user_id": "xxx", "last_checked": null}
|
||
],
|
||
"douyin": [
|
||
{"name": "账号B", "user_id": "xxx", "last_checked": null}
|
||
],
|
||
"web_pages": [
|
||
{"name": "目标网页", "url": "https://example.com", "last_hash": null}
|
||
]
|
||
}
|
||
```
|
||
|
||
## 依赖
|
||
|
||
| 包 | 版本 | 用途 | 安装状态 |
|
||
|---|---|---|---|
|
||
| feedparser | latest | RSS 解析 | ✅ 已安装 |
|
||
| schedule | latest | 定时任务 | ✅ 已安装 |
|
||
| @tikomni/skills | latest | 小红书/抖音采集 | ✅ 已安装 |
|
||
| crawl4ai | latest | 网页抓取 | ✅ 已安装 |
|
||
| chromadb | latest | 向量存储（可选） | ✅ 已安装 |
|
||
|
||
## 注意事项
|
||
|
||
- BiliNote 需要 Docker 运行，首次使用前需手动部署
|
||
- 社交平台采集可能需要登录态，TikOmni 已处理
|
||
- 网页变化检测基于内容哈希对比
|
||
- 所有采集内容先入 `00_inbox/`，由 `collect_to_inbox` 每日 2:30 提取各目录内容转入收件箱，再由 `inbox_refine` 技能每日凌晨 3:00 自动提纯归档
|
||
- 采集日报写入 `01_daily/`，由 `memory_manager` 每日凌晨 2:00 汇总
|