feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程，直接发 HTTP
移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。
**目前能用的（真环境实测，非推断）**：
profile/other : 200, 7075 字节 —— 博主主页指标（粉丝/获赞/作品数/昵称）
aweme/detail : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）
**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
挑中的恰好是「批量拉作品列表」这个最敏感的动作。
2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
代价，过几小时要重测）。
所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。
**排查中控住变量后得到的两条事实**（都写进注释了）：
· `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
（我先前猜的 sec-ch-ua 不是关键。）
· 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
从 CDP 取齐 cookie + UA + hints，而不是各自写死。
「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。
测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。
This commit is contained in:
@@ -0,0 +1,57 @@
|
||||
# 夜间自动化体系规范
|
||||
|
||||
> 版本：v1.0 | 最后更新：2026-05-03
|
||||
> 定义完整的夜间自动化任务链、各管道更新机制、工作日志体系
|
||||
|
||||
---
|
||||
|
||||
## 一、当前夜间任务
|
||||
|
||||
| 时间 | 任务 | 做什么 | 脚本 |
|
||||
|------|------|--------|------|
|
||||
| 02:00 | 记忆提炼 | 对话→L2 facts.db + L1索引 | daily_digest.py |
|
||||
| 02:30 | 提交箱归集 | 01_submissions/ → 00_inbox/ | collect_to_inbox.py |
|
||||
| 03:00 | 收件箱提纯 | 00_inbox/ → 分类归档 + CHANGELOG + README | inbox_refine.py |
|
||||
|
||||
**未自动化**：向量重建、git push、工作日志
|
||||
|
||||
---
|
||||
|
||||
## 二、完整目标（新增 03:30~04:00）
|
||||
|
||||
| 时间 | 任务 | 说明 |
|
||||
|------|------|------|
|
||||
| 02:00 | 记忆提炼 | 不变 |
|
||||
| 02:30 | 提交箱归集 | 不变 |
|
||||
| 03:00 | 提纯 + 文档更新 | 不变 + 保证 README/CHANGELOG 更新 |
|
||||
| **03:30** | **向量索引重建** | **vector_db_rebuild.py，使新知识可语义检索** |
|
||||
| **03:45** | **生成工作日志** | **汇总今夜所有变更** |
|
||||
| **04:00** | **Git 推送** | **git add + commit + push** |
|
||||
|
||||
---
|
||||
|
||||
## 三、四管道更新机制
|
||||
|
||||
| 管道 | 变更来源 | 更新方式 | 频率 |
|
||||
|------|---------|---------|------|
|
||||
| 身份 (01_core/) | 手动 | apply-config.sh 部署 | 不定期 |
|
||||
| 协议 (99_system/protocols/) | 手动 | git push 同步 | 不定期 |
|
||||
| 知识 (03_knowledge/) | 自动化 + 手动 | 夜间 03:00 提纯 | 每日 |
|
||||
| 记忆 (04_memory/) | 自动化 | 夜间 02:00 提炼 | 每日 |
|
||||
|
||||
---
|
||||
|
||||
## 四、工作日志
|
||||
|
||||
**位置**：`04_memory/daily_logs/YYYY-MM-DD.md`
|
||||
**内容**：今夜自动化执行结果 + 今日手动变更 + 知识库统计
|
||||
|
||||
---
|
||||
|
||||
## 五、待实现清单
|
||||
|
||||
- [ ] `generate_daily_log.py` — 汇总结果生成工作日志
|
||||
- [ ] `nightly_runner.sh` — 编排6步任务链，失败容错
|
||||
- [ ] 更新 daily_digest.py 输出结构化结果
|
||||
- [ ] 更新 inbox_refine.py 输出结构化结果
|
||||
- [ ] 确认 SSH key 无密码（自动 git push 需要）
|
||||
Reference in New Issue
Block a user