feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程,直接发 HTTP
Deploy VitePress site to Pages / build (push) Canceled after 0s
Deploy VitePress site to Pages / Deploy (push) Canceled after 0s

移植自 mac-agent-os 的 mediacrawler_adapter:不起子进程、不开页面,用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin,所以 ingest 那条链路一个字不用改。

**目前能用的(真环境实测,非推断)**:

    profile/other : 200, 7075 字节  —— 博主主页指标(粉丝/获赞/作品数/昵称)
    aweme/detail  : 200, 45425 字节 —— 单条作品详情(含点赞/评论/收藏/分享)

**目前不能用的:作品列表 `aweme/post`。** 两个互相独立的原因:
  1. 这个接口被抖音单独升级成了真校验:不带 x-tt-argus 回 403「Uifid Not Found」,
     带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过,「真校验」过不了。
     同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的,
     挑中的恰好是「批量拉作品列表」这个最敏感的动作。
  2. 改走页面截获也不行:CDP 浏览器打开博主主页会落到「验证码中间页」(当天大量探测的
     代价,过几小时要重测)。

  所以现在的边界是:**已知作品的指标刷新能做,自动发现新作品做不了**。

**排查中控住变量后得到的两条事实**(都写进注释了):
  · `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
    UA+client hints+Cookie 时是 200 但仅 121 字节的空壳,补上这三个头变 7074 字节。
    (我先前猜的 sec-ch-ua 不是关键。)
  · 因此 UA 与 client hints 必须**成套地取自同一个浏览器**,所以 BrowserIdentity 一次
    从 CDP 取齐 cookie + UA + hints,而不是各自写死。

「200 + 空 body 必须当场报错」也是刻意写死的:放过去它会在下游变成「这个博主没作品」,
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的,还被翻译成「账号被封」。

测试 +11:cookie 解析、请求头成套性(含 uifid 缺失/回退)、产物键名与 store 对齐、
以及 _get 的三条失败路径(空 body / 403 带网关原话 / 正常返回)。
This commit is contained in:
2026-10-10 17:12:25 +08:00
parent 21ff01b894
commit 2112c1a870
1601 changed files with 367425 additions and 0 deletions
@@ -0,0 +1,133 @@
# AgentOS v2.0 最新说明汇总
最后更新:2026-04-28
## 1. 当前版本是什么
AgentOS v2.0 是当前仓库的稳定可运行基准版。
它不是最初的单机原形,也不是未来多机协同终态,而是已经落地并能恢复的一版正式基线。
## 2. 当前正式文档入口
请按以下顺序阅读:
1. `CORE-ARCHITECTURE.md`:正式基准、目录边界、数据流定义
2. `V2.0-SUMMARY.md`:本文件,最新说明汇总
3. `QUICKSTART.md`:初始化与恢复操作
4. `REQUIREMENTS.md`:环境要求与依赖说明
5. `SKILLS-CATALOG.md`:v2.0 技能目录
6. `REVIEW-V2.0.md`:审查结论与收口原因
历史大体量说明已归档到:
- `90_archive/docs/AgentOS-完整说明文档_副本.v2.1-history.md`
## 3. v2.0 一句话结构
```text
agent-os/ = 共享主仓库
agent-os-local/ = 本机私有目录
```
主仓库负责:配置、技能、知识、共享记忆元数据、工具、迁移脚本。
本机私有目录负责:L3 原文、向量库、缓存、原始素材和待投递素材。
## 4. v2.0 正式边界
### 共享内容
- `01_core/`
- `02_skills/`
- `03_knowledge/`
- `04_memory/long_term/facts.db`
- `04_memory/daily_summaries/`
- `04_memory/logs/`
- `05_tools/`
- `06_runtime/tasks/`
- `07_migration/`
### 本机私有内容
- `04_memory/long_term/raw/`
- `04_memory/vector_db/`
- `06_runtime/cache/`
- `~/workbuddy-agent-os/agent-sync/agent-local/materials/`
## 5. v2.0 正式数据流
### 知识流
v2.0 采用“双入口汇聚到 Inbox”:
- 入口 A:标准化内容直接写入 `03_knowledge/00_inbox/`
- 入口 B:分类目录内容由 `collect_to_inbox` 汇聚到 `00_inbox/`
- 统一出口:`inbox_refine` 提纯归档
### 记忆流
```text
WorkBuddy 工作日志 / 系统画像 / 上轮摘要
-> daily_digest.py
-> facts.db
-> keyword_index.json / ChromaDB
-> 原文写入本机 raw/
```
### 工具流
`05_tools/` 是工具层,不默认等于技能层。
## 6. v2.0 技能分组
### system 技能
- `memory_manager`
- `collect_to_inbox`
- `inbox_refine`
- `auto_collector`
- `kb_manager`
- `sync_manager`
### user 技能
- `content_processor`
- `web_crawler`
## 7. 恢复步骤
```bash
cd ~/workbuddy-agent-os/agent-sync/00_bootstrap
bash init.sh
bash apply-config.sh
bash import_skills.sh
~/.workbuddy/binaries/python/envs/agent-os/bin/python3 \
~/workbuddy-agent-os/agent-sync/02_skills/memory_manager/bootstrap_from_memory.py \
--root ~/workbuddy-agent-os/agent-sync
```
手动安装项:
- WorkBuddy
- 坚果云
- Obsidian(按需)
- oMLX 与模型
## 8. v2.0 不做什么
以下内容已经明确延后:
- `collect_from_local.py`
- `skill_scanner.py`
- `SKILL_CARD.yaml` 全量改造
- 工具 manifest / 自动化安装体系
- 更细粒度的多机记忆隔离策略
- 基于 `agent-os-local/materials/` 的全新单入口采集体系
## 9. 现在应该怎么理解这个仓库
如果只看一句话:
> 这是一个已经从原形长成“可运行增强版”的 AgentOS 仓库,v2.0 的任务不是继续发散,而是先把当前这版冻结、讲清、可恢复。