移植自 mac-agent-os 的 mediacrawler_adapter:不起子进程、不开页面,用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin,所以 ingest 那条链路一个字不用改。
**目前能用的(真环境实测,非推断)**:
profile/other : 200, 7075 字节 —— 博主主页指标(粉丝/获赞/作品数/昵称)
aweme/detail : 200, 45425 字节 —— 单条作品详情(含点赞/评论/收藏/分享)
**目前不能用的:作品列表 `aweme/post`。** 两个互相独立的原因:
1. 这个接口被抖音单独升级成了真校验:不带 x-tt-argus 回 403「Uifid Not Found」,
带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过,「真校验」过不了。
同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的,
挑中的恰好是「批量拉作品列表」这个最敏感的动作。
2. 改走页面截获也不行:CDP 浏览器打开博主主页会落到「验证码中间页」(当天大量探测的
代价,过几小时要重测)。
所以现在的边界是:**已知作品的指标刷新能做,自动发现新作品做不了**。
**排查中控住变量后得到的两条事实**(都写进注释了):
· `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
UA+client hints+Cookie 时是 200 但仅 121 字节的空壳,补上这三个头变 7074 字节。
(我先前猜的 sec-ch-ua 不是关键。)
· 因此 UA 与 client hints 必须**成套地取自同一个浏览器**,所以 BrowserIdentity 一次
从 CDP 取齐 cookie + UA + hints,而不是各自写死。
「200 + 空 body 必须当场报错」也是刻意写死的:放过去它会在下游变成「这个博主没作品」,
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的,还被翻译成「账号被封」。
测试 +11:cookie 解析、请求头成套性(含 uifid 缺失/回退)、产物键名与 store 对齐、
以及 _get 的三条失败路径(空 body / 403 带网关原话 / 正常返回)。
134 lines
3.1 KiB
Markdown
134 lines
3.1 KiB
Markdown
# AgentOS v2.0 最新说明汇总
|
||
|
||
最后更新:2026-04-28
|
||
|
||
## 1. 当前版本是什么
|
||
|
||
AgentOS v2.0 是当前仓库的稳定可运行基准版。
|
||
|
||
它不是最初的单机原形,也不是未来多机协同终态,而是已经落地并能恢复的一版正式基线。
|
||
|
||
## 2. 当前正式文档入口
|
||
|
||
请按以下顺序阅读:
|
||
|
||
1. `CORE-ARCHITECTURE.md`:正式基准、目录边界、数据流定义
|
||
2. `V2.0-SUMMARY.md`:本文件,最新说明汇总
|
||
3. `QUICKSTART.md`:初始化与恢复操作
|
||
4. `REQUIREMENTS.md`:环境要求与依赖说明
|
||
5. `SKILLS-CATALOG.md`:v2.0 技能目录
|
||
6. `REVIEW-V2.0.md`:审查结论与收口原因
|
||
|
||
历史大体量说明已归档到:
|
||
|
||
- `90_archive/docs/AgentOS-完整说明文档_副本.v2.1-history.md`
|
||
|
||
## 3. v2.0 一句话结构
|
||
|
||
```text
|
||
agent-os/ = 共享主仓库
|
||
agent-os-local/ = 本机私有目录
|
||
```
|
||
|
||
主仓库负责:配置、技能、知识、共享记忆元数据、工具、迁移脚本。
|
||
|
||
本机私有目录负责:L3 原文、向量库、缓存、原始素材和待投递素材。
|
||
|
||
## 4. v2.0 正式边界
|
||
|
||
### 共享内容
|
||
|
||
- `01_core/`
|
||
- `02_skills/`
|
||
- `03_knowledge/`
|
||
- `04_memory/long_term/facts.db`
|
||
- `04_memory/daily_summaries/`
|
||
- `04_memory/logs/`
|
||
- `05_tools/`
|
||
- `06_runtime/tasks/`
|
||
- `07_migration/`
|
||
|
||
### 本机私有内容
|
||
|
||
- `04_memory/long_term/raw/`
|
||
- `04_memory/vector_db/`
|
||
- `06_runtime/cache/`
|
||
- `~/workbuddy-agent-os/agent-sync/agent-local/materials/`
|
||
|
||
## 5. v2.0 正式数据流
|
||
|
||
### 知识流
|
||
|
||
v2.0 采用“双入口汇聚到 Inbox”:
|
||
|
||
- 入口 A:标准化内容直接写入 `03_knowledge/00_inbox/`
|
||
- 入口 B:分类目录内容由 `collect_to_inbox` 汇聚到 `00_inbox/`
|
||
- 统一出口:`inbox_refine` 提纯归档
|
||
|
||
### 记忆流
|
||
|
||
```text
|
||
WorkBuddy 工作日志 / 系统画像 / 上轮摘要
|
||
-> daily_digest.py
|
||
-> facts.db
|
||
-> keyword_index.json / ChromaDB
|
||
-> 原文写入本机 raw/
|
||
```
|
||
|
||
### 工具流
|
||
|
||
`05_tools/` 是工具层,不默认等于技能层。
|
||
|
||
## 6. v2.0 技能分组
|
||
|
||
### system 技能
|
||
|
||
- `memory_manager`
|
||
- `collect_to_inbox`
|
||
- `inbox_refine`
|
||
- `auto_collector`
|
||
- `kb_manager`
|
||
- `sync_manager`
|
||
|
||
### user 技能
|
||
|
||
- `content_processor`
|
||
- `web_crawler`
|
||
|
||
## 7. 恢复步骤
|
||
|
||
```bash
|
||
cd ~/workbuddy-agent-os/agent-sync/00_bootstrap
|
||
bash init.sh
|
||
bash apply-config.sh
|
||
bash import_skills.sh
|
||
|
||
~/.workbuddy/binaries/python/envs/agent-os/bin/python3 \
|
||
~/workbuddy-agent-os/agent-sync/02_skills/memory_manager/bootstrap_from_memory.py \
|
||
--root ~/workbuddy-agent-os/agent-sync
|
||
```
|
||
|
||
手动安装项:
|
||
|
||
- WorkBuddy
|
||
- 坚果云
|
||
- Obsidian(按需)
|
||
- oMLX 与模型
|
||
|
||
## 8. v2.0 不做什么
|
||
|
||
以下内容已经明确延后:
|
||
|
||
- `collect_from_local.py`
|
||
- `skill_scanner.py`
|
||
- `SKILL_CARD.yaml` 全量改造
|
||
- 工具 manifest / 自动化安装体系
|
||
- 更细粒度的多机记忆隔离策略
|
||
- 基于 `agent-os-local/materials/` 的全新单入口采集体系
|
||
|
||
## 9. 现在应该怎么理解这个仓库
|
||
|
||
如果只看一句话:
|
||
|
||
> 这是一个已经从原形长成“可运行增强版”的 AgentOS 仓库,v2.0 的任务不是继续发散,而是先把当前这版冻结、讲清、可恢复。
|