移植自 mac-agent-os 的 mediacrawler_adapter:不起子进程、不开页面,用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin,所以 ingest 那条链路一个字不用改。
**目前能用的(真环境实测,非推断)**:
profile/other : 200, 7075 字节 —— 博主主页指标(粉丝/获赞/作品数/昵称)
aweme/detail : 200, 45425 字节 —— 单条作品详情(含点赞/评论/收藏/分享)
**目前不能用的:作品列表 `aweme/post`。** 两个互相独立的原因:
1. 这个接口被抖音单独升级成了真校验:不带 x-tt-argus 回 403「Uifid Not Found」,
带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过,「真校验」过不了。
同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的,
挑中的恰好是「批量拉作品列表」这个最敏感的动作。
2. 改走页面截获也不行:CDP 浏览器打开博主主页会落到「验证码中间页」(当天大量探测的
代价,过几小时要重测)。
所以现在的边界是:**已知作品的指标刷新能做,自动发现新作品做不了**。
**排查中控住变量后得到的两条事实**(都写进注释了):
· `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
UA+client hints+Cookie 时是 200 但仅 121 字节的空壳,补上这三个头变 7074 字节。
(我先前猜的 sec-ch-ua 不是关键。)
· 因此 UA 与 client hints 必须**成套地取自同一个浏览器**,所以 BrowserIdentity 一次
从 CDP 取齐 cookie + UA + hints,而不是各自写死。
「200 + 空 body 必须当场报错」也是刻意写死的:放过去它会在下游变成「这个博主没作品」,
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的,还被翻译成「账号被封」。
测试 +11:cookie 解析、请求头成套性(含 uifid 缺失/回退)、产物键名与 store 对齐、
以及 _get 的三条失败路径(空 body / 403 带网关原话 / 正常返回)。
96 lines
4.2 KiB
Markdown
96 lines
4.2 KiB
Markdown
# AgentOS 项目文档索引
|
||
|
||
> 最后更新: 2026-06-21 | 版本: 4.2.0
|
||
|
||
## 系统身份与规则(01_core/ → ~/.workbuddy/)
|
||
|
||
| 文件 | 说明 | 加载方式 |
|
||
|:-----|:------|:---------|
|
||
| **CONSTITUTION.md** | **架构宪法(先读此文件)** | **部署到 ~/.workbuddy/ 按需加载** |
|
||
| SOUL.md | AI 行为规则、模式切换、安全边界 | 常驻 ~750 tokens/次 |
|
||
| IDENTITY.md | 系统身份、设备信息(从模板生成) | 常驻 |
|
||
| USER.md | 用户画像与偏好 | 常驻 |
|
||
| MAINTENANCE_GUIDE.md | 运维操作手册 | 按需查阅 |
|
||
| mcp.json | MCP 服务配置(filesystem/memory/peekaboo) | WorkBuddy 启动时加载 |
|
||
| VERSION | 版本唯一来源 | 所有文档以此为准 |
|
||
|
||
## 行为协议(03_knowledge/99_system/protocols/)
|
||
|
||
| 协议 | 触发场景 | 加载时机 |
|
||
|:-----|:---------|:---------|
|
||
| meta-thinking | 升维思考、本质追问 | 触发词激活 ~200 tokens |
|
||
| cross-domain | 跨界类比、新视角 | 触发词激活 |
|
||
| stuck-intervention | 卡壳暂停给选项 | 条件触发 |
|
||
| knowledge-review | 知识入库审查 | 触发词激活 |
|
||
|
||
## 技能(02_skills/)
|
||
|
||
当前活跃 7 个技能(4 个已归档,见 `02_skills/_archived/README.md`):
|
||
|
||
| 技能 | 版本 | 说明 | 状态 |
|
||
|:-----|:-----|:------|:-----|
|
||
| memory_manager | 1.2.0 | 五级记忆体 + 语义检索 | ✅ |
|
||
| inbox_refine | 1.0.0 | 收件箱 AI 分类归档 | ✅ |
|
||
| collect_to_inbox | 2.0.0 | 提交箱→收件箱归集 | ⚠️ 文档降级(代码未同步) |
|
||
| kb_manager | 1.1.0 | 知识库管理 | ✅ |
|
||
| matrix | 1.0.0 | 矩阵养号(实现在 05_tools/07_matrix/) | ✅ |
|
||
| sync_manager | 1.1.0 | 同步备份 | ✅ |
|
||
| peekaboo_controller | 1.0.0 | macOS GUI 自动化(MCP) | ✅ |
|
||
|
||
## Dashboard 看板
|
||
|
||
| 文档 | 路径 | 说明 |
|
||
|:-----|:------|:------|
|
||
| Dashboard README | `05_tools/10_dashboard/README.md` | **看板架构、API、CMD_REGISTRY、前端调用规范(必读)** |
|
||
| 五层架构审计 | `PLANS/AUDIT_5LAYER_REPORT.md` | 所有视图的合规状态 |
|
||
| 命令传导统一治理 | `PLANS/COMMAND_UNIFICATION_PLAN.md` | 2026-06-25 治理方案 |
|
||
|
||
## 工具(05_tools/)
|
||
|
||
| 工具 | 说明 | 调用方式 |
|
||
|:-----|:------|:---------|
|
||
| 00_setup/agentos/ | 系统管理 CLI(init/check/backup/upgrade/…14 命令) | 命令行 |
|
||
| 00_setup/guardd/ | 联邦守护进程(9 模块,300 秒周期) | launchd 自动 |
|
||
| 01_system/ | 系统诊断脚本(12 个 .py) | agentos check / 手动 |
|
||
| 05_crawl/ | 内容采集(longcat + content-inspiration) | 手动 / API |
|
||
| 07_matrix/ | 矩阵养号(Camoufox 浏览器 + 12 个蓝图) | mc CLI / Dashboard |
|
||
| 08_trae_agent/ | Trae AI 编程助手 | CLI |
|
||
| 09_ave/ | 视频工厂 | CLI / API(8001 端口) |
|
||
| 10_dashboard/ | 监控面板(FastAPI 1521 行 + 15 插件) | 浏览器 :9988 |
|
||
|
||
## 联邦系统
|
||
|
||
| 文档 | 路径 |
|
||
|:-----|:------|
|
||
| 联邦宪法 | ORACLE.yaml |
|
||
| 联邦使用指南 | FEDERATION_GUIDE.md |
|
||
| 联邦架构 | 03_knowledge/99_system/architecture/federated-multi-machine-architecture.md |
|
||
| 加载与检索架构 | 03_knowledge/99_system/architecture/loading-architecture.md |
|
||
| cross_machine 结构 | 04_memory/cross_machine/ |
|
||
| 守护进程源码 | 05_tools/00_setup/guardd/guardd.py(1166 行) |
|
||
|
||
## 架构全景
|
||
|
||
| 文档 | 路径 | 说明 |
|
||
|:-----|:------|:------|
|
||
| **架构宪法**(先读此文件) | **CONSTITUTION.md**(根目录,同时部署到 ~/.workbuddy/) | **总纲:硬规则 + 十二维全景 + 版本规则 + 开发决策流程** |
|
||
| 系统全景 | 99_system/AGENTOS-PANORAMA.md | 完整系统概述 |
|
||
| 联邦多机架构 | 03_knowledge/99_system/architecture/ | 技术架构设计 |
|
||
| 内容收集全链路 | 03_knowledge/99_system/pipelines/ | 采集→归档规范 |
|
||
| 记忆与知识体系 | 03_knowledge/99_system/architecture/ | 分层记忆设计 |
|
||
|
||
## 版本体系
|
||
|
||
版本唯一源:`01_core/VERSION`
|
||
|
||
| 组件 | 版本 |
|
||
|:-----|:-----|
|
||
| AgentOS 框架 | 4.2.0 |
|
||
| guardd 守护进程 | 2.3.0 |
|
||
| ORACLE schema | 1.0 |
|
||
|
||
版本规则:
|
||
- **大版本(X.0.0)** — 核心框架或联邦架构升级
|
||
- **中版本(0.X.0)** — 工具级增加或重大升级
|
||
- **小版本(0.0.X)** — 配置小项目升级、bugfix
|