移植自 mac-agent-os 的 mediacrawler_adapter:不起子进程、不开页面,用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin,所以 ingest 那条链路一个字不用改。
**目前能用的(真环境实测,非推断)**:
profile/other : 200, 7075 字节 —— 博主主页指标(粉丝/获赞/作品数/昵称)
aweme/detail : 200, 45425 字节 —— 单条作品详情(含点赞/评论/收藏/分享)
**目前不能用的:作品列表 `aweme/post`。** 两个互相独立的原因:
1. 这个接口被抖音单独升级成了真校验:不带 x-tt-argus 回 403「Uifid Not Found」,
带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过,「真校验」过不了。
同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的,
挑中的恰好是「批量拉作品列表」这个最敏感的动作。
2. 改走页面截获也不行:CDP 浏览器打开博主主页会落到「验证码中间页」(当天大量探测的
代价,过几小时要重测)。
所以现在的边界是:**已知作品的指标刷新能做,自动发现新作品做不了**。
**排查中控住变量后得到的两条事实**(都写进注释了):
· `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
UA+client hints+Cookie 时是 200 但仅 121 字节的空壳,补上这三个头变 7074 字节。
(我先前猜的 sec-ch-ua 不是关键。)
· 因此 UA 与 client hints 必须**成套地取自同一个浏览器**,所以 BrowserIdentity 一次
从 CDP 取齐 cookie + UA + hints,而不是各自写死。
「200 + 空 body 必须当场报错」也是刻意写死的:放过去它会在下游变成「这个博主没作品」,
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的,还被翻译成「账号被封」。
测试 +11:cookie 解析、请求头成套性(含 uifid 缺失/回退)、产物键名与 store 对齐、
以及 _get 的三条失败路径(空 body / 403 带网关原话 / 正常返回)。
6.3 KiB
6.3 KiB
知识库全面整理执行计划
创建: 2026-06-17 23:25 | 状态: ⏳ 待确认 目标: 364个文件 → 约100个唯一内容文件,全部正确归类
一、原始设计(来自 README.md + CORE-ARCHITECTURE.md)
原始知识库设计为:
00_inbox/— 待提纯收件箱01_submissions/— 待归集提交箱(按来源分目录)10_concepts/— 概念知识20_methods/— 方法技能30_facts/— 事实数据40_references/— 参考资料(含系统工具引用)50_resources/— 资源索引60_opinions/— 个人观点90_archive/— 归档- 没有
99_system/和04_ops/— 这两个目录是后来新增的
04_ops/ 不在原始设计中,是后来加的 → 移空后可删除。
二、审计发现
问题1: 日期前缀副本(~220个冗余文件)
20_methods/ 下有大量同一内容的日期版本:
2026-05-16_xxx.md ← 原始版本
2026-05-17_2026-05-16_xxx.md ← 第一次复制(内容可能微调)
2026-06-01_2026-05-17_...xxx.md ← 第二次复制
2026-06-02_...xxx.md ← 第三次复制
...
结论:文件名越短=越早的版本,文件名越长=被AI采集系统多次重新采集。内容可能相同或略有差异。保留内容最完整的版本(通常是最新日期最长的),其余删除,不存档。
问题2: 系统文档散落在 3 个目录
| 当前路径 | 应移至 | 原因 |
|---|---|---|
04_ops/matrix/ (6个) |
99_system/matrix/ |
全部是矩阵系统架构文档 |
20_methods/Camoufox_集成修复记录.md (+5个副本) |
99_system/matrix/ |
系统集成记录 |
20_methods/原子化登录管理模块_auth_manager.md (+5个副本) |
99_system/matrix/ |
登录系统模块 |
20_methods/统一升级引擎_agentos_upgrade.md (+5个副本) |
99_system/ |
升级引擎 |
20_methods/cross-domain.md 等4协议(+各5副本) |
99_system/protocols/ |
协议,但已存在更完整版本 |
40_references/matrix-sms-verification.md (+7个副本) |
99_system/matrix/ |
系统引用文档 |
40_references/cloakbrowser-integration.md (+7个副本) |
99_system/references/ |
系统引用文档 |
40_references/peekaboo-v3-integration.md (+7个副本) |
99_system/references/ |
系统引用文档 |
问题3: 协议文档版本对比
| 协议 | 99_system版本 | 20_methods副本版本 | 结论 |
|---|---|---|---|
| cross-domain.md | 2001 bytes | 1248 bytes | 99_system更完整,保留 |
| knowledge-review.md | (待查) | (待查) | 保留99_system |
| meta-thinking.md | (待查) | (待查) | 保留99_system |
| stuck-intervention.md | (待查) | (待查) | 保留99_system |
这些协议文档有没有用? 有——cross-domain.md 是跨域联想协议,knowledge-review.md 是知识入库审查流程。这些是智能体思考框架的一部分。建议保留在 99_system/protocols/。
三、执行步骤
Step 1: 扩展 99_system/ 结构
mkdir -p 99_system/matrix
mkdir -p 99_system/references
Step 2: 移动系统文档
从 04_ops/matrix/ → 99_system/matrix/:
mv 04_ops/matrix/*.md 99_system/matrix/
从 20_methods/ 去重后移入 99_system/:
- 以
_集成修复记录.md结尾的 →99_system/matrix/ - 以
auth_manager.md结尾的 →99_system/matrix/ - 以
agentos_upgrade.md结尾的 →99_system/ - 协议类(cross-domain, knowledge-review 等)→ 删除(已有更新版本在
99_system/protocols/)
从 40_references/ 移入 99_system/:
matrix-sms-verification.md类 →99_system/matrix/cloakbrowser,peekaboo→99_system/references/
Step 3: 删除日期前缀副本
规则:同一内容只保留文件名最长的那个版本(最新日期),其余删除。
涉及约 200 个文件,主要在 20_methods/ 和 40_references/。
Step 4: 删除废弃目录
rmdir 04_ops/ # 移空后删除
Step 5: 更新 README
更新 03_knowledge/README.md 的文件计数和索引。
Step 6: 写系统指令文件
在 99_system/ 下建 AI_READING_GUIDE.md,告诉智能体:
- 每次启动先读
99_system/AI_READING_GUIDE.md - 按任务类型查阅对应目录
- 知识库使用规范
四、预览:清理后的结构
03_knowledge/
├── 00_README.md ← 顶层索引(已建)
├── 00_inbox/ ← 不变
├── 01_submissions/ ← 不变(23个采集文件)
├── 10_concepts/ ← 不变(19个概念文件)
├── 20_methods/ ← 只保留纯方法论(约30个文件)
│ └── ai-video-system/ ← 完整保留(19章)
├── 30_facts/ ← 不变
├── 40_references/ ← 只保留非系统引用
├── 50_resources/ ← 不变
├── 60_opinions/ ← 不变
├── 90_archive/ ← 不变
├── CHANGELOG.md ← 不变
└── 99_system/ ← 扩展
├── AI_READING_GUIDE.md ← 🆕 系统指令
├── README.md ← 已建
├── architecture/ ← 6个文件
├── matrix/ ← ← 6+3个文件(从04_ops + 20_methods + 40_references 移入)
├── references/ ← ← 2个文件(从40_references 移入)
├── dashboard/ ← 设计文档
├── agentos-upgrade.md ← ← 升级引擎(从20_methods移入)
├── pipelines/ ← 1个文件
├── prompts/ ← 1个文件
├── protocols/ ← 4个文件
├── taxonomies/ ← 2个文件
├── templates/ ← 4个文件
└── archive/ ← 3个文件
五、确认事项
- 日期副本去重原则:保留最长文件名(最新日期),其余直接删除,不归档。✅ 你已确认
04_ops/移空后删除:原设计没有这个目录 ✅ 你已确认- 协议文档:
99_system/protocols/版本更完整,20_methods/的副本删除 40_references/移走系统引用后:只剩空目录,保留(原设计有此目录)
确认后我执行,预计半小时完成。