Files
MediaCrawler/mac-agent-os-main/03_knowledge/KB_REORG_PLAN.md
T
butubb 2112c1a870
Deploy VitePress site to Pages / build (push) Canceled after 0s
Deploy VitePress site to Pages / Deploy (push) Canceled after 0s
feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程,直接发 HTTP
移植自 mac-agent-os 的 mediacrawler_adapter:不起子进程、不开页面,用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin,所以 ingest 那条链路一个字不用改。

**目前能用的(真环境实测,非推断)**:

    profile/other : 200, 7075 字节  —— 博主主页指标(粉丝/获赞/作品数/昵称)
    aweme/detail  : 200, 45425 字节 —— 单条作品详情(含点赞/评论/收藏/分享)

**目前不能用的:作品列表 `aweme/post`。** 两个互相独立的原因:
  1. 这个接口被抖音单独升级成了真校验:不带 x-tt-argus 回 403「Uifid Not Found」,
     带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过,「真校验」过不了。
     同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的,
     挑中的恰好是「批量拉作品列表」这个最敏感的动作。
  2. 改走页面截获也不行:CDP 浏览器打开博主主页会落到「验证码中间页」(当天大量探测的
     代价,过几小时要重测)。

  所以现在的边界是:**已知作品的指标刷新能做,自动发现新作品做不了**。

**排查中控住变量后得到的两条事实**(都写进注释了):
  · `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
    UA+client hints+Cookie 时是 200 但仅 121 字节的空壳,补上这三个头变 7074 字节。
    (我先前猜的 sec-ch-ua 不是关键。)
  · 因此 UA 与 client hints 必须**成套地取自同一个浏览器**,所以 BrowserIdentity 一次
    从 CDP 取齐 cookie + UA + hints,而不是各自写死。

「200 + 空 body 必须当场报错」也是刻意写死的:放过去它会在下游变成「这个博主没作品」,
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的,还被翻译成「账号被封」。

测试 +11:cookie 解析、请求头成套性(含 uifid 缺失/回退)、产物键名与 store 对齐、
以及 _get 的三条失败路径(空 body / 403 带网关原话 / 正常返回)。
2026-10-10 17:12:25 +08:00

6.3 KiB
Raw Blame History

知识库全面整理执行计划

创建: 2026-06-17 23:25 | 状态: ⏳ 待确认 目标: 364个文件 → 约100个唯一内容文件,全部正确归类


一、原始设计(来自 README.md + CORE-ARCHITECTURE.md)

原始知识库设计为:

  • 00_inbox/ — 待提纯收件箱
  • 01_submissions/ — 待归集提交箱(按来源分目录)
  • 10_concepts/ — 概念知识
  • 20_methods/ — 方法技能
  • 30_facts/ — 事实数据
  • 40_references/ — 参考资料(含系统工具引用)
  • 50_resources/ — 资源索引
  • 60_opinions/ — 个人观点
  • 90_archive/ — 归档
  • 没有 99_system/ 和 04_ops/ — 这两个目录是后来新增的

04_ops/ 不在原始设计中,是后来加的 → 移空后可删除。


二、审计发现

问题1: 日期前缀副本(~220个冗余文件)

20_methods/ 下有大量同一内容的日期版本:

2026-05-16_xxx.md              ← 原始版本
2026-05-17_2026-05-16_xxx.md   ← 第一次复制(内容可能微调)
2026-06-01_2026-05-17_...xxx.md ← 第二次复制
2026-06-02_...xxx.md            ← 第三次复制
...

结论:文件名越短=越早的版本,文件名越长=被AI采集系统多次重新采集。内容可能相同或略有差异。保留内容最完整的版本(通常是最新日期最长的),其余删除,不存档。

问题2: 系统文档散落在 3 个目录

当前路径 应移至 原因
04_ops/matrix/ (6个) 99_system/matrix/ 全部是矩阵系统架构文档
20_methods/Camoufox_集成修复记录.md (+5个副本) 99_system/matrix/ 系统集成记录
20_methods/原子化登录管理模块_auth_manager.md (+5个副本) 99_system/matrix/ 登录系统模块
20_methods/统一升级引擎_agentos_upgrade.md (+5个副本) 99_system/ 升级引擎
20_methods/cross-domain.md 等4协议(+各5副本) 99_system/protocols/ 协议,但已存在更完整版本
40_references/matrix-sms-verification.md (+7个副本) 99_system/matrix/ 系统引用文档
40_references/cloakbrowser-integration.md (+7个副本) 99_system/references/ 系统引用文档
40_references/peekaboo-v3-integration.md (+7个副本) 99_system/references/ 系统引用文档

问题3: 协议文档版本对比

协议 99_system版本 20_methods副本版本 结论
cross-domain.md 2001 bytes 1248 bytes 99_system更完整,保留
knowledge-review.md (待查) (待查) 保留99_system
meta-thinking.md (待查) (待查) 保留99_system
stuck-intervention.md (待查) (待查) 保留99_system

这些协议文档有没有用? 有——cross-domain.md 是跨域联想协议,knowledge-review.md 是知识入库审查流程。这些是智能体思考框架的一部分。建议保留在 99_system/protocols/。


三、执行步骤

Step 1: 扩展 99_system/ 结构

mkdir -p 99_system/matrix
mkdir -p 99_system/references

Step 2: 移动系统文档

从 04_ops/matrix/ → 99_system/matrix/:

mv 04_ops/matrix/*.md 99_system/matrix/

从 20_methods/ 去重后移入 99_system/:

  • 以 _集成修复记录.md 结尾的 → 99_system/matrix/
  • 以 auth_manager.md 结尾的 → 99_system/matrix/
  • 以 agentos_upgrade.md 结尾的 → 99_system/
  • 协议类(cross-domain, knowledge-review 等)→ 删除(已有更新版本在 99_system/protocols/)

从 40_references/ 移入 99_system/:

  • matrix-sms-verification.md 类 → 99_system/matrix/
  • cloakbrowser, peekaboo → 99_system/references/

Step 3: 删除日期前缀副本

规则:同一内容只保留文件名最长的那个版本(最新日期),其余删除。 涉及约 200 个文件,主要在 20_methods/ 和 40_references/。

Step 4: 删除废弃目录

rmdir 04_ops/  # 移空后删除

Step 5: 更新 README

更新 03_knowledge/README.md 的文件计数和索引。

Step 6: 写系统指令文件

在 99_system/ 下建 AI_READING_GUIDE.md,告诉智能体:

  • 每次启动先读 99_system/AI_READING_GUIDE.md
  • 按任务类型查阅对应目录
  • 知识库使用规范

四、预览:清理后的结构

03_knowledge/
├── 00_README.md              ← 顶层索引(已建)
├── 00_inbox/                 ← 不变
├── 01_submissions/           ← 不变(23个采集文件)
├── 10_concepts/              ← 不变(19个概念文件)
├── 20_methods/               ← 只保留纯方法论(约30个文件)
│   └── ai-video-system/      ← 完整保留(19章)
├── 30_facts/                 ← 不变
├── 40_references/            ← 只保留非系统引用
├── 50_resources/             ← 不变
├── 60_opinions/              ← 不变
├── 90_archive/               ← 不变
├── CHANGELOG.md              ← 不变
└── 99_system/                ← 扩展
    ├── AI_READING_GUIDE.md   ← 🆕 系统指令
    ├── README.md             ← 已建
    ├── architecture/         ← 6个文件
    ├── matrix/               ← ← 6+3个文件(从04_ops + 20_methods + 40_references 移入)
    ├── references/           ← ← 2个文件(从40_references 移入)
    ├── dashboard/            ← 设计文档
    ├── agentos-upgrade.md    ← ← 升级引擎(从20_methods移入)
    ├── pipelines/            ← 1个文件
    ├── prompts/              ← 1个文件
    ├── protocols/            ← 4个文件
    ├── taxonomies/           ← 2个文件
    ├── templates/            ← 4个文件
    └── archive/              ← 3个文件

五、确认事项

  1. 日期副本去重原则:保留最长文件名(最新日期),其余直接删除,不归档。✅ 你已确认
  2. 04_ops/ 移空后删除:原设计没有这个目录 ✅ 你已确认
  3. 协议文档:99_system/protocols/ 版本更完整,20_methods/ 的副本删除
  4. 40_references/ 移走系统引用后:只剩空目录,保留(原设计有此目录)

确认后我执行,预计半小时完成。