butubb
2112c1a870
移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。
**目前能用的（真环境实测，非推断）**：
profile/other : 200, 7075 字节 —— 博主主页指标（粉丝/获赞/作品数/昵称）
aweme/detail : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）
**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
挑中的恰好是「批量拉作品列表」这个最敏感的动作。
2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
代价，过几小时要重测）。
所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。
**排查中控住变量后得到的两条事实**（都写进注释了）：
· `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
（我先前猜的 sec-ch-ua 不是关键。）
· 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
从 CDP 取齐 cookie + UA + hints，而不是各自写死。
「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。
测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。
7.1 KiB
7.1 KiB
已完整读取你的《我的说明.md》和项目原历史说明文档，并结合你前述需求，现为你梳理出结构化的顶层大框架，并将你的关键想法单独标记，便于后续细化和追踪。
AgentOS 顶层结构化大框架（多机协同·知识自进化）
1. agent-os（全局/多机共用内容）
1.1 初始化脚本（00_bootstrap）
- 作用：一键环境搭建、依赖安装、权限配置、自动任务注册、主机身份识别与切换。
- 你的重点：支持从零还原、主机身份切换、任务启停自动化。
1.2 核心配置（01_core）
- 作用：系统身份、主机/维护机标识、全局参数、智能体基础设定。
- 你的重点：支持多智能体、多主机角色，配置可多版本选择加载。
1.3 技能（02_skills）
- 作用：系统必需技能、自定义技能、第三方技能，均有“技能身份证”（SKILL_CARD.yaml）。
- 你的重点：
- 技能身份证模板统一，主机归属、只读/主理标识。
- 技能状态一键扫描（skill_scanner.py）。
- 外部技能与自研技能分层管理。
1.4 知识库（03_knowledge）
- 作用：全局知识库，支持多属性、多领域、版本化、向量化、自动分类。
- 你的重点：
- 分类体系：知识/个人笔记/记忆固化/项目过程/向量化/收件箱等。
- 支持原始-已整理-归档多阶段。
- 领域16大类，属性9大类，Frontmatter标准化。
- 项目过程与知识归档分离，最终成果可转为事实/知识。
- 向量库既有本地也有全局，支持多机同步与本地独立。
1.5 工具层（05_tools）
- 作用：非技能化工具脚本（CLI/接口），如知识库/记忆/技能管理等。
- 你的重点：工具与技能可互转，工具更注重效率和扩展性，技能偏自动化和系统集成。
1.6 系统管理（07_migration/90_archive）
- 作用：打包、解包、迁移、备份、归档、历史记录。
2. agent-os-local（本机专属内容）
2.1 采集原始内容
- 作用：本机原始数据采集（音频、视频、网页、截图、临时笔记等），作为知识库前端缓存。
- 你的重点：每台机子独立采集，后续可分类同步到全局知识库。
2.2 本机记忆
- 作用：本机专属记忆，部分可提炼为全局知识。
- 你的重点：记忆属性字段丰富，向量化内容区分本地/全局，提炼机制需智能判断。
2.3 运行记录、对话记录、缓存
- 作用：任务缓存、运行日志、对话历史，适配不同智能体。
- 你的重点：智能体可切换，数据结构需适配不同上下文和对话格式。
2.4 本机情况数据说明记录
- 作用：本机环境、硬件、软件、网络、环境变量等说明，支持动态更新。
- 你的重点：数据结构需高效、节省token，支持自动/手动更新。
3. 关键机制与待展开问题（你的重点/待讨论）
- 向量库（vector_db）：本地与全局并存，需支持多机同步与本地独立，知识内容与索引分离/融合待定。
- 主机/维护机标识：每台主机唯一ID，主维护机角色固定，权限与同步策略需细化。
- 知识库分类：支持多级分类、标签，分类体系需灵活可扩展。
- 工具与技能边界：工具注重效率和扩展，技能偏自动化和系统集成，二者可互转，需明确转换机制。
- 本机数据说明：内容范围、更新机制、token效率需进一步细化。
- 同步/备份机制：全局与本地的同步策略、备份粒度、冲突解决等需后续详细设计。
标记你的关键内容（便于后续追踪）
- 技能身份证（SKILL_CARD.yaml）机制与模板
- 技能状态扫描工具（skill_scanner.py）
- 知识库多层级分类体系（16领域×9属性）
- 向量库本地/全局双轨设计
- 本机记忆与全局知识的提炼与同步机制
- 工具与技能的互转与边界
- 本机环境说明的高效结构与动态更新
- 多机主机/维护机角色与权限体系
- 项目过程与知识归档的分离与融合
- 自动化任务与定时调度体系
【2026-04-28 最新讨论补充】本地/全局记忆与知识库、向量库、同步机制设计
1. 目录与同步边界
~/workbuddy-agent-os/agent-sync/：所有内容都参与多机同步（知识库、协同收件箱、协同向量库等）。~/workbuddy-agent-os/agent-sync/agent-local/：所有内容仅本机保存，绝不参与同步（本地记忆、个人笔记、本地素材等）。
2. 数据流转与提炼机制
- 本地记忆/个人笔记产生
- 存在于
~/workbuddy-agent-os/agent-sync/agent-local/materials/，如记忆系统自动提存、个人随手笔记等。
- 存在于
- 记忆/笔记提炼
- 用户可手动或自动将有价值的内容，从
~/workbuddy-agent-os/agent-sync/agent-local/materials/提取到~/workbuddy-agent-os/agent-sync/03_knowledge/00_inbox/（协同收件箱）。 - 提取时可加属性（如“记忆”标签），以便后续分类。
- 用户可手动或自动将有价值的内容，从
- 知识库入库
- 协同收件箱只存 md 文件，知识管理系统定期/手动将内容加工、分类，正式入库到知识库（如 10_concepts、20_methods 等）。
3. 向量数据库设计
- 本地向量库：
~/workbuddy-agent-os/agent-sync/agent-local/下的所有内容（记忆、个人笔记等）向量化，仅本机检索。 - 协同向量库：
~/workbuddy-agent-os/agent-sync/下知识库内容向量化，参与多机同步和协同检索。 - 检索时，默认先查本地向量库，再查协同向量库，结果合并展示，体验无割裂。
4. 分类与属性
- 协同收件箱和知识库的 md 文件可通过 frontmatter 或标签标明来源（如“记忆提存”、“个人笔记”），方便后续分类和检索。
- 知识库分类可灵活调整，不必强依赖文件名。
5. 机制总结
- 本地内容完全隔离，隐私安全。
- 有价值内容通过“提炼-收件箱-知识库”机制流转，保证协同知识的高质量和结构化。
- 多机协同时，检索体验顺畅，既能查本地记忆，也能查全局知识。
本节为 2026-04-28 讨论结论，后续如有新机制/细节调整请在此基础上补充。
如需展开某一部分（如知识库分类、向量库机制、同步策略等），可随时指定，我会基于你的原文和上述结构继续细化。
如需将这些“你的关键内容”单独存档，或生成专门的追踪清单，也可直接说明。