feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程，直接发 HTTP

移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。 **目前能用的（真环境实测，非推断）**： profile/other : 200, 7075 字节 —— 博主主页指标（粉丝/获赞/作品数/昵称） aweme/detail : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享） **目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因： 1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，挑中的恰好是「批量拉作品列表」这个最敏感的动作。 2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的代价，过几小时要重测）。所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。 **排查中控住变量后得到的两条事实**（都写进注释了）： · `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有 UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。（我先前猜的 sec-ch-ua 不是关键。） · 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次从 CDP 取齐 cookie + UA + hints，而不是各自写死。「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。
2026-10-10 17:12:25 +08:00
parent 21ff01b894
commit 2112c1a870
1601 changed files with 367425 additions and 0 deletions
@@ -0,0 +1,195 @@
+# CORE-ARCHITECTURE.md —— AgentOS 核心架构说明
+
+> 本文档是 AgentOS 的"宪法"，定义了目录职责、数据边界、换机流程。
+> 最后更新：2026-05-02 | 版本：3.0 多智能体协同
+
+---
+
+## 一、系统定位
+
+AgentOS 是一套运行在个人 Mac 上的**多智能体协同系统**，核心能力：
+- **多机协同**：主节点(master) + 工作节点(maintainer) + 采集节点(node) 分级协作
+- **身份驱动**：角色决定权限，所有脚本运行前自动检查
+- **全量Git跟踪**：agent-sync/ 全量进 Git，不搞选择性部分跟踪
+
+---
+
+## 二、目录职责
+
+### `~/workbuddy-agent-os/agent-sync/`（坚果云同步 + Git 版本控制）
+
+| 目录 | 职责 | 同步 | Git |
+|------|------|------|-----|
+| `00_bootstrap/` | 初始化脚本（init.sh、apply-config.sh） | ✅ | ✅ |
+| `01_core/` | 核心配置（SOUL.md、IDENTITY.md、USER.md、mcp.json） | ✅ | ✅ |
+| `02_skills/` | 所有技能（每个技能一个文件夹，含 SKILL.md） | ✅ | ✅ |
+| `03_knowledge/` | Obsidian 知识库（只放提炼后的 .md 文件） | ✅ | ✅ |
+| `04_memory/` | 记忆体（L2 facts.db + L1 索引 + 日志） | ✅ | ✅ |
+| `05_tools/` | 公共工具脚本（环境检查、爬虫、媒体处理） | ✅ | ✅ |
+| `06_runtime/tasks/` | 任务执行记录 | ✅ | ✅ |
+| `07_migration/` | 打包/还原脚本 | ✅ | ✅ |
+| `CHANGELOG.md` | 变更日志 | ✅ | ✅ |
+| `README.md` | 项目说明 | ✅ | ✅ |
+| `REQUIREMENTS.md` | 环境要求 | ✅ | ✅ |
+| `SKILLS-CATALOG.md` | 技能目录 | ✅ | ✅ |
+| `CORE-ARCHITECTURE.md` | 本文档 | ✅ | ✅ |
+
+### `~/workbuddy-agent-os/agent-local/`（本机专属，不同步，不进 Git）
+
+```
+agent-os-local/
+├── memory/                    # 记忆体相关（软链接目标）
+│   ├── raw/                   # L3 对话原文（隐私）
+│   └── vector_db/             # ChromaDB + 关键词索引
+├── runtime/                   # 运行时临时数据
+│   └── cache/                 # 临时缓存
+└── materials/                 # 采集的原始素材
+    ├── web/                   # 网页保存
+    ├── video/                 # 视频下载（yt-dlp 输出）
+    ├── audio/                 # 录音文件
+    ├── screenshots/           # 截图
+    └── refined_for_inbox/     # 已提炼待投递的 .md
+```
+
+> `agent-os/` 内通过**软链接**指向 `agent-os-local/` 中的实际目录，脚本无需改路径。
+
+---
+
+## 三、软链接映射
+
+```
+~/workbuddy-agent-os/agent-sync/04_memory/long_term/raw     → ~/workbuddy-agent-os/agent-local/memory/raw
+~/workbuddy-agent-os/agent-sync/04_memory/vector_db         → ~/workbuddy-agent-os/agent-local/memory/vector_db
+~/workbuddy-agent-os/agent-sync/06_runtime/cache            → ~/workbuddy-agent-os/agent-local/runtime/cache
+```
+
+换机时 `init.sh` 会自动检测并重建这些软链接。
+
+---
+
+## 四、技能分类规则
+
+### system 技能（后台自动运行，不直接对话触发）
+
+| 技能 | 说明 |
+|------|------|
+| `memory_manager` | 记忆提炼、去重、语义检索 |
+| `inbox_refine` | 收件箱提纯→知识库归档 |
+| `collect_to_inbox` | 知识库目录扫描→收件箱 |
+| `auto_collector` | 24h 自动信息收集 |
+| `sync_manager` | 备份与同步管理 |
+| `kb_manager` | 知识库入库与管理 |
+
+### user 技能（对话触发）
+
+| 技能 | 说明 |
+|------|------|
+| `content_processor` | 统一内容处理（视频/文章/语音/社交） |
+| `web_crawler` | 网页抓取 + 反爬 |
+| `git_sync_manager` | Git多机同步管理器（替代坚果云依赖） |
+
+---
+
+## 五、知识库索引卡片规范
+
+多台电脑采集的素材通过**索引卡片**共享，避免大文件同步冲突。
+
+### 文件命名
+
+```
+{hostname}_{YYYYMMDD}_{slug}.md
+示例：Redmi-12C_20260428_douyin-普通人逆袭.md
+      MBP-M3_20260428_bilibili-科普冷知识.md
+```
+
+### 卡片模板
+
+```markdown
+---
+title: 素材标题
+source_url: https://...
+local_path: ~/workbuddy-agent-os/agent-local/materials/video/xxx.mp4
+type: video|audio|web|image
+platform: douyin|xiaohongshu|bilibili|web
+collected_by: Redmi-12C
+collected_at: 2026-04-28
+tags: [标签1, 标签2]
+---
+一句话说明这个资源的口播改编价值。
+```
+
+> `collected_by` 字段标明采集机器，防止多机同步时同名冲突。
+
+---
+
+## 六、同步策略
+
+### 坚果云
+- 同步整个 `~/workbuddy-agent-os/agent-sync/` 目录
+- `~/workbuddy-agent-os/agent-local/` 不加入同步（通过软链接隔离，天然安全）
+- 无需配置选择性排除
+
+### Git
+- 远程仓库：`https://gitee.com/babycalf/mac-agent-os.git`
+- 分支策略：main 分支，单线开发
+- 排除：大媒体文件、运行时缓存、打包产物（见 `.gitignore`）
+
+### Git同步技能（替代坚果云）
+使用 `git_sync_manager` 技能可完全替代坚果云依赖：
+1. **首次配置**：技能引导完成SSH密钥生成、Gitee公钥添加、仓库配置
+2. **日常同步**：一键执行 `git pull` / `git push` 操作
+3. **多机管理**：每台电脑使用独立SSH密钥，安全隔离
+4. **自动化**：可配置定时任务或通过 `agentos sync` 命令触发
+
+### 数据流
+
+```
+本机采集 → ~/workbuddy-agent-os/agent-local/materials/ → AI提炼 → ~/workbuddy-agent-os/agent-sync/03_knowledge/00_inbox/
+                                                        ↓ 坚果云同步
+                                                        ↓
+其他电脑 → inbox_refine → 归档到知识库 → Git commit → Gitee
+```
+
+---
+
+## 七、换机还原流程（3步）
+
+```bash
+# 1. 等坚果云同步完成，agent-os 目录出现在本机
+# 2. 安装基础环境
+cd ~/workbuddy-agent-os/agent-sync/00_bootstrap && bash init.sh
+
+# 3. 手动安装 oMLX（Apple MLX 框架，硬件依赖）
+```
+
+`init.sh` 会自动完成：
+- 创建 `~/workbuddy-agent-os/agent-local/` 各子目录
+- 重建 3 个软链接（raw、vector_db、cache）
+- 创建 Python venv 并安装依赖
+- 填充本机设备信息到 IDENTITY.md
+- 部署核心配置（SOUL.md、USER.md）到 WorkBuddy
+- 检测并提示需要手动安装的组件
+
+---
+
+## 八、定时任务
+
+| 任务 | 时间 | 脚本 | 说明 |
+|------|------|------|------|
+| 每日记忆提炼 | 02:00 | `memory_manager/daily_digest.py` | 对话→L2 事实 |
+| 收件箱汇聚 | 02:30 | `collect_to_inbox/collect_to_inbox.py` | 知识库扫描→inbox |
+| 收件箱提纯 | 03:00 | `inbox_refine/inbox_refine.py` | inbox→分类归档 |
+
+---
+
+## 九、运行时外挂（不属于仓库）
+
+以下组件由系统管理，不进 Git，换机时需手动安装：
+
+| 组件 | 路径 | 说明 |
+|------|------|------|
+| oMLX | `/Applications/oMLX.app` | 本地 LLM 引擎 |
+| WorkBuddy Python | `~/.workbuddy/binaries/python/` | WorkBuddy 管理的运行时 |
+| WorkBuddy Node | `~/.workbuddy/binaries/node/` | WorkBuddy 管理的运行时 |
+| Playwright 浏览器 | `~/Library/Caches/ms-playwright/` | `playwright install chromium` 重装 |
+| 坚果云客户端 | `/Applications/Nutstore.app` | 系统应用 |
@@ -0,0 +1,22 @@
+# 03_knowledge/99_system/ 归档文件
+
+以下文件已从 99_system/ 根目录移入 archive/ 子目录：
+
+## 归档清单
+
+| 原文件 | 归档日期 | 理由 |
+|:-------|:---------|:------|
+| ARCHITECTURE_AUDIT.md | 2026-06-21 | 一次性审计报告，历史价值 |
+| ARCHITECTURE_CONSTITUTION.md | 2026-06-21 | 旧版架构文档，已被替代 |
+| ARCHITECTURE_v3.md | 2026-06-21 | 旧版架构文档 |
+| TRANSFORMATION_ROADMAP.md | 2026-06-21 | 旧路线图，已完成或过时 |
+| 2026-06-01_2026-05-17_..._统一升级引擎.md | 2026-06-21 | 文件名异常长，inbox_refine bug 产物 |
+| AgentOS-原子操作体系-v2_副本2/ | 2026-06-21 | 目录副本，内容重复 |
+
+## 移动至其他目录的文件
+
+| 原文件 | 新位置 | 理由 |
+|:-------|:-------|:------|
+| agent-os-memory-knowledge-architecture.md | architecture/ | 归入架构目录 |
+| memory-index.md | architecture/ | 归入架构目录 |
+| dashboard-v4-design.md | dashboard/ | 归入看板目录 |
@@ -0,0 +1,201 @@
+# AgentOS 快速上手
+
+> 版本 3.0 | 多智能体协同模式
+
+## 前置条件
+
+- ✅ **WorkBuddy 桌面客户端**（[codebuddy.cn](https://www.codebuddy.cn) 下载）— 必需
+- ✅ **Git**（macOS 自带）— 代码同步必需
+- ✅ **Gitee 或 GitHub 账号** — 用于多机协同
+- ⬜ **Obsidian**（[obsidian.md](https://obsidian.md) 下载）— 推荐，浏览知识库
+
+> Python 和 Node.js 由 WorkBuddy 自动管理，**不需要手动安装**。
+
+---
+
+## 新机器部署流程
+
+### 1. 克隆仓库
+
+```bash
+git clone [email protected]:babycalf/mac-agent-os.git ~/workbuddy-agent-os/agent-sync
+cd ~/workbuddy-agent-os/agent-sync
+```
+
+> 如果 SSH 未配置，用 `git_sync_manager` 技能引导配置。
+
+### 2. 一键初始化
+
+```bash
+bash 00_bootstrap/init.sh
+```
+
+脚本自动完成：
+- 创建 `agent-local/` 目录结构（identity/memory/materials/submissions...）
+- 重建 3 条软链接（raw/vector_db/cache）
+- 安装 Python 依赖
+- 检测设备和系统信息
+- 创建 L1 关键词索引
+
+### 3. 生成本机身份
+
+```bash
+agentos localize
+```
+
+执行后：
+- `agent-local/identity/IDENTITY.md` — 本机身份（含主机名、路径等）
+- `agent-local/identity/USER.md` — 用户信息
+- `agent-local/identity/HOST_ID.md` — **本机角色 + 能力开关**
+
+**关键步骤**：编辑 `HOST_ID.md` 设置角色：
+
+```yaml
+# 选择一种角色：
+# master     → 知识提纯/记忆汇总/核心维护（推荐主电脑）
+# maintainer → 内容采集/本地记忆/提交价值内容（推荐工作机）
+# node       → 信息采集/素材上传（推荐轻量设备）
+角色: master
+```
+
+> 角色决定自动化任务：master 自动执行 inbox_refine，其他角色跳过。
+
+### 4. 同步技能到 WorkBuddy
+
+```bash
+agentos sync
+```
+
+将 `02_skills/` 下的技能注册到 WorkBuddy，同时部署 MCP 配置。
+
+### 5. 升级依赖
+
+```bash
+agentos upgrade
+```
+
+拉取最新代码 + 安装依赖 + 环境检查。
+
+### 6. 重建向量数据库
+
+```bash
+agentos rebuild-vector
+```
+
+在本地重建语义检索索引（升级后必须执行）。
+
+### 7. 验证系统状态
+
+```bash
+agentos check
+```
+
+---
+
+## 日常使用流程
+
+### 拉取最新代码
+
+```bash
+cd ~/workbuddy-agent-os/agent-sync && git pull
+```
+
+### 主节点（master）操作
+
+```bash
+# 查看待提纯内容
+ls 03_knowledge/01_submissions/
+
+# 手动触发收件箱提纯
+agentos skill run inbox_refine
+
+# 查看各节点提交
+find 03_knowledge/01_submissions/ -name "*.md"
+
+# 提交变更到协同仓库
+git add -A
+git commit -m "知识库更新摘要"
+git push
+```
+
+### 工作/采集节点操作
+
+```bash
+# 提交知识内容
+cp 提炼后的笔记.md ~/workbuddy-agent-os/agent-local/submissions/inbox/
+# 然后 git commit + git pull request 或手动同步
+
+# 本机记忆提炼（自动运行）
+# 结果保存在 agent-local/memory/daily/
+```
+
+### 升级流程
+
+```bash
+git pull
+agentos upgrade
+agentos rebuild-vector
+```
+
+---
+
+## 角色行为速查
+
+| 场景 | master | maintainer | node |
+|------|--------|------------|------|
+| 本地记忆提炼 | ✅ 自动 | ✅ 自动 | ✅ 自动 |
+| 内容采集 | ✅ 自动 | ✅ 自动 | ✅ 自动 |
+| 知识库提纯 | ✅ 自动 | ⛔ 跳过 | ⛔ 跳过 |
+| Git 推送 | ✅ 自动 | ❌ 手动 | ❌ 手动 |
+| 提交有价值内容 | — | ✅ 通过 submissions | ✅ 通过 submissions |
+| 向量库重建 | ✅ 升级后执行 | ✅ 升级后执行 | ✅ 升级后执行 |
+
+---
+
+## 验证
+
+```bash
+# 1. 检查角色
+cat ~/workbuddy-agent-os/agent-local/identity/HOST_ID.md
+
+# 2. 检查角色检查工具
+python3 ~/workbuddy-agent-os/agent-sync/05_tools/01_system/role_check.py
+
+# 3. 检查向量库状态
+agentos rebuild-vector --dry-run
+
+# 4. 检查 Git 状态
+cd ~/workbuddy-agent-os/agent-sync && git status
+```
+
+---
+
+## 多机首次协同设置
+
+```bash
+# 机器A（master）：
+git clone ... && bash init.sh && agentos localize
+# 编辑 HOST_ID.md → role: master
+agentos sync && agentos upgrade && agentos rebuild-vector
+
+# 机器B（maintainer）：
+git clone ... && bash init.sh && agentos localize
+# 编辑 HOST_ID.md → role: maintainer
+agentos sync && agentos upgrade && agentos rebuild-vector
+
+# 机器B 采集后提交：
+cp 内容 ~/agent-local/submissions/inbox/
+cd ~/agent-sync && git add -A && git commit -m "提交内容" && git push
+
+# 机器A 提纯发布：
+cd ~/agent-sync && git pull
+# → inbox_refine 自动检测 submissions/ 中的新内容
+# → 审核后发布到知识库 → git push
+
+# 机器B 获取最新知识库：
+cd ~/agent-sync && git pull
+```
+
+---
+
+🎉 **完成！** 你的多智能体联邦已就绪。各节点按角色自动运行对应任务。
@@ -0,0 +1,324 @@
+# AgentOS 技能清单与部署手册 v2.0
+
+> 最后更新：2026-05-02 | 设备：MacBook Air M1 8GB | 系统：macOS 26.4
+
+---
+
+## 一、快速指令对照表
+
+| 指令 | 技能 | 动作 |
+|------|------|------|
+| `转笔记` | content_processor → bilinote | 视频→结构化笔记 |
+| `摘字幕` | content_processor → bilinote | 仅语音转文字 |
+| `视频摘要` | content_processor → bilinote | 提炼核心观点 |
+| `视频大纲` | content_processor → bilinote | 层级内容大纲 |
+| `剪藏` | content_processor → web-clipper | 网页→Markdown |
+| `摘抄` | content_processor → web-clipper | 保存全文 |
+| `文章摘要` | content_processor → web-clipper | 3 句话概括 |
+| `提炼` | content_processor → web-clipper | 方法论/步骤/结论 |
+| `翻译` | content_processor → web-clipper | 翻译成中文 |
+| `语音摘要` | content_processor → voice-summary | 语音→核心要点 |
+| `转文字` | content_processor → voice-summary | 逐字稿 |
+| `采集` | content_processor → social-collector | 小红书/抖音→笔记 |
+| `采集摘要` | content_processor → social-collector | 采集+AI总结 |
+| `开始收集` | auto_collector | 启动 24h 监控 |
+| `停止收集` | auto_collector | 暂停监控 |
+| `收集报告` | auto_collector | 今日采集摘要 |
+| `记忆更新` | memory_manager | 手动触发记忆提炼 |
+| `入库` | kb_manager | 知识入库（→ 00_inbox/） |
+| `归集` | collect_to_inbox | 分类目录→收件箱 |
+| `收集到收件箱` | collect_to_inbox | 手动触发汇聚 |
+| `提纯` | inbox_refine | 收件箱提纯归档 |
+| `整理收件箱` | inbox_refine | 手动触发提纯 |
+| `抓取` | web_crawler | 网页抓取+反爬 |
+| `备份知识库` | sync_manager | 全量备份 |
+| `git同步` | git_sync_manager | SSH配置+Git同步（替代坚果云） |
+| `SSH配置` | git_sync_manager | 生成SSH密钥并配置Gitee |
+| `多机同步` | git_sync_manager | 多台电脑间同步代码 |
+
+---
+
+## 二、技能详览
+
+### 1. memory_manager（记忆管理）
+
+| 属性 | 值 |
+|------|-----|
+| 版本 | 1.1.0 |
+| 位置 | `~/workbuddy-agent-os/agent-sync/02_skills/memory_manager/` + `~/.workbuddy/skills/memory_manager/` |
+| 触发词 | 记忆更新、每日提炼、整理记忆、记忆检查、查记忆 |
+| 核心脚本 | `daily_digest.py`、`bootstrap_from_memory.py`、`memory_cleanup.py`、`agent_memory_init.py` |
+| 依赖 | sqlite-utils ✅、sqlite3(标准库) ✅ |
+
+### 2. kb_manager（知识库管理）
+
+| 属性 | 值 |
+|------|-----|
+| 版本 | 1.1.0 |
+| 位置 | `~/workbuddy-agent-os/agent-sync/02_skills/kb_manager/` + `~/.workbuddy/skills/kb_manager/` |
+| 触发词 | 入库、保存知识、知识分类、查知识库、ingest、kb |
+| 核心脚本 | `kb_ingest.py` |
+| 入库目标 | `03_knowledge/00_inbox/`（收件箱，待提纯） |
+| 依赖 | trafilatura ✅、chromadb ✅、sqlite-utils ✅ |
+
+### 3. inbox_refine（收件箱提纯）
+
+| 属性 | 值 |
+|------|-----|
+| 版本 | 1.0.0 |
+| 位置 | `~/workbuddy-agent-os/agent-sync/02_skills/inbox_refine/` + `~/.workbuddy/skills/inbox_refine/` |
+| 触发词 | 提纯、整理收件箱、归档inbox、inbox refine |
+| 核心脚本 | `inbox_refine.py` |
+| 自动化 | 每日凌晨 3:00（WorkBuddy automation `agentos-2`） |
+| 前置步骤 | collect_to_inbox（每日 2:30 先汇聚到收件箱） |
+| 流程 | 00_inbox/ → 分类 → 应用模板 → 写入目标目录 → 更新首页 → 更新 CHANGELOG |
+| 依赖 | python3 ✅、file_read/write ✅、oMLX+Qwen3-8B-MLX-4bit ✅（可选） |
+
+### 4. collect_to_inbox（分类目录汇聚收件箱）★ 新增
+
+| 属性 | 值 |
+|------|-----|
+| 版本 | 1.0.0 |
+| 位置 | `~/workbuddy-agent-os/agent-sync/02_skills/collect_to_inbox/` + `~/.workbuddy/skills/collect_to_inbox/` |
+| 触发词 | 归集、收集到收件箱、汇聚收件箱、collect inbox |
+| 核心脚本 | `collect_to_inbox.py` |
+| 自动化 | 每日凌晨 2:30（WorkBuddy automation `agentos-3`） |
+| 扫描目录 | 50_resources/视频笔记、50_resources/字幕存档、50_resources/阅读笔记、50_resources/全文存档、50_resources/翻译存档、50_resources/灵感素材、50_resources/语音转写、20_methods/、01_daily/闪念笔记、40_references/ |
+| 流程 | 扫描各分类目录 → 提取主要内容 → 生成标准化 MD → 写入 00_inbox/ → 标记原文件已收集 |
+| 依赖 | python3 ✅ |
+
+### 5. auto_collector（24h 自动收集）
+
+| 属性 | 值 |
+|------|-----|
+| 版本 | 1.0.0 |
+| 位置 | `~/workbuddy-agent-os/agent-sync/02_skills/auto_collector/` + `~/.workbuddy/skills/auto_collector/` |
+| 触发词 | 开始收集、停止收集、收集状态、收集报告、监控 |
+| 监控源 | RSS/B站/小红书/抖音/网页 |
+| 依赖 | feedparser ✅、schedule ✅、@tikomni/skills ✅、crawl4ai ✅ |
+| 待部署 | BiliNote Docker（视频监控） |
+
+### 6. content_processor（统一内容处理）
+
+| 属性 | 值 |
+|------|-----|
+| 版本 | 1.0.0 |
+| 位置 | `~/workbuddy-agent-os/agent-sync/02_skills/content_processor/` + `~/.workbuddy/skills/content_processor/` |
+| 触发词 | 转笔记/剪藏/语音摘要/采集/摘抄/提炼/翻译 等 |
+| 路由 | → bilinote / web-clipper / voice-summary / social-collector |
+| 依赖 | trafilatura ✅、whisper ✅、@tikomni/skills ✅、crawl4ai ✅ |
+
+### 7. web_crawler（网页抓取+反爬）
+
+| 属性 | 值 |
+|------|-----|
+| 版本 | 1.1.0 |
+| 位置 | `~/workbuddy-agent-os/agent-sync/02_skills/web_crawler/` + `~/.workbuddy/skills/web_crawler/` |
+| 触发词 | 抓取、爬取、crawl、fetch |
+| 引擎 | Scrapling(三模式) + Crawl4AI + Playwright+Stealth |
+| 依赖 | scrapling ✅、crawl4ai ✅、playwright ✅、playwright-stealth ✅ |
+| 待解决 | Playwright Chromium 浏览器下载（网络问题） |
+
+### 8. sync_manager（同步管理）
+
+| 属性 | 值 |
+|------|-----|
+| 版本 | 1.1.0 |
+| 位置 | `~/workbuddy-agent-os/agent-sync/02_skills/sync_manager/` + `~/.workbuddy/skills/sync_manager/` |
+| 触发词 | 备份知识库、导出知识库、同步状态 |
+| 同步方式 | 坚果云（`~/NutstoreCloudBridge/`） |
+| 依赖 | 坚果云 ✅、tar/gzip(系统自带) ✅ |
+
+### 9. git_sync_manager（Git多机同步管理器）
+
+| 属性 | 值 |
+|------|-----|
+| 版本 | 1.0.0 |
+| 位置 | `~/.workbuddy/skills/git_sync_manager/` |
+| 触发词 | git同步、SSH配置、多机同步、替代坚果云 |
+| 核心功能 | SSH密钥生成、Gitee公钥配置、仓库设置、一键同步 |
+| 同步方向 | pull（拉取）、push（推送）、both（双向） |
+| 依赖 | Git ✅、SSH ✅、Gitee账号 ✅ |
+| 安全设计 | 不存储私钥、使用占位符配置、权限严格控制 |
+
+### 10. bilinote（视频→结构化笔记）
+
+| 属性 | 值 |
+|------|-----|
+| 位置 | `~/.workbuddy/skills/bilinote/` |
+| 触发词 | 转笔记、摘字幕、视频摘要、视频大纲 |
+| 依赖 | BiliNote Docker ⚠️ 待部署 |
+
+### 8. web-clipper（网页→Markdown）
+
+| 属性 | 值 |
+|------|-----|
+| 位置 | `~/.workbuddy/skills/web-clipper/` |
+| 触发词 | 剪藏、摘抄、文章摘要、提炼、翻译 |
+| 依赖 | trafilatura ✅ |
+| 状态 | ✅ 可用 |
+
+### 9. voice-summary（语音→核心要点）
+
+| 属性 | 值 |
+|------|-----|
+| 位置 | `~/.workbuddy/skills/voice-summary/` |
+| 触发词 | 语音摘要、转文字、闪念笔记 |
+| 依赖 | openai-whisper ✅ |
+| 状态 | ✅ 文字可用 |
+
+### 10. social-collector（小红书/抖音→笔记）
+
+| 属性 | 值 |
+|------|-----|
+| 位置 | `~/.workbuddy/skills/social-collector/` |
+| 触发词 | 采集、采集摘要 |
+| 依赖 | @tikomni/skills ✅ |
+| 状态 | ✅ 可用 |
+
+### 11. tikomni-data（跨平台数据引擎）
+
+| 属性 | 值 |
+|------|-----|
+| 位置 | `~/.workbuddy/skills/tikomni-data/` |
+| 触发词 | tikomni、提取数据 |
+| 依赖 | @tikomni/skills ✅ |
+| 状态 | ✅ 可用 |
+
+### 12. obsidian（Obsidian Vault 操作）
+
+| 属性 | 值 |
+|------|-----|
+| 位置 | `~/.workbuddy/skills/obsidian/` |
+| 状态 | ✅ 可用 |
+
+### 13. Playwright Scraper（浏览器抓取）
+
+| 属性 | 值 |
+|------|-----|
+| 位置 | `~/.workbuddy/skills/Playwright Scraper/` |
+| 状态 | ✅ 可用 |
+
+---
+
+## 三、完整依赖清单
+
+### Python 依赖（agent-os venv）
+
+| 包 | 版本 | 用途 | 安装状态 |
+|---|---|---|---|
+| trafilatura | 2.0.0 | 网页内容提取 | ✅ |
+| sqlite-utils | 3.39 | SQLite 增强 | ✅ |
+| feedparser | latest | RSS 解析 | ✅ |
+| schedule | latest | 定时任务 | ✅ |
+| chromadb | latest | 向量数据库 | ✅ |
+| scrapling | latest | 三引擎反爬抓取 | ✅ |
+| crawl4ai | latest | LLM 友好结构化抓取 | ✅ |
+| playwright | 1.58.0 | 浏览器自动化 | ✅ |
+| playwright-stealth | latest | 反检测 | ✅ |
+| openai-whisper | latest | 语音转文字 | ✅ |
+| stagehand | latest | 复杂页面交互 | ✅ |
+
+**安装命令**：
+```bash
+# 所有 pip 包一条命令安装
+/Users/chengzige/.workbuddy/binaries/python/envs/agent-os/bin/pip install \
+  trafilatura sqlite-utils feedparser schedule chromadb \
+  scrapling 'crawl4ai[all]' playwright playwright-stealth \
+  openai-whisper stagehand
+```
+
+### Node.js 依赖
+
+| 包 | 用途 | 安装状态 |
+|---|---|---|
+| @tikomni/skills | 小红书/抖音数据采集 | ✅ |
+
+**安装命令**：
+```bash
+cd /Users/chengzige/.workbuddy/binaries/node/workspace && \
+NODE_PATH=/Users/chengzige/.workbuddy/binaries/node/versions/22.12.0/bin/node \
+/Users/chengzige/.workbuddy/binaries/node/versions/22.12.0/bin/npm install @tikomni/skills
+```
+
+### 系统/外部依赖
+
+| 软件 | 安装方式 | 用途 | 状态 |
+|---|---|---|---|
+| oMLX | 官网下载 / App Store | 本地 LLM 运行（MLX 框架） | ✅ 已安装 v0.3.6 |
+| Obsidian | 官网下载 | 知识库管理 | ✅ 已安装 |
+| Playwright Chromium | `playwright install chromium` | 浏览器引擎 | ⚠️ 待下载 |
+| BiliNote Docker | Docker 部署 | 视频转笔记 | ⚠️ 待部署 |
+| yt-dlp | `brew install yt-dlp` | 视频下载 | ⚠️ 需 brew |
+| ffmpeg | `brew install ffmpeg` | 音视频转换 | ⚠️ 需 brew |
+| ScreenPipe | `brew install screenpipe` | 屏幕录制 OCR | ⚠️ 需 brew |
+| Homebrew | 官网安装脚本 | 包管理器 | ❌ 未安装 |
+| jq | 系统自带 | JSON 处理 | ✅ |
+
+---
+
+## 四、环境配置
+
+### 固定路径
+
+```
+# Python
+MANAGED_PYTHON=/Users/chengzige/.workbuddy/binaries/python/versions/3.13.12/bin/python3
+AGENTOS_PYTHON=/Users/chengzige/.workbuddy/binaries/python/envs/agent-os/bin/python3
+AGENTOS_VENV=/Users/chengzige/.workbuddy/binaries/python/envs/agent-os
+
+# Node.js
+MANAGED_NODE=/Users/chengzige/.workbuddy/binaries/node/versions/22.12.0/bin/node
+NODE_WORKSPACE=/Users/chengzige/.workbuddy/binaries/node/workspace
+
+# agent-os
+AGENTOS_ROOT=~/workbuddy-agent-os/agent-sync
+
+# 知识库
+KNOWLEDGE_BASE=~/workbuddy-agent-os/agent-sync/03_knowledge/
+
+# 坚果云
+NUTSTORE=~/NutstoreCloudBridge/
+```
+
+### 迁移到新机器时
+
+1. 安装 WorkBuddy（自动提供 managed Python/Node）
+2. 创建 agent-os venv：
+   ```bash
+   $MANAGED_PYTHON -m venv $AGENTOS_VENV
+   $AGENTOS_VENV/bin/pip install -r ~/workbuddy-agent-os/agent-sync/requirements.txt
+   ```
+3. 安装 Node 依赖：
+   ```bash
+   cd $NODE_WORKSPACE && npm install @tikomni/skills
+   ```
+4. 安装 Homebrew → `brew install yt-dlp ffmpeg screenpipe`
+5. 安装 Obsidian
+6. 部署 BiliNote Docker
+7. 运行 `playwright install chromium`
+8. 运行冷启动：`$AGENTOS_PYTHON ~/workbuddy-agent-os/agent-sync/02_skills/memory_manager/bootstrap_from_memory.py --root ~/workbuddy-agent-os/agent-sync`
+
+---
+
+## 五、自动化任务
+
+| 任务 | 频率 | 命令 |
+|------|------|------|
+| 每日记忆提炼 | 每日 2:00 | `$AGENTOS_PYTHON ~/workbuddy-agent-os/agent-sync/02_skills/memory_manager/daily_digest.py --root ~/workbuddy-agent-os/agent-sync` |
+| 分类目录汇聚收件箱 | 每日 2:30 | `$AGENTOS_PYTHON ~/workbuddy-agent-os/agent-sync/02_skills/collect_to_inbox/collect_to_inbox.py --root ~/workbuddy-agent-os/agent-sync` |
+| 知识库收件箱提纯 | 每日 3:00 | `$AGENTOS_PYTHON ~/workbuddy-agent-os/agent-sync/02_skills/inbox_refine/inbox_refine.py --root ~/workbuddy-agent-os/agent-sync` |
+| RSS 检查 | 每小时 | auto_collector |
+| 社交平台检查 | 每 2 小时 | auto_collector + TikOmni |
+| 网页变化检查 | 每小时 | auto_collector + Crawl4AI |
+| 采集日报 | 每日 23:00 | auto_collector 汇总 |
+
+---
+
+## 六、待解决项
+
+| 项目 | 优先级 | 说明 |
+|------|--------|------|
+| Playwright Chromium | 中 | 网络问题导致下载失败，需换网络重试 |
+| Homebrew | 中 | 可选，安装后可装 yt-dlp/ffmpeg/screenpipe |
+| BiliNote Docker | 低 | 视频转笔记核心依赖，需 Docker Desktop |