移植自 mac-agent-os 的 mediacrawler_adapter:不起子进程、不开页面,用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin,所以 ingest 那条链路一个字不用改。
**目前能用的(真环境实测,非推断)**:
profile/other : 200, 7075 字节 —— 博主主页指标(粉丝/获赞/作品数/昵称)
aweme/detail : 200, 45425 字节 —— 单条作品详情(含点赞/评论/收藏/分享)
**目前不能用的:作品列表 `aweme/post`。** 两个互相独立的原因:
1. 这个接口被抖音单独升级成了真校验:不带 x-tt-argus 回 403「Uifid Not Found」,
带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过,「真校验」过不了。
同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的,
挑中的恰好是「批量拉作品列表」这个最敏感的动作。
2. 改走页面截获也不行:CDP 浏览器打开博主主页会落到「验证码中间页」(当天大量探测的
代价,过几小时要重测)。
所以现在的边界是:**已知作品的指标刷新能做,自动发现新作品做不了**。
**排查中控住变量后得到的两条事实**(都写进注释了):
· `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
UA+client hints+Cookie 时是 200 但仅 121 字节的空壳,补上这三个头变 7074 字节。
(我先前猜的 sec-ch-ua 不是关键。)
· 因此 UA 与 client hints 必须**成套地取自同一个浏览器**,所以 BrowserIdentity 一次
从 CDP 取齐 cookie + UA + hints,而不是各自写死。
「200 + 空 body 必须当场报错」也是刻意写死的:放过去它会在下游变成「这个博主没作品」,
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的,还被翻译成「账号被封」。
测试 +11:cookie 解析、请求头成套性(含 uifid 缺失/回退)、产物键名与 store 对齐、
以及 _get 的三条失败路径(空 body / 403 带网关原话 / 正常返回)。
id, title, type, date_created, date_modified, description
| id | title | type | date_created | date_modified | description |
|---|---|---|---|---|---|
| KB-HOME | AgentOS 知识库 | homepage | 2026-04-25 | 2026-05-15 | AgentOS 智能体操作系统知识库首页——中文映射 + 目录导览 + 工具链总览 |
📚 AgentOS 知识库
本知识库采用英文目录 + 中文映射体系,按知识属性分层存储。 Vault 路径:
~/workbuddy-agent-os/agent-sync/03_knowledge/| Obsidian 已绑定此目录
🗂 目录结构
| 英文目录 | 中文名称 | 文件数 | 最后更新 |
|---|---|---|---|
| 00_inbox | 📥 收件箱(待提纯) | 8 | 2026-05-03 |
| 01_submissions | 📤 提交箱(待归集) | 3 | 2026-05-03 |
| 10_concepts | 💡 概念层 | 6 | 2026-05-13 |
| 20_methods | 🔧 方法层 | 8 | 2026-05-17 |
| 30_facts | 📋 事实层 | 0 | — |
| 40_references | 📎 参考层 | 3 | 2026-05-14 |
| 50_resources | 🛠 资源层 | 0 | — |
| 60_opinions | 💭 观点层 | 0 | — |
| 90_archive | 🗄 归档层 | 1 | 2026-05-03 |
| 总计 | 20 | 2026-05-17 |
📖 知识导览
💡 概念层(10_concepts/)
| # | 知识条目 | 来源 | 日期 |
|---|---|---|---|
| 1 | 10_concepts/social-wisdom-10-rules | 抖音@袁本初有干货 | 2026-05-03 |
| 2 | 10_concepts/power-of-naming-reality | ghai 个人洞察 | 2026-05-03 |
| 3 | 10_concepts/global-accounting-strategic-loss | ghai 个人洞察 | 2026-05-03 |
| 4 | 10_concepts/mao-ten-thinking-methods | 抖音@慧晨晨 | 2026-05-06 |
| 5 | 10_concepts/money-making-logic-value-creation | ghai 整理 | 2026-05-06 |
| 6 | 10_concepts/family-succession-capability-first | 11岁孩子的视角 | 2026-05-13 |
🔧 方法层(20_methods/)
| # | 知识条目 | 说明 |
|---|---|---|
| 1 | 20_methods/ai-video-system/INDEX | 19章教科书体系 · 结果推导方法论 · 87,000字 |
| 2 | 20_methods/kling/character-consistency-reference-sheet | 跨镜头角色锁定方案 |
| 3 | 20_methods/kling/lip-sync-solutions-comparison | Kling/GPT-4o/Lip-Sync技术横评 |
| 4 | 20_methods/kling/kling-prompt-complete-guide | 可灵全维度教程 · 105条知识 |
| 5 | 20_methods/li-dao-ai-video-prompts | 李导(Agent版)10条视频提示词提取 |
| 6 | 20_methods/shaoshi-film-aesthetics-prompts | 黄一鸣AI—依士曼胶片+高调硬光+影棚置景 |
| 7 | 20_methods/ai-prompt-video-knowledge | AI提示词驱动文生视频10条批量提取 |
| 8 | 20_methods/video-shooting-cool-techniques | 转场·灯光·动作衔接·10大技巧 · 爆款拆解 |
🎬 AI视频提示词知识体系(20_methods/ai-video-system/)
📥 待处理箱
| 箱 | 数量 | 查看 |
|---|---|---|
| 收件箱(00_inbox/) | 8 条待提纯 | 00_inbox/ |
| 提交箱(01_submissions/) | 3 条待归集 | 01_submissions/ |
📎 参考层(40_references/)
| # | 条目 | 说明 |
|---|---|---|
| 1 | 40_references/matrix-sms-verification | Matrix 养号系统短信验证码自动获取模块 |
| 2 | 40_references/peekaboo-v3-integration | macOS 屏幕视觉识别+鼠标键盘操作 |
| 3 | 40_references/cloakbrowser-integration | 源码级 Chromium,30/30反爬检测通过 |
🗄 归档(90_archive/)
| # | 条目 | 说明 |
|---|---|---|
| 1 | 90_archive/deprecated/2026-04-28_测试_LLM_分类器 | 测试文件已归档 |
🏷 知识属性分类
| nature 值 | 中文名 | 目标目录 | 可信度 |
|---|---|---|---|
| fact | 事实 | 30_facts/ | 1.0 |
| method | 方法 | 20_methods/ | 1.0 |
| concept | 概念 | 10_concepts/ | 0.8 |
| regulation | 规章 | 30_facts/ | 1.0 |
| reference | 参考 | 40_references/ | 0.7 |
| data | 数据 | 30_facts/ | 0.9 |
| opinion | 观点 | 60_opinions/ | 0.5 |
| quote | 引用 | 60_opinions/ | 0.6 |
| axiom | 公理 | 10_concepts/ | 1.0 |
🌍 领域分类
| 英文目录名 | 中文名 | 典型子领域 |
|---|---|---|
| cs | 计算机科学 | 数据库、前端、后端、运维、安全 |
| ai | 人工智能 | NLP、CV、强化学习、RAG、Agent |
| finance | 金融 | 量化交易、价值投资、宏观经济 |
| law | 法律 | 民法、商法、知识产权 |
| medicine | 医学 | 中医、西医、营养学 |
| physics | 物理 | 量子力学、相对论、热力学 |
| math | 数学 | 线性代数、概率统计、微积分 |
| psychology | 心理学 | 认知心理学、社会心理学 |
| philosophy | 哲学 | 认识论、伦理学、美学 |
| history | 历史 | 中国史、世界史、科技史 |
| engineering | 工程 | 机械、电子、土木 |
| design | 设计 | UI/UX、平面设计、建筑设计 |
| business | 商业 | 管理、营销、战略 |
| personal-management | 个人管理 | GTD、时间管理、习惯 |
| personal-insight | 个人洞见 | 反思、决策记录 |
🔄 工作流(v2.0)
"收集这个..." → 知识类 → 01_submissions/(提交箱)
"收集素材..." → 素材类 → agent-local/materials/
↓
每日 02:00 归集(collect_to_inbox)
01_submissions/ → 00_inbox/
↓
每日 02:30 提纯(inbox_refine)
00_inbox/ → AI 分类 → 按 nature 写入对应目录
↓
更新首页统计 + CHANGELOG.md
完整规范
详见:99_system/pipelines/content-collection-pipeline
📌 快速链接
- CHANGELOG — 知识库变更日志
- 99_system/templates/ — 4种知识卡片模板
- 99_system/memory-index — 记忆组件入口 + 搜索方式
- 99_system/taxonomies/domains — 16个一级领域
- 99_system/taxonomies/nature-types — 9种nature类型 + 决策树
- 99_system/pipelines/content-collection-pipeline — 完整采集→入库流程定义
- 99_system/architecture/loading-architecture — 四管道加载体系
- 99_system/architecture/trigger-matching-analysis — 关键词vs语义对比
- 99_system/protocols/meta-thinking — 升维思考/本质追问
- 99_system/protocols/cross-domain — 跨界类比/新视角
- 99_system/protocols/stuck-intervention — 遇卡壳暂停给选项
- 99_system/protocols/knowledge-review — 知识入库审查流程
🤖 本地 LLM
oMLX v0.3.6 已部署(基于 Apple MLX 框架),API 端口
localhost:8000,API Key:omlx
| 模型 | 类型 | 量化 | 大小 | 用途 |
|---|---|---|---|---|
| Qwen3-8B-MLX-4bit | LLM | Q4_K_M | 4.26 GB | 中文理解/生成,知识提纯 ⚠️ Chat API 已知 500 错误(需先调模型再回复) |
| Qwen2.5-VL-3B-Instruct-8bit | VLM | 8bit | 3.9 GB | 多模态理解(图文)✅ 正常 |
| Qwen3-Embedding-0.6B | Embedding | bf16 | 1.19 GB | 向量嵌入(1024维),语义检索 ✅ 正常 |
⚠️ Ollama 已停用,本地推理统一走 oMLX。模型目录:
~/.omlx/models/⚠️ 本机 oMLX + Qwen3-8B 的 Chat API 有多步兼容问题(tool call 结果回传时 500 错误),如需稳定多步推理建议使用 TRAE SOLO CN 桌面版。
🛠 工具链总览(2026-05-03)
| 工具 | 路径 / 位置 | 状态 | 说明 |
|---|---|---|---|
| TRAE SOLO CN 桌面版 | /Applications/TRAE SOLO CN.app |
✅ 主力 | AI IDE,内置 integrated_browser(21个工具) |
| trae_controller 技能 | ~/.workbuddy/skills/trae_controller/ |
✅ 已就绪 | 触发词:trae执行/调用trae/让trae做 |
| agentos CLI | 05_tools/00_setup/agentos/ |
✅ v2.3.0 | 系统管理:init/sync/skill/tool/check/backup/register |
| trae-agent CLI | 05_tools/08_trae_agent/ |
⚠️ 搁置 | 因 oMLX 多步兼容性问题不可用 |
| Colima / Docker | ~/.local/bin/ |
⚠️ 半就绪 | 二进制就绪,网络好时 colima start |
| Git 双远程 | Gitee + GitHub | ✅ 已配置 | 主电脑双推,其他单推 Gitee |
最后更新:2026-05-03 by Claw(知识库全面清理 + v2.0 流程 + 工具链更新)