feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程，直接发 HTTP
移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。
**目前能用的（真环境实测，非推断）**：
profile/other : 200, 7075 字节 —— 博主主页指标（粉丝/获赞/作品数/昵称）
aweme/detail : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）
**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
挑中的恰好是「批量拉作品列表」这个最敏感的动作。
2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
代价，过几小时要重测）。
所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。
**排查中控住变量后得到的两条事实**（都写进注释了）：
· `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
（我先前猜的 sec-ch-ua 不是关键。）
· 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
从 CDP 取齐 cookie + UA + hints，而不是各自写死。
「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。
测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。
This commit is contained in:
@@ -0,0 +1,139 @@
|
||||
# AgentOS 世界级知识库分类体系与全链路设计规范
|
||||
|
||||
> 版本：2026-04-29
|
||||
> 作者：AI+用户共创
|
||||
|
||||
---
|
||||
|
||||
## 一、收件箱（inbox）分区与跨界机制
|
||||
|
||||
收件箱是所有本地内容进入协同目录的唯一通道，分为五大分区：
|
||||
|
||||
```
|
||||
agent-sync/03_knowledge/00_stream/inbox/
|
||||
├── knowledge/ # 知识内容（外部采集提炼后的MD知识卡）
|
||||
├── memory/ # 记忆固化（本机记忆提炼的重要内容）
|
||||
├── tools/ # 工具提交（TOOL_CARD.yaml + 入口脚本）
|
||||
├── personal/ # 个人内容（笔记、语音转写、会议记录、随手记）
|
||||
└── media/ # 轻量媒体（关键图片、短音频片段）
|
||||
```
|
||||
|
||||
- 低权限主机只能通过inbox提交内容，高权限主机可直接写入协同目录。
|
||||
- 后期可扩展权限体系，当前以手动判断为主。
|
||||
|
||||
---
|
||||
|
||||
## 二、本机记忆固化机制
|
||||
|
||||
- 本机记忆（raw/）只有满足以下任一条件才可固化：
|
||||
1. 用户主动指定“固化”
|
||||
2. AI检测高频引用/反复出现
|
||||
3. 长期未被推翻且被引用多次
|
||||
- 固化后生成MD知识卡，推入inbox/memory/，由AI自动分类入库。
|
||||
- 不固化内容永远留在本机，不同步。
|
||||
|
||||
---
|
||||
|
||||
## 三、媒体同步边界
|
||||
|
||||
- 允许同步：
|
||||
- 关键知识附图（<500KB）
|
||||
- 重要截图（<1MB）
|
||||
- 精华语音片段（<2MB，已转写）
|
||||
- 项目产出设计稿（<2MB）
|
||||
- 不允许同步：
|
||||
- 完整视频/音频/高清图片/网页原始截图/单文件>5MB
|
||||
- 媒体与MD文件同目录，frontmatter标注attachments。
|
||||
|
||||
---
|
||||
|
||||
## 四、向量数据库架构
|
||||
|
||||
- 向量DB仅在本机重建，永不同步。
|
||||
- 协同知识库（MD文件）同步后，每台机器自动重建global向量库。
|
||||
- 本机私有内容单独建local向量库。
|
||||
- 检索时合并两层结果，优先本机，补充协同。
|
||||
|
||||
---
|
||||
|
||||
## 五、知识属性六大维度（frontmatter字段）
|
||||
|
||||
### 1. 知识本质属性（nature）
|
||||
- fact/concept/axiom/method/regulation/data/reference/opinion/quote/experience/insight/inspiration
|
||||
|
||||
### 2. 领域分类（domain）
|
||||
- 19大领域，含arts/health/culture等感官与人文类
|
||||
|
||||
### 3. 认知用途（cognitive_role）
|
||||
- foundational/actionable/reference/inspirational/contextual/evaluative
|
||||
|
||||
### 4. 个人主观属性
|
||||
- interest_level/practical_value/aesthetic_value/revisit_priority/mastery
|
||||
|
||||
### 5. 时效性（temporal）
|
||||
- evergreen/current/historical/trending/expires_at
|
||||
|
||||
### 6. 来源与可信度
|
||||
- source/source_type/confidence/machine_origin/author
|
||||
|
||||
---
|
||||
|
||||
## 六、frontmatter完整模板
|
||||
|
||||
```yaml
|
||||
---
|
||||
id: KB-20260429-001
|
||||
title: "知识标题"
|
||||
version: 1
|
||||
status: draft
|
||||
nature: concept
|
||||
domain: [ai]
|
||||
subdomain: [RAG, NLP]
|
||||
cognitive_role: actionable
|
||||
interest_level: 4
|
||||
practical_value: 3
|
||||
aesthetic_value: 0
|
||||
revisit_priority: medium
|
||||
mastery: understanding
|
||||
temporal: evergreen
|
||||
expires_at: ""
|
||||
source: ""
|
||||
source_type: literature
|
||||
confidence: 0.8
|
||||
machine_origin: "macbook-air-m1"
|
||||
author: ""
|
||||
track: world
|
||||
summary: "一句话摘要"
|
||||
tags: [标签1, 标签2]
|
||||
keywords: [关键词1, 关键词2]
|
||||
aliases: [别名1]
|
||||
date_created: 2026-04-29
|
||||
date_modified: 2026-04-29
|
||||
previous_version: ""
|
||||
superseded_by: ""
|
||||
related: []
|
||||
project_ref: ""
|
||||
has_attachment: false
|
||||
attachments: []
|
||||
---
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 七、字段分层与性价比建议
|
||||
|
||||
- 必填：id/title/nature/domain/confidence/date_created/status
|
||||
- 强烈建议：cognitive_role/summary/source/track
|
||||
- 按类型填：mastery/aesthetic_value/project_ref/expires_at
|
||||
- 其余可选，内容成熟后补充
|
||||
|
||||
---
|
||||
|
||||
## 八、整体链路总结
|
||||
|
||||
- 本机捕获(重)→本机加工(重)→本机精炼(轻MD)→inbox分区→AI分类入库→多轨道归档→归档/版本链→本机/协同向量库重建
|
||||
- 六大维度属性+分区收件箱+两层向量库，兼顾检索、创意、个性化、协同。
|
||||
|
||||
---
|
||||
|
||||
> 本规范为AgentOS知识管理系统vNext的顶层设计标准，后续如有补充请在本文件基础上增量修订。
|
||||
Reference in New Issue
Block a user