butubb
2112c1a870
移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。
**目前能用的（真环境实测，非推断）**：
profile/other : 200, 7075 字节 —— 博主主页指标（粉丝/获赞/作品数/昵称）
aweme/detail : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）
**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
挑中的恰好是「批量拉作品列表」这个最敏感的动作。
2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
代价，过几小时要重测）。
所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。
**排查中控住变量后得到的两条事实**（都写进注释了）：
· `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
（我先前猜的 sec-ch-ua 不是关键。）
· 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
从 CDP 取齐 cookie + UA + hints，而不是各自写死。
「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。
测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。
120 lines
3.2 KiB
Markdown
120 lines
3.2 KiB
Markdown
---
|
||
name: kb_manager
|
||
version: 1.1.0
|
||
description: 知识库管理技能——新增知识入库、清洗、标签分类、属性变更移动、搜索、备份
|
||
triggers:
|
||
- 知识库管理
|
||
- 入库
|
||
- 保存知识
|
||
- 知识入库
|
||
- 知识分类
|
||
- 查知识库
|
||
- 知识检索
|
||
- 知识备份
|
||
- 知识属性变更
|
||
- 知识重分类
|
||
- ingest
|
||
- kb
|
||
---
|
||
|
||
# KB Manager 技能
|
||
|
||
## 概述
|
||
|
||
管理 AgentOS 的 Obsidian 知识库（03_knowledge/），负责知识入库、清洗、分类、属性变更移动、搜索和备份。
|
||
|
||
## 核心能力
|
||
|
||
### 1. 知识入库（kb_ingest）
|
||
- 输入：网页 URL 或纯文本
|
||
- 流程：
|
||
1. 抓取/接收原始内容
|
||
2. 清洗（去广告、去导航、提取正文）
|
||
3. 写入 `03_knowledge/00_inbox/` 作为待提纯内容
|
||
4. 由 `collect_to_inbox` 每日 2:30 提取各目录内容转入收件箱，再由 `inbox_refine` 技能每日凌晨 3:00 自动提纯归档
|
||
5. 或手动说"提纯"立即执行
|
||
|
||
### 2. 知识重分类（reclassify）
|
||
- 当知识的 nature 属性变更时（如 opinion → fact）：
|
||
1. 更新 Frontmatter 中 nature 和 status
|
||
2. 将文件从旧目录移动到新目录
|
||
3. 自动更新 Obsidian 内链
|
||
4. 记录到 04_memory/logs/kb_reclassify.log
|
||
|
||
### 3. 知识检索（kb_query）
|
||
- 检索流程：
|
||
1. 先在 L2 摘要层检索（SQLite 索引）
|
||
2. 命中后按需加载知识文件指定行号片段
|
||
3. 不加载整个文件，节省 token
|
||
|
||
### 4. 知识备份（kb_backup）
|
||
- 全量备份 03_knowledge/ 目录到指定位置
|
||
- 支持增量备份（仅备份变更文件）
|
||
|
||
## 入库规范
|
||
|
||
### Frontmatter 必填字段
|
||
|
||
```yaml
|
||
---
|
||
id: KB-YYYYMMDD-NNN
|
||
title: "知识标题"
|
||
type: concept|method|fact|reference|resource|opinion
|
||
status: draft|review|published|archived
|
||
nature: fact|opinion|method|regulation|reference|data|quote|axiom
|
||
domain: [领域1, 领域2]
|
||
confidence: 0.0-1.0
|
||
source: "原始来源 URL"
|
||
date_created: YYYY-MM-DD
|
||
date_modified: YYYY-MM-DD
|
||
version: 1
|
||
---
|
||
```
|
||
|
||
### 可选字段
|
||
|
||
```yaml
|
||
subdomain: [子领域]
|
||
tags: [标签列表]
|
||
author: 作者
|
||
source_type: personal_exp|literature|webpage|conversation|code|observation
|
||
related: [KB-ID 列表]
|
||
previous_version: KB-ID
|
||
superseded_by: KB-ID
|
||
aliases: [别称]
|
||
keywords: [关键词]
|
||
summary: 一句话摘要
|
||
```
|
||
|
||
## 预定义领域列表
|
||
|
||
计算机科学, 人工智能, 金融, 法律, 医学, 物理, 数学, 心理学, 哲学, 历史, 工程, 设计, 商业, 个人管理, 个人洞见, 其他
|
||
|
||
> 当"其他"类别超过 5% 时，memory_manager 技能会提示新增领域
|
||
|
||
## 文件结构
|
||
|
||
```
|
||
kb_manager/
|
||
├── SKILL.md
|
||
├── kb_ingest.py # 知识入库脚本
|
||
├── kb_query.py # 知识检索脚本
|
||
├── kb_backup.py # 知识备份脚本
|
||
├── kb_reclassify.py # 知识重分类脚本
|
||
└── version.json
|
||
```
|
||
|
||
## 依赖
|
||
|
||
| 包 | 用途 | 安装状态 |
|
||
|---|---|---|
|
||
| trafilatura | 网页内容提取 | ✅ 已安装 |
|
||
| chromadb | 向量存储（备选语义检索） | ✅ 已安装 |
|
||
| sqlite-utils | 数据库操作 | ✅ 已安装 |
|
||
|
||
## 自动分类标准
|
||
|
||
- nature 字段：fact / opinion / method / regulation / reference / data / quote / axiom
|
||
- domain 字段：从预定义领域列表选择 1-3 个
|
||
- confidence 评分：官方文档 0.8+、个人博客 0.4-0.6、推测 < 0.4
|