butubb
2112c1a870
移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。
**目前能用的（真环境实测，非推断）**：
profile/other : 200, 7075 字节 —— 博主主页指标（粉丝/获赞/作品数/昵称）
aweme/detail : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）
**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
挑中的恰好是「批量拉作品列表」这个最敏感的动作。
2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
代价，过几小时要重测）。
所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。
**排查中控住变量后得到的两条事实**（都写进注释了）：
· `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
（我先前猜的 sec-ch-ua 不是关键。）
· 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
从 CDP 取齐 cookie + UA + hints，而不是各自写死。
「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。
测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。
176 lines
5.4 KiB
Markdown
176 lines
5.4 KiB
Markdown
# Task: submission_distill 内容蒸馏任务 🧪
|
||
> **用途**: 将 `01_submissions/` 中积压的原始采集内容自动蒸馏为结构化报告
|
||
> **建议添加至**: `ORACLE.yaml → tasks:`
|
||
> **基于数据**: 2026-05-18 至 06-08 共 70 篇袁本初文章（238KB）
|
||
|
||
---
|
||
|
||
## 一、任务定义（YAML 片段）
|
||
|
||
```yaml
|
||
- name: submission_distill
|
||
description: "蒸馏 01_submissions 原始文章为分类摘要+元数据报告"
|
||
schedule: 0 5 * * 1
|
||
# ^ 每周一早5点（赶在 inbox_refine 4点+vector_rebuild 3:30 之前）
|
||
on_machines:
|
||
- chengzigedeAir
|
||
action: distill
|
||
params:
|
||
source_dir: "01_submissions"
|
||
output_dir: "03_knowledge/00_stream"
|
||
batch_size: 10
|
||
max_age_days: 14
|
||
# 摘要模式: llm — 用 AI 写自然语言摘要
|
||
# extract — 仅提取关键词和元数据（快速版）
|
||
mode: llm
|
||
```
|
||
|
||
也可拆为两个子任务，一个做关键词提取，一个做 AI 摘要：
|
||
|
||
```yaml
|
||
- name: submission_metadata
|
||
description: "提取 submissions 元数据和关键词索引（快速，每天跑）"
|
||
schedule: 0 5 * * *
|
||
on_machines:
|
||
- chengzigedeAir
|
||
action: distill
|
||
params:
|
||
mode: extract
|
||
source_dir: "01_submissions"
|
||
output_dir: "04_memory/long_term"
|
||
|
||
- name: submission_abstract
|
||
description: "提交物 AI 摘要生成（耗时长，每周跑）"
|
||
schedule: 0 5 * * 1
|
||
on_machines:
|
||
- chengzigedeAir
|
||
action: distill
|
||
params:
|
||
mode: llm
|
||
source_dir: "01_submissions"
|
||
output_dir: "03_knowledge/00_stream"
|
||
batch_size: 10
|
||
```
|
||
|
||
---
|
||
|
||
## 二、运行时数据流
|
||
|
||
```
|
||
01_submissions/*.md
|
||
│
|
||
├── step 1: extract_metadata (每天)
|
||
│ ├── 解析文件名 → {date, author, category, seq}
|
||
│ ├── 解析 front matter → {yaml fields}
|
||
│ ├── 提取标签 → keywords[]
|
||
│ ├── 计算字数、行数
|
||
│ └── 更新 keyword_index.json
|
||
│
|
||
├── step 2: group_by_category (每周)
|
||
│ ├── 按分类聚类
|
||
│ ├── 按日期排序
|
||
│ └── 计算跨分类交叉引用
|
||
│
|
||
├── step 3: generate_summary (每周)
|
||
│ ├── 每个分类读最新一篇代表性文章
|
||
│ ├── LLM 生成 200-300 字摘要
|
||
│ ├── 提炼核心概念
|
||
│ └── 输出到 03_knowledge/00_stream/
|
||
│
|
||
└── step 4: aggregate (每周)
|
||
├── 生成跨分类主题网络
|
||
├── 更新统计表
|
||
└── 生成 JSON 摘要输出
|
||
```
|
||
|
||
---
|
||
|
||
## 三、首次执行时的预期输出
|
||
|
||
| 输出文件 | 内容 |
|
||
|:---------|:-----|
|
||
| `03_knowledge/00_stream/YYYY-MM_submissions_distillation.md` | 全量蒸馏报告（分类摘要+元数据+主题网络） |
|
||
| `04_memory/long_term/keyword_index_YYYYMMDD.json` | 更新后的关键词索引 |
|
||
| 同时更新 | `02_skills/kb_manager/` 中的分类知识条目 |
|
||
|
||
### 首次处理（基于当前 70 篇）统计预期
|
||
|
||
| 分类 | 篇数 | 预计摘要长度 | 代表标签 |
|
||
|:-----|:----:|:-----------:|:---------|
|
||
| 社会观察 | 22 | ~2,000字 | 底层逻辑、阶层流动、AI、就业、教育内卷 |
|
||
| 政治分析 | 18 | ~1,800字 | 地缘政治、中美关系、大国博弈、社会治理 |
|
||
| 经济分析 | 14 | ~1,600字 | 财务自由、资产配置、被动收入、投资 |
|
||
| 哲学思考 | 10 | ~1,400字 | 认知升维、思维方式、方法论、阶层跃迁 |
|
||
| 历史解读 | 6 | ~1,200字 | 历史周期律、文明升维、制度分析 |
|
||
|
||
### 跨分类主题网络
|
||
|
||
```
|
||
认知升维 ──→ 社会观察（阶层流动）
|
||
│
|
||
├──→ 经济分析（财务自由系统）
|
||
│
|
||
├──→ 政治分析（大国博弈底层逻辑）
|
||
│
|
||
└──→ 历史解读（文明升维）
|
||
```
|
||
|
||
---
|
||
|
||
## 四、与现有 ORACLE 任务的依赖关系
|
||
|
||
| 现有任务 | 时间 | 与 distill 的关系 |
|
||
|:---------|:----:|:-----------------|
|
||
| `collect_profiles` | 03:00 每天 | ✅ 前置——先采集后蒸馏 |
|
||
| `vector_rebuild` | 03:30 每天 | ⚠️ 错峰——distill 改 05:00 |
|
||
| `knowledge_inbox_refine` | 04:00 每天 | ⚠️ 错峰——distill 改 05:00 |
|
||
| `git_sync` | 每15分钟 | ✅ 独立，不冲突 |
|
||
|
||
---
|
||
|
||
## 五、关键技术决策
|
||
|
||
### 为什么每天 extract 但每周 generate？
|
||
|
||
- **extract**（元数据提取）：纯文本处理，每篇 < 0.1秒，70篇 < 10秒，可以每天跑
|
||
- **generate**（AI摘要）：每批10篇需要 LLM 调用，10-30秒/批，7批 ~2分钟，每周一次就够了
|
||
|
||
### batch_size=10 的考量
|
||
|
||
- 10篇恰好是平均一天的产量
|
||
- 一批的 token 量约 35KB * 10 = 350KB，在 LLM 上下文窗口内
|
||
- 分批处理可以防止单批次超时
|
||
|
||
### mode=llm vs mode=extract 的区别
|
||
|
||
- `extract`：纯文本的 shell 脚本就能完成（提取元数据、关键词、字数）
|
||
- `llm`：需要 LLM 调用（写摘要、提炼概念、跨分类分析）
|
||
|
||
---
|
||
|
||
## 六、实现建议
|
||
|
||
distill action 的实现可以放在 `05_tools/07_matrix/scripts/` 下：
|
||
|
||
```bash
|
||
# scripts/distill.sh — 内容蒸馏脚本
|
||
# 用法: bash distill.sh <mode> <source_dir> <output_dir> [batch_size]
|
||
|
||
mode=${1:-extract}
|
||
source_dir=${2:-01_submissions}
|
||
output_dir=${3:-03_knowledge/00_stream}
|
||
batch_size=${4:-10}
|
||
|
||
case "$mode" in
|
||
extract)
|
||
# 遍历所有 .md，提取 front matter + 文件名元数据
|
||
# 输出 keyword_index.json
|
||
;;
|
||
llm)
|
||
# 按分类聚类 → 每类取最新篇 → LLM 摘要 → 写报告
|
||
;;
|
||
esac
|
||
```
|
||
|
||
或者封装成 `mc distill` CLI 子命令，统一走 CommandBus。
|