feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程,直接发 HTTP
Deploy VitePress site to Pages / build (push) Canceled after 0s
Deploy VitePress site to Pages / Deploy (push) Canceled after 0s

移植自 mac-agent-os 的 mediacrawler_adapter:不起子进程、不开页面,用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin,所以 ingest 那条链路一个字不用改。

**目前能用的(真环境实测,非推断)**:

    profile/other : 200, 7075 字节  —— 博主主页指标(粉丝/获赞/作品数/昵称)
    aweme/detail  : 200, 45425 字节 —— 单条作品详情(含点赞/评论/收藏/分享)

**目前不能用的:作品列表 `aweme/post`。** 两个互相独立的原因:
  1. 这个接口被抖音单独升级成了真校验:不带 x-tt-argus 回 403「Uifid Not Found」,
     带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过,「真校验」过不了。
     同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的,
     挑中的恰好是「批量拉作品列表」这个最敏感的动作。
  2. 改走页面截获也不行:CDP 浏览器打开博主主页会落到「验证码中间页」(当天大量探测的
     代价,过几小时要重测)。

  所以现在的边界是:**已知作品的指标刷新能做,自动发现新作品做不了**。

**排查中控住变量后得到的两条事实**(都写进注释了):
  · `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
    UA+client hints+Cookie 时是 200 但仅 121 字节的空壳,补上这三个头变 7074 字节。
    (我先前猜的 sec-ch-ua 不是关键。)
  · 因此 UA 与 client hints 必须**成套地取自同一个浏览器**,所以 BrowserIdentity 一次
    从 CDP 取齐 cookie + UA + hints,而不是各自写死。

「200 + 空 body 必须当场报错」也是刻意写死的:放过去它会在下游变成「这个博主没作品」,
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的,还被翻译成「账号被封」。

测试 +11:cookie 解析、请求头成套性(含 uifid 缺失/回退)、产物键名与 store 对齐、
以及 _get 的三条失败路径(空 body / 403 带网关原话 / 正常返回)。
This commit is contained in:
2026-10-10 17:12:25 +08:00
parent 21ff01b894
commit 2112c1a870
1601 changed files with 367425 additions and 0 deletions
@@ -0,0 +1,81 @@
# 📚 API 文档中心
> 本目录把各平台**官方 API 文档抓到本地**,供看板「📚 API 文档中心」页浏览,
> 与 `config/capabilities.yaml` 的能力条目**互相跳转** —— 不用每次现抓。
---
## 目录结构
```
docs/api/
├── README.md ← 本文件
├── index.json ← 自动生成的索引(页面清单 + 原文 URL + 本地文件 + sha256)
└── raw/
├── qwen/ ← 千问AI平台(阿里 DashScope)官方文档(.md)
└── kling/ ← 可灵 AI 官方文档
```
## 怎么更新
```bash
cd 05_tools/09_ave
# 增量更新(已存在的跳过)
~/.workbuddy/binaries/python/envs/agent-os/bin/python3 scripts/tools/fetch_api_docs.py
# 全量重抓
... fetch_api_docs.py --force
# 只看会抓哪些(不下载)
... fetch_api_docs.py --list
# 只抓某个平台
... fetch_api_docs.py --source qwen
... fetch_api_docs.py --source kling
```
脚本位置:`scripts/tools/fetch_api_docs.py`
## 怎么加新平台
编辑脚本里的 `SOURCES` 列表,加一项即可:
```python
{
"id": "volcano", # 目录名
"name": "火山引擎(即梦 / Seedream)",
"kind": "llms-txt", # 或 "explicit"
"index": "https://.../llms.txt", # llms-txt 模式:索引地址
"base": "https://.../", # 相对链接的 base
"include_paths": ["image", "video"], # 只抓这些路径
"exclude_paths": ["text-generation"], # 排除这些
}
```
`kind="explicit"` 时改为 `"pages": [("slug", "标题"), ...]` 显式登记。
## 各平台文档入口(原始地址,便于人工核对)
| 平台 | 文档入口 | 抓取方式 |
|:--|:--|:--|
| 千问AI平台(阿里) | https://platform.qianwenai.com/docs/ | `llms.txt` 自动发现 |
| 可灵 AI | https://app.klingai.com/cn/dev/document-api/ | 显式登记(单页应用) |
| 火山引擎(待加) | — | — |
> 💡 千问AI平台提供 `llms.txt`(专给 AI 读的索引)与 `llms-full.txt`(全量),
> 是目前最好抓的源。其它平台若也有类似索引,优先用它。
## 与能力清单的关联
`config/capabilities.yaml` 里每个能力可加一个字段指向本文档:
```yaml
- id: text_to_image
...
docs:
- qwen: api-reference/image-generation/wan27-image-gen-edit/create-task
- kling: imageGeneration
```
看板「⚙️ 能力配置」页据此显示「📖 查看官方文档 →」链接,跳到本文档中心对应页。