feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程,直接发 HTTP
移植自 mac-agent-os 的 mediacrawler_adapter:不起子进程、不开页面,用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin,所以 ingest 那条链路一个字不用改。
**目前能用的(真环境实测,非推断)**:
profile/other : 200, 7075 字节 —— 博主主页指标(粉丝/获赞/作品数/昵称)
aweme/detail : 200, 45425 字节 —— 单条作品详情(含点赞/评论/收藏/分享)
**目前不能用的:作品列表 `aweme/post`。** 两个互相独立的原因:
1. 这个接口被抖音单独升级成了真校验:不带 x-tt-argus 回 403「Uifid Not Found」,
带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过,「真校验」过不了。
同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的,
挑中的恰好是「批量拉作品列表」这个最敏感的动作。
2. 改走页面截获也不行:CDP 浏览器打开博主主页会落到「验证码中间页」(当天大量探测的
代价,过几小时要重测)。
所以现在的边界是:**已知作品的指标刷新能做,自动发现新作品做不了**。
**排查中控住变量后得到的两条事实**(都写进注释了):
· `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
UA+client hints+Cookie 时是 200 但仅 121 字节的空壳,补上这三个头变 7074 字节。
(我先前猜的 sec-ch-ua 不是关键。)
· 因此 UA 与 client hints 必须**成套地取自同一个浏览器**,所以 BrowserIdentity 一次
从 CDP 取齐 cookie + UA + hints,而不是各自写死。
「200 + 空 body 必须当场报错」也是刻意写死的:放过去它会在下游变成「这个博主没作品」,
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的,还被翻译成「账号被封」。
测试 +11:cookie 解析、请求头成套性(含 uifid 缺失/回退)、产物键名与 store 对齐、
以及 _get 的三条失败路径(空 body / 403 带网关原话 / 正常返回)。
This commit is contained in:
@@ -0,0 +1,81 @@
|
||||
# 📚 API 文档中心
|
||||
|
||||
> 本目录把各平台**官方 API 文档抓到本地**,供看板「📚 API 文档中心」页浏览,
|
||||
> 与 `config/capabilities.yaml` 的能力条目**互相跳转** —— 不用每次现抓。
|
||||
|
||||
---
|
||||
|
||||
## 目录结构
|
||||
|
||||
```
|
||||
docs/api/
|
||||
├── README.md ← 本文件
|
||||
├── index.json ← 自动生成的索引(页面清单 + 原文 URL + 本地文件 + sha256)
|
||||
└── raw/
|
||||
├── qwen/ ← 千问AI平台(阿里 DashScope)官方文档(.md)
|
||||
└── kling/ ← 可灵 AI 官方文档
|
||||
```
|
||||
|
||||
## 怎么更新
|
||||
|
||||
```bash
|
||||
cd 05_tools/09_ave
|
||||
|
||||
# 增量更新(已存在的跳过)
|
||||
~/.workbuddy/binaries/python/envs/agent-os/bin/python3 scripts/tools/fetch_api_docs.py
|
||||
|
||||
# 全量重抓
|
||||
... fetch_api_docs.py --force
|
||||
|
||||
# 只看会抓哪些(不下载)
|
||||
... fetch_api_docs.py --list
|
||||
|
||||
# 只抓某个平台
|
||||
... fetch_api_docs.py --source qwen
|
||||
... fetch_api_docs.py --source kling
|
||||
```
|
||||
|
||||
脚本位置:`scripts/tools/fetch_api_docs.py`
|
||||
|
||||
## 怎么加新平台
|
||||
|
||||
编辑脚本里的 `SOURCES` 列表,加一项即可:
|
||||
|
||||
```python
|
||||
{
|
||||
"id": "volcano", # 目录名
|
||||
"name": "火山引擎(即梦 / Seedream)",
|
||||
"kind": "llms-txt", # 或 "explicit"
|
||||
"index": "https://.../llms.txt", # llms-txt 模式:索引地址
|
||||
"base": "https://.../", # 相对链接的 base
|
||||
"include_paths": ["image", "video"], # 只抓这些路径
|
||||
"exclude_paths": ["text-generation"], # 排除这些
|
||||
}
|
||||
```
|
||||
|
||||
`kind="explicit"` 时改为 `"pages": [("slug", "标题"), ...]` 显式登记。
|
||||
|
||||
## 各平台文档入口(原始地址,便于人工核对)
|
||||
|
||||
| 平台 | 文档入口 | 抓取方式 |
|
||||
|:--|:--|:--|
|
||||
| 千问AI平台(阿里) | https://platform.qianwenai.com/docs/ | `llms.txt` 自动发现 |
|
||||
| 可灵 AI | https://app.klingai.com/cn/dev/document-api/ | 显式登记(单页应用) |
|
||||
| 火山引擎(待加) | — | — |
|
||||
|
||||
> 💡 千问AI平台提供 `llms.txt`(专给 AI 读的索引)与 `llms-full.txt`(全量),
|
||||
> 是目前最好抓的源。其它平台若也有类似索引,优先用它。
|
||||
|
||||
## 与能力清单的关联
|
||||
|
||||
`config/capabilities.yaml` 里每个能力可加一个字段指向本文档:
|
||||
|
||||
```yaml
|
||||
- id: text_to_image
|
||||
...
|
||||
docs:
|
||||
- qwen: api-reference/image-generation/wan27-image-gen-edit/create-task
|
||||
- kling: imageGeneration
|
||||
```
|
||||
|
||||
看板「⚙️ 能力配置」页据此显示「📖 查看官方文档 →」链接,跳到本文档中心对应页。
|
||||
Reference in New Issue
Block a user