feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程，直接发 HTTP

移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。 **目前能用的（真环境实测，非推断）**： profile/other : 200, 7075 字节 —— 博主主页指标（粉丝/获赞/作品数/昵称） aweme/detail : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享） **目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因： 1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，挑中的恰好是「批量拉作品列表」这个最敏感的动作。 2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的代价，过几小时要重测）。所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。 **排查中控住变量后得到的两条事实**（都写进注释了）： · `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有 UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。（我先前猜的 sec-ch-ua 不是关键。） · 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次从 CDP 取齐 cookie + UA + hints，而不是各自写死。「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。
2026-10-10 17:12:25 +08:00
parent 21ff01b894
commit 2112c1a870
1601 changed files with 367425 additions and 0 deletions
@@ -0,0 +1,51 @@
+---
+id: KB-YYYYMMDD-NNN
+title: "__概念名称__"
+type: concept
+status: draft
+nature: fact
+domain: [计算机科学]
+subdomain: []
+tags: [__标签1__, __标签2__]
+confidence: 0.8
+source: ""
+source_type: literature
+date_created: __DATE__
+date_modified: __DATE__
+version: 1
+aliases: [__别称__]
+keywords: [__关键词__]
+summary: "__一句话摘要__"
+related: []
+previous_version: ""
+superseded_by: ""
+---
+
+# __概念名称__
+
+## 一句话定义
+
+> __用最简洁的语言定义这个概念__
+
+## 核心原理
+
+- __原理要点 1__
+- __原理要点 2__
+- __原理要点 3__
+
+## 与相关概念的区别
+
+| 概念 | 擅长 | 不擅长 |
+|---|---|---|
+| __本概念__ | __优势__ | __劣势__ |
+| __相关概念A__ | __优势__ | __劣势__ |
+
+## 主流选择/实现
+
+- __选项 1__：__简述__
+- __选项 2__：__简述__
+
+## 相关概念
+
+- [[__相关概念1__]]
+- [[__相关概念2__]]
@@ -0,0 +1,39 @@
+---
+id: KB-YYYYMMDD-NNN
+title: "__事实标题__"
+type: fact
+status: published
+nature: fact
+domain: [__领域__]
+confidence: 0.9
+source: "__来源URL或出处__"
+source_type: experiment|literature|official_doc|personal_exp
+date_created: __DATE__
+date_modified: __DATE__
+version: 1
+previous_version: ""
+superseded_by: ""
+---
+
+# __事实标题__
+
+## 数据来源
+
+__说明数据来源、测试环境、文献出处等__
+
+## 事实内容
+
+| 维度 | 值 | 备注 |
+|---|---|---|
+| __维度1__ | __值__ | __备注__ |
+| __维度2__ | __值__ | __备注__ |
+
+## 结论
+
+__基于事实得出的结论__
+
+## 历史版本
+
+| 版本 | 日期 | 变更 | KB-ID |
+|---|---|---|---|
+| v1 | __DATE__ | 初始记录 | __KB-ID__ |
@@ -0,0 +1,62 @@
+---
+id: KB-YYYYMMDD-NNN
+title: "__方法/教程标题__"
+type: method
+status: published
+nature: method
+domain: [__领域__]
+confidence: 1.0
+source: "__来源__"
+date_created: __DATE__
+date_modified: __DATE__
+version: 1
+previous_version: ""
+superseded_by: ""
+---
+
+# __方法/教程标题__
+
+## 目标
+
+__这个方法解决什么问题？达到什么效果？__
+
+## 前置条件
+
+- __条件 1__
+- __条件 2__
+
+## 步骤
+
+### 1. __步骤名称__
+
+__详细描述__
+
+```bash
+# 示例命令
+__命令__
+```
+
+### 2. __步骤名称__
+
+__详细描述__
+
+### 3. __步骤名称__
+
+__详细描述__
+
+## 注意事项
+
+- __注意点 1__
+- __注意点 2__
+
+## 常见问题
+
+| 问题 | 原因 | 解决方案 |
+|---|---|---|
+| __问题__ | __原因__ | __方案__ |
+
+## 历史版本
+
+| 版本 | 日期 | 变更 | KB-ID |
+|---|---|---|---|
+| v1 | __DATE__ | 初始记录 | __KB-ID__ |
@@ -0,0 +1,50 @@
+---
+id: KB-YYYYMMDD-NNN
+title: "__个人洞见标题__"
+type: concept
+status: draft
+nature: opinion
+domain: [个人洞见]
+tags: [__标签1__, __标签2__]
+confidence: 0.6
+source_type: personal_exp
+date_created: __DATE__
+date_modified: __DATE__
+version: 1
+previous_version: ""
+superseded_by: ""
+---
+
+# __个人洞见标题__
+
+## 背景
+
+__什么情境下产生的这个洞见？__
+
+## 核心观点
+
+> __用一句话概括你的核心观点__
+
+## 详细思考
+
+__展开阐述你的思考过程和推理逻辑__
+
+## 可复用的原则
+
+- __原则 1__：__说明__
+- __原则 2__：__说明__
+
+## 相关经历
+
+__与这个洞见相关的个人经历或案例__
+
+## 后续验证
+
+- [ ] __验证项 1__
+- [ ] __验证项 2__
+
+## 版本记录
+
+| 版本 | 日期 | 变更 | 状态 |
+|---|---|---|---|
+| v1 | __DATE__ | 初始记录 | 观点 |