feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程，直接发 HTTP
移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。
**目前能用的（真环境实测，非推断）**：
profile/other : 200, 7075 字节 —— 博主主页指标（粉丝/获赞/作品数/昵称）
aweme/detail : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）
**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
挑中的恰好是「批量拉作品列表」这个最敏感的动作。
2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
代价，过几小时要重测）。
所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。
**排查中控住变量后得到的两条事实**（都写进注释了）：
· `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
（我先前猜的 sec-ch-ua 不是关键。）
· 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
从 CDP 取齐 cookie + UA + hints，而不是各自写死。
「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。
测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。
This commit is contained in:
@@ -0,0 +1,96 @@
|
||||
# AgentOS 联邦系统 — 开发规则 v1.0
|
||||
|
||||
> 所有新功能/修复必须遵守以下规则，防止代码混乱。
|
||||
|
||||
---
|
||||
|
||||
## 一、代码分层与职责
|
||||
|
||||
| 层 | 文件 | 职责 | 谁写 |
|
||||
|:---|:-----|:------|:------|
|
||||
| **蓝图 JSON** | `blueprints/*.json` | **你和我交互的命名模板**，只定义参数，不写逻辑 | AI 写参数定义，你用看板填参数 |
|
||||
| **原子操作** | `douyin_ops.py` / `ops/xhs_ops.py` / `matrix_modules/account/*.py` | 被 `mc run` 引擎调用的最小操作单元 | AI 写，封装到已有类里 |
|
||||
| **引擎** | `mc/engine.py` / `mc/task.py` | 执行蓝图 + 状态机钩子(登录检测/验证处理/冷却) | AI |
|
||||
| **独立工具** | `create_identity.py` / `login_identity.py` / `publish_video.py` | CLI 可直接调的系统维护脚本 | AI |
|
||||
| **一次脚本** | `/tmp/*.py` | 临时探索/诊断，用完即删 | AI |
|
||||
| **看板视图** | `frontend/src/views/*.js` | Dashboard 前端视图 | AI |
|
||||
| **API 路由** | `routes/*.py` | 看板调用的后端接口 | AI |
|
||||
|
||||
---
|
||||
|
||||
## 二、三原则（必须遵守）
|
||||
|
||||
### 原则 1：功能加到已有类里，不建新文件
|
||||
|
||||
- 抖音的新操作 → 加 `DouyinOps` 类（`douyin_ops.py`）
|
||||
- 小红书的新操作 → 加 `XhsOps` 类（`ops/xhs_ops.py`）
|
||||
- SMS 登录 → 已有 `sms_login.py`，改它
|
||||
- 登录状态机 → 已有 `login_state_machine.py`
|
||||
|
||||
**禁止**：为每个小功能创建独立脚本。除非它是一个**完整的、可独立 CLI 调用的工具**（如 `create_identity.py`）。
|
||||
|
||||
### 原则 2：蓝图只定义参数，不写执行逻辑
|
||||
|
||||
```json
|
||||
{
|
||||
"id": "douyin_daily",
|
||||
"name": "抖音-日常养号",
|
||||
"params": { "duration": {"type": "int", "default": 600} },
|
||||
"steps": [{"step_id": 1, "op": "goto_home", "args": {}}]
|
||||
}
|
||||
```
|
||||
|
||||
- 蓝图文件只描述「有什么参数」「分几步」
|
||||
- 真正的执行逻辑在 `mc/engine.py` + 原子操作里
|
||||
|
||||
**禁止**：在蓝图 JSON 里写条件/循环/异常处理。
|
||||
|
||||
### 原则 3：`/tmp/*.py` 用完即删
|
||||
|
||||
- `/tmp/douyin_login_explore.py` — 用完即删
|
||||
- `/tmp/test_xxx.py` — 用完即删
|
||||
|
||||
**禁止**：把 `/tmp/` 脚本作为正式功能提交到 Git。
|
||||
|
||||
---
|
||||
|
||||
## 三、新增功能的标准化流程
|
||||
|
||||
```
|
||||
你提需求 → 我评估归属层 → 写入对应文件 → 你测试 → 我修正
|
||||
|
||||
例: 抖音SMS登录
|
||||
你: "douyin_133 登录过期了, 需要SMS重新登录"
|
||||
我: 归属 → DouyinOps 类
|
||||
→ douyin_ops.py 加 sms_login() 方法
|
||||
→ 调已有 sms_login.py 的 SMS 轮询逻辑
|
||||
→ 蓝图的 needs_login 字段自动触发
|
||||
→ 不建新文件
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 四、什么算"独立工具"
|
||||
|
||||
只有满足以下**全部**条件的才可以建独立脚本：
|
||||
|
||||
1. ✅ 可从 CLI 直接调用（有 `main()` + `argparse`）
|
||||
2. ✅ 不依赖 `mc run` 引擎
|
||||
3. ✅ 功能完整闭环（如 `create_identity.py` 创建身份→生成目录→写配置）
|
||||
4. ❌ 如果只是被引擎或原子操作调用的功能，必须写在对应类里
|
||||
|
||||
---
|
||||
|
||||
## 五、历史遗留处理
|
||||
|
||||
| 文件 | 状态 | 原因 |
|
||||
|:-----|:------|:------|
|
||||
| `collect_batch_runner.py` | ✅ 已归档 | 功能已被蓝图 `douyin_read_profile` 替代 |
|
||||
| `collect_homepage_info.py` | ✅ 已归档 | 同上 |
|
||||
| `matrix.py` | ✅ 已归档 | 功能被 `mc` CLI 替代 |
|
||||
| `ops/douyin/` | ✅ 已归档 | 功能被 `douyin_ops.py` 替代 |
|
||||
| `atom_ops.py` | ✅ 已归档 | 废弃 |
|
||||
| `yanghao_runner.py` | ✅ 已归档 | 废弃 |
|
||||
| `step_by_step_v*.py` | ✅ 已归档 | 废弃 |
|
||||
|
||||
**新功能必须直接写入活跃文件，不建新独立脚本。**
|
||||
Reference in New Issue
Block a user