butubb/MediaCrawler
1
0
Fork 0
Code Issues Pull Requests Actions 1 Packages Projects Releases Wiki Activity

feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程，直接发 HTTP
Deploy VitePress site to Pages / build (push) Canceled after 0s
Details
Deploy VitePress site to Pages / Deploy (push) Canceled after 0s
Details

Browse Source 
移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。

**目前能用的（真环境实测，非推断）**：

    profile/other : 200, 7075 字节  —— 博主主页指标（粉丝/获赞/作品数/昵称）
    aweme/detail  : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）

**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
  1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
     带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
     同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
     挑中的恰好是「批量拉作品列表」这个最敏感的动作。
  2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
     代价，过几小时要重测）。

  所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。

**排查中控住变量后得到的两条事实**（都写进注释了）：
  · `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
    UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
    （我先前猜的 sec-ch-ua 不是关键。）
  · 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
    从 CDP 取齐 cookie + UA + hints，而不是各自写死。

「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。

测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。
This commit is contained in:
butubb
2026-10-10 17:12:25 +08:00
parent 21ff01b894
commit 2112c1a870
1601 changed files with 367425 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files
mac-agent-os-main/05_tools/10_dashboard/PLANS/BUSINESS_ARCHITECTURE_v4.md
+225
View File
@@ -0,0 +1,225 @@
# AgentOS 核心业务架构 v4.0 — 业务领域划分与指挥体系
> **版本**: 4.0 | **更新**: 2026-06-17
> **解决的核心问题**: 账号管理 vs 操作执行边界模糊、指挥链路不清晰、结果回传缺失
---
## 一、核心原则（先理解这个）
```
┌──────────────────────────────────────────────────────┐
│ USER │
│ (Dashboard / AI Agent / CLI) │
└──────────┬────────────────────────────────┬───────────┘
│ │
▼ ▼
┌──────────────────────┐ ┌──────────────────────────┐
│ 🪪 账号管理层 │ │ ⚡ 操作执行层 │
│ │ │ │
│ 只看不操作 │ │ 只操作不看 │
│ - 查看账号列表 │ │ - 养号（日常活跃） │
│ - 查看状态 │ │ - 信息采集 │
│ - 注册/删除 │ │ - 内容发布 │
│ - 跨机分配 │ │ - 定向评论 │
│ - 编辑配置 │ │ - 收藏点赞 │
│ │ │ - 登录/登出 │
└──────────────────────┘ └──────────┬───────────────┘
│
▼
┌──────────────────┐
│ 统一执行引擎 │
│ mc run / mc ops │
└──────────────────┘
```
**关键约束（解决了用户的困惑）：**
1. **账号管理 = 只读 + 配置**。它显示账号的登录状态、Cookie 有效性、昵称、上次采集时间，但不触发任何操作。
2. **信息采集是操作，不是管理**。采集应该放在「操作执行层」作为一个独立的操作类型，不应该混在账号管理里。
3. **所有操作走统一指挥体系**。无论是养号、采集、发布、评论，底层都走同一个执行引擎，只是参数不同。
---
## 二、业务领域划分
### 领域 1：账号管理 🪪 — "只看不操作"
| 功能 | 说明 | API |
| :--- | :---------------------------------- | :---------------------------------------- |
| 账号列表 | 显示所有账号（跨机聚合）+ 登录状态 + Cookie状态 + 昵称 | `GET /api/matrix/accounts` |
| 注册账号 | 在本机或指定机器创建新账号 | `POST /api/matrix/accounts` |
| 删除账号 | 删除账号 + 可选删除身份目录 | `DELETE /api/matrix/accounts/{id}` |
| 编辑账号 | 修改 phone / platform / owner_machine | `PUT /api/matrix/accounts/{id}` |
| 跨机分配 | 将账号从一个机器移到另一个 | `POST /api/matrix/accounts/{id}/relocate` |
| 身份管理 | 查看/编辑身份目录 | `POST /api/matrix/identities` |
**当前状态**: 这部分已有完整前后端，需要的是**和采集解耦**。
---
### 领域 2：操作执行 ⚡ — "只操作不看"
所有操作共享相同的执行基础设施：
```
All Ops → POST /api/ops/run → 自动路由(本机subprocess/远程SSH) → 执行 → 写结果文件
↓
GET /api/ops/status ← 轮询结果
GET /api/ops/results ← 获取结果
GET /api/ops/log/{id} ← 查看日志
```
#### 操作类型清单
| 操作 | 命令 | 蓝图 | 说明 |
|:-----|:------|:------|:------|
| 🏃 养号执行 | `mc run --accounts=X --blueprints=Y` | douyin_daily / xhs_daily | 浏览、滑动、点赞、关注等日常活跃 |
| 📡 信息采集 | `mc collect` | — | 采集账号主页信息（昵称/粉丝数/作品数） |
| 📤 内容发布 | `mc publish` | — | 发布视频/图文到已登录账号 |
| 💬 定向评论 | `mc task comment` | — | 在指定作品下发表评论 |
| ❤️ 收藏点赞 | `mc task like/favorite` | — | 对指定内容点赞/收藏 |
| 🔑 登录/登出 | `mc smart-login` / `mc account logout` | — | 管理账号登录态 |
**关键设计**：所有操作通过 `POST /api/ops/run` 这一个入口，用 `type` 参数区分操作类型。
---
## 三、统一指挥体系（解决了"一台指挥三台"的问题）
### 3.1 当前架构（已实现）
```
Dashboard → /api/ops/run
→ 解析 type + accounts + params
→ 按 owner_machine 路由到各机器
→ 本机: subprocess.Popen → nurture_runner.sh
→ 远程: SSH → remote_exec → nurture_runner.sh
→ 结果写入: ~/agent-local/runtime/ops/{type}_{timestamp}_{account}.json
```
### 3.2 同一个 API 处理所有操作
```
POST /api/ops/run
{
"type": "nurture"|"collect"|"publish"|"comment"|"like",
"accounts": ["douyin_01", "xhs_01"],
"params": {
"blueprint": "douyin_daily", // 仅 nurture 用
"rounds": 10, // 仅 nurture 用
"url": "...", // 仅 comment/like 用
"content": "..." // 仅 comment 用
},
"machine": "", // 可选，自动路由
"dry_run": false
}
```
**返回值**：
```json
{
"status": "started",
"ops": [
{"account": "douyin_01", "run_id": "nurture_123_douyin_01", "machine": "chengzigedeAir"},
{"account": "xhs_01", "run_id": "nurture_124_xhs_01", "machine": "7kecheng"}
]
}
```
### 3.3 结果回传（已实现）
```
每台机器执行完后写入:
~/agent-local/runtime/ops/{type}_{ts}_{account}.json
Dashboard 统一查询:
GET /api/ops/results?type=nurture&limit=10
GET /api/ops/status
GET /api/ops/log/{run_id}
```
**跨机结果聚合**：
- 本机结果：直接读本地文件
- 远程结果：Dashboard 通过 HTTP 轮询远程机器的 `/api/ops/results` 端点
---
## 四、Dashboard 导航视图设计（新方案）
```
📱 矩阵
├── 🪪 账号管理 ← 只读 + 注册/删除/跨机 (原 sms-proxy)
├── 🏃 养号执行 ← 日常活跃 (原 nurture)
├── 📡 信息采集 ← 采集主页信息 (原 collect)
├── 📤 内容发布 ← 发作品 (原 publish)
├── 💬 定向评论 ← 评论 (原 comment)
├── ❤️ 收藏点赞 ← 点赞收藏 (新建)
├── 📋 蓝图管理 ← 编排原子操作 (原 blueprints)
├── 🔑 登录管理 ← 查看/管理登录态 (新建)
└── ⏱ 定时任务 ← 定时执行以上任何操作 (原 schedule)
```
**「账号管理」只做这些**：
✅ 查看所有账号（三机聚合）
✅ 显示昵称 / 手机号 / 登录态 / Cookie状态 / 上次采集时间
✅ 注册新账号
✅ 删除账号（可选删身份目录）
✅ 编辑账号（改平台/机器/备注）
✅ 跨机迁移
❌ **不做**：信息采集、养号执行、评论、发布（这些归到对应的操作视图）
---
## 五、「联邦指挥台」概念
一个独立的指挥视图，统一操作入口：
```
┌──────── 联邦指挥台 ────────┐
│ │
│ 目标机器: [▼全部/本机/7k] │
│ 操作类型: [▼养号/采集/...] │
│ 账号筛选: [按平台/机器...] │
│ 参数设置: [轮数/蓝图...] │
│ │
│ [🚀 批量执行] │
│ │
│ 执行记录: │
│ ┌──────────────────────┐ │
│ │ 12:30 douyin_01 ✅ 完成│ │
│ │ 12:30 xhs_01 ⏳ 执行│ │
│ │ 12:28 douyin_02 ❌ 失败│ │
│ └──────────────────────┘ │
└────────────────────────────┘
```
但这**不替代**各操作专用视图。专用视图提供更多操作特定参数（比如评论要有内容输入框、发布要有文件上传）。联邦指挥台用于快速批量操作。
---
## 六、执行计划（按此逐步落地）
### Phase 1（当前阶段）：统一 ops API + 结果追踪
| # | 事项 | 状态 |
|:-:|:-----|:-----|
| 1 | 账号管理解除采集耦合 | 🔴 待做 |
| 2 | `POST /api/ops/run` 统一入口 | 🟡 部分（已做 nurture） |
| 3 | `GET /api/ops/results` 结果查询 | ✅ 已实现 |
| 4 | `GET /api/ops/status` 状态查询 | ✅ 已实现 |
| 5 | `GET /api/ops/log/{id}` 日志查看 | ✅ 已实现 |
### Phase 2：各操作视图完善
| # | 事项 | 优先级 |
|:-:|:-----|:-------|
| 1 | 信息采集视图（独立于账号管理） | P0 |
| 2 | 收藏点赞视图（新建） | P1 |
| 3 | 登录管理视图（查看+批量登录） | P1 |
| 4 | 联邦指挥台（统一批量操作入口） | P2 |
### Phase 3：跨机结果聚合
| # | 事项 | 优先级 |
|:-:|:-----|:-------|
| 1 | 远程机器结果通过 HTTP 聚合到本机 Dashboard | P1 |
| 2 | 联邦指挥台显示所有机器的执行历史和状态 | P2 |
mac-agent-os-main/05_tools/10_dashboard/PLANS/DEPLOYMENT.md
+164
View File
@@ -0,0 +1,164 @@
# 多机部署与同步更新指南
> 版本: 1.1.0 | 最后更新: 2026-05-16
> 适用: AgentOS 联邦架构下所有主机
---
## 更新流程概览
```
本机 (Redmi-12C) 其他主机 (Mac mini / …)
┌──────────────────┐ ┌──────────────────┐
│ git add + commit │ │ │
│ git push │──Gitee──▶│ git pull │
│ (本机已就绪) │ │ 停止旧服务 │
│ │ │ 启动新服务 │
└──────────────────┘ │ (完成更新) │
└──────────────────┘
```
---
## 一、本机提交（已完成）
变更清单：
| 文件 | 类型 | 说明 |
|:----|:----:|:-----|
| `05_tools/09_ave/scripts/main.py` | 修改 | dashboard 命令重定向到 `10_dashboard/` |
| `05_tools/09_ave/scripts/lib/dashboard.py` | 修改 | Python 3.9 兼容修复 (`from __future__ import annotations`) |
| `05_tools/09_ave/scripts/dashboard/app.py` | 删除 | 迁出到 `10_dashboard/` |
| `05_tools/09_ave/scripts/dashboard/static/index.html` | 删除 | 迁出到 `10_dashboard/` |
| `05_tools/10_dashboard/` | 新增 | 系统级监控面板（完整模块） |
| `03_knowledge/versions.json` | 新增 | guardd 版本跟踪清单 |
| `10_dashboard/app.py` | 修改 | v1.1.0 新增 `/api/machines` 联邦机器状态接口 |
| `10_dashboard/static/index.html` | 修改 | 新增「机器状态」面板（含在线/离线/磁盘/CPU） |
| `requirements.txt` | 修改 | 新增 fastapi / uvicorn 依赖 |
| `05_tools/09_ave/scripts/composer/hybrid.py` | 新增 | Sprint 2 口播+卡点融合 |
| `05_tools/09_ave/scripts/composer/speed_ramp.py` | 新增 | Sprint 2 变速卡点引擎 |
| `05_tools/09_ave/scripts/asset_manager/` | 新增 | 素材资产管理 |
| `05_tools/09_ave/scripts/story_director/` | 新增 | 故事导演模块 |
---
## 二、其他主机同步步骤
在 **每台** 需要更新的主机上按顺序执行：
### 步骤 1：同步代码
```bash
cd ~/workbuddy-agent-os/agent-sync
git pull
```
预期结果：
- `05_tools/10_dashboard/` 目录出现（含 app.py / run.py / plugins/ 等）
- `05_tools/09_ave/scripts/dashboard/` 目录消失（已被删除）
- `05_tools/09_ave/scripts/main.py` 更新（dashboard 命令）
- `05_tools/09_ave/scripts/lib/dashboard.py` 更新（Python 3.9 修复）
- `03_knowledge/versions.json` 出现（版本跟踪）
- `05_tools/10_dashboard/static/index.html` 新增「机器状态」导航项
- `requirements.txt` 新增 fastapi / uvicorn（需重新安装依赖）
### 步骤 2：检查旧 Dashboard 进程（如已启动过）
```bash
ps aux | grep uvicorn | grep -v grep
```
如果有输出，说明旧 Dashboard 仍在运行，需要停止并重启。
### 步骤 3：停止旧服务
```bash
# 找到旧进程 PID（第二列数字）
ps aux | grep uvicorn | grep -v grep | awk '{print $2}' | xargs kill
```
> ⚠️ 旧 Dashboard 的路径 `09_ave/scripts/dashboard/` 已被删除，
> 如果不停止，进程会报 FileNotFoundError。
### 步骤 4：启动新 Dashboard（使用 managed Python 3.13）
```bash
# 推荐使用 managed Python venv（避免 Python 3.9 兼容问题）
~/.workbuddy/binaries/python/envs/agent-os/bin/python \
~/workbuddy-agent-os/agent-sync/05_tools/10_dashboard/run.py
```
或者简写为：
```bash
cd ~/workbuddy-agent-os/agent-sync/05_tools/10_dashboard
~/.workbuddy/binaries/python/envs/agent-os/bin/python run.py
```
验证启动：
```bash
curl http://localhost:9988/api/health
# 预期: {"status":"ok","version":"1.0.0","plugins":{"ave":"available"}}
curl http://localhost:9988/api/machines
# 预期: {"machhes":[ ... ],"total":N} 显示联邦内所有主机状态
```
### 步骤 5：验证 guardd 正常运行（无需重启）
```bash
cat ~/workbuddy-agent-os/agent-local/runtime/guardd/last_run.json
# 确认所有 7 模块状态为 "ok"
```
guardd 本身未变化，无需重启。它会自动发现 `versions.json`，检测到 version 变更后写入事件。
---
## 三、启动方式参考（Dashboard）
新 Dashboard 支持三种启动方式：
```bash
# 方式 1: 通过 AVE 入口（推荐，自动处理路径）
cd ~/workbuddy-agent-os/agent-sync/05_tools/09_ave/scripts
~/.workbuddy/binaries/python/envs/agent-os/bin/python main.py dashboard
# 方式 2: 独立启动
cd ~/workbuddy-agent-os/agent-sync/05_tools/10_dashboard
~/.workbuddy/binaries/python/envs/agent-os/bin/python run.py
# 方式 3: uvicorn 开发模式
cd ~/workbuddy-agent-os/agent-sync/05_tools/10_dashboard
~/.workbuddy/binaries/python/envs/agent-os/bin/uvicorn app:app --reload --port 9988
```
> ⚠️ **注意 Python 版本**：系统默认 `python3` 为 3.9.6，不支持 `X | Y` 类型注解语法。
> **必须**使用 managed Python 3.13.12 venv 路径，否则会报 TypeError。
---
## 四、故障排查
| 症状 | 原因 | 解决 |
|:----|:----|:-----|
| `TypeError: unsupported operand type(s) for |` | 使用系统 Python 3.9 运行 | 改用 `~/.workbuddy/binaries/python/envs/agent-os/bin/python` |
| `ModuleNotFoundError: No module named 'app'` | uvicorn 找不到 `10_dashboard/app.py` | 确保 CWD 在 `10_dashboard/` 目录下 |
| `curl: (7) Connection refused` | Dashboard 未启动 | 先执行启动命令 |
| `FileNotFoundError: dashboard/app.py` | 旧进程仍在运行 | kill 旧 uvicorn 进程 |
| guardd 未检测到版本更新 | `versions.json` 不存在或格式错误 | 检查 `03_knowledge/versions.json` 是否存在且 JSON 有效 |
---
## 五、后续模块接入
当前仪表盘仅含 AVE 插件。后续模块（Matrix / guardd）接入方法：
```python
# 1. 创建 10_dashboard/plugins/matrix.py
# 2. 实现 DashboardPlugin 基类
# 3. 在 app.py 的 _register_plugins() 中添加一行
```
详见 `10_dashboard/PLANS/ARCHITECTURE.md`。