feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程，直接发 HTTP
移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。
**目前能用的（真环境实测，非推断）**：
profile/other : 200, 7075 字节 —— 博主主页指标（粉丝/获赞/作品数/昵称）
aweme/detail : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）
**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
挑中的恰好是「批量拉作品列表」这个最敏感的动作。
2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
代价，过几小时要重测）。
所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。
**排查中控住变量后得到的两条事实**（都写进注释了）：
· `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
（我先前猜的 sec-ch-ua 不是关键。）
· 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
从 CDP 取齐 cookie + UA + hints，而不是各自写死。
「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。
测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。
This commit is contained in:
@@ -0,0 +1,183 @@
|
||||
# AgentOS 新机器部署指南
|
||||
|
||||
> 版本: v2.0 | 最后更新: 2026-06-15
|
||||
> 本文件供 AI 智能体读取后自动执行部署。
|
||||
|
||||
---
|
||||
|
||||
## 架构说明
|
||||
|
||||
### 与旧版部署的关系
|
||||
|
||||
| 旧版 (v1.0) | 新版 (v2.0) | 关系 |
|
||||
|:------------|:------------|:------|
|
||||
| `init.sh` | 保留，增加代码签名检测 | 扩展 |
|
||||
| `deploy.sh` | 保留，增加步骤 | 扩展 |
|
||||
| `setup_env.sh` | 保留 | 不变 |
|
||||
| — | `requirements.txt` | **新增**：版本锁定 |
|
||||
| — | Python 重签步骤 | **新增**：解决代码签名问题 |
|
||||
|
||||
**旧版部署方案仍然可用**，v2.0 是在其基础上增加了 2 个新步骤：
|
||||
1. 检测 WorkBuddy 管理的 Python 是否有代码签名问题 → 自动修复
|
||||
2. 从 `requirements.txt` 安装锁定版本的核心依赖
|
||||
|
||||
### 联邦系统 CLI
|
||||
|
||||
底层 CLI 是 `mc`（`05_tools/07_matrix/mc`），它统一管理养号、采集、远程执行等功能。未来 AgentOS 系统级的 CLI 可以在此基础上扩展，但目前 `mc` 已经覆盖了所有核心操作。
|
||||
|
||||
---
|
||||
|
||||
## 一、前置条件
|
||||
|
||||
1. ✅ 本机已安装 **WorkBuddy**（从官网下载）
|
||||
2. ✅ 已拥有 Gitee 仓库的 SSH 访问权限
|
||||
3. ✅ macOS 版本 ≥ 14.0
|
||||
4. ✅ **Tailscale** 已安装并登录（跨局域网通信用）
|
||||
5. ✅ **远程登录**已开启：系统设置 → 通用 → 共享 → 远程登录
|
||||
|
||||
---
|
||||
|
||||
## 二、部署步骤（AI 请按顺序执行）
|
||||
|
||||
### 步骤 1：克隆仓库
|
||||
|
||||
```bash
|
||||
cd ~
|
||||
git clone [email protected]:babycalf/mac-agent-os.git workbuddy-agent-os/agent-sync
|
||||
```
|
||||
|
||||
### 步骤 2：运行部署脚本
|
||||
|
||||
```bash
|
||||
cd ~/workbuddy-agent-os/agent-sync
|
||||
bash 00_bootstrap/deploy.sh
|
||||
```
|
||||
|
||||
`deploy.sh` 会自动：
|
||||
- 设置环境变量 `AGENT_SYNC` / `AGENT_LOCAL` 并写入 `.zshrc`
|
||||
- 创建 `agent-local/` 目录结构
|
||||
- 创建 `agent-local/config.yaml` 默认配置
|
||||
- 检测 Tailscale 状态
|
||||
|
||||
### 步骤 3：修复 Python 代码签名（新增）
|
||||
|
||||
WorkBuddy 管理的 Python 二进制被腾讯签名，带有 Team ID，导致 orjson 等 `.so` 文件无法加载。需要移除签名：
|
||||
|
||||
```bash
|
||||
PYTHON_BIN="$HOME/.workbuddy/binaries/python/versions/3.13.12/bin/python3"
|
||||
codesign -f -s - "$PYTHON_BIN"
|
||||
```
|
||||
|
||||
验证修复：
|
||||
```bash
|
||||
"$PYTHON_BIN" -c "import orjson; print(orjson.__version__)"
|
||||
```
|
||||
|
||||
预期输出：`3.11.9`
|
||||
|
||||
### 步骤 4：安装核心依赖（新增）
|
||||
|
||||
```bash
|
||||
cd ~/workbuddy-agent-os/agent-sync
|
||||
pip install -r requirements.txt
|
||||
```
|
||||
|
||||
### 步骤 5：验证环境
|
||||
|
||||
```bash
|
||||
bash 00_bootstrap/fleet_reconcile.sh
|
||||
```
|
||||
|
||||
所有检查项应为绿色 ✅。如果红色 ❌，请根据提示修复。
|
||||
|
||||
### 步骤 6：启动 Dashboard
|
||||
|
||||
```bash
|
||||
cd ~/workbuddy-agent-os/agent-sync/05_tools/10_dashboard
|
||||
nohup python3 run.py 9988 > /dev/null 2>&1 &
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 三、新机器加入联邦集群
|
||||
|
||||
上述步骤完成后，通知主控机器（chengzigedeAir）的管理员，将新机器信息加入 `ORACLE.yaml`：
|
||||
|
||||
```yaml
|
||||
machines:
|
||||
新机器名:
|
||||
hostname: 新机器名
|
||||
tailscale_host: 新机器tailscale名
|
||||
tailscale_ip: 100.x.x.x
|
||||
ssh_user: 用户名
|
||||
uid_prefix: 新机器的 uid 前8位
|
||||
role: worker
|
||||
os: macOS arm64
|
||||
```
|
||||
|
||||
然后在本机执行同步：
|
||||
```bash
|
||||
bash 00_bootstrap/fleet_sync.sh
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 四、已知问题与处理
|
||||
|
||||
### 1. 登录进程卡死
|
||||
|
||||
`mc account login` 命令在 Cookie 过期或需要扫码时，会打开浏览器等待用户操作，不会自动超时退出。如果调度器连续 spawn 多个登录命令且无人操作，会积累大量僵尸进程。
|
||||
|
||||
**预防**: 启动养号前先验证账号登录状态：
|
||||
```bash
|
||||
python3 -m mc status all | grep -i "login"
|
||||
```
|
||||
|
||||
**处理**: 如果已累积僵尸进程，手动 kill：
|
||||
```bash
|
||||
pkill -f "mc account login"
|
||||
```
|
||||
|
||||
### 2. Python 代码签名问题复发
|
||||
|
||||
如果 WorkBuddy 升级后重新安装了 Python，代码签名可能会恢复。重新执行步骤 3 即可。
|
||||
|
||||
### 3. 包版本不一致
|
||||
|
||||
三台机器从 `requirements.txt` 安装即可对齐：
|
||||
```bash
|
||||
pip install -r requirements.txt --force-reinstall
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 五、完整部署流程（速查）
|
||||
|
||||
```bash
|
||||
# 新机器部署（6步，约10分钟）
|
||||
git clone [email protected]:babycalf/mac-agent-os.git ~/workbuddy-agent-os/agent-sync
|
||||
cd ~/workbuddy-agent-os/agent-sync
|
||||
bash 00_bootstrap/deploy.sh
|
||||
source ~/.zshrc
|
||||
codesign -f -s - $HOME/.workbuddy/binaries/python/versions/3.13.12/bin/python3
|
||||
pip install -r requirements.txt
|
||||
bash 00_bootstrap/fleet_reconcile.sh
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 六、联邦常用操作
|
||||
|
||||
```bash
|
||||
# 一键同步所有机器
|
||||
bash 00_bootstrap/fleet_sync.sh
|
||||
|
||||
# 单机对账检查
|
||||
bash 00_bootstrap/fleet_reconcile.sh
|
||||
|
||||
# 远程执行命令
|
||||
python3 -m mc remote exec 机器名 "命令" --via ssh
|
||||
|
||||
# 查看所有机器状态
|
||||
python3 -m mc remote status
|
||||
```
|
||||
Reference in New Issue
Block a user