feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程,直接发 HTTP
Deploy VitePress site to Pages / build (push) Canceled after 0s
Deploy VitePress site to Pages / Deploy (push) Canceled after 0s

移植自 mac-agent-os 的 mediacrawler_adapter:不起子进程、不开页面,用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin,所以 ingest 那条链路一个字不用改。

**目前能用的(真环境实测,非推断)**:

    profile/other : 200, 7075 字节  —— 博主主页指标(粉丝/获赞/作品数/昵称)
    aweme/detail  : 200, 45425 字节 —— 单条作品详情(含点赞/评论/收藏/分享)

**目前不能用的:作品列表 `aweme/post`。** 两个互相独立的原因:
  1. 这个接口被抖音单独升级成了真校验:不带 x-tt-argus 回 403「Uifid Not Found」,
     带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过,「真校验」过不了。
     同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的,
     挑中的恰好是「批量拉作品列表」这个最敏感的动作。
  2. 改走页面截获也不行:CDP 浏览器打开博主主页会落到「验证码中间页」(当天大量探测的
     代价,过几小时要重测)。

  所以现在的边界是:**已知作品的指标刷新能做,自动发现新作品做不了**。

**排查中控住变量后得到的两条事实**(都写进注释了):
  · `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
    UA+client hints+Cookie 时是 200 但仅 121 字节的空壳,补上这三个头变 7074 字节。
    (我先前猜的 sec-ch-ua 不是关键。)
  · 因此 UA 与 client hints 必须**成套地取自同一个浏览器**,所以 BrowserIdentity 一次
    从 CDP 取齐 cookie + UA + hints,而不是各自写死。

「200 + 空 body 必须当场报错」也是刻意写死的:放过去它会在下游变成「这个博主没作品」,
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的,还被翻译成「账号被封」。

测试 +11:cookie 解析、请求头成套性(含 uifid 缺失/回退)、产物键名与 store 对齐、
以及 _get 的三条失败路径(空 body / 403 带网关原话 / 正常返回)。
This commit is contained in:
2026-10-10 17:12:25 +08:00
parent 21ff01b894
commit 2112c1a870
1601 changed files with 367425 additions and 0 deletions
@@ -0,0 +1,72 @@
#!/bin/bash
# disable_worker_dashboard.sh — 停用 worker 机器上的 Dashboard(只保留 guardd)
#
# 背景:Dashboard 是联邦的统一控制平面,**只有 master(chengzigedeAir)运行**;
# worker 只跑 guardd(:9090 节点代理)。
# worker 误装 Dashboard 会导致「数据视图分裂」:账号标签/备注等本机数据
# 不跨机同步,同一账号在不同看板显示不同值 → 出现"改了看不到"的困惑。
#
# 用法(在 worker 机器上执行):
# bash 00_bootstrap/disable_worker_dashboard.sh
#
# 恢复(如需在 worker 上重新启用):
# mv ~/Library/LaunchAgents/com.agentos.dashboard.plist{.disabled,}
# launchctl bootstrap gui/$(id -u) ~/Library/LaunchAgents/com.agentos.dashboard.plist
echo "============================================"
echo " 停用本机 Dashboard(保留 guardd)"
echo " 主机: $(hostname) 时间: $(date '+%Y-%m-%d %H:%M')"
echo "============================================"
echo
# ── 安全检查:master 不应执行本脚本(多来源识别,避免 hostname 返回 IP 时误判)──
IDENT="$(hostname) $(scutil --get ComputerName 2>/dev/null) $(scutil --get LocalHostName 2>/dev/null)"
HOSTID_MD="$HOME/workbuddy-agent-os/agent-local/identity/HOST_ID.md"
[ -f "$HOSTID_MD" ] && IDENT="$IDENT $(head -20 "$HOSTID_MD" | tr '\n' ' ')"
IS_MASTER=false
echo "$IDENT" | grep -qiE "chengzige|橙子" && IS_MASTER=true
if [ "$IS_MASTER" = "true" ] && [ "$1" != "--force" ]; then
echo "⛔ 检测到本机疑似 master(识别串: ${IDENT:0:80}…)"
echo " master 必须运行 Dashboard(联邦统一控制平面),已中止。"
echo
echo " 若确认要在本机停用(例如本机降级为 worker),请加 --force:"
echo " bash $0 --force"
exit 1
fi
[ "$IS_MASTER" = "true" ] && echo "⚠️ master 身份 + --force,继续执行(用户明确要求)" && echo
# ── ① 卸载 launchd 服务 ──
echo "① 卸载 launchd 服务..."
launchctl bootout "gui/$(id -u)/com.agentos.dashboard" 2>&1 | head -2 || echo " (服务未运行或已卸载)"
# ── ② 禁用 plist(改名保留,不删除)──
echo "② 禁用 plist(改名保留,符合「不删除文件」纪律)..."
PLIST="$HOME/Library/LaunchAgents/com.agentos.dashboard.plist"
if [ -f "$PLIST" ]; then
mv "$PLIST" "$PLIST.disabled" && echo " ✅ 已改名为 com.agentos.dashboard.plist.disabled"
else
echo " (plist 不存在或已禁用)"
fi
sleep 2
# ── ③ 验证 ──
echo "③ 验证..."
DASH_N=$(ps aux | grep "uvicorn app:app" | grep -v grep | wc -l | tr -d ' ')
GUARDD_N=$(ps aux | grep -c "[g]uardd" | tr -d ' ')
echo " Dashboard 进程数: $DASH_N (应为 0)"
echo " guardd 进程数: $GUARDD_N (应 > 0)"
if lsof -i :9988 >/dev/null 2>&1; then
echo " ⚠️ 9988 端口仍在监听"
else
echo " ✅ 9988 端口已释放"
fi
echo
if [ "$DASH_N" = "0" ] && [ "$GUARDD_N" != "0" ]; then
echo "✅ 完成:Dashboard 已停用,guardd 正常运行"
echo " 请统一访问中心看板:http://100.111.43.6:9988"
else
echo "⚠️ 请检查上述结果(Dashboard 应为 0,guardd 应 > 0)"
fi