butubb
2112c1a870
移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。
**目前能用的（真环境实测，非推断）**：
profile/other : 200, 7075 字节 —— 博主主页指标（粉丝/获赞/作品数/昵称）
aweme/detail : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）
**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
挑中的恰好是「批量拉作品列表」这个最敏感的动作。
2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
代价，过几小时要重测）。
所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。
**排查中控住变量后得到的两条事实**（都写进注释了）：
· `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
（我先前猜的 sec-ch-ua 不是关键。）
· 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
从 CDP 取齐 cookie + UA + hints，而不是各自写死。
「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。
测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。
73 lines
3.2 KiB
Bash
73 lines
3.2 KiB
Bash
#!/bin/bash
|
||
# disable_worker_dashboard.sh — 停用 worker 机器上的 Dashboard（只保留 guardd）
|
||
#
|
||
# 背景：Dashboard 是联邦的统一控制平面，**只有 master（chengzigedeAir）运行**；
|
||
# worker 只跑 guardd（:9090 节点代理）。
|
||
# worker 误装 Dashboard 会导致「数据视图分裂」：账号标签/备注等本机数据
|
||
# 不跨机同步，同一账号在不同看板显示不同值 → 出现"改了看不到"的困惑。
|
||
#
|
||
# 用法（在 worker 机器上执行）:
|
||
# bash 00_bootstrap/disable_worker_dashboard.sh
|
||
#
|
||
# 恢复（如需在 worker 上重新启用）:
|
||
# mv ~/Library/LaunchAgents/com.agentos.dashboard.plist{.disabled,}
|
||
# launchctl bootstrap gui/$(id -u) ~/Library/LaunchAgents/com.agentos.dashboard.plist
|
||
|
||
echo "============================================"
|
||
echo " 停用本机 Dashboard（保留 guardd）"
|
||
echo " 主机: $(hostname) 时间: $(date '+%Y-%m-%d %H:%M')"
|
||
echo "============================================"
|
||
echo
|
||
|
||
# ── 安全检查：master 不应执行本脚本（多来源识别，避免 hostname 返回 IP 时误判）──
|
||
IDENT="$(hostname) $(scutil --get ComputerName 2>/dev/null) $(scutil --get LocalHostName 2>/dev/null)"
|
||
HOSTID_MD="$HOME/workbuddy-agent-os/agent-local/identity/HOST_ID.md"
|
||
[ -f "$HOSTID_MD" ] && IDENT="$IDENT $(head -20 "$HOSTID_MD" | tr '\n' ' ')"
|
||
|
||
IS_MASTER=false
|
||
echo "$IDENT" | grep -qiE "chengzige|橙子" && IS_MASTER=true
|
||
|
||
if [ "$IS_MASTER" = "true" ] && [ "$1" != "--force" ]; then
|
||
echo "⛔ 检测到本机疑似 master（识别串: ${IDENT:0:80}…）"
|
||
echo " master 必须运行 Dashboard（联邦统一控制平面），已中止。"
|
||
echo
|
||
echo " 若确认要在本机停用（例如本机降级为 worker），请加 --force："
|
||
echo " bash $0 --force"
|
||
exit 1
|
||
fi
|
||
[ "$IS_MASTER" = "true" ] && echo "⚠️ master 身份 + --force，继续执行（用户明确要求）" && echo
|
||
|
||
# ── ① 卸载 launchd 服务 ──
|
||
echo "① 卸载 launchd 服务..."
|
||
launchctl bootout "gui/$(id -u)/com.agentos.dashboard" 2>&1 | head -2 || echo " （服务未运行或已卸载）"
|
||
|
||
# ── ② 禁用 plist（改名保留，不删除）──
|
||
echo "② 禁用 plist（改名保留，符合「不删除文件」纪律）..."
|
||
PLIST="$HOME/Library/LaunchAgents/com.agentos.dashboard.plist"
|
||
if [ -f "$PLIST" ]; then
|
||
mv "$PLIST" "$PLIST.disabled" && echo " ✅ 已改名为 com.agentos.dashboard.plist.disabled"
|
||
else
|
||
echo " （plist 不存在或已禁用）"
|
||
fi
|
||
|
||
sleep 2
|
||
|
||
# ── ③ 验证 ──
|
||
echo "③ 验证..."
|
||
DASH_N=$(ps aux | grep "uvicorn app:app" | grep -v grep | wc -l | tr -d ' ')
|
||
GUARDD_N=$(ps aux | grep -c "[g]uardd" | tr -d ' ')
|
||
echo " Dashboard 进程数: $DASH_N （应为 0）"
|
||
echo " guardd 进程数: $GUARDD_N （应 > 0）"
|
||
if lsof -i :9988 >/dev/null 2>&1; then
|
||
echo " ⚠️ 9988 端口仍在监听"
|
||
else
|
||
echo " ✅ 9988 端口已释放"
|
||
fi
|
||
echo
|
||
if [ "$DASH_N" = "0" ] && [ "$GUARDD_N" != "0" ]; then
|
||
echo "✅ 完成：Dashboard 已停用，guardd 正常运行"
|
||
echo " 请统一访问中心看板：http://100.111.43.6:9988"
|
||
else
|
||
echo "⚠️ 请检查上述结果（Dashboard 应为 0，guardd 应 > 0）"
|
||
fi
|