feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程，直接发 HTTP

移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。 **目前能用的（真环境实测，非推断）**： profile/other : 200, 7075 字节 —— 博主主页指标（粉丝/获赞/作品数/昵称） aweme/detail : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享） **目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因： 1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，挑中的恰好是「批量拉作品列表」这个最敏感的动作。 2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的代价，过几小时要重测）。所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。 **排查中控住变量后得到的两条事实**（都写进注释了）： · `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有 UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。（我先前猜的 sec-ch-ua 不是关键。） · 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次从 CDP 取齐 cookie + UA + hints，而不是各自写死。「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。
2026-10-10 17:12:25 +08:00
parent 21ff01b894
commit 2112c1a870
1601 changed files with 367425 additions and 0 deletions
@@ -0,0 +1,83 @@
+"""
+run.py — mc run 批量执行引擎 (v1.1 - 真实引擎)
+
+使用 mc/engine.py 的 BatchEngine 实际启动浏览器执行原子操作，
+而非模拟步骤。
+
+支持:
+  - 多账号 + 多蓝图 + 多轮数
+  - 混合随机模式
+  - 浏览器生命周期管理
+  - 日志输出
+
+委派给:
+  → mc/engine.BatchEngine.run_single() → orchestrator.YanghaoOrchestrator()
+    → BrowserManager.launch() → AtomOps.execute() → 真实浏览器操作
+"""
+import asyncio
+import logging
+import sys
+import time
+from datetime import datetime
+from pathlib import Path
+
+SCRIPTS_DIR = Path(__file__).resolve().parent.parent
+sys.path.insert(0, str(SCRIPTS_DIR))
+
+log = logging.getLogger(__name__)
+
+
+class BatchRunner:
+    """批量执行引擎 — 封装 BatchEngine 提供 CLI 友好接口"""
+
+    def __init__(self, accounts, blueprints, rounds=10,
+                 interval_range=(30, 60), mix=False,
+                 corpus=None, engine="auto", daemon=False,
+                 stagger="15-30", keep_open=False,
+                 max_browsers=3, url="", direction="",
+                 comment_text="", reply_text=""):
+        self.accounts = accounts
+        self.blueprints = blueprints
+        self.rounds = rounds
+        self.mix = mix
+        self.interval_min, self.interval_max = interval_range
+        self.corpus = corpus or []
+        self.engine_type = engine
+        self.daemon = daemon
+        self.stagger = stagger
+        self.keep_open = keep_open
+        self.max_browsers = max_browsers
+        self.url = url
+        self.direction = direction
+        self.comment_text = comment_text
+        self.reply_text = reply_text
+
+    async def run(self) -> dict:
+        """执行 — 委托给 BatchEngine"""
+        from mc.engine import BatchEngine
+
+        log.info(f"  🚀 使用真实浏览器引擎执行")
+        log.info(f"     账号: {self.accounts}")
+        log.info(f"     蓝图: {self.blueprints}")
+        log.info(f"     轮数: {self.rounds} | 模式: {'混合随机' if self.mix else '顺序'}")
+        log.info(f"     浏览器上限: {self.max_browsers} | 错峰: {self.stagger}s | keep_open: {self.keep_open}")
+
+        engine = BatchEngine(
+            accounts=self.accounts,
+            blueprints=self.blueprints,
+            rounds=self.rounds,
+            mix=self.mix,
+            corpus=self.corpus,
+            stagger=self.stagger,
+            keep_open=self.keep_open,
+            max_browsers=self.max_browsers,
+            task_params={
+                "url": self.url,
+                "comment_text": self.comment_text,
+                "reply_text": self.reply_text,
+                "direction": self.direction,
+            },
+        )
+
+        report = await engine.run()
+        return report.to_dict()