feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程，直接发 HTTP

移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。 **目前能用的（真环境实测，非推断）**： profile/other : 200, 7075 字节 —— 博主主页指标（粉丝/获赞/作品数/昵称） aweme/detail : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享） **目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因： 1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，挑中的恰好是「批量拉作品列表」这个最敏感的动作。 2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的代价，过几小时要重测）。所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。 **排查中控住变量后得到的两条事实**（都写进注释了）： · `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有 UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。（我先前猜的 sec-ch-ua 不是关键。） · 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次从 CDP 取齐 cookie + UA + hints，而不是各自写死。「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。
2026-10-10 17:12:25 +08:00
parent 21ff01b894
commit 2112c1a870
1601 changed files with 367425 additions and 0 deletions
@@ -0,0 +1,93 @@
+"""
+lib/http.py — 统一 HTTP 入口（禁用系统代理 + 自动重试）
+
+## 为什么需要（2026-10-04 定位的坑）
+macOS 开启系统代理（如 127.0.0.1:7892）后，Python 的 `urllib.request.urlopen`
+会**自动读取系统代理设置**。而系统代理对国内 API（可灵 / 百炼 / 火山）经常
+时通时不通，表现为：
+
+    [SSL: UNEXPECTED_EOF_WHILE_READING] EOF occurred in violation of protocol
+
+→ 用户看到的是「生成随机失败」「分镜生成失败」这类难以复现的问题。
+
+实测：直连（禁代理）3/3 次 HTTP 200、0.2~0.3 秒；走代理则间歇性 SSL 错误。
+
+## 用法
+    from lib.http import urlopen, request_json
+
+    req = urllib.request.Request(url, headers={...})
+    with urlopen(req, timeout=60) as r:      # 已禁代理 + 自动重试
+        data = r.read()
+
+    # 或一步到位：
+    data = request_json(url, method="POST", body={...}, headers={...})
+"""
+from __future__ import annotations
+
+import json
+import time
+import urllib.error
+import urllib.request
+from typing import Any, Optional
+
+# 禁代理 opener（进程内复用）
+_NO_PROXY_OPENER = urllib.request.build_opener(urllib.request.ProxyHandler({}))
+
+DEFAULT_RETRIES = 3
+DEFAULT_BACKOFF = 1.5      # 秒；第 n 次失败后等待 backoff * n
+
+# 值得重试的 HTTP 状态码：
+#   · 429 限流（等一会儿可能就通）
+#   · 5xx 服务端临时故障（可灵/百炼偶尔返回 502/503）
+# 不重试：其余 4xx（参数错/鉴权失败/余额不足）—— 重试只是浪费时间
+_RETRYABLE_HTTP = frozenset({429, 500, 502, 503, 504})
+
+
+def urlopen(req, timeout: int = 60, retries: int = DEFAULT_RETRIES):
+    """禁用代理地发起请求，失败自动重试（指数退避）
+
+    返回的是可作上下文管理器使用的 response 对象。
+    重试覆盖：URLError / SSLError / OSError / 超时 / 连接中断。
+    ⚠️ HTTP 4xx/5xx 不重试（那是业务错误，重试无意义）——
+       本函数只对**网络层异常**重试。
+    """
+    last_exc: Optional[BaseException] = None
+    for attempt in range(max(1, retries)):
+        try:
+            return _NO_PROXY_OPENER.open(req, timeout=timeout)
+        except urllib.error.HTTPError as e:
+            # 5xx（服务端临时故障）与 429（限流）值得重试；
+            # 其余 4xx（参数错/鉴权失败/余额不足）重试无意义 → 直接抛
+            if e.code in _RETRYABLE_HTTP:
+                last_exc = e
+                if attempt < retries - 1:
+                    time.sleep(DEFAULT_BACKOFF * (attempt + 1))
+                    continue
+            raise
+        except Exception as e:
+            last_exc = e
+            if attempt < retries - 1:
+                time.sleep(DEFAULT_BACKOFF * (attempt + 1))
+    raise last_exc  # type: ignore[misc]
+
+
+def request_json(url: str, method: str = "GET", body: Any = None,
+                 headers: Optional[dict] = None, timeout: int = 60,
+                 retries: int = DEFAULT_RETRIES) -> dict:
+    """发起 JSON 请求并解析响应（禁用代理 + 自动重试）
+
+    · body 非 None 时自动 JSON 序列化并加 Content-Type
+    · 返回值：解析后的 dict（解析失败返回 {}）
+    """
+    hdr = dict(headers or {})
+    data = None
+    if body is not None:
+        data = json.dumps(body).encode("utf-8")
+        hdr.setdefault("Content-Type", "application/json")
+    req = urllib.request.Request(url, data=data, headers=hdr, method=method)
+    with urlopen(req, timeout=timeout, retries=retries) as r:
+        raw = r.read()
+    try:
+        return json.loads(raw.decode("utf-8"))
+    except Exception:
+        return {}