feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程,直接发 HTTP
移植自 mac-agent-os 的 mediacrawler_adapter:不起子进程、不开页面,用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin,所以 ingest 那条链路一个字不用改。
**目前能用的(真环境实测,非推断)**:
profile/other : 200, 7075 字节 —— 博主主页指标(粉丝/获赞/作品数/昵称)
aweme/detail : 200, 45425 字节 —— 单条作品详情(含点赞/评论/收藏/分享)
**目前不能用的:作品列表 `aweme/post`。** 两个互相独立的原因:
1. 这个接口被抖音单独升级成了真校验:不带 x-tt-argus 回 403「Uifid Not Found」,
带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过,「真校验」过不了。
同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的,
挑中的恰好是「批量拉作品列表」这个最敏感的动作。
2. 改走页面截获也不行:CDP 浏览器打开博主主页会落到「验证码中间页」(当天大量探测的
代价,过几小时要重测)。
所以现在的边界是:**已知作品的指标刷新能做,自动发现新作品做不了**。
**排查中控住变量后得到的两条事实**(都写进注释了):
· `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
UA+client hints+Cookie 时是 200 但仅 121 字节的空壳,补上这三个头变 7074 字节。
(我先前猜的 sec-ch-ua 不是关键。)
· 因此 UA 与 client hints 必须**成套地取自同一个浏览器**,所以 BrowserIdentity 一次
从 CDP 取齐 cookie + UA + hints,而不是各自写死。
「200 + 空 body 必须当场报错」也是刻意写死的:放过去它会在下游变成「这个博主没作品」,
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的,还被翻译成「账号被封」。
测试 +11:cookie 解析、请求头成套性(含 uifid 缺失/回退)、产物键名与 store 对齐、
以及 _get 的三条失败路径(空 body / 403 带网关原话 / 正常返回)。
This commit is contained in:
@@ -0,0 +1,145 @@
|
||||
"""
|
||||
⚠️ 已废弃 — 请使用 services/browser_orchestrator.py 替代。
|
||||
本文件保留供 app.py 过渡使用,新代码禁止导入。
|
||||
|
||||
资源锁模块 — 浏览器/账号/身份互斥
|
||||
|
||||
管理三把锁:
|
||||
- browser: 每台机器只能开一个浏览器
|
||||
- account: 同一账号不能同时被两个操作使用
|
||||
- identity: 同一身份不能同时被两个浏览器使用
|
||||
|
||||
锁文件路径: cross_machine/tasks/locks/{resource_type}/{resource_id}.json
|
||||
"""
|
||||
|
||||
import json, time
|
||||
from pathlib import Path
|
||||
from datetime import datetime, timezone
|
||||
|
||||
from plugins.base import CROSS_MACHINE
|
||||
|
||||
LOCKS_DIR = CROSS_MACHINE / "tasks" / "locks"
|
||||
DEFAULT_TTL = 3600 # 1小时自动过期
|
||||
|
||||
|
||||
def _now():
|
||||
return datetime.now(timezone.utc).isoformat()
|
||||
|
||||
|
||||
def _lock_path(resource_type: str, resource_id: str) -> Path:
|
||||
d = LOCKS_DIR / resource_type
|
||||
d.mkdir(parents=True, exist_ok=True)
|
||||
return d / f"{resource_id}.json"
|
||||
|
||||
|
||||
def acquire_lock(resource_type: str, resource_id: str,
|
||||
holder: str, ttl: int = DEFAULT_TTL) -> dict:
|
||||
"""获取资源锁
|
||||
|
||||
Returns:
|
||||
{"success": True} 或 {"success": False, "held_by": "...", "message": "..."}
|
||||
"""
|
||||
fp = _lock_path(resource_type, resource_id)
|
||||
|
||||
# 检查是否已被占用
|
||||
if fp.exists():
|
||||
try:
|
||||
existing = json.loads(fp.read_text())
|
||||
# 检查 TTL
|
||||
acquired = existing.get("acquired_at", "")
|
||||
if acquired:
|
||||
acquired_ts = datetime.fromisoformat(acquired).timestamp()
|
||||
if time.time() - acquired_ts < ttl:
|
||||
return {
|
||||
"success": False,
|
||||
"held_by": existing.get("held_by", "未知"),
|
||||
"message": f"{resource_type}:{resource_id} 已被 {existing.get('held_by', '未知')} 占用"
|
||||
}
|
||||
else:
|
||||
# TTL 过期, 覆盖
|
||||
pass
|
||||
except:
|
||||
pass
|
||||
|
||||
lock = {
|
||||
"resource_type": resource_type,
|
||||
"resource_id": resource_id,
|
||||
"held_by": holder,
|
||||
"acquired_at": _now(),
|
||||
"ttl": ttl,
|
||||
}
|
||||
fp.write_text(json.dumps(lock, indent=2))
|
||||
return {"success": True}
|
||||
|
||||
|
||||
def release_lock(resource_type: str, resource_id: str, holder: str = "") -> bool:
|
||||
"""释放资源锁"""
|
||||
fp = _lock_path(resource_type, resource_id)
|
||||
if not fp.exists():
|
||||
return True
|
||||
if holder:
|
||||
try:
|
||||
data = json.loads(fp.read_text())
|
||||
if data.get("held_by") != holder:
|
||||
return False # 不是自己的锁, 不能释放
|
||||
except:
|
||||
pass
|
||||
fp.unlink(missing_ok=True)
|
||||
return True
|
||||
|
||||
|
||||
def check_lock(resource_type: str, resource_id: str) -> dict:
|
||||
"""检查资源锁状态"""
|
||||
fp = _lock_path(resource_type, resource_id)
|
||||
if not fp.exists():
|
||||
return {"locked": False}
|
||||
try:
|
||||
data = json.loads(fp.read_text())
|
||||
return {"locked": True, "held_by": data.get("held_by", "?"), "since": data.get("acquired_at", "")}
|
||||
except:
|
||||
return {"locked": False}
|
||||
|
||||
|
||||
def acquire_browser_lock(machine: str, holder: str) -> dict:
|
||||
"""获取浏览器锁 (每机器全局一把)"""
|
||||
return acquire_lock("browser", machine, holder)
|
||||
|
||||
|
||||
def release_browser_lock(machine: str, holder: str = "") -> bool:
|
||||
"""释放浏览器锁"""
|
||||
return release_lock("browser", machine, holder)
|
||||
|
||||
|
||||
def acquire_account_lock(account_id: str, holder: str) -> dict:
|
||||
"""获取账号锁"""
|
||||
return acquire_lock("account", account_id, holder)
|
||||
|
||||
|
||||
def release_account_lock(account_id: str, holder: str = "") -> bool:
|
||||
"""释放账号锁"""
|
||||
return release_lock("account", account_id, holder)
|
||||
|
||||
|
||||
def acquire_identity_lock(identity_dir: str, holder: str) -> dict:
|
||||
"""获取身份锁"""
|
||||
return acquire_lock("identity", identity_dir, holder)
|
||||
|
||||
|
||||
def release_identity_lock(identity_dir: str, holder: str = "") -> bool:
|
||||
"""释放身份锁"""
|
||||
return release_lock("identity", identity_dir, holder)
|
||||
|
||||
|
||||
def release_all_locks(holder: str):
|
||||
"""释放指定持有者的所有锁"""
|
||||
for resource_type in ["browser", "account", "identity"]:
|
||||
d = LOCKS_DIR / resource_type
|
||||
if not d.exists():
|
||||
continue
|
||||
for fp in d.glob("*.json"):
|
||||
try:
|
||||
data = json.loads(fp.read_text())
|
||||
if data.get("held_by") == holder:
|
||||
fp.unlink(missing_ok=True)
|
||||
except:
|
||||
fp.unlink(missing_ok=True)
|
||||
Reference in New Issue
Block a user