Files
MediaCrawler/mac-agent-os-main/05_tools/10_dashboard/services/resource_lock.py
T
butubb 2112c1a870
Deploy VitePress site to Pages / build (push) Canceled after 0s
Deploy VitePress site to Pages / Deploy (push) Canceled after 0s
feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程,直接发 HTTP
移植自 mac-agent-os 的 mediacrawler_adapter:不起子进程、不开页面,用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin,所以 ingest 那条链路一个字不用改。

**目前能用的(真环境实测,非推断)**:

    profile/other : 200, 7075 字节  —— 博主主页指标(粉丝/获赞/作品数/昵称)
    aweme/detail  : 200, 45425 字节 —— 单条作品详情(含点赞/评论/收藏/分享)

**目前不能用的:作品列表 `aweme/post`。** 两个互相独立的原因:
  1. 这个接口被抖音单独升级成了真校验:不带 x-tt-argus 回 403「Uifid Not Found」,
     带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过,「真校验」过不了。
     同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的,
     挑中的恰好是「批量拉作品列表」这个最敏感的动作。
  2. 改走页面截获也不行:CDP 浏览器打开博主主页会落到「验证码中间页」(当天大量探测的
     代价,过几小时要重测)。

  所以现在的边界是:**已知作品的指标刷新能做,自动发现新作品做不了**。

**排查中控住变量后得到的两条事实**(都写进注释了):
  · `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
    UA+client hints+Cookie 时是 200 但仅 121 字节的空壳,补上这三个头变 7074 字节。
    (我先前猜的 sec-ch-ua 不是关键。)
  · 因此 UA 与 client hints 必须**成套地取自同一个浏览器**,所以 BrowserIdentity 一次
    从 CDP 取齐 cookie + UA + hints,而不是各自写死。

「200 + 空 body 必须当场报错」也是刻意写死的:放过去它会在下游变成「这个博主没作品」,
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的,还被翻译成「账号被封」。

测试 +11:cookie 解析、请求头成套性(含 uifid 缺失/回退)、产物键名与 store 对齐、
以及 _get 的三条失败路径(空 body / 403 带网关原话 / 正常返回)。
2026-10-10 17:12:25 +08:00

146 lines
4.4 KiB
Python

"""
⚠️ 已废弃 — 请使用 services/browser_orchestrator.py 替代。
本文件保留供 app.py 过渡使用,新代码禁止导入。
资源锁模块 — 浏览器/账号/身份互斥
管理三把锁:
- browser: 每台机器只能开一个浏览器
- account: 同一账号不能同时被两个操作使用
- identity: 同一身份不能同时被两个浏览器使用
锁文件路径: cross_machine/tasks/locks/{resource_type}/{resource_id}.json
"""
import json, time
from pathlib import Path
from datetime import datetime, timezone
from plugins.base import CROSS_MACHINE
LOCKS_DIR = CROSS_MACHINE / "tasks" / "locks"
DEFAULT_TTL = 3600 # 1小时自动过期
def _now():
return datetime.now(timezone.utc).isoformat()
def _lock_path(resource_type: str, resource_id: str) -> Path:
d = LOCKS_DIR / resource_type
d.mkdir(parents=True, exist_ok=True)
return d / f"{resource_id}.json"
def acquire_lock(resource_type: str, resource_id: str,
holder: str, ttl: int = DEFAULT_TTL) -> dict:
"""获取资源锁
Returns:
{"success": True} 或 {"success": False, "held_by": "...", "message": "..."}
"""
fp = _lock_path(resource_type, resource_id)
# 检查是否已被占用
if fp.exists():
try:
existing = json.loads(fp.read_text())
# 检查 TTL
acquired = existing.get("acquired_at", "")
if acquired:
acquired_ts = datetime.fromisoformat(acquired).timestamp()
if time.time() - acquired_ts < ttl:
return {
"success": False,
"held_by": existing.get("held_by", "未知"),
"message": f"{resource_type}:{resource_id} 已被 {existing.get('held_by', '未知')} 占用"
}
else:
# TTL 过期, 覆盖
pass
except:
pass
lock = {
"resource_type": resource_type,
"resource_id": resource_id,
"held_by": holder,
"acquired_at": _now(),
"ttl": ttl,
}
fp.write_text(json.dumps(lock, indent=2))
return {"success": True}
def release_lock(resource_type: str, resource_id: str, holder: str = "") -> bool:
"""释放资源锁"""
fp = _lock_path(resource_type, resource_id)
if not fp.exists():
return True
if holder:
try:
data = json.loads(fp.read_text())
if data.get("held_by") != holder:
return False # 不是自己的锁, 不能释放
except:
pass
fp.unlink(missing_ok=True)
return True
def check_lock(resource_type: str, resource_id: str) -> dict:
"""检查资源锁状态"""
fp = _lock_path(resource_type, resource_id)
if not fp.exists():
return {"locked": False}
try:
data = json.loads(fp.read_text())
return {"locked": True, "held_by": data.get("held_by", "?"), "since": data.get("acquired_at", "")}
except:
return {"locked": False}
def acquire_browser_lock(machine: str, holder: str) -> dict:
"""获取浏览器锁 (每机器全局一把)"""
return acquire_lock("browser", machine, holder)
def release_browser_lock(machine: str, holder: str = "") -> bool:
"""释放浏览器锁"""
return release_lock("browser", machine, holder)
def acquire_account_lock(account_id: str, holder: str) -> dict:
"""获取账号锁"""
return acquire_lock("account", account_id, holder)
def release_account_lock(account_id: str, holder: str = "") -> bool:
"""释放账号锁"""
return release_lock("account", account_id, holder)
def acquire_identity_lock(identity_dir: str, holder: str) -> dict:
"""获取身份锁"""
return acquire_lock("identity", identity_dir, holder)
def release_identity_lock(identity_dir: str, holder: str = "") -> bool:
"""释放身份锁"""
return release_lock("identity", identity_dir, holder)
def release_all_locks(holder: str):
"""释放指定持有者的所有锁"""
for resource_type in ["browser", "account", "identity"]:
d = LOCKS_DIR / resource_type
if not d.exists():
continue
for fp in d.glob("*.json"):
try:
data = json.loads(fp.read_text())
if data.get("held_by") == holder:
fp.unlink(missing_ok=True)
except:
fp.unlink(missing_ok=True)