feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程，直接发 HTTP

移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。

**目前能用的（真环境实测，非推断）**：

    profile/other : 200, 7075 字节  —— 博主主页指标（粉丝/获赞/作品数/昵称）
    aweme/detail  : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）

**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
  1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
     带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
     同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
     挑中的恰好是「批量拉作品列表」这个最敏感的动作。
  2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
     代价，过几小时要重测）。

  所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。

**排查中控住变量后得到的两条事实**（都写进注释了）：
  · `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
    UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
    （我先前猜的 sec-ch-ua 不是关键。）
  · 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
    从 CDP 取齐 cookie + UA + hints，而不是各自写死。

「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。

测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。

mac-agent-os-main/05_tools/05_crawl/longcat/longcat_claimer.py

@@ -0,0 +1,129 @@
+#!/usr/bin/env python3
+"""LongCat 每日免费额度自动领取 v3.3
+Camoufox persistent_context 模式，Cookie 持久化到 Profile 目录。
+"""
+
+import asyncio
+import argparse
+import sys
+from pathlib import Path
+
+from camoufox import AsyncCamoufox
+
+# 领取按钮匹配关键词
+CLAIM_KEYWORDS = ['立即申请', '申请', '领取', 'claim', '获取额度']
+# 点击策略：每 300ms 轮询，持续 65 秒
+CLICK_INTERVAL_MS = 300
+CLICK_DURATION_S = 65
+
+
+async def claim(args: argparse.Namespace) -> int:
+    profile_dir = Path(args.profile)
+    if not profile_dir.is_absolute():
+        profile_dir = Path.cwd() / profile_dir
+    profile_dir.mkdir(parents=True, exist_ok=True)
+    headless = args.auto
+
+    print(f"[LongCat Claimer v3.3]")
+    print(f"  Profile: {profile_dir}")
+    print(f"  Headless: {headless}")
+
+    exit_code = 1
+
+    async with AsyncCamoufox(
+        headless=headless,
+        persistent_context=True,
+        user_data_dir=str(profile_dir),
+        proxy={'server': 'socks5://127.0.0.1:10800'},
+    ) as ctx:
+        page = await ctx.new_page()
+
+        try:
+            # 1. 打开 longcat.chat
+            print("[1/3] 打开 longcat.chat ...")
+            await page.goto('https://longcat.chat', wait_until='domcontentloaded', timeout=30000)
+            await asyncio.sleep(3)
+
+            # 2. 检查登录状态
+            content = await page.content()
+            if 'Log In' in content and 'Log Out' not in content:
+                print("[FAIL] 未登录 — Cookie 已过期，需手动登录 longcat.chat")
+                # 截图留档
+                await page.screenshot(path=str(profile_dir / 'login_fail.png'))
+                return 1
+
+            login_indicators = ['登录', 'Sign In', 'signin']
+            if any(ind in content for ind in login_indicators) and '开始对话' not in content:
+                print("[FAIL] 检测到登录页面，Cookie 已失效")
+                await page.screenshot(path=str(profile_dir / 'login_fail.png'))
+                return 1
+
+            print("[OK] 已登录")
+
+            # 3. 激进点击策略
+            print(f"[2/3] 开始点击领取（{CLICK_DURATION_S}s 内每 {CLICK_INTERVAL_MS}ms 轮询）...")
+            clicked = False
+            total_ticks = int(CLICK_DURATION_S * 1000 / CLICK_INTERVAL_MS)
+
+            for i in range(total_ticks):
+                for kw in CLAIM_KEYWORDS:
+                    try:
+                        btn = page.locator(f'button:has-text("{kw}")').first
+                        if await btn.is_visible(timeout=100):
+                            await btn.click(force=True)
+                            print(f"[3/3] ✅ 已点击 '{kw}' 按钮！")
+                            clicked = True
+                            exit_code = 0
+                            break
+                    except Exception:
+                        pass
+
+                    try:
+                        # 也尝试 a 标签和 div 按钮
+                        el = page.locator(f'a:has-text("{kw}"), div:has-text("{kw}")').first
+                        if await el.is_visible(timeout=50):
+                            await el.click(force=True)
+                            print(f"[3/3] ✅ 已点击 '{kw}' 元素！")
+                            clicked = True
+                            exit_code = 0
+                            break
+                    except Exception:
+                        pass
+
+                if clicked:
+                    break
+
+                if i % 20 == 0 and i > 0:
+                    print(f"  已轮询 {i * CLICK_INTERVAL_MS / 1000:.0f}s ...")
+                await asyncio.sleep(CLICK_INTERVAL_MS / 1000)
+
+            if not clicked:
+                print("[FAIL] 未找到任何领取按钮")
+                await page.screenshot(path=str(profile_dir / 'no_button.png'))
+
+            await asyncio.sleep(2)
+
+        except Exception as e:
+            print(f"[ERROR] {e}")
+            await page.screenshot(path=str(profile_dir / 'error.png'))
+            exit_code = 1
+
+    return exit_code
+
+
+def main():
+    parser = argparse.ArgumentParser(description='LongCat 每日免费额度自动领取')
+    parser.add_argument('--auto', action='store_true', help='无头模式（自动化运行）')
+    parser.add_argument('--account', default='longcat_185', help='账号名（对应 profiles/<account>/）')
+    parser.add_argument('--profile', default=None, help='自定义 Profile 路径')
+    args = parser.parse_args()
+
+    if args.profile is None:
+        args.profile = f'profiles/{args.account}'
+
+    exit_code = asyncio.run(claim(args))
+    sys.exit(exit_code)
+
+
+if __name__ == '__main__':
+    main()

mac-agent-os-main/05_tools/05_crawl/longcat/socks5_forwarder.py

@@ -0,0 +1,135 @@
+#!/usr/bin/env python3
+"""
+SOCKS5 本地转发器
+把本地无鉴权 SOCKS5 → 转发到远程有鉴权 SOCKS5
+解决 Firefox/Camoufox 不支持 SOCKS5 密码认证的问题
+
+用法:  python socks5_forwarder.py [本地端口]
+启动后修改 identity 的 proxy 为 socks5://127.0.0.1:10800
+"""
+import asyncio, sys, struct, os, signal
+
+# ─── 远程代理（天行） ───
+REMOTE_HOST = "36.212.9.145"
+REMOTE_PORT = 3570
+REMOTE_USER = "iiiaaazh123"
+REMOTE_PASS = "wqshyuwftc!@#123"
+
+# ─── 本地监听 ───
+LOCAL_HOST = "127.0.0.1"
+LOCAL_PORT = int(sys.argv[1]) if len(sys.argv) > 1 else 10800
+
+async def socks5_forward(client_reader, client_writer):
+    """处理一个 SOCKS5 客户端连接"""
+    peer = client_writer.get_extra_info('peername')
+    try:
+        # ── 1. 握手 ──
+        greeting = await client_reader.readexactly(2)
+        ver, nmethods = struct.unpack('!BB', greeting)
+        methods = await client_reader.readexactly(nmethods)
+        # 回应：支持无鉴权
+        client_writer.write(struct.pack('!BB', 0x05, 0x00))
+        await client_writer.drain()
+
+        # ── 2. 请求 ──
+        request = await client_reader.readexactly(4)
+        ver, cmd, rsv, atyp = struct.unpack('!BBBB', request)
+        if cmd != 0x01:  # 只支持 CONNECT
+            client_writer.write(struct.pack('!BBBB', 0x05, 0x07, 0x00, 0x01) + b'\x00' * 6)
+            await client_writer.drain()
+            return
+
+        if atyp == 0x01:  # IPv4
+            addr = await client_reader.readexactly(4)
+            dest_host = '.'.join(str(b) for b in addr)
+        elif atyp == 0x03:  # 域名
+            length = await client_reader.readexactly(1)
+            dest_host = (await client_reader.readexactly(length[0])).decode()
+        else:
+            return
+
+        dest_port = struct.unpack('!H', await client_reader.readexactly(2))[0]
+
+        # ── 3. 连接远程 SOCKS5（带鉴权） ───
+        remote_reader, remote_writer = await asyncio.open_connection(REMOTE_HOST, REMOTE_PORT)
+
+        # 远程握手：用户名密码鉴权
+        remote_writer.write(struct.pack('!BB', 0x05, 0x02) + struct.pack('BB', 0x00, 0x02))
+        await remote_writer.drain()
+        auth_resp = await remote_reader.readexactly(2)
+        if auth_resp[1] == 0x02:  # 需要用户名密码
+            user_bytes = REMOTE_USER.encode()
+            pass_bytes = REMOTE_PASS.encode()
+            auth_pkt = struct.pack('!B', 0x01) + struct.pack('!B', len(user_bytes)) + user_bytes + struct.pack('!B', len(pass_bytes)) + pass_bytes
+            remote_writer.write(auth_pkt)
+            await remote_writer.drain()
+            auth_result = await remote_reader.readexactly(2)
+            if auth_result[1] != 0x00:
+                raise Exception("远程鉴权失败")
+
+        # 发送 CONNECT 请求到远程
+        if atyp == 0x01:  # IPv4
+            req = struct.pack('!BBBB', 0x05, 0x01, 0x00, 0x01) + addr + struct.pack('!H', dest_port)
+        elif atyp == 0x03:  # 域名
+            host_bytes = dest_host.encode()
+            req = struct.pack('!BBBB', 0x05, 0x01, 0x00, 0x03) + struct.pack('!B', len(host_bytes)) + host_bytes + struct.pack('!H', dest_port)
+
+        remote_writer.write(req)
+        await remote_writer.drain()
+        resp = await remote_reader.readexactly(4)
+        if resp[1] != 0x00:
+            raise Exception(f"远程连接失败: {resp[1]}")
+
+        # 读取剩余响应
+        atyp_resp = resp[3]
+        if atyp_resp == 0x01:
+            await remote_reader.readexactly(6)
+        elif atyp_resp == 0x03:
+            length = await remote_reader.readexactly(1)
+            await remote_reader.readexactly(length[0] + 2)
+
+        # 回复客户端成功
+        client_writer.write(struct.pack('!BBBB', 0x05, 0x00, 0x00, 0x01) + b'\x00' * 6)
+        await client_writer.drain()
+
+        # ── 4. 双向转发 ──
+        async def forward(src, dst):
+            try:
+                while True:
+                    data = await src.read(65536)
+                    if not data:
+                        break
+                    dst.write(data)
+                    await dst.drain()
+            except:
+                pass
+            finally:
+                try: dst.close()
+                except: pass
+
+        await asyncio.gather(
+            forward(client_reader, remote_writer),
+            forward(remote_reader, client_writer),
+        )
+
+    except Exception as e:
+        print(f"  ⚠️  {peer}: {e}")
+    finally:
+        try: client_writer.close()
+        except: pass
+
+async def main():
+    # 打印 PID 方便后续结束进程
+    print(f"socks5://{LOCAL_HOST}:{LOCAL_PORT}")
+    print(f"  → {REMOTE_HOST}:{REMOTE_PORT} (鉴权转发)")
+    print(f"  PID: {os.getpid()}")
+
+    server = await asyncio.start_server(socks5_forward, LOCAL_HOST, LOCAL_PORT)
+    async with server:
+        await server.serve_forever()
+
+if __name__ == '__main__':
+    try:
+        asyncio.run(main())
+    except KeyboardInterrupt:
+        print("\n  ⛔ 转发器已停止")