Files
MediaCrawler/mac-agent-os-main/05_tools/07_matrix/docs/CAMOUFOX_LOGIN_MANAGEMENT.md
T
butubb 2112c1a870
Deploy VitePress site to Pages / build (push) Canceled after 0s
Deploy VitePress site to Pages / Deploy (push) Canceled after 0s
feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程,直接发 HTTP
移植自 mac-agent-os 的 mediacrawler_adapter:不起子进程、不开页面,用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin,所以 ingest 那条链路一个字不用改。

**目前能用的(真环境实测,非推断)**:

    profile/other : 200, 7075 字节  —— 博主主页指标(粉丝/获赞/作品数/昵称)
    aweme/detail  : 200, 45425 字节 —— 单条作品详情(含点赞/评论/收藏/分享)

**目前不能用的:作品列表 `aweme/post`。** 两个互相独立的原因:
  1. 这个接口被抖音单独升级成了真校验:不带 x-tt-argus 回 403「Uifid Not Found」,
     带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过,「真校验」过不了。
     同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的,
     挑中的恰好是「批量拉作品列表」这个最敏感的动作。
  2. 改走页面截获也不行:CDP 浏览器打开博主主页会落到「验证码中间页」(当天大量探测的
     代价,过几小时要重测)。

  所以现在的边界是:**已知作品的指标刷新能做,自动发现新作品做不了**。

**排查中控住变量后得到的两条事实**(都写进注释了):
  · `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
    UA+client hints+Cookie 时是 200 但仅 121 字节的空壳,补上这三个头变 7074 字节。
    (我先前猜的 sec-ch-ua 不是关键。)
  · 因此 UA 与 client hints 必须**成套地取自同一个浏览器**,所以 BrowserIdentity 一次
    从 CDP 取齐 cookie + UA + hints,而不是各自写死。

「200 + 空 body 必须当场报错」也是刻意写死的:放过去它会在下游变成「这个博主没作品」,
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的,还被翻译成「账号被封」。

测试 +11:cookie 解析、请求头成套性(含 uifid 缺失/回退)、产物键名与 store 对齐、
以及 _get 的三条失败路径(空 body / 403 带网关原话 / 正常返回)。
2026-10-10 17:12:25 +08:00

10 KiB
Raw Blame History

Camoufox 登录管理方案

背景

当前矩阵养号系统基于 Chrome + Profile 切换(方案A)与 Cookie 注入(方案B)。为提升反检测能力、支持多浏览器内核,计划引入 Camoufox(Firefox 内核反检测浏览器)作为新的登录管理方式。

目标

  1. 提供 Camoufox 的安装、配置指南
  2. 扩展账号配置,支持 browser_type 字段(chrome / camoufox)
  3. 实现 Camoufox 实例的启动、指纹注入、CDP 连接
  4. 提供登录状态验证与 Cookie 管理
  5. 演示如何添加两个新账号并尝试 Camoufox 登录

1. 安装与配置

1.1 安装 Python 包

# 已安装的 camoufox 包可能需要更新
/Users/7kecheng/.workbuddy/binaries/python/versions/3.13.12/bin/python3 -m pip install -U camoufox[geoip]

1.2 下载 Camoufox 浏览器

/Users/7kecheng/.workbuddy/binaries/python/versions/3.13.12/bin/python3 -m camoufox fetch

这将把浏览器可执行文件下载到 ~/Library/Caches/camoufox/。

1.3 验证安装

/Users/7kecheng/.workbuddy/binaries/python/versions/3.13.12/bin/python3 -m camoufox path
/Users/7kecheng/.workbuddy/binaries/python/versions/3.13.12/bin/python3 -c "import camoufox; print(camoufox.__version__)"

2. 账号配置扩展

2.1 修改 config/accounts.yaml

在现有配置基础上增加 browser_type 字段,并为 Camoufox 账号指定独立端口(建议从 9300 开始,避免与 Chrome 端口冲突)。

# 新增全局配置块
camoufox:
  # Camoufox 可执行文件路径(自动检测)
  executable: ~/Library/Caches/camoufox/camoufox
  # 默认视口(Camoufox 使用 screen 参数)
  screen:
    width: 702
    height: 783
  # 默认地理设置
  geo:
    timezone: Asia/Shanghai
    locale: zh-CN

# 视口配置(Chrome 用)
viewport:
  width: 702
  height: 783
  mobile: false

accounts:
  # ── 原有 Chrome 账号 ──
  - id: douyin_01
    platform: douyin
    phone: "18513308610"
    port: 9222
    browser_type: chrome
    profile_dir: account_01
    enabled: true
    notes: 抖音主号(Chrome)

  # ── 新增 Camoufox 账号(两个) ──
  - id: douyin_camo01
    platform: douyin
    phone: ""   # 待填写
    port: 9301
    browser_type: camoufox
    profile_dir: camoufox_01   # 对应 ~/matrix/profiles/camoufox_01
    proxy: socks5://127.0.0.1:7890  # 可选,推荐使用静态住宅IP
    screen:   # 覆盖全局 screen 设置
      width: 702
      height: 783
    geo:
      timezone: Asia/Shanghai
      locale: zh-CN
    enabled: true
    notes: Camoufox 测试账号1

  - id: douyin_camo02
    platform: douyin
    phone: ""
    port: 9302
    browser_type: camoufox
    profile_dir: camoufox_02
    proxy: null
    screen:
      width: 702
      height: 783
    geo:
      timezone: Asia/Shanghai
      locale: zh-CN
    enabled: true
    notes: Camoufox 测试账号2

2.2 创建 Profile 目录

mkdir -p ~/matrix/profiles/camoufox_01
mkdir -p ~/matrix/profiles/camoufox_02

3. Camoufox 管理器脚本

创建 ~/matrix/scripts/camoufox_manager.py,提供以下功能:

  • 启动/停止 Camoufox 实例(指定端口、Profile、代理)
  • 通过 CDP 连接已启动的实例
  • 注入指纹(Camoufox 内置,无需额外注入)
  • 验证登录状态
  • 导出/导入 Cookie

3.1 脚本骨架

#!/usr/bin/env python3
"""
Camoufox 管理器 — 启动、连接、登录验证
"""
import asyncio
import json
import os
import subprocess
import time
from pathlib import Path

from camoufox import AsyncCamoufox

PROJECT_DIR = Path(__file__).parent.parent
CONFIG_PATH = PROJECT_DIR / "config" / "accounts.yaml"
PROFILES_DIR = PROJECT_DIR / "profiles"
COOKIE_STORAGE = PROJECT_DIR / "data" / "cookies"

def load_account_config(account_id: str) -> dict:
    """从 accounts.yaml 加载指定账号配置"""
    # 实现略,参考 switch_account.py 的 get_account
    pass

async def launch_camoufox(account: dict) -> bool:
    """启动 Camoufox 实例"""
    profile_dir = PROFILES_DIR / account.get('profile_dir', account['id'])
    profile_dir.mkdir(parents=True, exist_ok=True)

    # 从配置中读取 screen 和 geo
    screen = account.get('screen', {'width': 702, 'height': 783})
    geo = account.get('geo', {'timezone': 'Asia/Shanghai', 'locale': 'zh-CN'})
    proxy = account.get('proxy')  # 如 "socks5://127.0.0.1:7890"

    print(f"🚀 启动 Camoufox(账号: {account['id']},端口: {account['port']})")
    try:
        async with AsyncCamoufox(
            headless=False,
            proxy=proxy,
            user_data_dir=str(profile_dir),
            screen=screen,
            geo=geo,
            # 以下参数为 Camoufox 特有
            cdp_port=account['port'],          # 指定 CDP 端口
            disable_automation=True,           # 隐藏自动化标记
            disable_webdriver=True,
            disable_canvas_noise=False,        # 启用 Canvas 噪声
            disable_font_fingerprinting=False, # 启用字体指纹伪造
            disable_webgl_fingerprinting=False,
            disable_audio_fingerprinting=False,
        ) as browser:
            # 保持浏览器运行(实际会阻塞,需要多进程)
            # 这里我们只启动,然后通过 CDP 连接
            pass
    except Exception as e:
        print(f"❌ Camoufox 启动失败: {e}")
        return False
    return True

async def connect_via_cdp(port: int):
    """通过 CDP 连接已启动的 Camoufox 实例"""
    import urllib.request
    import json
    from patchright.async_api import async_playwright

    opener = urllib.request.build_opener(urllib.request.ProxyHandler({}))
    with opener.open(f"http://localhost:{port}/json/version", timeout=5) as r:
        info = json.loads(r.read())
        ws_url = info["webSocketDebuggerUrl"]

    pw = await async_playwright().start()
    try:
        # 注意:Camoufox 是 Firefox 内核,需使用 p.firefox 连接
        browser = await pw.firefox.connect_over_cdp(ws_url)
        context = browser.contexts[0]
        page = context.pages[0] if context.pages else await context.new_page()
        return page
    finally:
        await pw.stop()

async def verify_login(page) -> bool:
    """验证抖音登录状态"""
    await page.goto('https://www.douyin.com/', wait_until='domcontentloaded', timeout=15000)
    await asyncio.sleep(3)
    avatar = page.locator("[data-e2e='user-avatar']")
    logged_in = await avatar.count() > 0
    return logged_in

async def export_cookies(account_id: str, port: int):
    """导出 Cookie 到文件"""
    page = await connect_via_cdp(port)
    cookies = await page.context.cookies()
    cookie_file = COOKIE_STORAGE / f"{account_id}_camoufox_cookies.json"
    cookie_file.parent.mkdir(parents=True, exist_ok=True)
    with open(cookie_file, 'w') as f:
        json.dump(cookies, f, indent=2)
    print(f"✅ 导出 {len(cookies)} 个 Cookie → {cookie_file}")

async def main():
    """CLI 入口"""
    import argparse
    parser = argparse.ArgumentParser(description='Camoufox 管理器')
    parser.add_argument('--launch', type=str, help='启动指定账号')
    parser.add_argument('--connect', type=int, help='连接指定端口')
    parser.add_argument('--export', type=str, help='导出 Cookie(账号ID)')
    args = parser.parse_args()

    if args.launch:
        account = load_account_config(args.launch)
        await launch_camoufox(account)
    elif args.connect:
        page = await connect_via_cdp(args.connect)
        print(f"✅ 已连接页面: {page.url}")
    elif args.export:
        account = load_account_config(args.export)
        await export_cookies(args.export, account['port'])

if __name__ == '__main__':
    asyncio.run(main())

3.2 集成到现有切换器

修改 switch_account.py,增加 --browser 参数,支持 chrome(默认)和 camoufox。或者,直接创建一个新的入口脚本 switch_browser.py,统一管理两种浏览器。

4. 登录流程

4.1 首次登录

  1. 启动 Camoufox 账号:
    python scripts/camoufox_manager.py --launch douyin_camo01
    
  2. 手动登录抖音(扫码/密码)。
  3. 登录后导出 Cookie:
    python scripts/camoufox_manager.py --export douyin_camo01
    
  4. 关闭浏览器(Ctrl+C),后续可通过 CDP 连接使用 Cookie 恢复登录。

4.2 后续切换

使用 Cookie 注入方式快速切换(类似方案B):

  • 读取该账号的 Cookie 文件
  • 通过 CDP 注入到已启动的 Camoufox 实例
  • 刷新页面验证登录

5. 踩坑经验(预判)

  1. CDP 端口冲突:Camoufox 默认 CDP 端口可能与 Chrome 冲突,建议使用 9300+ 端口范围。
  2. Firefox CDP 协议差异:Playwright 连接 Firefox CDP 时,部分 API 与 Chromium 不同,需测试兼容性。
  3. 代理配置:Camoufox 的 proxy 参数格式需为 socks5://ip:port 或 http://ip:port。
  4. Profile 目录权限:确保 ~/matrix/profiles/ 目录 Camoufox 可写。
  5. 浏览器下载失败:网络问题可能导致 camoufox fetch 失败,可手动下载并放置到缓存目录。

6. 后续优化方向

  1. Docker 容器化:将 Camoufox 打包为 Docker 镜像,实现更彻底的隔离。
  2. 多账号并行:使用多个 Camoufox 容器同时运行多个账号。
  3. 指纹池:为每个账号配置不同的指纹模板(屏幕尺寸、时区、语言等)。
  4. 自动化登录:结合短信验证码平台实现全自动登录。

7. 快速开始(两个新账号)

  1. 编辑配置:在 accounts.yaml 中添加 douyin_camo01 和 douyin_camo02(如上所示)。
  2. 创建目录:执行 mkdir -p ~/matrix/profiles/camoufox_{01,02}。
  3. 启动第一个账号:
    cd ~/matrix
    python scripts/camoufox_manager.py --launch douyin_camo01
    
  4. 手动登录,然后导出 Cookie。
  5. 关闭浏览器,测试 Cookie 注入恢复登录。
  6. 重复步骤3-5 用于第二个账号。

下一步:确认方案后,可开始实施脚本编写与配置更新。