butubb/MediaCrawler

Fork 0

Files

T

butubb 2112c1a870

Deploy VitePress site to Pages / build (push) Canceled after 0s

Details

Deploy VitePress site to Pages / Deploy (push) Canceled after 0s

Details

feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程，直接发 HTTP

移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。

**目前能用的（真环境实测，非推断）**：

    profile/other : 200, 7075 字节  —— 博主主页指标（粉丝/获赞/作品数/昵称）
    aweme/detail  : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）

**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
  1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
     带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
     同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
     挑中的恰好是「批量拉作品列表」这个最敏感的动作。
  2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
     代价，过几小时要重测）。

  所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。

**排查中控住变量后得到的两条事实**（都写进注释了）：
  · `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
    UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
    （我先前猜的 sec-ch-ua 不是关键。）
  · 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
    从 CDP 取齐 cookie + UA + hints，而不是各自写死。

「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。

测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。

2026-10-10 17:12:25 +08:00

4.9 KiB

Raw Blame History

name, version, description, category, triggers

name

version

description

Content Inspiration —— 口播素材智能采集与分析系统

概述

完全运行在本机 Mac 的口播素材管理系统，实现"采集→AI分析→智能下载→检索查阅"的完整闭环。不依赖任何云端服务，隐私安全。

系统能力

System 能力（后台自动运行，脚本式任务）

能力	脚本	说明
数据库管理	`schema.sql`	SQLite WAL 模式，3 张表（materials/analysis/collect_batches）
配置驱动	`config.yaml`	所有参数集中管理，模型/平台/存储/下载均可配置
数据库初始化	`utils.py: init_db()`	自动建表、开启 WAL、外键约束
JSONL 存档	`utils.py: save_jsonl()`	原始采集数据可追溯回溯
oMLX 健康检查	`utils.py: check_omlx()`	自动检测本地 LLM 可用性
日志系统	`utils.py: setup_logger()`	按日期分割，同时输出文件和控制台
去重机制	`collect.py: save_to_db()`	基于 platform+original_id 唯一索引

User 能力（用户直接触发/操作）

能力	脚本	用法	说明
按需采集	`collect.py`	`python collect.py -p xiaohongshu -k "科普冷知识"`	从指定平台采集素材元数据
全量采集	`collect.py`	`python collect.py`	按 config.yaml 配置批量采集
AI 分析	`analyze.py`	`python analyze.py`	对所有未分析素材调用本地 LLM
限量分析	`analyze.py`	`python analyze.py -n 10`	只分析前 10 条（测试用）
重试失败	`analyze.py`	`python analyze.py --retry-failed`	重试之前分析失败的记录
下载视频	`downloader.py`	`python downloader.py`	下载所有标记为 pending 的素材
下载推荐	`downloader.py`	`python downloader.py --all`	下载所有 AI 推荐的素材
手动下载	`downloader.py`	`python downloader.py -u "URL"`	指定 URL 直接下载
Web 界面	`app.py`	`python app.py`	启动 Gradio 搜索/浏览界面
初始化数据库	`collect.py`	`python collect.py --init-db`	仅创建数据库表结构

数据流程

用户配置关键词
     ↓
collect.py → MediaCrawler → JSONL 存档 + SQLite 入库
     ↓
analyze.py → oMLX(Qwen2.5-VL-3B) → AI 标签/金句/情绪/推荐
     ↓
app.py (Web界面) → 浏览/搜索/标记下载
     ↓
downloader.py → yt-dlp → ~/workbuddy-agent-os/agent-local/materials/video/
     ↓
知识库索引卡片 → 03_knowledge/50_resources/

依赖关系

必需

依赖	版本	用途	安装状态
Python	3.10+	运行环境	✅ 3.13.12
oMLX	v0.3.6	本地 LLM 推理	✅ 运行中
Qwen2.5-VL-3B	8bit	多模态内容理解	✅ 已加载
httpx	≥0.24	HTTP 客户端（调 oMLX）	✅ 已安装
PyYAML	≥6.0	配置文件解析	✅ 已安装
Pillow	≥9.0	图片处理	✅ 已安装

待安装

依赖	版本	用途	安装命令
gradio	≥4.0	Web 界面	`pip install gradio`
yt-dlp	≥2024.0	视频下载	`pip install yt-dlp`

可选

依赖	用途	说明
MediaCrawler	多平台采集	需单独 clone 并配置 Cookie
ffmpeg	音频提取	yt-dlp 的音频模式需要

存储路径

类型	路径	说明
项目代码	`~/workbuddy-agent-os/agent-sync/05_tools/05_crawl/content-inspiration/`	坚果云同步 + Git
原始 JSONL	`data/raw/`	跟随项目目录
SQLite 数据库	`data/database.db`	跟随项目目录
下载的视频	`~/workbuddy-agent-os/agent-local/materials/video/`	本机专属，不同步
下载的音频	`~/workbuddy-agent-os/agent-local/materials/audio/`	本机专属，不同步
运行日志	`logs/`	跟随项目目录

限制与注意事项

MediaCrawler Cookie：首次使用需在各平台手动扫码登录，获取 Cookie 后填入 MediaCrawler 配置
链接时效性：抖音/小红书链接有时效性，采集后 24 小时内下载成功率最高
内存管理：AI 分析串行执行（每次只处理一条），避免 16GB Mac OOM
模型精度：3B 小模型可能有标签不准确的情况，建议人工校验
合规提醒：仅供个人学习研究，禁止商业化或大规模抓取

版本历史

版本	日期	说明
1.0.0	2026-04-28	初始版本，核心闭环（采集→分析→下载→查阅）

4.9 KiB Raw Blame History Unescape Escape