butubb/MediaCrawler

Fork 0

Files

T

butubb 2112c1a870

Deploy VitePress site to Pages / build (push) Canceled after 0s

Details

Deploy VitePress site to Pages / Deploy (push) Canceled after 0s

Details

feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程，直接发 HTTP

移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。

**目前能用的（真环境实测，非推断）**：

    profile/other : 200, 7075 字节  —— 博主主页指标（粉丝/获赞/作品数/昵称）
    aweme/detail  : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）

**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
  1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
     带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
     同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
     挑中的恰好是「批量拉作品列表」这个最敏感的动作。
  2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
     代价，过几小时要重测）。

  所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。

**排查中控住变量后得到的两条事实**（都写进注释了）：
  · `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
    UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
    （我先前猜的 sec-ch-ua 不是关键。）
  · 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
    从 CDP 取齐 cookie + UA + hints，而不是各自写死。

「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。

测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。

2026-10-10 17:12:25 +08:00

1.9 KiB

Raw Blame History

夜间自动化体系规范

版本：v1.0 | 最后更新：2026-05-03 定义完整的夜间自动化任务链、各管道更新机制、工作日志体系

一、当前夜间任务

时间	任务	做什么	脚本
02:00	记忆提炼	对话→L2 facts.db + L1索引	daily_digest.py
02:30	提交箱归集	01_submissions/ → 00_inbox/	collect_to_inbox.py
03:00	收件箱提纯	00_inbox/ → 分类归档 + CHANGELOG + README	inbox_refine.py

未自动化：向量重建、git push、工作日志

二、完整目标（新增 03:30~04:00）

时间	任务	说明
02:00	记忆提炼	不变
02:30	提交箱归集	不变
03:00	提纯 + 文档更新	不变 + 保证 README/CHANGELOG 更新
03:30	向量索引重建	vector_db_rebuild.py，使新知识可语义检索
03:45	生成工作日志	汇总今夜所有变更
04:00	Git 推送	git add + commit + push

三、四管道更新机制

管道	变更来源	更新方式	频率
身份 (01_core/)	手动	apply-config.sh 部署	不定期
协议 (99_system/protocols/)	手动	git push 同步	不定期
知识 (03_knowledge/)	自动化 + 手动	夜间 03:00 提纯	每日
记忆 (04_memory/)	自动化	夜间 02:00 提炼	每日

四、工作日志

位置：04_memory/daily_logs/YYYY-MM-DD.md 内容：今夜自动化执行结果 + 今日手动变更 + 知识库统计

五、待实现清单

generate_daily_log.py — 汇总结果生成工作日志
nightly_runner.sh — 编排6步任务链，失败容错
更新 daily_digest.py 输出结构化结果
更新 inbox_refine.py 输出结构化结果
确认 SSH key 无密码（自动 git push 需要）

1.9 KiB Raw Blame History Unescape Escape