butubb/MediaCrawler

Fork 0

Files

T

butubb 2112c1a870

Deploy VitePress site to Pages / build (push) Canceled after 0s

Details

Deploy VitePress site to Pages / Deploy (push) Canceled after 0s

Details

feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程，直接发 HTTP

移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。

**目前能用的（真环境实测，非推断）**：

    profile/other : 200, 7075 字节  —— 博主主页指标（粉丝/获赞/作品数/昵称）
    aweme/detail  : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）

**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
  1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
     带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
     同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
     挑中的恰好是「批量拉作品列表」这个最敏感的动作。
  2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
     代价，过几小时要重测）。

  所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。

**排查中控住变量后得到的两条事实**（都写进注释了）：
  · `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
    UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
    （我先前猜的 sec-ch-ua 不是关键。）
  · 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
    从 CDP 取齐 cookie + UA + hints，而不是各自写死。

「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。

测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。

2026-10-10 17:12:25 +08:00

3.2 KiB

Raw Blame History

name, version, description, triggers

name

version

description

triggers

kb_manager

1.1.0

知识库管理技能——新增知识入库、清洗、标签分类、属性变更移动、搜索、备份

知识库管理

入库

保存知识

知识入库

知识分类

查知识库

知识检索

知识备份

知识属性变更

知识重分类

ingest

KB Manager 技能

概述

管理 AgentOS 的 Obsidian 知识库（03_knowledge/），负责知识入库、清洗、分类、属性变更移动、搜索和备份。

核心能力

1. 知识入库（kb_ingest）

输入：网页 URL 或纯文本
流程：
1. 抓取/接收原始内容
2. 清洗（去广告、去导航、提取正文）
3. 写入 03_knowledge/00_inbox/ 作为待提纯内容
4. 由 collect_to_inbox 每日 2:30 提取各目录内容转入收件箱，再由 inbox_refine 技能每日凌晨 3:00 自动提纯归档
5. 或手动说"提纯"立即执行

2. 知识重分类（reclassify）

当知识的 nature 属性变更时（如 opinion → fact）：
1. 更新 Frontmatter 中 nature 和 status
2. 将文件从旧目录移动到新目录
3. 自动更新 Obsidian 内链
4. 记录到 04_memory/logs/kb_reclassify.log

3. 知识检索（kb_query）

检索流程：
1. 先在 L2 摘要层检索（SQLite 索引）
2. 命中后按需加载知识文件指定行号片段
3. 不加载整个文件，节省 token

4. 知识备份（kb_backup）

全量备份 03_knowledge/ 目录到指定位置
支持增量备份（仅备份变更文件）

入库规范

Frontmatter 必填字段

---
id: KB-YYYYMMDD-NNN
title: "知识标题"
type: concept|method|fact|reference|resource|opinion
status: draft|review|published|archived
nature: fact|opinion|method|regulation|reference|data|quote|axiom
domain: [领域1, 领域2]
confidence: 0.0-1.0
source: "原始来源 URL"
date_created: YYYY-MM-DD
date_modified: YYYY-MM-DD
version: 1
---

可选字段

subdomain: [子领域]
tags: [标签列表]
author: 作者
source_type: personal_exp|literature|webpage|conversation|code|observation
related: [KB-ID 列表]
previous_version: KB-ID
superseded_by: KB-ID
aliases: [别称]
keywords: [关键词]
summary: 一句话摘要

预定义领域列表

计算机科学, 人工智能, 金融, 法律, 医学, 物理, 数学, 心理学, 哲学, 历史, 工程, 设计, 商业, 个人管理, 个人洞见, 其他

当"其他"类别超过 5% 时，memory_manager 技能会提示新增领域

文件结构

kb_manager/
├── SKILL.md
├── kb_ingest.py           # 知识入库脚本
├── kb_query.py            # 知识检索脚本
├── kb_backup.py           # 知识备份脚本
├── kb_reclassify.py       # 知识重分类脚本
└── version.json

依赖

包	用途	安装状态
trafilatura	网页内容提取	✅ 已安装
chromadb	向量存储（备选语义检索）	✅ 已安装
sqlite-utils	数据库操作	✅ 已安装

自动分类标准

nature 字段：fact / opinion / method / regulation / reference / data / quote / axiom
domain 字段：从预定义领域列表选择 1-3 个
confidence 评分：官方文档 0.8+、个人博客 0.4-0.6、推测 < 0.4

3.2 KiB Raw Blame History Unescape Escape