butubb/MediaCrawler

Fork 0

Files

T

butubb 2112c1a870

Deploy VitePress site to Pages / build (push) Canceled after 0s

Details

Deploy VitePress site to Pages / Deploy (push) Canceled after 0s

Details

feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程，直接发 HTTP

移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。

**目前能用的（真环境实测，非推断）**：

    profile/other : 200, 7075 字节  —— 博主主页指标（粉丝/获赞/作品数/昵称）
    aweme/detail  : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）

**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
  1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
     带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
     同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
     挑中的恰好是「批量拉作品列表」这个最敏感的动作。
  2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
     代价，过几小时要重测）。

  所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。

**排查中控住变量后得到的两条事实**（都写进注释了）：
  · `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
    UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
    （我先前猜的 sec-ch-ua 不是关键。）
  · 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
    从 CDP 取齐 cookie + UA + hints，而不是各自写死。

「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。

测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。

2026-10-10 17:12:25 +08:00

3.9 KiB

Raw Blame History

AgentOS 世界级知识库分类体系与全链路设计规范

版本：2026-04-29 作者：AI+用户共创

一、收件箱（inbox）分区与跨界机制

收件箱是所有本地内容进入协同目录的唯一通道，分为五大分区：

agent-sync/03_knowledge/00_stream/inbox/
├── knowledge/     # 知识内容（外部采集提炼后的MD知识卡）
├── memory/        # 记忆固化（本机记忆提炼的重要内容）
├── tools/         # 工具提交（TOOL_CARD.yaml + 入口脚本）
├── personal/      # 个人内容（笔记、语音转写、会议记录、随手记）
└── media/         # 轻量媒体（关键图片、短音频片段）

低权限主机只能通过inbox提交内容，高权限主机可直接写入协同目录。
后期可扩展权限体系，当前以手动判断为主。

二、本机记忆固化机制

本机记忆（raw/）只有满足以下任一条件才可固化：
1. 用户主动指定“固化”
2. AI检测高频引用/反复出现
3. 长期未被推翻且被引用多次
固化后生成MD知识卡，推入inbox/memory/，由AI自动分类入库。
不固化内容永远留在本机，不同步。

三、媒体同步边界

允许同步：
- 关键知识附图（<500KB）
- 重要截图（<1MB）
- 精华语音片段（<2MB，已转写）
- 项目产出设计稿（<2MB）
不允许同步：
- 完整视频/音频/高清图片/网页原始截图/单文件>5MB
媒体与MD文件同目录，frontmatter标注attachments。

四、向量数据库架构

向量DB仅在本机重建，永不同步。
协同知识库（MD文件）同步后，每台机器自动重建global向量库。
本机私有内容单独建local向量库。
检索时合并两层结果，优先本机，补充协同。

五、知识属性六大维度（frontmatter字段）

1. 知识本质属性（nature）

fact/concept/axiom/method/regulation/data/reference/opinion/quote/experience/insight/inspiration

2. 领域分类（domain）

19大领域，含arts/health/culture等感官与人文类

3. 认知用途（cognitive_role）

foundational/actionable/reference/inspirational/contextual/evaluative

4. 个人主观属性

interest_level/practical_value/aesthetic_value/revisit_priority/mastery

5. 时效性（temporal）

evergreen/current/historical/trending/expires_at

6. 来源与可信度

source/source_type/confidence/machine_origin/author

六、frontmatter完整模板

---
id: KB-20260429-001
title: "知识标题"
version: 1
status: draft
nature: concept
domain: [ai]
subdomain: [RAG, NLP]
cognitive_role: actionable
interest_level: 4
practical_value: 3
aesthetic_value: 0
revisit_priority: medium
mastery: understanding
temporal: evergreen
expires_at: ""
source: ""
source_type: literature
confidence: 0.8
machine_origin: "macbook-air-m1"
author: ""
track: world
summary: "一句话摘要"
tags: [标签1, 标签2]
keywords: [关键词1, 关键词2]
aliases: [别名1]
date_created: 2026-04-29
date_modified: 2026-04-29
previous_version: ""
superseded_by: ""
related: []
project_ref: ""
has_attachment: false
attachments: []
---

七、字段分层与性价比建议

必填：id/title/nature/domain/confidence/date_created/status
强烈建议：cognitive_role/summary/source/track
按类型填：mastery/aesthetic_value/project_ref/expires_at
其余可选，内容成熟后补充

八、整体链路总结

本机捕获(重)→本机加工(重)→本机精炼(轻MD)→inbox分区→AI分类入库→多轨道归档→归档/版本链→本机/协同向量库重建
六大维度属性+分区收件箱+两层向量库，兼顾检索、创意、个性化、协同。

本规范为AgentOS知识管理系统vNext的顶层设计标准，后续如有补充请在本文件基础上增量修订。

3.9 KiB Raw Blame History Unescape Escape