butubb/MediaCrawler
1
0
Fork 0
Code Issues Pull Requests Actions 1 Packages Projects Releases Wiki Activity

feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程，直接发 HTTP
Deploy VitePress site to Pages / build (push) Canceled after 0s
Details
Deploy VitePress site to Pages / Deploy (push) Canceled after 0s
Details

Browse Source 
移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。

**目前能用的（真环境实测，非推断）**：

    profile/other : 200, 7075 字节  —— 博主主页指标（粉丝/获赞/作品数/昵称）
    aweme/detail  : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）

**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
  1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
     带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
     同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
     挑中的恰好是「批量拉作品列表」这个最敏感的动作。
  2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
     代价，过几小时要重测）。

  所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。

**排查中控住变量后得到的两条事实**（都写进注释了）：
  · `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
    UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
    （我先前猜的 sec-ch-ua 不是关键。）
  · 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
    从 CDP 取齐 cookie + UA + hints，而不是各自写死。

「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。

测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。
This commit is contained in:
butubb
2026-10-10 17:12:25 +08:00
parent 21ff01b894
commit 2112c1a870
1601 changed files with 367425 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files
mac-agent-os-main/90_archive/10_next_version_discussion/v2.md
+133
View File
@@ -0,0 +1,133 @@
Read [](file:///Users/chengzige/agent-os/agent-sync/%E6%88%91%E7%9A%84%E8%AF%B4%E6%98%8E.md#1-1), lines 1 to 80
Read [](file:///Users/chengzige/agent-os/agent-sync/%E6%88%91%E7%9A%84%E8%AF%B4%E6%98%8E.md#81-81), lines 81 to 200
Read [](file:///Users/chengzige/agent-os/agent-sync/%E6%88%91%E7%9A%84%E8%AF%B4%E6%98%8E.md#201-201), lines 201 to 391
Read [](file:///Users/chengzige/agent-os/agent-sync/AgentOS-%E5%AE%8C%E6%95%B4%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3_%E5%89%AF%E6%9C%AC.md)
Read [](file:///Users/chengzige/agent-os/agent-sync/AgentOS-%E5%AE%8C%E6%95%B4%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3_%E5%89%AF%E6%9C%AC.md#31-31), lines 31 to 31
已完整读取你的《我的说明.md》和项目原历史说明文档，并结合你前述需求，现为你梳理出结构化的顶层大框架，并将你的关键想法单独标记，便于后续细化和追踪。
---
# AgentOS 顶层结构化大框架（多机协同·知识自进化）
## 1. agent-os（全局/多机共用内容）
### 1.1 初始化脚本（00_bootstrap）
- 作用：一键环境搭建、依赖安装、权限配置、自动任务注册、主机身份识别与切换。
- 你的重点：支持从零还原、主机身份切换、任务启停自动化。
### 1.2 核心配置（01_core）
- 作用：系统身份、主机/维护机标识、全局参数、智能体基础设定。
- 你的重点：支持多智能体、多主机角色，配置可多版本选择加载。
### 1.3 技能（02_skills）
- 作用：系统必需技能、自定义技能、第三方技能，均有“技能身份证”（SKILL_CARD.yaml）。
- 你的重点：
- 技能身份证模板统一，主机归属、只读/主理标识。
- 技能状态一键扫描（skill_scanner.py）。
- 外部技能与自研技能分层管理。
### 1.4 知识库（03_knowledge）
- 作用：全局知识库，支持多属性、多领域、版本化、向量化、自动分类。
- 你的重点：
- 分类体系：知识/个人笔记/记忆固化/项目过程/向量化/收件箱等。
- 支持原始-已整理-归档多阶段。
- 领域16大类，属性9大类，Frontmatter标准化。
- 项目过程与知识归档分离，最终成果可转为事实/知识。
- 向量库既有本地也有全局，支持多机同步与本地独立。
### 1.5 工具层（05_tools）
- 作用：非技能化工具脚本（CLI/接口），如知识库/记忆/技能管理等。
- 你的重点：工具与技能可互转，工具更注重效率和扩展性，技能偏自动化和系统集成。
### 1.6 系统管理（07_migration/90_archive）
- 作用：打包、解包、迁移、备份、归档、历史记录。
---
## 2. agent-os-local（本机专属内容）
### 2.1 采集原始内容
- 作用：本机原始数据采集（音频、视频、网页、截图、临时笔记等），作为知识库前端缓存。
- 你的重点：每台机子独立采集，后续可分类同步到全局知识库。
### 2.2 本机记忆
- 作用：本机专属记忆，部分可提炼为全局知识。
- 你的重点：记忆属性字段丰富，向量化内容区分本地/全局，提炼机制需智能判断。
### 2.3 运行记录、对话记录、缓存
- 作用：任务缓存、运行日志、对话历史，适配不同智能体。
- 你的重点：智能体可切换，数据结构需适配不同上下文和对话格式。
### 2.4 本机情况数据说明记录
- 作用：本机环境、硬件、软件、网络、环境变量等说明，支持动态更新。
- 你的重点：数据结构需高效、节省token，支持自动/手动更新。
---
## 3. 关键机制与待展开问题（你的重点/待讨论）
- 向量库（vector_db）：本地与全局并存，需支持多机同步与本地独立，知识内容与索引分离/融合待定。
- 主机/维护机标识：每台主机唯一ID，主维护机角色固定，权限与同步策略需细化。
- 知识库分类：支持多级分类、标签，分类体系需灵活可扩展。
- 工具与技能边界：工具注重效率和扩展，技能偏自动化和系统集成，二者可互转，需明确转换机制。
- 本机数据说明：内容范围、更新机制、token效率需进一步细化。
- 同步/备份机制：全局与本地的同步策略、备份粒度、冲突解决等需后续详细设计。
---
# 标记你的关键内容（便于后续追踪）
1. 技能身份证（SKILL_CARD.yaml）机制与模板
2. 技能状态扫描工具（skill_scanner.py）
3. 知识库多层级分类体系（16领域×9属性）
4. 向量库本地/全局双轨设计
5. 本机记忆与全局知识的提炼与同步机制
6. 工具与技能的互转与边界
7. 本机环境说明的高效结构与动态更新
8. 多机主机/维护机角色与权限体系
9. 项目过程与知识归档的分离与融合
10. 自动化任务与定时调度体系
---
# 【2026-04-28 最新讨论补充】本地/全局记忆与知识库、向量库、同步机制设计
## 1. 目录与同步边界
- `~/workbuddy-agent-os/agent-sync/`：所有内容都参与多机同步（知识库、协同收件箱、协同向量库等）。
- `~/workbuddy-agent-os/agent-sync/agent-local/`：所有内容仅本机保存，绝不参与同步（本地记忆、个人笔记、本地素材等）。
## 2. 数据流转与提炼机制
1. **本地记忆/个人笔记产生**
- 存在于 `~/workbuddy-agent-os/agent-sync/agent-local/materials/`，如记忆系统自动提存、个人随手笔记等。
2. **记忆/笔记提炼**
- 用户可手动或自动将有价值的内容，从 `~/workbuddy-agent-os/agent-sync/agent-local/materials/` 提取到 `~/workbuddy-agent-os/agent-sync/03_knowledge/00_inbox/`（协同收件箱）。
- 提取时可加属性（如“记忆”标签），以便后续分类。
3. **知识库入库**
- 协同收件箱只存 md 文件，知识管理系统定期/手动将内容加工、分类，正式入库到知识库（如 10_concepts、20_methods 等）。
## 3. 向量数据库设计
- **本地向量库**：`~/workbuddy-agent-os/agent-sync/agent-local/` 下的所有内容（记忆、个人笔记等）向量化，仅本机检索。
- **协同向量库**：`~/workbuddy-agent-os/agent-sync/` 下知识库内容向量化，参与多机同步和协同检索。
- 检索时，默认先查本地向量库，再查协同向量库，结果合并展示，体验无割裂。
## 4. 分类与属性
- 协同收件箱和知识库的 md 文件可通过 frontmatter 或标签标明来源（如“记忆提存”、“个人笔记”），方便后续分类和检索。
- 知识库分类可灵活调整，不必强依赖文件名。
## 5. 机制总结
- 本地内容完全隔离，隐私安全。
- 有价值内容通过“提炼-收件箱-知识库”机制流转，保证协同知识的高质量和结构化。
- 多机协同时，检索体验顺畅，既能查本地记忆，也能查全局知识。
---
> 本节为 2026-04-28 讨论结论，后续如有新机制/细节调整请在此基础上补充。
---
如需展开某一部分（如知识库分类、向量库机制、同步策略等），可随时指定，我会基于你的原文和上述结构继续细化。
如需将这些“你的关键内容”单独存档，或生成专门的追踪清单，也可直接说明。
mac-agent-os-main/90_archive/10_next_version_discussion/vNext-重构规划与工作计划.md
+314
View File
@@ -0,0 +1,314 @@
# AgentOS vNext 重构规划与工作计划
> 版本：2026-04-29（第一稿，待审核）
> 状态：**【待审核】** — 请确认目录结构与工作计划后再进入实施阶段
---
## 一、工作核心要点（实施前必读）
### 程序功能定位
| 模块 | 功能 | 说明 |
|------|------|------|
| `memory_manager` | 记忆提炼与固化 | 从对话日志/WorkBuddy记忆中提炼关键事实，生成L1/L2/L3分层记忆，并检测固化条件推送inbox/memory |
| `kb_manager` | 知识入库 | 接受inbox各分区内容，分类、填写frontmatter、写入知识库对应目录 |
| `inbox_refine` | 收件箱精炼 | 扫描inbox各分区，调用LLM分类，自动归档到知识库 |
| `collect_to_inbox` | 内容采集推送 | 扫描本地素材/记忆，精炼后推送到协同inbox对应分区 |
| `auto_collector` | 自动化采集 | 定时抓取外部信息（网页/RSS/社交媒体等），推送inbox/knowledge |
| `sync_manager` | 同步管理 | 管理agent-os多机git同步，冲突检测与解决 |
| `skill_scanner` | 技能状态扫描 | 扫描所有SKILL_CARD.yaml，报告哪些技能就绪/缺依赖 |
| `vector_db` | 双轨向量库 | local向量库（私有内容）+ global向量库（协同知识），检索时合并 |
### 核心数据流
```
本机采集（raw素材）
↓ collect_to_inbox / 用户手动提炼
agent-os-local/materials/refined_for_inbox/
↓ 用户确认/AI判断固化条件
agent-sync/03_knowledge/00_stream/inbox/
├── knowledge/ ← 外部知识采集
├── memory/ ← 记忆固化内容
├── tools/ ← 工具提交
├── personal/ ← 个人笔记
└── media/ ← 轻量媒体
↓ inbox_refine / kb_manager（AI自动分类）
agent-sync/03_knowledge/[10~60_xxx]/
↓ 每台机器自动重建
agent-os-local/vector_db/global/ ← 协同知识向量化
agent-os-local/vector_db/local/ ← 私有内容向量化
↓ 检索时合并（先local后global）
用户查询响应
```
### 实施三原则
1. **不破坏现有功能** — 重命名/移动目录前做好兼容或路径别名处理
2. **协同目录轻量化** — 大文件/向量库/本机专属内容绝不进入agent-os/
3. **渐进实施** — 先目录结构，再配置文件，最后代码完善
---
## 二、新目录结构（【待审核】）
### 2.1 agent-os/ 变更说明
```
agent-os/
├── 00_bootstrap/ # 【保留】初始化脚本
│ ├── init.sh # 主安装入口（后续增加HOST_ID读取逻辑）
│ ├── apply-config.sh
│ ├── export_skills.sh
│ └── import_skills.sh
│
├── 01_core/ # 【扩展】核心配置
│ ├── IDENTITY.md # 系统身份
│ ├── SOUL.md # 智能体灵魂设定
│ ├── USER.md # 用户画像
│ ├── mcp.json # MCP配置
│ ├── CHANGELOG.md
│ └── HOST_ID.md # 【新增★】本机标识与角色
│ # 格式：my-macbook_macOS14.4_16GB_master
│
├── 02_skills/ # 【扩展】技能库
│ ├── _template/ # 技能模板（含SKILL_CARD.yaml模板）
│ ├── memory_manager/ # 【扩展】记忆管理
│ │ ├── SKILL.md
│ │ ├── SKILL_CARD.yaml # 【新增★】技能身份证
│ │ ├── daily_digest.py # 每日提炼
│ │ ├── memory_extractor.py # 【新增★】记忆固化提取（推送inbox）
│ │ ├── bootstrap_from_memory.py
│ │ ├── agent_memory_init.py
│ │ ├── export_memories.py
│ │ ├── import_memories.py
│ │ ├── memory_cleanup.py
│ │ ├── semantic_search.py
│ │ └── version.json
│ ├── kb_manager/ # 【扩展】知识库管理
│ │ ├── SKILL.md
│ │ ├── SKILL_CARD.yaml # 【新增★】技能身份证
│ │ ├── kb_ingest.py # 知识入库（更新inbox路径适配）
│ │ ├── kb_search.py # 【新增★】知识检索（双轨向量）
│ │ └── version.json
│ ├── inbox_refine/ # 【扩展】收件箱精炼
│ │ ├── SKILL.md
│ │ ├── SKILL_CARD.yaml # 【新增★】技能身份证
│ │ ├── inbox_refine.py # 精炼主程序（更新多分区支持）
│ │ ├── llm_classifier.py
│ │ └── version.json
│ ├── collect_to_inbox/ # 【扩展】采集推送
│ │ ├── SKILL.md
│ │ ├── SKILL_CARD.yaml # 【新增★】技能身份证
│ │ ├── collect_to_inbox.py # 采集推送（更新本地素材路径）
│ │ └── version.json
│ ├── auto_collector/ # 【扩展】自动采集
│ │ ├── SKILL.md
│ │ ├── SKILL_CARD.yaml # 【新增★】技能身份证
│ │ └── version.json
│ ├── sync_manager/ # 【扩展】同步管理
│ │ ├── SKILL.md
│ │ ├── SKILL_CARD.yaml # 【新增★】技能身份证
│ │ └── version.json
│ ├── web_crawler/ # 【保留】网页爬取
│ │ └── SKILL.md
│ └── content_processor/ # 【保留】内容处理
│ └── SKILL.md
│
├── 03_knowledge/ # 【重构】知识库
│ ├── 00_stream/ # 【新增★】数据流入区（替代原00_inbox）
│ │ └── inbox/ # 协同收件箱（唯一进入通道）
│ │ ├── knowledge/ # 外部知识（采集提炼后的MD知识卡）
│ │ ├── memory/ # 记忆固化（本机重要记忆提炼后推入）
│ │ ├── tools/ # 工具提交（TOOL_CARD.yaml+入口脚本）
│ │ ├── personal/ # 个人内容（笔记/会议记录/随手记）
│ │ └── media/ # 轻量媒体（<1MB关键附图）
│ ├── 01_daily/ # 【保留】每日记录
│ ├── 10_concepts/ # 【保留】概念（含各领域子目录）
│ ├── 20_methods/ # 【保留】方法
│ ├── 30_facts/ # 【保留】事实/数据
│ ├── 40_references/ # 【保留】参考资料
│ ├── 50_resources/ # 【保留】资源
│ ├── 60_opinions/ # 【保留】观点
│ ├── 90_archive/ # 【保留】归档
│ └── 99_system/ # 【保留】系统文档
│
├── 04_memory/ # 【精简】记忆系统（仅保留协同部分）
│ ├── daily_summaries/ # 【保留】每日摘要（可多机共享）
│ ├── long_term/ # 【保留】长期记忆（经固化的全局记忆）
│ ├── logs/ # 【保留】运行日志
│ └── memory_backup/ # 【保留】记忆备份
│ # ⚠️【审核点】vector_db 从此处移除，仅在本机local目录维护
│
├── 05_tools/ # 【扩展】工具层
│ ├── 00_setup/ # 【保留】环境安装
│ ├── 01_system/ # 【扩展】系统工具
│ │ └── skill_scanner.py # 【新增★】技能状态扫描器
│ ├── 02_browser/
│ ├── 03_ocr/
│ ├── 04_media/
│ ├── 05_crawl/
│ └── 06_mobile/
│
├── 06_runtime/ # 【保留】运行时
│ └── tasks/
│
├── 07_migration/ # 【保留】迁移工具
│ ├── backup.sh
│ ├── pack.sh
│ └── unpack.sh
│
└── 90_archive/ # 【保留】全局归档
```
### 2.2 agent-os-local/ 变更说明
```
agent-os-local/
├── materials/ # 【保留+扩展】本机原始素材
│ ├── audio/ # 音频
│ ├── video/ # 视频
│ ├── screenshots/ # 截图
│ ├── web/ # 网页存档
│ └── refined_for_inbox/ # 【保留】精炼待提交内容（暂存区）
│
├── memory/ # 【扩展】本机记忆
│ ├── raw/ # 【保留】原始记忆日志（每日.md）
│ └── long_term/ # 【新增★】本机长期记忆（固化前暂存）
│
├── knowledge/ # 【新增★】本机私有知识库（绝不同步）
│ ├── projects/ # 项目过程记录
│ └── personal/ # 个人私密笔记
│
├── vector_db/ # 【重构★】双轨向量库（绝不同步）
│ ├── local/ # 本机私有内容向量化
│ │ └── chroma/
│ └── global/ # 协同知识库向量化（从agent-os重建）
│ ├── keyword_index.json
│ └── chroma/
│
├── runtime/ # 【保留】运行时缓存
│ └── cache/
│
└── machine_info.json # 【新增★】本机环境描述
# 含：主机名、OS、内存、角色、依赖清单
```
---
## 三、关键审核点（请逐一确认）
| # | 审核项 | 建议方案 | 需用户决策 |
|---|--------|----------|------------|
| ① | `03_knowledge/00_inbox/` → `03_knowledge/00_stream/inbox/` | 用新路径，旧路径做兼容软链接 | 是否保留旧00_inbox或完全迁移？ |
| ② | `04_memory/vector_db` 移除出协同目录 | 迁移到 `agent-os-local/vector_db/global/` | 确认向量库不参与多机同步 |
| ③ | `agent-os-local/knowledge/` 新增 | 存放本机私有知识和项目过程 | 确认路径合适 |
| ④ | `machine_info.json` 格式 | 见下方模板，自动生成+手动补充 | 确认字段范围 |
| ⑤ | SKILL_CARD.yaml 是否所有技能都要加 | 只给自研技能（5个核心）加 | 确认 |
---
## 四、实施任务清单（第二步工作计划）
### Phase 1：目录结构落地（即可执行）
- [x] 创建规划文档（本文件）
- [ ] 创建 `agent-sync/03_knowledge/00_stream/inbox/{knowledge,memory,tools,personal,media}/`
- [ ] 创建 `agent-os-local/knowledge/{projects,personal}/`
- [ ] 创建 `agent-os-local/memory/long_term/`
- [ ] 创建 `agent-os-local/vector_db/{local,global}/chroma/`
- [ ] 创建 `agent-os/01_core/HOST_ID.md`
- [ ] 创建 `agent-os/05_tools/01_system/skill_scanner.py`（如不存在）
### Phase 2：配置文件（目录确认后）
- [ ] 为5个核心技能创建 `SKILL_CARD.yaml`
- [ ] 创建 `agent-os-local/machine_info.json`
- [ ] 创建 `_template/SKILL_CARD.yaml` 模板
### Phase 3：核心代码完善（最终实施）
- [ ] **memory_extractor.py** — 记忆固化提取，检测固化条件，推送inbox/memory/
- [ ] **kb_ingest.py 更新** — 适配新inbox多分区路径
- [ ] **inbox_refine.py 更新** — 支持5分区不同处理逻辑
- [ ] **collect_to_inbox.py 更新** — 扫描agent-os-local/materials/refined_for_inbox/
- [ ] **kb_search.py 新增** — 双轨向量库检索，先local后global合并结果
- [ ] **vector_db_rebuild.py 新增** — 重建向量库（local/global两套）
---
## 五、machine_info.json 模板
```json
{
"machine": {
"id": "my-macbook_macOS14.4_16GB_master",
"display_name": "My MacBook Air M1",
"role": "master",
"os": "macOS",
"os_version": "14.4",
"memory_gb": 16,
"cpu": "Apple M1",
"hostname": "my-macbook.local"
},
"environment": {
"python_path": "~/.workbuddy/binaries/python/envs/agent-os/bin/python3",
"agent_os_path": "~/workbuddy-agent-os/agent-sync",
"agent_os_local_path": "~/workbuddy-agent-os/agent-local",
"shell": "zsh"
},
"software": {
"git_version": "",
"obsidian": true,
"workbuddy": true
},
"network": {
"vpn_available": false,
"notes": ""
},
"special_config": {},
"last_updated": "2026-04-29",
"auto_update": false
}
```
---
## 六、SKILL_CARD.yaml 标准模板
```yaml
# SKILL_CARD.yaml —— 技能身份证（标准模板）
skill:
name: "技能名称"
id: "skill_id"
version: "1.0.0"
category: "core-system" # core-system / user-custom / external
status: "active" # active / inactive / experimental
created: "2026-04-29"
updated: "2026-04-29"
description:
short: "一句话描述"
use_cases: []
tags: []
ownership:
master_editor: "my-macbook_macOS14.4_16GB_master"
readonly_on_other_devices: true
environment:
os: "macos"
python_path: "~/.workbuddy/binaries/python/envs/agent-os/bin/python3"
pip_dependencies: []
setup:
install_script: ""
post_check: ""
usage:
entry_point: "main.py"
scheduled: ""
manual_trigger: ""
```
---
> **【审核状态】** 请确认以上目录结构和计划后，回复"确认开始实施"或提出修改意见。
> 确认后将进入第二步：实际创建目录、生成配置文件、完善核心代码。
mac-agent-os-main/90_archive/10_next_version_discussion/知识库分类体系与全链路设计规范.md
+139
View File
@@ -0,0 +1,139 @@
# AgentOS 世界级知识库分类体系与全链路设计规范
> 版本：2026-04-29
> 作者：AI+用户共创
---
## 一、收件箱（inbox）分区与跨界机制
收件箱是所有本地内容进入协同目录的唯一通道，分为五大分区：
```
agent-sync/03_knowledge/00_stream/inbox/
├── knowledge/ # 知识内容（外部采集提炼后的MD知识卡）
├── memory/ # 记忆固化（本机记忆提炼的重要内容）
├── tools/ # 工具提交（TOOL_CARD.yaml + 入口脚本）
├── personal/ # 个人内容（笔记、语音转写、会议记录、随手记）
└── media/ # 轻量媒体（关键图片、短音频片段）
```
- 低权限主机只能通过inbox提交内容，高权限主机可直接写入协同目录。
- 后期可扩展权限体系，当前以手动判断为主。
---
## 二、本机记忆固化机制
- 本机记忆（raw/）只有满足以下任一条件才可固化：
1. 用户主动指定“固化”
2. AI检测高频引用/反复出现
3. 长期未被推翻且被引用多次
- 固化后生成MD知识卡，推入inbox/memory/，由AI自动分类入库。
- 不固化内容永远留在本机，不同步。
---
## 三、媒体同步边界
- 允许同步：
- 关键知识附图（<500KB）
- 重要截图（<1MB）
- 精华语音片段（<2MB，已转写）
- 项目产出设计稿（<2MB）
- 不允许同步：
- 完整视频/音频/高清图片/网页原始截图/单文件>5MB
- 媒体与MD文件同目录，frontmatter标注attachments。
---
## 四、向量数据库架构
- 向量DB仅在本机重建，永不同步。
- 协同知识库（MD文件）同步后，每台机器自动重建global向量库。
- 本机私有内容单独建local向量库。
- 检索时合并两层结果，优先本机，补充协同。
---
## 五、知识属性六大维度（frontmatter字段）
### 1. 知识本质属性（nature）
- fact/concept/axiom/method/regulation/data/reference/opinion/quote/experience/insight/inspiration
### 2. 领域分类（domain）
- 19大领域，含arts/health/culture等感官与人文类
### 3. 认知用途（cognitive_role）
- foundational/actionable/reference/inspirational/contextual/evaluative
### 4. 个人主观属性
- interest_level/practical_value/aesthetic_value/revisit_priority/mastery
### 5. 时效性（temporal）
- evergreen/current/historical/trending/expires_at
### 6. 来源与可信度
- source/source_type/confidence/machine_origin/author
---
## 六、frontmatter完整模板
```yaml
---
id: KB-20260429-001
title: "知识标题"
version: 1
status: draft
nature: concept
domain: [ai]
subdomain: [RAG, NLP]
cognitive_role: actionable
interest_level: 4
practical_value: 3
aesthetic_value: 0
revisit_priority: medium
mastery: understanding
temporal: evergreen
expires_at: ""
source: ""
source_type: literature
confidence: 0.8
machine_origin: "macbook-air-m1"
author: ""
track: world
summary: "一句话摘要"
tags: [标签1, 标签2]
keywords: [关键词1, 关键词2]
aliases: [别名1]
date_created: 2026-04-29
date_modified: 2026-04-29
previous_version: ""
superseded_by: ""
related: []
project_ref: ""
has_attachment: false
attachments: []
---
```
---
## 七、字段分层与性价比建议
- 必填：id/title/nature/domain/confidence/date_created/status
- 强烈建议：cognitive_role/summary/source/track
- 按类型填：mastery/aesthetic_value/project_ref/expires_at
- 其余可选，内容成熟后补充
---
## 八、整体链路总结
- 本机捕获(重)→本机加工(重)→本机精炼(轻MD)→inbox分区→AI分类入库→多轨道归档→归档/版本链→本机/协同向量库重建
- 六大维度属性+分区收件箱+两层向量库，兼顾检索、创意、个性化、协同。
---
> 本规范为AgentOS知识管理系统vNext的顶层设计标准，后续如有补充请在本文件基础上增量修订。
mac-agent-os-main/90_archive/10_next_version_discussion/讨论清单.md
+193
View File
@@ -0,0 +1,193 @@
# AgentOS vNext 讨论清单（2026-04-28）
## 一、待细化/待确认的核心议题
1. 向量库（vector_db）
- 本地与全局的分工与同步机制
- 向量库与知识内容的分离/融合方式
- 多机向量同步的安全性与一致性
2. 主机/维护机标识与权限体系
- 主机唯一ID生成与管理
- 主维护机的指定、切换与权限
- 多机协同下的角色分工与冲突解决
3. 知识库分类体系
- 多级分类、标签体系的设计与落地
- 领域/属性/标签的扩展与动态调整机制
- 个人笔记、项目过程、记忆固化等特殊内容的归档策略
4. 工具与技能的边界与互转
- 工具与技能的定义、加载机制
- CLI工具与自动化技能的互转标准
- 何时应将工具升级为技能，反之亦然
5. 本机数据说明与动态更新
- 本机环境、硬件、软件、网络等数据的结构化存储
- 自动/手动更新机制与token效率
- 变更追踪与历史记录
6. 同步/备份机制
- agent-os 与 agent-os-local 的同步策略
- 备份粒度、频率、冲突解决
- 多机间的增量同步与恢复流程
7. 项目过程与知识归档的分离与融合
- 项目文档、过程记录与最终知识的转化机制
- 归档标准与自动化流程
8. 自动化任务与定时调度体系
- 任务注册、启停、调度与监控
- 多机环境下的任务分发与容错
9. 其他（请补充）
---
## 二、任务细化清单（可持续补充）
- [ ] 设计向量库本地/全局结构与同步流程
- [ ] 制定主机/维护机标识与权限管理方案
- [ ] 优化知识库多级分类与标签体系
- [ ] 明确工具与技能的互转标准与流程
- [ ] 设计本机数据说明的结构与自动更新机制
- [ ] 规划同步/备份的详细策略与实现步骤
- [ ] 梳理项目过程与知识归档的转化流程
- [ ] 设计自动化任务调度与监控体系
- [ ] ...（后续补充）
---
## 三、讨论方向与预期（AI建议）
### 1. 全局视角
- 以“多机协同+知识自进化”为核心，兼顾效率、可维护性与安全性
- 强化自动化与智能化，减少人工干预
- 结构化、标准化、可追溯，便于后续扩展
### 2. 细化建议
- 每个议题可单独开子文件夹，沉淀方案、流程图、决策记录
- 充分讨论后再进入开发，避免反复返工
- 关键机制（如同步、权限、归档）优先原型验证
### 3. 预期目标
- 明确每一项机制的“为什么/做什么/怎么做/如何验证”
- 形成可落地的设计文档与任务分解
- 逐步推进，阶段性评审与复盘
---
## 四、AI补充的全方位思考方向（供参考）
- 多机协同下的数据一致性与冲突解决最佳实践
- 向量化知识检索的安全性与隐私保护
- 个人与全局知识的边界与流转机制
- 自动化任务的容错与自愈能力
- 系统可观测性与监控体系建设
- 版本管理与历史追溯的自动化
- 用户体验与交互流程优化
- 跨平台兼容性与迁移策略
- ...（持续补充）
---
## 【2026-04-28 本机标识与角色机制简化方案】
- 每台机器只需配置一个唯一“主机名”或“身份名”，如：`my-macbook_macOS14.4_16GB_master`。
- 名字建议包含：
- 设备自定义名（如 my-macbook）
- 系统版本（如 macOS14.4）
- 内存（如 16GB）
- 当前角色（如 master/maintainer）
- 例如：`office-pc_Win11_32GB_maintainer`
- 这样可一眼识别本机情况，角色切换只需手动改名，无需复杂权限体系。
- 适合个人和小规模多机协同，简单高效，易于维护。
---
## 【2026-04-28 工具与技能边界、互转与迁移机制补充】
- 工具本身较重，依赖复杂环境，协同目录（如 agent-os/tools/）只同步“安装命令”“入口脚本”或“适配说明”，不直接同步所有依赖和环境。
- 本地目录（agent-os-local/tools/）实际存放可执行脚本、依赖包、环境配置，确保工具能在本机落地运行。
- 工具通过“标准化包装/描述文件”（如 TOOL_CARD.yaml），描述依赖、安装方式、适配平台、入口命令等，便于自动化部署和技能注册。
- 支持“环境检测/自动适配”脚本，自动判断本地依赖是否齐全，缺失时友好提示或一键安装。
- 技能本质是轻量化自动化脚本，调用本地已落地的工具，负责流程编排、输入输出标准化。
- 工具与技能通过“标准化描述+适配层”灵活互转，协同目录轻量化，同步高效，落地灵活。
- 工具卡和环境适配脚本为后续系统迁移、全量/部分备份、跨平台部署提供基础，迁移时只需同步描述和适配脚本，目标机自动完成环境适配和工具落地。
> 工具卡与环境适配机制将在“同步/备份机制”章节详细展开。
---
## 【2026-04-28 本机数据说明机制补充】
- 本机数据说明即“本机环境知识库”或“本机环境清单”，用于记录本机的硬件、系统、网络、环境变量、专用配置等关键信息。
- 主要作用：
- 让智能体/程序快速识别本机情况，避免每次都重新检测。
- 便于记忆系统、自动化脚本、技能等直接读取和复用本机环境信息。
- 记录本机专属设置（如内存大小、特殊端口、独有依赖等），不参与多机协同，仅本机使用。
- 建议存储为结构化文件（如 environment.yaml、machine_info.json），并定期/按需自动更新，或手动补充特殊项。
- 可作为记忆系统的一个专属分支，便于后续检索和自动化调用。
---
## 【2026-04-28 项目过程与知识归档的分离与融合机制补充】
- 项目过程、想法、实验性工具等内容，初期只保存在本机或本机项目知识库，支持高频变更和个性化探索。
- 当项目或工具开发进入“转正”阶段（即具备通用价值、可协同复用）：
1. 在本机完成最终打包或生成安装脚本。
2. 通过“收件箱”机制，将打包文件、安装脚本、说明文档等统一提交到协同目录的专用收件箱（如 agent-sync/03_knowledge/00_inbox/projects/）。
3. 普通节点仅有提交权限，主机/维护机负责审核、验收和归档。
4. 主机/维护机审核通过后，将工具/项目内容正式迁移到协同目录的工具区（如 agent-os/05_tools/），并将相关知识、说明文档归档到知识库（如 agent-sync/03_knowledge/）。
5. 归档时添加元数据（如来源、归档时间、版本、作者等），便于追溯和管理。
- 只有经过“收件箱-审核-归档”流程的内容，才会同步到多机协同，成为所有节点认可的“公共工具/知识”。
- 未归档内容仅在本机或主机流转，避免半成品、实验性内容干扰全局协同。
- 支持“项目过程-知识归档-全局共享”全流程的元数据记录，便于后续追溯和复盘。
> 该机制确保项目内容从本地探索到全局协同的转化过程有据可查、权限清晰、流程严谨。
你的思路非常清晰，补充总结如下：
---
## 【2026-04-28 自动化任务与定时调度体系补充】
- 自动化任务（如记忆压缩、知识提炼、信息抓取等）在多机协同的同步目录中统一管理，每台主机都能获取完整任务清单。
- 每台主机根据自身“主机名/角色”有选择性地启用相关任务：
- 普通主机只启用本地记忆压缩、体验类任务。
- 知识库管理主机启用知识提炼、归档、同步等核心任务。
- 特殊主机可启用自动抓取、外部采集等定制任务。
- 任务启用逻辑简单高效：只需在任务配置中标明适用角色或主机名，系统自动判断是否执行。
- 不做复杂的分发、容错、调度体系，单机/小规模协同下以“角色驱动”实现任务分工，灵活易维护。
- 如后续有多用户/大规模协同需求，可再扩展任务分发、容错等机制。
---
你的方案已非常适合个人和小团队场景，简单高效，易于落地和维护。如需，我可以帮你设计任务配置模板或角色-任务映射示例。
---
# 【2026-04-28 最新讨论补充】本地/全局记忆与知识库、向量库、同步机制设计
## 1. 目录与同步边界
- `~/workbuddy-agent-os/agent-sync/`：所有内容都参与多机同步（知识库、协同收件箱、协同向量库等）。
- `~/workbuddy-agent-os/agent-sync/agent-local/`：所有内容仅本机保存，绝不参与同步（本地记忆、个人笔记、本地素材等）。
## 2. 数据流转与提炼机制
1. **本地记忆/个人笔记产生**
- 存在于 `~/workbuddy-agent-os/agent-sync/agent-local/materials/`，如记忆系统自动提存、个人随手笔记等。
2. **记忆/笔记提炼**
- 用户可手动或自动将有价值的内容，从 `~/workbuddy-agent-os/agent-sync/agent-local/materials/` 提取到 `~/workbuddy-agent-os/agent-sync/03_knowledge/00_inbox/`（协同收件箱）。
- 提取时可加属性（如“记忆”标签），以便后续分类。
3. **知识库入库**
- 协同收件箱只存 md 文件，知识管理系统定期/手动将内容加工、分类，正式入库到知识库（如 10_concepts、20_methods 等）。
## 3. 向量数据库设计
- **本地向量库**：`~/workbuddy-agent-os/agent-sync/agent-local/` 下的所有内容（记忆、个人笔记等）向量化，仅本机检索。
- **协同向量库**：`~/workbuddy-agent-os/agent-sync/` 下知识库内容向量化，参与多机同步和协同检索。
- 检索时，默认先查本地向量库，再查协同向量库，结果合并展示，体验无割裂。
## 4. 分类与属性
- 协同收件箱和知识库的 md 文件可通过 frontmatter 或标签标明来源（如“记忆提存”、“个人笔记”），方便后续分类和检索。
- 知识库分类可灵活调整，不必强依赖文件名。
## 5. 机制总结
- 本地内容完全隔离，隐私安全。
- 有价值内容通过“提炼-收件箱-知识库”机制流转，保证协同知识的高质量和结构化。
- 多机协同时，检索体验顺畅，既能查本地记忆，也能查全局知识。
---
> 本节为 2026-04-28 讨论结论，后续如有新机制/细节调整请在此基础上补充。
---