移植自 mac-agent-os 的 mediacrawler_adapter:不起子进程、不开页面,用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin,所以 ingest 那条链路一个字不用改。
**目前能用的(真环境实测,非推断)**:
profile/other : 200, 7075 字节 —— 博主主页指标(粉丝/获赞/作品数/昵称)
aweme/detail : 200, 45425 字节 —— 单条作品详情(含点赞/评论/收藏/分享)
**目前不能用的:作品列表 `aweme/post`。** 两个互相独立的原因:
1. 这个接口被抖音单独升级成了真校验:不带 x-tt-argus 回 403「Uifid Not Found」,
带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过,「真校验」过不了。
同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的,
挑中的恰好是「批量拉作品列表」这个最敏感的动作。
2. 改走页面截获也不行:CDP 浏览器打开博主主页会落到「验证码中间页」(当天大量探测的
代价,过几小时要重测)。
所以现在的边界是:**已知作品的指标刷新能做,自动发现新作品做不了**。
**排查中控住变量后得到的两条事实**(都写进注释了):
· `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
UA+client hints+Cookie 时是 200 但仅 121 字节的空壳,补上这三个头变 7074 字节。
(我先前猜的 sec-ch-ua 不是关键。)
· 因此 UA 与 client hints 必须**成套地取自同一个浏览器**,所以 BrowserIdentity 一次
从 CDP 取齐 cookie + UA + hints,而不是各自写死。
「200 + 空 body 必须当场报错」也是刻意写死的:放过去它会在下游变成「这个博主没作品」,
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的,还被翻译成「账号被封」。
测试 +11:cookie 解析、请求头成套性(含 uifid 缺失/回退)、产物键名与 store 对齐、
以及 _get 的三条失败路径(空 body / 403 带网关原话 / 正常返回)。
20 KiB
01_submissions 内容蒸馏报告
生成时间: 2026-06-25 来源:
agent-sync/01_submissions/共 70 篇文章 作者: yuan_benchu(袁本初) 时间跨度: 2026-05-18 至 2026-06-08(7天) 分类数量: 5个
一、全景统计
分类分布
| 分类 | 篇数 | 占比 | 总字节 | 平均字节/篇 |
|---|---|---|---|---|
| 社会观察 | 22 | 31.4% | 75,646 | 3,438 |
| 政治分析 | 18 | 25.7% | 60,080 | 3,337 |
| 经济分析 | 14 | 20.0% | 46,294 | 3,306 |
| 哲学思考 | 10 | 14.3% | 34,125 | 3,412 |
| 历史解读 | 6 | 8.6% | 22,589 | 3,764 |
| 合计 | 70 | 100% | 238,734 | 3,410 |
时间分布(每日期刊数)
| 日期 | 社会观察 | 政治分析 | 经济分析 | 哲学思考 | 历史解读 | 日合计 |
|---|---|---|---|---|---|---|
| 05-18 | 3 | 2 | 1 | 3 | 1 | 10 |
| 05-19 | 4 | 2 | 1 | 2 | 1 | 10 |
| 06-02 | 4 | 3 | 1 | 2 | 0 | 10 |
| 06-03 | 4 | 2 | 3 | 0 | 1 | 10 |
| 06-04 | 2 | 3 | 3 | 1 | 1 | 10 |
| 06-05 | 1 | 3 | 4 | 1 | 1 | 10 |
| 06-08 | 4 | 3 | 1 | 1 | 1 | 10 |
每天固定产出 10 篇文章,5 个分类覆盖。哲学思考在 06-03 缺席(0篇),经济分析在 06-08 压缩(1篇),社会观察始终最多。
高频标签
| 出现次数 | 标签 |
|---|---|
| 3 | 底层逻辑 |
| 2 | 社会变迁、阶层流动、就业、地缘政治 |
| 1 | 资产配置、中欧关系、中美关系、制度分析、职业规划、职场变局、政治秩序、亚太格局、行业趋势、文明升维、王朝兴衰、投资、思维方式、失业、社会秩序、社会治理、社会结构、社会分层、认知升维、认知升级、美国政治、历史周期律、理财、就业选择、就业市场、解体风险、阶层跃迁、教育内卷、国际关系、高考、方法论、大国博弈、产业方向、财务自由、被动收入、AI、普通人、人工智能 |
二、按分类的 AI 摘要
1. 社会观察(22篇)— 最活跃的分类
核心主题: 阶层流动、AI就业冲击、教育内卷、社会结构变化
摘要: 本组文章聚焦当代中国的社会变迁与系统性挑战。袁本初从底层逻辑出发,分析社会分层如何形成以及阶层流动的通道如何被结构性地打开或关闭。AI 时代的就业变局是反复出现的焦虑来源,但作者的论点并非恐慌主义——AI 不会消灭工作,而是消灭"岗位",90% 的人的工作方式将发生根本改变。教育内卷、高考制度、职场变局等议题被置于"认知升维"的框架下理解:普通人的突围不在于对抗系统,而在于理解系统的底层逻辑并找到杠杆。社会观察系列贯穿始终的方法是:用系统论把社会现象解构为可理解的机制,再给出个体层面的具体建议。
代表性关键词: 底层逻辑、阶层流动、就业、AI、教育内卷、社会结构、职场变局、社会分层
2. 政治分析(18篇)
核心主题: 中美关系、地缘政治、社会治理、制度分析
摘要: 政治分析系列以国际关系为核心框架,围绕大国博弈的底层逻辑展开。袁本初对中美关系的分析不是简单的好坏评判,而是从制度比较和利益格局切入,探讨两国竞争的结构性根源。亚太格局、美国政治的演变、解体风险等议题被放在文明演化的长周期视角下观察。国内治理部分聚焦集中统一与基层自治的二元结构,社会治理从"管控"到"服务"的转型趋势。文章风格偏向理性解剖而非意识形态表态,强调理解政治机制的"游戏规则"比情绪判断更有价值。
代表性关键词: 地缘政治、中美关系、大国博弈、社会治理、国际关系、美国政治、亚太格局、制度分析
3. 经济分析(14篇)
核心主题: 财务自由、资产配置、被动收入、投资理财、行业趋势
摘要: 经济分析系列主题最为务实,聚焦普通人的财务路径。核心论点是:财务自由的本质不是暴富,而是建立"被动收入 > 日常支出"的可执行系统。袁本初反复强调"稳>快,复利>暴利,可执行>画大饼"的原则,与主流理财认知形成鲜明对比。文章覆盖资产配置策略、被动收入搭建、投资认知升级、行业趋势判断、职业规划与副业选择等实操话题。方法论层面强调"认知决定财富天花板"——先打破信息茧房和稀缺心态,再通过杠杆借力和系统化执行实现阶层的渐进跃迁。
代表性关键词: 财务自由、资产配置、被动收入、投资、理财、行业趋势、职业规划、认知
4. 哲学思考(10篇)
核心主题: 认知升维、思维方式、方法论、底层逻辑、阶层跃迁
摘要: 哲学思考系列是整套内容的方法论基石。袁本初构建了一套从"执行层"向"决策层"跨越的完整系统:认知升维→杠杆借力→资产配置→洞察人性→极致执行。这套系统贯穿所有其他分类的文章,是理解作者思想框架的钥匙。核心命题包括:打破存量思维转向增量思维、警惕"公平幻觉"(世界按价值运行而非按公平运行)、稀缺技能 vs 同质化竞争、从"受害者心态"到"责任者心态"的转变。文章风格偏理性、结构化,每篇都试图给读者一个可操作的"思维模型"而非心灵鸡汤。
代表性关键词: 认知升维、思维方式、方法论、底层逻辑、阶层跃迁、认知升级、认知
5. 历史解读(6篇)
核心主题: 历史周期律、文明升维、制度分析、王朝兴衰
摘要: 历史解读系列篇幅最长(均3764字节),以中国历史周期律为分析框架,探讨"其兴也勃焉,其亡也忽焉"的内在机理。袁本初从三个维度解剖周期律:经济基础(土地兼并与财政崩溃)、制度层面(官僚体系熵增)、社会心理(预期的代际衰减)。核心洞见是:破解周期律不能仅靠制度革命,更需要文化与心理层面的深层改造,实现从"土地—权力"逻辑向"创新—治理"逻辑的"文明升维"。文章引用大量历史案例但不停留在史料罗列,强调历史规律对当代的投射意义。
代表性关键词: 历史周期律、文明升维、制度分析、社会变迁、王朝兴衰、底层逻辑
三、跨分类主题交叉
主题网络分析
┌── 社会观察 ── 社会结构 ──┐
│ │
.── AI冲击──┤ 底层逻辑 ├── 职业规划 ───.
│ │ │ │
│ └── 经济分析 ── 资产配置 ──┘ │
│ │
│ ┌── 政治分析 ── 大国博弈 ──┐ │
│ │ │ │
认知升维─┤ 认知升级 ├── 文明升维 ─────────┘
│ │ │
│ └── 历史解读 ── 周期律 ────┘
│
└── 哲学思考 ── 思维模型 ── 阶层跃迁
核心概念框架
袁本初的 70 篇文章可以被理解为一套三层系统:
-
底层(哲学思考 + 历史解读) — 思维模型和文明规律
- 认知升维方法论
- 历史周期律分析
- 人性洞察与博弈论
-
中层(政治分析 + 社会观察) — 系统环境分析
- 大国博弈格局
- 社会结构变迁
- 制度运行逻辑
-
顶层(经济分析) — 个体行动方案
- 财务自由系统
- 资产配置策略
- 职业发展路径
这套三层结构使整套内容既不是空洞的道理,也不是琐碎的建议,而是"世界观→国情观→行动方案"的完整闭环。
四、完整元数据清单
| # | 文件名 | 日期 | 作者 | 分类 | 序号 | 字节 |
|---|---|---|---|---|---|---|
| 1 | 20260518_yuan_benchu_经济分析_008 |
2026-05-18 | yuan_benchu | 经济分析 | 008 | ~4K |
| 2 | 20260518_yuan_benchu_历史解读_006 |
2026-05-18 | yuan_benchu | 历史解读 | 006 | ~4K |
| 3 | 20260518_yuan_benchu_社会观察_001 |
2026-05-18 | yuan_benchu | 社会观察 | 001 | ~4K |
| 4 | 20260518_yuan_benchu_社会观察_005 |
2026-05-18 | yuan_benchu | 社会观察 | 005 | ~4K |
| 5 | 20260518_yuan_benchu_社会观察_010 |
2026-05-18 | yuan_benchu | 社会观察 | 010 | ~4K |
| 6 | 20260518_yuan_benchu_哲学思考_003 |
2026-05-18 | yuan_benchu | 哲学思考 | 003 | ~4K |
| 7 | 20260518_yuan_benchu_哲学思考_004 |
2026-05-18 | yuan_benchu | 哲学思考 | 004 | ~4K |
| 8 | 20260518_yuan_benchu_哲学思考_009 |
2026-05-18 | yuan_benchu | 哲学思考 | 009 | ~4K |
| 9 | 20260518_yuan_benchu_政治分析_002 |
2026-05-18 | yuan_benchu | 政治分析 | 002 | ~4K |
| 10 | 20260518_yuan_benchu_政治分析_007 |
2026-05-18 | yuan_benchu | 政治分析 | 007 | ~4K |
| 11 | 20260519_yuan_benchu_经济分析_009 |
2026-05-19 | yuan_benchu | 经济分析 | 009 | ~4K |
| 12 | 20260519_yuan_benchu_历史解读_008 |
2026-05-19 | yuan_benchu | 历史解读 | 008 | ~4K |
| 13 | 20260519_yuan_benchu_社会观察_001 |
2026-05-19 | yuan_benchu | 社会观察 | 001 | ~4K |
| 14 | 20260519_yuan_benchu_社会观察_002 |
2026-05-19 | yuan_benchu | 社会观察 | 002 | ~4K |
| 15 | 20260519_yuan_benchu_社会观察_003 |
2026-05-19 | yuan_benchu | 社会观察 | 003 | ~4K |
| 16 | 20260519_yuan_benchu_社会观察_010 |
2026-05-19 | yuan_benchu | 社会观察 | 010 | ~8K |
| 17 | 20260519_yuan_benchu_哲学思考_004 |
2026-05-19 | yuan_benchu | 哲学思考 | 004 | ~4K |
| 18 | 20260519_yuan_benchu_哲学思考_005 |
2026-05-19 | yuan_benchu | 哲学思考 | 005 | ~4K |
| 19 | 20260519_yuan_benchu_政治分析_006 |
2026-05-19 | yuan_benchu | 政治分析 | 006 | ~4K |
| 20 | 20260519_yuan_benchu_政治分析_007 |
2026-05-19 | yuan_benchu | 政治分析 | 007 | ~4K |
| 21 | 20260602_yuan_benchu_经济分析_010 |
2026-06-02 | yuan_benchu | 经济分析 | 010 | ~4K |
| 22 | 20260602_yuan_benchu_社会观察_004 |
2026-06-02 | yuan_benchu | 社会观察 | 004 | ~4K |
| 23 | 20260602_yuan_benchu_社会观察_005 |
2026-06-02 | yuan_benchu | 社会观察 | 005 | ~4K |
| 24 | 20260602_yuan_benchu_社会观察_006 |
2026-06-02 | yuan_benchu | 社会观察 | 006 | ~4K |
| 25 | 20260602_yuan_benchu_社会观察_007 |
2026-06-02 | yuan_benchu | 社会观察 | 007 | ~4K |
| 26 | 20260602_yuan_benchu_哲学思考_008 |
2026-06-02 | yuan_benchu | 哲学思考 | 008 | ~4K |
| 27 | 20260602_yuan_benchu_哲学思考_009 |
2026-06-02 | yuan_benchu | 哲学思考 | 009 | ~4K |
| 28 | 20260602_yuan_benchu_政治分析_001 |
2026-06-02 | yuan_benchu | 政治分析 | 001 | ~4K |
| 29 | 20260602_yuan_benchu_政治分析_002 |
2026-06-02 | yuan_benchu | 政治分析 | 002 | ~4K |
| 30 | 20260602_yuan_benchu_政治分析_003 |
2026-06-02 | yuan_benchu | 政治分析 | 003 | ~4K |
| 31 | 20260603_yuan_benchu_经济分析_011 |
2026-06-03 | yuan_benchu | 经济分析 | 011 | ~4K |
| 32 | 20260603_yuan_benchu_经济分析_012 |
2026-06-03 | yuan_benchu | 经济分析 | 012 | ~4K |
| 33 | 20260603_yuan_benchu_经济分析_013 |
2026-06-03 | yuan_benchu | 经济分析 | 013 | ~4K |
| 34 | 20260603_yuan_benchu_历史解读_009 |
2026-06-03 | yuan_benchu | 历史解读 | 009 | ~4K |
| 35 | 20260603_yuan_benchu_社会观察_008 |
2026-06-03 | yuan_benchu | 社会观察 | 008 | ~4K |
| 36 | 20260603_yuan_benchu_社会观察_009 |
2026-06-03 | yuan_benchu | 社会观察 | 009 | ~4K |
| 37 | 20260603_yuan_benchu_社会观察_010 |
2026-06-03 | yuan_benchu | 社会观察 | 010 | ~4K |
| 38 | 20260603_yuan_benchu_社会观察_011 |
2026-06-03 | yuan_benchu | 社会观察 | 011 | ~4K |
| 39 | 20260603_yuan_benchu_政治分析_004 |
2026-06-03 | yuan_benchu | 政治分析 | 004 | ~8K |
| 40 | 20260603_yuan_benchu_政治分析_005 |
2026-06-03 | yuan_benchu | 政治分析 | 005 | ~4K |
| 41 | 20260604_yuan_benchu_经济分析_01 |
2026-06-04 | yuan_benchu | 经济分析 | 01 | ~4K |
| 42 | 20260604_yuan_benchu_经济分析_02 |
2026-06-04 | yuan_benchu | 经济分析 | 02 | ~4K |
| 43 | 20260604_yuan_benchu_经济分析_03 |
2026-06-04 | yuan_benchu | 经济分析 | 03 | ~4K |
| 44 | 20260604_yuan_benchu_历史解读_01 |
2026-06-04 | yuan_benchu | 历史解读 | 01 | ~4K |
| 45 | 20260604_yuan_benchu_社会观察_01 |
2026-06-04 | yuan_benchu | 社会观察 | 01 | ~4K |
| 46 | 20260604_yuan_benchu_社会观察_02 |
2026-06-04 | yuan_benchu | 社会观察 | 02 | ~4K |
| 47 | 20260604_yuan_benchu_哲学思考_01 |
2026-06-04 | yuan_benchu | 哲学思考 | 01 | ~4K |
| 48 | 20260604_yuan_benchu_政治分析_01 |
2026-06-04 | yuan_benchu | 政治分析 | 01 | ~4K |
| 49 | 20260604_yuan_benchu_政治分析_02 |
2026-06-04 | yuan_benchu | 政治分析 | 02 | ~4K |
| 50 | 20260604_yuan_benchu_政治分析_03 |
2026-06-04 | yuan_benchu | 政治分析 | 03 | ~4K |
| 51 | 20260605_yuan_benchu_经济分析_01 |
2026-06-05 | yuan_benchu | 经济分析 | 01 | ~4K |
| 52 | 20260605_yuan_benchu_经济分析_02 |
2026-06-05 | yuan_benchu | 经济分析 | 02 | ~4K |
| 53 | 20260605_yuan_benchu_经济分析_03 |
2026-06-05 | yuan_benchu | 经济分析 | 03 | ~4K |
| 54 | 20260605_yuan_benchu_经济分析_04 |
2026-06-05 | yuan_benchu | 经济分析 | 04 | ~4K |
| 55 | 20260605_yuan_benchu_历史解读_01 |
2026-06-05 | yuan_benchu | 历史解读 | 01 | ~4K |
| 56 | 20260605_yuan_benchu_社会观察_01 |
2026-06-05 | yuan_benchu | 社会观察 | 01 | ~8K |
| 57 | 20260605_yuan_benchu_哲学思考_01 |
2026-06-05 | yuan_benchu | 哲学思考 | 01 | ~8K |
| 58 | 20260605_yuan_benchu_政治分析_01 |
2026-06-05 | yuan_benchu | 政治分析 | 01 | ~4K |
| 59 | 20260605_yuan_benchu_政治分析_02 |
2026-06-05 | yuan_benchu | 政治分析 | 02 | ~4K |
| 60 | 20260605_yuan_benchu_政治分析_03 |
2026-06-05 | yuan_benchu | 政治分析 | 03 | ~4K |
| 61 | 20260608_yuan_benchu_经济分析_01 |
2026-06-08 | yuan_benchu | 经济分析 | 01 | ~8K |
| 62 | 20260608_yuan_benchu_历史解读_01 |
2026-06-08 | yuan_benchu | 历史解读 | 01 | ~8K |
| 63 | 20260608_yuan_benchu_社会观察_01 |
2026-06-08 | yuan_benchu | 社会观察 | 01 | ~8K |
| 64 | 20260608_yuan_benchu_社会观察_02 |
2026-06-08 | yuan_benchu | 社会观察 | 02 | ~8K |
| 65 | 20260608_yuan_benchu_社会观察_03 |
2026-06-08 | yuan_benchu | 社会观察 | 03 | ~8K |
| 66 | 20260608_yuan_benchu_社会观察_04 |
2026-06-08 | yuan_benchu | 社会观察 | 04 | ~8K |
| 67 | 20260608_yuan_benchu_哲学思考_01 |
2026-06-08 | yuan_benchu | 哲学思考 | 01 | ~8K |
| 68 | 20260608_yuan_benchu_政治分析_01 |
2026-06-08 | yuan_benchu | 政治分析 | 01 | ~8K |
| 69 | 20260608_yuan_benchu_政治分析_02 |
2026-06-08 | yuan_benchu | 政治分析 | 02 | ~8K |
| 70 | 20260608_yuan_benchu_政治分析_03 |
2026-06-08 | yuan_benchu | 政治分析 | 03 | ~8K |
注: 序号为 001-010 的是早期批次(05-18/19 和 06-02),序号为 01-04 的是后期批次(06-04/05/08)。后期文章篇幅更平均且略长(~8K vs ~4K)。
五、摘要输出(JSON)
{
"report": "01_submissions 蒸馏报告",
"generated": "2026-06-25",
"source": "agent-sync/01_submissions/",
"author": "yuan_benchu",
"date_range": "2026-05-18 至 2026-06-08",
"total_articles": 70,
"total_bytes": 238734,
"categories": [
{
"name": "社会观察",
"article_count": 22,
"percentage": 31.4,
"total_bytes": 75646,
"avg_bytes": 3438,
"top_tags": ["底层逻辑", "阶层流动", "就业", "AI", "教育内卷", "社会结构", "职场变局", "社会分层"],
"summary": "聚焦当代中国社会变迁的系统性分析。以系统论解构社会分层机制,探讨AI时代的就业变局——AI不会消灭工作,而是消灭岗位,90%的人的工作方式将发生根本改变。贯穿始终的方法是:把社会现象解构为可理解的机制,再给出个体层面的具体建议。",
"key_concepts": ["社会结构变迁", "阶层流动", "AI与就业", "教育内卷", "职场变局"]
},
{
"name": "政治分析",
"article_count": 18,
"percentage": 25.7,
"total_bytes": 60080,
"avg_bytes": 3337,
"top_tags": ["地缘政治", "中美关系", "大国博弈", "社会治理", "国际关系", "美国政治", "亚太格局", "制度分析"],
"summary": "以大国博弈底层逻辑为核心的分析系列。从制度比较和利益格局切入,探讨中美竞争的结构性根源。国内聚焦集中统一与基层自治的二元结构、社会治理从管控到服务的转型。风格偏向理性解剖而非意识形态表态。",
"key_concepts": ["中美关系", "地缘政治", "社会治理转型", "制度比较"]
},
{
"name": "经济分析",
"article_count": 14,
"percentage": 20.0,
"total_bytes": 46294,
"avg_bytes": 3306,
"top_tags": ["财务自由", "资产配置", "被动收入", "投资", "理财", "行业趋势", "职业规划", "认知"],
"summary": "最务实的分类,聚焦普通人的财务路径。核心论点:财务自由的本质是\"被动收入 > 日常支出\"的可执行系统,而非暴富。反复强调\"稳>快,复利>暴利\"原则。覆盖资产配置、被动收入搭建、认知升级等实操话题。",
"key_concepts": ["财务自由系统", "资产配置", "被动收入", "认知与财富"]
},
{
"name": "哲学思考",
"article_count": 10,
"percentage": 14.3,
"total_bytes": 34125,
"avg_bytes": 3412,
"top_tags": ["认知升维", "思维方式", "方法论", "底层逻辑", "阶层跃迁", "认知升级"],
"summary": "整套内容的方法论基石。构建了从执行层向决策层跨越的五步系统:认知升维→杠杆借力→资产配置→洞察人性→极致执行。核心命题:打破存量思维转向增量思维、警惕公平幻觉(世界按价值而非公平运行)、稀缺技能 vs 同质化竞争。",
"key_concepts": ["认知升维", "思维模型", "阶层跃迁方法论", "存量vs增量思维"]
},
{
"name": "历史解读",
"article_count": 6,
"percentage": 8.6,
"total_bytes": 22589,
"avg_bytes": 3764,
"top_tags": ["历史周期律", "文明升维", "制度分析", "社会变迁", "王朝兴衰", "底层逻辑"],
"summary": "篇幅最长(均3764字节),以中国历史周期律为框架。从三个维度解剖:经济基础(土地兼并与财政崩溃)、制度层面(官僚体系熵增)、社会心理(预期代际衰减)。核心洞见:破解周期律需要从\"土地—权力\"逻辑向\"创新—治理\"逻辑的文明升维。",
"key_concepts": ["历史周期律", "文明升维", "制度熵增", "资源分配"]
}
],
"keywords": [
{"word": "底层逻辑", "frequency": 3},
{"word": "社会变迁", "frequency": 2},
{"word": "阶层流动", "frequency": 2},
{"word": "就业", "frequency": 2},
{"word": "地缘政治", "frequency": 2},
{"word": "认知升维", "frequency": 1},
{"word": "财务自由", "frequency": 1},
{"word": "历史周期律", "frequency": 1},
{"word": "AI", "frequency": 1},
{"word": "社会治理", "frequency": 1}
]
}