butubb/MediaCrawler

Fork 0

Files

T

butubb 2112c1a870

Deploy VitePress site to Pages / build (push) Canceled after 0s

Details

Deploy VitePress site to Pages / Deploy (push) Canceled after 0s

Details

feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程，直接发 HTTP

移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。

**目前能用的（真环境实测，非推断）**：

    profile/other : 200, 7075 字节  —— 博主主页指标（粉丝/获赞/作品数/昵称）
    aweme/detail  : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）

**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
  1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
     带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
     同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
     挑中的恰好是「批量拉作品列表」这个最敏感的动作。
  2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
     代价，过几小时要重测）。

  所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。

**排查中控住变量后得到的两条事实**（都写进注释了）：
  · `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
    UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
    （我先前猜的 sec-ch-ua 不是关键。）
  · 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
    从 CDP 取齐 cookie + UA + hints，而不是各自写死。

「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。

测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。

2026-10-10 17:12:25 +08:00

3.4 KiB

Raw Blame History

id, title, type, status, nature, domain, subdomain, tags, confidence, source, source_type, date_created, date_modified, version, aliases, keywords, summary

title

type

status

nature

domain

subdomain

搞钱的底层逻辑——价值创造与有效努力

一、核心命题

努力只有在正确的方向上才值钱。很多人勤奋但没钱，因为努力的方向和赚钱逻辑对不上。

二、钱与价值的本质

钱的本质

钱不是你努力换来的，而是你为别人创造价值后，对方自愿掏钱给你的。 这需要满足三个条件：

为他人（不是为自己）
对方认可（不是自己觉得好）
主动付（不是被动施舍）

价值的本质

价值 = 满足别人需求的能力。需要两个条件交叉：

你的能力 × 别人的需求 = 价值
   ↑           ↑
 光有能力    光有需求
 没需求      没能力
 =自嗨      =慈善

还有一个前提：这个需求对应的群体，得有钱且愿意付费。 没有购买力的需求，不产生商业价值。

三、赚钱公式

收入 = 个人能力 × 有付费能力和意愿的需求 × 触达渠道
         ↑             ↑                      ↑
     大多数人只盯  被忽视的市场端       被忽视的推广端
     着提升这个

三个要素，缺一个都不行：

要素	问题	例子
能力	学了但没市场需求	精通八级木工，但城市没人做木工了
需求	有需求但没钱	教老人用手机，老人觉得贵不付
触达	有能力有需求但没人知道你	最好的会计在小县城没人找

四、无效努力的三种陷阱

陷阱	表现	本质
自我感动型	考证、学技能，只为自己安心	把"努力"当目的，忘了市场变现
同行认可型	设计师追求审美而不是甲方要的转化	把"专业评价"当成了"客户价值"
完美准备型	先把自己练成全才再找市场	把顺序搞反了，应该先找市场再学能力

五、搞钱的第一性原理

找到有钱又愿意付费的人
  ↓
搞清楚他们最痛的问题
  ↓
成为能解决这个问题的人

操作路径

先看市场：哪里有付费需求？谁在花钱？花在什么地方？
再学能力：市场上最缺什么能力，就去学什么
先做再优化：不追求完美，先做起来在实践中补短板
打通渠道：让有需求的人能找到你

六、总结

这世界不缺努力的人，缺的是能精准解决用户付费痛点的人。

传统思维	有效思维
我有什么能力	市场需要什么能力
我要努力提升	我要找到付费需求
学好了再出发	先做起来再优化
我觉着这个好	客户愿意为这个付钱

选对方向，比埋头努力重要得多。

3.4 KiB Raw Blame History