feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程，直接发 HTTP
移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。
**目前能用的（真环境实测，非推断）**：
profile/other : 200, 7075 字节 —— 博主主页指标（粉丝/获赞/作品数/昵称）
aweme/detail : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）
**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
挑中的恰好是「批量拉作品列表」这个最敏感的动作。
2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
代价，过几小时要重测）。
所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。
**排查中控住变量后得到的两条事实**（都写进注释了）：
· `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
（我先前猜的 sec-ch-ua 不是关键。）
· 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
从 CDP 取齐 cookie + UA + hints，而不是各自写死。
「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。
测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。
This commit is contained in:
@@ -0,0 +1,64 @@
|
||||
# GapEngine（缺口引擎）· 素材留档
|
||||
|
||||
> **状态：原文留档，未实现。** 本目录只保存原始素材，供后续开发与讨论引用。
|
||||
> 功能实现（资源库"创意工坊/创意库"）等方案审核通过后再做。
|
||||
|
||||
---
|
||||
|
||||
## 来源
|
||||
|
||||
- 出处：DeepSeek 分享对话 `https://chat.deepseek.com/share/f7s7ksqizw58egcetp`
|
||||
（用户与 DeepSeek 关于"创意脚本生成与筛选系统"的完整讨论，10 条消息）
|
||||
- 抓取方式：`GET /api/v0/share/content?share_id=<id>`（该接口公开，无需登录）
|
||||
- 抓取时间：2026-10-02
|
||||
|
||||
## 文件
|
||||
|
||||
| 文件 | 说明 |
|
||||
|:--|:--|
|
||||
| `对话原文_2026-10-02.md` | 对话全文（46,773 字符，含 THINK/RESPONSE 分片），**所有素材都在这里** |
|
||||
| `对话原始JSON_2026-10-02.json` | 原始接口返回（183KB，含 fragments 结构） |
|
||||
|
||||
## 关键素材清单（都在"对话原文"内）
|
||||
|
||||
| 素材 | 位置 | 规模 |
|
||||
|:--|:--|:--|
|
||||
| **六层参数库 YAML**（完整） | 对话原文 · 代码块 4 | **6 层 / 38 参数 / 177 个参数值**，每值含 `intensity`（预期强度 0-1）+ `cue`（画面联想描述） |
|
||||
| `models.py` | 代码块 5 | 7 个数据类：ParamValue / Param / Layer / ParamLibrary / Selection / GapResult |
|
||||
| `library.py` | 代码块 6 | 参数库加载 |
|
||||
| **`gap_calculator.py`**（缺口算法） | 代码块 7 | 方差×400 归一；`build_scene_card()` 拼接 cue + 缺口强/中/弱判定 |
|
||||
| `app.py`（Streamlit 交互） | 代码块 8 | 侧栏参数选择 + 缺口分析 + 柱状图 + 完整参数库 |
|
||||
| 负面矩阵 | 消息 [7] | 平台硬违禁 7 类 + 观众反感 9 类（含"放开后能做什么"说明） |
|
||||
| 正向矩阵 | 消息 [7] | 6 类 |
|
||||
| 道具/场景变量库 | 消息 [7] | 道具 5 类 + 场景 4 类 + 与六层的联动规则 |
|
||||
| 开发说明文档 v1.0 | 消息 [9] | 架构图 / 模块职责表 / 数据模型 / 工作流程 / P0-P4 优先级 / 待确认事项 |
|
||||
|
||||
## 本项目扩展（原对话之外）
|
||||
|
||||
| 项 | 说明 |
|
||||
|:--|:--|
|
||||
| **第七层「表达层」** | 用户使用中发现：六层只覆盖"怎么拍"（镜头语言），缺"怎么表达"（修辞/隐喻）。2026-10-03 新增 4 参数：<br>· 表达方式（直述 / 明喻 / 暗喻 / 象征 / 反讽 / 留白，6 值）<br>· 喻体来源（自然现象 / 机械人造 / 动物 / 身体感官 / 日常物件，5 值）<br>· 映射关系（整体寓言 / 一物多义 / 一对一 / 局部点缀，4 值）<br>· 揭示时机（全程不点破 / 中途暗示 / 结尾点破，3 值） |
|
||||
| **喻体库** | 道具库新增「象征物（隐喻用）」类（地震/潮水/风暴/笼中鸟/镜子/门…），并在 linkage 里与表达层联动 |
|
||||
| **当前实际规模** | **7 层 / 42 参数 / 195 个值**（原文为 6 层 / 38 / 177） |
|
||||
|
||||
## 核心算法（原文定义，供实现时对齐）
|
||||
|
||||
```python
|
||||
# gap_calculator.py
|
||||
intensities = [s.intensity for s in selections] # 只统计"被选中"的参数（每层选 0-2 个，不选=中性，不进计算）
|
||||
variance = statistics.variance(intensities) # 样本方差
|
||||
gap_score = min(100, variance * 400) # 归一 0-100（理论最大 0.25 × 400 = 100）
|
||||
high_count = intensity >= 0.6 的个数
|
||||
low_count = intensity <= 0.3 的个数
|
||||
scene_card = 按层序拼接各值的 cue + 依方差给"缺口显著/中等/微弱"总结
|
||||
```
|
||||
|
||||
**含义**：每个参数值的 `intensity` = 观众看到该选择时的"预期强度"（低=符合预期，高=出乎预期）；
|
||||
**缺口分 = 被选中参数之间的强度方差**——方差越大，反差越强、传播潜力越高。
|
||||
|
||||
## 待办（方案审核后）
|
||||
|
||||
1. 资源库新增「💡 创意工坊」+「📚 创意库」（见审核中的落地方案）
|
||||
2. 参数库 / 矩阵 / 道具场景库落为可编辑 YAML
|
||||
3. 缺口算法按原文口径实现；新增"LLM 批量生成候选 + 负面过滤 + 正向加权"（原文只设计了模块，无代码）
|
||||
4. 合规类规则复用现有 `config/feasibility_rules.yaml`（不新建第二份）
|
||||
Reference in New Issue
Block a user