feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程，直接发 HTTP

移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。

**目前能用的（真环境实测，非推断）**：

    profile/other : 200, 7075 字节  —— 博主主页指标（粉丝/获赞/作品数/昵称）
    aweme/detail  : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）

**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
  1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
     带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
     同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
     挑中的恰好是「批量拉作品列表」这个最敏感的动作。
  2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
     代价，过几小时要重测）。

  所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。

**排查中控住变量后得到的两条事实**（都写进注释了）：
  · `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
    UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
    （我先前猜的 sec-ch-ua 不是关键。）
  · 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
    从 CDP 取齐 cookie + UA + hints，而不是各自写死。

「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。

测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。

mac-agent-os-main/03_knowledge/20_methods/kling/character-consistency-reference-sheet.md

@@ -0,0 +1,144 @@
+---
+collected: true
+collected_date: 2026-05-16
+---
+
+# 角色一致性定妆照方案（参考图/多视角 Character Sheet/九宫格）
+
+> 最后更新: 2026-05-15 | 来源: Kling 官方文档 + 社区实践 + 论文调研
+
+---
+
+## 一、核心原则
+
+角色一致性的本质是**解耦身份与场景**（Asset-First 策略）：先锁定角色长什么样，再把它放到不同场景中去生成。不是让 AI 同时理解"这人是谁"和"场景是什么"，而是分步处理。
+
+### 从"Lights, Camera, Consistency"论文中提取的核心结论
+
+- **I2I 种子帧是角色一致性的架构支点**（ablation 证明：没有 I2I 种子帧，一致性评分从 7.99 暴跌至 0.55）
+- Asset-First（先出角色定妆照，再出场景）—— 把身份与上下文解耦
+- Temporal Bridge：上一场景的最后一帧作为下一场景第一帧的视觉条件
+- CLIPSeg+DINO 用于评估角色一致性的客观指标
+
+---
+
+## 二、主流定妆照方案
+
+### 方案 A：单参考图锚定（Kling 官方推荐）
+
+**适用场景**：角色不复杂、场景变化不大的快速生产
+
+- 用 **同一张参考图** 锚定每一次生成
+- 每张图必须清晰展示角色的 **面部、发型、服装**
+- 参考图要求：**中性光照 + 干净背景**，让模型聚焦主体
+- 切忌在不同场景间切换参考图——哪怕姿态/光线的微小差异都会导致面部重构
+
+**Prompt 结构化模板**：
+
+```
+[角色描述块: 完全复制]
+[场景描述块: 每场景修改]
+[镜头指令块: 每场景修改]
+```
+
+### 方案 B：多视角 Character Sheet（Grid Method）
+
+**适用场景**：需要完整角色 IP、多场景多角度出镜
+
+#### 2x3 网格（6格）标准布局
+
+| 行 | 内容 |
+|:-:|------|
+| 上排 | 全身正面、侧面、3/4 转向 |
+| 下排 | 面部特写 - 中性、微笑、愤怒 |
+
+#### 生成 Prompt
+
+```
+A professional character design sheet for [角色描述].
+The layout is a 2x3 grid.
+Top row: Full body front view, side profile view, 3/4 turn view.
+Bottom row: Close-up of face - neutral expression, smiling, angry.
+Clean lines, flat shading, white background. Concept art style. --ar 3:2
+```
+
+#### 利用方式
+
+1. **Midjourney Omni Reference**：网格图作为 image prompt，`--iw 2` 强引用
+2. **IP-Adapter (FaceID)**：从网格图中裁剪最佳正脸，注入后续生成
+3. **ChatGPT/GPT Image**：先上传网格图，逐步编辑场景（环境→姿态→服装细节）
+4. **Gemini**：保持面部结构不变，修改服装/视角/环境
+
+### 方案 C：LoRA 微调（Stable Diffusion 生态）
+
+**适用场景**：极高一致性要求、需要大量出图的 IP 项目
+
+- **IC-LoRA**：从单张参考图训练角色 LoRA
+- **CharForge**（GitHub: RishiDesai/CharForge）：单图训练 LoRA，跨场景生成
+- 需要 6-12GB VRAM，训练约 10-30 分钟
+
+### 方案 D：Kling Image O1（多参考图融合）
+
+- 支持最多 **10 张参考图** 进行特征一致控制
+- 可用于精确细节编辑（增/删/改）、样式控制、系列内容创作
+- 适合 IP 角色设计、漫画分镜、品牌系列
+
+---
+
+## 三、跨场景生成的工作流程
+
+### 推荐生产序列
+
+1. **定妆照** → 生成角色 sheet（多视角/多表情）
+2. **主镜头** → 角色+场景 描述块分离生成
+3. **过渡镜** → 连接场景的中间镜头
+4. **合成** → 剪辑工具拼接
+
+### 关键操作清单
+
+| 步骤 | 操作 | 注意事项 |
+|------|------|----------|
+| 1 | 写角色描述块 | 包括：脸型、眼距、鼻梁、唇线、发际线、标志配饰 |
+| 2 | 生成参考图 | 中性光照 + 干净背景 |
+| 3 | 固定 seed | 每次生成用相同 seed |
+| 4 | 每场景贴角色块 | 完全复制，一个字不改 |
+| 5 | 仅改场景部分 | 环境、动作、镜头 |
+| 6 | 保持光照一致 | 极端光照变化会放大面部差异 |
+| 7 | 保持镜头距离 | 全景→极特写的切换会放大面部变化 |
+
+---
+
+## 四、角色锁定 Checklist
+
+在进入场景生成前，必须明确以下 7 个属性。任何一个模糊都会导致角色漂移。
+
+- [ ] 脸型（圆/方/长/心形）
+- [ ] 眼距 + 眼睑形状
+- [ ] 鼻梁 + 鼻尖轮廓
+- [ ] 唇线 + 嘴宽
+- [ ] 发际线 + 分发方向 + 发丝纹理
+- [ ] 标志性配饰/服装元素
+- [ ] 肤色 + 肤质
+
+---
+
+## 五、技术栈对照
+
+| 工具 | 角色一致性能力 | 适用阶段 |
+|------|:-------------:|:--------:|
+| Kling 图生视频 | 参考图锚定 | 视频生成 |
+| Kling Image O1 | 多图融合 | 图片/角色设计 |
+| Midjourney Omni Ref | 强身份保持 | 角色 sheet |
+| IP-Adapter (FaceID) | 面部特征注入 | SD 生态生成 |
+| IC-LoRA / CharForge | 单图训练 LoRA | 极高一致性需求 |
+| HoloCine（CVPR 2026） | 全局一致性 + 稀疏注意力 | 多镜头长视频 |
+| Lights Camera Consistency | 蓝图驱动 + Temporal Bridge | 多场景故事 |
+
+---
+
+## 六、已知限制
+
+- **Kling 3.0** 没有内置角色锁定或面部模型功能——一致性完全靠 prompt 工程 + 参考图管理
+- **所有方案都不能做到 100% 一致**（这是生成式模型的固有特性）
+- 非西方文化背景下，高运动场景的世界稳定性会下降（论文中发现的 bias）
+- 参考图切换 = 角色重塑（即使微小差异）

mac-agent-os-main/03_knowledge/20_methods/kling/kling-prompt-complete-guide.md

@@ -0,0 +1,384 @@
+---
+id: KB-20260515-003
+title: "可灵AI提示词完全知识手册——文生视频/图生视频提示词工程"
+type: method
+status: active
+nature: reference
+domain: ai
+subdomain: [AI视频生成, 提示词工程, 可灵AI, 文生视频, 图生视频]
+tags: [可灵AI, 提示词, 文生视频, 图生视频, 运镜, 首尾帧, 角色一致性, 镜头语言]
+source: "抖音16条可灵AI教程视频提取（含8条全结构化+8条专题提取）"
+date_created: 2026-05-15
+date_modified: 2026-05-15
+version: 1
+collected_by: claw@chengzigedeAir
+
+collected: true
+collected_date: 2026-05-16---
+
+# 可灵AI提示词完全知识手册
+
+> 采集日期：2026-05-15
+> 数据来源：抖音 16 条可灵AI教程视频（覆盖提示词基础、运镜、首尾帧、角色一致、音效、数字人、实战等全部维度）
+> 提取引擎：OpenCLI browser + 豆包网页版（稳定等待法）
+> 知识条目：63段结构化内容 + 8条完整字幕 + 专题知识点 = 105+条
+
+---
+
+## 第一章：可灵AI提示词核心公式
+
+### 1.1 通用公式结构
+
+提示词 = 主体（主体描述）+ 运动 + 场景（场景描述）+（镜头语言 + 光影 + 氛围）
+
+三层递进公式：
+
+| 层级 | 公式 | 示例 |
+|------|------|------|
+| 基础层 | 主体 + 场景 + 主体运动 | 一个小男孩在咖啡厅看书 |
+| 细节层 | 主体描述 + 场景物品 + 动作细节 | 穿着红色衣服的小男孩在咖啡厅看书，桌上有一只咖啡杯正冒着热气 |
+| 质感层 | 基础 + 细节 + 镜头语言 + 光影 + 氛围 | +正面镜头+背景虚化+氛围光照 |
+
+### 1.2 5W1H 提示词法
+
+| 要素 | 含义 | 示例 |
+|------|------|------|
+| Who | 画面主体，必须明确 | 穿着睡衣的少女 |
+| What | 主体正在做什么 | 优雅地坐在椅子上 |
+| When | 时间背景 | 暮春的雨夜 |
+| Where | 地点环境 | 在公寓里 |
+| Why | 行为动机/情绪 | 正在家里加班工作 |
+| How | 方式/风格 | 赛博朋克风格、冷色调 |
+
+> 描述越详细越精准，生成效果越符合预期。
+
+### 1.3 六大核心要素（编剧视角）
+
+1. 主体：谁在画面中？主角/配角的特征
+2. 构图与角度：黄金分割点、低角度、仰视视角
+3. 照明与色彩：柔和的侧光、赛博朋克冷色调
+4. 运动：摄像机镜头运动 + 画面中物体的运动
+5. 背景：场景环境、时间、氛围
+6. 氛围感：整体情绪、光影氛围
+
+---
+
+## 第二章：可灵提示词进阶技巧
+
+### 2.1 语言风格原则
+
+- 语言简洁：用简单的词语和句子，避免复杂长句
+- 顺序清晰：主体→场景→运动→镜头语言的顺序
+- 避免歧义：不省略关键信息
+- 细节优先：先保证核心内容，再逐步添加细节
+
+### 2.2 十大万能镜头运动提示词
+
+| # | 运动类型 | 描述方式 |
+|---|---------|---------|
+| 1 | 推进镜头 | 摄像机缓慢向前推进 |
+| 2 | 拉远镜头 | 摄像机向后拉远 |
+| 3 | 旋转镜头 | 环绕主体旋转拍摄 |
+| 4 | 跟随镜头 | 跟随主体运动 |
+| 5 | 摇晃镜头 | 手持摄影风格摇晃 |
+| 6 | 穿越镜头 | 摄像机穿越景物 |
+| 7 | 第一人称视角 | POV 视角 |
+| 8 | 动感模糊 | 搭配高速运动的模糊效果 |
+| 9 | 升降镜头 | 从低到高或从高到低 |
+| 10 | 希区柯克变焦 | 推拉+变焦同时进行 |
+
+### 2.3 穿越机效果关键词
+
+摄像机穿越 + 景物 + 第一人称视角 + 动感模糊 + 旋转 + 高速飞行
+
+---
+
+## 第三章：可灵模型版本与参数
+
+### 3.1 版本对照
+
+| 版本 | 特点 | 适用场景 |
+|------|------|---------|
+| 1.0 | 基础版 | 初代文生视频 |
+| 2.0 | 运镜控制增强 | 文生视频运镜提示 |
+| 2.5 Turbo | 提示词理解强、动态丰富、画面流畅 | 图生视频 |
+| 2.1 | 极限多运镜控制 | 多运镜组合 |
+| 3.0 | 多镜头工作流、理解运镜和情绪 | 专业创作 |
+| 4K | 院线级高清、对口型功能 | 高清商业 |
+
+### 3.2 核心参数
+
+| 参数 | 说明 |
+|------|------|
+| 视频时长 | 单次最长 10 秒；图生视频 5 秒；最长总时长 3 分钟 |
+| 图片比例 | 16:9（电脑）、9:16（手机） |
+| 分辨率 | 支持 4K 模式 |
+| 参考强度 | 控制与参考图的接近程度 |
+| 运动幅度 | 控制视频中物体运动强度 |
+
+### 3.3 核心功能
+
+- 文生视频 / 图生视频
+- 首尾帧（关键帧控制）
+- 运动笔刷（指定局部运动方向）
+- 对口型功能
+- 多镜头故事板（Multi-shot）
+- 分屏场景生成
+
+---
+
+## 第四章：实战技巧
+
+### 4.1 一句话出片法
+
+1. 确定一句可跑通的核心提示词
+2. 保持核心不变，仅更换运镜方式批量生成
+3. 连续输入 10-20 次获取多组镜头
+4. 剪辑成完整短片
+
+### 4.2 四格超短片
+
+第1句：场景建立（远景）→ 第2句：人物出场（中景）
+第3句：动作发展（近景）→ 第4句：高潮/结尾（特写）
+
+### 4.3 首尾帧控制
+
+1. 上传第一帧图片（角色/场景）
+2. 上传最后一帧图片（目标画面）
+3. 填写中间过程的提示词
+4. AI 自动生成从首帧到尾帧的完整过渡
+
+> 首尾帧是控制画面精确度的最强手段。
+
+### 4.4 运镜控制 + 运动笔刷
+
+- 运镜控制：告诉摄像机怎么动
+- 运动笔刷：告诉画面里的物体怎么动
+- 先用笔刷圈定物体，再指定运动方向
+
+### 4.5 多镜头工作流（3.0）
+
+1. 编写详细的场景提示词
+2. 设置多个镜头标记
+3. 每个镜头独立描述运镜和情绪
+4. 一键生成多镜头连续视频
+
+### 4.6 避免画面变形
+
+| 问题 | 解决方案 |
+|------|---------|
+| 人物面部变形 | 使用首尾帧锁定面部结构 |
+| 物体扭曲 | 减少高速运动描述 |
+| 比例失调 | 添加量化占比描述 |
+| 闪烁跳变 | 使用参考图+低运动幅度 |
+
+---
+
+## 第五章：专题技巧
+
+### 5.1 角色一致性
+
+1. 人脸模型训练：定制专属 AI 模特
+2. 首尾帧锁定：每次生成都参考同一张角色图
+3. 描述锁定：固定面部、发型、身材比例
+4. 全片不改：全程不改变身份与面部结构
+
+### 5.2 图生视频
+
+- 提供图片 + 提示词控制
+- 单次生成 5 秒，可多次延长
+- 提示词理解优秀，动态呈现丰富
+
+### 5.3 音效生成
+
+- 视频生成完成后自动匹配音效
+- 支持场景音效（风声、水声、环境音）
+- 可单独调整音效强度
+
+### 5.4 数字人功能
+
+1. 上传人物照片/视频
+2. 填写对口型文本
+3. 选择数字人风格
+4. 一键生成说话/唱歌视频
+
+### 5.5 工具链整合
+
+| 工具 | 用途 |
+|------|------|
+| Deepseek | 生成可灵提示词模板 |
+| 豆包 | 生成场景/角色描述 |
+| Midjourney | 生图→可灵图生视频 |
+| ChatGPT | 写剧本→生成提示词 |
+
+---
+
+## 第六章：完整提示词示例
+
+### 示例1：穿越机效果
+
+摄像机穿越 + 景物，第一人称视角，动感模糊，旋转，高速飞行
+
+### 示例2：人物特写
+
+穿着睡衣的少女，优雅地坐在椅子上，赛博朋克风格，冷色调，低角度，仰视视角，背景虚化，氛围光照
+
+### 示例3：进阶多层描述
+
+主体：主角的嘴唇轻轻颤抖，显示出内心的挣扎和不确定
+构图：主角的眼睛位于画面的黄金分割点上，目光望向远方，背景是模糊的都市天际线
+照明：主角的脸部被柔和的侧光照亮，一半在阴影中
+运动：摄像机缓慢向前推进，从全景推到脸部特写
+背景：夜晚都市，霓虹灯闪烁
+氛围：孤独、沉思、略带忧郁
+
+---
+
+## 附录：可灵与其他AI视频工具对比
+
+| 维度 | 可灵 AI | Seedance 2.0 | Vidu | Wan |
+[...existing table stays...]
+
+---
+
+## 附2：Kling 3.0 提示词完全指南（2026版）
+
+> 采集自: seavidgen.com / soravideo.art — Kling 3.0 官方社区最佳实践
+
+### 一、Kling 3.0 7大提示词要素
+
+| # | 要素 | 说明 | 示例 |
+|---|------|------|------|
+| 1 | 主体细节 | 身体特征+服装+表情 | "30岁出头女性，齐肩红褐色头发，深灰羊毛大衣，勃艮第红围巾，神情自信" |
+| 2 | 环境场景 | 地点+建筑+天气+氛围 | "黄昏白雪覆盖的都市街道，维多利亚砖房，橱窗透出暖光" |
+| 3 | 光照规格 | 光源+方向+色温+强度 | "黄金时刻阳光"、"戏剧性侧光+深重阴影" |
+| 4 | 镜头移动 | 电影术语描述 | "中景，缓慢推镜头转特写，平视视角" |
+| 5 | 动作强度 | 0-3级数值 | 细微动作0.3-0.5，高能动作2.0-3.0 |
+| 6 | 风格色调 | 美学+情感基调 | "温暖色阶，略微低饱和度" |
+| 7 | 音频元素 | 声音+情感+环境音 | "女性中音，热情语调，细微城市环境音" |
+
+### 二、Kling 3.0 动作控制（核心差异化优势）
+
+**工作原理**：上传参考视频 → Kling提取运动数据(姿态/轨迹/节奏) → 应用到新场景。
+
+**实操流程**：
+1. 录制或找一段展示目标动作的参考视频（背景简单、肢体清晰为佳）
+2. 在生成面板上传到"动作控制"区域
+3. 编写提示词：只描述角色/场景/风格，**不描述具体动作**
+4. 动作强度参数：0-3级，从温和慢速开始
+
+**关键参数**：`动作强度 0-3` — 细微动作用0.3-0.5，高能动作用2.0-3.0。
+
+### 三、多镜头序列编写
+
+Kling 3.0 支持最多 **6 个镜头**，自动保持角色和环境一致性。
+
+**结构模板**：
+```
+镜头1（5s）：远景室外全景，缓慢推近...
+镜头2（5s）：中景跟拍主体，平视...
+镜头3（5s）：面部特写，固定镜头...
+```
+
+**每个镜头需指明**：
+1. 编号和时长
+2. 构图和机位
+3. 主体和关键动作
+4. 镜头运动类型（推/拉/摇/移/固定）
+5. 切换类型（切镜/淡入淡出/叠化）
+
+### 四、四要素提示词公式
+
+```
+主体和动作 + 镜头运动 + 灯光氛围 + 风格参考
+```
+
+**产品展示示例**：
+```
+A pair of white wireless headphones floating and slowly rotating
+against a clean gradient background, soft studio lighting from above
+creating subtle shadows, gentle particles drifting in the air,
+product photography style, 4K
+```
+
+**角色场景示例**：
+```
+A woman in a dark jacket walking through a rainy Tokyo street at night,
+neon signs reflecting on wet pavement, camera following from behind
+in a slow tracking shot, shallow depth of field, cinematic color grading
+```
+
+### 五、参数最佳实践
+
+| 参数 | 推荐值 | 说明 |
+|------|--------|------|
+| 提示词长度 | 80-150词(英文) | <80缺细节, >200引入矛盾 |
+| 分辨率 | 1080p | 迭代用1080p, 定稿用4K |
+| 帧率 | 30fps | 社交媒体最佳 |
+| 时长 | 5-10秒 | 多镜头最长15秒 |
+| 动作强度 | 0-3 | 从温和慢速开始 |
+
+### 六、负面提示词（可灵专用）
+
+```
+动作模糊、面部畸形、扭曲、变形、不连贯的物理、悬浮物体、
+异常动作、多余肢体、背景偏移、时域闪烁、色彩断层、变形的手、
+手指数量错误、不对称的面部特征、不自然的关节角度
+```
+
+### 七、Kling 3.0 常见问题
+
+| 问题 | 解决方法 |
+|------|---------|
+| 慢动作 | 提示词中明确速度, 时长与动作量匹配 |
+| 口型同步差 | 对话限制在5秒内, 或多镜头拆分为正反打 |
+| 提示词被拒绝 | 移除暴力/敏感词, 用中性语言描述 |
+| 角色不一致 | 使用 Elements 上传面部参考, 多镜头中引用 |
+| 运动模糊 | 添加"动作模糊"到正向词, 或用参考视频 |
+
+### 八、高性价比工作流
+
+```
+1. 先写80-150词提示词
+2. 用1080p迭代打磨效果
+3. 满意后用4K出最终版
+4. 参考视频 + Elements 角色锁定 = 最佳效果
+```
+|------|---------|-------------|------|-----|
+| 提示词理解 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐ |
+| 运镜控制 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐ |
+| 角色一致 | ⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐ | ⭐⭐ |
+| 音效生成 | ⭐⭐⭐⭐ | ❌ | ❌ | ❌ |
+| 性价比 | 中高 | 中等 | 较低 | 免费 |
+
+---
+
+## 数据来源
+
+| # | 视频主题 | 状态 |
+|---|---------|------|
+| 1 | 可灵AI的提示词应该怎样写【基础入门】 | ✅ 全结构化 |
+| 2 | 挑战一口气学会可灵AI！提示词生成技巧 | ✅ 全结构化 |
+| 3 | 讲可灵3.0最细最实用的一篇 | ✅ 全结构化 |
+| 4 | 全网最全教学-可灵AI保姆级教程 | ✅ 全结构化 |
+| 5 | 快速上手可灵AI【入门】 | ✅ 全结构化 |
+| 6 | 挑战一口气学会可灵AI第三集：文生图提示词 | ✅ 全结构化 |
+| 7 | 可灵使用攻略第一期：文生视频提示词写法 | ✅ 全结构化 |
+| 8 | 可灵AI视频生成与提示词的描述关系 | ✅ 全结构化 |
+| 9-16 | 运镜控制、首尾帧、角色一致、音效等专题 | 📝 专题提取 |
+
+## 相关文档
+
+同一目录下的关联文档：
+
+| 文件 | 内容 | 最近更新 |
+|------|------|:--------:|
+| [角色一致性定妆照方案](./character-consistency-reference-sheet.md) | 多视角 Character Sheet、九宫格、定妆照方案全攻略 | 2026-05-15 |
+| [AI视频唇形同步方案调研](./lip-sync-solutions-comparison.md) | Kling LipSync、LatentSync、Wav2Lip 等方案对比与成本分析 | 2026-05-15 |
+
+## 采集信息
+
+- **采集工具**: OpenCLI browser + 豆包网页版
+- **采集方式**: fill + click 发送 · 稳定等待法
+- **采集者**: claw@chengzigedeAir
+- **采集时间**: 2026-05-15

mac-agent-os-main/03_knowledge/20_methods/kling/lip-sync-solutions-comparison.md

@@ -0,0 +1,204 @@
+---
+collected: true
+collected_date: 2026-05-16
+---
+
+# AI 视频唇形同步（Lip-Sync）方案调研与成本对比
+
+> 最后更新: 2026-05-15 | 来源: Kling 官方文档 + 开源社区测评 + 论文
+
+---
+
+## 一、需求背景
+
+AVE 当前流程：TTS（CosyVoice）→ 生成音频 → 视频生成（Kling/Wan2.2）→ 合成。
+
+如果视频模型内置 Lip-Sync（语音驱动唇形），则可以：
+- **省去** 视频生成后单独做口型对齐的步骤
+- 让数字人的口播更自然（语音与唇形天然匹配）
+- 部分方案支持从 **文本直接到带语音+口型的视频**（Text→Voice→Video 一步完成）
+
+---
+
+## 二、方案全景对比
+
+### 商业方案
+
+| 方案 | 类型 | 输入 | 视频时长 | 成本 | 语言支持 | 质量评级 |
+|------|:----:|:----:|:--------:|:----:|:--------:|:--------:|
+| **Kling LipSync**（fal.ai） | API | 视频(2-10s) + 音频(2-60s) 或 文本(≤120字) | 2-10s (Audio2Video), 2-60s (Text2Video) | **$0.014/5s** (~¥0.45/镜头) | 中/英 | ⭐⭐⭐⭐ |
+| **Kling 3.0 Omni Audio** | API | 文生视频 + 语音绑定 | 5-10s | 标准 Kling 费用 + 音频费 | 中/英 | ⭐⭐⭐⭐ |
+| **HeyGen** | SaaS | 照片/视频 + 文本/音频 | ≤5min | $24-72/月 | 多语言 | ⭐⭐⭐⭐⭐ |
+| **D-ID** | SaaS | 照片 + 文本/音频 | ≤5min | $5-19/月 | 多语言 | ⭐⭐⭐⭐ |
+| **Synthesia** | SaaS | 数字人模板 + 文本 | ≤30min | $29-89/月 | 140+语言 | ⭐⭐⭐⭐⭐ |
+
+### 开源方案（可本地部署）
+
+| 方案 | GitHub | VRAM | 许可证 | 中文支持 | 速度 | 质量 |
+|------|:------:|:----:|:------:|:--------:|:----:|:----:|
+| **Wav2Lip** | Rudrabha/Wav2Lip | 6GB | MIT | ✅ 强 | 快 | ⭐⭐⭐（仅改嘴部，无头部微动） |
+| **LatentSync v1.5** | bytedance/LatentSync | 8GB | Apache-2.0 | ✅ **最强（中文优化）** | 中 | ⭐⭐⭐⭐⭐ |
+| **SadTalker** | OpenTalker/SadTalker | 6GB | Apache-2.0 | ✅ 强 | 较慢（>1min视频） | ⭐⭐⭐⭐（带表情+头部运动） |
+| **MuseTalk** | TMElyralab/MuseTalk | **12GB** | Apache-2.0 | ✅ 强 | **实时30fps+** | ⭐⭐⭐⭐⭐ |
+| **MultiTalk** | MeiGen-AI/MultiTalk | 8GB | Apache-2.0 | ✅ 强 | 中 | ⭐⭐⭐⭐（多人对话） |
+| **Wan2.2-S2V-14B** | Wan-Video/Wan2.2 | ~30GB+（预估） | 开源 | ✅ | 慢 | ⭐⭐⭐⭐⭐（电影级） |
+| **Rhubarb Lip Sync** | DanielSWolf/rhubarb-lip-sync | CPU可跑 | MIT | 中 | 最快 | ⭐⭐（仅2D口型数据） |
+
+---
+
+## 三、Kling LipSync 详细分析
+
+### API 端点
+
+| 模式 | 端点 |
+|:----|:----|
+| Audio→Video | `POST /fal-ai/kling-video/lipsync/audio-to-video` |
+| Text→Video | `POST /fal-ai/kling-video/lipsync/text-to-video` |
+
+### 输入要求
+
+| 参数 | Audio→Video | Text→Video |
+|:----|:-----------:|:----------:|
+| 视频格式 | .mp4/.mov, ≤100MB | .mp4/.mov, ≤100MB |
+| 视频时长 | **2-10s** | **2-60s** |
+| 视频分辨率 | **720p 或 1080p 仅** | **720p 或 1080p 仅** |
+| 音频格式 | .mp3/.wav/.ogg/.m4a/.aac ≤5MB | — |
+| 文本 | — | ≤120 字符 |
+| 语音 ID | — | ~50个预设 |
+| 语言 | 不限（音频输入） | 仅 中/英 |
+
+### 处理时间与成本
+
+- **固定推理时间**：~12 分钟/次（不随视频时长变化）
+- **成本**：**$0.014 / 5秒**（按 5 秒单位向上取整）
+  - 3s → 收 5s → $0.014 ≈ ¥0.10
+  - 7s → 收 10s → $0.028 ≈ ¥0.20
+  - 10 个镜头 → 约 $0.14 ≈ ¥1.00
+- **注意**：通过 fal.ai 代理，非 Kling 官方直连
+
+### 限制
+
+- 输入视频必须 720p 或 1080p
+- Audio→Video 视频最长 10s（太短）
+- Text→Video 文本最长 120 字（极短）
+- 语音合成仅支持中/英
+- 推理时间固定 12 分钟（慢）
+
+---
+
+## 四、开源方案详细评估
+
+### 推荐排序（中文场景 + AVE 集成）
+
+| 排名 | 方案 | 理由 |
+|:---:|:----|:------|
+| 🥇 | **LatentSync v1.5**（字节跳动） | 中文对口型最强，8GB 显存可跑，Apache-2.0 可商用，输出高清自然 |
+| 🥈 | **MuseTalk** | 实时 30fps+，高保真，但需要 12GB 显存 |
+| 🥉 | **Wav2Lip** | 部署极简（6GB），稳定性之王，但只改嘴部无表情 |
+| 4 | **SadTalker** | 照片即可，带头部表情，长视频慢 |
+| 5 | **Wan2.2-S2V-14B** | 电影级质量但显存需求极高(~30GB+)，非普通消费级 GPU 可跑 |
+
+### LatentSync v1.5 亮点
+
+- 字节跳动出品，v1.5 专门加入中文训练数据优化
+- **中文对口型精度最强**
+- 8GB 显存，消费级显卡即可
+- 需搭配 Gradio 使用，无原生 WebUI
+
+---
+
+## 五、与 AVE 现有管线的集成方案
+
+### 方案 1：Kling API 直出 Lip-Sync（最省事，中等成本）
+
+```
+AVE 当前流程:
+  TTS(CosyVoice) → 音频 → Kling图生视频 → 视频片段
+
+新流程:
+  TTS(CosyVoice) → 音频 + 已有视频 → Kling LipSync (Audio→Video)
+```
+
+- **优势**：不动现有生成管线，后续加一步即可
+- **劣势**：每镜头额外 $0.014，推理 12 分钟/次
+- **适合**：少量高质量镜头（≤10 个/视频）
+
+### 方案 2：本地部署 LatentSync（一次性投入，零边际成本）
+
+```
+AVE 当前流程:
+  TTS(CosyVoice) → 音频 → Kling图生视频 → 视频片段
+
+新流程:
+  TTS(CosyVoice) → 音频 + 视频片段 → LatentSync 本地处理
+```
+
+- **优势**：本地免费，不限次数，中文优化好
+- **劣势**：需 8GB VRAM，需部署环境
+- **适合**：大批量生产（≥50 镜头/天）
+
+### 方案 3：Wan2.2-S2V 原生语音驱动（一体化，最自然）
+
+```
+新流程(替换Kling):
+  定妆照 + 音频 → Wan2.2-S2V → 带口型的视频
+```
+
+- **优势**：从音频直接生成视频，口型+表情+身体动作全部自然匹配
+- **劣势**：14B 参数模型，预计需要 24-40GB VRAM
+- **适合**：未来方向（当前硬件受限）
+
+### 方案 4：HeyGen/Synthesia 完整数字人方案
+
+- **优势**：一键生成，质量和一致性最高
+- **劣势**：$24-89/月订阅成本，API 费用另计
+- **适合**：商业级数字人直播/视频（非 AVE 主链路）
+
+---
+
+## 六、成本对比表
+
+| 方案 | 每次成本 | 10个镜头成本 | 100个镜头成本 | 设备成本 |
+|:----|:-------:|:-----------:|:------------:|:--------:|
+| Kling LipSync (API) | $0.014/5s | ~$0.14 | ~$1.40 | 无 |
+| LatentSync (本地) | 免费 | 免费 | 免费 | 8GB GPU |
+| Wav2Lip (本地) | 免费 | 免费 | 免费 | 6GB GPU |
+| Wan2.2-S2V (本地) | 免费 | 免费 | 免费 | 24-40GB GPU |
+| HeyGen API | ~$0.10/min | ~$0.02 | ~$0.20 | 无 |
+| Synthesia | $29-89/月 | 包月 | 包月 | 无 |
+
+---
+
+## 七、当前最佳建议
+
+### 短期（AVE v2.x，Kling 主链路）
+
+**Kling LipSync**（通过 fal.ai）：
+- 每镜头 $0.014 ≈ ¥0.10，在 Kling 视频生成成本旁几乎可忽略
+- 直接对接现有管线，不需要额外部署
+- 处理时间 12 分钟是瓶颈，但可以通过并行提交缓解
+
+### 中期（探索本地部署）
+
+**LatentSync v1.5** 是最优本地候选：
+- 中文优化最佳
+- 8GB 消费级显卡可跑
+- 零边际成本
+
+### 长期（数字人原生方案）
+
+**Wan2.2-S2V-14B** 或类似的语音驱动视频模型成熟时，可考虑替换 Kling 作为主视频生成引擎。
+
+---
+
+## 八、参考链接
+
+- Kling LipSync API（fal.ai）：https://fal.ai/docs/model-api-reference/video-generation-api/kling-video-lipsync
+- Kling 3.0 Omni Audio：https://kling.ai/blog/kling-video-3-omni-native-lip-sync-audio-guide
+- Wav2Lip：https://github.com/Rudrabha/Wav2Lip
+- LatentSync：https://github.com/bytedance/LatentSync
+- SadTalker：https://github.com/OpenTalker/SadTalker
+- MuseTalk：https://github.com/TMElyralab/MuseTalk
+- Wan2.2-S2V：https://huggingface.co/Wan-AI/Wan2.2-S2V-14B
+- MultiTalk：https://github.com/MeiGen-AI/MultiTalk
+- Rhubarb Lip Sync：https://github.com/DanielSWolf/rhubarb-lip-sync