butubb/MediaCrawler

Fork 0

Files

T

butubb 2112c1a870

Deploy VitePress site to Pages / build (push) Canceled after 0s

Details

Deploy VitePress site to Pages / Deploy (push) Canceled after 0s

Details

feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程，直接发 HTTP

移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。

**目前能用的（真环境实测，非推断）**：

    profile/other : 200, 7075 字节  —— 博主主页指标（粉丝/获赞/作品数/昵称）
    aweme/detail  : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）

**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
  1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
     带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
     同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
     挑中的恰好是「批量拉作品列表」这个最敏感的动作。
  2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
     代价，过几小时要重测）。

  所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。

**排查中控住变量后得到的两条事实**（都写进注释了）：
  · `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
    UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
    （我先前猜的 sec-ch-ua 不是关键。）
  · 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
    从 CDP 取齐 cookie + UA + hints，而不是各自写死。

「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。

测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。

2026-10-10 17:12:25 +08:00

7.7 KiB

Raw Blame History

collected, collected_date

collected	collected_date
true	2026-05-16

AI 视频唇形同步（Lip-Sync）方案调研与成本对比

最后更新: 2026-05-15 | 来源: Kling 官方文档 + 开源社区测评 + 论文

一、需求背景

AVE 当前流程：TTS（CosyVoice）→ 生成音频 → 视频生成（Kling/Wan2.2）→ 合成。

如果视频模型内置 Lip-Sync（语音驱动唇形），则可以：

省去视频生成后单独做口型对齐的步骤
让数字人的口播更自然（语音与唇形天然匹配）
部分方案支持从 文本直接到带语音+口型的视频（Text→Voice→Video 一步完成）

二、方案全景对比

商业方案

方案	类型	输入	视频时长	成本	语言支持	质量评级
Kling LipSync（fal.ai）	API	视频(2-10s) + 音频(2-60s) 或文本(≤120字)	2-10s (Audio2Video), 2-60s (Text2Video)	$0.014/5s (~¥0.45/镜头)	中/英	⭐⭐⭐⭐
Kling 3.0 Omni Audio	API	文生视频 + 语音绑定	5-10s	标准 Kling 费用 + 音频费	中/英	⭐⭐⭐⭐
HeyGen	SaaS	照片/视频 + 文本/音频	≤5min	$24-72/月	多语言	⭐⭐⭐⭐⭐
D-ID	SaaS	照片 + 文本/音频	≤5min	$5-19/月	多语言	⭐⭐⭐⭐
Synthesia	SaaS	数字人模板 + 文本	≤30min	$29-89/月	140+语言	⭐⭐⭐⭐⭐

开源方案（可本地部署）

方案	GitHub	VRAM	许可证	中文支持	速度	质量
Wav2Lip	Rudrabha/Wav2Lip	6GB	MIT	✅ 强	快	⭐⭐⭐（仅改嘴部，无头部微动）
LatentSync v1.5	bytedance/LatentSync	8GB	Apache-2.0	✅ 最强（中文优化）	中	⭐⭐⭐⭐⭐
SadTalker	OpenTalker/SadTalker	6GB	Apache-2.0	✅ 强	较慢（>1min视频）	⭐⭐⭐⭐（带表情+头部运动）
MuseTalk	TMElyralab/MuseTalk	12GB	Apache-2.0	✅ 强	实时30fps+	⭐⭐⭐⭐⭐
MultiTalk	MeiGen-AI/MultiTalk	8GB	Apache-2.0	✅ 强	中	⭐⭐⭐⭐（多人对话）
Wan2.2-S2V-14B	Wan-Video/Wan2.2	~30GB+（预估）	开源	✅	慢	⭐⭐⭐⭐⭐（电影级）
Rhubarb Lip Sync	DanielSWolf/rhubarb-lip-sync	CPU可跑	MIT	中	最快	⭐⭐（仅2D口型数据）

三、Kling LipSync 详细分析

API 端点

模式	端点
Audio→Video	`POST /fal-ai/kling-video/lipsync/audio-to-video`
Text→Video	`POST /fal-ai/kling-video/lipsync/text-to-video`

输入要求

参数	Audio→Video	Text→Video
视频格式	.mp4/.mov, ≤100MB	.mp4/.mov, ≤100MB
视频时长	2-10s	2-60s
视频分辨率	720p 或 1080p 仅	720p 或 1080p 仅
音频格式	.mp3/.wav/.ogg/.m4a/.aac ≤5MB	—
文本	—	≤120 字符
语音 ID	—	~50个预设
语言	不限（音频输入）	仅中/英

处理时间与成本

固定推理时间：~12 分钟/次（不随视频时长变化）
成本：$0.014 / 5秒（按 5 秒单位向上取整）
- 3s → 收 5s → $0.014 ≈ ¥0.10
- 7s → 收 10s → $0.028 ≈ ¥0.20
- 10 个镜头 → 约 $0.14 ≈ ¥1.00
注意：通过 fal.ai 代理，非 Kling 官方直连

限制

输入视频必须 720p 或 1080p
Audio→Video 视频最长 10s（太短）
Text→Video 文本最长 120 字（极短）
语音合成仅支持中/英
推理时间固定 12 分钟（慢）

四、开源方案详细评估

排名	方案	理由
🥇	LatentSync v1.5（字节跳动）	中文对口型最强，8GB 显存可跑，Apache-2.0 可商用，输出高清自然
🥈	MuseTalk	实时 30fps+，高保真，但需要 12GB 显存
🥉	Wav2Lip	部署极简（6GB），稳定性之王，但只改嘴部无表情
4	SadTalker	照片即可，带头部表情，长视频慢
5	Wan2.2-S2V-14B	电影级质量但显存需求极高(~30GB+)，非普通消费级 GPU 可跑

LatentSync v1.5 亮点

字节跳动出品，v1.5 专门加入中文训练数据优化
中文对口型精度最强
8GB 显存，消费级显卡即可
需搭配 Gradio 使用，无原生 WebUI

五、与 AVE 现有管线的集成方案

方案 1：Kling API 直出 Lip-Sync（最省事，中等成本）

AVE 当前流程:
  TTS(CosyVoice) → 音频 → Kling图生视频 → 视频片段

新流程:
  TTS(CosyVoice) → 音频 + 已有视频 → Kling LipSync (Audio→Video)

优势：不动现有生成管线，后续加一步即可
劣势：每镜头额外 $0.014，推理 12 分钟/次
适合：少量高质量镜头（≤10 个/视频）

方案 2：本地部署 LatentSync（一次性投入，零边际成本）

AVE 当前流程:
  TTS(CosyVoice) → 音频 → Kling图生视频 → 视频片段

新流程:
  TTS(CosyVoice) → 音频 + 视频片段 → LatentSync 本地处理

优势：本地免费，不限次数，中文优化好
劣势：需 8GB VRAM，需部署环境
适合：大批量生产（≥50 镜头/天）

方案 3：Wan2.2-S2V 原生语音驱动（一体化，最自然）

新流程(替换Kling):
  定妆照 + 音频 → Wan2.2-S2V → 带口型的视频

优势：从音频直接生成视频，口型+表情+身体动作全部自然匹配
劣势：14B 参数模型，预计需要 24-40GB VRAM
适合：未来方向（当前硬件受限）

方案 4：HeyGen/Synthesia 完整数字人方案

优势：一键生成，质量和一致性最高
劣势：$24-89/月订阅成本，API 费用另计
适合：商业级数字人直播/视频（非 AVE 主链路）

六、成本对比表

方案	每次成本	10个镜头成本	100个镜头成本	设备成本
Kling LipSync (API)	$0.014/5s	~$0.14	~$1.40	无
LatentSync (本地)	免费	免费	免费	8GB GPU
Wav2Lip (本地)	免费	免费	免费	6GB GPU
Wan2.2-S2V (本地)	免费	免费	免费	24-40GB GPU
HeyGen API	~$0.10/min	~$0.02	~$0.20	无
Synthesia	$29-89/月	包月	包月	无

七、当前最佳建议

短期（AVE v2.x，Kling 主链路）

Kling LipSync（通过 fal.ai）：

每镜头 $0.014 ≈ ¥0.10，在 Kling 视频生成成本旁几乎可忽略
直接对接现有管线，不需要额外部署
处理时间 12 分钟是瓶颈，但可以通过并行提交缓解

中期（探索本地部署）

LatentSync v1.5 是最优本地候选：

中文优化最佳
8GB 消费级显卡可跑
零边际成本

长期（数字人原生方案）

Wan2.2-S2V-14B 或类似的语音驱动视频模型成熟时，可考虑替换 Kling 作为主视频生成引擎。

八、参考链接

Kling LipSync API（fal.ai）：https://fal.ai/docs/model-api-reference/video-generation-api/kling-video-lipsync
Kling 3.0 Omni Audio：https://kling.ai/blog/kling-video-3-omni-native-lip-sync-audio-guide
Wav2Lip：https://github.com/Rudrabha/Wav2Lip
LatentSync：https://github.com/bytedance/LatentSync
SadTalker：https://github.com/OpenTalker/SadTalker
MuseTalk：https://github.com/TMElyralab/MuseTalk
Wan2.2-S2V：https://huggingface.co/Wan-AI/Wan2.2-S2V-14B
MultiTalk：https://github.com/MeiGen-AI/MultiTalk
Rhubarb Lip Sync：https://github.com/DanielSWolf/rhubarb-lip-sync

7.7 KiB Raw Blame History Unescape Escape