feat(monitor): 抖音接入博主监控
Deploy VitePress site to Pages / build (push) Canceled after 0s
Deploy VitePress site to Pages / Deploy (push) Canceled after 0s

上游爬虫本身不缺抖音能力(三模式、四项指标、二级评论都与小红书对等、指标还是同名同列),
缺的全在监控层的适配。这次把「平台之间不一样」的管子集中到一个新模块,再把散落的
xhs 硬编码接上去。

* 新增 api/monitor/adapters.py:产物目录名、jsonl 字段别名、目标链接形态与正则、
  通知链接模板。不放进 platforms.py 是因为那个模块被 describe_all() 整个序列化进
  /api/config/platforms 交给前端,塞进正则和目录名会让爬虫内部细节漏进 API 载荷。
  代价是两个注册表可能漂移,用一条测试钉住「声明接通就必须有适配器」。
* 两个必须知道的坑,都在这版里处理掉了:
  1) 抖音的平台 id 是 dy,而 store 把产物写在 douyin/ 下(store/douyin/_store_impl.py:47)。
     不改就是 ingest 一个文件都读不到 —— 不报错,只是 0 条,然后被冒充成「疑似登录失效」。
  2) 抖音的作品没有 note_id(叫 aweme_id)、评论也用 aweme_id 指作品。ingest 第一步是
     `if not note_id: continue`,不映射就逐条全丢。
  另外抖音顶层评论的 parent_comment_id 是字符串 "0",归一成空串,免得前端多出悬空的父节点。
* 顺带把「东西抓到了、只是没落在期望目录里」单独识别出来。这类故障的现象和登录失效
  一模一样,按登录失效报会把人指去查完全错误的方向。
* 修两个既有 bug(今天只有小红书所以无害,加抖音就踩响):
  - service.py update_task 换目标时漏传 task.platform,回落到默认小红书
  - scheduler.py 取 cookie 没传 platform,抖音任务会读着小红书那份 cookie 不动
* 行为变更(已与用户确认):cookie 闸门改成「没 cookie 且没开 CDP」才跳过。
  CDP 模式下登录态来自被接管的浏览器,粘不粘 cookie 由不得它决定;不放行的话,
  选了「接管已有 Chrome」却没粘 cookie 的用户会看到任务永远不触发,而且不报错。
  副作用是开启了 CDP 的小红书任务也不再被该闸门拦住 —— 语义上是对的。
* 目标输入框的示例链接与措辞改由能力矩阵提供(notes_label 抖音说「作品」、小红书说
  「笔记」;「建议只填纯 ID」是小红书专属劝告,抖音链接不带令牌,不再显示)。

测试 +22 条(858 通过),其中最关键的是「抖音作品/评论不被静默丢弃」与「产物目录名
不等于平台 id」两条 —— 都是把最难查的失败模式钉死在回归网里。

注意:抖音这条路的**端到端尚未验证**,需要一份可用的抖音登录态(CDP 那台 Chrome 里
登录,或导出一份 cookie)。单测覆盖的是解析与入库,真实抓取还没跑过。
This commit is contained in:
2026-10-10 14:55:28 +08:00
parent e348de48d3
commit 06718a1351
17 changed files with 863 additions and 105 deletions
@@ -40,7 +40,7 @@ export function UnwiredPlatformNotice({ area }: { area: string }) {
{capability.label} 的{area}尚未接通
</h2>
<p className="text-[11px] font-mono text-cyber-text-muted">
{capability.label}的爬虫模块是支持的,但监控层目前只接通了小红书
{capability.label}的爬虫模块是支持的,但监控层目前只接通了小红书与抖音
</p>
</div>
</div>
@@ -94,9 +94,9 @@ export function UnwiredPlatformNotice({ area }: { area: string }) {
<div className="flex items-start gap-2 text-[10px] font-mono text-cyber-text-muted">
<MonitorSmartphone className="w-3.5 h-3.5 mt-0.5 flex-shrink-0" />
<p>
切换到小红书即可正常使用。若要接通该平台,需要在
<span className="text-cyber-neon-cyan"> runner / ingest / 目标解析 </span>
三处补上平台适配(目前这三处是硬编码小红书的)。
切换到已接通的平台即可正常使用。若要接通该平台,需要在
<span className="text-cyber-neon-cyan"> adapters.py </span>
里补一份适配:产物目录名、jsonl 字段名、目标链接形态。
</p>
</div>
</div>
@@ -20,6 +20,7 @@ import {
SelectValue,
} from '@/components/ui/select'
import { useCreateTask, useSettings, useUpdateTask } from '@/hooks/useMonitor'
import { useCurrentPlatform } from '@/hooks/usePlatform'
import { describeSchedule } from '@/lib/monitorFormat'
import type {
MonitorMode,
@@ -106,6 +107,10 @@ export function TaskEditorDialog({ open, onOpenChange, task }: TaskEditorDialogP
const createTask = useCreateTask()
const updateTask = useUpdateTask()
const { data: settings } = useSettings()
// 示例链接和措辞都由服务端的能力矩阵给 —— 前端不自己判断平台,否则加一个平台
// 就要改这里一次,而且很容易漏。
const { capability } = useCurrentPlatform()
const hints = capability?.target_hints
const [name, setName] = useState('')
const [mode, setMode] = useState<MonitorMode>('creator')
@@ -361,23 +366,27 @@ export function TaskEditorDialog({ open, onOpenChange, task }: TaskEditorDialogP
<div className="space-y-2">
<Label className="text-xs font-mono text-cyber-text-secondary">
{mode === 'creator' ? '博主主页链接或 ID' : '笔记链接或 ID'}
{mode === 'creator'
? `${hints?.creator_label ?? '博主主页'}链接或 ID`
: `${hints?.note_label ?? '笔记'}链接或 ID`}
</Label>
<textarea
value={targets}
onChange={(event) => setTargets(event.target.value)}
rows={5}
placeholder={
mode === 'creator'
? '每行一个,支持完整主页链接或纯 ID:\nhttps://www.xiaohongshu.com/user/profile/5f58bd99...\n5f58bd990000000001003753'
: '每行一个,支持完整笔记链接或纯 ID:\nhttps://www.xiaohongshu.com/explore/6aa3d827...'
}
placeholder={`每行一个,支持完整链接或纯 ID:\n${(mode === 'creator' ? hints?.creator : hints?.note) ?? ''}`}
className={TEXTAREA_CLASS}
/>
<p className="text-[10px] font-mono text-cyber-text-muted">
已识别 <span className="text-cyber-neon-cyan">{targetList.length}</span> 个目标。
<span className="text-cyber-neon-orange">建议只填纯 ID</span>
——链接里的 xsec_token 会过期,纯 ID 永久有效。
{/* 「只填纯 ID」是小红书专属的劝告:它链接里的 xsec_token 会过期。
抖音的链接不带令牌,永久有效,那句话对它没有意义。 */}
{hints?.token_expires && (
<>
<span className="text-cyber-neon-orange">建议只填纯 ID</span>
——链接里的 xsec_token 会过期,纯 ID 永久有效。
</>
)}
</p>
</div>
+12
View File
@@ -318,6 +318,17 @@ export interface ReportResult {
* layer has been hooked up for it. The UI must never conflate the two -- a
* platform can be fully crawlable upstream and still unusable here.
*/
/** 目标输入框的示例与措辞,随平台变。服务端给,前端不自己判断平台。 */
export interface TargetHints {
creator?: string
note?: string
/** 该平台怎么称呼这两样东西 —— 抖音叫「作品」,小红书叫「笔记」。 */
creator_label?: string
note_label?: string
/** 链接里是否带会过期的令牌(只有小红书有)。 */
token_expires?: boolean
}
export interface PlatformCapability {
value: string
label: string
@@ -327,6 +338,7 @@ export interface PlatformCapability {
comment_levels: number
media: boolean
monitor_wired: boolean
target_hints?: TargetHints
}
export interface WebhookStatus {