上一个提交把作品发布日期透到界面之后,抖音那一行显示成 1970-01-22。查原始产物: 小红书 time = 1790923011000 → 毫秒 → 2026-10-02 ✓ 抖音 create_time = 1790574515 → 秒 → 2026-09-28 ✗(被当毫秒 → 1970-01-22) 抖音给的是**秒**。而且这条路径不只影响新增的发布日期 —— **评论的 create_time 走的是 同一条路**,所以抖音评论的时间一直是错的,只是之前界面上没显示出来,没人发现。 时间单位的换算正是 adapters 该管的事,所以加在那边: * `PlatformAdapter.time_scale`(小红书 1、抖音 1000)+ `to_ms()`,解析不出来返回 None 而不是伪造 0。 * ingest 用它换算作品的 published_at 和评论的 create_time。落库统一毫秒,展示层不必 关心来源。 * 已入库的数据要能自愈:published_at 和评论 create_time 原先都是**只写一次**的,换算 改对了老数据也修不回来。现在它们会在重采时跟着刷新(昵称早就是这么做的)。 测试 +1:抖音记录落库后 published_at 是 1790574515 * 1000,且年份是 2026 不是 1970。 dy 的 fixture 也改成用真实的秒值(原来写的是毫秒形态,所以测不出这个 bug)。 注意:库里那条抖音记录**仍带着错的值**,要等抖音下一次成功采集才会被修回来 —— 而它 现在正被平台风控挡着(account blocked),见下一条说明。
上游爬虫本身不缺抖音能力(三模式、四项指标、二级评论都与小红书对等、指标还是同名同列), 缺的全在监控层的适配。这次把「平台之间不一样」的管子集中到一个新模块,再把散落的 xhs 硬编码接上去。 * 新增 api/monitor/adapters.py:产物目录名、jsonl 字段别名、目标链接形态与正则、 通知链接模板。不放进 platforms.py 是因为那个模块被 describe_all() 整个序列化进 /api/config/platforms 交给前端,塞进正则和目录名会让爬虫内部细节漏进 API 载荷。 代价是两个注册表可能漂移,用一条测试钉住「声明接通就必须有适配器」。 * 两个必须知道的坑,都在这版里处理掉了: 1) 抖音的平台 id 是 dy,而 store 把产物写在 douyin/ 下(store/douyin/_store_impl.py:47)。 不改就是 ingest 一个文件都读不到 —— 不报错,只是 0 条,然后被冒充成「疑似登录失效」。 2) 抖音的作品没有 note_id(叫 aweme_id)、评论也用 aweme_id 指作品。ingest 第一步是 `if not note_id: continue`,不映射就逐条全丢。 另外抖音顶层评论的 parent_comment_id 是字符串 "0",归一成空串,免得前端多出悬空的父节点。 * 顺带把「东西抓到了、只是没落在期望目录里」单独识别出来。这类故障的现象和登录失效 一模一样,按登录失效报会把人指去查完全错误的方向。 * 修两个既有 bug(今天只有小红书所以无害,加抖音就踩响): - service.py update_task 换目标时漏传 task.platform,回落到默认小红书 - scheduler.py 取 cookie 没传 platform,抖音任务会读着小红书那份 cookie 不动 * 行为变更(已与用户确认):cookie 闸门改成「没 cookie 且没开 CDP」才跳过。 CDP 模式下登录态来自被接管的浏览器,粘不粘 cookie 由不得它决定;不放行的话, 选了「接管已有 Chrome」却没粘 cookie 的用户会看到任务永远不触发,而且不报错。 副作用是开启了 CDP 的小红书任务也不再被该闸门拦住 —— 语义上是对的。 * 目标输入框的示例链接与措辞改由能力矩阵提供(notes_label 抖音说「作品」、小红书说 「笔记」;「建议只填纯 ID」是小红书专属劝告,抖音链接不带令牌,不再显示)。 测试 +22 条(858 通过),其中最关键的是「抖音作品/评论不被静默丢弃」与「产物目录名 不等于平台 id」两条 —— 都是把最难查的失败模式钉死在回归网里。 注意:抖音这条路的**端到端尚未验证**,需要一份可用的抖音登录态(CDP 那台 Chrome 里 登录,或导出一份 cookie)。单测覆盖的是解析与入库,真实抓取还没跑过。