4 Commits

Include renames

Author	SHA1	Message	Date
butubb	6aba3a73c1	feat(monitor): 关掉链接校验 —— 认不出来的目标原样收下 ... 以前新建任务粘目标时是白名单校验：链接形状不匹配平台的规则就拒收（「无法从链接中 解析出博主主页 ID」/「无法识别的目标」），而 v.douyin.com 那种分享短链是**明确** 拒绝的。平台一改链接形状，用户粘一个完全正确的链接也只能干瞪眼。 现在认不出来的一律原样存下（截到 128 字符，external_id 是 varchar(128)，而带参数的 完整链接常常 130+）。只留两件不能省的事： * 空值仍然拒收 —— 空目标连库都写不进去； * **不许跨平台误抠** —— 小红书的正则不会从抖音链接里抠出一个 id。那是「看起来正常 但完全错误」的目标，比原样存更糟。这条有测试钉着。 代价（已知并接受）：认不出的值会变成永远抓不到东西的目标。好在不静默 —— 跑完一轮 ingest 会发现「一条都没抓到」并报出来，而且会先排除登录问题。 顺带删掉 short_link_hosts：现在没人读它了，留着会让下一个人以为短链还是被拒的。	2026-10-12 16:54:31 +08:00
butubb	44277600e4	feat(monitor): 组头上加一个跳到博主主页的按钮 ... `creator_hash` 是单向的，拼不出主页地址 —— 所以这个 id 必须在采集时单独存下来。 抖音的资料接口本来就返回 sec_uid，只是之前没落库。 * `monitor_creator_stat` 加 `creator_id` 列（老数据默认空，下一次采集补上）； * 链接在 `adapters.creator_url()` 里拼，**空串是有意义的返回值**：平台不认识、 或者没拿到 id，就返回空，界面据此不画按钮 —— 画一个点开 404 的按钮比不画糟； * 没有作品的博主照样有链接：他恰恰是你想点进去看的那个人。 已知缺口：小红书那条路（爬虫子进程）根本不落创作者资料，所以那边没有链接。	2026-10-11 08:52:51 +08:00
butubb	1118d466be	fix(monitor): 抖音的时间戳是秒、小红书是毫秒，不换算会把 2026 年显示成 1970 年 ... 上一个提交把作品发布日期透到界面之后，抖音那一行显示成 1970-01-22。查原始产物： 小红书 time = 1790923011000 → 毫秒 → 2026-10-02 ✓ 抖音 create_time = 1790574515 → 秒 → 2026-09-28 ✗（被当毫秒 → 1970-01-22） 抖音给的是**秒**。而且这条路径不只影响新增的发布日期 —— **评论的 create_time 走的是 同一条路**，所以抖音评论的时间一直是错的，只是之前界面上没显示出来，没人发现。 时间单位的换算正是 adapters 该管的事，所以加在那边： * `PlatformAdapter.time_scale`（小红书 1、抖音 1000）+ `to_ms()`，解析不出来返回 None 而不是伪造 0。 * ingest 用它换算作品的 published_at 和评论的 create_time。落库统一毫秒，展示层不必 关心来源。 * 已入库的数据要能自愈：published_at 和评论 create_time 原先都是**只写一次**的，换算 改对了老数据也修不回来。现在它们会在重采时跟着刷新（昵称早就是这么做的）。 测试 +1：抖音记录落库后 published_at 是 1790574515 * 1000，且年份是 2026 不是 1970。 dy 的 fixture 也改成用真实的秒值（原来写的是毫秒形态，所以测不出这个 bug）。 注意：库里那条抖音记录**仍带着错的值**，要等抖音下一次成功采集才会被修回来 —— 而它 现在正被平台风控挡着（account blocked），见下一条说明。	2026-10-10 16:08:42 +08:00
butubb	06718a1351	feat(monitor): 抖音接入博主监控 ... 上游爬虫本身不缺抖音能力（三模式、四项指标、二级评论都与小红书对等、指标还是同名同列）， 缺的全在监控层的适配。这次把「平台之间不一样」的管子集中到一个新模块，再把散落的 xhs 硬编码接上去。 * 新增 api/monitor/adapters.py：产物目录名、jsonl 字段别名、目标链接形态与正则、 通知链接模板。不放进 platforms.py 是因为那个模块被 describe_all() 整个序列化进 /api/config/platforms 交给前端，塞进正则和目录名会让爬虫内部细节漏进 API 载荷。 代价是两个注册表可能漂移，用一条测试钉住「声明接通就必须有适配器」。 * 两个必须知道的坑，都在这版里处理掉了： 1) 抖音的平台 id 是 dy，而 store 把产物写在 douyin/ 下（store/douyin/_store_impl.py:47）。 不改就是 ingest 一个文件都读不到 —— 不报错，只是 0 条，然后被冒充成「疑似登录失效」。 2) 抖音的作品没有 note_id（叫 aweme_id）、评论也用 aweme_id 指作品。ingest 第一步是 `if not note_id: continue`，不映射就逐条全丢。 另外抖音顶层评论的 parent_comment_id 是字符串 "0"，归一成空串，免得前端多出悬空的父节点。 * 顺带把「东西抓到了、只是没落在期望目录里」单独识别出来。这类故障的现象和登录失效 一模一样，按登录失效报会把人指去查完全错误的方向。 * 修两个既有 bug（今天只有小红书所以无害，加抖音就踩响）： - service.py update_task 换目标时漏传 task.platform，回落到默认小红书 - scheduler.py 取 cookie 没传 platform，抖音任务会读着小红书那份 cookie 不动 * 行为变更（已与用户确认）：cookie 闸门改成「没 cookie 且没开 CDP」才跳过。 CDP 模式下登录态来自被接管的浏览器，粘不粘 cookie 由不得它决定；不放行的话， 选了「接管已有 Chrome」却没粘 cookie 的用户会看到任务永远不触发，而且不报错。 副作用是开启了 CDP 的小红书任务也不再被该闸门拦住 —— 语义上是对的。 * 目标输入框的示例链接与措辞改由能力矩阵提供（notes_label 抖音说「作品」、小红书说 「笔记」；「建议只填纯 ID」是小红书专属劝告，抖音链接不带令牌，不再显示）。 测试 +22 条（858 通过），其中最关键的是「抖音作品/评论不被静默丢弃」与「产物目录名 不等于平台 id」两条 —— 都是把最难查的失败模式钉死在回归网里。 注意：抖音这条路的**端到端尚未验证**，需要一份可用的抖音登录态（CDP 那台 Chrome 里 登录，或导出一份 cookie）。单测覆盖的是解析与入库，真实抓取还没跑过。	2026-10-10 14:55:28 +08:00