4 Commits

Include renames

Author	SHA1	Message	Date
butubb	f3ea088c75	fix(monitor): 从界面上建的任务永远是小红书任务，平台从没被传上去 ... 现象：站在抖音页面上新建任务，任务跑到小红书列表里去了；界面上还写着「笔记」。 根因在前端：TaskCreatePayload 里**根本没有 platform 字段**，handleSubmit 拼的 payload 自然也不带它，而后端是 `payload.get("platform") or PLATFORM_XHS` —— 于是不管在哪个 平台标签下建任务，落下来的都是小红书任务。以前只支持小红书，两边都看不出问题。 * TaskCreatePayload 补上 platform（并在注释里写明为什么它是必填），handleSubmit 带上 当前平台。 * 更新任务时不带 platform：平台创建后不可更改，带着会让「平台能改」看起来像真的。 * 三处写死的「笔记」改成按平台取措辞（能力矩阵的 target_hints.note_label）： · 任务编辑器的类型选择项「笔记（批量监控指定内容）」 · 「笔记模式下此项不生效」那句提示 · 任务卡片上的类型徽章 —— 它按**任务自己的**平台取词，不是当前平台，因为卡片未必 只出现在同平台的列表里 抖音管它们叫「作品」，小红书叫「笔记」，写死一个对另一个就是错的。 测试 +1：后端这一半也守住 —— 建任务时显式给了平台，就必须落到那个平台，且不得出现在 另一个平台的列表里。前端那半边是 UI，测不了，但后端守住能挡住「给了不用」这类退化。 注意：这次是纯前端漏传，后端那个「缺省回退小红书」的行为本身没变（有测试断言它是 有意为之的兼容行为）。要彻底消灭这类静默错误，可以把缺省值去掉、让 platform 必填 —— 那会破坏 API 兼容性，目前没有任何别的调用方，需要的话说一声。	2026-10-10 15:13:37 +08:00
butubb	e77e5e2f15	fix(report): 空的任务集合被当成了「不限制平台」，导致报表串平台数据 ... 现象：切到抖音，报表里显示的是小红书的数据。 根因是报告聚合里的一行真值判断： scope = list(task_ids) if task_ids else None 空列表是假值，而空列表在这里的含义是「这个平台一个任务都没有」，不是「不限制平台」。 于是 platform=dy 且抖音还没有任务时，_resolve_scope 返回的 [] 被翻译成了 None， 聚合范围从「抖音的任务」变成了**全部任务** —— 小红书的数字就这么显示在了抖音页面上。 顺带 task_ids 也回成 None，界面会显示成「全部任务」。 改成 `is not None`。空列表进去就让 in_([]) 恒假，结果为空，这才是对的。 排查时把所有同类写法过了一遍，只有这一处错，其余（service.py 的 10 处作用域judgement、 _resolve_scope、export）用的都是 `is not None`。 测试：新增两条，并且**验证过它们在修复前会红**（失败信息就是 assert 42 == 0 —— 查一个没有任何任务的平台，却返回了小红书那条作品的 42 个赞）。 同时修掉一条空跑的测试：test_a_platform_with_no_tasks_yields_empty_not_everything 原先种了任务却没有作品/指标数据，于是过滤生效与否结果都是 0，什么都测不出来 —— 这正是这个 bug 能活下来的原因。现在它会真的塞一条作品+快照进去，并在末尾断言 「小红书自己的报表看得到那条数据」，用来证明前面那两个 0 是过滤出来的而不是没数据。	2026-10-10 15:00:12 +08:00
butubb	06718a1351	feat(monitor): 抖音接入博主监控 ... 上游爬虫本身不缺抖音能力（三模式、四项指标、二级评论都与小红书对等、指标还是同名同列）， 缺的全在监控层的适配。这次把「平台之间不一样」的管子集中到一个新模块，再把散落的 xhs 硬编码接上去。 * 新增 api/monitor/adapters.py：产物目录名、jsonl 字段别名、目标链接形态与正则、 通知链接模板。不放进 platforms.py 是因为那个模块被 describe_all() 整个序列化进 /api/config/platforms 交给前端，塞进正则和目录名会让爬虫内部细节漏进 API 载荷。 代价是两个注册表可能漂移，用一条测试钉住「声明接通就必须有适配器」。 * 两个必须知道的坑，都在这版里处理掉了： 1) 抖音的平台 id 是 dy，而 store 把产物写在 douyin/ 下（store/douyin/_store_impl.py:47）。 不改就是 ingest 一个文件都读不到 —— 不报错，只是 0 条，然后被冒充成「疑似登录失效」。 2) 抖音的作品没有 note_id（叫 aweme_id）、评论也用 aweme_id 指作品。ingest 第一步是 `if not note_id: continue`，不映射就逐条全丢。 另外抖音顶层评论的 parent_comment_id 是字符串 "0"，归一成空串，免得前端多出悬空的父节点。 * 顺带把「东西抓到了、只是没落在期望目录里」单独识别出来。这类故障的现象和登录失效 一模一样，按登录失效报会把人指去查完全错误的方向。 * 修两个既有 bug（今天只有小红书所以无害，加抖音就踩响）： - service.py update_task 换目标时漏传 task.platform，回落到默认小红书 - scheduler.py 取 cookie 没传 platform，抖音任务会读着小红书那份 cookie 不动 * 行为变更（已与用户确认）：cookie 闸门改成「没 cookie 且没开 CDP」才跳过。 CDP 模式下登录态来自被接管的浏览器，粘不粘 cookie 由不得它决定；不放行的话， 选了「接管已有 Chrome」却没粘 cookie 的用户会看到任务永远不触发，而且不报错。 副作用是开启了 CDP 的小红书任务也不再被该闸门拦住 —— 语义上是对的。 * 目标输入框的示例链接与措辞改由能力矩阵提供（notes_label 抖音说「作品」、小红书说 「笔记」；「建议只填纯 ID」是小红书专属劝告，抖音链接不带令牌，不再显示）。 测试 +22 条（858 通过），其中最关键的是「抖音作品/评论不被静默丢弃」与「产物目录名 不等于平台 id」两条 —— 都是把最难查的失败模式钉死在回归网里。 注意：抖音这条路的**端到端尚未验证**，需要一份可用的抖音登录态（CDP 那台 Chrome 里 登录，或导出一份 cookie）。单测覆盖的是解析与入库，真实抓取还没跑过。	2026-10-10 14:55:28 +08:00
butubb	4e60524f37	feat: 监控面板 / 登录鉴权 / 多平台切换 / MySQL ... 在上游 MediaCrawler 之上新增一层： - 监控层 api/monitor/ —— 多博主/多笔记的定时采集、指标快照差分、报表、 企业微信通知。每轮采集写入独立目录，差分才成立。 - WebUI 登录鉴权 api/auth.py —— PBKDF2 口令 + 服务端会话，/api 全接口防护。 WebSocket 单独加依赖：BaseHTTPMiddleware 对 ws 作用域直接放行，覆盖不到。 - 全局平台切换 + 能力矩阵 —— 如实区分「爬虫模块支持」与「监控层已接线」， 未接通的平台直接拒绝建任务，而不是静默跑空。 - 监控库改用 MySQL 5.7（可回退 SQLite 供测试）：逐表强制 utf8mb4 （服务端与库默认都是 latin1），启动校验所连 schema 以防写错库， 连接池 recycle + pre_ping 应对 MySQL 的 8 小时空闲断连。 修复上游缺陷： - xhs/core.py: 主页抓取失败会跳掉整个博主，导致一条作品都抓不到， 而那份资料只喂给一个空函数。改为尽力而为，失败不中断。 - xhs/login.py: cookie 登录只注入 web_session，冷启动签名会失败。 新增 INJECT_ALL_COOKIES 开关（默认关闭，原有行为不变）。 - requirements.txt: 补上 websockets。它在上游 pyproject.toml 里有声明、 这里漏了，导致 uvicorn 没有 WebSocket 能力，实时日志流从未工作。 改动过的上游文件清单及合并方式见 UPSTREAM.md。 测试：492 passed（另有 1 个既有的 Windows/gbk 上游测试失败，与本改动无关）	2026-10-07 09:58:40 +08:00