12 Commits

Include renames

Author	SHA1	Message	Date
butubb	61808444ad	feat(monitor): 评论接口带上 a_bogus 签名；修好作品导出的空列 ... **评论能采了。** 之前 comment/list 一直回 200 + 空 body，被读成「这条没评论」—— 而它其实只是被网关挡了。缺的就是 a_bogus 签名，仓库里本来就有 （libs/douyin.js + execjs）。签上之后实测 200 / 9960 字节真评论。 只给评论接口签：作品、详情、博主资料三个不带签名也照常返回，而给它们加签名是 没验证过的改动。签名按需 import —— 那个模块 import 时就把 JS 喂给 execjs， 不该拖进监控层热路径。 **作品导出那几列一直是空的。** 列名写的是裸键 liked_count，而作品行的指标嵌在 metrics / deltas 里，row.get() 永远取到 None —— 导出来的表有「点赞/评论/收藏/ 分享」四列，每一格都没有数。原来的测试只断言了「作品ID」，所以没发现。 顺手补上：导出带上 博主备注/昵称、作品备注、发布时间，时间戳格式化成人能读的 形态（原来是一串 13 位毫秒，Excel 里没法看也没法排序）。	2026-10-10 21:09:52 +08:00
butubb	e0581682e1	fix(monitor): 没有作品的博主在作品栏里也要看得见 ... 分组是从作品推出来的（按作品的 creator_hash 归组），于是没有作品的博主根本 不进列表：目标加了、资料采到了、粉丝数就躺在库里，界面上什么都看不见。 而这类博主恰恰是最该看见的 —— 还在涨粉，只是最近没发东西。藏起来正好藏反了。 线上就有一个：5 个目标里 3 个没作品，那 3 个连同已采到的粉丝数一起消失了。 改成 **账号快照 ∪ 作品** 两个来源： * 有快照没作品 → 一个 0 篇的组，备注和粉丝数照常显示，组里写「暂无作品」； * 有作品没快照 → 一个没有账号指标的组（小红书那条路不产生快照）。 /notes 因此多返回一份 `creators`，而不是让前端从作品里推 —— 作品推不出上面 第一类人。组头改读它，`MonitorNote` 上那几个字段降级成「顺着作品问作者」用。	2026-10-10 20:57:07 +08:00
butubb	20e672834c	feat(monitor): 博主的粉丝数，以及给作品起备注 ... 两件都是「作品栏里把这东西认出来」的延伸： * **账号级指标**：作品列表只会说「这条涨了多少赞」，说不了「这个人整个 账号的粉丝在涨还是在掉」。抖音的资料接口本来就有粉丝数/总获赞/作品数， 每轮顺手记一条快照（`monitor_creator_stat`，粒度 = 任务×博主×轮次， 和作品指标同形）。组头显示最近一条。 快照在「一条作品都没采到」的早退**之前**落：作品列表被风控挡住的那一轮， 正是「粉丝还在涨、但新作品没在发现」最该被看见的时刻。 * **作品备注**：博主备注回答「这个账号是谁」，这条回答「这条我要盯着」。 一个博主底下常常只有一两件值得盯的作品，所以不能合并成一条。键取 (platform, note_id)，跨任务共用一份。 两边都守住同一条口径：**不知道就是 null，不写成 0** —— 0 在趋势图上是一条 砸到底的线，和「还没采到」是两回事。	2026-10-10 18:09:03 +08:00
butubb	0a88474c92	feat(monitor): 给博主起备注 —— 作品栏里才认得出「这是谁」 ... 作品栏按 creator_hash 把作品归到博主的组里，可那是个哈希；creator_name 是平台昵称， 粉丝少的号常常认不出。两样都没法把账号对上人。 * 新表 monitor_creator_alias，键取 **(platform, creator_hash)** 而不是按任务： 哈希对同一个 uid 是稳定的，所以同一个博主出现在多个任务里时，备注只填一次。 * list_notes 带上 creator_alias（整体查一次再在内存里取，不是每条作品查一次）。 * `PUT /monitor/creators/{creator_hash}`，空串即清掉那条备注。 * 作品栏的博主组头：**优先显示备注**，起过备注之后平台昵称降成副标题（它仍是有用的 对照）；组头上一个铅笔按钮就地编辑，回车保存、失焦保存、Esc 取消。 Esc 那条要单独处理：取消之后紧接着的失焦会把刚放弃的内容存进去，所以用一个标记让那次 失焦闭嘴。 测试 +6：没起过时是空串、起了会跟着作品返回、**跨任务共用一条**、**不串到别的平台**、 空串清掉、前后空格会被去掉。	2026-10-10 18:00:13 +08:00
butubb	3486c7f524	feat(monitor): 作品栏和评论栏显示作品的发布日期 ... 需求：抖音和小红书都要能看到作品的发布日期。 `MonitorNote.published_at` 其实**一直在库里**（ingest 早就按平台取：小红书 time、 抖音 create_time），只是从来没往 API 和界面上透 —— 后端序列化没这个键，前端类型里 也没有，所以界面上只有「首次发现」。 * 后端：list_notes 的序列化补上 published_at；_note_meta_map 也带上，于是 list_comments 多一个 note_published_at，分组接口的桶多一个 published_at。 * 前端：NotesTable 新增「发布日期」列（要让分组表头的 colspan 从 +4 变 +5）； 评论栏作品那一层在标题旁显示日期 —— 同名作品不少，日期能帮着认。 * 新增 formatDate：发布日期问的是「哪一天发的」，绝对日期比「3天前」好认，也不会 每天看都在变。具体到分钟的版本放在 title 里，悬停可见。 刻意和「首次发现」分开：前者是作者发布的那天，后者是我们第一次看到它的那天。把一个 早就存在的作品加进监控时，两者能差好几个月 —— 测试里就用不同的值把这两者钉住。 顺带修正一处过时注释：前端类型里还写着 creator_name 是「已脱敏的昵称」， 脱敏已经在上一个提交里关掉了（config.MASK_NICKNAME）。 测试 +2：桶要带发布日期；作品列表接口要带，且它不等于 first_seen_at。	2026-10-10 16:06:22 +08:00
butubb	67837b407e	fix(comments): 评论栏所有博主都显示成「未知博主」 ... 现象：小红书的和抖音的评论栏，最外层分组全是「未知博主」，分不出谁是谁。 根因是分组接口漏了两个字段。api/routers/monitor.py 里按作品构造桶时只放了 note_id/note_title/note_cover/note_url/comments，而前端 groupByCreator 是用 bucket.creator_hash / bucket.creator_name 分组的 —— 两个都是 undefined，于是所有 博主塌成同一个 key，标签取空串回退成「未知博主」。 数据一直都在：每条评论上都带着 note_creator_hash / note_creator_name （service.py:540-541），只是没往桶上搬。TS 的 CommentBucket 里也声明了这两个字段， 所以是后端没兑现自己的契约，不是前端写错。 修：构造桶时把作品的创作者一并放上去（同一个桶里的评论必然同属一个作品，取哪条都一样）。 测试：种子数据改成「两个作品属于不同博主」（原来是同一个 hash，测不出这个 bug）， 新增一条断言每个桶带上自己那个博主、且两个博主的 hash 确实不同。	2026-10-10 15:41:42 +08:00
butubb	e348de48d3	feat(upstream): 上游更新检查——定期比上游、落后了推企业微信 ... 本仓库在上游 MediaCrawler 之上加了一整层（见 UPSTREAM.md），可合并流程默认 「有人知道上游动了」。而部署是 git pull --ff-only，只从自己的 Gitea 拉——上游的 提交不主动 fetch 就永远看不见。拖着不合并的代价是复利的：越久越难合。 于是把「上游动了没有」变成一条会自己跑、会推企业微信的通知： * api/monitor/upstream.py：git fetch <url> <branch> 到 FETCH_HEAD，用 rev-list --count HEAD..FETCH_HEAD 算落后数、FETCH_HEAD..HEAD 算领先数。 用 git 而非托管商 API，因为只有 git 知道共同祖先在哪——本仓库含有上游没有的 提交，直接比 tip 会得出错误结论。增量 fetch 只传几个新提交，不会遇到 UPSTREAM.md 里说的「大包必断」。 * 只 fetch 到 FETCH_HEAD：不配 remote、不写 refs/remotes、不碰索引与工作区， 所以不打断正在跑的采集，也不和 deploy.sh 的 git pull 抢锁。 * 挂在调度器 tick 上（不是采集，所以不看 is_busy、不受活跃时段限制——定时检查 放在半夜反而最合适），按 checked_at + 间隔 到期才跑；失败也写 checked_at， 于是 GitHub 不通时是每间隔重试一次，而不是每个 tick 撞一次墙。 * 同一个 tip 只推一次（记 tip 而不是「推过没」），上游真又动了会再推。 * 两个接口：GET /monitor/upstream 只读缓存；POST /monitor/upstream/check 手动 查一次且刻意不推通知——点按钮的人正看着结果。 * 默认关闭，间隔默认一天。 Dockerfile 显式装 git（python:slim 不带，而这是唯一的依赖）；deploy.sh 顺带补上 一个真 bug 的提示：Dockerfile/requirements.txt 变了只 up -d 用的还是旧镜像。	2026-10-10 09:17:06 +08:00
butubb	de9ff58371	feat(monitor): 扫码同时存一份 Cookie，并把登录判定换成权威判据 ... 用户问「现在是不是扫码就能自动获取 cookie」—— 不是，而且这正是那个面板显得没用的根源： 它只干了半件事，扫码**只写浏览器 profile，完全不提取 cookie**（qrlogin.py 里连一行 取 cookie 的代码都没有）。于是： - CDP 开着时任务能用（复用 profile），但 Cookie 面板始终显示「未配置」 - CDP 一关，任务立刻断，因为库里那份 cookie 从来没被填过 现在扫码把两件事一起做了：写 profile（CDP 用）+ 存一份到库（Cookie 注入用）。 两种机制同时填上，开关怎么切都不断。cookie 只在内存里从 qrlogin 传到路由，不进响应体。 同时修掉一个同类 bug：监控侧的登录判定还在用页面里的 window.__INITIAL_STATE__， 而那是**页面加载那一刻的快照** —— 浏览器本来就登录着时它是对的，但扫码是加载之后 才登录的，快照不会翻转，表现为「扫了码却一直停在二维码上」。运营模块踩过同一个坑， 当时只修了那一处。现在两边统一为：拿 cookie 问后台接口「我是谁」。顺带不再需要页面导航， 检测变轻了。 前端：已登录时按钮原先被我藏起来了，面板于是变成一块只能看、不能操作的区域 —— 用户的原话是「没用」。现在两种状态都给按钮，含义不同：未登录=取二维码， 已登录=把当前登录态同步成 Cookie。 测试：tests/test_qrlogin.py 重写（stub 从页面探针换成后台接口），新增「成功会话必须 交出 cookie」「只能取一次」两例。	2026-10-09 13:46:48 +08:00
butubb	b11bbf771a	fix(covers): 封面地址是签名过期而非防盗链，改为本地缓存 ... 实测推翻了之前的诊断。同一批图： 当天签发的地址 /202610080841/... -> 200，带不带 Referer 都一样 隔天的地址 /202610070837/... -> 403，带不带 Referer 都一样 路径里那段时间戳就是签发时刻。所以这是**过期**，Referer 根本不是那个维度 —— 上一轮加 referrerPolicy 是照着错误结论改的，白改。 修法： - 采集入库时每轮刷新 cover 地址。原先只在首次入库写一次，旧作品的地址烂在库里， 而且再怎么重跑也修不回来 - 新增 api/monitor/covers.py：把图下载落盘。图一旦落盘就与签名无关，永远可读 - 下载放在 runner 的 Phase 5（事务已提交之后），不放 ingest —— ingest 的文档写明 No network，往里塞网络请求会毁掉它可离线测试这一点 - 新增 GET /api/monitor/covers/{note_id} 取图。这条路由带鉴权，封面不会被匿名读走 - service 返回本地地址优先，没有缓存时才退回远程 - 每轮只补一批（60 张）：一次跑几百张既慢又会给图床压力，而旧地址本来就在陆续过期， 分摊到几轮反而更稳 顺带修正 NoteCover 的注释 —— 它写着防盗链，而那个结论已被推翻，留个错的注释比没有更糟。	2026-10-08 08:45:30 +08:00
butubb	6eff6fcc83	fix: 扫码登录状态可独立查询 + 趋势图改回自适应纵轴 ... 【登录反馈】实测这台浏览器 loggedIn=true，其实早就登录成功了；看不到反馈是判据和设计的问题： 1. 判据不可靠。原先靠 web_session 的值变化判断——对照组显示：一个全新的空 profile 首次访问小红书就会被发一个 web_session，所以「有这个 cookie」什么都证明不了。可信信号是页面自己的 __INITIAL_STATE__.user.loggedIn，但它是 Vue 响应式引用，必须 .value 解包（这就是前面探针读到 [object Object] 和 None 的原因）。 2. 状态绑死在临时会话上。扫码会话是内存状态，进程一重启就没（部署、崩溃都算），面板于是悄悄退回初始态——一次成功扫码看起来像什么都没发生。 改法不是让会话活得久，而是把「登没登录」变成随时可查、与会话无关： - 新增 GET /api/monitor/login/state，直接问浏览器要答案，带 5 秒缓存；force=true 先重载页面再读，用于状态陈旧 - qrlogin 改为常驻 Playwright 客户端 + 复用同一个标签页，并在重启后认领浏览器里已存在的 xhs 标签页，避免堆孤儿页 - 把「读不到状态」与「未登录」分开——前者显示具体错误，不再悄悄显示成未登录 - 面板顶部常驻显示登录态与昵称，带「重新检测」按钮；扫码成功后自动翻转 【趋势图】上一轮改过头了。dataviz 规范里没有「折线图必须从 0 起」这条——基线相关的条文全是讲柱状图的（柱状图用长度编码数值，不从 0 起比例就是错的；折线图用位置编码，轴只需如实框住数据）。改回自适应，保留上一轮修好的左侧刻度栏让范围始终可见；步长收敛到 1/2/5×10ⁿ，全平序列撑开一档避免除零。	2026-10-07 15:42:58 +08:00
butubb	37ca1b1cd6	feat: CDP 接管开关 + 扫码登录面板 + Docker 部署 ... - runner: enable_cdp_mode 从硬编码 False 改为系统设置 cdp_enabled。服务器部署下爬虫接管已开启远程调试的 Chrome（默认 9222），复用其 profile 登录态；本机桌面默认仍为关，行为不变 - qrlogin: 新增 CDP 扫码登录。Chrome 在服务器上跑于 Xvfb，show_qrcode 依赖的 PIL 桌面看图程序不存在，二维码无处可显示；改为经 CDP 从页面取出二维码交给 WebUI 渲染。刻意复用 browser.contexts[0]（新建 context 是无痕 profile，扫了也白扫），且绝不调用 browser.close()（会连带关掉操作者自己的 Chrome） - webui: 设置页新增扫码面板，替换原本跳到采集页看终端二维码的入口 - Dockerfile / .dockerignore / docker-compose.yml: 服务器部署。host 网络是必需而非图省事——容器里 127.0.0.1:9222 必须落到宿主机回环 - UPSTREAM.md: 补充 gitcode 镜像，用于 GitHub 大包传输必断时补历史	2026-10-07 10:41:11 +08:00
butubb	4e60524f37	feat: 监控面板 / 登录鉴权 / 多平台切换 / MySQL ... 在上游 MediaCrawler 之上新增一层： - 监控层 api/monitor/ —— 多博主/多笔记的定时采集、指标快照差分、报表、 企业微信通知。每轮采集写入独立目录，差分才成立。 - WebUI 登录鉴权 api/auth.py —— PBKDF2 口令 + 服务端会话，/api 全接口防护。 WebSocket 单独加依赖：BaseHTTPMiddleware 对 ws 作用域直接放行，覆盖不到。 - 全局平台切换 + 能力矩阵 —— 如实区分「爬虫模块支持」与「监控层已接线」， 未接通的平台直接拒绝建任务，而不是静默跑空。 - 监控库改用 MySQL 5.7（可回退 SQLite 供测试）：逐表强制 utf8mb4 （服务端与库默认都是 latin1），启动校验所连 schema 以防写错库， 连接池 recycle + pre_ping 应对 MySQL 的 8 小时空闲断连。 修复上游缺陷： - xhs/core.py: 主页抓取失败会跳掉整个博主，导致一条作品都抓不到， 而那份资料只喂给一个空函数。改为尽力而为，失败不中断。 - xhs/login.py: cookie 登录只注入 web_session，冷启动签名会失败。 新增 INJECT_ALL_COOKIES 开关（默认关闭，原有行为不变）。 - requirements.txt: 补上 websockets。它在上游 pyproject.toml 里有声明、 这里漏了，导致 uvicorn 没有 WebSocket 能力，实时日志流从未工作。 改动过的上游文件清单及合并方式见 UPSTREAM.md。 测试：492 passed（另有 1 个既有的 Windows/gbk 上游测试失败，与本改动无关）	2026-10-07 09:58:40 +08:00