Files
MediaCrawler/tests
butubb 6aba3a73c1
Deploy VitePress site to Pages / build (push) Waiting to run
Deploy VitePress site to Pages / Deploy (push) Blocked by required conditions
feat(monitor): 关掉链接校验 —— 认不出来的目标原样收下
以前新建任务粘目标时是白名单校验:链接形状不匹配平台的规则就拒收(「无法从链接中
解析出博主主页 ID」/「无法识别的目标」),而 v.douyin.com 那种分享短链是**明确**
拒绝的。平台一改链接形状,用户粘一个完全正确的链接也只能干瞪眼。

现在认不出来的一律原样存下(截到 128 字符,external_id 是 varchar(128),而带参数的
完整链接常常 130+)。只留两件不能省的事:

* 空值仍然拒收 —— 空目标连库都写不进去;
* **不许跨平台误抠** —— 小红书的正则不会从抖音链接里抠出一个 id。那是「看起来正常
  但完全错误」的目标,比原样存更糟。这条有测试钉着。

代价(已知并接受):认不出的值会变成永远抓不到东西的目标。好在不静默 —— 跑完一轮
ingest 会发现「一条都没抓到」并报出来,而且会先排除登录问题。

顺带删掉 short_link_hosts:现在没人读它了,留着会让下一个人以为短链还是被拒的。
2026-10-12 16:54:31 +08:00
..