fix(monitor): 抖音任务的 run 永远停在「排队中」—— 我上一版把状态标记缩进错了
用户报的现象:任务一直显示「排队中」。查库确认有两批 run 卡在 pending(任务 7 的 44/45、 任务 15 的 62/63)。两个原因,一个是我上一版改坏的: 1) **`RUN_RUNNING` 被我缩进进了爬虫那条分支。** 抖音走的是另一条路,于是它**从不标记 「运行中」** —— 建完 pending 那一行就直接进采集,中途一旦出事(异常、进程被重启), 状态就永远停在 pending。这是我加平台分岔时把原本在两条路公共位置的一行挪进去了。 2) **`recover()` 只收 `running`,够不着 `pending`。** 那行是上一轮建的、后面的采集却 根本没机会开始(进程重启),它永远不会自己往前走。于是重启也救不回来,界面上就是 一个永远「排队中」的幽灵。现在 pending 一起收。 两处都补了测试:抖音路的 run 必须在**采集开始之前**就已经是 running(这条改回去就会 失败);recover 要把 pending 也标成 interrupted。
This commit is contained in:
@@ -210,6 +210,15 @@ async def execute_task(task_id: int, trigger: str = "manual") -> IngestResult:
|
||||
# 浏览器指纹参数(参数说 Mac + Chrome 125、UA 说 Linux + Chrome 155),网关回一个
|
||||
# 200 + 空 body,然后被翻译成「account blocked」—— 看着像账号被封,其实什么都不是。
|
||||
# 见 douyin_fetch / douyin_api。
|
||||
# 先落「运行中」—— **两条路都要**。原先这一行只写在爬虫那条分支里,于是抖音那条路上
|
||||
# run 一直停在 pending;一旦中途出事(异常、进程被重启),界面上就是一个永远
|
||||
# 「排队中」的幽灵,而且 recover() 也只清理 running、收不到它。
|
||||
async with get_session() as session:
|
||||
run = await session.get(MonitorRun, run_id)
|
||||
if run is not None:
|
||||
run.status = RUN_RUNNING
|
||||
run.started_at = get_current_timestamp()
|
||||
|
||||
in_process_tail: List[str] = []
|
||||
if platform == adapters.PLATFORM_DY:
|
||||
fetched = await douyin_fetch.collect(
|
||||
@@ -274,12 +283,6 @@ async def execute_task(task_id: int, trigger: str = "manual") -> IngestResult:
|
||||
static_proxy_url=strategy["static_proxy_url"] or None,
|
||||
)
|
||||
|
||||
async with get_session() as session:
|
||||
run = await session.get(MonitorRun, run_id)
|
||||
if run is not None:
|
||||
run.status = RUN_RUNNING
|
||||
run.started_at = get_current_timestamp()
|
||||
|
||||
try:
|
||||
exit_code = await crawler_manager.run_and_wait(request, timeout=timeout_seconds)
|
||||
finally:
|
||||
|
||||
Reference in New Issue
Block a user