fix(monitor): 抖音任务的 run 永远停在「排队中」—— 我上一版把状态标记缩进错了
用户报的现象:任务一直显示「排队中」。查库确认有两批 run 卡在 pending(任务 7 的 44/45、 任务 15 的 62/63)。两个原因,一个是我上一版改坏的: 1) **`RUN_RUNNING` 被我缩进进了爬虫那条分支。** 抖音走的是另一条路,于是它**从不标记 「运行中」** —— 建完 pending 那一行就直接进采集,中途一旦出事(异常、进程被重启), 状态就永远停在 pending。这是我加平台分岔时把原本在两条路公共位置的一行挪进去了。 2) **`recover()` 只收 `running`,够不着 `pending`。** 那行是上一轮建的、后面的采集却 根本没机会开始(进程重启),它永远不会自己往前走。于是重启也救不回来,界面上就是 一个永远「排队中」的幽灵。现在 pending 一起收。 两处都补了测试:抖音路的 run 必须在**采集开始之前**就已经是 running(这条改回去就会 失败);recover 要把 pending 也标成 interrupted。
This commit is contained in:
+29
-20
@@ -375,6 +375,31 @@ async def author_profile(sec_user_id: str, *, cookie: str = "") -> Dict[str, Any
|
||||
}
|
||||
|
||||
|
||||
def normalize_comment(comment: Dict[str, Any], aweme_id: str) -> Dict[str, Any]:
|
||||
"""把接口返回的一条评论,翻译成 store 落盘的那套键名。
|
||||
|
||||
HTTP 路线和页面路线共用它 —— 同一套键名,ingest 才不用关心数据是怎么来的。
|
||||
刻意**不带** ``sub_comment_count`` / ``parent_comment_id`` 的猜测值:接口给了就用,
|
||||
没给就留空,不编。
|
||||
"""
|
||||
user = comment.get("user") or {}
|
||||
return {
|
||||
"comment_id": str(comment.get("cid") or ""),
|
||||
"aweme_id": aweme_id,
|
||||
"content": comment.get("text") or "",
|
||||
"nickname": user.get("nickname") or "",
|
||||
"creator_hash": anonymize_user_id(
|
||||
str(user.get("uid") or user.get("sec_uid") or "")
|
||||
),
|
||||
# 同为秒;adapters 会换算。
|
||||
"create_time": _as_int(comment.get("create_time")),
|
||||
"like_count": str(_as_int(comment.get("digg_count"))),
|
||||
"sub_comment_count": str(_as_int(comment.get("reply_comment_total"))),
|
||||
# 顶层评论在抖音里是 "0";adapters.parent_comment_id 会归一成空串。
|
||||
"parent_comment_id": str(comment.get("reply_id") or "0"),
|
||||
}
|
||||
|
||||
|
||||
async def video_comments(
|
||||
aweme_id: str, count: int = 20, *, cookie: str = ""
|
||||
) -> List[Dict[str, Any]]:
|
||||
@@ -399,26 +424,10 @@ async def video_comments(
|
||||
identity,
|
||||
)
|
||||
|
||||
records = []
|
||||
for comment in payload.get("comments") or []:
|
||||
user = comment.get("user") or {}
|
||||
records.append(
|
||||
{
|
||||
"comment_id": str(comment.get("cid") or ""),
|
||||
"aweme_id": aweme_id,
|
||||
"content": comment.get("text") or "",
|
||||
"nickname": user.get("nickname") or "",
|
||||
"creator_hash": anonymize_user_id(
|
||||
str(user.get("uid") or user.get("sec_uid") or "")
|
||||
),
|
||||
# 同为秒;adapters 会换算。
|
||||
"create_time": _as_int(comment.get("create_time")),
|
||||
"like_count": str(_as_int(comment.get("digg_count"))),
|
||||
"sub_comment_count": str(_as_int(comment.get("reply_comment_total"))),
|
||||
# 顶层评论在抖音里是 "0";adapters.parent_comment_id 会归一成空串。
|
||||
"parent_comment_id": str(comment.get("reply_id") or "0"),
|
||||
}
|
||||
)
|
||||
records = [
|
||||
normalize_comment(comment, aweme_id)
|
||||
for comment in payload.get("comments") or []
|
||||
]
|
||||
return records
|
||||
|
||||
|
||||
|
||||
Reference in New Issue
Block a user