feat(去重): 跨设备「已做过」账本 —— 同一个号不会做两次 + 「谁做过了」看得见
用户场景(他原话):一台手机登录 5 个抖音号、一共 5 台手机,每个任务只让其中一个
目标号评论;每天跑一次但不知道什么时候跑完,于是"一直重复跑" → 结果
"一个手机还没评论到,一个手机都评论两次了"。
**根因不是"单设备重复",是跨设备没有共享的判断 + 进度不可见。** 所以做两件事:
① 幂等;② 把"谁做过了、还差谁"摆到台面上(不然只能靠重跑确认,而重跑又在制造重复)。
- `core/models.py`:新表 `done_mark`(迁移账本补 v7)。**判据只有 `scope_key` 的
唯一索引**——多台设备会同时判断"没做过","先查后插"有竞态(两台都插),
唯一索引 + `INSERT ... ON DUPLICATE KEY`/`INSERT OR IGNORE` 的**受影响行数**才原子。
- `core/dedup.py`(新):`build_key`(`任务|身份|时间桶`)/ `check` / `mark` /
`list_marks`(带"今天做了几台/几个号"统计)/ `delete_mark` / `clear_job` / `purge_old`。
自建 app context(照 device_pool 的 `_ctx()`),任务线程/Web/清理都不用关心。
- 任务侧两个部件(**检查在前、记账在后**):
· `if_el` 新增条件类型 `selector_type="dedup"`:命中=这个身份做过了 → 走 then 分支。
身份元素在 `ident_type`/`ident_value`(留空 = 用设备 serial,一号一机场景)。
· 新步骤 `mark_done`「记为已做」(22 种步骤):放动作**成功之后**。
拆两步的用意:动作失败就不记账,下次重跑还会重试该设备 —— 失败不丢。
- 有效期(`dedup_reset` = day/all/hours)放**任务级**:检查与记账两处各填一份的话,
填不一致就算出两个 key、去重会**静默失效**,所以强制只配一处(编辑器顶部下拉)。
- 三条防误伤规则(都有测试兜着):
· 身份读不到 / 身份值过长 → **不去重、当没做过照常执行**。绝不能把"读不到"
当成空身份——那会让所有设备共用一个 key、第一台记账后其余全被误判成"做过"。
· `kind='all'`(只做一次)的记录**永不清理**(清了等于语义失效);清理只删 day/hours。
· 去重的两个易错点在保存时直接告警:身份元素两边不一致、有检查没记账/有记账没检查。
- 「任务 → 去重记录」新子分栏(`static/admin/dedup.js`):统计行 + 明细表 +
删单条(那个号重跑)/ 清空任务(整批重跑)。接口 3 个(GET/delete/clear,PERM_TASKS)。
- 每日 04:23 清理(挂现有 APScheduler),`TABLE_LABELS` 补中文名(备份覆盖自动派生)。
- AI 建任务草稿校验同步:`dedup` 走自己的规则(要 ident_value、xpath 前缀校验),
没填身份元素只警告不拦(用设备当身份是合法用法);普通条件空选择器仍然拦。
- 文档:TASK_DEV §4.6(去重专章 + App 内检测的兜底配方与它的三个局限)、
DATA_MODEL §2.9、API 三个接口、ARCHITECTURE(分层/装配/子分栏/JS 分工/清理)、
DEPLOY §5.2(15 张表)、步骤数 21→22 全库同步。
自测:单元 + 集成 33 项(**含 8 线程抢同一个身份、恰好一个成功**的原子性断言,
以及"all 记录不被清理""身份读不到不去重""清了能重跑")、
**真机端到端**(cs1 上"检查→动作→记账"跑两遍:第二遍被拦、换 serial 的"另一台设备"
同样被拦、删记录后能重跑)、草稿校验 5 项、GET 冒烟 56 路由 0 个 500。
(注:本分支基于 feat/if-el-multi-value,因为它俩都要改 task.py 的 STEP_TYPES 与
editor.js 的 STEP_LIB 同一区域,分开从 dev 拉必然冲突——这份是超集,合一次两份都进。)
This commit is contained in:
+51
-1
@@ -9,7 +9,7 @@ from concurrent.futures import ThreadPoolExecutor, as_completed, TimeoutError as
|
||||
from flask import (Blueprint, jsonify, request, Response)
|
||||
from flask_login import login_required, current_user
|
||||
|
||||
from core import device_pool, uiauto_helper, step_defaults
|
||||
from core import device_pool, uiauto_helper, step_defaults, dedup
|
||||
from core.adb_helper import adb_connect_light
|
||||
from core.models import db, DeviceGroup, TaskJob, CustomAction
|
||||
from core.logger import get_logger
|
||||
@@ -320,6 +320,56 @@ def api_step_defaults_save():
|
||||
return jsonify({"ok": True, "msg": msg, **step_defaults.as_payload()})
|
||||
|
||||
|
||||
# ================== API:去重记录(「任务 → 去重记录」页) ==================
|
||||
#
|
||||
# 账本在 done_mark 表(跨设备幂等,见 core/dedup.py);任务步骤怎么用它见
|
||||
# tasks/generic/task.py 的 `_exec_mark_done` 与 if_el 的 `selector_type=dedup`。
|
||||
|
||||
@bp.route("/api/done_marks")
|
||||
@login_required
|
||||
def api_done_marks():
|
||||
"""去重记录列表 + 统计(?job=<任务ID> 只看某个任务)。"""
|
||||
job_id = (request.args.get("job") or "").strip()
|
||||
try:
|
||||
limit = int(request.args.get("limit") or 200)
|
||||
except ValueError:
|
||||
limit = 200
|
||||
try:
|
||||
rows, stats = dedup.list_marks(job_id, limit)
|
||||
except Exception as e:
|
||||
_log.warning(f"读取去重记录失败: {e}")
|
||||
return jsonify({"ok": False, "error": str(e)[:120]}), 503
|
||||
return jsonify({"ok": True, "marks": rows, "stats": stats, "job_id": job_id})
|
||||
|
||||
|
||||
@bp.route("/api/done_marks/delete", methods=["POST"])
|
||||
@perm_required(PERM_TASKS)
|
||||
def api_done_marks_delete():
|
||||
"""删一条记录 → 那个号/那台设备可以重跑。"""
|
||||
data = request.json or {}
|
||||
mark_id = data.get("id")
|
||||
if mark_id in (None, ""):
|
||||
return jsonify({"ok": False, "error": "缺少 id"}), 400
|
||||
if not dedup.delete_mark(mark_id):
|
||||
return jsonify({"ok": False, "error": "记录不存在或删除失败"}), 404
|
||||
_log.info("删除去重记录 #%s by %s", mark_id, getattr(current_user, "username", ""))
|
||||
return jsonify({"ok": True, "msg": "已删除(该设备/身份下次会重新执行)"})
|
||||
|
||||
|
||||
@bp.route("/api/done_marks/clear", methods=["POST"])
|
||||
@perm_required(PERM_TASKS)
|
||||
def api_done_marks_clear():
|
||||
"""清空某个任务的全部记录 → 整批重跑。"""
|
||||
data = request.json or {}
|
||||
job_id = (data.get("job") or "").strip()
|
||||
if not job_id:
|
||||
return jsonify({"ok": False, "error": "缺少任务ID"}), 400
|
||||
n = dedup.clear_job(job_id)
|
||||
_log.info("清空去重记录:任务 %s 共 %s 条 by %s", job_id, n,
|
||||
getattr(current_user, "username", ""))
|
||||
return jsonify({"ok": True, "msg": f"已清空 {n} 条记录(该任务下次会全部重跑)", "deleted": n})
|
||||
|
||||
|
||||
# ================== API:用户管理 CRUD ==================
|
||||
|
||||
@bp.route("/api/custom_actions")
|
||||
|
||||
Reference in New Issue
Block a user