feat(去重): 跨设备「已做过」账本 —— 同一个号不会做两次 + 「谁做过了」看得见
用户场景（他原话）：一台手机登录 5 个抖音号、一共 5 台手机，每个任务只让其中一个
目标号评论；每天跑一次但不知道什么时候跑完，于是"一直重复跑" → 结果
"一个手机还没评论到，一个手机都评论两次了"。
**根因不是"单设备重复"，是跨设备没有共享的判断 + 进度不可见。** 所以做两件事：
① 幂等；② 把"谁做过了、还差谁"摆到台面上（不然只能靠重跑确认，而重跑又在制造重复）。
- `core/models.py`：新表 `done_mark`（迁移账本补 v7）。**判据只有 `scope_key` 的
唯一索引**——多台设备会同时判断"没做过"，"先查后插"有竞态（两台都插），
唯一索引 + `INSERT ... ON DUPLICATE KEY`/`INSERT OR IGNORE` 的**受影响行数**才原子。
- `core/dedup.py`（新）：`build_key`（`任务|身份|时间桶`）/ `check` / `mark` /
`list_marks`（带"今天做了几台/几个号"统计）/ `delete_mark` / `clear_job` / `purge_old`。
自建 app context（照 device_pool 的 `_ctx()`），任务线程/Web/清理都不用关心。
- 任务侧两个部件（**检查在前、记账在后**）：
· `if_el` 新增条件类型 `selector_type="dedup"`：命中=这个身份做过了 → 走 then 分支。
身份元素在 `ident_type`/`ident_value`（留空 = 用设备 serial，一号一机场景）。
· 新步骤 `mark_done`「记为已做」（22 种步骤）：放动作**成功之后**。
拆两步的用意：动作失败就不记账，下次重跑还会重试该设备 —— 失败不丢。
- 有效期（`dedup_reset` = day/all/hours）放**任务级**：检查与记账两处各填一份的话，
填不一致就算出两个 key、去重会**静默失效**，所以强制只配一处（编辑器顶部下拉）。
- 三条防误伤规则（都有测试兜着）：
· 身份读不到 / 身份值过长 → **不去重、当没做过照常执行**。绝不能把"读不到"
当成空身份——那会让所有设备共用一个 key、第一台记账后其余全被误判成"做过"。
· `kind='all'`（只做一次）的记录**永不清理**（清了等于语义失效）；清理只删 day/hours。
· 去重的两个易错点在保存时直接告警：身份元素两边不一致、有检查没记账/有记账没检查。
- 「任务 → 去重记录」新子分栏（`static/admin/dedup.js`）：统计行 + 明细表 +
删单条（那个号重跑）/ 清空任务（整批重跑）。接口 3 个（GET/delete/clear，PERM_TASKS）。
- 每日 04:23 清理（挂现有 APScheduler），`TABLE_LABELS` 补中文名（备份覆盖自动派生）。
- AI 建任务草稿校验同步：`dedup` 走自己的规则（要 ident_value、xpath 前缀校验），
没填身份元素只警告不拦（用设备当身份是合法用法）；普通条件空选择器仍然拦。
- 文档：TASK_DEV §4.6（去重专章 + App 内检测的兜底配方与它的三个局限）、
DATA_MODEL §2.9、API 三个接口、ARCHITECTURE（分层/装配/子分栏/JS 分工/清理）、
DEPLOY §5.2（15 张表）、步骤数 21→22 全库同步。
自测：单元 + 集成 33 项（**含 8 线程抢同一个身份、恰好一个成功**的原子性断言，
以及"all 记录不被清理""身份读不到不去重""清了能重跑"）、
**真机端到端**（cs1 上"检查→动作→记账"跑两遍：第二遍被拦、换 serial 的"另一台设备"
同样被拦、删记录后能重跑）、草稿校验 5 项、GET 冒烟 56 路由 0 个 500。
（注：本分支基于 feat/if-el-multi-value，因为它俩都要改 task.py 的 STEP_TYPES 与
editor.js 的 STEP_LIB 同一区域，分开从 dev 拉必然冲突——这份是超集，合一次两份都进。）
This commit is contained in:
@@ -47,11 +47,12 @@
|
||||
| **设备池** | SQLite 清单 + adb 在线状态；支持手工添加、网段自动发现、一键重连、型号采集、启用/停用 |
|
||||
| **电量监控** | 后台每分钟 `dumpsys battery`（只读）采一次电量，**大屏卡片**与**监控页设备列表**都显示（按档位着色 + ⚡ 充电中）；低于阈值推 webhook 告警（**充电中不报、"插着却没充电"照报**，掉档/恢复各报一次，不刷屏）。电量只放内存不落库（见 [NOTIFY.md](doc/NOTIFY.md) §3.1） |
|
||||
| **任务调度** | 手动 / cron 定时 / 定时启停；运行窗口；失败重试（含端口耗尽类的长退避） |
|
||||
| **步骤编辑器** | 可视化拖拽编排 21 种步骤（含循环/条件/OCR/通知/录制回放），可打包成"自定义动作"复用 |
|
||||
| **步骤编辑器** | 可视化拖拽编排 22 种步骤（含循环/条件/OCR/通知/录制回放），可打包成"自定义动作"复用 |
|
||||
| **拟人化操作** | 滑动默认走弧线轨迹、位置/幅度/时长每次抖动，且**每台设备有自己的手速与习惯**（同设备风格稳定、设备之间明显不同）——批量跑时不像同步机器人（见 [TASK_DEV.md](doc/TASK_DEV.md) §8.4） |
|
||||
| **录制回放** | 「录制手势」步骤 = **纯录制**：**用手指在真机上划**（读 getevent 真触屏）或在网页画面上拖，把轨迹点列原样存下来，回放时**照原路径与时长重放**——不套滑动那套方向/幅度/拟人参数 |
|
||||
| **动作配置 / 录制** | 「任务 → 动作配置」：① 配**步骤默认值**（新建步骤预填：滑动时长/幅度/抖动/拟人、点击超时、等待区间…）② **录制动作**——在设备画面上点/划/按键，自动翻译成步骤（点元素记选择器、划一下记方向/幅度/时长），可存成可复用动作，也可只取一个手势回填滑动步骤 |
|
||||
| **公共巡检** | 任务级的守护条件（**独立于步骤画布**）：每 N 秒检查屏幕亮/熄、元素在不在、前台是不是某 App，命中就点亮/息屏/停本设备/推通知——通知标题正文自己写（见 [TASK_DEV.md](doc/TASK_DEV.md) §4.5） |
|
||||
| **去重账本** | 解决"**同一个号被做两次、有的号还没做**"：任务里用「条件判断→去重」+「记为已做」，把"这个身份做过了"记进一张**所有设备共享**的账本——多台手机、反复重跑都不会重复做同一个号。「任务 → 去重记录」页能看"谁做过了、还差谁"，也能删记录让它重跑（见 [TASK_DEV.md](doc/TASK_DEV.md) §4.6） |
|
||||
| **元素抓取** | 拉取设备 UI 元素树 → 点选回填选择器；支持"点一下"与"测选择器"真机验证 |
|
||||
| **实时看屏** | MJPEG 实时流 + 点击/滑动/按键/文字输入；全屏监控大屏（`/wall`） |
|
||||
| **应用管理** | APK 上传/解析/批量安装；设备已装应用与版本查询；剪贴板注入 |
|
||||
@@ -157,7 +158,7 @@ auto_control/
|
||||
├── tasks/ # 任务定义层
|
||||
│ ├── base.py # BaseTask + _TASK_TYPES + register_task
|
||||
│ └── generic/ # 通用步骤任务（task_type=generic_steps，当前唯一类型）
|
||||
│ └── task.py # STEP_TYPES（21 种步骤）+ Worker + 执行器
|
||||
│ └── task.py # STEP_TYPES（22 种步骤）+ Worker + 执行器
|
||||
│
|
||||
├── mcp_server/ # MCP Server（20 个 de_* 工具，:8033）
|
||||
│ ├── mcp_server.py # 工具定义 + 平台登录 + 门控
|
||||
@@ -283,14 +284,14 @@ self.set_progress(done=5, total=80, unit="视频", action_counts={"like": 3}, el
|
||||
|
||||
`generic_steps` 的执行内容全在 `params.steps`（JSON 数组），由步骤编辑器产出。**没有默认步骤**——空步骤任务执行时会明确报错。
|
||||
|
||||
**21 种步骤**（完整参数见 [doc/TASK_DEV.md](doc/TASK_DEV.md)）：
|
||||
**22 种步骤**（完整参数见 [doc/TASK_DEV.md](doc/TASK_DEV.md)）：
|
||||
|
||||
| 类别 | 步骤 |
|
||||
|------|------|
|
||||
| 屏幕 | `screen_on` 亮屏 · `screen_off` 息屏 · `keep_screen` 保持亮屏 |
|
||||
| 应用与输入 | `open_app` 打开 App · `stop_app` 结束 App · `input_text` 输入文字 · `clipboard` 剪贴板注入 · `key_event` 按键 |
|
||||
| 交互 | `click` 点击元素 · `click_xy` 点击坐标 · `long_click` 长按 · `swipe` 滑动 · `swipe_until` 滑动直到元素出现 · `wait_el` 等待元素 · `wait` 等待时长 |
|
||||
| 流程 | `loop` 循环块 · `group` 动作组 · `if_el` 条件判断（元素或 **OCR 识别**） |
|
||||
| 流程 | `loop` 循环块 · `group` 动作组 · `if_el` 条件判断（元素 / **OCR 识别** / 屏幕状态 / 前台App / **去重**）· `mark_done` 记为已做（配套去重） |
|
||||
|
||||
要点：
|
||||
|
||||
@@ -405,7 +406,7 @@ read_log_text()`，`file` 参数走白名单，不接受任意路径。
|
||||
| [doc/ARCHITECTURE.md](doc/ARCHITECTURE.md) | 架构详解（分层、装配顺序、线程模型、设备生命周期、调度链路、设计决策） |
|
||||
| [doc/DATA_MODEL.md](doc/DATA_MODEL.md) | 数据模型（表结构、迁移、`app_meta`、数据目录、备份覆盖清单） |
|
||||
| [doc/API.md](doc/API.md) | HTTP 接口全量说明 |
|
||||
| [doc/TASK_DEV.md](doc/TASK_DEV.md) | 任务与步骤开发（21 种步骤、公共巡检、录制回放、选择器、自定义动作） |
|
||||
| [doc/TASK_DEV.md](doc/TASK_DEV.md) | 任务与步骤开发（22 种步骤、公共巡检、录制回放、去重、选择器、自定义动作） |
|
||||
| [doc/MCP.md](doc/MCP.md) · [doc/MCP_DESIGN.md](doc/MCP_DESIGN.md) | MCP 使用手册 / 设计文档 |
|
||||
| [doc/AI_CONSOLE.md](doc/AI_CONSOLE.md) · [doc/AI_TASK_GEN.md](doc/AI_TASK_GEN.md) | AI 控制台机制 / AI 建任务设计（规划） |
|
||||
| [doc/DEPLOY.md](doc/DEPLOY.md) | 部署与运维（含生产容器、备份导入、故障排查） |
|
||||
|
||||
+235
@@ -0,0 +1,235 @@
|
||||
"""「已做过」账本：跨设备幂等（评论不重复）+ 进度可见。
|
||||
|
||||
**它解决什么**（用户场景）：一台手机登录多个账号、多台手机跑同一个任务，
|
||||
每天跑一次但不知道什么时候跑完，于是反复重跑 → 同一个号被做两次、有的号还没做。
|
||||
账本给出两个东西：
|
||||
1. `check()` —— "这个身份在这个任务里做过了吗"（跨设备，多台手机共享同一份判断）
|
||||
2. `list_marks()` —— "谁做过了、还差谁"（界面上看得见，就不用靠"一直重跑"来确认）
|
||||
|
||||
**为什么必须靠唯一索引**：多台设备可能同时判断"没做过"。
|
||||
"先 SELECT 再 INSERT"有竞态——两台都会插进去。唯一索引 + `INSERT ... ON DUPLICATE KEY`
|
||||
（MySQL）/ `INSERT OR IGNORE`（SQLite）的**受影响行数**才是原子的判据：
|
||||
`1` = 你抢到了首次，`0` = 别人已经做过。
|
||||
|
||||
**身份值读不到时绝不去重**（`identity is None`）：宁可漏拦一次，
|
||||
也不能让"读不到"退化成"空身份"——那会让所有设备共用一个 key，
|
||||
第一台记账后其余全部被误跳过。同理，身份值过长时也不截断（截断会让两个身份撞车）。
|
||||
|
||||
有效期策略（`kind`）由任务级参数 `dedup_reset` 决定，**只在一处配**：
|
||||
步骤里各填一份的话，两处填不一致就会算出不用的 key、去重静默失效。
|
||||
|
||||
DB 访问由本模块自建 app context（照 `core/device_pool.py` 的 `_ctx()`），
|
||||
调用方（任务线程 / Web 线程 / 每日清理）都不用关心。
|
||||
"""
|
||||
import time
|
||||
from datetime import datetime, timedelta
|
||||
|
||||
from core.logger import get_logger
|
||||
from core.models import db
|
||||
|
||||
_log = get_logger("core.dedup")
|
||||
|
||||
# 有效期策略
|
||||
KIND_DAY = "day" # 每天一次（默认；"每天跑一次"的场景）
|
||||
KIND_HOURS = "hours" # 每 N 小时一次
|
||||
KIND_ALL = "all" # 只做一次（永久）
|
||||
RESET_KINDS = (KIND_DAY, KIND_ALL, KIND_HOURS)
|
||||
DEFAULT_HOURS = 6
|
||||
# 账本保留期：只影响 day/hours 桶（它们过期就没意义了）；
|
||||
# **kind='all' 的记录永不清理**——清了就等于"只做一次"失效
|
||||
KEEP_DAYS = 180
|
||||
# scope_key 上限（= DoneMark.scope_key 列宽）。超了不去重、只告警：
|
||||
# 截断会让两个不同身份撞成同一个 key，进而误跳过
|
||||
MAX_KEY_LEN = 290
|
||||
|
||||
_app = None
|
||||
|
||||
|
||||
def init_app(app):
|
||||
"""web_server 启动时调用：绑 app（后台线程访问 db 要自推 context）。"""
|
||||
global _app
|
||||
_app = app
|
||||
|
||||
|
||||
def _ctx():
|
||||
if _app is None:
|
||||
raise RuntimeError("dedup 未关联 Flask app（web_server 启动时调用 init_app）")
|
||||
return _app.app_context()
|
||||
|
||||
|
||||
# ================== 唯一键 ==================
|
||||
def build_key(job_id, identity, kind=KIND_DAY, hours=DEFAULT_HOURS, now=None):
|
||||
"""算唯一键：`任务 | 身份 | 时间桶`。
|
||||
|
||||
桶只影响"多久之后算新的一轮"：
|
||||
· day → `|d:2026-09-24`（本地日期，跟着自然日走）
|
||||
· hours → `|h6:4939219`（epoch // (N*3600)，改 N 就换了桶）
|
||||
· all → `|all`（无桶，永远命中同一个 key）
|
||||
"""
|
||||
now = time.time() if now is None else now
|
||||
base = f"{(job_id or '').strip()}|{(identity or '').strip()}"
|
||||
if kind == KIND_ALL:
|
||||
return base + "|all"
|
||||
if kind == KIND_HOURS:
|
||||
h = max(1, int(hours or DEFAULT_HOURS))
|
||||
return f"{base}|h{h}:{int(now // (h * 3600))}"
|
||||
return base + "|d:" + time.strftime("%Y-%m-%d", time.localtime(now))
|
||||
|
||||
|
||||
def _key_or_none(job_id, identity, kind, hours):
|
||||
"""算 key 并做长度体检；超长返回 None（调用方按"不去重"处理，不截断）。"""
|
||||
if not (identity or "").strip():
|
||||
return None
|
||||
key = build_key(job_id, identity, kind, hours)
|
||||
if len(key) > MAX_KEY_LEN:
|
||||
_log.warning(f"去重键过长（{len(key)} 字符）→ 本次不去重，避免截断后两个身份撞车: {key[:80]}…")
|
||||
return None
|
||||
return key
|
||||
|
||||
|
||||
# ================== 查 / 记 ==================
|
||||
def check(job_id, identity, kind=KIND_DAY, hours=DEFAULT_HOURS):
|
||||
"""这个身份在这个任务里做过了吗？（只读）
|
||||
|
||||
返回 True=做过 / False=没做过。identity 为空时返回 False（不去重，照常执行）。
|
||||
"""
|
||||
key = _key_or_none(job_id, identity, kind, hours)
|
||||
if key is None:
|
||||
return False
|
||||
try:
|
||||
with _ctx():
|
||||
row = db.session.execute(
|
||||
db.text("SELECT 1 FROM done_mark WHERE scope_key = :k LIMIT 1"),
|
||||
{"k": key}).fetchone()
|
||||
return row is not None
|
||||
except Exception as e:
|
||||
# 账本读失败不能拦住任务：当"没做过"放行（宁可重复，不可卡死）
|
||||
_log.warning(f"去重检查失败（按未做过放行）: {e}")
|
||||
return False
|
||||
|
||||
|
||||
def mark(job_id, identity, kind=KIND_DAY, hours=DEFAULT_HOURS,
|
||||
serial="", device_name="", job_name=""):
|
||||
"""原子记账。返回 True=本次是首次（你抢到了）/ False=别人已经记过（或没记成）。
|
||||
|
||||
⚠ **必须靠唯一索引**：不能先 check 再 insert（多台设备会同时通过）。
|
||||
"""
|
||||
key = _key_or_none(job_id, identity, kind, hours)
|
||||
if key is None:
|
||||
return False
|
||||
args = {"k": key, "kind": kind, "jid": job_id or "", "jname": job_name or "",
|
||||
"serial": serial or "", "dname": device_name or "",
|
||||
"ident": (identity or "").strip()[:200],
|
||||
"ts": time.strftime("%Y-%m-%d %H:%M:%S")}
|
||||
try:
|
||||
with _ctx():
|
||||
is_mysql = db.engine.dialect.name == "mysql"
|
||||
cols = ("scope_key, kind, job_id, job_name, serial, device_name, "
|
||||
"identity, created_at")
|
||||
vals = (":k, :kind, :jid, :jname, :serial, :dname, :ident, :ts")
|
||||
if is_mysql:
|
||||
# 冲突时做一次"无变化"的更新：受影响行数 1=插入、0=已存在（MySQL 语义）
|
||||
sql = (f"INSERT INTO done_mark ({cols}) VALUES ({vals}) "
|
||||
f"ON DUPLICATE KEY UPDATE scope_key = scope_key")
|
||||
else:
|
||||
sql = f"INSERT OR IGNORE INTO done_mark ({cols}) VALUES ({vals})"
|
||||
r = db.session.execute(db.text(sql), args)
|
||||
db.session.commit()
|
||||
first = (r.rowcount or 0) > 0
|
||||
if first:
|
||||
_log.info(f"[{serial}] 记账：任务『{job_name or job_id}』身份『{args['ident']}』"
|
||||
f"（{kind}）")
|
||||
return first
|
||||
except Exception as e:
|
||||
_log.warning(f"去重记账失败（本次不记，下次重跑会重试）: {e}")
|
||||
return False
|
||||
|
||||
|
||||
# ================== 界面：看 / 清 ==================
|
||||
def list_marks(job_id="", limit=200):
|
||||
"""去重记录（界面用）：返回 (rows, stats)。
|
||||
|
||||
stats：`total` 本任务全部 · `today_devices` 今天已做的设备数 ·
|
||||
`today_identities` 今天已做的身份值数（== "今天做成了几个号"）。
|
||||
"""
|
||||
limit = max(1, min(int(limit or 200), 2000))
|
||||
today0 = time.strftime("%Y-%m-%d 00:00:00")
|
||||
where, args = "", {}
|
||||
if job_id:
|
||||
where = "WHERE job_id = :jid"
|
||||
args["jid"] = job_id
|
||||
with _ctx():
|
||||
rows = db.session.execute(db.text(
|
||||
f"SELECT id, scope_key, kind, job_id, job_name, serial, device_name, "
|
||||
f"identity, created_at FROM done_mark {where} "
|
||||
f"ORDER BY id DESC LIMIT :lim"), {**args, "lim": limit}).fetchall()
|
||||
twhere = where + (" AND " if where else "WHERE ") + "created_at >= :t0"
|
||||
stat = db.session.execute(db.text(
|
||||
f"SELECT COUNT(*) AS total, "
|
||||
f"COUNT(DISTINCT serial) AS devs, "
|
||||
f"COUNT(DISTINCT identity) AS ids "
|
||||
f"FROM done_mark {where}"), args).fetchone()
|
||||
today = db.session.execute(db.text(
|
||||
f"SELECT COUNT(DISTINCT serial) AS devs, "
|
||||
f"COUNT(DISTINCT identity) AS ids "
|
||||
f"FROM done_mark {twhere}"), {**args, "t0": today0}).fetchone()
|
||||
out = [{"id": r[0], "scope_key": r[1], "kind": r[2], "job_id": r[3], "job_name": r[4],
|
||||
"serial": r[5], "device_name": r[6], "identity": r[7], "created_at": r[8]}
|
||||
for r in rows]
|
||||
stats = {"total": stat[0] if stat else 0,
|
||||
"devices": stat[1] if stat else 0,
|
||||
"identities": stat[2] if stat else 0,
|
||||
"today_devices": today[0] if today else 0,
|
||||
"today_identities": today[1] if today else 0}
|
||||
return out, stats
|
||||
|
||||
|
||||
def delete_mark(mark_id):
|
||||
"""删一条记录（让某个号/某台设备能重跑）。返回是否删掉了。"""
|
||||
try:
|
||||
with _ctx():
|
||||
r = db.session.execute(db.text("DELETE FROM done_mark WHERE id = :i"),
|
||||
{"i": int(mark_id)})
|
||||
db.session.commit()
|
||||
return (r.rowcount or 0) > 0
|
||||
except Exception as e:
|
||||
_log.warning(f"删除去重记录失败: {e}")
|
||||
return False
|
||||
|
||||
|
||||
def clear_job(job_id):
|
||||
"""清空某个任务的全部去重记录（整批重跑）。返回删掉的行数。"""
|
||||
try:
|
||||
with _ctx():
|
||||
r = db.session.execute(db.text("DELETE FROM done_mark WHERE job_id = :j"),
|
||||
{"j": job_id or ""})
|
||||
db.session.commit()
|
||||
n = r.rowcount or 0
|
||||
_log.info(f"清空去重记录：任务 {job_id} 共 {n} 条")
|
||||
return n
|
||||
except Exception as e:
|
||||
_log.warning(f"清空去重记录失败: {e}")
|
||||
return 0
|
||||
|
||||
|
||||
def purge_old(keep_days=KEEP_DAYS):
|
||||
"""清理过期的 day/hours 桶记录。**kind='all' 永不清理**（清了等于去重失效）。
|
||||
|
||||
量级很小（设备数 × 天数），直接一条 DELETE 就行，不用像步骤明细那样分批。
|
||||
"""
|
||||
cutoff = (datetime.now() - timedelta(days=max(1, int(keep_days)))
|
||||
).strftime("%Y-%m-%d %H:%M:%S")
|
||||
try:
|
||||
with _ctx():
|
||||
r = db.session.execute(db.text(
|
||||
"DELETE FROM done_mark WHERE kind <> :all AND created_at < :cut"),
|
||||
{"all": KIND_ALL, "cut": cutoff})
|
||||
db.session.commit()
|
||||
n = r.rowcount or 0
|
||||
if n:
|
||||
_log.info(f"去重记录清理：删除 {n} 条（保留 {keep_days} 天；"
|
||||
f"kind={KIND_ALL} 的永不清理）")
|
||||
return n
|
||||
except Exception as e:
|
||||
_log.warning(f"去重记录清理失败: {e}")
|
||||
return 0
|
||||
@@ -403,6 +403,39 @@ class TaskStepLog(db.Model):
|
||||
)
|
||||
|
||||
|
||||
class DoneMark(db.Model):
|
||||
"""「已做过」账本：跨设备幂等的标记（「任务 → 去重记录」页）。
|
||||
|
||||
要解决的问题（用户场景）：一台手机登录多个账号、多台手机跑同一个任务，
|
||||
任务被反复重跑（因为不知道什么时候跑完）→ 同一个号被做两次、有的号还没做。
|
||||
|
||||
**判据只有一条：`scope_key` 的唯一索引。**
|
||||
多台设备可能同时判断"没做过"，"先查后插"会两台都插进去；
|
||||
唯一索引 + `INSERT ... ON DUPLICATE KEY`/`INSERT OR IGNORE` 的**受影响行数**
|
||||
才是原子的（见 `core/dedup.py` 的 `mark()`）。
|
||||
|
||||
写入方是任务步骤 `_exec_mark_done`（**成功之后才记账**）：动作失败就不记账，
|
||||
下次重跑还会重试该设备——这是"失败不丢"的关键。
|
||||
|
||||
`kind` 是有效期策略（`day`/`hours`/`all`），清理时**只删 day/hours**：
|
||||
`all` 代表"只做一次"，删掉就等于去重失效。
|
||||
"""
|
||||
__tablename__ = "done_mark"
|
||||
id = db.Column(db.Integer, primary_key=True, autoincrement=True)
|
||||
scope_key = db.Column(db.String(300), unique=True) # 幂等的全部依据（唯一索引）
|
||||
kind = db.Column(db.String(12), default="day") # day / hours / all
|
||||
job_id = db.Column(db.String(32), default="", index=True)
|
||||
job_name = db.Column(db.String(120), default="")
|
||||
serial = db.Column(db.String(120), default="")
|
||||
device_name = db.Column(db.String(80), default="")
|
||||
identity = db.Column(db.String(200), default="") # 身份值（如抖音号）
|
||||
created_at = db.Column(db.String(20), default="", index=True)
|
||||
|
||||
__table_args__ = (
|
||||
db.Index("ix_done_mark_job_ts", "job_id", "created_at"),
|
||||
)
|
||||
|
||||
|
||||
class AgentConversation(db.Model):
|
||||
"""AI 控制台会话：整个消息序列以 JSON 存在一行里（单会话几十 KB，够用）。"""
|
||||
__tablename__ = "agent_conversation"
|
||||
@@ -427,6 +460,7 @@ SCHEMA_MIGRATIONS = [
|
||||
(4, "自动发现：pending_device 待连接池表（扫描发现的设备，用户确认后才入正式池）", None),
|
||||
(5, "设备池：device 表新增 fingerprint 列（设备指纹 ro.serialno，换 IP 后认领回原记录）", None),
|
||||
(6, "自动发现：pending_device 表新增 fingerprint 列（扫描时读取，用于提示是已有设备换了 IP）", None),
|
||||
(7, "去重账本：done_mark 表（跨设备幂等的「已做过」标记，唯一索引 scope_key）", None),
|
||||
]
|
||||
|
||||
# 当前 schema 版本（备份/恢复用它判断新旧，也写进 app_meta.schema_version）
|
||||
|
||||
@@ -57,6 +57,7 @@ TABLE_LABELS = {
|
||||
"agent_experience": "经验库", "experience_audit": "经验巡检",
|
||||
"agent_action": "动作库", "device_install_log": "设备端安装记录",
|
||||
"task_step_log": "任务步骤明细",
|
||||
"done_mark": "去重记录（已做过）",
|
||||
}
|
||||
_STAGE_TTL = 1800 # 导入暂存有效期（秒）
|
||||
|
||||
|
||||
+17
-4
@@ -148,8 +148,10 @@ def validate_steps(steps, depth=1, path="steps", errors=None, warnings=None,
|
||||
errors.append(f"{here}.params.probability: 必须是 0~100 的数字"
|
||||
f"（当前 {prob!r}）")
|
||||
|
||||
# 选择器类步骤
|
||||
if stype in NEED_SELECTOR:
|
||||
# 选择器类步骤（例外：if_el 用「去重」条件时不需要 selector_value，
|
||||
# 它的身份元素在 ident_value 里，按自己的规则校验）
|
||||
if stype in NEED_SELECTOR and not (stype == "if_el"
|
||||
and params.get("selector_type") == "dedup"):
|
||||
sel = params.get("selector_value")
|
||||
if not isinstance(sel, str) or not sel.strip():
|
||||
errors.append(f"{here}.params.selector_value: 不能为空 —— "
|
||||
@@ -234,6 +236,17 @@ def validate_steps(steps, depth=1, path="steps", errors=None, warnings=None,
|
||||
elif (params.get("selector_type") or "xpath") == "screen":
|
||||
warnings.append(f"{here}: 屏幕状态没有文本可比，"
|
||||
"cmp_op/cmp_value 会被忽略")
|
||||
# 去重条件（见 tasks/generic/task.py 的 selector_type="dedup"）：
|
||||
# 不用 selector_value，身份元素填在 ident_value
|
||||
if (params.get("selector_type") or "") == "dedup":
|
||||
iv = (params.get("ident_value") or "").strip()
|
||||
if not iv:
|
||||
warnings.append(f"{here}: 去重条件没填身份元素，将按「设备」当身份"
|
||||
"（一号一机时没问题；一台机器多个号时要填账号那个元素）")
|
||||
elif (params.get("ident_type") or "text") == "xpath" \
|
||||
and not (iv.startswith("//") or iv.startswith("(//")):
|
||||
errors.append(f"{here}.params.ident_value: 身份元素的类型是 xpath，"
|
||||
f"取值应以 // 或 (// 开头（当前 {iv[:40]!r}）")
|
||||
|
||||
if stype == "swipe":
|
||||
_check_direction(params, here, errors)
|
||||
@@ -294,9 +307,9 @@ def _check_selector(params, here, stype, errors, warnings):
|
||||
stype_ok = IF_SELECTOR_TYPES if stype == "if_el" else SELECTOR_TYPES
|
||||
sel_type = params.get("selector_type") or "xpath"
|
||||
value = (params.get("selector_value") or "").strip()
|
||||
if sel_type not in stype_ok:
|
||||
if sel_type not in stype_ok and not (sel_type == "dedup" and stype == "if_el"):
|
||||
errors.append(f"{here}.params.selector_type: 不支持 {sel_type!r}"
|
||||
f"（可用：{'、'.join(stype_ok)}）")
|
||||
f"（可用：{'、'.join(stype_ok + ('dedup',))}）")
|
||||
return
|
||||
if len(value) > MAX_SELECTOR_LEN:
|
||||
errors.append(f"{here}.params.selector_value: 太长（>{MAX_SELECTOR_LEN} 字符）")
|
||||
|
||||
+5
-1
@@ -184,7 +184,11 @@ mcp_agent.Agent.run_stream(prompt, serial, history, on_delta, on_tool, on_usage,
|
||||
从本轮**成功**的步骤轨迹里提炼命名动作（如「打开抖音」）。硬约束：
|
||||
|
||||
- **禁坐标**：带 `click_xy` 的步骤不会被沉淀（坐标换个设备/分辨率就失效）
|
||||
- 白名单步骤类型（21 种去掉 `click_xy`、`keep_screen`、`gesture`）
|
||||
- 白名单步骤类型（**显式列举 16 种**，见 `web/agent_api.py` 的 `_ACTION_STEP_TYPES`）：
|
||||
`open_app` / `stop_app` / `screen_on` / `screen_off` / `key_event` / `swipe` /
|
||||
`swipe_until` / `click` / `long_click` / `wait_el` / `input_text` / `clipboard` /
|
||||
`wait` / `loop` / `group` / `if_el`——坐标类（`click_xy`）与流程标记类
|
||||
（`keep_screen` / `gesture` / `notify` / `stop_self` / `mark_done`）都不沉淀
|
||||
- 每类型有必填参数校验（如 `click` 必须有选择器）
|
||||
- 输入/产出限量：最多 10 步输入、最多 3 个动作 × 4 步
|
||||
- 保存时服务端**再校验一次**，含坐标的提交直接 400
|
||||
|
||||
+1
-1
@@ -9,7 +9,7 @@
|
||||
|
||||
平台已有两套能力，但互不相通：
|
||||
- **AI 控制台**：一句话 + 选设备 → 多模态 Agent（DeepSeek）通过 20 个 `de_*` 工具在手机上「边看边做」（截图看屏、`de_ui_tree` 拿元素树、`de_tap_element/de_tap_text` 语义点按），流式回放步骤。
|
||||
- **任务系统 + 步骤编辑器**：`generic_steps` 任务 = 一棵可嵌套步骤树（open_app/click/swipe/loop/group/if_el…21 种节点），在编辑器里拖拽编排、单步试跑、定时调度。
|
||||
- **任务系统 + 步骤编辑器**：`generic_steps` 任务 = 一棵可嵌套步骤树（open_app/click/swipe/loop/group/if_el…22 种节点），在编辑器里拖拽编排、单步试跑、定时调度。
|
||||
|
||||
目标：让**非工程用户用一句自然语言需求**（例：「创建一个每日养号刷视频的任务，每天 8:00-9:00 在 100.100.10.13 跑」）得到**一条可直接调度、可继续在现有步骤编辑器里手改的任务**。AI 先自己在设备上打开 App、看 UI 树、确认可点元素，再直接撰写编辑器的步骤 JSON。
|
||||
|
||||
|
||||
+14
@@ -134,6 +134,9 @@
|
||||
| GET | `/api/uiauto/snapshot` | D | **一次取齐**截图 + 元素树（原生 u2，抓取弹窗用） |
|
||||
| GET | `/api/uiauto/screenshot` | D | uiautodev 截图（JPEG） |
|
||||
| POST | `/api/steps/test` | D | 真机试执行单个步骤 |
|
||||
| GET | `/api/done_marks?job=&limit=` | L | 去重记录列表 + 统计（`{marks, stats{total,devices,identities,today_devices,today_identities}}`） |
|
||||
| POST | `/api/done_marks/delete` | T | 删一条去重记录（`{id}`）→ 该设备/身份下次会重新执行 |
|
||||
| POST | `/api/done_marks/clear` | T | 清空某任务的全部去重记录（`{job}`）→ 整批重跑 |
|
||||
|
||||
### 2.4 admin（`web/admin_api.py`）
|
||||
|
||||
@@ -468,6 +471,17 @@
|
||||
|
||||
`steps` 的 schema 与 `generic_steps` 的 `params.steps` 完全一致，见 [TASK_DEV.md](TASK_DEV.md)。
|
||||
|
||||
### 去重记录（「任务 → 去重记录」页）
|
||||
|
||||
| 接口 | 请求 | 响应要点 |
|
||||
|------|------|---------|
|
||||
| `GET /api/done_marks` | `?job=<任务ID>&limit=200` | `{ok, marks:[{id,scope_key,kind,job_id,job_name,serial,device_name,identity,created_at}], stats:{total,devices,identities,today_devices,today_identities}}`。`job` 省略 = 全部任务 |
|
||||
| `POST /api/done_marks/delete` | `{"id"}` | 删一条 → 该设备/身份下次会重新执行；不存在 → 404；缺 id → 400 |
|
||||
| `POST /api/done_marks/clear` | `{"job"}` | 清空该任务的全部记录（整批重跑）→ `{ok,msg,deleted}`；缺 job → 400 |
|
||||
|
||||
账本表与语义见 [DATA_MODEL.md](DATA_MODEL.md) §2.9；任务侧怎么用见
|
||||
[TASK_DEV.md](TASK_DEV.md) §4.6。
|
||||
|
||||
---
|
||||
|
||||
## 6. 设备池与自动发现
|
||||
|
||||
+6
-5
@@ -26,7 +26,7 @@
|
||||
┌───────────────────────────▼──────────────────────────────────────────┐
|
||||
│ 领域层 task_manager（调度） device_worker（执行） device_pool（池） │
|
||||
│ system_backup（备份） apk_manager（应用） device_discovery │
|
||||
│ device_battery（电量采集 + 低电量告警） │
|
||||
│ device_battery（电量采集 + 低电量告警） dedup（去重账本） │
|
||||
└───────────────────────────┬──────────────────────────────────────────┘
|
||||
│
|
||||
┌───────────────────────────▼──────────────────────────────────────────┐
|
||||
@@ -80,13 +80,13 @@
|
||||
|------|------|---------|
|
||||
| **B** | `:28-58` | `Flask(__name__)`；会话密钥（`.env` 的 `WEB_SECRET_KEY`，缺失则随机生成并 warning）；`TEMPLATES_AUTO_RELOAD=True`；**数据库目标由 `core/db_config` 装配**（`.env` 的 `DEPLOY_ENV`/`DB_*` → URI + 引擎参数），配置错直接 `SystemExit(2)`；`LoginManager` + `login_view="auth.login"` |
|
||||
| **C** | `:60-67` | **恢复任务消费** `consume_pending_restore()`。SQLite 时代它必须在 engine 首次打开 `users.db` **之前**（Windows 无法替换被持有的文件）；改用 MySQL 后这一步的语义会变成"启动期事务替换"，见 §7 |
|
||||
| **D** | `:69-88` | `init_db(app)`（建表 → 补列 → 版本账本 → 唯一索引 → 默认管理员 → 旧 JSON 迁移）→ `notifier.init_app`（通知 dispatcher/sender 线程）与 `step_log.init_app`（步骤明细写线程）→ **恢复任务消费** `consume_pending_restore()` → **库环境标签校验 + 启动横幅**（`db_config.verify_deployment_label/print_banner`，不符拒绝启动）；`device_pool.init_app`（**刷一次 `serial→名称` 内存快照** + **起线程**：3s 后采集型号、另起 `device-names` 每 60s 刷名称）；`device_discovery.init_app`（**起常驻扫描线程**）；`device_battery.init_app`（**起常驻电量采集线程**）；`TaskManager(app=app)`（APScheduler + 看门狗 + 从库加载分组/任务 + 重注册 cron）；`ApkManager(app=app)`；`notifier.set_device_name_resolver(device_pool.name_of)`（通知里显示设备名而不是 IP，见 [NOTIFY.md](NOTIFY.md) §7） |
|
||||
| **D** | `:69-88` | `init_db(app)`（建表 → 补列 → 版本账本 → 唯一索引 → 默认管理员 → 旧 JSON 迁移）→ `notifier.init_app`（通知 dispatcher/sender 线程）与 `step_log.init_app`（步骤明细写线程）→ **恢复任务消费** `consume_pending_restore()` → **库环境标签校验 + 启动横幅**（`db_config.verify_deployment_label/print_banner`，不符拒绝启动）；`device_pool.init_app`（**刷一次 `serial→名称` 内存快照** + **起线程**：3s 后采集型号、另起 `device-names` 每 60s 刷名称）；`device_discovery.init_app`（**起常驻扫描线程**）；`device_battery.init_app`（**起常驻电量采集线程**）；`dedup.init_app`（**去重账本绑 app**，供任务线程/Web/清理自推 context）；`TaskManager(app=app)`（APScheduler + 看门狗 + 从库加载分组/任务 + 重注册 cron）；`ApkManager(app=app)`；`notifier.set_device_name_resolver(device_pool.name_of)`（通知里显示设备名而不是 IP，见 [NOTIFY.md](NOTIFY.md) §7） |
|
||||
### 2.3 阶段 E~G：蓝图、巡检调度器、真正启动
|
||||
|
||||
| 阶段 | 位置 | 做了什么 |
|
||||
|------|------|---------|
|
||||
| **E** | `:64-67` | `context.init(...)`；`register_blueprints(app)`（10 个蓝图）；`agent_api.set_app(app)`（供后台线程推 app context） |
|
||||
| **F** | 同上附近 | **第二个独立 APScheduler**：`CronTrigger(hour=3, minute=47)` 挂经验库巡检、`hour=4, minute=13` 挂步骤明细清理（`_purge_step_log`，自建 app context）；失败仅 warning |
|
||||
| **F** | 同上附近 | **第二个独立 APScheduler**：`CronTrigger(hour=3, minute=47)` 挂经验库巡检、`hour=4, minute=13` 挂步骤明细清理（`_purge_step_log`）、`hour=4, minute=23` 挂去重记录清理（`_purge_done_mark`，只清 `day`/`hours` 桶）——两个清理任务都自建 app context；失败仅 warning |
|
||||
| **G** | `__main__` | `_ensure_uiauto_running()`（拉起 uiautodev:20242，写 `data/uiauto.pid`，`atexit` 清理）→ `_preconnect_pool_devices()`（后台并发 connect 池内网络设备）→ `_purge_step_log_async()`（后台清理超期步骤明细）→ `_run_server()`（候选端口依次 bind：`0.0.0.0:18050` → `127.0.0.1:18050` → `127.0.0.1:18051..18055`）；退出时 `notifier.shutdown()` + `step_log.shutdown()` + `mgr.shutdown()` + `device_discovery.shutdown()` + `device_battery.shutdown()` + 停 uiautodev |
|
||||
|
||||
> ⚠️ **阶段 A~F 在 import 期就会起线程/调度器**，只有 uiautodev 拉起与预连接在 `__main__` 分支。以 WSGI 方式 import 本模块会得到"半个启动"的进程——本地调试请直接 `python web_server.py`。
|
||||
@@ -270,7 +270,7 @@ connecting ──获取设备──▶ u2 连接 ──▶ running ──▶ set
|
||||
|
||||
### 6.1 单页应用
|
||||
|
||||
- 主页面 `templates/admin/monitor.html`：一个内联 `<style>` + 7 个 Tab 面板 + 10 个模态框容器 + 15 个 `<script src>`
|
||||
- 主页面 `templates/admin/monitor.html`：一个内联 `<style>` + 7 个 Tab 面板 + 10 个模态框容器 + 16 个 `<script src>`
|
||||
- 独立页面：`login.html`（登录）、`wall.html`（监控大屏，**完全自包含**，自带 CSS/JS，不加载 `static/admin/*.js`）
|
||||
- 服务端内联页：`GET /locate`（设备端定位大字页，免登录）
|
||||
- 响应头强制 `no-store`，避免后台改版后浏览器拿旧页面
|
||||
@@ -280,7 +280,7 @@ connecting ──获取设备──▶ u2 连接 ──▶ running ──▶ set
|
||||
| 顶级 Tab | `data-tab` | 权限 | 子分栏 |
|
||||
|---------|-----------|------|--------|
|
||||
| 监控 | `monitor` | 登录即可 | — |
|
||||
| 任务 | `tasks` | 登录即可（写操作需 `tasks`） | `plan` 任务计划 / `actions` 自定义动作 |
|
||||
| 任务 | `tasks` | 登录即可（写操作需 `tasks`） | `plan` 任务计划 / `actions` 自定义动作 / `actioncfg` 动作配置 / `dedup` 去重记录 |
|
||||
| 日志 | `logs` | `logs` | — |
|
||||
| 用户 | `users` | `admin` | — |
|
||||
| 工具 | `tools` | `admin` | `clipboard` / `adb` / `ts` / `apks` / `appver` / `devapps` / `devpool` / `groups` |
|
||||
@@ -300,6 +300,7 @@ connecting ──获取设备──▶ u2 连接 ──▶ running ──▶ set
|
||||
| `editor.js` | 步骤编辑器（拖拽 / 参数表单 / 条件分支 / 元素抓取 / 测试此步骤）+ `saveTask` | 最大的前端文件；`_stepEditor` 单例；设备选择卡 `_devCard` 供「抓取元素」「测试此步骤」共用（**名字优先**，型号·地址作副标题） |
|
||||
| `tasks.js` | 任务 Tab：任务 CRUD / 调度解析 / 运行窗口 + 自定义动作 | |
|
||||
| `tools.js` | 工具 Tab：剪贴板、adb 终端、Tailscale、设备池、自动发现、远程看屏、**电量监控配置**（阈值/间隔/立即采集） | 电量表单只回填一次，10s 轮询不冲掉用户正在输的值 |
|
||||
| `dedup.js` | 任务 Tab·**去重记录**：账本列表 + 统计（"今天做了几个号"）+ 删单条/清空任务 | 数据来自 `done_mark` 表，见 [TASK_DEV.md](TASK_DEV.md) §4.6 |
|
||||
| `apps.js` | 应用管理：APK 上传/安装/删除、设备已装应用 | |
|
||||
| `admin.js` | 分组、日志、用户 + **全局初始化入口**（末尾 `initCsrf(); loadMe(); showTab('monitor')`） | |
|
||||
| `agent.js` | AI 控制台·聊天：会话、SSE 流、Markdown / 推理链 / token 渲染、实时画面、经验库 / 动作库 | |
|
||||
|
||||
@@ -172,6 +172,31 @@
|
||||
写入走 `core/step_log.py` 的**专用写线程 + 有界队列**（任务线程只 `put_nowait`，
|
||||
微秒级；队列满丢弃并计数）——步骤执行是热路径，绝不能在任务线程里同步写库。
|
||||
|
||||
### 2.9 `done_mark` — 去重账本（跨设备"已做过"）
|
||||
|
||||
| 列 | 类型 | 说明 |
|
||||
|----|------|------|
|
||||
| `id` | Integer PK | |
|
||||
| `scope_key` | String(300) **UNIQUE** | **幂等的全部依据**：`任务ID \| 身份值 \| 时间桶` |
|
||||
| `kind` | String(12) | `day` / `hours` / `all`（有效期策略，任务级 `dedup_reset`） |
|
||||
| `job_id` | String(32) idx | 哪个任务 |
|
||||
| `job_name` | String(120) | |
|
||||
| `serial` / `device_name` | String | 哪台设备（界面上显示"谁做过了"） |
|
||||
| `identity` | String(200) | 身份值（如抖音号 `35377983067`） |
|
||||
| `created_at` | String(20) idx | |
|
||||
|
||||
索引：`job_id`、`created_at`、`(job_id, created_at)`。
|
||||
|
||||
**为什么靠唯一索引**：多台设备会同时判断"没做过"，"先查后插"有竞态（两台都插）；
|
||||
唯一索引 + `INSERT ... ON DUPLICATE KEY`/`INSERT OR IGNORE` 的**受影响行数**才是原子的。
|
||||
实现在 `core/dedup.py`（`check` / `mark` / `list_marks` / `delete_mark` / `clear_job` / `purge_old`）。
|
||||
|
||||
**保留期**：每天 04:23 清理过保留期（`core/dedup.KEEP_DAYS`，默认 180 天）的记录，
|
||||
但**只清 `day`/`hours` 桶**——`kind='all'`（"只做一次"）清了就等于去重失效，永不清理。
|
||||
量级很小（设备数 × 天数），单条 DELETE 足够，不需要像步骤明细那样分批。
|
||||
|
||||
⚠️ 这张表**自动进整库备份**（§6 派生规则）；接任务步骤见 [TASK_DEV.md](TASK_DEV.md) §4.6。
|
||||
|
||||
---
|
||||
|
||||
## 3. 非模型表
|
||||
|
||||
+5
-3
@@ -212,14 +212,16 @@ tail -20 logs/web.log # 无 ERROR/Traceback
|
||||
SUMMARY_TABLES = tuple(sorted(t.name for t in db.metadata.tables.values()))
|
||||
```
|
||||
|
||||
当前 14 张表：`app_meta` / `user` / `device_group` / `task_job` / `custom_action` /
|
||||
当前 15 张表：`app_meta` / `user` / `device_group` / `task_job` / `custom_action` /
|
||||
`apk_file` / `device` / `pending_device` / `agent_conversation` / `agent_experience` /
|
||||
`experience_audit` / `agent_action` / `device_install_log` / `task_step_log`。
|
||||
`experience_audit` / `agent_action` / `device_install_log` / `task_step_log` / `done_mark`。
|
||||
完整说明见 [DATA_MODEL.md](DATA_MODEL.md) §6。
|
||||
|
||||
> ⚠️ `task_step_log`（任务步骤明细）是**唯一会持续增长**的表：它按 `KEEP_DAYS`
|
||||
> ⚠️ `task_step_log`（任务步骤明细）是会持续增长的表：它按 `KEEP_DAYS`
|
||||
> （默认 14 天，见 `core/step_log.py`）自动清理，但备份包里会带上保留期内的全部行。
|
||||
> 设备多、任务密时导出 zip 会明显变大——需要更小的包就调小那个常量。
|
||||
> `done_mark`（去重账本）也会增长，但量级是"设备数 × 天数"，可以忽略；它同样有保留期
|
||||
> （默认 180 天，且 `kind='all'` 的记录**永不清理**）。
|
||||
|
||||
> **新增一张 ORM 表，就自动进了覆盖清单**，不可能再漏（2026-09-10 动作库 `agent_action`
|
||||
> 曾因手工维护漏登记，数据其实在快照里，只是清单没列 → 被误判为"没有备份"）。
|
||||
|
||||
+1
-1
@@ -13,7 +13,7 @@
|
||||
| [ARCHITECTURE.md](ARCHITECTURE.md) | **架构详解**：分层、启动装配顺序、线程与并发模型、设备生命周期、任务调度链路、状态机、关键设计决策与扩展点 | 所有开发者（先读这篇） |
|
||||
| [DATA_MODEL.md](DATA_MODEL.md) | **数据模型**：SQLite 表与字段、schema 迁移、非模型表、`app_meta` 配置键、数据目录、备份覆盖清单 | 后端开发、运维 |
|
||||
| [API.md](API.md) | **HTTP 接口全量**：按蓝图分组的路由表、鉴权、请求/响应示例、非 JSON 响应、错误分支 | 前端开发、外部接入 |
|
||||
| [TASK_DEV.md](TASK_DEV.md) | **任务与步骤开发**：TaskType/TaskJob 概念、21 种步骤全表、公共巡检、选择器与定位、自定义动作、新增任务类型模板 | 写任务的开发 |
|
||||
| [TASK_DEV.md](TASK_DEV.md) | **任务与步骤开发**：TaskType/TaskJob 概念、22 种步骤全表、公共巡检、选择器与定位、自定义动作、新增任务类型模板 | 写任务的开发 |
|
||||
| [MCP.md](MCP.md) | **MCP 手机控制手册**：20 个 `de_*` 工具用法、写操作门控、坐标换算、接入示例 | 接入方、数字员工 |
|
||||
| [MCP_DESIGN.md](MCP_DESIGN.md) | **MCP 设计文档**：边界划分、错误码、白名单/审计设计、演进方向 | 平台开发者 |
|
||||
| [AI_CONSOLE.md](AI_CONSOLE.md) | **AI 控制台**：会话/SSE、经验库、动作库、巡检、Markdown 渲染、推理链、token 统计 | 使用者、平台开发者 |
|
||||
|
||||
+61
-4
@@ -10,7 +10,7 @@
|
||||
|
||||
- [1. 核心概念](#1-核心概念)
|
||||
- [2. 通用步骤任务 generic_steps](#2-通用步骤任务-generic_steps)
|
||||
- [3. 21 种步骤全表](#3-21-种步骤全表)（含 [3.1 步骤默认值与动作录制](#31-步骤默认值与动作录制任务--动作配置)）
|
||||
- [3. 22 种步骤全表](#3-22-种步骤全表)（含 [3.1 步骤默认值与动作录制](#31-步骤默认值与动作录制任务--动作配置)）
|
||||
- [4. 容器步骤与公共参数](#4-容器步骤与公共参数)（含 [4.5 公共巡检](#45-公共巡检任务级独立于步骤画布)）
|
||||
- [5. 选择器与元素定位](#5-选择器与元素定位)
|
||||
- [6. 自定义动作](#6-自定义动作)
|
||||
@@ -97,7 +97,8 @@ from .generic import task # 触发 @register_task（当前唯一任务类型）
|
||||
}
|
||||
```
|
||||
|
||||
- **任务级参数**：`DEFAULT_PARAMS = {"max_duration": 0}`（0 = 不限时）
|
||||
- **任务级参数**：`DEFAULT_PARAMS = {"max_duration": 0, "dedup_reset": "day", "dedup_hours": 6}`
|
||||
（`max_duration` 0 = 不限时；`dedup_reset` 是去重有效期，见 §4.6）
|
||||
- **没有默认步骤**：`steps` 只能由编辑器产出；为空时 worker 立即报错「通用步骤任务没有可执行步骤：请在「任务」页编辑该任务并添加步骤」（设备「最近错误」可见），**不会静默空跑**
|
||||
- **顶层 steps 只顺序执行一次**——需要重复的动作必须显式放进 `loop` 步骤
|
||||
- **每步 schema**：`{id, type, label, params}`；`id` 由前端生成保证唯一（导出为自定义动作时会剥掉 id）
|
||||
@@ -108,7 +109,7 @@ from .generic import task # 触发 @register_task（当前唯一任务类型）
|
||||
|
||||
---
|
||||
|
||||
## 3. 21 种步骤全表
|
||||
## 3. 22 种步骤全表
|
||||
|
||||
> 参数与默认值以 `tasks/generic/task.py` 为准；前端 `STEP_LIB`（`static/admin/editor.js`）负责在编辑器里呈现这些字段。
|
||||
|
||||
@@ -131,10 +132,11 @@ from .generic import task # 触发 @register_task（当前唯一任务类型）
|
||||
| 15 | `wait` | 等待 | — | `min`(1.0)、`max`(3.0)、`vary_pace`(False) | — | 随机时长；**分片 sleep**（每 ≤0.5s 检查停止/超时），可被抢占打断；勾了 `vary_pace` 再按**本设备节奏**缩放 0.8~1.35 倍（批量跑时设备之间会逐渐错开） |
|
||||
| 16 | `loop` | 循环块 | — | `loop_mode`("rounds")、`max_iterations`(10)、`loop_duration`(600) | `children` | 见 §4.1 |
|
||||
| 17 | `group` | 动作组 | — | — | `children` | 子步骤**按序执行一次**（不循环）；自定义动作拖入画布就是展开成 group |
|
||||
| 18 | `if_el` | 条件判断 | `selector_type`、`selector_value`、`timeout`(3) | `ocr_click`(False)、`cmp_op`("")、`cmp_value`("") | `then` / `else` | 见 §4.2；条件类型除元素/OCR 外还支持 **屏幕状态**、**前台App**；填 `cmp_op` 则改成**比元素的文本**（等于/不等于/包含/不包含） |
|
||||
| 18 | `if_el` | 条件判断 | `selector_type`、`selector_value`、`timeout`(3) | `ocr_click`(False)、`cmp_op`("")、`cmp_value`("")、`ident_type`/`ident_value`（去重身份） | `then` / `else` | 见 §4.2；条件类型除元素/OCR 外还支持 **屏幕状态**、**前台App**、**去重**（见 §4.6）；填 `cmp_op` 则改成**比元素的文本**（等于/不等于/包含/不包含，多值任一命中） |
|
||||
| 19 | `notify` | 发通知 | — | `title`("")、`message`("")、`level`("info") | — | 推一条**自定义**通知（事件 `task.notify.custom`）：标题正文自己写，支持 `{device} {serial} {job} {time} {app} {screen}`；谁收到取决于 webhook 的事件订阅。两者都空则跳过 |
|
||||
| 20 | `stop_self` | 停止本设备 | — | `reason`("") | — | 只停**本设备**的任务（其它设备照跑）：置 worker 停止位，后续步骤不再执行，任务记成**被停止而不是失败**（不触发重试） |
|
||||
| 21 | `gesture` | 录制手势 | `points`（录出来的） | `speed`(1.0) | — | **纯录制回放**：把录下的轨迹点列 `[[x,y,t_ms],…]` 按原路径与时长交给设备插值，不做弧线/抖动/手速加工。与「滑动」是两套东西，见 §3.2 |
|
||||
| 22 | `mark_done` | 记为已做 | —（身份元素可选填 `selector_type`/`selector_value`） | — | — | 把身份值记进**去重账本**（跨设备共享）。放动作**成功之后**——失败不记账，下次重跑会重试。留空 = 用设备 `serial` 当身份。**配套「条件判断 → 去重」用**，见 §4.6 |
|
||||
|
||||
### 3.2 录制手势：**纯录制、纯回放**（`core/gesture.py`）
|
||||
|
||||
@@ -353,6 +355,61 @@ from .generic import task # 触发 @register_task（当前唯一任务类型）
|
||||
- 巡检命中会往「日志 → 步骤明细」记一行（`step_type=patrol`，只记命中不记"没事发生"）。
|
||||
- 巡检内部异常只记日志、**绝不影响任务主流程**（同 `notifier.notify` 的口径）。
|
||||
|
||||
### 4.6 去重：同一个号不要做两次（跨设备幂等）
|
||||
|
||||
**场景**（真实需求）：一台手机登录多个账号、一共好几台手机，每个任务只让**其中一个目标号**做事
|
||||
（如评论）。每天跑一次，但不知道什么时候跑完 → 会反复重跑 → **同一个号被做两次、有的号还没做**。
|
||||
|
||||
平台为此提供一张**「已做过」账本**（表 `done_mark`，见 [DATA_MODEL.md](DATA_MODEL.md) §2.9），
|
||||
**所有设备共享一份判断**：任何一台设备做过了，其余设备的检查都会命中。
|
||||
|
||||
| 组件 | 放哪 | 作用 |
|
||||
|---|---|---|
|
||||
| 条件判断，`选择器类型 = 去重` | 动作**之前** | 命中 = 这个身份在这个任务里做过了 → 走 `then` 分支 |
|
||||
| 步骤「记为已做」 | 动作**成功之后** | 把身份值记进账本 |
|
||||
|
||||
```json
|
||||
{"type": "if_el", "params": {
|
||||
"selector_type": "dedup",
|
||||
"ident_type": "resourceId", "ident_value": "com.ss.android.ugc.aweme:id/506",
|
||||
"then": [{"type": "stop_self", "params": {"reason": "这个号今天已经评过了"}}],
|
||||
"else": [
|
||||
{"type": "click", "params": {"selector_type": "text", "selector_value": "发送"}},
|
||||
{"type": "mark_done", "params": {"selector_type": "resourceId",
|
||||
"selector_value": "com.ss.android.ugc.aweme:id/506"}}
|
||||
]}}
|
||||
```
|
||||
|
||||
**身份值**（去重的"谁"）＝ 身份元素读出来的文本（上例＝抖音号）。
|
||||
留空则该步骤用**设备 `serial`** 当身份（适合"一号一机"）。
|
||||
|
||||
**有效期**（去重多久算"新的一轮"）在**任务级**配一次：`dedup_reset` = `day`（默认，每天一次）
|
||||
/ `all`（只做一次）/ `hours`（每 `dedup_hours` 小时）。任务编辑器顶部有「去重有效期」下拉。
|
||||
|
||||
> ⚠ **为什么有效期和身份元素都强制"只配一处"**：检查与记账两边算的是同一个 key，
|
||||
> 一边填得不一样就会算出两个 key → **去重静默失效**（最难查的那种 bug）。
|
||||
> 编辑器保存时会直接告警：「身份元素不一致」「有去重检查但没有记为已做」等。
|
||||
|
||||
**四条必须知道的语义**：
|
||||
|
||||
| 情况 | 行为 | 为什么 |
|
||||
|---|---|---|
|
||||
| 身份元素**读不到值** | **不去重**，当"没做过"照常执行（日志告警） | 读不到若当成空身份，所有设备会共用一个 key，第一台记账后其余全被误跳过——宁可重复一次，也不能漏做 |
|
||||
| 身份值**过长** | 同上，不去重 | 截断会让两个身份撞成同一个 key（同样是误跳过） |
|
||||
| 「记为已做」放在动作失败路径上 | **不会执行** | 拆成"检查在前、记账在后"就是为了**失败不记账、下次重试** |
|
||||
| `dedup_reset='all'` | 记录**永不被清理** | 清了就等于"只做一次"失效（清理任务只删 `day`/`hours` 桶） |
|
||||
|
||||
**看进度 / 让它重跑**：「任务 → 去重记录」页能看到"谁做过了、今天做了几个号"，
|
||||
可以删单条（那个号/那台设备重跑）或清空整个任务。**这一页的价值就是让你不必靠"一直重跑"来确认。**
|
||||
|
||||
**第二种办法（兜底，不用账本）**：进 App 的评论区后用
|
||||
**条件判断 + 文本比对（包含）**，候选值填本账号的评论标识（昵称/「我」标签），命中就跳过。
|
||||
它的局限要说清楚，别指望它万能：
|
||||
|
||||
- 依赖 App 的评论区结构，**改版就失效**
|
||||
- 自己的评论常常要**滑动加载**才出现在元素树里（可能要滑几次、慢）
|
||||
- 多台设备并发时可能**同时**判"没评过"（没有原子性）——所以**账本才是主拦**，这个只做兜底
|
||||
|
||||
---
|
||||
|
||||
## 5. 选择器与元素定位
|
||||
|
||||
@@ -136,6 +136,7 @@ function showSubTab(tabId, name){
|
||||
if(tabId==='logs' && name==='files' && typeof loadLogs==='function') loadLogs();
|
||||
if(tabId==='logs' && name==='steps' && typeof loadStepLogs==='function') loadStepLogs(true);
|
||||
if(tabId==='tasks' && name==='actioncfg' && typeof loadActionConfig==='function') loadActionConfig();
|
||||
if(tabId==='tasks' && name==='dedup' && typeof loadDedup==='function') loadDedup();
|
||||
if(name==='groups' && typeof loadGroups==='function') loadGroups();
|
||||
if(name==='apks' && typeof loadAgentStore==='function') loadAgentStore();
|
||||
if(name==='devpool' && typeof loadDevPool==='function'){
|
||||
|
||||
@@ -0,0 +1,85 @@
|
||||
// 去重记录（「任务 → 去重记录」页）
|
||||
// 账本在 done_mark 表（跨设备幂等），后端见 core/dedup.py + web/tasks_api.py 的三个接口。
|
||||
// 这一页的价值：**"谁做过了、还差谁"看得见**——用户原来不知道任务什么时候跑完，
|
||||
// 只能一直重跑，而重跑本身又在制造重复。
|
||||
var _dedupMarks = [];
|
||||
|
||||
function loadDedup(){
|
||||
var sel=document.getElementById('dedup-job');
|
||||
if(!sel)return;
|
||||
var jobId=sel.value||'';
|
||||
apiGet('/api/done_marks?limit=300'+(jobId?('&job='+encodeURIComponent(jobId)):'')).then(function(r){
|
||||
if(!r||!r.ok){
|
||||
var tb=document.getElementById('tb-dedup');
|
||||
if(tb)tb.innerHTML='<tr><td colspan="6" class="empty">读取失败：'+esc((r&&r.error)||'')+'</td></tr>';
|
||||
return;
|
||||
}
|
||||
_dedupMarks=r.marks||[];
|
||||
renderDedupJobs(r.job_id||'');
|
||||
renderDedup(r.stats||{});
|
||||
});
|
||||
}
|
||||
|
||||
// 任务下拉：用已加载的任务列表填（含"全部任务"）；保持当前选中项
|
||||
// `_jobsData` 是全局任务列表（monitor.js 声明、tasks.js 的 loadTasks 填充）
|
||||
function renderDedupJobs(current){
|
||||
var sel=document.getElementById('dedup-job');
|
||||
if(!sel)return;
|
||||
var jobs=_jobsData||[];
|
||||
if(!jobs.length)return; // 任务列表还没加载就先留着旧选项
|
||||
var cur=current!==undefined?current:(sel.value||'');
|
||||
var html='<option value="">全部任务</option>';
|
||||
jobs.forEach(function(j){
|
||||
html+='<option value="'+esc(j.id)+'">'+esc(j.name||j.id)+'</option>';
|
||||
});
|
||||
sel.innerHTML=html;
|
||||
sel.value=cur;
|
||||
}
|
||||
|
||||
function renderDedup(stats){
|
||||
var tb=document.getElementById('tb-dedup');
|
||||
if(!tb)return;
|
||||
var st=document.getElementById('dedup-stats');
|
||||
if(st){
|
||||
st.textContent='共 '+stats.total+' 条 · 涉及 '+stats.devices+' 台设备 / '
|
||||
+stats.identities+' 个身份值｜今天已做 '+stats.today_devices+' 台 · '
|
||||
+stats.today_identities+' 个身份值';
|
||||
}
|
||||
if(!_dedupMarks.length){
|
||||
tb.innerHTML='<tr><td colspan="6" class="empty">暂无记录（任务里用了「去重」条件 + 「记为已做」并成功做完之后才会有）</td></tr>';
|
||||
return;
|
||||
}
|
||||
var KIND={day:'每天一次',all:'只做一次',hours:'按小时'};
|
||||
tb.innerHTML=_dedupMarks.map(function(m){
|
||||
var who=m.device_name?('<strong>'+esc(m.device_name)+'</strong><br>'
|
||||
+'<span style="font-size:11px;color:#94a3b8;font-family:var(--mono)">'+esc(m.serial)+'</span>')
|
||||
:('<span style="font-family:var(--mono)">'+esc(m.serial||'-')+'</span>');
|
||||
return '<tr><td style="font-size:12px">'+esc(m.created_at)+'</td>'+
|
||||
'<td>'+who+'</td>'+
|
||||
'<td style="font-family:var(--mono)">'+esc(m.identity||'-')+'</td>'+
|
||||
'<td><span class="label label-default">'+esc(KIND[m.kind]||m.kind)+'</span></td>'+
|
||||
'<td>'+esc(m.job_name||m.job_id||'-')+'</td>'+
|
||||
'<td><button class="btn btn-xs btn-danger" data-id="'+m.id+'" '+
|
||||
'onclick="deleteDedupMark(this.dataset.id)" data-perm="tasks" '+
|
||||
'title="删掉这条 → 这台设备/这个身份下次会重新执行">删除</button></td></tr>';
|
||||
}).join('');
|
||||
}
|
||||
|
||||
function deleteDedupMark(id){
|
||||
if(!confirm('删掉这条去重记录？\n\n删掉之后，这台设备/这个身份下次跑该任务时会重新执行一遍。'))return;
|
||||
apiPost('/api/done_marks/delete',{id:id}).then(function(r){
|
||||
if(r&&r.ok){showToast(r.msg||'已删除','success');loadDedup();}
|
||||
else showToast('删除失败: '+((r&&r.error)||''),'error');
|
||||
});
|
||||
}
|
||||
|
||||
function clearJobDedup(){
|
||||
var sel=document.getElementById('dedup-job');
|
||||
var jobId=sel?sel.value:'';
|
||||
if(!jobId){showToast('先在左边选一个任务（"清空本任务记录"要指定任务）','error');return;}
|
||||
if(!confirm('清空这个任务的全部去重记录？\n\n清空之后，所有设备/身份下次跑该任务都会重新执行一遍。'))return;
|
||||
apiPost('/api/done_marks/clear',{job:jobId}).then(function(r){
|
||||
if(r&&r.ok){showToast(r.msg||'已清空','success');loadDedup();}
|
||||
else showToast('清空失败: '+((r&&r.error)||''),'error');
|
||||
});
|
||||
}
|
||||
+118
-19
@@ -19,13 +19,20 @@ var STEP_LIB=[
|
||||
{type:'wait_el',label:'等待元素',icon:'⏳',cat:'flow',params:{selector_type:'xpath',selector_value:'',timeout:10}},
|
||||
{type:'loop',label:'循环块',icon:'↻',cat:'flow',params:{loop_mode:'rounds',max_iterations:10,loop_duration:600,children:[]}},
|
||||
{type:'group',label:'动作组',icon:'📦',cat:'flow',params:{children:[]}},
|
||||
{type:'if_el',label:'条件判断',icon:'❓',cat:'flow',params:{selector_type:'xpath',selector_value:'',timeout:3,ocr_click:false,cmp_op:'',cmp_value:'',then:[],else:[]}},
|
||||
{type:'if_el',label:'条件判断',icon:'❓',cat:'flow',params:{selector_type:'xpath',selector_value:'',timeout:3,ocr_click:false,cmp_op:'',cmp_value:'',ident_type:'text',ident_value:'',then:[],else:[]}},
|
||||
{type:'mark_done',label:'记为已做',icon:'✅',cat:'flow',params:{selector_type:'text',selector_value:''}},
|
||||
{type:'notify',label:'发通知',icon:'🔔',cat:'flow',params:{title:'',message:'',level:'info'}},
|
||||
{type:'stop_self',label:'停止本设备',icon:'⛔',cat:'flow',params:{reason:''}},
|
||||
{type:'gesture',label:'录制手势',icon:'⏺',cat:'interact',params:{points:[],speed:1.0}}
|
||||
];
|
||||
// 步骤默认值（「任务 → 动作配置」页配置，见 core/step_defaults.py）；新建步骤时预填
|
||||
let _stepDefaults = null;
|
||||
// 去重有效期选了「按小时」才显示小时数输入框
|
||||
function _toggleDedupHours(){
|
||||
var sel=document.getElementById('f-dedup_reset');
|
||||
var wrap=document.getElementById('f-dedup_hours_wrap');
|
||||
if(sel&&wrap)wrap.style.display=(sel.value==='hours')?'inline-flex':'none';
|
||||
}
|
||||
var STEP_LIB_CATS=[['interact','交互操作'],['screen','屏幕与App'],['flow','流程控制']];
|
||||
var _customActions=[]; // 后端加载的自定义动作
|
||||
var _stepIdCounter=0;
|
||||
@@ -50,30 +57,41 @@ function _stripIds(steps){
|
||||
function _findLib(type){return STEP_LIB.find(function(s){return s.type===type;});}
|
||||
// 选择器组件（类型下拉 + 值输入 + 抓取元素 + 测试按钮），click/long_click/swipe_until/wait_el/if_el 复用
|
||||
// withOcr=true 时额外提供 OCR识别 选项（图片/画布里的文字，仅条件判断支持）
|
||||
function _selRowHtml(p, extra, withOcr){
|
||||
// withOcr（条件判断用）额外提供"屏幕状态 / 前台App"两类非元素条件
|
||||
var types=withOcr?['xpath','description','text','resourceId','descriptionContains','className','ocr','screen','foreground']:
|
||||
['xpath','description','text','resourceId','descriptionContains','className'];
|
||||
// withDedup=true 时额外提供「去重」条件类型（身份做过了吗，见 core/dedup.py）
|
||||
// keys 可换字段名（默认 selector_type/selector_value）——「去重」的身份元素用
|
||||
// ident_type/ident_value，好让同一个条件里既能有主选择器又能有身份元素
|
||||
function _selRowHtml(p, extra, withOcr, withDedup, keys){
|
||||
keys=keys||{};
|
||||
var kType=keys.type||'selector_type', kVal=keys.value||'selector_value';
|
||||
var typeList=['xpath','description','text','resourceId','descriptionContains','className'];
|
||||
// withOcr（条件判断用）额外提供"屏幕状态 / 前台App / 去重"三类非元素条件
|
||||
var types=withOcr?typeList.concat(['ocr','screen','foreground']):typeList.slice();
|
||||
if(withDedup)types.push('dedup');
|
||||
var labels={xpath:'xpath',description:'description',text:'text',resourceId:'resourceId',
|
||||
descriptionContains:'descriptionContains',className:'className',ocr:'OCR识别',
|
||||
screen:'屏幕状态',foreground:'前台App是'};
|
||||
screen:'屏幕状态',foreground:'前台App是',dedup:'去重（这个身份做过了吗）'};
|
||||
var opts=types.map(function(d){
|
||||
return '<option value="'+d+'"'+(p.selector_type===d?' selected':'')+'>'+labels[d]+'</option>';}).join('');
|
||||
return '<option value="'+d+'"'+(p[kType]===d?' selected':'')+'>'+labels[d]+'</option>';}).join('');
|
||||
var toggle=withOcr?' onchange="_stepEditor._condTypeChanged(this)"':'';
|
||||
var pick=_can('devices')?'<button class="btn btn-xs btn-pick" onclick="_stepEditor.openPicker(this)">抓取元素</button>':'';
|
||||
var test=_can('devices')?'<button class="btn btn-xs" onclick="_stepEditor._testStep(this)" title="在设备上试执行本步骤，验证选择器是否命中">测试</button>':'';
|
||||
var isScreen=p.selector_type==='screen', isFg=p.selector_type==='foreground';
|
||||
var isScreen=p[kType]==='screen', isFg=p[kType]==='foreground';
|
||||
var valLabel=isScreen?'屏幕状态':(isFg?'前台包名':'选择器值');
|
||||
var valHtml;
|
||||
if(isScreen){
|
||||
valHtml='<select class="form-control" data-key="selector_value" style="max-width:140px">'+
|
||||
'<option value="off"'+(p.selector_value!=='on'?' selected':'')+'>熄屏时就命中</option>'+
|
||||
'<option value="on"'+(p.selector_value==='on'?' selected':'')+'>亮屏时就命中</option></select>';
|
||||
valHtml='<select class="form-control" data-key="'+kVal+'" style="max-width:140px">'+
|
||||
'<option value="off"'+(p[kVal]!=='on'?' selected':'')+'>熄屏时就命中</option>'+
|
||||
'<option value="on"'+(p[kVal]==='on'?' selected':'')+'>亮屏时就命中</option></select>';
|
||||
}else{
|
||||
valHtml='<input type="text" class="form-control" data-key="selector_value" value="'+esc(p.selector_value||'')+
|
||||
valHtml='<input type="text" class="form-control" data-key="'+kVal+'" value="'+esc(p[kVal]||'')+
|
||||
'" placeholder="'+(isFg?'如 com.ss.android.ugc.aweme':'如 点赞')+'">'+(isFg?'':pick+test);
|
||||
}
|
||||
return '<div class="form-row"><div class="form-group"><label>选择器类型</label><select class="form-control" data-key="selector_type"'+toggle+'>'+opts+'</select></div>'+
|
||||
var head='<div class="form-group"'+(keys.hideValue?' style="grid-column:span 3"':'')+'>'+
|
||||
'<label>选择器类型</label><select class="form-control" data-key="'+kType+'"'+toggle+'>'+opts+'</select></div>';
|
||||
// hideValue：「去重」条件不需要 selector_value（身份元素在 ident_value 里），
|
||||
// 与其显示一个没人用的输入框，不如只留类型下拉
|
||||
if(keys.hideValue)return '<div class="form-row">'+head+'</div>'+(extra||'');
|
||||
return '<div class="form-row">'+head+
|
||||
'<div class="form-group" style="grid-column:span 2"><label>'+valLabel+'</label><div class="sel-picker">'+
|
||||
valHtml+'</div></div></div>'+(extra||'');
|
||||
}
|
||||
@@ -106,7 +124,7 @@ var _stepEditor={
|
||||
_steps:[],
|
||||
_selected:[],
|
||||
_dragSuppressClick:false,
|
||||
init:function(steps,maxDuration,draftKey,canvasId,libId){
|
||||
init:function(steps,maxDuration,draftKey,canvasId,libId,taskExtra){
|
||||
this._draftKey=draftKey||'new';
|
||||
this._selected=[];
|
||||
this._updatePackBtns();
|
||||
@@ -147,6 +165,25 @@ var _stepEditor={
|
||||
md.innerHTML='运行时长上限(秒,0=不限) <input type="number" id="f-max_duration" value="'+(maxDuration||0)+'" min="0" style="width:70px;padding:2px 6px;border:1px solid var(--border);border-radius:4px;font-size:12px">';
|
||||
head.appendChild(md);
|
||||
}
|
||||
// 去重有效期（任务级）：**只在这一处配**——「条件判断→去重」和「记为已做」两处
|
||||
// 各填一份的话，填不一致就会算出两个不同的 key、去重静默失效，所以强制共用。
|
||||
var drHost=document.querySelector('#step-editor .se-head');
|
||||
if(drHost&&!document.getElementById('f-dedup_reset')){
|
||||
var ex=taskExtra||{};
|
||||
var dr=document.createElement('span');
|
||||
dr.style.cssText='font-size:11px;display:flex;align-items:center;gap:4px';
|
||||
var selStyle='padding:2px 6px;border:1px solid var(--border);border-radius:4px;font-size:12px';
|
||||
dr.innerHTML='去重有效期 <select id="f-dedup_reset" style="'+selStyle+'">'+
|
||||
'<option value="day">每天一次</option>'+
|
||||
'<option value="all">只做一次</option>'+
|
||||
'<option value="hours">按小时</option></select>'+
|
||||
'<span id="f-dedup_hours_wrap" style="display:none;align-items:center;gap:3px">每 '+
|
||||
'<input type="number" id="f-dedup_hours" value="'+(ex.dedup_hours||6)+'" min="1" max="168" style="width:52px;'+selStyle+'"> 小时</span>';
|
||||
drHost.appendChild(dr);
|
||||
document.getElementById('f-dedup_reset').value=ex.dedup_reset||'day';
|
||||
_toggleDedupHours();
|
||||
document.getElementById('f-dedup_reset').addEventListener('change',_toggleDedupHours);
|
||||
}
|
||||
},
|
||||
_ensureIds:function(steps){
|
||||
var self=this;
|
||||
@@ -423,9 +460,10 @@ var _stepEditor={
|
||||
h+='<div class="help">动作组：按顺序执行下方子步骤一次。把多个步骤打包成一个可复用的整体。</div>';
|
||||
h+='<div class="form-group"><button class="btn btn-xs btn-primary" onclick="_stepEditor.saveAsCustomAction(\''+esc(step.id||'')+'\')">存为自定义动作</button> <span class="help" style="display:inline">把本组步骤保存到左侧自定义动作库，方便复用</span></div>';
|
||||
}else if(step.type==='if_el'){
|
||||
// 屏幕状态 / 前台App 是"直接读设备当前状态"，没有等待超时、也没有选择器可抓
|
||||
var dyn=(p.selector_type==='screen'||p.selector_type==='foreground');
|
||||
// 文本比对：屏幕状态没有文本可比（亮/熄），只有元素/OCR/前台 App 才给这块
|
||||
// 屏幕状态 / 前台App / 去重 是"直接读设备当前状态或账本"，没有等待超时、也没有选择器可抓
|
||||
var isDedup=(p.selector_type==='dedup');
|
||||
var dyn=(p.selector_type==='screen'||p.selector_type==='foreground'||isDedup);
|
||||
// 文本比对：屏幕状态没有文本可比（亮/熄）、去重也不比文本，只有元素/OCR/前台 App 才给这块
|
||||
var cmpRow=dyn?'':'<div class="form-row"><div class="form-group"><label>文本比对</label>'+
|
||||
'<select class="form-control" data-key="cmp_op">'+
|
||||
[['','不比对（只看元素在不在）'],['等于','等于'],['不等于','不等于'],['包含','包含'],['不包含','不包含']]
|
||||
@@ -436,12 +474,27 @@ var _stepEditor={
|
||||
'placeholder="如 35377983067 35377983068">'+esc(p.cmp_value||'')+'</textarea>'+
|
||||
'<div class="help">一行一个（也认 <code>|</code> 分隔）：<b>任意一个命中就算命中</b>——多个号的场景把号都列上。'+
|
||||
'<b>逗号不当分隔符</b>，因为要比对的文本本身常带逗号</div></div></div>';
|
||||
// 「去重」条件：身份元素用 ident_type/ident_value（主选择器那行只剩类型下拉）
|
||||
var identRow=isDedup?_selRowHtml(p,
|
||||
'<div class="help"><b>身份元素</b>：填"账号"那个元素（点「抓取元素」选，如抖音号那个 TextView）。'
|
||||
+'<b>留空 = 用本设备当身份</b>（一号一机时这样就行）。'
|
||||
+'<br>身份<b>读不到时不会去重</b>（当"没做过"照常执行）——宁可重复一次，也不会误判成"做过"而漏做。'
|
||||
+'<br>有效期在上方任务级的<b>「去重有效期」</b>里设，检查和记账共用一套（不用在步骤里各填一遍）。</div>',
|
||||
false, false, {type:'ident_type', value:'ident_value'}):'';
|
||||
h+=_selRowHtml(p,
|
||||
(dyn?'':'<div class="form-group"><label>查找超时(秒)</label><input type="number" class="form-control" data-key="timeout" value="'+(p.timeout||3)+'" min="0.5" max="30" step="0.5"></div>'+
|
||||
'<div class="form-group form-check" data-ocr-field style="display:'+(p.selector_type==='ocr'?'block':'none')+'">'+
|
||||
'<input type="checkbox" data-key="ocr_click" '+(p.ocr_click?'checked':'')+'><label>OCR 命中后自动点击该文字</label></div>'+
|
||||
cmpRow)+
|
||||
'<div class="help">'+(dyn
|
||||
'<div class="help">'+(isDedup
|
||||
? '命中 → 执行下方"✅ 找到时"分支；未命中 → 执行"❌ 未找到时"分支。'
|
||||
+'<b>去重</b>读的是平台的「去重账本」（所有设备共享一份，见「任务 → 去重记录」）：'
|
||||
+'<b>任何一台设备做过了，其余设备的这一步都会命中</b>——'
|
||||
+'所以多个手机跑同一个任务、反复重跑，也不会把同一个号做两次。'
|
||||
+'<br>建议这样摆：<b>命中分支</b>放「停止本设备」或「发通知」；'
|
||||
+'<b>未命中分支</b>里放要做的动作（评论…），动作后面跟一个「记为已做」。'
|
||||
+'<br>⚠ 记账要放在动作<b>成功之后</b>（用「记为已做」步骤），失败就不记账、下次还会重试。'
|
||||
: (dyn
|
||||
? '命中 → 执行下方"✅ 找到时"分支；未命中 → 执行"❌ 未找到时"分支。<b>屏幕状态</b>读系统 mWakefulness（亮/熄），'
|
||||
+'<b>前台App是</b>判断当前前台是不是某个包名——都只看当前状态，不等待。'
|
||||
: '超时内找到元素 → 执行下方"✅ 找到时"分支；未找到 → 执行"❌ 未找到时"分支。两分支可放任意步骤，也可再嵌套条件判断/循环；'
|
||||
@@ -450,7 +503,16 @@ var _stepEditor={
|
||||
+'比中了才算命中。例：元素文本是 <code>抖音号：35377983067</code>，'
|
||||
+'想判断"这台登录的是不是这个号"，选<b>包含</b>、值填 <code>35377983067</code> 即可（要整段一模一样才用"等于"）。'
|
||||
+'多个值一行一个，<b>任一命中即可</b>——"这几个号都算我的"。'
|
||||
+'<br>⚠ 元素<b>没找到</b>时一律算未命中（走"未找到时"分支）——"没读到"不会被当成"和我设的不一样"。')+'</div>', true);
|
||||
+'<br>⚠ 元素<b>没找到</b>时一律算未命中（走"未找到时"分支）——"没读到"不会被当成"和我设的不一样"。'))+'</div>',
|
||||
true, true, isDedup?{hideValue:true}:null)+identRow;
|
||||
}else if(step.type==='mark_done'){
|
||||
h+=_selRowHtml(p,
|
||||
'<div class="help">把<b>身份元素</b>的值记进平台「去重账本」（所有设备共享一份）。'
|
||||
+'放在动作<b>成功之后</b>——动作失败就不会记账，下次重跑还会重试这台设备。'
|
||||
+'<br><b>留空 = 用本设备当身份</b>（一号一机时这样就行）。'
|
||||
+'身份读不到时<b>不记账</b>（记一个空身份会把别的设备挡住）。'
|
||||
+'<br>有效期在上方任务级的<b>「去重有效期」</b>里设。'
|
||||
+'<br>配套的「条件判断 → 去重」放在动作<b>之前</b>，两边填<b>同一个身份元素</b>。</div>');
|
||||
}
|
||||
// 共享：触发概率（所有步骤通用，0~100）
|
||||
h+='<div class="form-row" style="margin-top:8px"><div class="form-group"><label>触发概率(%)</label><input type="number" class="form-control" data-key="probability" value="'+(p.probability!=null?p.probability:100)+'" min="0" max="100"><div class="help">0~100，<100 表示按概率执行（如 30=隔几次才触发一次，适合"偶尔点赞"）</div></div></div>';
|
||||
@@ -822,6 +884,8 @@ var _stepEditor={
|
||||
validate:function(steps){
|
||||
// 校验步骤配置，返回警告列表
|
||||
var warnings=[];
|
||||
// 去重：收集「条件判断→去重」与「记为已做」各自用的身份元素，最后比对是否一致
|
||||
var dedupIdents=[], hasDedupCheck=false, hasMarkDone=false;
|
||||
function check(arr,prefix){
|
||||
arr.forEach(function(s,i){
|
||||
var name=prefix?(prefix+'.'+(i+1)):('步骤'+(i+1));
|
||||
@@ -868,6 +932,15 @@ var _stepEditor={
|
||||
if(s.params.cmp_op&&s.params.selector_type==='screen'){
|
||||
warnings.push(name+' "'+label+'": 屏幕状态没有文本可比，文本比对的设置会被忽略。');
|
||||
}
|
||||
if(s.params.selector_type==='dedup'){
|
||||
hasDedupCheck=true;
|
||||
var iv=(s.params.ident_value||'').trim();
|
||||
if(iv)dedupIdents.push({where:name,type:s.params.ident_type||'text',value:iv});
|
||||
}
|
||||
}else if(s.type==='mark_done'){
|
||||
hasMarkDone=true;
|
||||
var mv=(s.params.selector_value||'').trim();
|
||||
if(mv)dedupIdents.push({where:name,type:s.params.selector_type||'text',value:mv});
|
||||
}
|
||||
_childArrs(s).forEach(function(a){
|
||||
if(a.length)check(a,name+' 子步骤');
|
||||
@@ -875,6 +948,25 @@ var _stepEditor={
|
||||
});
|
||||
}
|
||||
check(steps,'');
|
||||
// 去重的两个坑，保存时直接点出来（配错的话去重会「静默失效」，最难查）
|
||||
if(hasDedupCheck&&!hasMarkDone){
|
||||
warnings.push('任务里有「条件判断→去重」但没有「记为已做」：做完动作不会记账，'
|
||||
+'下次重跑还会再做一遍（去重起不到作用）。请在动作后面加一个「记为已做」。');
|
||||
}
|
||||
if(hasMarkDone&&!hasDedupCheck){
|
||||
warnings.push('任务里有「记为已做」但没有「条件判断→去重」：只会记账、不会拦重复。'
|
||||
+'请在动作前面加一个条件判断、类型选「去重」。');
|
||||
}
|
||||
if(dedupIdents.length>1){
|
||||
var first=dedupIdents[0];
|
||||
dedupIdents.slice(1).forEach(function(d){
|
||||
if(d.value!==first.value||d.type!==first.type){
|
||||
warnings.push('去重的身份元素不一致：'+first.where+'用的是「'+first.value
|
||||
+'」，而'+d.where+'用的是「'+d.value+'」——两边不一致会算出不同的 key，'
|
||||
+'去重会静默失效。请改成同一个元素。');
|
||||
}
|
||||
});
|
||||
}
|
||||
return warnings;
|
||||
},
|
||||
_syncParams:function(container,steps){
|
||||
@@ -1367,6 +1459,13 @@ async function saveTask(jobId){
|
||||
}
|
||||
const mdEl=document.getElementById('f-max_duration');
|
||||
params={max_duration:mdEl?parseInt(mdEl.value)||0:0,steps:steps};
|
||||
// 去重有效期（任务级；「条件判断→去重」与「记为已做」共用这一套）
|
||||
const drEl=document.getElementById('f-dedup_reset');
|
||||
params.dedup_reset=drEl?drEl.value:'day';
|
||||
if(drEl&&drEl.value==='hours'){
|
||||
const dhEl=document.getElementById('f-dedup_hours');
|
||||
params.dedup_hours=Math.max(1,parseInt(dhEl&&dhEl.value)||6);
|
||||
}
|
||||
// 公共巡检（任务级，独立于步骤画布；实现在 tasks.js + core/patrol.py）
|
||||
if(typeof patrolCollect==='function'){
|
||||
const ws=patrolCollect();
|
||||
|
||||
@@ -329,7 +329,8 @@ function openTaskModal(jobId, prefill){
|
||||
// AI 草稿用一个唯一 key：既避开 localStorage 里"新建任务"的旧草稿覆盖预填内容，
|
||||
// 又保留自动存草稿（保存成功时 saveTask 会 clearDraft 清掉它）。
|
||||
const draftKey=jobId||(pf?('ai:'+Date.now()):'');
|
||||
_stepEditor.init(j.params&&j.params.steps?j.params.steps:[],j.params&&j.params.max_duration?j.params.max_duration:0,draftKey);
|
||||
_stepEditor.init(j.params&&j.params.steps?j.params.steps:[],j.params&&j.params.max_duration?j.params.max_duration:0,draftKey,
|
||||
null,null,{dedup_reset:(j.params&&j.params.dedup_reset)||'day',dedup_hours:(j.params&&j.params.dedup_hours)||6});
|
||||
patrolInit(j.params&&j.params.watchers);
|
||||
|
||||
document.getElementById('modal-footer').innerHTML=
|
||||
|
||||
+88
-9
@@ -41,7 +41,7 @@ from core.device_worker import BaseWorker, _update_status
|
||||
from core.u2_helper import (ensure_app_running, wait_for_app_home, random_sleep,
|
||||
screen_is_on, current_package)
|
||||
from core.logger import get_logger
|
||||
from core import notifier, step_log, humanize, patrol, gesture
|
||||
from core import notifier, step_log, humanize, patrol, gesture, dedup
|
||||
|
||||
_log = get_logger("task.generic")
|
||||
|
||||
@@ -113,7 +113,11 @@ STEP_TYPES = [
|
||||
"params": {"children": []}},
|
||||
{"type": "if_el", "label": "条件判断", "icon": "❓",
|
||||
"params": {"selector_type": "xpath", "selector_value": "", "timeout": 3,
|
||||
"cmp_op": "", "cmp_value": "", "then": [], "else": []}},
|
||||
"cmp_op": "", "cmp_value": "",
|
||||
"ident_type": "text", "ident_value": "",
|
||||
"then": [], "else": []}},
|
||||
{"type": "mark_done", "label": "记为已做", "icon": "✅",
|
||||
"params": {"selector_type": "text", "selector_value": ""}},
|
||||
{"type": "notify", "label": "发通知", "icon": "🔔",
|
||||
"params": {"title": "", "message": "", "level": "info"}},
|
||||
{"type": "stop_self", "label": "停止本设备", "icon": "⛔",
|
||||
@@ -125,6 +129,11 @@ STEP_TYPES = [
|
||||
|
||||
DEFAULT_PARAMS = {
|
||||
"max_duration": 0, # 最大运行时长（秒），0=不限时
|
||||
# 去重账本的有效期（任务级，**只在这一处配**）。检查与记账两处各填一份的话，
|
||||
# 填不一致就会算出两个不同的 key、去重静默失效——所以强制任务级。
|
||||
# day（默认，每天一次）/ all（只做一次，永不清理）/ hours（每 dedup_hours 小时）
|
||||
"dedup_reset": "day",
|
||||
"dedup_hours": 6,
|
||||
# 注意：**没有默认 steps**。步骤由前端步骤编辑器编排产出，新建任务时从零开始拖；
|
||||
# 缺 steps 的任务执行时会明确报错（见 run_task），不会静默空跑。
|
||||
}
|
||||
@@ -658,6 +667,11 @@ class GenericStepsWorker(BaseWorker):
|
||||
|
||||
`cmp_value` **可以填多个值**（换行或 `|` 分隔，见 `split_cmp_values`），
|
||||
多个之间是 **OR**——"这几个号都算我的"。要跑多个号的场景就靠它。
|
||||
|
||||
`selector_type="dedup"` 时换成**去重判断**（跨设备幂等，见 `core/dedup.py`）：
|
||||
"这个身份在这个任务里做过了吗"——命中=做过。身份元素填在 `ident_value`
|
||||
（留空则用设备 serial，适合一号一机）；有效期取任务级 `dedup_reset`。
|
||||
多台手机跑同一任务时，任何一台做过了，其余设备的这一步都会命中。
|
||||
返回 True=命中 / False=未命中 / None=缺选择器或 OCR 不可用。
|
||||
"""
|
||||
sel_type = params.get("selector_type", "xpath")
|
||||
@@ -665,16 +679,28 @@ class GenericStepsWorker(BaseWorker):
|
||||
timeout = float(params.get("timeout", 3))
|
||||
cmp_op = str(params.get("cmp_op") or "").strip()
|
||||
cmp_val = str(params.get("cmp_value") or "")
|
||||
if not sel_val:
|
||||
# 去重条件不用 selector_value（身份元素在 ident_value 里），所以别按"缺选择器"拦
|
||||
if not sel_val and sel_type != "dedup":
|
||||
_log.warning(f"[{self.serial}] if_el 缺少选择器，跳过")
|
||||
return None
|
||||
found = False
|
||||
got = None # 比对用的"采集到的值"：元素文本 / OCR 命中文本 / 前台包名
|
||||
# 非元素类条件（屏幕状态/前台 App）：不参与"选择器健康"统计——它们不是选择器，
|
||||
# 非元素类条件（屏幕状态/前台 App/去重）：不参与"选择器健康"统计——它们不是选择器，
|
||||
# 连续未命中不该被记成"选择器失效"
|
||||
dynamic = sel_type in ("screen", "foreground")
|
||||
dynamic = sel_type in ("screen", "foreground", "dedup")
|
||||
detail = ""
|
||||
if sel_type == "screen":
|
||||
if sel_type == "dedup":
|
||||
# 去重条件：**这个身份在这个任务里做过了吗**（跨设备共享一份账本，
|
||||
# 见 core/dedup.py）。命中=做过 → 走 then 分支（通常放"跳过/停止/发通知"）。
|
||||
kind, hours = self._dedup_policy()
|
||||
ident = self._dedup_identity(d, params, "ident_type", "ident_value")
|
||||
if ident is None:
|
||||
found = False # 身份判定不了 → 当"没做过"，照常往下做（宁可重复不误拦）
|
||||
detail = "去重：身份读不到，按未做过处理"
|
||||
else:
|
||||
found = dedup.check(self.ctx.get("job_id", ""), ident, kind, hours)
|
||||
detail = f"去重：身份『{ident}』{'做过' if found else '没做过'}（有效期 {kind}）"
|
||||
elif sel_type == "screen":
|
||||
# 屏幕亮/熄：selector_value 填 on / off（也认 熄屏/灭屏 这类中文）
|
||||
want = str(sel_val).strip().lower()
|
||||
want_off = want in ("off", "0", "false", "no", "熄屏", "灭屏", "黑屏")
|
||||
@@ -727,7 +753,7 @@ class GenericStepsWorker(BaseWorker):
|
||||
existed = found
|
||||
|
||||
# ---- 文本比对（可选）----
|
||||
if cmp_op and sel_type != "screen":
|
||||
if cmp_op and sel_type not in ("screen", "dedup"):
|
||||
if not found:
|
||||
# 元素都没找到就没什么可比的：算未命中（走 else 分支）。
|
||||
# 这条规则很重要——"没读到"永远不能被当成"和我设的不一样"，
|
||||
@@ -746,8 +772,8 @@ class GenericStepsWorker(BaseWorker):
|
||||
detail = (f"采集到 '{got}' {cmp_op} {n_val} 个候选值 → "
|
||||
f"{'符合' if hit else '不符合'}{extra}")
|
||||
found = hit
|
||||
elif cmp_op and sel_type == "screen":
|
||||
_log.warning(f"[{self.serial}] 屏幕状态没有文本可比，已忽略文本比对设置")
|
||||
elif cmp_op and sel_type in ("screen", "dedup"):
|
||||
_log.warning(f"[{self.serial}] {sel_type} 没有文本可比，已忽略文本比对设置")
|
||||
|
||||
if dynamic:
|
||||
_log.info(f"[{self.serial}] 条件判断 {detail} → {'命中' if found else '未命中'}")
|
||||
@@ -763,6 +789,59 @@ class GenericStepsWorker(BaseWorker):
|
||||
self._exec_steps(d, branch, depth + 1)
|
||||
return found
|
||||
|
||||
def _dedup_policy(self):
|
||||
"""任务级去重有效期（`dedup_reset` / `dedup_hours`）→ (kind, hours)。
|
||||
|
||||
**刻意放任务级**：检查与记账两处各填一份的话，填不一致就会算出两个不同的 key、
|
||||
去重静默失效（最难查的那种 bug）。认不出的值一律回退 `day`。
|
||||
"""
|
||||
p = self.params or {}
|
||||
kind = str(p.get("dedup_reset") or dedup.KIND_DAY).strip()
|
||||
if kind not in dedup.RESET_KINDS:
|
||||
kind = dedup.KIND_DAY
|
||||
try:
|
||||
hours = int(p.get("dedup_hours") or dedup.DEFAULT_HOURS)
|
||||
except (TypeError, ValueError):
|
||||
hours = dedup.DEFAULT_HOURS
|
||||
return kind, max(1, hours)
|
||||
|
||||
def _dedup_identity(self, d, params, tkey, vkey):
|
||||
"""算去重身份：填了身份元素就读它的文本；留空则用设备 serial（一号一机场景）。
|
||||
|
||||
返回 None = **无法判定**（读不到值）→ 调用方必须"不去重"。
|
||||
宁可漏拦一次，也不能把"读不到"当成空身份——那会让所有设备共用一个 key，
|
||||
第一台记账之后其余全被误跳过（同一个号一台都没做，却被判"做过"）。
|
||||
"""
|
||||
sel_val = (params.get(vkey) or "").strip()
|
||||
if not sel_val:
|
||||
return self.serial
|
||||
txt = self._read_element_text(d, params.get(tkey) or "text", sel_val)
|
||||
if not txt:
|
||||
_log.warning(f"[{self.serial}] 去重身份元素读不到值（{sel_val}）→ 本次不去重")
|
||||
return None
|
||||
return txt
|
||||
|
||||
def _exec_mark_done(self, d, params, depth=0):
|
||||
"""「记为已做」：把身份值记进去重账本（跨设备幂等）。
|
||||
|
||||
**放在动作成功之后**：动作失败就不记账，下次重跑会重试该设备——
|
||||
拆成"检查在前、记账在后"两步，天然就是"成功才记账、失败不丢"。
|
||||
身份读不到时**不记账**（记一个空身份会把别人挡住）。
|
||||
"""
|
||||
kind, hours = self._dedup_policy()
|
||||
ident = self._dedup_identity(d, params, "selector_type", "selector_value")
|
||||
if ident is None:
|
||||
self.set_action("记为已做：身份读不到 → 本次不记（下次重跑会重试）")
|
||||
return True
|
||||
first = dedup.mark(self.ctx.get("job_id", ""), ident, kind, hours,
|
||||
serial=self.serial,
|
||||
device_name=self.ctx.get("device_name", ""),
|
||||
job_name=self.ctx.get("job_name", ""))
|
||||
who = "首次" if first else "已存在（别处先记过）"
|
||||
_log.info(f"[{self.serial}] 记为已做：身份『{ident}』 → {who}")
|
||||
self.set_action(f"记为已做：『{ident}』{who}")
|
||||
return True
|
||||
|
||||
def _read_element_text(self, d, sel_type, sel_val):
|
||||
"""取选中元素的文本（文本比对用）。读不到返回 ""。
|
||||
|
||||
|
||||
@@ -590,6 +590,7 @@ body{background:var(--bg);font-family:var(--body);color:var(--text);font-size:14
|
||||
<button class="sub-tab active" data-sub="plan" onclick="showSubTab('tasks','plan')">任务计划</button>
|
||||
<button class="sub-tab" data-sub="actions" onclick="showSubTab('tasks','actions')">自定义动作</button>
|
||||
<button class="sub-tab" data-sub="actioncfg" onclick="showSubTab('tasks','actioncfg')">动作配置</button>
|
||||
<button class="sub-tab" data-sub="dedup" onclick="showSubTab('tasks','dedup')">去重记录</button>
|
||||
</div>
|
||||
|
||||
<!-- 子分栏 1：任务计划 -->
|
||||
@@ -849,6 +850,32 @@ body{background:var(--bg);font-family:var(--body);color:var(--text);font-size:14
|
||||
</div>
|
||||
<div id="act-lib-list" style="flex:1;overflow-y:auto;min-height:200px;display:flex;flex-direction:column;gap:8px"></div>
|
||||
</div>
|
||||
|
||||
<!-- 子分栏 4：去重记录（done_mark 表 = 跨设备"已做过"账本） -->
|
||||
<div class="sub-panel" id="tasks-sub-dedup">
|
||||
<div class="help">
|
||||
<b>去重账本</b>：任务里用「条件判断 → 去重」+「记为已做」两个步骤，把"这个身份做过了"记在这里，
|
||||
<b>所有设备共享一份</b>——所以多个手机跑同一个任务、反复重跑，也不会把同一个号做两次。<br>
|
||||
<span class="text-muted">想让它重跑：删掉对应那条（单个号/单台设备）或「清空本任务记录」。
|
||||
有效期在任务编辑器的<b>「去重有效期」</b>里设（每天一次 / 只做一次 / 按小时）；「只做一次」的记录不会被自动清理。</span>
|
||||
</div>
|
||||
<div class="toolbar" style="gap:10px;flex-wrap:wrap">
|
||||
<select class="form-control" id="dedup-job" style="width:280px" onchange="loadDedup()">
|
||||
<option value="">全部任务</option>
|
||||
</select>
|
||||
<button class="btn" onclick="loadDedup()">刷新</button>
|
||||
<button class="btn btn-danger" onclick="clearJobDedup()" data-perm="tasks">清空本任务记录</button>
|
||||
<span class="text-muted" id="dedup-stats"></span>
|
||||
</div>
|
||||
<table class="table">
|
||||
<thead><tr>
|
||||
<th style="width:160px">时间</th><th style="width:90px">设备</th>
|
||||
<th style="width:150px">身份值</th><th style="width:110px">有效期</th>
|
||||
<th>任务</th><th style="width:120px">操作</th>
|
||||
</tr></thead>
|
||||
<tbody id="tb-dedup"><tr><td colspan="6" class="empty">暂无记录</td></tr></tbody>
|
||||
</table>
|
||||
</div>
|
||||
</div>
|
||||
|
||||
<!-- ========== Tab 4: 日志 ========== -->
|
||||
@@ -1453,5 +1480,6 @@ body{background:var(--bg);font-family:var(--body);color:var(--text);font-size:14
|
||||
<script src="/static/admin/notify.js"></script>
|
||||
<script src="/static/admin/steplog.js"></script>
|
||||
<script src="/static/admin/recorder.js"></script>
|
||||
<script src="/static/admin/dedup.js"></script>
|
||||
</body>
|
||||
</html>
|
||||
|
||||
+51
-1
@@ -9,7 +9,7 @@ from concurrent.futures import ThreadPoolExecutor, as_completed, TimeoutError as
|
||||
from flask import (Blueprint, jsonify, request, Response)
|
||||
from flask_login import login_required, current_user
|
||||
|
||||
from core import device_pool, uiauto_helper, step_defaults
|
||||
from core import device_pool, uiauto_helper, step_defaults, dedup
|
||||
from core.adb_helper import adb_connect_light
|
||||
from core.models import db, DeviceGroup, TaskJob, CustomAction
|
||||
from core.logger import get_logger
|
||||
@@ -320,6 +320,56 @@ def api_step_defaults_save():
|
||||
return jsonify({"ok": True, "msg": msg, **step_defaults.as_payload()})
|
||||
|
||||
|
||||
# ================== API：去重记录（「任务 → 去重记录」页） ==================
|
||||
#
|
||||
# 账本在 done_mark 表（跨设备幂等，见 core/dedup.py）；任务步骤怎么用它见
|
||||
# tasks/generic/task.py 的 `_exec_mark_done` 与 if_el 的 `selector_type=dedup`。
|
||||
|
||||
@bp.route("/api/done_marks")
|
||||
@login_required
|
||||
def api_done_marks():
|
||||
"""去重记录列表 + 统计（?job=<任务ID> 只看某个任务）。"""
|
||||
job_id = (request.args.get("job") or "").strip()
|
||||
try:
|
||||
limit = int(request.args.get("limit") or 200)
|
||||
except ValueError:
|
||||
limit = 200
|
||||
try:
|
||||
rows, stats = dedup.list_marks(job_id, limit)
|
||||
except Exception as e:
|
||||
_log.warning(f"读取去重记录失败: {e}")
|
||||
return jsonify({"ok": False, "error": str(e)[:120]}), 503
|
||||
return jsonify({"ok": True, "marks": rows, "stats": stats, "job_id": job_id})
|
||||
|
||||
|
||||
@bp.route("/api/done_marks/delete", methods=["POST"])
|
||||
@perm_required(PERM_TASKS)
|
||||
def api_done_marks_delete():
|
||||
"""删一条记录 → 那个号/那台设备可以重跑。"""
|
||||
data = request.json or {}
|
||||
mark_id = data.get("id")
|
||||
if mark_id in (None, ""):
|
||||
return jsonify({"ok": False, "error": "缺少 id"}), 400
|
||||
if not dedup.delete_mark(mark_id):
|
||||
return jsonify({"ok": False, "error": "记录不存在或删除失败"}), 404
|
||||
_log.info("删除去重记录 #%s by %s", mark_id, getattr(current_user, "username", ""))
|
||||
return jsonify({"ok": True, "msg": "已删除（该设备/身份下次会重新执行）"})
|
||||
|
||||
|
||||
@bp.route("/api/done_marks/clear", methods=["POST"])
|
||||
@perm_required(PERM_TASKS)
|
||||
def api_done_marks_clear():
|
||||
"""清空某个任务的全部记录 → 整批重跑。"""
|
||||
data = request.json or {}
|
||||
job_id = (data.get("job") or "").strip()
|
||||
if not job_id:
|
||||
return jsonify({"ok": False, "error": "缺少任务ID"}), 400
|
||||
n = dedup.clear_job(job_id)
|
||||
_log.info("清空去重记录：任务 %s 共 %s 条 by %s", job_id, n,
|
||||
getattr(current_user, "username", ""))
|
||||
return jsonify({"ok": True, "msg": f"已清空 {n} 条记录（该任务下次会全部重跑）", "deleted": n})
|
||||
|
||||
|
||||
# ================== API：用户管理 CRUD ==================
|
||||
|
||||
@bp.route("/api/custom_actions")
|
||||
|
||||
@@ -101,6 +101,9 @@ device_discovery.init_app(app)
|
||||
# 设备电量采集：定时 dumpsys battery（只读）→ 内存缓存 → /api/status 展示 + 低电量告警
|
||||
from core import device_battery
|
||||
device_battery.init_app(app)
|
||||
# 去重账本（跨设备幂等）：绑 app 供任务线程/Web/清理任务自推 context
|
||||
from core import dedup
|
||||
dedup.init_app(app)
|
||||
mgr = TaskManager(app=app)
|
||||
# 设备换地址（认领/迁址）后同步分组与任务的引用：它们的"内存副本"在 TaskManager 里
|
||||
# （调度用内存对象），device_pool 只改库不改内存不生效，所以在此注册回调打通
|
||||
@@ -134,6 +137,20 @@ def _purge_step_log_async():
|
||||
threading.Thread(target=_purge_step_log, daemon=True).start()
|
||||
|
||||
|
||||
def _purge_done_mark():
|
||||
"""清理过期的去重记录（每日 04:23）。
|
||||
|
||||
**只清 day/hours 桶**：`kind='all'`（"只做一次"）的记录清了就等于去重失效，
|
||||
见 core/dedup.purge_old。量级很小（设备数 × 天数），单条 DELETE 足够。
|
||||
"""
|
||||
try:
|
||||
from core.dedup import purge_old
|
||||
with app.app_context():
|
||||
purge_old()
|
||||
except Exception as e:
|
||||
_log.warning(f"去重记录清理失败（不影响主服务）: {e}")
|
||||
|
||||
|
||||
# 经验库每日 AI 巡检（凌晨 03:47）：评审标记疑似问题经验，删除只走人工确认。
|
||||
# 巡检线程在 run_experience_audit 内自建 app context，不依赖这里。
|
||||
try:
|
||||
@@ -145,6 +162,8 @@ try:
|
||||
# 步骤明细清理：超过保留期（core/step_log.KEEP_DAYS）的记录每天删一次。
|
||||
# 不清理的话这张表是唯一无界增长的表，会一路顶大备份包。
|
||||
_audit_sched.add_job(_purge_step_log, CronTrigger(hour=4, minute=13))
|
||||
# 去重记录清理：只清 day/hours 桶（all 永不清理，清了等于"只做一次"失效）
|
||||
_audit_sched.add_job(_purge_done_mark, CronTrigger(hour=4, minute=23))
|
||||
_audit_sched.start()
|
||||
_log.info("经验库每日巡检已注册（03:47 Asia/Shanghai）")
|
||||
except Exception as e:
|
||||
|
||||
Reference in New Issue
Block a user