Compare commits
11
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
 butubb
|
af33d5e4a2 | ||
|
butubb
|
773cfbb763 | ||
|
butubb
|
73895f7233 | ||
|
butubb
|
f62bc8da28 | ||
|
butubb
|
97e2883fec | ||
|
butubb
|
bd51306a2a | ||
|
butubb
|
cc72591773 | ||
|
butubb
|
9a44eeba95 | ||
|
butubb
|
77eb53b4b2 | ||
|
butubb
|
c29516cff5 | ||
|
butubb
|
cf075ba4e1 |
@@ -13,6 +13,8 @@ logs/*.log
|
||||
data/*.log
|
||||
data/apks/*.apk
|
||||
data/*.migrated
|
||||
# uiauto.pid 之类的运行时 PID 文件（**注释必须单独一行**：gitignore 不支持行尾注释）
|
||||
data/*.pid
|
||||
data/*.db-shm
|
||||
data/*.db-wal
|
||||
|
||||
|
||||
@@ -46,7 +46,11 @@
|
||||
| **多设备并发任务** | 每设备一个 Worker 线程；同一设备同时只跑一个任务（可配置"抢占"打断其他任务） |
|
||||
| **设备池** | SQLite 清单 + adb 在线状态；支持手工添加、网段自动发现、一键重连、型号采集、启用/停用 |
|
||||
| **任务调度** | 手动 / cron 定时 / 定时启停；运行窗口；失败重试（含端口耗尽类的长退避） |
|
||||
| **步骤编辑器** | 可视化拖拽编排 18 种步骤（含循环/条件/OCR），可打包成"自定义动作"复用 |
|
||||
| **步骤编辑器** | 可视化拖拽编排 21 种步骤（含循环/条件/OCR/通知/录制回放），可打包成"自定义动作"复用 |
|
||||
| **拟人化操作** | 滑动默认走弧线轨迹、位置/幅度/时长每次抖动，且**每台设备有自己的手速与习惯**（同设备风格稳定、设备之间明显不同）——批量跑时不像同步机器人（见 [TASK_DEV.md](doc/TASK_DEV.md) §8.4） |
|
||||
| **录制回放** | 「录制手势」步骤 = **纯录制**：**用手指在真机上划**（读 getevent 真触屏）或在网页画面上拖，把轨迹点列原样存下来，回放时**照原路径与时长重放**——不套滑动那套方向/幅度/拟人参数 |
|
||||
| **动作配置 / 录制** | 「任务 → 动作配置」：① 配**步骤默认值**（新建步骤预填：滑动时长/幅度/抖动/拟人、点击超时、等待区间…）② **录制动作**——在设备画面上点/划/按键，自动翻译成步骤（点元素记选择器、划一下记方向/幅度/时长），可存成可复用动作，也可只取一个手势回填滑动步骤 |
|
||||
| **公共巡检** | 任务级的守护条件（**独立于步骤画布**）：每 N 秒检查屏幕亮/熄、元素在不在、前台是不是某 App，命中就点亮/息屏/停本设备/推通知——通知标题正文自己写（见 [TASK_DEV.md](doc/TASK_DEV.md) §4.5） |
|
||||
| **元素抓取** | 拉取设备 UI 元素树 → 点选回填选择器；支持"点一下"与"测选择器"真机验证 |
|
||||
| **实时看屏** | MJPEG 实时流 + 点击/滑动/按键/文字输入；全屏监控大屏（`/wall`） |
|
||||
| **应用管理** | APK 上传/解析/批量安装；设备已装应用与版本查询；剪贴板注入 |
|
||||
@@ -138,8 +142,11 @@ auto_control/
|
||||
│ ├── clipboard_helper.py # 剪贴板注入（ClipInject 通道）
|
||||
│ ├── apk_manager.py # APK 上传/解析/批量安装
|
||||
│ ├── system_backup.py # 数据备份导出/导入（重启生效）
|
||||
│ ├── humanize.py # 拟人化：弧线滑动/抖动 + 每台设备的"手感"（按 serial 播种）
|
||||
│ ├── notifier.py # 通知分发（队列/聚合/限流/适配器）+ notify_events.py 事件目录
|
||||
│ ├── step_log.py # 任务步骤明细（异步写线程 + 保留期清理）
|
||||
│ ├── patrol.py # 任务级公共巡检（检查项/动作注册表，穿插执行）
|
||||
│ ├── step_defaults.py # 步骤默认值（app_meta 单键，出厂值 + 用户覆盖）
|
||||
│ ├── tailscale_client.py # Tailscale API v2 客户端
|
||||
│ ├── ssh_client.py # SSH 封装（当前无人调用，预留）
|
||||
│ ├── logger.py # 分文件日志（core/task/web/action）
|
||||
@@ -148,7 +155,7 @@ auto_control/
|
||||
├── tasks/ # 任务定义层
|
||||
│ ├── base.py # BaseTask + _TASK_TYPES + register_task
|
||||
│ └── generic/ # 通用步骤任务（task_type=generic_steps，当前唯一类型）
|
||||
│ └── task.py # STEP_TYPES（18 种步骤）+ Worker + 执行器
|
||||
│ └── task.py # STEP_TYPES（21 种步骤）+ Worker + 执行器
|
||||
│
|
||||
├── mcp_server/ # MCP Server（20 个 de_* 工具，:8033）
|
||||
│ ├── mcp_server.py # 工具定义 + 平台登录 + 门控
|
||||
@@ -185,7 +192,7 @@ auto_control/
|
||||
|
||||
```
|
||||
base.js → markdown.js → list.js → monitor.js → editor.js → tasks.js
|
||||
→ tools.js → apps.js → admin.js → agent.js → taskgen.js → system.js → notify.js → steplog.js
|
||||
→ tools.js → apps.js → admin.js → agent.js → taskgen.js → system.js → notify.js → steplog.js → recorder.js
|
||||
```
|
||||
|
||||
---
|
||||
@@ -246,7 +253,7 @@ self.set_progress(done=5, total=80, unit="视频", action_counts={"like": 3}, el
|
||||
| Tab | 内容 | 可见性 |
|
||||
|-----|------|--------|
|
||||
| **监控** | 统计卡片 + 设备表（在线/型号/任务状态/进度/前台 App/最近错误，支持排序、搜索、分页、多选批量操作）+ 异常汇总 + **任务运行概况**（每张任务卡：执行任务 / 停用任务 + 覆盖设备彩色 chip）；导航栏「📺 大屏」打开 `/wall` | 所有登录用户（设备操作按钮需"设备控制"） |
|
||||
| **任务** | 子分栏：**任务计划**（CRUD / 启停 / 执行 / 下次运行时间 / 离线跳过 / 步骤编辑器）、**自定义动作**（步骤打包复用） | 可看；写操作需"任务管理" |
|
||||
| **任务** | 子分栏：**任务计划**（CRUD / 启停 / 执行 / 下次运行时间 / 离线跳过 / 步骤编辑器 / **公共巡检**）、**自定义动作**（步骤打包复用）、**动作配置**（步骤默认值 + 录制动作） | 可看；写操作需"任务管理" |
|
||||
| **日志** | 子分栏：**文件日志**（文件切换含滚动历史、关键字/级别/时间过滤、命中高亮、下载筛选结果、自动刷新）、**步骤明细**（按设备/任务/结果/时间过滤、按运行归组的概览、导出 CSV） | 需"日志查看" |
|
||||
| **用户** | 用户 CRUD、改密、分配权限 | 仅管理员 |
|
||||
| **工具** | 8 个子分栏：剪贴板注入 / adb 远程终端 / Tailscale 管理 / 应用管理 / 应用版本管理 / 设备已装应用 / **设备池管理**（含自动发现）/ 设备分组 | 仅管理员 |
|
||||
@@ -274,7 +281,7 @@ self.set_progress(done=5, total=80, unit="视频", action_counts={"like": 3}, el
|
||||
|
||||
`generic_steps` 的执行内容全在 `params.steps`（JSON 数组），由步骤编辑器产出。**没有默认步骤**——空步骤任务执行时会明确报错。
|
||||
|
||||
**18 种步骤**（完整参数见 [doc/TASK_DEV.md](doc/TASK_DEV.md)）：
|
||||
**21 种步骤**（完整参数见 [doc/TASK_DEV.md](doc/TASK_DEV.md)）：
|
||||
|
||||
| 类别 | 步骤 |
|
||||
|------|------|
|
||||
@@ -396,7 +403,7 @@ read_log_text()`，`file` 参数走白名单，不接受任意路径。
|
||||
| [doc/ARCHITECTURE.md](doc/ARCHITECTURE.md) | 架构详解（分层、装配顺序、线程模型、设备生命周期、调度链路、设计决策） |
|
||||
| [doc/DATA_MODEL.md](doc/DATA_MODEL.md) | 数据模型（表结构、迁移、`app_meta`、数据目录、备份覆盖清单） |
|
||||
| [doc/API.md](doc/API.md) | HTTP 接口全量说明 |
|
||||
| [doc/TASK_DEV.md](doc/TASK_DEV.md) | 任务与步骤开发（18 种步骤、选择器、自定义动作、新增任务类型） |
|
||||
| [doc/TASK_DEV.md](doc/TASK_DEV.md) | 任务与步骤开发（21 种步骤、公共巡检、录制回放、选择器、自定义动作） |
|
||||
| [doc/MCP.md](doc/MCP.md) · [doc/MCP_DESIGN.md](doc/MCP_DESIGN.md) | MCP 使用手册 / 设计文档 |
|
||||
| [doc/AI_CONSOLE.md](doc/AI_CONSOLE.md) · [doc/AI_TASK_GEN.md](doc/AI_TASK_GEN.md) | AI 控制台机制 / AI 建任务设计（规划） |
|
||||
| [doc/DEPLOY.md](doc/DEPLOY.md) | 部署与运维（含生产容器、备份导入、故障排查） |
|
||||
|
||||
+276
@@ -0,0 +1,276 @@
|
||||
"""录制手势：**纯录制、纯回放**——录下真实手指的轨迹与时间，回放时一模一样地重放。
|
||||
|
||||
和「滑动」步骤的区别（这是两套东西，别混）：
|
||||
|
||||
| | `swipe` 步骤 | `gesture` 步骤（本模块） |
|
||||
|---|---|---|
|
||||
| 内容 | 方向 + 幅度 + 时长区间 | **完整轨迹点列** `[[x, y, t_ms], ...]` |
|
||||
| 回放 | 每次重新生成（弧线/抖动/本设备手速） | **照录制的路径与时间逐点重放**，不加任何修饰 |
|
||||
| 适合 | 通用滑动，换设备也能用 | 你亲手划的、要求一模一样的手势 |
|
||||
|
||||
两个录制来源：
|
||||
1. **手机上录**（`PhoneRecorder`）：`getevent` 读**真触屏**设备，抓的是你手指的真实轨迹
|
||||
——注意合成的注入事件不会出现在真触屏节点上（实测确认），所以录到的只有人手的动作；
|
||||
2. **网页上录**：看着设备画面拖鼠标，前端采样路径与时间（见 `static/admin/recorder.js`）。
|
||||
|
||||
## 回放怎么做（实测定的，别改回去）
|
||||
|
||||
**一次调用把整条轨迹交给设备**（`d.swipe_points(points, duration)`），不是逐点注入。
|
||||
原因：实测这台设备上**单次触摸注入 RPC ≈190ms**（`d.touch.move` 25 次平均 190ms），
|
||||
逐点回放 20 个点要 3.8 秒——比录的手势慢一个数量级，根本不能用。所以只能让设备
|
||||
自己去插值：`swipe_points` 内部按 `steps = duration/0.005` 在轨迹上均匀推进，
|
||||
手势的真实速度由设备端决定。
|
||||
|
||||
拿到"时间"靠的是**点密度**：手指慢的地方采样点天然更密（单位长度上点更多），
|
||||
无论设备是按弧长均匀插值还是按段均匀插值，"点密的段落走得更久"都成立
|
||||
——所以把**录制的原始点 + 录制总时长**一起交给设备，速度曲线就能大致还原。
|
||||
"""
|
||||
import re
|
||||
import subprocess
|
||||
import threading
|
||||
import time
|
||||
|
||||
from core.adb_helper import ADB_PATH
|
||||
from core.logger import get_logger
|
||||
|
||||
_log = get_logger("core.gesture")
|
||||
|
||||
# 采样下限：手指在 16ms 内位移极小，比这更密的点只增加注入次数与延迟误差
|
||||
MIN_GAP_MS = 16
|
||||
MAX_POINTS = 240 # 单条手势的点数上限（约 4s @60Hz，够用且不让步骤 JSON 膨胀）
|
||||
MAX_REPLAY_POINTS = 40 # 回放时最多发给设备多少个点（实测每点开销大，40 点是画质/耗时折中）
|
||||
MIN_POINTS = 2
|
||||
|
||||
# getevent -lt 的行： [ 12345.678901] EV_ABS ABS_MT_POSITION_X 000003e8
|
||||
# 第 4 列不能限定十六进制：BTN_TOUCH 的值是 DOWN/UP 这类**键名**（含非十六进制字母），
|
||||
# 限定 [0-9a-fA-F]+ 会让这些行整个被跳过 → 老协议解析不出任何手势
|
||||
_LINE_RE = re.compile(r"\[\s*([\d.]+)\]\s+(\S+)\s+(\S+)\s+(\S+)")
|
||||
|
||||
# "像真触屏"的设备名特征（先挑这些）；明显是合成/虚拟的一律排除
|
||||
_TOUCH_HINTS = ("ts", "touch", "goodix", "fts", "synaptics", "novatek", "himax", "sec_touch")
|
||||
_VIRTUAL_HINTS = ("uinput", "virtual", "vitural", "sar", "gpio", "pon", "jack", "button")
|
||||
|
||||
|
||||
# ================== 点列处理 ==================
|
||||
|
||||
def clean_points(points, min_gap_ms=MIN_GAP_MS, max_points=MAX_POINTS):
|
||||
"""规范点列：丢掉过密的采样、限制总数，时间归零到第一点。
|
||||
|
||||
输入/输出都是 `[[x, y, t_ms], ...]`（t 为相对第一点的毫秒）。点数不足 2 返回 []。
|
||||
"""
|
||||
pts = []
|
||||
for p in points or []:
|
||||
try:
|
||||
pts.append([int(p[0]), int(p[1]), float(p[2])])
|
||||
except (TypeError, ValueError, IndexError):
|
||||
continue
|
||||
if len(pts) < MIN_POINTS:
|
||||
return []
|
||||
out = [pts[0]]
|
||||
for p in pts[1:-1]:
|
||||
if (p[2] - out[-1][2]) >= min_gap_ms:
|
||||
out.append(p)
|
||||
# 末点**必须保留**：它决定手势收尾在哪（快划时中间点稀，终点不能跟着丢）
|
||||
if pts[-1][:2] != out[-1][:2] or pts[-1][2] > out[-1][2]:
|
||||
out.append(pts[-1])
|
||||
if len(out) < MIN_POINTS:
|
||||
return []
|
||||
if len(out) > max_points: # 均匀抽稀，保住首尾
|
||||
step = len(out) / float(max_points)
|
||||
out = [out[min(len(out) - 1, int(i * step))] for i in range(max_points)]
|
||||
t0 = out[0][2]
|
||||
for p in out:
|
||||
p[2] = int(round(p[2] - t0))
|
||||
return out
|
||||
|
||||
|
||||
def duration_ms(points):
|
||||
return int(points[-1][2]) if points else 0
|
||||
|
||||
|
||||
def replay(d, points, speed=1.0):
|
||||
"""按录制的轨迹与时长回放（一次调用交给设备插值）。返回发给设备的参数。
|
||||
|
||||
点太多会让设备端逐点开销累积（实测每个点约 1s 量级），所以超过 MAX_REPLAY_POINTS
|
||||
就抽稀——路径形状基本不变，但快得多。首尾点一定保留。
|
||||
"""
|
||||
pts = clean_points(points, min_gap_ms=0) # 回放不再按时间丢点
|
||||
if len(pts) < MIN_POINTS:
|
||||
raise ValueError("手势点列无效（少于 2 个点）")
|
||||
if len(pts) > MAX_REPLAY_POINTS:
|
||||
n = MAX_REPLAY_POINTS
|
||||
step = (len(pts) - 1) / float(n - 1)
|
||||
pts = [pts[min(len(pts) - 1, int(round(i * step)))] for i in range(n)]
|
||||
speed = max(0.1, float(speed or 1.0))
|
||||
dur = max(0.05, duration_ms(pts) / 1000.0 / speed)
|
||||
xy = [[x, y] for x, y, _ in pts]
|
||||
try:
|
||||
d.swipe_points(xy, dur)
|
||||
except Exception as e: # 有的设备/agent 不支持多点注入
|
||||
_log.warning("swipe_points 回放失败（%s），退回直线滑动", e)
|
||||
d.swipe(xy[0][0], xy[0][1], xy[-1][0], xy[-1][1], dur)
|
||||
return {"points": len(pts), "duration": round(dur, 3)}
|
||||
|
||||
|
||||
# ================== getevent 解析（纯函数，好单测） ==================
|
||||
|
||||
def parse_getevent(lines, max_x, max_y, screen_w, screen_h):
|
||||
"""把 getevent 行流解析成若干条轨迹 `[[x, y, t_ms], ...]`（屏幕坐标）。
|
||||
|
||||
兼容两套协议：`BTN_TOUCH DOWN/UP`（老）与 `ABS_MT_TRACKING_ID`（新，-1=抬起）。
|
||||
只认 EV_ABS 的 X/Y；Y 到达时才落一个点（X/Y 是先后到达的两个事件）。
|
||||
"""
|
||||
strokes, cur = [], None
|
||||
lx = ly = 0
|
||||
t0 = None
|
||||
for ln in lines or []:
|
||||
m = _LINE_RE.search(ln)
|
||||
if not m:
|
||||
continue
|
||||
ts, kind, code, val = float(m.group(1)), m.group(2), m.group(3), m.group(4)
|
||||
if kind == "EV_ABS":
|
||||
if code == "ABS_MT_POSITION_X":
|
||||
lx = int(val, 16)
|
||||
elif code == "ABS_MT_POSITION_Y":
|
||||
ly = int(val, 16)
|
||||
if cur is not None:
|
||||
if t0 is None:
|
||||
t0 = ts
|
||||
cur.append([lx, ly, (ts - t0) * 1000.0])
|
||||
elif code == "ABS_MT_TRACKING_ID":
|
||||
if val.lower().endswith("ffffffff"): # 抬起
|
||||
if cur:
|
||||
strokes.append(cur)
|
||||
cur = None
|
||||
elif cur is None: # 按下
|
||||
cur = []
|
||||
elif kind == "EV_KEY" and code == "BTN_TOUCH":
|
||||
if val == "DOWN":
|
||||
if cur is None:
|
||||
cur = []
|
||||
else:
|
||||
if cur:
|
||||
strokes.append(cur)
|
||||
cur = None
|
||||
if cur:
|
||||
strokes.append(cur)
|
||||
|
||||
sx = float(screen_w) / max_x if max_x else 1.0
|
||||
sy = float(screen_h) / max_y if max_y else 1.0
|
||||
out = []
|
||||
for st in strokes:
|
||||
pts = [[int(round(x * sx)), int(round(y * sy)), t] for x, y, t in st]
|
||||
pts = clean_points(pts)
|
||||
if len(pts) >= MIN_POINTS:
|
||||
out.append(pts)
|
||||
return out
|
||||
|
||||
|
||||
def find_touch_device(serial, screen_w=0, screen_h=0):
|
||||
"""找真触屏设备，返回 (device_path, max_x, max_y)；找不到返回 (None, 0, 0)。
|
||||
|
||||
设备名里带 uinput/virtual/sar/gpio 的一律排除（那些是合成输入）；
|
||||
多个候选时优先名字像触屏的，其次挑坐标范围最接近屏幕的那个。
|
||||
"""
|
||||
from core.adb_helper import _adb
|
||||
out = _adb("-s", serial, "shell", "getevent -pl") or ""
|
||||
cands, dev, name = [], None, ""
|
||||
for ln in out.splitlines():
|
||||
s = ln.strip()
|
||||
if s.startswith("add device"):
|
||||
dev, name = s.split(":", 1)[-1].strip(), ""
|
||||
elif s.startswith("name:"):
|
||||
name = s.split(":", 1)[1].strip().strip('"')
|
||||
elif "ABS_MT_POSITION_X" in s or "ABS_MT_POSITION_Y" in s:
|
||||
m = re.search(r"max (\d+)", s)
|
||||
if not (dev and m):
|
||||
continue
|
||||
key = "x" if "POSITION_X" in s else "y"
|
||||
for c in cands:
|
||||
if c[0] == dev:
|
||||
c[1 if key == "x" else 2] = int(m.group(1))
|
||||
break
|
||||
else:
|
||||
mx = int(m.group(1)) if key == "x" else 0
|
||||
my = int(m.group(1)) if key == "y" else 0
|
||||
cands.append([dev, mx, my, name])
|
||||
real = [c for c in cands
|
||||
if not any(h in (c[3] or "").lower() for h in _VIRTUAL_HINTS)]
|
||||
pool = real or cands
|
||||
if not pool:
|
||||
return None, 0, 0
|
||||
|
||||
def score(c):
|
||||
hit = any(h in (c[3] or "").lower() for h in _TOUCH_HINTS)
|
||||
return (0 if hit else 1, abs(c[1] - (screen_w or c[1])) + abs(c[2] - (screen_h or c[2])))
|
||||
|
||||
pool.sort(key=score)
|
||||
best = pool[0]
|
||||
_log.info(f"[{serial}] 录制用手势设备: {best[0]} ({best[3]}) {best[1]}x{best[2]}"
|
||||
f"，候选 {[c[0] + '/' + (c[3] or '?') for c in cands]}")
|
||||
return best[0], best[1], best[2]
|
||||
|
||||
|
||||
# ================== 手机端录制 ==================
|
||||
|
||||
class PhoneRecorder:
|
||||
"""在**手机真触屏**上录手指轨迹（getevent 流式读取）。"""
|
||||
|
||||
def __init__(self, serial, screen_w=0, screen_h=0):
|
||||
self.serial = serial
|
||||
self.screen_w = int(screen_w or 0)
|
||||
self.screen_h = int(screen_h or 0)
|
||||
self.device = None
|
||||
self.max_x = self.max_y = 0
|
||||
self._proc = None
|
||||
self._lines = []
|
||||
self._thread = None
|
||||
self._stop = threading.Event()
|
||||
self._started = 0.0
|
||||
self.error = ""
|
||||
|
||||
def start(self):
|
||||
"""起 getevent 子进程并开始收行。失败抛异常（调用方转成用户可读错误）。"""
|
||||
self.device, self.max_x, self.max_y = find_touch_device(
|
||||
self.serial, self.screen_w, self.screen_h)
|
||||
if not self.device or not self.max_x:
|
||||
raise RuntimeError("没找到触屏设备节点，无法在手机上录制")
|
||||
self._proc = subprocess.Popen(
|
||||
[ADB_PATH, "-s", self.serial, "shell", f"getevent -lt {self.device}"],
|
||||
stdout=subprocess.PIPE, stderr=subprocess.STDOUT)
|
||||
self._started = time.time()
|
||||
self._thread = threading.Thread(target=self._pump, daemon=True)
|
||||
self._thread.start()
|
||||
_log.info(f"[{self.serial}] 手机录制已开始（{self.device}）")
|
||||
|
||||
def _pump(self):
|
||||
try:
|
||||
for raw in iter(self._proc.stdout.readline, b""):
|
||||
if self._stop.is_set():
|
||||
break
|
||||
self._lines.append(raw.decode("utf-8", "replace").rstrip())
|
||||
if len(self._lines) > 20000: # 防爆：留最近 2 万行足够解析
|
||||
del self._lines[:5000]
|
||||
except Exception as e:
|
||||
self.error = f"读取事件流失败: {e}"
|
||||
|
||||
def stop(self):
|
||||
"""停止并返回 `[[[x,y,t_ms], ...], ...]`（每条手势一段）。"""
|
||||
self._stop.set()
|
||||
try:
|
||||
if self._proc:
|
||||
self._proc.terminate()
|
||||
try:
|
||||
self._proc.wait(timeout=3)
|
||||
except Exception:
|
||||
self._proc.kill()
|
||||
except Exception:
|
||||
pass
|
||||
if self._thread:
|
||||
self._thread.join(timeout=2)
|
||||
w = self.screen_w or self.max_x
|
||||
h = self.screen_h or self.max_y
|
||||
gestures = parse_getevent(self._lines, self.max_x, self.max_y, w, h)
|
||||
_log.info(f"[{self.serial}] 手机录制结束：{len(self._lines)} 行事件 → "
|
||||
f"{len(gestures)} 条手势（{sum(len(g) for g in gestures)} 点）")
|
||||
return gestures
|
||||
@@ -0,0 +1,186 @@
|
||||
"""拟人化操作：滑动不机械，且**每台设备有自己的手感**。
|
||||
|
||||
分两个层次，别混在一起：
|
||||
|
||||
1. **每次都不一样**（抖动）：起点/终点位置、滑动幅度、时长、弧线方向都随机——
|
||||
最容易被识别的特征不是"慢"，而是"同一帧重复播放"。
|
||||
2. **每台设备稳定不同**（性格）：由 `serial` 派生一份固定的偏好（手速、幅度、
|
||||
弧度、停顿、常用触点的横向位置）。同一台设备多次运行风格一致，不同设备之间
|
||||
明显不同——批量跑 13 台时看起来像 13 个人各刷各的，而不是 13 台同步机器人。
|
||||
|
||||
**性格稳定、抖动随机**，两者都由 serial 播种，不引入全局状态、不做任何 IO。
|
||||
|
||||
性格怎么来的：`crc32(serial)` 作种子 → 几个围绕 1.0 的比例因子（见 `profile()`）。
|
||||
换设备换风格，改名字**不改**风格（按 serial 而不是设备名），换地址会换风格——
|
||||
这符合直觉：地址代表"这一台"。
|
||||
|
||||
想手工看一眼某台设备的性格：`python -c "from core import humanize; print(humanize.profile('192.168.20.55:5555'))"`
|
||||
"""
|
||||
import random
|
||||
import time
|
||||
import zlib
|
||||
|
||||
from core.logger import get_logger
|
||||
|
||||
_log = get_logger("core.humanize")
|
||||
|
||||
_PROFILE_CACHE = {}
|
||||
# serial -> (w, h, ts)：屏幕尺寸缓存（见 screen_size）
|
||||
_SIZE_CACHE = {}
|
||||
_SIZE_TTL = 120
|
||||
|
||||
|
||||
def profile(serial):
|
||||
"""设备性格（按 serial 缓存，恒定）。字段都是围绕 1.0 的比例因子。"""
|
||||
key = str(serial or "")
|
||||
p = _PROFILE_CACHE.get(key)
|
||||
if p is not None:
|
||||
return p
|
||||
# 用独立的 Random 实例而不是全局 random：worker 是多线程的，全局 random 的
|
||||
# 取值顺序会被其它线程打乱 —— 那样"每台设备的性格"就串味了
|
||||
r = random.Random(zlib.crc32(("human:" + key).encode("utf-8")))
|
||||
p = {
|
||||
"speed": r.uniform(0.82, 1.32), # <1 划得快（时长短），>1 划得慢
|
||||
"distance": r.uniform(0.86, 1.16), # 有人习惯一划到底，有人小步快跑
|
||||
"curve": r.uniform(0.4, 1.6), # 弧线弯度系数
|
||||
"x_bias": r.uniform(-0.09, 0.09), # 常用触点的横向偏移（屏幕宽比例）
|
||||
"pause": r.uniform(0.80, 1.35), # 停顿倍率（wait 步骤可选启用）
|
||||
}
|
||||
_PROFILE_CACHE[key] = p
|
||||
return p
|
||||
|
||||
|
||||
def screen_size(d, serial=""):
|
||||
"""屏幕尺寸，带缓存。
|
||||
|
||||
为什么不用 `d.info`：它在部分设备上**极慢**（实测 14s，见 doc/backlog），而
|
||||
尺寸在一次运行里根本不会变。`d.window_size()` 快得多（同设备 0.6s）。
|
||||
缓存 120s 过期：够躲开慢调用，又能在屏幕旋转/换分辨率后自愈。
|
||||
"""
|
||||
key = str(serial or "")
|
||||
now = time.time()
|
||||
hit = _SIZE_CACHE.get(key)
|
||||
if hit and now - hit[2] < _SIZE_TTL:
|
||||
return hit[0], hit[1]
|
||||
try:
|
||||
w, h = d.window_size()
|
||||
except Exception: # 老 agent 没有 window_size 就退回 info
|
||||
info = d.info
|
||||
w, h = info["displayWidth"], info["displayHeight"]
|
||||
w, h = int(w), int(h)
|
||||
if w > 0 and h > 0:
|
||||
_SIZE_CACHE[key] = (w, h, now)
|
||||
return w, h
|
||||
|
||||
|
||||
def _bezier(p0, p1, p2, n):
|
||||
"""二次贝塞尔采样——手指划出来是弧线，不是尺子画的直线。"""
|
||||
pts = []
|
||||
for i in range(n + 1):
|
||||
t = i / n
|
||||
x = (1 - t) ** 2 * p0[0] + 2 * (1 - t) * t * p1[0] + t * t * p2[0]
|
||||
y = (1 - t) ** 2 * p0[1] + 2 * (1 - t) * t * p1[1] + t * t * p2[1]
|
||||
pts.append((int(round(x)), int(round(y))))
|
||||
# 同样的点会连续出现（曲线很平时）——去掉，免得下发冗余坐标
|
||||
out = [pts[0]]
|
||||
for p in pts[1:]:
|
||||
if p != out[-1]:
|
||||
out.append(p)
|
||||
return out
|
||||
|
||||
|
||||
def swipe(d, direction, serial="", duration_min=0.25, duration_max=0.50,
|
||||
distance_ratio=0.6, jitter=0.15, humanize=True):
|
||||
"""按人类习惯滑一下（上/下/左/右）。
|
||||
|
||||
参数：
|
||||
direction 上滑 up / 下滑 down / 左滑 left / 右滑 right
|
||||
serial 用来取本设备的性格（不传就是"普通人"）
|
||||
duration_min/max 手指接触屏幕的时长区间（秒），再乘本设备手速系数
|
||||
distance_ratio 滑动幅度占屏幕高（竖滑）或宽（横滑）的比例，默认 0.6
|
||||
jitter 抖动幅度 0~0.4：位置/幅度/时长各抖这么多；0 = 每次都一样
|
||||
humanize False = 退回老的直线滑动（完全规则，用于对照/排障）
|
||||
|
||||
返回实际参数 dict（时长/起止点），方便日志与排障。异常向上抛，由调用方兜。
|
||||
"""
|
||||
w, h = screen_size(d, serial)
|
||||
prof = profile(serial)
|
||||
vertical = direction in ("up", "down")
|
||||
j = max(0.0, min(float(jitter or 0), 0.4))
|
||||
|
||||
# ---- 时长：用户给的范围 × 本设备手速 × 本次抖动 ----
|
||||
dur = random.uniform(float(duration_min), float(duration_max))
|
||||
dur *= prof["speed"]
|
||||
if j:
|
||||
dur *= 1 + random.uniform(-j, j) * 0.6
|
||||
dur = max(0.08, round(dur, 3))
|
||||
|
||||
# ---- 幅度与中心点 ----
|
||||
span = (h if vertical else w) * float(distance_ratio) * prof["distance"]
|
||||
if j:
|
||||
span *= 1 + random.uniform(-j, j)
|
||||
span = max(0.08, min(span, (h if vertical else w) * 0.92))
|
||||
|
||||
# 起点不在正中：人不会每次都在屏幕同一条线上划
|
||||
if vertical:
|
||||
cx = w * (0.5 + prof["x_bias"] + (random.uniform(-j, j) * 0.6 if j else 0))
|
||||
cx = int(max(w * 0.10, min(cx, w * 0.90)))
|
||||
cy = h * 0.5
|
||||
if j:
|
||||
cy += h * random.uniform(-j, j) * 0.5
|
||||
sign = -1 if direction == "up" else 1
|
||||
p0 = (cx, int(max(h * 0.03, min(cy - sign * span / 2, h * 0.97))))
|
||||
p2 = (cx, int(max(h * 0.03, min(cy + sign * span / 2, h * 0.97))))
|
||||
else:
|
||||
cy = int(h * (0.5 + prof["x_bias"] + (random.uniform(-j, j) * 0.6 if j else 0)))
|
||||
cy = int(max(h * 0.10, min(cy, h * 0.90)))
|
||||
cx = w * 0.5
|
||||
if j:
|
||||
cx += w * random.uniform(-j, j) * 0.5
|
||||
sign = -1 if direction == "left" else 1
|
||||
p0 = (int(max(w * 0.03, min(cx - sign * span / 2, w * 0.97))), cy)
|
||||
p2 = (int(max(w * 0.03, min(cx + sign * span / 2, w * 0.97))), cy)
|
||||
|
||||
if not humanize:
|
||||
# 老行为：正中直线、无抖动（点与点之间由设备等分插值）
|
||||
if vertical:
|
||||
s, e = (0.8, 0.2) if direction == "up" else (0.2, 0.8)
|
||||
base = (int(w * 0.5), int(h * s), int(w * 0.5), int(h * e))
|
||||
else:
|
||||
s, e = (0.8, 0.2) if direction == "left" else (0.2, 0.8)
|
||||
base = (int(w * s), int(h * 0.5), int(w * e), int(h * 0.5))
|
||||
d.swipe(*base, random.uniform(float(duration_min), float(duration_max)))
|
||||
return {"duration": dur, "from": base[:2], "to": base[2:], "human": False}
|
||||
|
||||
# ---- 弧线：控制点在中点、垂直于滑动方向偏移 ----
|
||||
amp = span * 0.05 * prof["curve"]
|
||||
if j:
|
||||
amp *= random.uniform(0.3, 1.0)
|
||||
amp *= random.choice((-1, 1)) # 这次往左弯还是往右弯
|
||||
else:
|
||||
# jitter=0 时不引入任何随机：弯向由设备性格决定，便于对照排障
|
||||
amp *= -1 if prof["curve"] < 1.0 else 1
|
||||
mx, my = (p0[0] + p2[0]) / 2, (p0[1] + p2[1]) / 2
|
||||
if vertical:
|
||||
ctrl = (mx + amp, my)
|
||||
else:
|
||||
ctrl = (mx, my + amp)
|
||||
# 点数刻意压到 4：`swipe_points` 在慢设备上**每多一个点就多约 1s**
|
||||
# （实测 2 点 1.4s / 6 点 6.0s / 10 点 10.6s），而设备自己会在点之间
|
||||
# 插值 70 步，4 个点的贝塞尔已经足够弯
|
||||
pts = _bezier(p0, ctrl, p2, 4)
|
||||
if len(pts) < 2: # 幅度太小时退化成直线
|
||||
pts = [p0, p2]
|
||||
try:
|
||||
d.swipe_points([[x, y] for x, y in pts], dur)
|
||||
except Exception as e: # 老设备/agent 不支持曲线就退回直线
|
||||
_log.warning("swipe_points 不可用，退回直线滑动: %s", e)
|
||||
d.swipe(p0[0], p0[1], p2[0], p2[1], dur)
|
||||
return {"duration": dur, "from": p0, "to": p2, "curve": amp, "human": True}
|
||||
|
||||
|
||||
def pace(serial, seconds, enabled=True):
|
||||
"""按本设备节奏微调一个停顿（wait 步骤可选启用）。enabled=False 原样返回。"""
|
||||
if not enabled:
|
||||
return float(seconds)
|
||||
return float(seconds) * profile(serial)["pause"]
|
||||
+18
-7
@@ -310,10 +310,15 @@ _LEVEL_BY_HINT = (
|
||||
)
|
||||
|
||||
|
||||
def _level_of(event_key):
|
||||
for hints, lv in _LEVEL_BY_HINT:
|
||||
def _level_of(event_key, fields=None):
|
||||
"""消息级别：**事件自己带的 `level` 优先**（步骤「发通知」/巡检都能自己选），
|
||||
否则按事件 key 猜（failed→error、success→success…），猜不到算 info。"""
|
||||
lv = (fields or {}).get("level")
|
||||
if lv in ("info", "success", "warning", "error"):
|
||||
return lv
|
||||
for hints, lv2 in _LEVEL_BY_HINT:
|
||||
if any(h in event_key for h in hints):
|
||||
return lv
|
||||
return lv2
|
||||
return "info"
|
||||
|
||||
|
||||
@@ -331,6 +336,8 @@ _FIELD_LABELS = {
|
||||
"timeout_s": "超时(秒)", "task_job": "原任务", "model": "型号",
|
||||
"apk_name": "应用", "apk_id": "应用ID", "package_name": "包名",
|
||||
"success": "成功", "failed": "失败", "skipped": "跳过", "total": "总数",
|
||||
"title": "标题", "message": "内容", "patrol_name": "巡检",
|
||||
"check_label": "检查", "action_label": "动作", "detail": "结果",
|
||||
"stopped": "停止", "failed_devices": "失败设备",
|
||||
"failed_items": "失败明细", "filename": "文件", "size": "大小(字节)",
|
||||
"tables": "表数", "include_apk": "含APK", "user": "操作人", "operator": "操作人",
|
||||
@@ -350,7 +357,9 @@ def _label(k):
|
||||
|
||||
|
||||
def _subject(ev, fields):
|
||||
"""标题主体：优先任务名，其次设备名/serial。"""
|
||||
"""标题主体：**用户自己写的 title 优先**，其次任务名，再次设备名/serial。"""
|
||||
if fields.get("title"):
|
||||
return str(fields["title"])
|
||||
for k in ("job_name", "apk_name", "hook_name"):
|
||||
if fields.get(k):
|
||||
return str(fields[k])
|
||||
@@ -365,9 +374,11 @@ def build_message(ev, fields, hook=None):
|
||||
"""把事件渲染成统一消息体（title/summary/fields/level/markdown）。"""
|
||||
fields = dict(fields or {})
|
||||
merged = fields.pop("_merged", None)
|
||||
level = _level_of(ev.key)
|
||||
level = _level_of(ev.key, fields)
|
||||
subj = _subject(ev, fields)
|
||||
title = ev.label + (f"：{subj}" if subj else "")
|
||||
# 「发通知」步骤自带标题时**直接用它**：用户写的是"抖音号1 掉线了"，
|
||||
# 前面再挂一个"任务自定义通知："纯属噪音（其它事件照旧带事件名）
|
||||
title = str(fields["title"]) if fields.get("title") else ev.label + (f"：{subj}" if subj else "")
|
||||
if merged and merged.get("merged_count", 0) > 1:
|
||||
title = f"{ev.label}：{subj}" if subj else ev.label
|
||||
title += f"（{merged['merged_count']} 次）"
|
||||
@@ -382,7 +393,7 @@ def build_message(ev, fields, hook=None):
|
||||
continue
|
||||
# 标题里已经写出来的主体（任务名/设备名）不再重复占一行：
|
||||
# "任务批次结束：抖音养号" 下面再来一行 "任务：抖音养号" 是纯噪音
|
||||
if k in ("job_name", "device_name", "apk_name", "hook_name") \
|
||||
if k in ("job_name", "device_name", "apk_name", "hook_name", "title") \
|
||||
and str(v) == str(subj):
|
||||
continue
|
||||
# 设备名优先：两个都带时只显示名字——IP 是给日志看的，通知里没人想读地址
|
||||
|
||||
@@ -96,6 +96,17 @@ EVENTS = [
|
||||
"单次 attempt 抛异常"),
|
||||
|
||||
# ---------------- 业务（任务内容） ----------------
|
||||
_e("task.patrol.hit", "任务巡检命中", "业务",
|
||||
["title", "message", "patrol_name", "check_label", "detail", "action_label",
|
||||
"job_id", "job_name", "serial", "device_name", "model"],
|
||||
"任务里配置的「公共巡检」命中（熄屏/元素/前台…），已执行动作——"
|
||||
"标题正文可在巡检项里自己写，支持 {device}/{job}/{time}/{app}/{screen}",
|
||||
agg_window=0, recommend=True),
|
||||
_e("task.notify.custom", "任务自定义通知", "业务",
|
||||
["title", "message", "job_id", "job_name", "serial", "device_name", "model"],
|
||||
"任务里的「发通知」步骤被触发——标题与正文由任务自己写，支持 "
|
||||
"{device}/{serial}/{job}/{time}/{app}/{screen} 占位符", agg_window=0,
|
||||
recommend=True),
|
||||
_e("task.selector.invalid", "选择器连续失效", "业务",
|
||||
["serial", "device_name", "selector", "miss_count"],
|
||||
"某选择器连续 10 次未命中——任务可能显示成功但什么都没做", agg_window=0,
|
||||
|
||||
+110
@@ -0,0 +1,110 @@
|
||||
"""任务内**公共巡检**：任务运行期间按间隔穿插检查设备状态，命中就动作 + 通知。
|
||||
|
||||
和步骤编辑器的关系（重要，别混）：
|
||||
|
||||
| | 步骤（`params.steps`） | 公共巡检（`params.watchers`） |
|
||||
|---|---|---|
|
||||
| 配置位置 | 步骤画布，拖出来的 | 任务编辑器里单独一块 |
|
||||
| 执行方式 | 顺序执行 | **穿插**：每执行完一步（以及长等待的每个分片）看一眼"哪个巡检到点了" |
|
||||
| 适合什么 | 一段固定流程 | 全程都要盯的守护条件（熄屏就点亮、掉到桌面就通知） |
|
||||
|
||||
为什么用穿插而不是另起线程：不需要并发模型，不会和主流程抢屏幕（否则巡检点屏幕、
|
||||
主流程也在点，动作会互相打断）。代价是巡检精度受步长影响——某一步卡 30 秒，
|
||||
巡检最多晚 30 秒；这也是刻意的取舍（见 doc/TASK_DEV.md §4.5）。
|
||||
|
||||
配置结构（`params.watchers` 数组，每项）：
|
||||
|
||||
```json
|
||||
{"name": "熄屏点亮", "enabled": true, "interval": 60,
|
||||
"check": "screen_off", // 见 CHECKS
|
||||
"selector_type": "xpath", "selector_value": "", // 元素类检查才用
|
||||
"action": "screen_on", // 见 ACTIONS
|
||||
"notify": true, "title": "{device} 熄屏了",
|
||||
"message": "任务 {job} 在 {time} 发现 {screen}，已点亮",
|
||||
"cooldown": 300} // 命中后多久内不再重复动作/通知（防刷屏）
|
||||
```
|
||||
"""
|
||||
from core.logger import get_logger
|
||||
from core.u2_helper import screen_is_on, current_package
|
||||
|
||||
_log = get_logger("task.generic")
|
||||
|
||||
# 检查项：need 说明该项还要填什么（selector=元素选择器 / package=包名）
|
||||
CHECKS = {
|
||||
"screen_off": {"label": "屏幕熄灭", "need": ""},
|
||||
"screen_on": {"label": "屏幕亮着", "need": ""},
|
||||
"element_exists": {"label": "元素存在", "need": "selector"},
|
||||
"element_missing": {"label": "元素不存在", "need": "selector"},
|
||||
"foreground_is": {"label": "前台是该App", "need": "package"},
|
||||
"foreground_not": {"label": "前台不是该App", "need": "package"},
|
||||
}
|
||||
|
||||
ACTIONS = {
|
||||
"none": {"label": "只发通知，不动设备"},
|
||||
"screen_on": {"label": "点亮屏幕"},
|
||||
"screen_off": {"label": "熄灭屏幕"},
|
||||
"stop_self": {"label": "停止本设备任务"},
|
||||
}
|
||||
|
||||
# 通知正文里可用的占位符（前端提示、文档、渲染三处共用一份，避免漂移）
|
||||
PLACEHOLDERS = ("device", "serial", "job", "time", "app", "screen")
|
||||
|
||||
|
||||
def _element_exists(d, sel_type, sel_val):
|
||||
"""元素是否存在（不等超时，立即判定）。一次 UI dump 的代价，慢设备上可能要几秒。"""
|
||||
if sel_type == "xpath":
|
||||
return bool(d.xpath(sel_val).exists())
|
||||
return bool(d(**{sel_type: sel_val}).exists())
|
||||
|
||||
|
||||
def evaluate(d, spec):
|
||||
"""跑一次检查，返回 (是否命中, 一句人话说明)。异常由调用方兜。"""
|
||||
check = str(spec.get("check") or "")
|
||||
val = str(spec.get("selector_value") or "").strip()
|
||||
|
||||
if check in ("screen_off", "screen_on"):
|
||||
state = screen_is_on(d)
|
||||
if state is None:
|
||||
return False, "屏幕状态读不到"
|
||||
hit = (not state) if check == "screen_off" else state
|
||||
return hit, f"屏幕{'亮着' if state else '熄灭'}"
|
||||
|
||||
if check in ("element_exists", "element_missing"):
|
||||
if not val:
|
||||
return False, "没填选择器"
|
||||
found = _element_exists(d, spec.get("selector_type") or "xpath", val)
|
||||
return (found if check == "element_exists" else not found), \
|
||||
f"元素{'存在' if found else '不存在'}"
|
||||
|
||||
if check in ("foreground_is", "foreground_not"):
|
||||
if not val:
|
||||
return False, "没填包名"
|
||||
cur = current_package(d)
|
||||
return (cur == val) if check == "foreground_is" else (cur != val), \
|
||||
f"前台={cur or '未知'}"
|
||||
|
||||
return False, f"未知检查项 {check}"
|
||||
|
||||
|
||||
def act(d, spec, worker=None):
|
||||
"""执行命中后的动作，返回一句人话（没动作返回空串）。"""
|
||||
action = str(spec.get("action") or "none")
|
||||
if action == "screen_on":
|
||||
d.unlock() # 与 screen_on 步骤同语义：唤醒 + 解锁
|
||||
return "已点亮屏幕"
|
||||
if action == "screen_off":
|
||||
d.screen_off()
|
||||
return "已熄灭屏幕"
|
||||
if action == "stop_self":
|
||||
if worker is not None:
|
||||
worker.stop() # 置停止位，主流程下一步就退出
|
||||
return "已停止本设备任务"
|
||||
return ""
|
||||
|
||||
|
||||
def check_label(check):
|
||||
return (CHECKS.get(check) or {}).get("label", check)
|
||||
|
||||
|
||||
def action_label(action):
|
||||
return (ACTIONS.get(action) or {}).get("label", action)
|
||||
@@ -0,0 +1,148 @@
|
||||
"""步骤默认值：新建步骤时预填的参数（后台「任务 → 动作配置」页可改）。
|
||||
|
||||
存在 `app_meta.step_defaults` 一个键里（**不建表** → 不碰备份覆盖红线），
|
||||
与 `notify_webhooks` 同一套做法：**出厂默认 + 用户覆盖**，读的时候合并。
|
||||
|
||||
为什么是"出厂 + 覆盖"而不是只存用户值：以后调整某个步骤的出厂默认时，
|
||||
**没配过的字段**会跟着变好，**配过的字段**不动——这符合直觉。
|
||||
|
||||
字段白名单 + 范围校验都在这里（`SPEC`）：写进库的东西必须能校验，否则手改
|
||||
JSON 塞个奇怪值进去，之后新建步骤就把它带进任务里了。
|
||||
|
||||
⚠️ 这里只管**编辑器预填**；`tasks/generic/task.py` 的 `STEP_TYPES` 仍是执行侧
|
||||
的默认值来源（AI/MCP 造步骤也用它）。两处都改了要一起同步。
|
||||
"""
|
||||
import json
|
||||
|
||||
# 出厂默认（前端「动作配置」页的初始内容，也是没配过时的回退）
|
||||
FACTORY = {
|
||||
"swipe": {"direction": "up", "duration_min": 0.25, "duration_max": 0.5,
|
||||
"distance_ratio": 0.6, "jitter": 0.15, "humanize": True},
|
||||
"click": {"wait_timeout": 2},
|
||||
"long_click": {"duration": 1.0, "wait_timeout": 2},
|
||||
"wait": {"min": 1.0, "max": 3.0},
|
||||
"key_event": {"key": "back"},
|
||||
"input_text": {"mode": "random", "texts": "你好\n有趣\n支持",
|
||||
"fixed_text": "", "clear_first": True},
|
||||
}
|
||||
|
||||
# 字段规格：("num", 最小, 最大) / ("bool",) / ("choice", 可选值) / ("text", 最大长度)
|
||||
SPEC = {
|
||||
"swipe": {
|
||||
"direction": ("choice", ("up", "down", "left", "right")),
|
||||
"duration_min": ("num", 0.05, 5.0),
|
||||
"duration_max": ("num", 0.05, 5.0),
|
||||
"distance_ratio": ("num", 0.1, 0.9),
|
||||
"jitter": ("num", 0.0, 0.4),
|
||||
"humanize": ("bool",),
|
||||
},
|
||||
"click": {"wait_timeout": ("num", 0.0, 30.0)},
|
||||
"long_click": {"duration": ("num", 0.2, 10.0),
|
||||
"wait_timeout": ("num", 0.0, 30.0)},
|
||||
"wait": {"min": ("num", 0.1, 600.0), "max": ("num", 0.1, 600.0)},
|
||||
"key_event": {"key": ("text", 30)},
|
||||
"input_text": {"mode": ("choice", ("random", "fixed")),
|
||||
"texts": ("text", 2000), "fixed_text": ("text", 200),
|
||||
"clear_first": ("bool",)},
|
||||
}
|
||||
|
||||
# 与 notifier 的键同住 app_meta（`key` 是 MySQL 保留字，读写只走 db_config.meta_get/set）
|
||||
META_KEY = "step_defaults"
|
||||
|
||||
|
||||
def factory():
|
||||
"""出厂默认的深拷贝（别让调用方改到常量）。"""
|
||||
return json.loads(json.dumps(FACTORY, ensure_ascii=False))
|
||||
|
||||
|
||||
def _clean_one(stype, raw):
|
||||
"""校验并清洗单个步骤类型的默认值；非法字段**丢弃**（不让脏值进库）。"""
|
||||
spec = SPEC.get(stype)
|
||||
if not spec or not isinstance(raw, dict):
|
||||
return None
|
||||
out = {}
|
||||
for k, v in raw.items():
|
||||
rule = spec.get(k)
|
||||
if not rule:
|
||||
continue
|
||||
kind = rule[0]
|
||||
try:
|
||||
if kind == "bool":
|
||||
out[k] = bool(v)
|
||||
elif kind == "num":
|
||||
n = float(v)
|
||||
lo, hi = rule[1], rule[2]
|
||||
out[k] = max(lo, min(hi, n))
|
||||
elif kind == "choice":
|
||||
s = str(v)
|
||||
if s in rule[1]:
|
||||
out[k] = s
|
||||
elif kind == "text":
|
||||
out[k] = str(v)[:rule[1]]
|
||||
except (TypeError, ValueError):
|
||||
continue
|
||||
return out or None
|
||||
|
||||
|
||||
def clean(raw):
|
||||
"""清洗整份配置（只保留白名单里的步骤类型与字段）。"""
|
||||
if not isinstance(raw, dict):
|
||||
return {}
|
||||
out = {}
|
||||
for stype in SPEC:
|
||||
got = _clean_one(stype, raw.get(stype))
|
||||
if got:
|
||||
out[stype] = got
|
||||
return out
|
||||
|
||||
|
||||
def merged(user):
|
||||
"""出厂默认 + 用户覆盖（按字段合并）。"""
|
||||
out = factory()
|
||||
for stype, vals in (clean(user) or {}).items():
|
||||
out.setdefault(stype, {}).update(vals)
|
||||
return out
|
||||
|
||||
|
||||
def get():
|
||||
"""当前生效的默认值（读库，必须在 app context 内调）。"""
|
||||
from core.db_config import meta_get
|
||||
raw = meta_get(META_KEY) or ""
|
||||
if not raw:
|
||||
return factory()
|
||||
try:
|
||||
return merged(json.loads(raw))
|
||||
except (ValueError, TypeError):
|
||||
return factory()
|
||||
|
||||
|
||||
def save(raw):
|
||||
"""保存（只落用户显式给的字段）。返回 (ok, msg)。
|
||||
|
||||
与出厂默认**相同的字段不入库**：这样以后调出厂值，这些字段能跟着更新
|
||||
——库里只留"用户真的改过"的部分。
|
||||
"""
|
||||
from core.db_config import meta_set
|
||||
cleaned = clean(raw)
|
||||
fac = FACTORY
|
||||
diff = {}
|
||||
for stype, vals in cleaned.items():
|
||||
keep = {k: v for k, v in vals.items()
|
||||
if not (stype in fac and k in fac[stype] and fac[stype][k] == v)}
|
||||
if keep:
|
||||
diff[stype] = keep
|
||||
try:
|
||||
meta_set(META_KEY, json.dumps(diff, ensure_ascii=False))
|
||||
except Exception as e:
|
||||
return False, f"保存失败: {e}"
|
||||
return True, "已保存"
|
||||
|
||||
|
||||
def as_payload():
|
||||
"""给前端的完整载荷：生效值 + 出厂值 + 字段规格（前端据此画表单与范围）。"""
|
||||
spec = {st: {k: (list(r[1]) if r[0] == "choice" else
|
||||
(list(r[1:]) if r[0] == "num" else None))
|
||||
for k, r in fields.items()}
|
||||
for st, fields in SPEC.items()}
|
||||
kinds = {st: {k: r[0] for k, r in fields.items()} for st, fields in SPEC.items()}
|
||||
return {"defaults": get(), "factory": factory(), "spec": spec, "kinds": kinds}
|
||||
@@ -909,6 +909,18 @@ class TaskManager:
|
||||
job_name=job.name, attempt=attempt,
|
||||
phase="after")
|
||||
return
|
||||
if worker is not None and worker.stopped():
|
||||
# 任务**自己**停的（步骤里的「停止本设备」）：不是失败，也不重试。
|
||||
# 判据是"worker 置了停止位但 _stop_requested 里没有"——上面那个
|
||||
# 分支已经排除了用户/调度停止的情况。
|
||||
_log.info(f"{serial} 任务内主动停止本设备 (job={job.name})")
|
||||
outcome = "stopped"
|
||||
notifier.notify("task.device.stopped", serial=serial,
|
||||
device_name=dname,
|
||||
model=_dev_model(serial, tracker),
|
||||
job_id=job.id, job_name=job.name,
|
||||
attempt=attempt, phase="self")
|
||||
return
|
||||
_log.warning(f"{serial} 任务未成功(status={st})")
|
||||
except DeviceOfflineError as e:
|
||||
# 设备掉线，立即放弃，不重试
|
||||
|
||||
@@ -5,6 +5,7 @@
|
||||
"""
|
||||
import time
|
||||
import random
|
||||
import re
|
||||
|
||||
from core.logger import get_logger
|
||||
|
||||
@@ -65,6 +66,34 @@ def random_sleep(min_s, max_s):
|
||||
time.sleep(random.uniform(min_s, max_s))
|
||||
|
||||
|
||||
def screen_is_on(d):
|
||||
"""屏幕是否亮着。返回 True/False，取不到返回 None（三态，别当 False 用）。
|
||||
|
||||
为什么不用 `d.info`：它在部分设备上一次要**十几秒**（见 doc/backlog/TODO.md）；
|
||||
`dumpsys power` 经 atx-agent 跑只要 ~0.3s，且 `mWakefulness` 字段全机型都有
|
||||
（MIUI 的 `dumpsys display` 反而没有 mScreenState）。
|
||||
"""
|
||||
try:
|
||||
out = d.shell("dumpsys power")
|
||||
out = getattr(out, "output", None) or str(out)
|
||||
m = re.search(r"mWakefulness=(\w+)", out)
|
||||
if m:
|
||||
return m.group(1).lower() != "asleep"
|
||||
except Exception as e:
|
||||
_log.warning(f"读取屏幕状态失败: {e}")
|
||||
return None
|
||||
|
||||
|
||||
def current_package(d):
|
||||
"""当前前台 App 包名；取不到返回空串。"""
|
||||
try:
|
||||
cur = d.app_current() or {}
|
||||
return cur.get("package") or ""
|
||||
except Exception as e:
|
||||
_log.warning(f"读取前台 App 失败: {e}")
|
||||
return ""
|
||||
|
||||
|
||||
def safe_click(el, timeout=1):
|
||||
"""安全点击：元素存在才点，不抛异常。返回是否点击成功。"""
|
||||
try:
|
||||
|
||||
+1
-1
@@ -184,7 +184,7 @@ mcp_agent.Agent.run_stream(prompt, serial, history, on_delta, on_tool, on_usage,
|
||||
从本轮**成功**的步骤轨迹里提炼命名动作（如「打开抖音」）。硬约束：
|
||||
|
||||
- **禁坐标**：带 `click_xy` 的步骤不会被沉淀（坐标换个设备/分辨率就失效）
|
||||
- 白名单步骤类型（18 种去掉 `click_xy`、`keep_screen`）
|
||||
- 白名单步骤类型（21 种去掉 `click_xy`、`keep_screen`、`gesture`）
|
||||
- 每类型有必填参数校验（如 `click` 必须有选择器）
|
||||
- 输入/产出限量：最多 10 步输入、最多 3 个动作 × 4 步
|
||||
- 保存时服务端**再校验一次**，含坐标的提交直接 400
|
||||
|
||||
+1
-1
@@ -9,7 +9,7 @@
|
||||
|
||||
平台已有两套能力，但互不相通：
|
||||
- **AI 控制台**：一句话 + 选设备 → 多模态 Agent（DeepSeek）通过 20 个 `de_*` 工具在手机上「边看边做」（截图看屏、`de_ui_tree` 拿元素树、`de_tap_element/de_tap_text` 语义点按），流式回放步骤。
|
||||
- **任务系统 + 步骤编辑器**：`generic_steps` 任务 = 一棵可嵌套步骤树（open_app/click/swipe/loop/group/if_el…18 种节点），在编辑器里拖拽编排、单步试跑、定时调度。
|
||||
- **任务系统 + 步骤编辑器**：`generic_steps` 任务 = 一棵可嵌套步骤树（open_app/click/swipe/loop/group/if_el…21 种节点），在编辑器里拖拽编排、单步试跑、定时调度。
|
||||
|
||||
目标：让**非工程用户用一句自然语言需求**（例：「创建一个每日养号刷视频的任务，每天 8:00-9:00 在 100.100.10.13 跑」）得到**一条可直接调度、可继续在现有步骤编辑器里手改的任务**。AI 先自己在设备上打开 App、看 UI 树、确认可点元素，再直接撰写编辑器的步骤 JSON。
|
||||
|
||||
|
||||
@@ -124,6 +124,10 @@
|
||||
| POST | `/api/custom_actions` | T | 新建自定义动作 |
|
||||
| PUT | `/api/custom_actions/<action_id>` | T | 更新自定义动作 |
|
||||
| DELETE | `/api/custom_actions/<action_id>` | T | 删除自定义动作 |
|
||||
| GET | `/api/step_defaults` | L | 步骤默认值（生效值 + 出厂值 + 字段规格，供「动作配置」页画表单） |
|
||||
| POST | `/api/step_defaults` | T | 保存步骤默认值（只落与出厂值不同的字段） |
|
||||
| POST | `/api/gesture/record/start` | D | 开始录制手势（手机端 getevent，返回 token） |
|
||||
| POST | `/api/gesture/record/stop` | D | 停止录制并取回轨迹 `gestures:[[[x,y,t_ms],…]]` |
|
||||
| GET | `/api/uiauto/status` | L | uiautodev 服务是否在跑 |
|
||||
| GET | `/api/uiauto/devices` | D | 抓元素可选设备 |
|
||||
| GET | `/api/uiauto/elements` | D | 设备 UI 元素树 |
|
||||
|
||||
@@ -277,6 +277,7 @@ UTF-8 等价于字节序）。
|
||||
| `deployment_id` | 库唯一标识（uuid），用于识别"这份备份来自哪个库" | 同上 |
|
||||
| `deployment_claimed_at` | 标签写入时间 | 同上 |
|
||||
| `notify_webhooks` | **通知 / Webhook 全部配置**（JSON：`{version, settings, webhooks[]}`，见 [NOTIFY.md](NOTIFY.md) §4）。**不建表**——新增/删除 webhook 都只改这一个键 | 系统 → 通知 页 |
|
||||
| `step_defaults` | **步骤默认值**（JSON：`{步骤类型: {字段: 值}}`，见 [TASK_DEV.md](TASK_DEV.md) §3.1）。新建步骤时预填用。**只存与出厂值不同的字段**，这样以后调出厂默认能跟着走 | 任务 → 动作配置 页 |
|
||||
|
||||
> ⚠️ `agent_api_key` 是**明文存储**，导出备份的 zip 里也含它——备份预览会固定给出"含敏感信息"告警。
|
||||
> **同理 `notify_webhooks` 里的 webhook URL 本身就是凭据**（企业微信 `?key=`、钉钉 `?access_token=`、
|
||||
|
||||
@@ -52,6 +52,7 @@ daemon 线程。所以：
|
||||
| 任务批次 | `task.batch.started` · `.finished` · `.no_device` · `.unknown_type` · `task.cron.stopped` |
|
||||
| 任务·单设备 | `task.device.success` · `.failed` · `.offline` · `.error` · `.retry` · `.stopped` · `.preempted` · `.preempt_timeout` · `.released` |
|
||||
| 业务 | `task.selector.invalid`（选择器连续 10 次未命中——"任务成功但什么都没做"的隐蔽故障） |
|
||||
| 业务·任务自己发 | `task.notify.custom`（步骤「发通知」）/ `task.patrol.hit`（任务「公共巡检」命中）——**标题正文由任务自己写**，见下 |
|
||||
| Worker | `worker.connected` · `.attempt.done` · `.attempt.error`（单次尝试级，噪音大，默认没人勾） |
|
||||
| 设备 | `device.online` · `.offline` · `.discovered` · `.claimed` · `device.heartbeat_timeout` |
|
||||
| 安装 | `apk.install.started` · `.finished` |
|
||||
@@ -91,6 +92,20 @@ daemon 线程。所以：
|
||||
单设备事件里的设备一律**显示名字**（`cs1`）而不是地址；只有设备没命名时才退回 IP。
|
||||
`型号` 取自设备池的快照（后台统一采集的那份），比 worker 每次连接时现采的稳。
|
||||
|
||||
**任务自己发的通知**（两种，文案都由任务侧提供）：
|
||||
|
||||
| 事件 | 谁发 | 文案从哪来 |
|
||||
|---|---|---|
|
||||
| `task.notify.custom` | 步骤「发通知」 | 步骤参数 `title` / `message` |
|
||||
| `task.patrol.hit` | 任务「公共巡检」命中 | 巡检项 `title` / `message`（留空则用默认：`巡检命中：<巡检名>` + 检查结果） |
|
||||
|
||||
- 两者都支持占位符 `{device}` `{serial}` `{job}` `{time}` `{app}` `{screen}`
|
||||
（见 [TASK_DEV.md](TASK_DEV.md) §4.5；`{app}`/`{screen}` 要查设备，不用就别写）。
|
||||
- **给了 `title` 就用它做消息标题**（不再拼"任务通知：" 前缀），`level` 字段可点名级别
|
||||
（`info`/`success`/`warning`/`error` → 决定 emoji，默认按事件名猜）。
|
||||
- 谁能收到仍然只看 webhook 的**事件订阅**：想让某个群收任务自定义消息，就在那条
|
||||
webhook 上勾 `task.notify.custom` / `task.patrol.hit`。
|
||||
|
||||
---
|
||||
|
||||
## 4. 配置
|
||||
|
||||
+1
-1
@@ -13,7 +13,7 @@
|
||||
| [ARCHITECTURE.md](ARCHITECTURE.md) | **架构详解**：分层、启动装配顺序、线程与并发模型、设备生命周期、任务调度链路、状态机、关键设计决策与扩展点 | 所有开发者（先读这篇） |
|
||||
| [DATA_MODEL.md](DATA_MODEL.md) | **数据模型**：SQLite 表与字段、schema 迁移、非模型表、`app_meta` 配置键、数据目录、备份覆盖清单 | 后端开发、运维 |
|
||||
| [API.md](API.md) | **HTTP 接口全量**：按蓝图分组的路由表、鉴权、请求/响应示例、非 JSON 响应、错误分支 | 前端开发、外部接入 |
|
||||
| [TASK_DEV.md](TASK_DEV.md) | **任务与步骤开发**：TaskType/TaskJob 概念、18 种步骤全表、选择器与定位、自定义动作、新增任务类型模板 | 写任务的开发 |
|
||||
| [TASK_DEV.md](TASK_DEV.md) | **任务与步骤开发**：TaskType/TaskJob 概念、21 种步骤全表、公共巡检、选择器与定位、自定义动作、新增任务类型模板 | 写任务的开发 |
|
||||
| [MCP.md](MCP.md) | **MCP 手机控制手册**：20 个 `de_*` 工具用法、写操作门控、坐标换算、接入示例 | 接入方、数字员工 |
|
||||
| [MCP_DESIGN.md](MCP_DESIGN.md) | **MCP 设计文档**：边界划分、错误码、白名单/审计设计、演进方向 | 平台开发者 |
|
||||
| [AI_CONSOLE.md](AI_CONSOLE.md) | **AI 控制台**：会话/SSE、经验库、动作库、巡检、Markdown 渲染、推理链、token 统计 | 使用者、平台开发者 |
|
||||
|
||||
+182
-8
@@ -10,8 +10,8 @@
|
||||
|
||||
- [1. 核心概念](#1-核心概念)
|
||||
- [2. 通用步骤任务 generic_steps](#2-通用步骤任务-generic_steps)
|
||||
- [3. 18 种步骤全表](#3-18-种步骤全表)
|
||||
- [4. 容器步骤与公共参数](#4-容器步骤与公共参数)
|
||||
- [3. 21 种步骤全表](#3-21-种步骤全表)（含 [3.1 步骤默认值与动作录制](#31-步骤默认值与动作录制任务--动作配置)）
|
||||
- [4. 容器步骤与公共参数](#4-容器步骤与公共参数)（含 [4.5 公共巡检](#45-公共巡检任务级独立于步骤画布)）
|
||||
- [5. 选择器与元素定位](#5-选择器与元素定位)
|
||||
- [6. 自定义动作](#6-自定义动作)
|
||||
- [7. 步骤编辑器（前端）](#7-步骤编辑器前端)
|
||||
@@ -108,7 +108,7 @@ from .generic import task # 触发 @register_task（当前唯一任务类型）
|
||||
|
||||
---
|
||||
|
||||
## 3. 18 种步骤全表
|
||||
## 3. 21 种步骤全表
|
||||
|
||||
> 参数与默认值以 `tasks/generic/task.py` 为准；前端 `STEP_LIB`（`static/admin/editor.js`）负责在编辑器里呈现这些字段。
|
||||
|
||||
@@ -120,18 +120,95 @@ from .generic import task # 触发 @register_task（当前唯一任务类型）
|
||||
| 4 | `screen_off` | 息屏 | — | — | — | `d.screen_off()` |
|
||||
| 5 | `keep_screen` | 保持亮屏 | `mode`("on") | — | — | `mode="off"` → 恢复自动息屏；否则**把系统息屏超时顶到最大**（`screen_off_timeout=2147483647`）+ `svc power stayon true` + 唤醒一次。⚠️ 只发 `svc power stayon true` 对**没插充电器**的设备（走 WiFi 的那些）**完全无效**——它管的是"充电时屏幕常亮"，2026-09-14 就是因此被反馈"保持亮屏没用" |
|
||||
| 6 | `key_event` | 按键 | `key`("back") | — | — | `d.press(key)`；**值直传，无白名单校验** |
|
||||
| 7 | `swipe` | 滑动 | `direction`("up") | `duration_min`(0.25)、`duration_max`(0.50) | — | 时长取随机值；up = 中轴从 0.8h → 0.2h（down 反向，left/right 同理）；**非法 direction 静默不滑** |
|
||||
| 8 | `swipe_until` | 滑动直到元素 | `selector_type`、`selector_value` | `direction`("up")、`max_swipes`(8)、`click_when_found`(True) | — | 每轮滑动后 sleep 0.5s；命中即（可选）点击并返回 True；**只有 `direction="down"` 才是向下滑**，其余按上滑 |
|
||||
| 7 | `swipe` | 滑动 | `direction`("up") | `duration_min`(0.25)、`duration_max`(0.50)、`distance_ratio`(0.6)、`jitter`(0.15)、`humanize`(True) | — | **默认拟人**：弧线轨迹 + 起止点/幅度/时长抖动 + 本设备手速偏好（见 §8.4）；`humanize:false` 还原老的「正中直线」；`jitter:0` 时位置/幅度不抖（时长仍随机）；**非法 direction 静默不滑** |
|
||||
| 8 | `swipe_until` | 滑动直到元素 | `selector_type`、`selector_value` | `direction`("up")、`max_swipes`(8)、`click_when_found`(True)、`duration_min`(0.25)、`duration_max`(0.50)、`distance_ratio`(0.6)、`jitter`(0.15)、`humanize`(True) | — | 每次滑动都重新生成轨迹（同 §8.4）；每轮滑动后随机停 0.35~0.75s；命中即（可选）点击并返回 True；**只有 `direction="down"` 才是向下滑**，其余按上滑 |
|
||||
| 9 | `click` | 点击元素 | `selector_type`、`selector_value` | `wait_timeout`(2) | — | xpath 用 `wait(timeout)`，其它选择器用 `exists(timeout)`；`wait_timeout=0` 为立即判断。**空选择器只告警** |
|
||||
| 10 | `click_xy` | 点击坐标 | — | `x`(50)、`y`(50) | — | **屏幕百分比**（0-100，会夹取），50/50 = 屏幕中心。无选择器时的兜底，**最脆的方式** |
|
||||
| 11 | `long_click` | 长按元素 | `selector_type`、`selector_value` | `duration`(1.0)、`wait_timeout`(2) | — | 先等元素出现再 `long_click` |
|
||||
| 12 | `wait_el` | 等待元素 | `selector_type`、`selector_value` | `timeout`(10) | — | 等元素出现（条件等待，优于固定 `wait`） |
|
||||
| 13 | `input_text` | 输入文字 | — | `mode`("random")、`texts`("你好\n有趣\n支持")、`fixed_text`("")、`clear_first`(True) | — | `mode="fixed"` 用 `fixed_text`，否则从 `texts` 按行随机选一条；**只负责输入，不负责定位输入框**（要先 click 输入框） |
|
||||
| 14 | `clipboard` | 剪贴板注入 | `text` | `paste`(True) | — | 走 ClipInject 通道（绕开 Android 10+ 后台写剪贴板限制）；`paste=true` 时再触发一次粘贴 |
|
||||
| 15 | `wait` | 等待 | — | `min`(1.0)、`max`(3.0) | — | 随机时长；**分片 sleep**（每 ≤0.5s 检查停止/超时），可被抢占打断 |
|
||||
| 15 | `wait` | 等待 | — | `min`(1.0)、`max`(3.0)、`vary_pace`(False) | — | 随机时长；**分片 sleep**（每 ≤0.5s 检查停止/超时），可被抢占打断；勾了 `vary_pace` 再按**本设备节奏**缩放 0.8~1.35 倍（批量跑时设备之间会逐渐错开） |
|
||||
| 16 | `loop` | 循环块 | — | `loop_mode`("rounds")、`max_iterations`(10)、`loop_duration`(600) | `children` | 见 §4.1 |
|
||||
| 17 | `group` | 动作组 | — | — | `children` | 子步骤**按序执行一次**（不循环）；自定义动作拖入画布就是展开成 group |
|
||||
| 18 | `if_el` | 条件判断 | `selector_type`、`selector_value`、`timeout`(3) | `ocr_click`(False) | `then` / `else` | 见 §4.2 |
|
||||
| 18 | `if_el` | 条件判断 | `selector_type`、`selector_value`、`timeout`(3) | `ocr_click`(False) | `then` / `else` | 见 §4.2；条件类型除元素/OCR 外还支持 **屏幕状态**、**前台App** |
|
||||
| 19 | `notify` | 发通知 | — | `title`("")、`message`("")、`level`("info") | — | 推一条**自定义**通知（事件 `task.notify.custom`）：标题正文自己写，支持 `{device} {serial} {job} {time} {app} {screen}`；谁收到取决于 webhook 的事件订阅。两者都空则跳过 |
|
||||
| 20 | `stop_self` | 停止本设备 | — | `reason`("") | — | 只停**本设备**的任务（其它设备照跑）：置 worker 停止位，后续步骤不再执行，任务记成**被停止而不是失败**（不触发重试） |
|
||||
| 21 | `gesture` | 录制手势 | `points`（录出来的） | `speed`(1.0) | — | **纯录制回放**：把录下的轨迹点列 `[[x,y,t_ms],…]` 按原路径与时长交给设备插值，不做弧线/抖动/手速加工。与「滑动」是两套东西，见 §3.2 |
|
||||
|
||||
### 3.2 录制手势：**纯录制、纯回放**（`core/gesture.py`）
|
||||
|
||||
「滑动」和「录制手势」是**两套东西**，别混：
|
||||
|
||||
| | `swipe` 步骤 | `gesture` 步骤 |
|
||||
|---|---|---|
|
||||
| 存什么 | 方向 + 幅度 + 时长区间 | **完整轨迹点列** `[[x,y,t_ms], …]` |
|
||||
| 回放时 | 每次重新生成（弧线/抖动/本设备手速） | **照录制的路径与时长**，不做任何修饰 |
|
||||
| 适合 | 通用滑动，换设备也能用 | 你亲手划的、要求一模一样的手势 |
|
||||
|
||||
**为什么录制的不能走滑动那套**：滑动是"参数化"的——它按方向+幅度重新生成轨迹并叠
|
||||
拟人抖动，录下来的路径就被丢掉了。要"完全按我划的重放"，就只能存点列、回放点列。
|
||||
|
||||
**两个录制来源**（都在「录制手势」步骤的卡片上）：
|
||||
|
||||
| 来源 | 做法 | 特点 |
|
||||
|---|---|---|
|
||||
| ● 手机上录 | 点开始后**用手指在真机上划**，后端读 `getevent` 抓真触屏 | 最真实：录的是人手的原始轨迹。合成注入不会出现在真触屏节点上（实测），所以录到的只有人手 |
|
||||
| ● 网页上录 | 在弹窗画面里按住鼠标拖，前端按 8ms/3px 采样 | 不用碰手机，但有鼠标的机械感 |
|
||||
|
||||
要点与坑：
|
||||
|
||||
- **录制前必须唤醒设备**：息屏时 u2 抓 UI 树会从 3 秒退化到 **65 秒**（实测），截图还是黑的。
|
||||
前端在选好设备后会自动调一次亮屏（`/api/device/screen_all`）。
|
||||
- **回放是一次调用**（`d.swipe_points(points, duration)`），不是逐点注入：实测这台设备
|
||||
**单次触摸注入 RPC ≈190ms**，逐点回放 20 个点要 3.8 秒，比录的手势慢一个数量级。
|
||||
所以只能让设备自己插值——"时间"靠**点密度**还原（手指慢的地方采样点更密）。
|
||||
- 回放点数**抽稀到 40 个**（`MAX_REPLAY_POINTS`）：这台设备每个点开销大，40 是画质/耗时折中；
|
||||
首尾点一定保留。
|
||||
- 轨迹是**屏幕绝对像素**：换分辨率不同的设备可能偏，同型号/同分辨率最稳。
|
||||
- 点列存在步骤 JSON 里（一条 0.5s 的手势约 25 点 / 400 字节），不新建表。
|
||||
|
||||
### 3.1 步骤默认值与动作录制（任务 → 动作配置）
|
||||
|
||||
**步骤默认值**：新建步骤时预填的参数（`core/step_defaults.py`，存 `app_meta.step_defaults`）。
|
||||
在「任务 → 动作配置」页改，**只影响之后新建的步骤**，已有步骤里的参数不动。
|
||||
|
||||
覆盖范围：`swipe`（方向/时长区间/幅度/抖动/拟人）、`click`（等待超时）、
|
||||
`long_click`（长按时长/超时）、`wait`（时长区间）、`key_event`（按键）、
|
||||
`input_text`（模式/候选文案/是否清空）。
|
||||
|
||||
三条实现口径：
|
||||
|
||||
- **只存与出厂值不同的字段**——以后调出厂默认时，没配过的字段能跟着更新；
|
||||
- 字段**白名单 + 范围夹取**（`SPEC`）：越界值夹到边界、非法值直接丢弃，
|
||||
不会把手改 JSON 塞进来的脏值带进任务；
|
||||
- 前端 `_makeStep` 用 `STEP_LIB` 出厂值打底，再用这里的默认值覆盖，
|
||||
`/api/step_defaults` 在打开「任务」Tab 时加载一次。
|
||||
|
||||
**动作录制**（`static/admin/recorder.js`）：在设备画面上点/划/按键/输入，
|
||||
自动翻译成步骤。两个入口：
|
||||
|
||||
| 入口 | 模式 | 产出 |
|
||||
|---|---|---|
|
||||
| 动作配置页「● 录制动作」 | `action` | 录完存成**自定义动作**（进动作库，拖进任何任务画布） |
|
||||
| 步骤编辑器里滑动那一步的「● 录制手势」 | `gesture` | 只取最后一个手势，**回填当前滑动步骤**的方向/幅度/时长 |
|
||||
|
||||
翻译规则：
|
||||
|
||||
| 你做的 | 记成 | 依据 |
|
||||
|---|---|---|
|
||||
| 点一下 | `click`（选择器） | 从当前元素树里取**包含该点的最小可点击元素**，用它的 `suggested` 选择器 |
|
||||
| 点一下（没命中元素） | `click_xy` | 退化成屏幕百分比坐标 |
|
||||
| 按住划一下 | `swipe` | 方向（dx/dy 谁大取谁）、幅度（划距 ÷ 屏高/宽）、时长（你按住的毫秒数） |
|
||||
| 停顿（间隔 ≥1s） | `wait` | 真实间隔 ±15%，可在录制器里关掉「记录停顿」 |
|
||||
| 按键 / 输入 | `key_event` / `input_text` | 输入文字按**原样**记 `fixed_text`（不是随机候选） |
|
||||
|
||||
实现要点（改之前先看）：
|
||||
|
||||
- 画面与元素树走 **`/api/uiauto/snapshot` 一次取齐**（截图+元素背靠背取，避免"框落在旧位置"）；
|
||||
**每次操作后自动刷新**，所以下一次点击能用到最新的树。
|
||||
- 录制器**只负责翻译**，真正执行仍走 `/api/screen/{tap,swipe,key,text}`——和设备大屏同一套接口。
|
||||
- 录到的步骤在列表里可上移/下移/删除；存成动作走现有 `POST /api/custom_actions`（不新增表）。
|
||||
|
||||
---
|
||||
|
||||
@@ -149,7 +226,11 @@ from .generic import task # 触发 @register_task（当前唯一任务类型）
|
||||
|
||||
### 4.2 `if_el` 条件判断
|
||||
|
||||
- 先做元素判断：命中 → 执行 `then` 分支；未命中 → 执行 `else` 分支（分支都可继续嵌套）
|
||||
- 先做判断：命中 → 执行 `then` 分支；未命中 → 执行 `else` 分支（分支都可继续嵌套）
|
||||
- **`selector_type` 还支持两类非元素条件**（只有条件判断有，别的带选择器的步骤没有）：
|
||||
- `screen` —— 屏幕状态，`selector_value` 填 `off` / `on`（也认 `熄屏`/`灭屏`）：读 `dumpsys power` 的 `mWakefulness`；
|
||||
- `foreground` —— 前台是不是某个包名，`selector_value` 填包名（如 `com.ss.android.ugc.aweme`）。
|
||||
- 这两类**不参与「选择器健康」统计**（它们不是选择器，不该攒出「连续未命中」告警），也不吃 `timeout`（只看当前状态，不等待）
|
||||
- `selector_type="ocr"` 时改用 **OCR**：截屏 → `find_on_screen(img, selector_value)` 子串匹配；命中且 `ocr_click=true` 会点击命中位置。
|
||||
- OCR 模式下 **`timeout` 不生效**（单次截图即判定）
|
||||
- OCR 不可用（未装 `rapidocr_onnxruntime`）时该步返回 `None`（不判定）
|
||||
@@ -170,6 +251,65 @@ from .generic import task # 触发 @register_task（当前唯一任务类型）
|
||||
|
||||
---
|
||||
|
||||
### 4.5 公共巡检（任务级，独立于步骤画布）
|
||||
|
||||
任务运行期间**要全程盯着的条件**（熄屏就点亮、掉到桌面就通知、刷到广告就停），
|
||||
配在任务编辑器的「公共巡检」块里，**不进步骤画布**。权威实现在 `core/patrol.py`。
|
||||
|
||||
| | 步骤（`params.steps`） | 公共巡检（`params.watchers`） |
|
||||
|---|---|---|
|
||||
| 配置位置 | 步骤画布，拖出来的 | 任务编辑器单独一块 |
|
||||
| 执行方式 | 顺序执行 | **穿插**：每执行完一步、以及长等待的每个分片，看一眼"哪个巡检到点了" |
|
||||
| 适合 | 一段固定流程 | 全程都要盯的守护条件 |
|
||||
|
||||
为什么穿插而不是另起线程：不需要并发模型，也**不会和主流程抢屏幕**（否则巡检点屏幕、
|
||||
主流程同时也在点，动作互相打断）。代价是**精度受步长影响**——某一步卡 30 秒，
|
||||
巡检最多晚 30 秒。
|
||||
|
||||
配置结构（`params.watchers` 数组，每项）：
|
||||
|
||||
```json
|
||||
{"name": "熄屏点亮", "enabled": true, "interval": 60,
|
||||
"check": "screen_off",
|
||||
"selector_type": "xpath", "selector_value": "",
|
||||
"action": "screen_on",
|
||||
"notify": true, "title": "{device} 熄屏了",
|
||||
"message": "任务 {job} 在 {time} 发现 {screen}，已点亮",
|
||||
"cooldown": 300}
|
||||
```
|
||||
|
||||
| 字段 | 说明 |
|
||||
|------|------|
|
||||
| `interval` | 检查间隔（秒，最小 5）。**首次检查在任务开始时立刻做一次**，之后按间隔 |
|
||||
| `check` | `screen_off` 屏幕熄灭 / `screen_on` 屏幕亮着 / `element_exists` 元素存在 / `element_missing` 元素不存在 / `foreground_is` 前台是该App / `foreground_not` 前台不是该App |
|
||||
| `selector_type`/`selector_value` | 元素类检查填选择器；`foreground_*` 填**包名**；屏幕类不用填 |
|
||||
| `action` | `none` 只发通知 / `screen_on` 点亮屏幕 / `screen_off` 熄灭屏幕 / `stop_self` 停止本设备任务 |
|
||||
| `notify` | 命中是否推通知（事件 `task.patrol.hit`，见 [NOTIFY.md](NOTIFY.md)）；`false` 就只做动作 |
|
||||
| `title`/`message` | 通知标题正文，可用 `{device}` `{serial}` `{job}` `{time}` `{app}` `{screen}`。**文案在动作之前渲染**，所以写的是"发现熄屏，已点亮"而不是"发现亮屏" |
|
||||
| `cooldown` | 命中后多少秒内不再重复动作/通知（默认 300）。**条件持续成立时（一直熄屏）靠它防刷屏** |
|
||||
|
||||
两个能直接抄的例子：
|
||||
|
||||
```jsonc
|
||||
// 1) 熄屏就点亮（不吵人）：每分钟看一眼，熄了就点亮
|
||||
{"name":"熄屏点亮","interval":60,"check":"screen_off","action":"screen_on","notify":false}
|
||||
|
||||
// 2) 掉出抖音就通知 + 停本设备：前台不是抖音 → 通知 → 停下来等你处理
|
||||
{"name":"掉出抖音","interval":60,"check":"foreground_not","selector_value":"com.ss.android.ugc.aweme",
|
||||
"action":"stop_self","notify":true,"title":"{device} 掉出抖音了",
|
||||
"message":"当前前台 {app}，已停止本设备任务"}
|
||||
```
|
||||
|
||||
要点与坑：
|
||||
|
||||
- **巡检不是步骤**：不要试图在画布上找它；它也不计入"已执行 N 次操作"的进度。
|
||||
- 一次检查要查设备：屏幕 `0.3s`、前台 `0.7s`，**元素检查要 dump UI 树（慢设备上可能几秒）**。
|
||||
所以 `interval` 别设太小（元素检查建议 ≥30s）。
|
||||
- 巡检命中会往「日志 → 步骤明细」记一行（`step_type=patrol`，只记命中不记"没事发生"）。
|
||||
- 巡检内部异常只记日志、**绝不影响任务主流程**（同 `notifier.notify` 的口径）。
|
||||
|
||||
---
|
||||
|
||||
## 5. 选择器与元素定位
|
||||
|
||||
### 5.1 `selector_type` 支持的值
|
||||
@@ -375,6 +515,40 @@ from .myapp import task # ← 新增
|
||||
`TaskManager._run_with_retry` 传入；**只用于结构化记录**（如步骤明细
|
||||
`core/step_log.py`），不参与业务逻辑。不关心就原样透传给 `BaseWorker` 即可。
|
||||
|
||||
### 8.4 拟人化：滑动与设备节奏（`core/humanize.py`）
|
||||
|
||||
自动化最容易被识别的地方不是"慢"，是**每次都一模一样**：同一坐标、同一时长、
|
||||
13 台设备整齐划一地做同一个动作。`core/humanize.py` 从两个层次解决：
|
||||
|
||||
| 层次 | 机制 | 谁决定 |
|
||||
|---|---|---|
|
||||
| **每次不同** | 起点/终点/幅度/时长抖动，弧线方向随机 | 每次调用现算（`jitter` 控制幅度，0~0.4） |
|
||||
| **每台设备不同** | 手速(0.82~1.32)、幅度(0.86~1.16)、弧度、常用横坐标(±9%屏宽)、停顿(0.80~1.35) | `crc32(serial)` 播种，**同设备恒定** |
|
||||
|
||||
用法（同步步骤里用）：
|
||||
|
||||
```python
|
||||
from core import humanize
|
||||
humanize.swipe(d, "up", serial=self.serial, duration_min=0.25, duration_max=0.4,
|
||||
distance_ratio=0.6, jitter=0.15, humanize=True)
|
||||
humanize.pace(self.serial, 5.0, enabled=True) # wait 步骤的"按设备节奏微调"
|
||||
```
|
||||
|
||||
要点与坑：
|
||||
|
||||
- **性格稳定、抖动随机**：稳定才像"不同的人"，随机才不像"机器"。性格按 **serial**
|
||||
而不是设备名播种——改名不改风格，换地址会换风格（地址代表"这一台"）。
|
||||
- 内部用**独立的 `random.Random` 实例**，不碰全局 `random`：worker 是多线程的，
|
||||
全局 RNG 的取值顺序会被别的线程打乱，性格就串味了。
|
||||
- **屏幕尺寸别用 `d.info`**：部分设备上一次要 **14 秒**（实测），改用
|
||||
`humanize.screen_size(d, serial)`——它走 `d.window_size()`（同设备 0.6s）并缓存
|
||||
120 秒。这让"加了弧线反而更快"成为可能。
|
||||
- **曲线点数固定为 4**（5 个点）：`d.swipe_points` 在慢设备上**每多一个点约多 1 秒**
|
||||
（实测 2 点 1.4s / 6 点 6.0s / 10 点 10.6s），而设备自己会在点之间插值几十步，
|
||||
4 个点的贝塞尔已经足够弯。**不要为了"更平滑"把点数调大。**
|
||||
- `swipe_points` 抛异常时自动退回直线 `d.swipe`（老 agent 兜底），日志会留一行 warning。
|
||||
- 想关掉：步骤参数 `humanize: false`（完全还原老行为）；想调轻：`jitter: 0.05`。
|
||||
|
||||
---
|
||||
|
||||
## 9. Action 框架（App 专属操作）
|
||||
|
||||
@@ -104,7 +104,8 @@ function showTab(name){
|
||||
if(_discoveryTimer){clearInterval(_discoveryTimer);_discoveryTimer=null;}
|
||||
// 按需加载数据
|
||||
if(name==='monitor'){loadMonitor();_monitorTimer=setInterval(loadMonitor,5000);}
|
||||
if(name==='tasks'){showSubTab('tasks',_activeSubs.tasks);loadTasks();loadCustomActions();}
|
||||
if(name==='tasks'){showSubTab('tasks',_activeSubs.tasks);loadTasks();loadCustomActions();
|
||||
if(typeof loadStepDefaults==='function')loadStepDefaults();}
|
||||
if(name==='tools'){showSubTab('tools',_activeSubs.tools);loadToolsDevices();loadAdbDevices();loadTailscaleDevices();loadApks();}
|
||||
if(name==='logs'){
|
||||
showSubTab('logs', _activeSubs.logs||'files'); // 文件日志 / 步骤明细
|
||||
@@ -134,6 +135,7 @@ function showSubTab(tabId, name){
|
||||
if(tabId==='system' && name==='notify' && typeof loadNotifyPanel==='function') loadNotifyPanel();
|
||||
if(tabId==='logs' && name==='files' && typeof loadLogs==='function') loadLogs();
|
||||
if(tabId==='logs' && name==='steps' && typeof loadStepLogs==='function') loadStepLogs(true);
|
||||
if(tabId==='tasks' && name==='actioncfg' && typeof loadActionConfig==='function') loadActionConfig();
|
||||
if(name==='groups' && typeof loadGroups==='function') loadGroups();
|
||||
if(name==='apks' && typeof loadAgentStore==='function') loadAgentStore();
|
||||
if(name==='devpool' && typeof loadDevPool==='function'){
|
||||
|
||||
+143
-20
@@ -5,8 +5,8 @@ var STEP_LIB=[
|
||||
{type:'click',label:'点击元素',icon:'✦',cat:'interact',params:{selector_type:'xpath',selector_value:'',wait_timeout:2}},
|
||||
{type:'click_xy',label:'点击坐标',icon:'🎯',cat:'interact',params:{x:50,y:50}},
|
||||
{type:'long_click',label:'长按元素',icon:'👆',cat:'interact',params:{selector_type:'xpath',selector_value:'',duration:1.0,wait_timeout:2}},
|
||||
{type:'swipe',label:'滑动',icon:'↕',cat:'interact',params:{direction:'up',duration_min:0.25,duration_max:0.50}},
|
||||
{type:'swipe_until',label:'滑动直到元素',icon:'🔍',cat:'interact',params:{selector_type:'xpath',selector_value:'',direction:'up',max_swipes:8,click_when_found:true}},
|
||||
{type:'swipe',label:'滑动',icon:'↕',cat:'interact',params:{direction:'up',duration_min:0.25,duration_max:0.50,distance_ratio:0.6,jitter:0.15,humanize:true}},
|
||||
{type:'swipe_until',label:'滑动直到元素',icon:'🔍',cat:'interact',params:{selector_type:'xpath',selector_value:'',direction:'up',max_swipes:8,click_when_found:true,duration_min:0.25,duration_max:0.50,distance_ratio:0.6,jitter:0.15,humanize:true}},
|
||||
{type:'input_text',label:'输入文字',icon:'⌨',cat:'interact',params:{mode:'random',texts:'你好\n有趣\n支持',fixed_text:'',clear_first:true}},
|
||||
{type:'clipboard',label:'剪贴板注入',icon:'📋',cat:'interact',params:{text:'',paste:true}},
|
||||
{type:'key_event',label:'按键',icon:'⌨️',cat:'interact',params:{key:'back'}},
|
||||
@@ -19,8 +19,13 @@ var STEP_LIB=[
|
||||
{type:'wait_el',label:'等待元素',icon:'⏳',cat:'flow',params:{selector_type:'xpath',selector_value:'',timeout:10}},
|
||||
{type:'loop',label:'循环块',icon:'↻',cat:'flow',params:{loop_mode:'rounds',max_iterations:10,loop_duration:600,children:[]}},
|
||||
{type:'group',label:'动作组',icon:'📦',cat:'flow',params:{children:[]}},
|
||||
{type:'if_el',label:'条件判断',icon:'❓',cat:'flow',params:{selector_type:'xpath',selector_value:'',timeout:3,ocr_click:false,then:[],else:[]}}
|
||||
{type:'if_el',label:'条件判断',icon:'❓',cat:'flow',params:{selector_type:'xpath',selector_value:'',timeout:3,ocr_click:false,then:[],else:[]}},
|
||||
{type:'notify',label:'发通知',icon:'🔔',cat:'flow',params:{title:'',message:'',level:'info'}},
|
||||
{type:'stop_self',label:'停止本设备',icon:'⛔',cat:'flow',params:{reason:''}},
|
||||
{type:'gesture',label:'录制手势',icon:'⏺',cat:'interact',params:{points:[],speed:1.0}}
|
||||
];
|
||||
// 步骤默认值（「任务 → 动作配置」页配置，见 core/step_defaults.py）；新建步骤时预填
|
||||
let _stepDefaults = null;
|
||||
var STEP_LIB_CATS=[['interact','交互操作'],['screen','屏幕与App'],['flow','流程控制']];
|
||||
var _customActions=[]; // 后端加载的自定义动作
|
||||
var _stepIdCounter=0;
|
||||
@@ -46,19 +51,31 @@ function _findLib(type){return STEP_LIB.find(function(s){return s.type===type;})
|
||||
// 选择器组件（类型下拉 + 值输入 + 抓取元素 + 测试按钮），click/long_click/swipe_until/wait_el/if_el 复用
|
||||
// withOcr=true 时额外提供 OCR识别 选项（图片/画布里的文字，仅条件判断支持）
|
||||
function _selRowHtml(p, extra, withOcr){
|
||||
var types=withOcr?['xpath','description','text','resourceId','descriptionContains','className','ocr']:
|
||||
// withOcr（条件判断用）额外提供"屏幕状态 / 前台App"两类非元素条件
|
||||
var types=withOcr?['xpath','description','text','resourceId','descriptionContains','className','ocr','screen','foreground']:
|
||||
['xpath','description','text','resourceId','descriptionContains','className'];
|
||||
var labels={xpath:'xpath',description:'description',text:'text',resourceId:'resourceId',
|
||||
descriptionContains:'descriptionContains',className:'className',ocr:'OCR识别'};
|
||||
descriptionContains:'descriptionContains',className:'className',ocr:'OCR识别',
|
||||
screen:'屏幕状态',foreground:'前台App是'};
|
||||
var opts=types.map(function(d){
|
||||
return '<option value="'+d+'"'+(p.selector_type===d?' selected':'')+'>'+labels[d]+'</option>';}).join('');
|
||||
var toggle=withOcr?' onchange="_stepEditor._toggleOcrMode(this)"':'';
|
||||
var toggle=withOcr?' onchange="_stepEditor._condTypeChanged(this)"':'';
|
||||
var pick=_can('devices')?'<button class="btn btn-xs btn-pick" onclick="_stepEditor.openPicker(this)">抓取元素</button>':'';
|
||||
var test=_can('devices')?'<button class="btn btn-xs" onclick="_stepEditor._testStep(this)" title="在设备上试执行本步骤，验证选择器是否命中">测试</button>':'';
|
||||
var isScreen=p.selector_type==='screen', isFg=p.selector_type==='foreground';
|
||||
var valLabel=isScreen?'屏幕状态':(isFg?'前台包名':'选择器值');
|
||||
var valHtml;
|
||||
if(isScreen){
|
||||
valHtml='<select class="form-control" data-key="selector_value" style="max-width:140px">'+
|
||||
'<option value="off"'+(p.selector_value!=='on'?' selected':'')+'>熄屏时就命中</option>'+
|
||||
'<option value="on"'+(p.selector_value==='on'?' selected':'')+'>亮屏时就命中</option></select>';
|
||||
}else{
|
||||
valHtml='<input type="text" class="form-control" data-key="selector_value" value="'+esc(p.selector_value||'')+
|
||||
'" placeholder="'+(isFg?'如 com.ss.android.ugc.aweme':'如 点赞')+'">'+(isFg?'':pick+test);
|
||||
}
|
||||
return '<div class="form-row"><div class="form-group"><label>选择器类型</label><select class="form-control" data-key="selector_type"'+toggle+'>'+opts+'</select></div>'+
|
||||
'<div class="form-group" style="grid-column:span 2"><label>选择器值</label><div class="sel-picker">'+
|
||||
'<input type="text" class="form-control" data-key="selector_value" value="'+esc(p.selector_value||'')+'" placeholder="如 点赞">'+pick+test+
|
||||
'</div></div></div>'+(extra||'');
|
||||
'<div class="form-group" style="grid-column:span 2"><label>'+valLabel+'</label><div class="sel-picker">'+
|
||||
valHtml+'</div></div></div>'+(extra||'');
|
||||
}
|
||||
|
||||
// 加载自定义动作库
|
||||
@@ -69,6 +86,22 @@ function _loadCustomActions(){
|
||||
}).catch(function(){});
|
||||
}
|
||||
|
||||
|
||||
// 「拟人」开关 + 抖动幅度（滑动类步骤共用；见 core/humanize.py）
|
||||
function _humanizeChkHtml(p){
|
||||
return '<div class="form-row"><div class="form-group form-check">'
|
||||
+'<input type="checkbox" data-key="humanize" '+(p.humanize!==false?'checked':'')+'>'
|
||||
+'<label>拟人轨迹（弧线）</label></div>'
|
||||
+'<div class="form-group"><label>抖动幅度</label><input type="number" class="form-control" data-key="jitter" value="'
|
||||
+(p.jitter!=null?p.jitter:0.15)+'" step="0.05" min="0" max="0.4"></div></div>';
|
||||
}
|
||||
function _humanizeRowHtml(p,extra){
|
||||
return extra+_humanizeChkHtml(p)
|
||||
+'<div class="help">拟人：滑动走弧线，起止点/幅度/时长每次都抖一点，并按本设备的手速与幅度偏好执行'
|
||||
+'（每台设备风格稳定不同，批量跑时不像同步机器人）。关掉=还原成正中直线；'
|
||||
+'抖动填 0=位置/幅度不抖（时长仍在你填的范围内随机）</div>';
|
||||
}
|
||||
|
||||
var _stepEditor={
|
||||
_steps:[],
|
||||
_selected:[],
|
||||
@@ -299,6 +332,8 @@ var _stepEditor={
|
||||
['up','down','left','right'].map(function(d){return '<option value="'+d+'"'+(p.direction===d?' selected':'')+'>'+d+'</option>';}).join('')+'</select></div>';
|
||||
h+='<div class="form-group"><label>最短时长(秒)</label><input type="number" class="form-control" data-key="duration_min" value="'+(p.duration_min||0.25)+'" step="0.05" min="0.05"></div>';
|
||||
h+='<div class="form-group"><label>最长时长(秒)</label><input type="number" class="form-control" data-key="duration_max" value="'+(p.duration_max||0.50)+'" step="0.05" min="0.05"></div></div>';
|
||||
h+=_humanizeRowHtml(p,'<div class="form-group"><label>幅度(屏占比)</label><input type="number" class="form-control" data-key="distance_ratio" value="'+(p.distance_ratio!=null?p.distance_ratio:0.6)+'" step="0.05" min="0.1" max="0.9"></div>');
|
||||
h+='<div class="help">想要"照我划的那一下原样重放"，请用操作库里的《录制手势》步骤——那个是纯轨迹回放，不套这里的参数</div>';
|
||||
}else if(step.type==='click'){
|
||||
h+=_selRowHtml(p,'<div class="form-group"><label>等待超时(秒)</label><input type="number" class="form-control" data-key="wait_timeout" value="'+(p.wait_timeout||2)+'" step="0.5" min="0.5"></div>');
|
||||
}else if(step.type==='long_click'){
|
||||
@@ -308,9 +343,12 @@ var _stepEditor={
|
||||
h+=_selRowHtml(p,'<div class="form-row"><div class="form-group"><label>方向</label><select class="form-control" data-key="direction">'+
|
||||
'<option value="up"'+(p.direction!=='down'?' selected':'')+'>上滑</option>'+
|
||||
'<option value="down"'+(p.direction==='down'?' selected':'')+'>下滑</option></select></div>'+
|
||||
'<div class="form-group"><label>最多滑动次数</label><input type="number" class="form-control" data-key="max_swipes" value="'+(p.max_swipes||8)+'" min="1" max="50"></div></div>'+
|
||||
'<div class="form-group"><label>最多滑动次数</label><input type="number" class="form-control" data-key="max_swipes" value="'+(p.max_swipes||8)+'" min="1" max="50"></div>'+
|
||||
'<div class="form-group"><label>幅度(屏占比)</label><input type="number" class="form-control" data-key="distance_ratio" value="'+(p.distance_ratio!=null?p.distance_ratio:0.6)+'" step="0.05" min="0.1" max="0.9"></div></div>'+
|
||||
'<div class="form-group form-check"><input type="checkbox" data-key="click_when_found" '+(p.click_when_found!==false?'checked':'')+'><label>找到后点击</label></div>'+
|
||||
'<div class="help">上滑/下滑直到目标元素出现（每次滑动后检查一次），找不到则跳过继续</div>');
|
||||
_humanizeChkHtml(p)+
|
||||
|
||||
'<div class="help">上滑/下滑直到目标元素出现（每次滑动后检查一次），找不到则跳过继续。滑动同样走拟人轨迹</div>');
|
||||
}else if(step.type==='wait_el'){
|
||||
h+=_selRowHtml(p,'<div class="form-group"><label>最长等待(秒)</label><input type="number" class="form-control" data-key="timeout" value="'+(p.timeout||10)+'" min="1" max="120"></div>'+
|
||||
'<div class="help">等待目标元素出现（替代固定秒数等待），超时则继续</div>');
|
||||
@@ -324,9 +362,41 @@ var _stepEditor={
|
||||
return '<option value="'+k[0]+'"'+(p.key===k[0]?' selected':'')+'>'+k[1]+'</option>';
|
||||
}).join('')+'</select></div>';
|
||||
h+='<div class="help">返回键用于退出评论/返回上一页，比结束App轻量</div>';
|
||||
}else if(step.type==='notify'){
|
||||
h+='<div class="form-group"><label>标题</label><input type="text" class="form-control" data-key="title" value="'+esc(p.title||'')+'" placeholder="如 抖音号1 掉线了（留空用任务通知）"></div>';
|
||||
h+='<div class="form-group"><label>内容</label><textarea class="form-control" data-key="message" rows="2" style="min-height:52px">'+esc(p.message||'')+'</textarea></div>';
|
||||
h+='<div class="form-row"><div class="form-group"><label>级别</label><select class="form-control" data-key="level">'+
|
||||
[['info','ℹ️ 普通'],['success','✅ 正常'],['warning','⚠️ 警告'],['error','❌ 异常']].map(function(l){
|
||||
return '<option value="'+l[0]+'"'+((p.level||'info')===l[0]?' selected':'')+'>'+l[1]+'</option>';}).join('')+
|
||||
'</select></div></div>';
|
||||
h+='<div class="help">推送到哪条群取决于 webhook 自己的<b>事件订阅</b>（勾了「任务自定义通知」的才收）。'
|
||||
+'正文可用占位符：<b>{device}</b> 设备名、<b>{serial}</b> 地址、<b>{job}</b> 任务名、<b>{time}</b> 时间、'
|
||||
+'<b>{app}</b> 当前前台包名、<b>{screen}</b> 亮屏/熄屏（后两个要查设备，不用就别写）</div>';
|
||||
}else if(step.type==='stop_self'){
|
||||
h+='<div class="form-group"><label>停止原因（可留空）</label><input type="text" class="form-control" data-key="reason" value="'+esc(p.reason||'')+'" placeholder="如 连续刷到广告"></div>';
|
||||
h+='<div class="help">只停<b>本设备</b>的任务，其它设备照常；后续步骤不再执行，任务记为「被停止」而不是失败'
|
||||
+'（不会触发失败重试）。常配合「条件判断」用：命中条件 → 先「发通知」再「停止本设备」</div>';
|
||||
}else if(step.type==='gesture'){
|
||||
var pts=(p.points||[]);
|
||||
var dur=pts.length?pts[pts.length-1][2]:0;
|
||||
h+='<div class="form-row"><div class="form-group" style="flex:2"><label>录制状态</label>'+
|
||||
'<div style="padding:6px 0;font-size:13px">'+(pts.length
|
||||
? (pts.length+' 个轨迹点 · 时长 '+(dur/1000).toFixed(2)+' 秒 · 起点 ('+pts[0][0]+','+pts[0][1]+')')
|
||||
: '<span class="text-muted">还没有录制</span>')+'</div></div>';
|
||||
if(_can('devices')){
|
||||
h+='<div class="form-group"><button class="btn btn-sm btn-primary" onclick="_stepEditor.recordInto(this,\'phone\')">● 手机上录</button></div>';
|
||||
h+='<div class="form-group"><button class="btn btn-sm" onclick="_stepEditor.recordInto(this,\'web\')">● 网页上录</button></div>';
|
||||
}
|
||||
h+='<div class="form-group"><label>速度</label><input type="number" class="form-control" data-key="speed" value="'+(p.speed!=null?p.speed:1.0)+'" step="0.1" min="0.1" max="5"></div>';
|
||||
h+='<div class="form-group"><button class="btn btn-sm btn-danger" onclick="_stepEditor.clearGesture(this)">清空</button></div></div>';
|
||||
h+='<div class="help">这是<b>纯录制回放</b>：路径与时长照录制原样重放，不做弧线/抖动/手速那套加工（和「滑动」步骤是两回事）。'
|
||||
+'<b>手机上录</b>=用手指在真机上划（最真实）；<b>网页上录</b>=在弹窗画面里按住鼠标拖。'
|
||||
+'轨迹按屏幕绝对像素存，换分辨率不同的设备可能偏，同型号/同分辨率最稳</div>';
|
||||
}else if(step.type==='wait'){
|
||||
h+='<div class="form-row"><div class="form-group"><label>最短(秒)</label><input type="number" class="form-control" data-key="min" value="'+(p.min||1.0)+'" step="0.5" min="0.1"></div>';
|
||||
h+='<div class="form-group"><label>最长(秒)</label><input type="number" class="form-control" data-key="max" value="'+(p.max||3.0)+'" step="0.5" min="0.1"></div></div>';
|
||||
h+='<div class="form-group form-check"><input type="checkbox" data-key="vary_pace" '+(p.vary_pace?'checked':'')+'><label>按设备节奏微调（0.8~1.35 倍）</label></div>';
|
||||
h+='<div class="help">勾上后每台设备按自己的节奏缩放这个等待：批量跑时设备之间会逐渐错开，不再整齐划一。代价是实际时长不再严格等于上面填的值</div>';
|
||||
}else if(step.type==='clipboard'){
|
||||
h+='<div class="form-group"><label>注入内容</label><textarea class="form-control" data-key="text" rows="3" style="font-family:monospace;min-height:70px">'+esc(p.text||'')+'</textarea></div>';
|
||||
h+='<div class="form-group form-check"><input type="checkbox" data-key="paste" '+(p.paste!==false?'checked':'')+'><label>注入后立即粘贴（需输入框已聚焦）</label></div>';
|
||||
@@ -353,12 +423,17 @@ var _stepEditor={
|
||||
h+='<div class="help">动作组：按顺序执行下方子步骤一次。把多个步骤打包成一个可复用的整体。</div>';
|
||||
h+='<div class="form-group"><button class="btn btn-xs btn-primary" onclick="_stepEditor.saveAsCustomAction(\''+esc(step.id||'')+'\')">存为自定义动作</button> <span class="help" style="display:inline">把本组步骤保存到左侧自定义动作库，方便复用</span></div>';
|
||||
}else if(step.type==='if_el'){
|
||||
// 屏幕状态 / 前台App 是"直接读设备当前状态"，没有等待超时、也没有选择器可抓
|
||||
var dyn=(p.selector_type==='screen'||p.selector_type==='foreground');
|
||||
h+=_selRowHtml(p,
|
||||
'<div class="form-group"><label>查找超时(秒)</label><input type="number" class="form-control" data-key="timeout" value="'+(p.timeout||3)+'" min="0.5" max="30" step="0.5"></div>'+
|
||||
(dyn?'':'<div class="form-group"><label>查找超时(秒)</label><input type="number" class="form-control" data-key="timeout" value="'+(p.timeout||3)+'" min="0.5" max="30" step="0.5"></div>'+
|
||||
'<div class="form-group form-check" data-ocr-field style="display:'+(p.selector_type==='ocr'?'block':'none')+'">'+
|
||||
'<input type="checkbox" data-key="ocr_click" '+(p.ocr_click?'checked':'')+'><label>OCR 命中后自动点击该文字</label></div>'+
|
||||
'<div class="help">超时内找到元素 → 执行下方"✅ 找到时"分支；未找到 → 执行"❌ 未找到时"分支。两分支可放任意步骤，也可再嵌套条件判断/循环；'+
|
||||
'<b>OCR识别</b>可匹配图片/画布里的文字（截屏识别，跨平台）</div>', true);
|
||||
'<input type="checkbox" data-key="ocr_click" '+(p.ocr_click?'checked':'')+'><label>OCR 命中后自动点击该文字</label></div>')+
|
||||
'<div class="help">'+(dyn
|
||||
? '命中 → 执行下方"✅ 找到时"分支；未命中 → 执行"❌ 未找到时"分支。<b>屏幕状态</b>读系统 mWakefulness（亮/熄），'
|
||||
+'<b>前台App是</b>判断当前前台是不是某个包名——都只看当前状态，不等待。'
|
||||
: '超时内找到元素 → 执行下方"✅ 找到时"分支；未找到 → 执行"❌ 未找到时"分支。两分支可放任意步骤，也可再嵌套条件判断/循环；'
|
||||
+'<b>OCR识别</b>可匹配图片/画布里的文字（截屏识别，跨平台）')+'</div>', true);
|
||||
}
|
||||
// 共享：触发概率（所有步骤通用，0~100）
|
||||
h+='<div class="form-row" style="margin-top:8px"><div class="form-group"><label>触发概率(%)</label><input type="number" class="form-control" data-key="probability" value="'+(p.probability!=null?p.probability:100)+'" min="0" max="100"><div class="help">0~100，<100 表示按概率执行（如 30=隔几次才触发一次，适合"偶尔点赞"）</div></div></div>';
|
||||
@@ -453,7 +528,44 @@ var _stepEditor={
|
||||
}
|
||||
},
|
||||
_makeStep:function(lib){
|
||||
return {id:_newStepId(),type:lib.type,label:lib.label,params:JSON.parse(JSON.stringify(lib.params))};
|
||||
// 参数 = STEP_LIB 出厂值 ← 用户在「动作配置」里配的默认值（有才覆盖）
|
||||
var params=JSON.parse(JSON.stringify(lib.params));
|
||||
var d=_stepDefaults&&_stepDefaults[lib.type];
|
||||
if(d)Object.keys(d).forEach(function(k){ if(d[k]!==undefined)params[k]=d[k]; });
|
||||
return {id:_newStepId(),type:lib.type,label:lib.label,params:params};
|
||||
},
|
||||
// 递归找步骤对象（按 id）——写入录音必须改 _steps，不能只改 DOM
|
||||
_findStep:function(id,arr){
|
||||
var self=this, found=null;
|
||||
(arr||this._steps).forEach(function(st){
|
||||
if(found)return;
|
||||
if(st.id===id){found=st;return;}
|
||||
_childArrs(st).forEach(function(a){ if(!found)found=self._findStep(id,a); });
|
||||
});
|
||||
return found;
|
||||
},
|
||||
// 给某个「录制手势」步骤录制轨迹（src: 'phone' 手机上录 / 'web' 网页上录）
|
||||
recordInto:function(btn,src){
|
||||
var card=btn.closest('.step-card');
|
||||
var step=card?this._findStep(card.dataset.stepId):null;
|
||||
if(!step){showToast('找不到这个步骤','error');return;}
|
||||
if(typeof openRecorder!=='function'){showToast('录制器未加载','error');return;}
|
||||
var self=this;
|
||||
openRecorder({mode:'gesture', autoStartPhone: src==='phone', onDone:function(p,from){
|
||||
step.params={points:p.points,speed:p.speed||1.0};
|
||||
var dur=p.points.length?p.points[p.points.length-1][2]:0;
|
||||
step.label='录制手势 '+(from==='phone'?'手机':'网页')+' '+p.points.length+'点';
|
||||
self._renderCanvas();
|
||||
showToast('已录到 '+(p.points.length)+' 个点 / '+(dur/1000).toFixed(2)+' 秒','success');
|
||||
}});
|
||||
},
|
||||
clearGesture:function(btn){
|
||||
var card=btn.closest('.step-card');
|
||||
var step=card?this._findStep(card.dataset.stepId):null;
|
||||
if(!step){return;}
|
||||
step.params={points:[],speed:1.0};
|
||||
this._renderCanvas();
|
||||
showToast('已清空录制的轨迹','success');
|
||||
},
|
||||
// 测试此步骤：在选中设备上试执行当前步骤，验证选择器
|
||||
_testStep:function(btn){
|
||||
@@ -626,10 +738,12 @@ var _stepEditor={
|
||||
});
|
||||
},
|
||||
// 条件判断：选择器类型切到 OCR 时显示"命中后点击"开关
|
||||
_toggleOcrMode:function(sel){
|
||||
var card=sel.closest('.step-card');
|
||||
var f=card&&card.querySelector('[data-ocr-field]');
|
||||
if(f)f.style.display=sel.value==='ocr'?'block':'none';
|
||||
_condTypeChanged:function(sel){
|
||||
// 条件类型一变，"值"控件也要跟着换（元素值输入框 / 屏幕亮熄下拉 / 包名输入），
|
||||
// 整卡重渲染最省心。先把 DOM 的值同步回 _steps，否则重渲染会丢掉刚改的东西。
|
||||
this._syncFromDom();
|
||||
var self=this;
|
||||
setTimeout(function(){self._renderCanvas();},0);
|
||||
},
|
||||
// 给数组分配唯一 id，用于 move/duplicate/remove/拖拽定位到正确的父数组
|
||||
_arrId:function(arr){
|
||||
@@ -725,6 +839,10 @@ var _stepEditor={
|
||||
if(!s.params.text){
|
||||
warnings.push(name+' "'+label+'": 注入内容为空，步骤会跳过。');
|
||||
}
|
||||
}else if(s.type==='gesture'){
|
||||
if(!(s.params.points||[]).length){
|
||||
warnings.push(name+' "'+label+'": 录制手势还没有轨迹，执行时会被跳过。');
|
||||
}
|
||||
}else if(s.type==='if_el'){
|
||||
if(!s.params.selector_value){
|
||||
warnings.push(name+' "'+label+'": 条件判断的选择器为空，会直接走"未找到"分支。');
|
||||
@@ -1220,6 +1338,11 @@ async function saveTask(jobId){
|
||||
}
|
||||
const mdEl=document.getElementById('f-max_duration');
|
||||
params={max_duration:mdEl?parseInt(mdEl.value)||0:0,steps:steps};
|
||||
// 公共巡检（任务级，独立于步骤画布；实现在 tasks.js + core/patrol.py）
|
||||
if(typeof patrolCollect==='function'){
|
||||
const ws=patrolCollect();
|
||||
if(ws.length)params.watchers=ws;
|
||||
}
|
||||
}else{
|
||||
try{params=JSON.parse(document.getElementById('f-params').value||'{}');}
|
||||
catch(e){showToast('参数 JSON 格式错误','error');return;}
|
||||
|
||||
@@ -0,0 +1,418 @@
|
||||
// ================== 动作录制器 ==================
|
||||
// 在设备截图上操作（点/划/按键/输入），自动翻译成**步骤**：
|
||||
// · 点 → 命中元素就记「点击元素」(选择器)，抓不到就退化成「点击坐标」(百分比)
|
||||
// · 划 → 记**「录制手势」**：完整轨迹点列 [[x,y,t_ms],…]，**纯回放**，不再套滑动逻辑
|
||||
// · 停顿 → 可选记成「等待」（按真实间隔 ±15%）
|
||||
//
|
||||
// 两个录制来源：
|
||||
// · 网页上录：在这个窗口里按住鼠标拖（采样路径 + 时间）
|
||||
// · 手机上录：点「手机上录」后**用手指在真机上划**——后端读 getevent 抓真触屏，
|
||||
// 录到的是人手的真实轨迹（比在网页上模拟更真）
|
||||
//
|
||||
// 两种用法（同一个窗口）：
|
||||
// mode='action' —— 录一段，存成「自定义动作」（进动作库，能拖进任何任务）
|
||||
// mode='gesture' —— 录到的手势直接回填给调用方（步骤编辑器里的「录制手势」步骤）
|
||||
//
|
||||
// 元素树用 /api/uiauto/snapshot 一次取齐（截图 + 元素），**每次操作后自动刷新**，
|
||||
// 这样下一次点击就能用最新的树翻译选择器（抖音这种没有 id 的界面靠 text/desc）。
|
||||
|
||||
let _rec = null;
|
||||
|
||||
function _recEl() { return document.getElementById('rec-overlay'); }
|
||||
|
||||
async function openRecorder(opts) {
|
||||
opts = opts || {};
|
||||
if (_recEl()) return;
|
||||
_rec = {
|
||||
mode: opts.mode || 'action',
|
||||
serial: opts.serial || '',
|
||||
onDone: opts.onDone || null,
|
||||
steps: [],
|
||||
elements: [],
|
||||
devW: 0, devH: 0, imgURL: '',
|
||||
lastTs: 0, dragFrom: null, busy: false, keepPause: true,
|
||||
samples: [], phone: null, autoPhone: !!opts.autoStartPhone,
|
||||
shots: 0, unstable: false,
|
||||
};
|
||||
const ov = document.createElement('div');
|
||||
ov.id = 'rec-overlay';
|
||||
ov.className = 'modal-overlay show'; // .modal-overlay 默认 display:none，必须带 show
|
||||
ov.innerHTML =
|
||||
'<div class="modal-box rec-box">' +
|
||||
'<div class="rec-head">' +
|
||||
'<b>' + (_rec.mode === 'gesture' ? '录制手势' : '录制动作') + '</b>' +
|
||||
'<select id="rec-device" class="form-control" style="width:auto" onchange="recPickDevice()"></select>' +
|
||||
'<button class="btn btn-sm" onclick="recRefresh()">刷新画面</button>' +
|
||||
'<label class="form-check"><input type="checkbox" id="rec-pause" checked onchange="_rec.keepPause=this.checked"><span>记录停顿</span></label>' +
|
||||
'<span style="flex:1"></span>' +
|
||||
'<button class="btn btn-sm" onclick="closeRecorder()">关闭</button>' +
|
||||
'</div>' +
|
||||
'<div class="rec-body">' +
|
||||
'<div class="rec-stage" id="rec-stage"><div class="rec-hint">正在取画面…</div></div>' +
|
||||
'<div class="rec-side">' +
|
||||
'<div class="rec-ops">' +
|
||||
'<button class="btn btn-sm" onclick="recKey(\'back\')">返回</button>' +
|
||||
'<button class="btn btn-sm" onclick="recKey(\'home\')">Home</button>' +
|
||||
'<button class="btn btn-sm" onclick="recKey(\'recent\')">最近</button>' +
|
||||
'<button class="btn btn-sm" onclick="recKey(\'enter\')">回车</button>' +
|
||||
'</div>' +
|
||||
'<div class="rec-row"><input id="rec-text" class="form-control" placeholder="要输入的文字">' +
|
||||
'<button class="btn btn-sm" onclick="recText()">输入</button></div>' +
|
||||
'<div class="rec-ops">' +
|
||||
'<button class="btn btn-sm" onclick="recAddWait()">+ 等待</button>' +
|
||||
'<button class="btn btn-sm" onclick="recClear()">清空</button>' +
|
||||
'</div>' +
|
||||
'<div class="rec-list-title">录到的步骤 <span id="rec-count" class="text-muted"></span></div>' +
|
||||
'<div class="rec-list" id="rec-list"></div>' +
|
||||
'<div class="rec-foot" id="rec-foot"></div>' +
|
||||
'</div>' +
|
||||
'</div>' +
|
||||
'</div>';
|
||||
ov.addEventListener('mousedown', function (e) { if (e.target === ov) closeRecorder(); });
|
||||
document.body.appendChild(ov);
|
||||
await recLoadDevices();
|
||||
recRender();
|
||||
if (_rec.autoPhone && _rec.serial) recStartPhone();
|
||||
}
|
||||
|
||||
function closeRecorder() {
|
||||
const ov = _recEl();
|
||||
if (ov) ov.remove();
|
||||
_rec = null;
|
||||
}
|
||||
|
||||
async function recLoadDevices() {
|
||||
const sel = document.getElementById('rec-device');
|
||||
if (!sel) return;
|
||||
sel.innerHTML = '<option value="">选择设备…</option>';
|
||||
const r = await apiGet('/api/devices');
|
||||
if (!r || !r.ok) return;
|
||||
(r.items || []).forEach(function (d) {
|
||||
const o = document.createElement('option');
|
||||
o.value = d.serial;
|
||||
o.textContent = d.name ? (d.name + '（' + d.serial + '）') : d.serial;
|
||||
sel.appendChild(o);
|
||||
});
|
||||
if (_rec.serial) { sel.value = _rec.serial; }
|
||||
else if ((r.items || []).length) { sel.value = r.items[0].serial; _rec.serial = r.items[0].serial; }
|
||||
if (_rec.serial) { await recWake(); recRefresh(); }
|
||||
}
|
||||
|
||||
async function recPickDevice() {
|
||||
const sel = document.getElementById('rec-device');
|
||||
_rec.serial = sel ? sel.value : '';
|
||||
_rec.elements = [];
|
||||
recRender();
|
||||
if (_rec.serial) { await recWake(); recRefresh(); }
|
||||
}
|
||||
|
||||
// 录制前先唤醒设备：**息屏时 u2 抓 UI 树会退化到几十秒**（实测 65s，唤醒后 3.3s），
|
||||
// 截图也是一片黑。唤醒是幂等的，多调一次没有副作用。
|
||||
async function recWake() {
|
||||
if (!_rec || !_rec.serial) return;
|
||||
try {
|
||||
const r = await apiPost('/api/device/screen_all', { mode: 'on', serials: [_rec.serial] });
|
||||
if (r && r.ok) await new Promise(function (z) { setTimeout(z, 800); });
|
||||
} catch (e) { /* 唤醒失败也继续，用户自己会看到黑屏 */ }
|
||||
}
|
||||
|
||||
// 取一张快照：截图 + 元素树（同一个连接背靠背取，避免框错位）
|
||||
async function recRefresh() {
|
||||
if (!_rec || !_rec.serial) return;
|
||||
const r = await apiGet('/api/uiauto/snapshot?serial=' + encodeURIComponent(_rec.serial));
|
||||
if (!r || !r.ok) {
|
||||
const st = document.getElementById('rec-stage');
|
||||
if (st) st.innerHTML = '<div class="rec-hint">取画面失败：' + esc((r && r.error) || '未知错误') + '</div>';
|
||||
return;
|
||||
}
|
||||
_rec.imgURL = r.image || '';
|
||||
_rec.devW = r.width || 0;
|
||||
_rec.devH = r.height || 0;
|
||||
_rec.elements = r.elements || [];
|
||||
_rec.unstable = !!r.unstable;
|
||||
_rec.shots++;
|
||||
recPaint();
|
||||
}
|
||||
|
||||
function recPaint() {
|
||||
const st = document.getElementById('rec-stage');
|
||||
if (!st) return;
|
||||
if (!_rec.imgURL) { st.innerHTML = '<div class="rec-hint">正在取画面…</div>'; return; }
|
||||
st.innerHTML = '<img id="rec-img" src="' + _rec.imgURL + '" draggable="false">' +
|
||||
(_rec.unstable ? '<div class="rec-warn">画面在变化，这次框可能不准</div>' : '');
|
||||
const img = document.getElementById('rec-img');
|
||||
img.addEventListener('mousedown', recDown);
|
||||
img.addEventListener('mousemove', recMove);
|
||||
img.addEventListener('mouseup', recUp);
|
||||
img.addEventListener('mouseleave', function () { _rec.dragFrom = null; recPaintOverlay(); });
|
||||
recPaintOverlay();
|
||||
}
|
||||
|
||||
// 拖动中的轨迹提示（录制时能看见自己划到哪）
|
||||
function recPaintOverlay() {
|
||||
const st = document.getElementById('rec-stage');
|
||||
if (!st) return;
|
||||
let cv = document.getElementById('rec-overlay-line');
|
||||
if (!cv) {
|
||||
cv = document.createElement('div');
|
||||
cv.id = 'rec-overlay-line';
|
||||
cv.className = 'rec-line';
|
||||
st.appendChild(cv);
|
||||
}
|
||||
if (!_rec.dragFrom) { cv.style.display = 'none'; return; }
|
||||
cv.style.display = 'block';
|
||||
const a = _rec.dragFrom;
|
||||
const b = _rec.dragTo || a;
|
||||
const x = Math.min(a.x, b.x), y = Math.min(a.y, b.y);
|
||||
cv.style.left = x + 'px'; cv.style.top = y + 'px';
|
||||
cv.style.width = Math.abs(b.x - a.x) + 'px';
|
||||
cv.style.height = Math.abs(b.y - a.y) + 'px';
|
||||
}
|
||||
|
||||
function _recPos(e) {
|
||||
const img = document.getElementById('rec-img');
|
||||
if (!img) return null;
|
||||
const r = img.getBoundingClientRect();
|
||||
const x = e.clientX - r.left, y = e.clientY - r.top;
|
||||
if (x < 0 || y < 0 || x > r.width || y > r.height) return null;
|
||||
// 显示坐标 → 设备坐标
|
||||
const sx = _rec.devW / r.width, sy = _rec.devH / r.height;
|
||||
return { x: Math.round(x * sx), y: Math.round(y * sy), rx: x, ry: y, cssW: r.width, cssH: r.height };
|
||||
}
|
||||
|
||||
function recDown(e) {
|
||||
if (_rec.busy) return;
|
||||
const p = _recPos(e);
|
||||
if (!p) return;
|
||||
_rec.dragFrom = p; _rec.dragTo = null; _rec.dragT0 = Date.now();
|
||||
// 采样：拖动过程中把每个点连时间一起记下来（这就是"轨迹"）
|
||||
_rec.samples = [[p.x, p.y, 0]];
|
||||
recPaintOverlay();
|
||||
}
|
||||
|
||||
function recMove(e) {
|
||||
if (!_rec.dragFrom) return;
|
||||
const p = _recPos(e);
|
||||
if (!p) return;
|
||||
_rec.dragTo = p;
|
||||
const t = Date.now() - _rec.dragT0;
|
||||
const last = _rec.samples[_rec.samples.length - 1];
|
||||
if (!last || t - last[2] >= 8 || Math.abs(p.x - last[0]) + Math.abs(p.y - last[1]) >= 3) {
|
||||
if (_rec.samples.length < 400) _rec.samples.push([p.x, p.y, t]);
|
||||
}
|
||||
recPaintOverlay();
|
||||
}
|
||||
|
||||
async function recUp(e) {
|
||||
if (!_rec.dragFrom || _rec.busy) { _rec.dragFrom = null; return; }
|
||||
const a = _rec.dragFrom;
|
||||
const b = _recPos(e) || a;
|
||||
const durMs = Date.now() - _rec.dragT0;
|
||||
_rec.dragFrom = null;
|
||||
recPaintOverlay();
|
||||
const dist = Math.hypot(b.x - a.x, b.y - a.y);
|
||||
if (dist < 12 || durMs < 60) { // 视为点击
|
||||
_rec.samples = [];
|
||||
await recTap(a.x, a.y);
|
||||
} else {
|
||||
const pts = _rec.samples.slice();
|
||||
pts.push([b.x, b.y, durMs]); // 末点补上（决定手势收尾位置）
|
||||
_rec.samples = [];
|
||||
recPushGesture(pts, 'web');
|
||||
await recRefresh();
|
||||
}
|
||||
}
|
||||
|
||||
// 一条录到的轨迹 → 「录制手势」步骤（**纯回放**：点列+时长原样存下，不再套滑动逻辑）
|
||||
function recPushGesture(points, src) {
|
||||
if (!points || points.length < 2) { showToast('没录到有效轨迹（太短了）', 'error'); return; }
|
||||
if (_rec.mode === 'gesture') { // 回填模式：直接交给调用方，收工
|
||||
const cb = _rec.onDone;
|
||||
closeRecorder();
|
||||
if (cb) cb({ points: points, speed: 1.0 }, src);
|
||||
return;
|
||||
}
|
||||
const dur = points[points.length - 1][2] || 0;
|
||||
_recPush({ type: 'gesture',
|
||||
label: '录制手势 ' + points.length + '点/' + (dur / 1000).toFixed(1) + 's',
|
||||
params: { points: points, speed: 1.0 } });
|
||||
}
|
||||
|
||||
// ---------- 手机端录制（getevent 抓真手指） ----------
|
||||
async function recStartPhone() {
|
||||
if (!_rec.serial) { showToast('先选设备', 'error'); return; }
|
||||
const r = await apiPost('/api/gesture/record/start', { serial: _rec.serial });
|
||||
if (!r || !r.ok) { showToast((r && r.error) || '开始失败', 'error'); return; }
|
||||
_rec.phone = { token: r.token, t0: Date.now() };
|
||||
showToast('开始录制——现在用手指在手机上划', 'success');
|
||||
recRenderFoot();
|
||||
}
|
||||
|
||||
async function recStopPhone() {
|
||||
if (!_rec.phone) return;
|
||||
const token = _rec.phone.token;
|
||||
_rec.phone = null;
|
||||
const r = await apiPost('/api/gesture/record/stop', { token: token });
|
||||
if (!r || !r.ok) { showToast((r && r.error) || '停止失败', 'error'); recRenderFoot(); return; }
|
||||
const gs = r.gestures || [];
|
||||
if (!gs.length) {
|
||||
showToast('没录到手势——请在手机屏幕上用指划一下（不是点）', 'error');
|
||||
recRenderFoot(); return;
|
||||
}
|
||||
if (_rec.mode === 'gesture') { recPushGesture(gs[gs.length - 1], 'phone'); return; }
|
||||
gs.forEach(function (g) { recPushGesture(g, 'phone'); });
|
||||
showToast('录到 ' + gs.length + ' 个手势', 'success');
|
||||
recRenderFoot();
|
||||
recRefresh();
|
||||
}
|
||||
|
||||
// ---------- 翻译：点击 → 步骤 ----------
|
||||
function _recFindElement(x, y) {
|
||||
// 取包含该点的最小元素；优先可点击的（和 /api/screen/tap 的 snap 同一口径）
|
||||
let best = null, bestClick = null;
|
||||
(_rec.elements || []).forEach(function (el) {
|
||||
const m = (el.bounds || '').match(/\[(\d+),(\d+)\]\[(\d+),(\d+)\]/);
|
||||
if (!m) return;
|
||||
const x1 = +m[1], y1 = +m[2], x2 = +m[3], y2 = +m[4];
|
||||
if (!(x1 <= x && x <= x2 && y1 <= y && y <= y2)) return;
|
||||
const area = (x2 - x1) * (y2 - y1);
|
||||
const cand = { el: el, area: area, cx: Math.round((x1 + x2) / 2), cy: Math.round((y1 + y2) / 2) };
|
||||
if (!best || area < best.area) best = cand;
|
||||
if (String(el.clickable) === 'true' && (!bestClick || area < bestClick.area)) bestClick = cand;
|
||||
});
|
||||
return bestClick || best;
|
||||
}
|
||||
|
||||
async function recTap(x, y) {
|
||||
if (!_rec || _rec.busy) return;
|
||||
_rec.busy = true;
|
||||
try {
|
||||
const hit = _recFindElement(x, y);
|
||||
let step;
|
||||
if (hit && hit.el.suggested && hit.el.suggested.value) {
|
||||
step = { type: 'click', label: '点击' + _recShort(hit.el),
|
||||
params: { selector_type: hit.el.suggested.type || 'xpath',
|
||||
selector_value: hit.el.suggested.value, wait_timeout: 2 } };
|
||||
} else {
|
||||
step = { type: 'click_xy', label: '点击坐标',
|
||||
params: { x: Math.round(x / _rec.devW * 100), y: Math.round(y / _rec.devH * 100) } };
|
||||
}
|
||||
_recPush(step);
|
||||
const r = await apiPost('/api/screen/tap', { serial: _rec.serial, x: x, y: y, snap: 1 });
|
||||
if (r && !r.ok) showToast((r.error || '点击失败'), 'error');
|
||||
await recRefresh();
|
||||
} finally { _rec.busy = false; }
|
||||
}
|
||||
|
||||
function _recShort(el) {
|
||||
const s = el.text || el.description || el.name || el.resource_id || '';
|
||||
return s ? ('「' + String(s).slice(0, 12) + '」') : '';
|
||||
}
|
||||
|
||||
async function recKey(key) {
|
||||
if (!_rec || !_rec.serial) { showToast('先选设备', 'error'); return; }
|
||||
_recPush({ type: 'key_event', label: '按键 ' + key, params: { key: key } });
|
||||
const r = await apiPost('/api/screen/key', { serial: _rec.serial, key: key });
|
||||
if (r && !r.ok) showToast((r.error || '按键失败'), 'error');
|
||||
await recRefresh();
|
||||
}
|
||||
|
||||
async function recText() {
|
||||
if (!_rec || !_rec.serial) { showToast('先选设备', 'error'); return; }
|
||||
const inp = document.getElementById('rec-text');
|
||||
const t = (inp ? inp.value : '').trim();
|
||||
if (!t) { showToast('先填要输入的文字', 'error'); return; }
|
||||
_recPush({ type: 'input_text', label: '输入 ' + t.slice(0, 8),
|
||||
params: { mode: 'fixed', fixed_text: t, clear_first: false } });
|
||||
const r = await apiPost('/api/screen/text', { serial: _rec.serial, text: t });
|
||||
if (r && !r.ok) showToast((r.error || '输入失败'), 'error');
|
||||
if (inp) inp.value = '';
|
||||
await recRefresh();
|
||||
}
|
||||
|
||||
function recAddWait() {
|
||||
_recPush({ type: 'wait', label: '等待', params: { min: 1, max: 3 } });
|
||||
}
|
||||
|
||||
// 入列：按需自动补一条「等待」（真实停顿，±15%），并刷新列表
|
||||
function _recPush(step) {
|
||||
const now = Date.now();
|
||||
if (_rec.keepPause && _rec.lastTs && step.type !== 'wait') {
|
||||
const gap = (now - _rec.lastTs) / 1000;
|
||||
if (gap >= 1.0) {
|
||||
_rec.steps.push({ id: 'rec_' + Math.random().toString(36).slice(2, 8),
|
||||
type: 'wait', label: '等待 ' + gap.toFixed(1) + 's',
|
||||
params: { min: +(gap * 0.85).toFixed(1), max: +(gap * 1.15).toFixed(1) } });
|
||||
}
|
||||
}
|
||||
step.id = 'rec_' + Math.random().toString(36).slice(2, 8);
|
||||
_rec.steps.push(step);
|
||||
_rec.lastTs = now;
|
||||
recRender();
|
||||
}
|
||||
|
||||
function recClear() { _rec.steps = []; _rec.lastTs = 0; recRender(); }
|
||||
|
||||
function recDel(i) { _rec.steps.splice(i, 1); recRender(); }
|
||||
function recMove2(i, d) {
|
||||
const j = i + d;
|
||||
if (j < 0 || j >= _rec.steps.length) return;
|
||||
const t = _rec.steps[i]; _rec.steps[i] = _rec.steps[j]; _rec.steps[j] = t;
|
||||
recRender();
|
||||
}
|
||||
|
||||
function recRender() {
|
||||
const list = document.getElementById('rec-list');
|
||||
if (!list) return;
|
||||
const steps = _rec ? _rec.steps : [];
|
||||
document.getElementById('rec-count').textContent = steps.length ? ('共 ' + steps.length + ' 步') : '';
|
||||
list.innerHTML = steps.map(function (s, i) {
|
||||
return '<div class="rec-item"><span class="rec-idx">' + (i + 1) + '</span>' +
|
||||
'<span class="rec-label">' + esc(s.label || s.type) + '</span>' +
|
||||
'<span class="rec-ops2">' +
|
||||
'<button class="btn btn-xs" onclick="recMove2(' + i + ',-1)" title="上移">↑</button>' +
|
||||
'<button class="btn btn-xs" onclick="recMove2(' + i + ',1)" title="下移">↓</button>' +
|
||||
'<button class="btn btn-xs btn-danger" onclick="recDel(' + i + ')">×</button>' +
|
||||
'</span></div>';
|
||||
}).join('') || '<div class="text-muted" style="font-size:12px;padding:6px 0">还没有录到步骤——在左边画面上点一下或划一下试试</div>';
|
||||
recRenderFoot();
|
||||
}
|
||||
|
||||
function recRenderFoot() {
|
||||
const foot = document.getElementById('rec-foot');
|
||||
if (!foot) return;
|
||||
const steps = _rec.steps;
|
||||
if (_rec.mode === 'gesture') {
|
||||
// 回填模式：录到就立刻填回那个步骤，不用再点确认
|
||||
foot.innerHTML = _rec.phone
|
||||
? '<button class="btn btn-danger" onclick="recStopPhone()">■ 停止并填入</button>'
|
||||
: '<button class="btn btn-primary" onclick="recStartPhone()">● 手机上录</button>' +
|
||||
'<div class="help">或在左边画面上按住鼠标拖一下——录到就立刻填进那一步</div>';
|
||||
return;
|
||||
}
|
||||
const phoneBtn = _rec.phone
|
||||
? '<button class="btn btn-danger" onclick="recStopPhone()">■ 停止手机录制</button>'
|
||||
: '<button class="btn btn-primary" onclick="recStartPhone()">● 手机上录</button>';
|
||||
foot.innerHTML =
|
||||
'<div class="rec-row" style="margin-bottom:6px">' + phoneBtn +
|
||||
'<span class="help" style="margin:0">' + (_rec.phone
|
||||
? '正在录：请用手指在手机屏幕上划，划完点「停止」'
|
||||
: '手机上用手指划 = 录真手指轨迹；在左边画面上拖 = 网页录制') + '</span></div>' +
|
||||
'<div class="rec-row"><input id="rec-name" class="form-control" placeholder="动作名，如「抖音-进评论」">' +
|
||||
'<button class="btn btn-primary" onclick="recSaveAsAction()">存成动作</button></div>' +
|
||||
'<div class="help">划出来的每一段都是一条「录制手势」步骤（按原路径与时长回放，不再套滑动逻辑）</div>';
|
||||
}
|
||||
|
||||
async function recSaveAsAction() {
|
||||
const el = document.getElementById('rec-name');
|
||||
const name = (el ? el.value : '').trim();
|
||||
if (!name) { showToast('先给动作起个名', 'error'); return; }
|
||||
const steps = _rec.steps.filter(function (s) { return s.type !== 'wait' || true; })
|
||||
.map(function (s) { return { type: s.type, label: s.label, params: s.params }; });
|
||||
if (!steps.length) { showToast('还没有录到步骤', 'error'); return; }
|
||||
const r = await apiPost('/api/custom_actions', { name: name, icon: '⏺', steps: steps });
|
||||
if (!r || !r.ok) { showToast((r && r.error) || '保存失败', 'error'); return; }
|
||||
showToast('已存成动作「' + name + '」（' + steps.length + ' 步）', 'success');
|
||||
if (typeof loadCustomActions === 'function') loadCustomActions();
|
||||
closeRecorder();
|
||||
}
|
||||
@@ -80,6 +80,128 @@ function _normalizeTaskEnv(env){
|
||||
};
|
||||
}
|
||||
|
||||
// ================== 公共巡检（任务级，独立于步骤画布） ==================
|
||||
// 与后端 core/patrol.py 的 CHECKS/ACTIONS 一一对应；选项变动时两边一起改。
|
||||
// 存进任务 params.watchers，worker 在步骤之间穿插执行（见 core/patrol.py 模块注释）。
|
||||
const _PATROL_CHECKS=[
|
||||
['screen_off','屏幕熄灭',''], ['screen_on','屏幕亮着',''],
|
||||
['element_exists','元素存在','selector'], ['element_missing','元素不存在','selector'],
|
||||
['foreground_is','前台是该App','package'], ['foreground_not','前台不是该App','package'],
|
||||
];
|
||||
const _PATROL_ACTIONS=[
|
||||
['none','只发通知，不动设备'], ['screen_on','点亮屏幕'],
|
||||
['screen_off','熄灭屏幕'], ['stop_self','停止本设备任务'],
|
||||
];
|
||||
let _patrolItems=[];
|
||||
|
||||
function patrolInit(items){
|
||||
_patrolItems=(items||[]).filter(function(x){return x&&typeof x==='object';})
|
||||
.map(function(x){return Object.assign({},x);});
|
||||
patrolRender();
|
||||
}
|
||||
function patrolAdd(){
|
||||
patrolSync();
|
||||
_patrolItems.push({enabled:true,name:'',interval:60,check:'screen_off',selector_type:'xpath',
|
||||
selector_value:'',action:'screen_on',notify:true,
|
||||
title:'',message:'',cooldown:300});
|
||||
patrolRender();
|
||||
}
|
||||
function patrolRemove(i){
|
||||
patrolSync();
|
||||
_patrolItems.splice(i,1);
|
||||
patrolRender();
|
||||
}
|
||||
// DOM → 内存（重渲染前必须调，否则刚填的值会被覆盖）
|
||||
function patrolSync(){
|
||||
const list=document.getElementById('patrol-list');
|
||||
if(!list)return;
|
||||
list.querySelectorAll('.patrol-card').forEach(function(card,i){
|
||||
const w=_patrolItems[i]; if(!w)return;
|
||||
const get=function(k){
|
||||
const el=card.querySelector('[data-pk="'+k+'"]');
|
||||
if(!el)return undefined;
|
||||
return el.type==='checkbox'?el.checked:el.value;
|
||||
};
|
||||
['name','check','action','selector_type','selector_value','title','message'].forEach(function(k){
|
||||
const v=get(k); if(v!==undefined)w[k]=v;
|
||||
});
|
||||
['interval','cooldown'].forEach(function(k){
|
||||
const v=get(k); if(v!==undefined)w[k]=parseInt(v,10)||0;
|
||||
});
|
||||
['enabled','notify'].forEach(function(k){
|
||||
const v=get(k); if(v!==undefined)w[k]=v;
|
||||
});
|
||||
});
|
||||
}
|
||||
function patrolCollect(){
|
||||
patrolSync();
|
||||
return _patrolItems.map(function(w){
|
||||
return {enabled:w.enabled!==false, name:(w.name||'').trim(), interval:parseInt(w.interval,10)||60,
|
||||
check:w.check||'screen_off', selector_type:w.selector_type||'xpath',
|
||||
selector_value:(w.selector_value||'').trim(), action:w.action||'none',
|
||||
notify:w.notify!==false, title:(w.title||'').trim(), message:(w.message||'').trim(),
|
||||
cooldown:parseInt(w.cooldown,10)||0};
|
||||
});
|
||||
}
|
||||
// 检查项一变，条件行（选择器/包名）跟着换
|
||||
function patrolCheckChanged(sel){
|
||||
const card=sel.closest('.patrol-card');
|
||||
const need=(_PATROL_CHECKS.find(function(c){return c[0]===sel.value;})||[])[2]||'';
|
||||
const row=card.querySelector('.patrol-cond');
|
||||
row.style.display=need?'flex':'none';
|
||||
const typeBox=row.querySelector('.patrol-seltype');
|
||||
if(typeBox)typeBox.style.display=(need==='selector')?'block':'none';
|
||||
const lb=row.querySelector('.patrol-vallabel');
|
||||
if(lb)lb.textContent=(need==='package')?'前台包名':'选择器值';
|
||||
const inp=row.querySelector('[data-pk="selector_value"]');
|
||||
if(inp)inp.placeholder=(need==='package')?'如 com.ss.android.ugc.aweme':'如 点赞';
|
||||
}
|
||||
function patrolRender(){
|
||||
const list=document.getElementById('patrol-list');
|
||||
if(!list)return;
|
||||
if(!_patrolItems.length){
|
||||
list.innerHTML='<div class="text-muted" style="font-size:12px;padding:4px 0">（没有巡检项）</div>';
|
||||
return;
|
||||
}
|
||||
list.innerHTML=_patrolItems.map(_patrolCardHtml).join('');
|
||||
}
|
||||
function _patrolCardHtml(w,i){
|
||||
const need=(_PATROL_CHECKS.find(function(c){return c[0]===w.check;})||[])[2]||'';
|
||||
const chkOpts=_PATROL_CHECKS.map(function(c){
|
||||
return '<option value="'+c[0]+'"'+(w.check===c[0]?' selected':'')+'>'+c[1]+'</option>';}).join('');
|
||||
const actOpts=_PATROL_ACTIONS.map(function(a){
|
||||
return '<option value="'+a[0]+'"'+(w.action===a[0]?' selected':'')+'>'+a[1]+'</option>';}).join('');
|
||||
const typeOpts=['xpath','description','text','resourceId','descriptionContains','className']
|
||||
.map(function(t){return '<option value="'+t+'"'+(w.selector_type===t?' selected':'')+'>'+t+'</option>';}).join('');
|
||||
return '<div class="patrol-card">'
|
||||
+'<div class="patrol-row">'
|
||||
+'<label class="form-check"><input type="checkbox" data-pk="enabled" '+(w.enabled!==false?'checked':'')+'><span>启用</span></label>'
|
||||
+'<input class="form-control" data-pk="name" style="flex:1" placeholder="巡检名，如 熄屏点亮" value="'+esc(w.name||'')+'">'
|
||||
+'<button class="btn btn-xs btn-danger" onclick="patrolRemove('+i+')">删除</button>'
|
||||
+'</div>'
|
||||
+'<div class="patrol-row">'
|
||||
+'<div class="pg"><label>每隔(秒)</label><input type="number" class="form-control" data-pk="interval" value="'+(w.interval||60)+'" min="5"></div>'
|
||||
+'<div class="pg"><label>检查</label><select class="form-control" data-pk="check" onchange="patrolCheckChanged(this)">'+chkOpts+'</select></div>'
|
||||
+'<div class="pg"><label>命中后动作</label><select class="form-control" data-pk="action">'+actOpts+'</select></div>'
|
||||
+'<div class="pg"><label>冷却(秒)</label><input type="number" class="form-control" data-pk="cooldown" value="'+(w.cooldown!=null?w.cooldown:300)+'" min="0"></div>'
|
||||
+'</div>'
|
||||
+'<div class="patrol-row patrol-cond" style="display:'+(need?'flex':'none')+'">'
|
||||
+'<div class="pg patrol-seltype" style="display:'+(need==='selector'?'block':'none')+'"><label>选择器类型</label>'
|
||||
+'<select class="form-control" data-pk="selector_type">'+typeOpts+'</select></div>'
|
||||
+'<div class="pg" style="flex:1"><label class="patrol-vallabel">'+(need==='package'?'前台包名':'选择器值')+'</label>'
|
||||
+'<input class="form-control" data-pk="selector_value" value="'+esc(w.selector_value||'')+'" placeholder="'
|
||||
+(need==='package'?'如 com.ss.android.ugc.aweme':'如 点赞')+'"></div>'
|
||||
+'</div>'
|
||||
+'<div class="patrol-row">'
|
||||
+'<label class="form-check"><input type="checkbox" data-pk="notify" '+(w.notify!==false?'checked':'')+'><span>命中发通知</span></label>'
|
||||
+'<div class="pg" style="flex:1"><label>标题</label><input class="form-control" data-pk="title" value="'+esc(w.title||'')+'" placeholder="{device} 熄屏了"></div>'
|
||||
+'<div class="pg" style="flex:2"><label>内容</label><input class="form-control" data-pk="message" value="'+esc(w.message||'')+'" placeholder="任务 {job} 在 {time} 发现 {screen}，已处理"></div>'
|
||||
+'</div>'
|
||||
+'<div class="help">占位符：{device} 设备名、{serial} 地址、{job} 任务名、{time} 时间、{app} 当前前台包名、'
|
||||
+'{screen} 亮屏/熄屏（后两个要查设备，不用就别写）。冷却期内重复命中不会重复动作/通知，防刷屏</div>'
|
||||
+'</div>';
|
||||
}
|
||||
|
||||
// openTaskModal(jobId, prefill)
|
||||
// jobId —— 传 id = 编辑已有任务
|
||||
// prefill —— AI 建任务的草稿：{task, notes, warnings}（服务端已校验，这里只预填给人核对）
|
||||
@@ -179,6 +301,16 @@ function openTaskModal(jobId, prefill){
|
||||
'<div class="se-lib" id="se-lib"><div class="lib-title">操作库</div></div>'+
|
||||
'<div class="se-canvas" id="se-canvas"></div>'+
|
||||
'</div>'+
|
||||
'</div>'+
|
||||
// 公共巡检：任务级配置，**不在步骤画布里**（穿插执行，见 core/patrol.py）
|
||||
'<div class="patrol-box" id="patrol-box">'+
|
||||
'<div class="patrol-head">'+
|
||||
'<span>公共巡检<span class="hint" style="margin-left:8px">可选：任务运行期间按间隔穿插检查，命中就动作 + 通知</span></span>'+
|
||||
'<button class="btn btn-xs" onclick="patrolAdd()">＋ 添加巡检</button>'+
|
||||
'</div>'+
|
||||
'<div id="patrol-list"></div>'+
|
||||
'<div class="help">和步骤的区别：步骤是"按顺序做完这一段"，巡检是"全程都要盯着的条件"（比如熄屏就点亮、掉到桌面就通知）。'+
|
||||
'检查穿插在步骤之间执行，不额外抢设备；某一步耗时很长时，巡检最多晚那一步的时间。</div>'+
|
||||
'</div>';
|
||||
|
||||
// AI 草稿的提醒/复核项：贴在步骤编辑器上方，别让人漏看
|
||||
@@ -198,6 +330,7 @@ function openTaskModal(jobId, prefill){
|
||||
// 又保留自动存草稿（保存成功时 saveTask 会 clearDraft 清掉它）。
|
||||
const draftKey=jobId||(pf?('ai:'+Date.now()):'');
|
||||
_stepEditor.init(j.params&&j.params.steps?j.params.steps:[],j.params&&j.params.max_duration?j.params.max_duration:0,draftKey);
|
||||
patrolInit(j.params&&j.params.watchers);
|
||||
|
||||
document.getElementById('modal-footer').innerHTML=
|
||||
'<button class="btn" onclick="closeModal()">取消</button>'+
|
||||
@@ -285,6 +418,8 @@ function onTaskTypeChange(){
|
||||
const isGeneric=tt==='generic_steps';
|
||||
document.getElementById('step-editor').classList.toggle('show',isGeneric);
|
||||
document.getElementById('f-params_wrap').style.display=isGeneric?'none':'block';
|
||||
const pb=document.getElementById('patrol-box');
|
||||
if(pb)pb.style.display=isGeneric?'block':'none'; // 巡检只对通用步骤任务有意义
|
||||
}
|
||||
|
||||
// ================== 自定义动作管理 ==================
|
||||
@@ -368,3 +503,103 @@ function closeActionModal(){
|
||||
document.getElementById('action-modal-overlay').classList.remove('show');
|
||||
}
|
||||
|
||||
|
||||
// ================== 动作配置：步骤默认值 ==================
|
||||
// 存 app_meta.step_defaults（见 core/step_defaults.py）；只影响**之后新建**的步骤。
|
||||
const _CFG_LABELS = {
|
||||
swipe: '滑动', click: '点击元素', long_click: '长按元素', wait: '等待',
|
||||
key_event: '按键', input_text: '输入文字',
|
||||
};
|
||||
const _CFG_FIELD_LABELS = {
|
||||
direction: '方向', duration_min: '最短时长(秒)', duration_max: '最长时长(秒)',
|
||||
distance_ratio: '幅度(屏占比)', jitter: '抖动幅度', humanize: '拟人轨迹',
|
||||
wait_timeout: '等待超时(秒)', duration: '长按时长(秒)', min: '最短(秒)',
|
||||
max: '最长(秒)', key: '按键', mode: '输入模式', texts: '候选文案(每行一条)',
|
||||
fixed_text: '固定文字', clear_first: '输入前清空',
|
||||
};
|
||||
const _CFG_DIR_LABELS = {up:'上滑', down:'下滑', left:'左滑', right:'右滑'};
|
||||
let _cfgPayload = null;
|
||||
|
||||
// 取一次步骤默认值缓存在 _stepDefaults（editor.js 的 _makeStep 用它预填新步骤）
|
||||
async function loadStepDefaults(force) {
|
||||
if (_stepDefaults && !force) return _stepDefaults;
|
||||
const r = await apiGet('/api/step_defaults');
|
||||
_stepDefaults = (r && r.ok) ? (r.defaults || {}) : {};
|
||||
return _stepDefaults;
|
||||
}
|
||||
|
||||
async function loadActionConfig(force) {
|
||||
const box = document.getElementById('cfg-forms');
|
||||
if (!box) return;
|
||||
if (_cfgPayload && !force) { renderStepDefaults(); return; }
|
||||
box.innerHTML = '<div class="text-muted" style="padding:10px">加载中…</div>';
|
||||
const r = await apiGet('/api/step_defaults');
|
||||
if (!r || !r.ok) { box.innerHTML = '<div class="text-muted" style="padding:10px">加载失败</div>'; return; }
|
||||
_cfgPayload = r;
|
||||
_stepDefaults = r.defaults || {}; // 编辑器新建步骤时预填用
|
||||
renderStepDefaults();
|
||||
}
|
||||
|
||||
function renderStepDefaults() {
|
||||
const box = document.getElementById('cfg-forms');
|
||||
if (!box || !_cfgPayload) return;
|
||||
const d = _cfgPayload.defaults || {}, kinds = _cfgPayload.kinds || {}, spec = _cfgPayload.spec || {};
|
||||
box.innerHTML = Object.keys(d).map(function (st) {
|
||||
const fields = Object.keys(kinds[st] || {}).map(function (k) {
|
||||
const kind = kinds[st][k], v = d[st][k], rule = spec[st] ? spec[st][k] : null;
|
||||
let inp;
|
||||
if (kind === 'bool') {
|
||||
inp = '<label class="form-check"><input type="checkbox" data-st="' + st + '" data-k="' + k + '"' +
|
||||
(v ? ' checked' : '') + '><span>' + (_CFG_FIELD_LABELS[k] || k) + '</span></label>';
|
||||
return inp;
|
||||
}
|
||||
if (kind === 'choice') {
|
||||
inp = '<select class="form-control" data-st="' + st + '" data-k="' + k + '">' +
|
||||
(rule || []).map(function (o) {
|
||||
const lab = _CFG_DIR_LABELS[o] || (o === 'random' ? '随机' : o === 'fixed' ? '指定' : o);
|
||||
return '<option value="' + esc(o) + '"' + (v === o ? ' selected' : '') + '>' + esc(lab) + '</option>';
|
||||
}).join('') + '</select>';
|
||||
} else if (kind === 'num') {
|
||||
inp = '<input type="number" class="form-control" data-st="' + st + '" data-k="' + k + '" value="' + esc(v) +
|
||||
'" step="0.05" min="' + (rule ? rule[0] : '') + '" max="' + (rule ? rule[1] : '') + '">';
|
||||
} else if (k === 'texts') {
|
||||
inp = '<textarea class="form-control" rows="3" data-st="' + st + '" data-k="' + k + '">' + esc(v) + '</textarea>';
|
||||
} else {
|
||||
inp = '<input type="text" class="form-control" data-st="' + st + '" data-k="' + k + '" value="' + esc(v) + '">';
|
||||
}
|
||||
return '<div class="pg"><label>' + (_CFG_FIELD_LABELS[k] || k) + '</label>' + inp + '</div>';
|
||||
}).join('');
|
||||
return '<div class="cfg-card"><h4>' + (_CFG_LABELS[st] || st) + ' <span class="text-muted" style="font-weight:400">' + st + '</span></h4>' +
|
||||
'<div class="cfg-row">' + fields + '</div></div>';
|
||||
}).join('');
|
||||
document.getElementById('cfg-hint').textContent = '';
|
||||
}
|
||||
|
||||
function collectStepDefaults() {
|
||||
const out = {};
|
||||
document.querySelectorAll('#cfg-forms [data-st]').forEach(function (el) {
|
||||
const st = el.dataset.st, k = el.dataset.k;
|
||||
out[st] = out[st] || {};
|
||||
if (el.type === 'checkbox') out[st][k] = el.checked;
|
||||
else if (el.type === 'number') out[st][k] = parseFloat(el.value);
|
||||
else out[st][k] = el.value;
|
||||
});
|
||||
return out;
|
||||
}
|
||||
|
||||
async function saveStepDefaults() {
|
||||
const r = await apiPost('/api/step_defaults', { defaults: collectStepDefaults() });
|
||||
if (!r || !r.ok) { showToast((r && r.error) || '保存失败', 'error'); return; }
|
||||
_cfgPayload = r;
|
||||
_stepDefaults = r.defaults || {};
|
||||
showToast('默认值已保存（只影响之后新建的步骤）', 'success');
|
||||
document.getElementById('cfg-hint').textContent = '已保存 ' + new Date().toLocaleTimeString();
|
||||
renderStepDefaults();
|
||||
}
|
||||
|
||||
function resetStepDefaults() {
|
||||
if (!_cfgPayload) return;
|
||||
if (!confirm('恢复成出厂默认？（只影响这张表单，点「保存默认值」才真正生效）')) return;
|
||||
_cfgPayload.defaults = JSON.parse(JSON.stringify(_cfgPayload.factory || {}));
|
||||
renderStepDefaults();
|
||||
}
|
||||
|
||||
+222
-32
@@ -26,6 +26,9 @@ worker 按 steps 顺序执行，支持 loop 步骤循环、停止信号、进度
|
||||
wait_el - 等待元素出现（条件等待，替代固定时长 wait）
|
||||
input_text - 输入文字（随机候选/指定文字，可先清空）
|
||||
wait - 等待时长
|
||||
notify - 发自定义通知（标题/正文自己写，推送 webhook）
|
||||
stop_self - 停止本设备的任务（其它设备不受影响）
|
||||
gesture - 回放录制的手势轨迹（纯录制：路径与时长照录制，见 core/gesture.py）
|
||||
loop - 循环块（含 children 步骤列表 + max_iterations）
|
||||
group - 动作组（含 children 步骤列表，按序执行一次，可折叠复用）
|
||||
"""
|
||||
@@ -35,9 +38,10 @@ import time
|
||||
|
||||
from tasks.base import BaseTask, register_task
|
||||
from core.device_worker import BaseWorker, _update_status
|
||||
from core.u2_helper import ensure_app_running, wait_for_app_home, random_sleep
|
||||
from core.u2_helper import (ensure_app_running, wait_for_app_home, random_sleep,
|
||||
screen_is_on, current_package)
|
||||
from core.logger import get_logger
|
||||
from core import notifier, step_log
|
||||
from core import notifier, step_log, humanize, patrol, gesture
|
||||
|
||||
_log = get_logger("task.generic")
|
||||
|
||||
@@ -82,10 +86,13 @@ STEP_TYPES = [
|
||||
{"type": "key_event", "label": "按键", "icon": "⌨️",
|
||||
"params": {"key": "back"}},
|
||||
{"type": "swipe", "label": "滑动", "icon": "↕",
|
||||
"params": {"direction": "up", "duration_min": 0.25, "duration_max": 0.50}},
|
||||
"params": {"direction": "up", "duration_min": 0.25, "duration_max": 0.50,
|
||||
"distance_ratio": 0.6, "jitter": 0.15, "humanize": True}},
|
||||
{"type": "swipe_until", "label": "滑动直到元素", "icon": "🔍",
|
||||
"params": {"selector_type": "xpath", "selector_value": "", "direction": "up",
|
||||
"max_swipes": 8, "click_when_found": True}},
|
||||
"max_swipes": 8, "click_when_found": True,
|
||||
"duration_min": 0.25, "duration_max": 0.50,
|
||||
"distance_ratio": 0.6, "jitter": 0.15, "humanize": True}},
|
||||
{"type": "click", "label": "点击元素", "icon": "✦",
|
||||
"params": {"selector_type": "description", "selector_value": "", "wait_timeout": 2}},
|
||||
{"type": "click_xy", "label": "点击坐标", "icon": "🎯",
|
||||
@@ -107,6 +114,12 @@ STEP_TYPES = [
|
||||
{"type": "if_el", "label": "条件判断", "icon": "❓",
|
||||
"params": {"selector_type": "xpath", "selector_value": "", "timeout": 3,
|
||||
"then": [], "else": []}},
|
||||
{"type": "notify", "label": "发通知", "icon": "🔔",
|
||||
"params": {"title": "", "message": "", "level": "info"}},
|
||||
{"type": "stop_self", "label": "停止本设备", "icon": "⛔",
|
||||
"params": {"reason": ""}},
|
||||
{"type": "gesture", "label": "录制手势", "icon": "⏺",
|
||||
"params": {"points": [], "speed": 1.0}},
|
||||
]
|
||||
|
||||
|
||||
@@ -136,6 +149,17 @@ class GenericStepsWorker(BaseWorker):
|
||||
self._path = []
|
||||
self._step_rows = 0 # 本次运行已记录的明细条数（封顶见 _record_step）
|
||||
self._step_capped = False
|
||||
# 公共巡检（任务级配置，独立于步骤画布；见 core/patrol.py）：
|
||||
# _wid 内部标识，用来记"下次到点 / 上次命中"两个节奏
|
||||
self._watchers = []
|
||||
for i, w in enumerate(p.get("watchers") or []):
|
||||
if not isinstance(w, dict) or not w.get("enabled", True):
|
||||
continue
|
||||
w = dict(w)
|
||||
w["_wid"] = f"w{i}"
|
||||
self._watchers.append(w)
|
||||
self._watch_next = {} # wid -> 下次到点（缺省 0 = 任务一开始就先查一次）
|
||||
self._watch_last = {} # wid -> 上次命中（冷却用）
|
||||
|
||||
# 某 click 选择器连续未找到元素的次数达到该值，判定可能失效（App 改版）
|
||||
_MAX_CONSECUTIVE_MISS = 10
|
||||
@@ -185,6 +209,7 @@ class GenericStepsWorker(BaseWorker):
|
||||
for i, step in enumerate(steps):
|
||||
if self.stopped() or self.is_time_up():
|
||||
return
|
||||
self._maybe_patrol(d) # 穿插：每步之前看一眼有没有巡检到点了
|
||||
# 压入本步在兄弟里的序号（1 起）：容器步骤执行 children 时会在其后
|
||||
# 继续追加，得到 "2.1" 这样的嵌套路径
|
||||
self._path.append(str(i + 1))
|
||||
@@ -211,7 +236,11 @@ class GenericStepsWorker(BaseWorker):
|
||||
self._record_step(step, "skip", f"概率 {prob}% 未触发", 0)
|
||||
return
|
||||
self.set_action(f"执行: {label}")
|
||||
_log.info(f"[{self.serial}] 步骤: {label}({stype}) params={params}")
|
||||
if stype == "gesture": # 点列可能有几十个点，别整段甩进日志
|
||||
_log.info(f"[{self.serial}] 步骤: {label}({stype}) "
|
||||
f"{len(params.get('points') or [])} 个轨迹点")
|
||||
else:
|
||||
_log.info(f"[{self.serial}] 步骤: {label}({stype}) params={params}")
|
||||
|
||||
ret = None
|
||||
# 结果归类：异常 > 未命中（handler 返回 False）> 正常
|
||||
@@ -279,6 +308,71 @@ class GenericStepsWorker(BaseWorker):
|
||||
except Exception:
|
||||
pass # 记录失败绝不能影响任务执行
|
||||
|
||||
# ================== 公共巡检（任务级，穿插执行） ==================
|
||||
def _maybe_patrol(self, d):
|
||||
"""看一眼有没有巡检到点了；到点就跑一次检查（配置见 core/patrol.py）。
|
||||
|
||||
穿插式：不起线程、不抢屏幕，所以巡检精度受主流程步长影响——某一步卡
|
||||
30 秒，巡检最多晚 30 秒（这是刻意取舍，换来的是绝不会和主流程打架）。
|
||||
"""
|
||||
if not self._watchers or self.stopped():
|
||||
return
|
||||
now = time.time()
|
||||
for w in self._watchers:
|
||||
wid = w["_wid"]
|
||||
if now < self._watch_next.get(wid, 0):
|
||||
continue
|
||||
# 先排下一次再执行：检查本身可能慢（元素检查要 dump UI 树），
|
||||
# 否则慢检查会导致"每分钟"变成"每检查一次"
|
||||
self._watch_next[wid] = now + max(5, int(w.get("interval") or 60))
|
||||
try:
|
||||
self._run_patrol(d, w, now)
|
||||
except Exception as e:
|
||||
_log.warning(f"[{self.serial}] 巡检[{w.get('name') or wid}]异常: {e}")
|
||||
|
||||
def _run_patrol(self, d, w, now):
|
||||
"""执行一次巡检：命中 → 过冷却 → 做动作 + 发通知 + 记一条明细。"""
|
||||
wid, name = w["_wid"], (w.get("name") or patrol.check_label(w.get("check")))
|
||||
hit, detail = patrol.evaluate(d, w)
|
||||
if not hit:
|
||||
return
|
||||
# 命中后冷却：条件持续成立（比如一直熄屏）时不要每分钟都动作/发通知
|
||||
cooldown = max(0, int(w.get("cooldown") or 0))
|
||||
if now - self._watch_last.get(wid, 0) < cooldown:
|
||||
_log.info(f"[{self.serial}] 巡检[{name}]命中（{detail}）但在冷却期内，不重复动作")
|
||||
return
|
||||
self._watch_last[wid] = now
|
||||
# 文案在**动作之前**渲染：动作会改变设备状态（点亮后 {screen} 就成了"亮屏"），
|
||||
# 而用户要看的是"发现时"的样子——"发现熄屏，已点亮"而不是"发现亮屏，已点亮"
|
||||
title = self._render_vars(d, w.get("title") or "") or f"巡检命中：{name}"
|
||||
message = self._render_vars(d, w.get("message") or "") or detail
|
||||
done = patrol.act(d, w, self)
|
||||
_log.info(f"[{self.serial}] 巡检[{name}]命中：{detail}"
|
||||
f"{(' → ' + done) if done else '（只通知）'}")
|
||||
self.set_action(f"巡检[{name}]：{detail}{('，' + done) if done else ''}")
|
||||
summary = f"{detail}{(' → ' + done) if done else ''}"
|
||||
try: # 明细：只记命中，不记"没事发生"
|
||||
step_log.record(run_id=self.ctx.get("run_id", ""), serial=self.serial,
|
||||
device_name=self.ctx.get("device_name", ""),
|
||||
job_id=self.ctx.get("job_id", ""),
|
||||
job_name=self.ctx.get("job_name", ""),
|
||||
step_label=f"巡检[{name}]", step_type="patrol",
|
||||
result="hit", detail=summary)
|
||||
except Exception:
|
||||
pass
|
||||
if w.get("notify", True):
|
||||
notifier.notify("task.patrol.hit",
|
||||
patrol_name=name,
|
||||
check_label=patrol.check_label(w.get("check")),
|
||||
action_label=patrol.action_label(w.get("action")),
|
||||
detail=detail,
|
||||
job_id=self.ctx.get("job_id", ""),
|
||||
job_name=self.ctx.get("job_name", ""),
|
||||
serial=self.serial,
|
||||
device_name=self.ctx.get("device_name", ""),
|
||||
title=title, message=message,
|
||||
level=w.get("level", "warning"))
|
||||
|
||||
# ================== 步骤执行器 ==================
|
||||
def _exec_screen_on(self, d, params, depth=0):
|
||||
"""亮屏：息屏时唤醒并滑动解锁。任务执行前用（息屏时 u2 无法操作）。"""
|
||||
@@ -379,13 +473,14 @@ class GenericStepsWorker(BaseWorker):
|
||||
if not sel_val:
|
||||
_log.warning("swipe_until 缺少选择器")
|
||||
return None
|
||||
info = d.info
|
||||
w, h = info["displayWidth"], info["displayHeight"]
|
||||
cx = int(w * 0.5)
|
||||
if direction == "down":
|
||||
sy, ey = int(h * 0.2), int(h * 0.8)
|
||||
else:
|
||||
sy, ey = int(h * 0.8), int(h * 0.2)
|
||||
# 每次滑动都重新生成（弧线方向/幅度/时长都不一样），不用预算好的固定坐标
|
||||
swipe_kw = dict(
|
||||
serial=self.serial,
|
||||
duration_min=float(params.get("duration_min", 0.25)),
|
||||
duration_max=float(params.get("duration_max", 0.50)),
|
||||
distance_ratio=float(params.get("distance_ratio", 0.6) or 0.6),
|
||||
jitter=params.get("jitter", 0.15),
|
||||
humanize=params.get("humanize", True) is not False)
|
||||
for i in range(1, max_swipes + 1):
|
||||
if self.stopped() or self.is_time_up():
|
||||
return None
|
||||
@@ -411,8 +506,8 @@ class GenericStepsWorker(BaseWorker):
|
||||
_log.info(f"[{self.serial}] 滑动{i}次后找到: {sel_val}")
|
||||
self._track_selector_health(sel_val, True)
|
||||
return True
|
||||
d.swipe(cx, sy, cx, ey, 0.3)
|
||||
time.sleep(0.5)
|
||||
humanize.swipe(d, direction, **swipe_kw)
|
||||
time.sleep(random.uniform(0.35, 0.75)) # 每次滑动后停顿也抖动一下
|
||||
self._track_selector_health(sel_val, False)
|
||||
_log.warning(f"[{self.serial}] 滑动{max_swipes}次未找到元素: {sel_val}")
|
||||
return False
|
||||
@@ -490,7 +585,23 @@ class GenericStepsWorker(BaseWorker):
|
||||
_log.warning(f"[{self.serial}] if_el 缺少选择器，跳过")
|
||||
return None
|
||||
found = False
|
||||
if sel_type == "ocr":
|
||||
# 非元素类条件（屏幕状态/前台 App）：不参与"选择器健康"统计——它们不是选择器，
|
||||
# 连续未命中不该被记成"选择器失效"
|
||||
dynamic = sel_type in ("screen", "foreground")
|
||||
detail = ""
|
||||
if sel_type == "screen":
|
||||
# 屏幕亮/熄：selector_value 填 on / off（也认 熄屏/灭屏 这类中文）
|
||||
want = str(sel_val).strip().lower()
|
||||
want_off = want in ("off", "0", "false", "no", "熄屏", "灭屏", "黑屏")
|
||||
state = screen_is_on(d)
|
||||
found = (state is False) if want_off else (state is True)
|
||||
detail = (f"屏幕{'熄屏' if state is False else '亮屏' if state else '状态未知'}"
|
||||
f"（判断{'熄屏' if want_off else '亮屏'}）")
|
||||
elif sel_type == "foreground":
|
||||
cur = current_package(d)
|
||||
found = cur == str(sel_val).strip()
|
||||
detail = f"前台='{cur or '未知'}'（期望 {sel_val}）"
|
||||
elif sel_type == "ocr":
|
||||
# OCR 模式：截图 → 识别文字 → 关键词匹配（UI 树里没有的文字也能找到）
|
||||
try:
|
||||
from core.ocr import available as _ocr_available, find_on_screen
|
||||
@@ -523,29 +634,102 @@ class GenericStepsWorker(BaseWorker):
|
||||
except Exception as e:
|
||||
_log.warning(f"[{self.serial}] 条件判断异常: {e}")
|
||||
found = False
|
||||
self._track_selector_health(sel_val, found)
|
||||
if dynamic:
|
||||
_log.info(f"[{self.serial}] 条件判断 {detail} → {'命中' if found else '未命中'}")
|
||||
else:
|
||||
self._track_selector_health(sel_val, found)
|
||||
branch = params.get("then" if found else "else") or []
|
||||
self.set_action(f"条件{'命中' if found else '未命中'} → 执行{'找到' if found else '未找到'}分支({len(branch)}步)")
|
||||
_log.info(f"[{self.serial}] 条件判断 {'命中' if found else '未命中'}: {sel_val}，执行{'then' if found else 'else'}分支 {len(branch)} 步")
|
||||
_log.info(f"[{self.serial}] 条件判断 {'命中' if found else '未命中'}: {detail or sel_val}，执行{'then' if found else 'else'}分支 {len(branch)} 步")
|
||||
self._exec_steps(d, branch, depth + 1)
|
||||
return found
|
||||
|
||||
def _exec_swipe(self, d, params, depth=0):
|
||||
"""滑动一次（默认拟人：弧线 + 抖动 + 本设备手速，见 core/humanize.py）。
|
||||
|
||||
老行为（正中直线、每次都一样）可以用 humanize=false 还原；
|
||||
jitter=0 则保留轨迹但去掉随机抖动（对照排障用）。
|
||||
"""
|
||||
direction = params.get("direction", "up")
|
||||
dur_min = float(params.get("duration_min", 0.25))
|
||||
dur_max = float(params.get("duration_max", 0.50))
|
||||
dur = random.uniform(dur_min, dur_max)
|
||||
info = d.info
|
||||
w, h = info["displayWidth"], info["displayHeight"]
|
||||
cx = int(w * 0.5)
|
||||
if direction == "up":
|
||||
d.swipe(cx, int(h * 0.8), cx, int(h * 0.2), dur)
|
||||
elif direction == "down":
|
||||
d.swipe(cx, int(h * 0.2), cx, int(h * 0.8), dur)
|
||||
elif direction == "left":
|
||||
d.swipe(int(w * 0.8), int(h * 0.5), int(w * 0.2), int(h * 0.5), dur)
|
||||
elif direction == "right":
|
||||
d.swipe(int(w * 0.2), int(h * 0.5), int(w * 0.8), int(h * 0.5), dur)
|
||||
info = humanize.swipe(
|
||||
d, direction, serial=self.serial,
|
||||
duration_min=float(params.get("duration_min", 0.25)),
|
||||
duration_max=float(params.get("duration_max", 0.50)),
|
||||
distance_ratio=float(params.get("distance_ratio", 0.6) or 0.6),
|
||||
jitter=params.get("jitter", 0.15),
|
||||
humanize=params.get("humanize", True) is not False)
|
||||
_log.info(f"[{self.serial}] 滑动 {direction} 时长{info['duration']}s "
|
||||
f"({info['from']}→{info['to']}"
|
||||
f"{'，弧线' if info.get('human') else '，直线'})")
|
||||
|
||||
def _exec_notify(self, d, params, depth=0):
|
||||
"""发一条自定义通知（标题/正文由任务自己写，支持占位符）。
|
||||
|
||||
事件是 `task.notify.custom`：**谁能收到取决于 webhook 的事件订阅**——
|
||||
这个步骤只负责"把消息交出去"，不关心发给谁（与平台其它通知同一套口径）。
|
||||
"""
|
||||
title = self._render_vars(d, params.get("title") or "")
|
||||
msg = self._render_vars(d, params.get("message") or "")
|
||||
if not (title or msg):
|
||||
_log.warning(f"[{self.serial}] notify 步骤既没标题也没内容，跳过")
|
||||
return None
|
||||
notifier.notify("task.notify.custom",
|
||||
job_id=self.ctx.get("job_id", ""),
|
||||
job_name=self.ctx.get("job_name", ""),
|
||||
serial=self.serial,
|
||||
device_name=self.ctx.get("device_name", ""),
|
||||
title=title or "任务通知", message=msg,
|
||||
level=params.get("level", "info"))
|
||||
_log.info(f"[{self.serial}] 已发自定义通知: {title} {msg}")
|
||||
return True
|
||||
|
||||
def _render_vars(self, d, text):
|
||||
"""替换通知文本里的占位符：{device} {serial} {job} {time} {app} {screen}。
|
||||
|
||||
`{app}` / `{screen}` 要查设备（0.3~0.7s），**只在文本里真用到时才查**，
|
||||
否则每条通知都白付一次设备往返。
|
||||
"""
|
||||
if not text or "{" not in text:
|
||||
return text
|
||||
vals = {"device": self.ctx.get("device_name") or self.serial,
|
||||
"serial": self.serial,
|
||||
"job": self.ctx.get("job_name", ""),
|
||||
"time": time.strftime("%Y-%m-%d %H:%M:%S")}
|
||||
if "{app}" in text:
|
||||
vals["app"] = current_package(d) or "未知"
|
||||
if "{screen}" in text:
|
||||
st = screen_is_on(d)
|
||||
vals["screen"] = "未知" if st is None else ("亮屏" if st else "熄屏")
|
||||
for k, v in vals.items():
|
||||
text = text.replace("{" + k + "}", str(v))
|
||||
return text
|
||||
|
||||
def _exec_stop_self(self, d, params, depth=0):
|
||||
"""停止本设备的任务（其它设备的任务不受影响）。
|
||||
|
||||
实现只是置 worker 的停止位：`_exec_steps` 每步前检查 `stopped()`，所以
|
||||
后续步骤不会再跑；TaskManager 侧把它记成"被停止"而不是失败
|
||||
（见 `core/task_manager.py` 的 `_run_with_retry` 自停分支）。
|
||||
"""
|
||||
reason = (params.get("reason") or "").strip()
|
||||
_log.info(f"[{self.serial}] 任务内主动停止本设备（{reason or '未填原因'}）")
|
||||
self.set_action(f"停止本设备任务{('：' + reason) if reason else ''}")
|
||||
self.stop()
|
||||
return True
|
||||
|
||||
def _exec_gesture(self, d, params, depth=0):
|
||||
"""回放**录制**的手势（路径与时长照录制，不做任何再加工）。
|
||||
|
||||
与「滑动」步骤是两套东西：滑动每次重新生成（弧线/抖动/本设备手速），
|
||||
这里只把录下来的点列原样交给设备插值（原因见 core/gesture.py 模块头）。
|
||||
"""
|
||||
pts = params.get("points") or []
|
||||
if len(pts) < 2:
|
||||
_log.warning(f"[{self.serial}] gesture 步骤没有有效轨迹（points 为空），跳过")
|
||||
return None
|
||||
info = gesture.replay(d, pts, speed=params.get("speed", 1.0))
|
||||
_log.info(f"[{self.serial}] 录制回放：{info['points']} 个点 / {info['duration']}s")
|
||||
return True
|
||||
|
||||
def _exec_click(self, d, params, depth=0):
|
||||
sel_type = params.get("selector_type", "xpath")
|
||||
@@ -620,11 +804,17 @@ class GenericStepsWorker(BaseWorker):
|
||||
max_s = float(params.get("max", 3.0))
|
||||
# 分片 sleep：每 0.5s 检查停止/超时信号，抢占任务能及时接管（纯 sleep 无法中断）
|
||||
total = random.uniform(min_s, max_s)
|
||||
# 可选：按本设备节奏缩放（勾了"设备节奏差异"才生效，默认关——
|
||||
# 时长被放大/缩小是业务语义，不能悄悄改）
|
||||
total = humanize.pace(self.serial, total, enabled=params.get("vary_pace", False))
|
||||
end = time.time() + total
|
||||
while time.time() < end:
|
||||
if self.stopped() or self.is_time_up():
|
||||
return
|
||||
time.sleep(min(0.5, end - time.time()))
|
||||
self._maybe_patrol(d) # 长等待里也看一眼，别让巡检被 wait 拖住
|
||||
# max(0, …)：巡检本身要花时间（屏幕 0.3s、前台 0.7s、元素检查更久），
|
||||
# 扣掉这段时间后可能已经过点了，负数 sleep 会直接抛异常
|
||||
time.sleep(max(0.0, min(0.5, end - time.time())))
|
||||
|
||||
def _exec_loop(self, d, params, depth=0):
|
||||
children = params.get("children", [])
|
||||
|
||||
@@ -116,6 +116,18 @@ body{background:var(--bg);font-family:var(--body);color:var(--text);font-size:14
|
||||
.log-cont{color:#8a94a6;padding-left:2.2em} /* 续行（traceback 缩进行）：淡色缩进 */
|
||||
.log-hit{background:#fbbf2433} /* 关键字命中高亮 */
|
||||
|
||||
/* 「公共巡检」配置块（任务编辑器里，独立于步骤画布） */
|
||||
.patrol-box{margin-top:14px;border:1px solid var(--border-strong);border-radius:10px;padding:12px}
|
||||
.patrol-head{display:flex;align-items:center;justify-content:space-between;margin-bottom:8px}
|
||||
.patrol-head>span:first-child{font-weight:600;font-size:13px}
|
||||
.patrol-card{border:1px solid var(--border);border-radius:8px;padding:10px;margin-bottom:8px;background:var(--surface-2,#fafafa)}
|
||||
.patrol-row{display:flex;gap:10px;align-items:flex-end;margin-bottom:8px;flex-wrap:wrap}
|
||||
.patrol-row:last-child{margin-bottom:0}
|
||||
.patrol-row .pg{display:flex;flex-direction:column;gap:2px;min-width:110px}
|
||||
.patrol-row .pg label{font-size:11px;color:var(--text-light)}
|
||||
.patrol-row .form-check{margin-bottom:6px;display:flex;align-items:center;gap:4px;font-size:12px}
|
||||
.patrol-cond{background:rgba(59,130,246,.05);border-radius:6px;padding:6px 8px;margin:0 -2px 8px}
|
||||
|
||||
/* 「步骤明细」表格的结果列配色（.log-* 那套作用域在 .log-content 里，表格用这套） */
|
||||
.res-error{color:#dc2626;font-weight:600} /* 异常 / 未知步骤类型 */
|
||||
.res-miss{color:#d97706} /* 未命中 / 超时 / 已达上限 */
|
||||
@@ -452,6 +464,37 @@ body{background:var(--bg);font-family:var(--body);color:var(--text);font-size:14
|
||||
.agent-inputbar .btn-primary:hover{background:#155e75}
|
||||
.agent-inputbar .btn-primary:disabled{background:#9ca3af}
|
||||
.agent-empty{color:#6b7280;font-size:13px;text-align:center;padding:44px 0}
|
||||
|
||||
/* ===== 动作配置：步骤默认值表单 ===== */
|
||||
.cfg-card{border:1px solid var(--border-strong);border-radius:10px;padding:12px;margin-bottom:10px}
|
||||
.cfg-card>h4{margin:0 0 8px;font-size:13px}
|
||||
.cfg-row{display:flex;gap:12px;flex-wrap:wrap}
|
||||
.cfg-row .pg{display:flex;flex-direction:column;gap:2px;min-width:120px}
|
||||
.cfg-row .pg label{font-size:11px;color:var(--text-light)}
|
||||
|
||||
/* ===== 动作录制器 ===== */
|
||||
.rec-box{width:min(1180px,96vw);max-height:92vh;display:flex;flex-direction:column}
|
||||
.rec-head{display:flex;align-items:center;gap:10px;padding:12px 16px;border-bottom:1px solid var(--border)}
|
||||
.rec-head b{font-size:14px}
|
||||
.rec-body{display:flex;gap:14px;padding:14px 16px;overflow:hidden;flex:1;min-height:0}
|
||||
.rec-stage{flex:1;min-width:0;position:relative;background:var(--ink);border-radius:10px;
|
||||
display:flex;align-items:center;justify-content:center;overflow:hidden}
|
||||
.rec-stage img{max-width:100%;max-height:74vh;display:block;cursor:crosshair;user-select:none}
|
||||
.rec-hint{color:#8a94a6;font-size:13px;padding:40px}
|
||||
.rec-warn{position:absolute;left:10px;top:10px;background:#fbbf24;color:#3b2f00;
|
||||
font-size:11px;padding:2px 8px;border-radius:6px}
|
||||
.rec-line{position:absolute;border:2px dashed #f97316;border-radius:4px;pointer-events:none}
|
||||
.rec-side{width:330px;flex:0 0 330px;display:flex;flex-direction:column;gap:8px;min-height:0}
|
||||
.rec-ops{display:flex;gap:6px;flex-wrap:wrap}
|
||||
.rec-row{display:flex;gap:6px}
|
||||
.rec-list-title{font-size:12px;color:var(--text-light);margin-top:4px}
|
||||
.rec-list{flex:1;overflow-y:auto;border:1px solid var(--border);border-radius:8px;padding:6px;min-height:120px}
|
||||
.rec-item{display:flex;align-items:center;gap:6px;padding:3px 4px;border-bottom:1px dashed var(--border)}
|
||||
.rec-item:last-child{border-bottom:0}
|
||||
.rec-idx{width:18px;color:var(--text-light);font-size:11px;text-align:right}
|
||||
.rec-label{flex:1;font-size:12px;overflow:hidden;text-overflow:ellipsis;white-space:nowrap}
|
||||
.rec-ops2{display:flex;gap:2px}
|
||||
.rec-foot{border-top:1px solid var(--border);padding-top:8px}
|
||||
</style>
|
||||
</head>
|
||||
<body>
|
||||
@@ -544,6 +587,7 @@ body{background:var(--bg);font-family:var(--body);color:var(--text);font-size:14
|
||||
<div class="sub-tabs">
|
||||
<button class="sub-tab active" data-sub="plan" onclick="showSubTab('tasks','plan')">任务计划</button>
|
||||
<button class="sub-tab" data-sub="actions" onclick="showSubTab('tasks','actions')">自定义动作</button>
|
||||
<button class="sub-tab" data-sub="actioncfg" onclick="showSubTab('tasks','actioncfg')">动作配置</button>
|
||||
</div>
|
||||
|
||||
<!-- 子分栏 1：任务计划 -->
|
||||
@@ -576,6 +620,24 @@ body{background:var(--bg);font-family:var(--body);color:var(--text);font-size:14
|
||||
</table>
|
||||
<div class="list-pager" id="pager-actions"></div>
|
||||
</div>
|
||||
|
||||
<!-- 子分栏 3：动作配置（步骤默认值 + 录制动作） -->
|
||||
<div class="sub-panel" id="tasks-sub-actioncfg">
|
||||
<div class="toolbar">
|
||||
<button class="btn btn-primary" onclick="saveStepDefaults()" data-perm="tasks">保存默认值</button>
|
||||
<button class="btn" onclick="resetStepDefaults()">恢复出厂</button>
|
||||
<button class="btn" onclick="openRecorder({mode:'action'})" data-perm="devices">● 录制动作</button>
|
||||
<button class="btn" onclick="loadActionConfig()">刷新</button>
|
||||
<span class="hint" id="cfg-hint"></span>
|
||||
</div>
|
||||
<div class="help">
|
||||
<b>步骤默认值</b>：新建步骤时预填这套参数（<b>只影响之后新建的步骤</b>，已有步骤不动；
|
||||
单步想改就打开那个任务改那一步）。<br>
|
||||
<b>录制动作</b>：在设备画面上点/划/按键，自动翻译成步骤 —— 既能存成可复用的「自定义动作」，
|
||||
也能只取一个手势回填到滑动步骤上（步骤编辑器里滑动那一步有「录制手势」按钮）。
|
||||
</div>
|
||||
<div id="cfg-forms"><div class="text-muted" style="padding:10px">加载中…</div></div>
|
||||
</div>
|
||||
</div>
|
||||
|
||||
<!-- ========== Tab 3: 分组 ========== -->
|
||||
@@ -1357,5 +1419,6 @@ body{background:var(--bg);font-family:var(--body);color:var(--text);font-size:14
|
||||
<script src="/static/admin/system.js"></script>
|
||||
<script src="/static/admin/notify.js"></script>
|
||||
<script src="/static/admin/steplog.js"></script>
|
||||
<script src="/static/admin/recorder.js"></script>
|
||||
</body>
|
||||
</html>
|
||||
|
||||
+107
-2
@@ -7,9 +7,9 @@ from datetime import datetime
|
||||
from concurrent.futures import ThreadPoolExecutor, as_completed, TimeoutError as FuturesTimeout
|
||||
|
||||
from flask import (Blueprint, jsonify, request, Response)
|
||||
from flask_login import login_required
|
||||
from flask_login import login_required, current_user
|
||||
|
||||
from core import device_pool, uiauto_helper
|
||||
from core import device_pool, uiauto_helper, step_defaults
|
||||
from core.adb_helper import adb_connect_light
|
||||
from core.models import db, DeviceGroup, TaskJob, CustomAction
|
||||
from core.logger import get_logger
|
||||
@@ -215,6 +215,111 @@ def api_groups_delete(name):
|
||||
return jsonify({"ok": False, "error": "分组不存在"}), 404
|
||||
|
||||
|
||||
# ================== API：录制手势（手机端真手指轨迹） ==================
|
||||
#
|
||||
# 用 getevent 读**真触屏**设备抓手指轨迹（见 core/gesture.py）。合成的注入事件不会
|
||||
# 出现在真触屏节点上，所以录到的只有人手的动作。
|
||||
# 录制器实例存在内存里（单进程；不落库——录完的点列由前端放进步骤/动作再保存）。
|
||||
|
||||
_gesture_recorders = {} # token -> PhoneRecorder
|
||||
_gesture_lock = threading.Lock()
|
||||
_GESTURE_TTL = 300 # 超过 5 分钟自动收摊，避免忘了点"停止"
|
||||
|
||||
|
||||
def _gesture_sweep():
|
||||
"""清掉超时的录制器（停止并释放 getevent 进程）。"""
|
||||
now = time.time()
|
||||
with _gesture_lock:
|
||||
stale = [t for t, r in _gesture_recorders.items()
|
||||
if now - r._started > _GESTURE_TTL]
|
||||
for t in stale:
|
||||
_gesture_recorders.pop(t, None)
|
||||
for t in stale:
|
||||
try:
|
||||
r.stop()
|
||||
except Exception:
|
||||
pass
|
||||
_log.info("录制手势超时自动停止: %s", t)
|
||||
|
||||
|
||||
@bp.route("/api/gesture/record/start", methods=["POST"])
|
||||
@perm_required(PERM_DEVICES)
|
||||
def api_gesture_record_start():
|
||||
"""开始录：{serial} → {token}。之后在手机屏幕上用手指划，停止时取回轨迹。"""
|
||||
from core import gesture
|
||||
_gesture_sweep()
|
||||
serial = ((request.json or {}).get("serial") or "").strip()
|
||||
if not serial:
|
||||
return jsonify({"ok": False, "error": "缺少 serial"}), 400
|
||||
with _gesture_lock:
|
||||
if _gesture_recorders:
|
||||
return jsonify({"ok": False, "error": "已有录制在进行中，先停止"}), 409
|
||||
try:
|
||||
w, h = 0, 0
|
||||
try:
|
||||
import uiautomator2 as u2
|
||||
from core.u2_helper import screen_size
|
||||
d = u2.connect(serial)
|
||||
d.unlock() # 息屏时 u2 抓树会退化到几十秒，先唤醒
|
||||
w, h = screen_size(d, serial)
|
||||
except Exception as e:
|
||||
_log.warning("录制前取屏幕尺寸失败（按原始坐标范围换算）: %s", e)
|
||||
rec = gesture.PhoneRecorder(serial, w, h)
|
||||
rec.start()
|
||||
except Exception as e:
|
||||
return jsonify({"ok": False, "error": f"开始录制失败: {e}"}), 502
|
||||
token = uuid.uuid4().hex[:12]
|
||||
with _gesture_lock:
|
||||
_gesture_recorders[token] = rec
|
||||
_log.info("开始录制手势: %s @ %s（%s）by %s", token, serial, rec.device,
|
||||
getattr(current_user, "username", ""))
|
||||
return jsonify({"ok": True, "token": token, "device": rec.device,
|
||||
"screen": [w, h],
|
||||
"msg": "现在请用手指在手机上划，划完点「停止」"})
|
||||
|
||||
|
||||
@bp.route("/api/gesture/record/stop", methods=["POST"])
|
||||
@perm_required(PERM_DEVICES)
|
||||
def api_gesture_record_stop():
|
||||
"""停止录制：{token} → {gestures: [[[x,y,t_ms],...], ...]}。"""
|
||||
token = ((request.json or {}).get("token") or "").strip()
|
||||
with _gesture_lock:
|
||||
rec = _gesture_recorders.pop(token, None)
|
||||
if rec is None:
|
||||
return jsonify({"ok": False, "error": "录制会话不存在或已超时"}), 404
|
||||
try:
|
||||
gestures = rec.stop()
|
||||
except Exception as e:
|
||||
return jsonify({"ok": False, "error": f"停止录制失败: {e}"}), 500
|
||||
_log.info("停止录制手势: %s → %s 条", token, len(gestures))
|
||||
return jsonify({"ok": True, "gestures": gestures, "count": len(gestures),
|
||||
"device": rec.device})
|
||||
|
||||
|
||||
# ================== API：步骤默认值（「动作配置」页） ==================
|
||||
#
|
||||
# 存 app_meta.step_defaults 一个键（不建表），校验与合并都在 core/step_defaults.py。
|
||||
|
||||
@bp.route("/api/step_defaults")
|
||||
@login_required
|
||||
def api_step_defaults_get():
|
||||
"""生效的默认值 + 出厂值 + 字段规格（前端画表单用）。"""
|
||||
return jsonify({"ok": True, **step_defaults.as_payload()})
|
||||
|
||||
|
||||
@bp.route("/api/step_defaults", methods=["POST"])
|
||||
@perm_required(PERM_TASKS)
|
||||
def api_step_defaults_save():
|
||||
"""保存默认值（只落与出厂值不同的字段，便于以后出厂值升级能跟着走）。"""
|
||||
data = request.json or {}
|
||||
ok, msg = step_defaults.save(data.get("defaults") or data)
|
||||
if not ok:
|
||||
return jsonify({"ok": False, "error": msg}), 400
|
||||
_log.info("更新步骤默认值 by %s: %s", getattr(current_user, "username", ""),
|
||||
list((data.get("defaults") or data).keys()))
|
||||
return jsonify({"ok": True, "msg": msg, **step_defaults.as_payload()})
|
||||
|
||||
|
||||
# ================== API：用户管理 CRUD ==================
|
||||
|
||||
@bp.route("/api/custom_actions")
|
||||
|
||||
Reference in New Issue
Block a user