diff --git a/.gitignore b/.gitignore index ca09196..5e588ca 100644 --- a/.gitignore +++ b/.gitignore @@ -13,6 +13,8 @@ logs/*.log data/*.log data/apks/*.apk data/*.migrated +# uiauto.pid 之类的运行时 PID 文件（**注释必须单独一行**：gitignore 不支持行尾注释） +data/*.pid data/*.db-shm data/*.db-wal diff --git a/README.md b/README.md index 22a9f29..140e829 100644 --- a/README.md +++ b/README.md @@ -48,6 +48,7 @@ | **任务调度** | 手动 / cron 定时 / 定时启停；运行窗口；失败重试（含端口耗尽类的长退避） | | **步骤编辑器** | 可视化拖拽编排 20 种步骤（含循环/条件/OCR/通知），可打包成"自定义动作"复用 | | **拟人化操作** | 滑动默认走弧线轨迹、位置/幅度/时长每次抖动，且**每台设备有自己的手速与习惯**（同设备风格稳定、设备之间明显不同）——批量跑时不像同步机器人（见 [TASK_DEV.md](doc/TASK_DEV.md) §8.4） | +| **动作配置 / 录制** | 「任务 → 动作配置」：① 配**步骤默认值**（新建步骤预填：滑动时长/幅度/抖动/拟人、点击超时、等待区间…）② **录制动作**——在设备画面上点/划/按键，自动翻译成步骤（点元素记选择器、划一下记方向/幅度/时长），可存成可复用动作，也可只取一个手势回填滑动步骤 | | **公共巡检** | 任务级的守护条件（**独立于步骤画布**）：每 N 秒检查屏幕亮/熄、元素在不在、前台是不是某 App，命中就点亮/息屏/停本设备/推通知——通知标题正文自己写（见 [TASK_DEV.md](doc/TASK_DEV.md) §4.5） | | **元素抓取** | 拉取设备 UI 元素树 → 点选回填选择器；支持"点一下"与"测选择器"真机验证 | | **实时看屏** | MJPEG 实时流 + 点击/滑动/按键/文字输入；全屏监控大屏（`/wall`） | @@ -144,6 +145,7 @@ auto_control/ │ ├── notifier.py # 通知分发（队列/聚合/限流/适配器）+ notify_events.py 事件目录 │ ├── step_log.py # 任务步骤明细（异步写线程 + 保留期清理） │ ├── patrol.py # 任务级公共巡检（检查项/动作注册表，穿插执行） +│ ├── step_defaults.py # 步骤默认值（app_meta 单键，出厂值 + 用户覆盖） │ ├── tailscale_client.py # Tailscale API v2 客户端 │ ├── ssh_client.py # SSH 封装（当前无人调用，预留） │ ├── logger.py # 分文件日志（core/task/web/action） @@ -189,7 +191,7 @@ auto_control/ ``` base.js → markdown.js → list.js → monitor.js → editor.js → tasks.js - → tools.js → apps.js → admin.js → agent.js → taskgen.js → system.js → notify.js → steplog.js + → tools.js → apps.js → admin.js → agent.js → taskgen.js → system.js → notify.js → steplog.js → recorder.js ``` --- @@ -250,7 +252,7 @@ self.set_progress(done=5, total=80, unit="视频", action_counts={"like": 3}, el | Tab | 内容 | 可见性 | |-----|------|--------| | **监控** | 统计卡片 + 设备表（在线/型号/任务状态/进度/前台 App/最近错误，支持排序、搜索、分页、多选批量操作）+ 异常汇总 + **任务运行概况**（每张任务卡：执行任务 / 停用任务 + 覆盖设备彩色 chip）；导航栏「📺 大屏」打开 `/wall` | 所有登录用户（设备操作按钮需"设备控制"） | -| **任务** | 子分栏：**任务计划**（CRUD / 启停 / 执行 / 下次运行时间 / 离线跳过 / 步骤编辑器 / **公共巡检**）、**自定义动作**（步骤打包复用） | 可看；写操作需"任务管理" | +| **任务** | 子分栏：**任务计划**（CRUD / 启停 / 执行 / 下次运行时间 / 离线跳过 / 步骤编辑器 / **公共巡检**）、**自定义动作**（步骤打包复用）、**动作配置**（步骤默认值 + 录制动作） | 可看；写操作需"任务管理" | | **日志** | 子分栏：**文件日志**（文件切换含滚动历史、关键字/级别/时间过滤、命中高亮、下载筛选结果、自动刷新）、**步骤明细**（按设备/任务/结果/时间过滤、按运行归组的概览、导出 CSV） | 需"日志查看" | | **用户** | 用户 CRUD、改密、分配权限 | 仅管理员 | | **工具** | 8 个子分栏：剪贴板注入 / adb 远程终端 / Tailscale 管理 / 应用管理 / 应用版本管理 / 设备已装应用 / **设备池管理**（含自动发现）/ 设备分组 | 仅管理员 | diff --git a/core/step_defaults.py b/core/step_defaults.py new file mode 100644 index 0000000..c098bcf --- /dev/null +++ b/core/step_defaults.py @@ -0,0 +1,148 @@ +"""步骤默认值：新建步骤时预填的参数（后台「任务 → 动作配置」页可改）。 + +存在 `app_meta.step_defaults` 一个键里（**不建表** → 不碰备份覆盖红线）， +与 `notify_webhooks` 同一套做法：**出厂默认 + 用户覆盖**，读的时候合并。 + +为什么是"出厂 + 覆盖"而不是只存用户值：以后调整某个步骤的出厂默认时， +**没配过的字段**会跟着变好，**配过的字段**不动——这符合直觉。 + +字段白名单 + 范围校验都在这里（`SPEC`）：写进库的东西必须能校验，否则手改 +JSON 塞个奇怪值进去，之后新建步骤就把它带进任务里了。 + +⚠️ 这里只管**编辑器预填**；`tasks/generic/task.py` 的 `STEP_TYPES` 仍是执行侧 +的默认值来源（AI/MCP 造步骤也用它）。两处都改了要一起同步。 +""" +import json + +# 出厂默认（前端「动作配置」页的初始内容，也是没配过时的回退） +FACTORY = { + "swipe": {"direction": "up", "duration_min": 0.25, "duration_max": 0.5, + "distance_ratio": 0.6, "jitter": 0.15, "humanize": True}, + "click": {"wait_timeout": 2}, + "long_click": {"duration": 1.0, "wait_timeout": 2}, + "wait": {"min": 1.0, "max": 3.0}, + "key_event": {"key": "back"}, + "input_text": {"mode": "random", "texts": "你好\n有趣\n支持", + "fixed_text": "", "clear_first": True}, +} + +# 字段规格：("num", 最小, 最大) / ("bool",) / ("choice", 可选值) / ("text", 最大长度) +SPEC = { + "swipe": { + "direction": ("choice", ("up", "down", "left", "right")), + "duration_min": ("num", 0.05, 5.0), + "duration_max": ("num", 0.05, 5.0), + "distance_ratio": ("num", 0.1, 0.9), + "jitter": ("num", 0.0, 0.4), + "humanize": ("bool",), + }, + "click": {"wait_timeout": ("num", 0.0, 30.0)}, + "long_click": {"duration": ("num", 0.2, 10.0), + "wait_timeout": ("num", 0.0, 30.0)}, + "wait": {"min": ("num", 0.1, 600.0), "max": ("num", 0.1, 600.0)}, + "key_event": {"key": ("text", 30)}, + "input_text": {"mode": ("choice", ("random", "fixed")), + "texts": ("text", 2000), "fixed_text": ("text", 200), + "clear_first": ("bool",)}, +} + +# 与 notifier 的键同住 app_meta（`key` 是 MySQL 保留字，读写只走 db_config.meta_get/set） +META_KEY = "step_defaults" + + +def factory(): + """出厂默认的深拷贝（别让调用方改到常量）。""" + return json.loads(json.dumps(FACTORY, ensure_ascii=False)) + + +def _clean_one(stype, raw): + """校验并清洗单个步骤类型的默认值；非法字段**丢弃**（不让脏值进库）。""" + spec = SPEC.get(stype) + if not spec or not isinstance(raw, dict): + return None + out = {} + for k, v in raw.items(): + rule = spec.get(k) + if not rule: + continue + kind = rule[0] + try: + if kind == "bool": + out[k] = bool(v) + elif kind == "num": + n = float(v) + lo, hi = rule[1], rule[2] + out[k] = max(lo, min(hi, n)) + elif kind == "choice": + s = str(v) + if s in rule[1]: + out[k] = s + elif kind == "text": + out[k] = str(v)[:rule[1]] + except (TypeError, ValueError): + continue + return out or None + + +def clean(raw): + """清洗整份配置（只保留白名单里的步骤类型与字段）。""" + if not isinstance(raw, dict): + return {} + out = {} + for stype in SPEC: + got = _clean_one(stype, raw.get(stype)) + if got: + out[stype] = got + return out + + +def merged(user): + """出厂默认 + 用户覆盖（按字段合并）。""" + out = factory() + for stype, vals in (clean(user) or {}).items(): + out.setdefault(stype, {}).update(vals) + return out + + +def get(): + """当前生效的默认值（读库，必须在 app context 内调）。""" + from core.db_config import meta_get + raw = meta_get(META_KEY) or "" + if not raw: + return factory() + try: + return merged(json.loads(raw)) + except (ValueError, TypeError): + return factory() + + +def save(raw): + """保存（只落用户显式给的字段）。返回 (ok, msg)。 + + 与出厂默认**相同的字段不入库**：这样以后调出厂值，这些字段能跟着更新 + ——库里只留"用户真的改过"的部分。 + """ + from core.db_config import meta_set + cleaned = clean(raw) + fac = FACTORY + diff = {} + for stype, vals in cleaned.items(): + keep = {k: v for k, v in vals.items() + if not (stype in fac and k in fac[stype] and fac[stype][k] == v)} + if keep: + diff[stype] = keep + try: + meta_set(META_KEY, json.dumps(diff, ensure_ascii=False)) + except Exception as e: + return False, f"保存失败: {e}" + return True, "已保存" + + +def as_payload(): + """给前端的完整载荷：生效值 + 出厂值 + 字段规格（前端据此画表单与范围）。""" + spec = {st: {k: (list(r[1]) if r[0] == "choice" else + (list(r[1:]) if r[0] == "num" else None)) + for k, r in fields.items()} + for st, fields in SPEC.items()} + kinds = {st: {k: r[0] for k, r in fields.items()} for st, fields in SPEC.items()} + return {"defaults": get(), "factory": factory(), "spec": spec, "kinds": kinds} diff --git a/doc/API.md b/doc/API.md index c210210..d8fb883 100644 --- a/doc/API.md +++ b/doc/API.md @@ -124,6 +124,8 @@ | POST | `/api/custom_actions` | T | 新建自定义动作 | | PUT | `/api/custom_actions/` | T | 更新自定义动作 | | DELETE | `/api/custom_actions/` | T | 删除自定义动作 | +| GET | `/api/step_defaults` | L | 步骤默认值（生效值 + 出厂值 + 字段规格，供「动作配置」页画表单） | +| POST | `/api/step_defaults` | T | 保存步骤默认值（只落与出厂值不同的字段） | | GET | `/api/uiauto/status` | L | uiautodev 服务是否在跑 | | GET | `/api/uiauto/devices` | D | 抓元素可选设备 | | GET | `/api/uiauto/elements` | D | 设备 UI 元素树 | diff --git a/doc/DATA_MODEL.md b/doc/DATA_MODEL.md index 5c4d486..e0d912a 100644 --- a/doc/DATA_MODEL.md +++ b/doc/DATA_MODEL.md @@ -277,6 +277,7 @@ UTF-8 等价于字节序）。 | `deployment_id` | 库唯一标识（uuid），用于识别"这份备份来自哪个库" | 同上 | | `deployment_claimed_at` | 标签写入时间 | 同上 | | `notify_webhooks` | **通知 / Webhook 全部配置**（JSON：`{version, settings, webhooks[]}`，见 [NOTIFY.md](NOTIFY.md) §4）。**不建表**——新增/删除 webhook 都只改这一个键 | 系统 → 通知 页 | +| `step_defaults` | **步骤默认值**（JSON：`{步骤类型: {字段: 值}}`，见 [TASK_DEV.md](TASK_DEV.md) §3.1）。新建步骤时预填用。**只存与出厂值不同的字段**，这样以后调出厂默认能跟着走 | 任务 → 动作配置 页 | > ⚠️ `agent_api_key` 是**明文存储**，导出备份的 zip 里也含它——备份预览会固定给出"含敏感信息"告警。 > **同理 `notify_webhooks` 里的 webhook URL 本身就是凭据**（企业微信 `?key=`、钉钉 `?access_token=`、 diff --git a/doc/TASK_DEV.md b/doc/TASK_DEV.md index eab5b90..1aa2213 100644 --- a/doc/TASK_DEV.md +++ b/doc/TASK_DEV.md @@ -10,7 +10,7 @@ - [1. 核心概念](#1-核心概念) - [2. 通用步骤任务 generic_steps](#2-通用步骤任务-generic_steps) -- [3. 20 种步骤全表](#3-20-种步骤全表) +- [3. 20 种步骤全表](#3-20-种步骤全表)（含 [3.1 步骤默认值与动作录制](#31-步骤默认值与动作录制任务--动作配置)） - [4. 容器步骤与公共参数](#4-容器步骤与公共参数)（含 [4.5 公共巡检](#45-公共巡检任务级独立于步骤画布)） - [5. 选择器与元素定位](#5-选择器与元素定位) - [6. 自定义动作](#6-自定义动作) @@ -135,6 +135,48 @@ from .generic import task # 触发 @register_task（当前唯一任务类型） | 19 | `notify` | 发通知 | — | `title`("")、`message`("")、`level`("info") | — | 推一条**自定义**通知（事件 `task.notify.custom`）：标题正文自己写，支持 `{device} {serial} {job} {time} {app} {screen}`；谁收到取决于 webhook 的事件订阅。两者都空则跳过 | | 20 | `stop_self` | 停止本设备 | — | `reason`("") | — | 只停**本设备**的任务（其它设备照跑）：置 worker 停止位，后续步骤不再执行，任务记成**被停止而不是失败**（不触发重试） | +### 3.1 步骤默认值与动作录制（任务 → 动作配置） + +**步骤默认值**：新建步骤时预填的参数（`core/step_defaults.py`，存 `app_meta.step_defaults`）。 +在「任务 → 动作配置」页改，**只影响之后新建的步骤**，已有步骤里的参数不动。 + +覆盖范围：`swipe`（方向/时长区间/幅度/抖动/拟人）、`click`（等待超时）、 +`long_click`（长按时长/超时）、`wait`（时长区间）、`key_event`（按键）、 +`input_text`（模式/候选文案/是否清空）。 + +三条实现口径： + +- **只存与出厂值不同的字段**——以后调出厂默认时，没配过的字段能跟着更新； +- 字段**白名单 + 范围夹取**（`SPEC`）：越界值夹到边界、非法值直接丢弃， + 不会把手改 JSON 塞进来的脏值带进任务； +- 前端 `_makeStep` 用 `STEP_LIB` 出厂值打底，再用这里的默认值覆盖， + `/api/step_defaults` 在打开「任务」Tab 时加载一次。 + +**动作录制**（`static/admin/recorder.js`）：在设备画面上点/划/按键/输入， +自动翻译成步骤。两个入口： + +| 入口 | 模式 | 产出 | +|---|---|---| +| 动作配置页「● 录制动作」 | `action` | 录完存成**自定义动作**（进动作库，拖进任何任务画布） | +| 步骤编辑器里滑动那一步的「● 录制手势」 | `gesture` | 只取最后一个手势，**回填当前滑动步骤**的方向/幅度/时长 | + +翻译规则： + +| 你做的 | 记成 | 依据 | +|---|---|---| +| 点一下 | `click`（选择器） | 从当前元素树里取**包含该点的最小可点击元素**，用它的 `suggested` 选择器 | +| 点一下（没命中元素） | `click_xy` | 退化成屏幕百分比坐标 | +| 按住划一下 | `swipe` | 方向（dx/dy 谁大取谁）、幅度（划距 ÷ 屏高/宽）、时长（你按住的毫秒数） | +| 停顿（间隔 ≥1s） | `wait` | 真实间隔 ±15%，可在录制器里关掉「记录停顿」 | +| 按键 / 输入 | `key_event` / `input_text` | 输入文字按**原样**记 `fixed_text`（不是随机候选） | + +实现要点（改之前先看）： + +- 画面与元素树走 **`/api/uiauto/snapshot` 一次取齐**（截图+元素背靠背取，避免"框落在旧位置"）； + **每次操作后自动刷新**，所以下一次点击能用到最新的树。 +- 录制器**只负责翻译**，真正执行仍走 `/api/screen/{tap,swipe,key,text}`——和设备大屏同一套接口。 +- 录到的步骤在列表里可上移/下移/删除；存成动作走现有 `POST /api/custom_actions`（不新增表）。 + --- ## 4. 容器步骤与公共参数 diff --git a/static/admin/base.js b/static/admin/base.js index 06379f8..f6f5d9f 100644 --- a/static/admin/base.js +++ b/static/admin/base.js @@ -104,7 +104,8 @@ function showTab(name){ if(_discoveryTimer){clearInterval(_discoveryTimer);_discoveryTimer=null;} // 按需加载数据 if(name==='monitor'){loadMonitor();_monitorTimer=setInterval(loadMonitor,5000);} - if(name==='tasks'){showSubTab('tasks',_activeSubs.tasks);loadTasks();loadCustomActions();} + if(name==='tasks'){showSubTab('tasks',_activeSubs.tasks);loadTasks();loadCustomActions(); + if(typeof loadStepDefaults==='function')loadStepDefaults();} if(name==='tools'){showSubTab('tools',_activeSubs.tools);loadToolsDevices();loadAdbDevices();loadTailscaleDevices();loadApks();} if(name==='logs'){ showSubTab('logs', _activeSubs.logs||'files'); // 文件日志 / 步骤明细 @@ -134,6 +135,7 @@ function showSubTab(tabId, name){ if(tabId==='system' && name==='notify' && typeof loadNotifyPanel==='function') loadNotifyPanel(); if(tabId==='logs' && name==='files' && typeof loadLogs==='function') loadLogs(); if(tabId==='logs' && name==='steps' && typeof loadStepLogs==='function') loadStepLogs(true); + if(tabId==='tasks' && name==='actioncfg' && typeof loadActionConfig==='function') loadActionConfig(); if(name==='groups' && typeof loadGroups==='function') loadGroups(); if(name==='apks' && typeof loadAgentStore==='function') loadAgentStore(); if(name==='devpool' && typeof loadDevPool==='function'){ diff --git a/static/admin/editor.js b/static/admin/editor.js index 7ff7880..ad675f9 100644 --- a/static/admin/editor.js +++ b/static/admin/editor.js @@ -23,6 +23,8 @@ var STEP_LIB=[ {type:'notify',label:'发通知',icon:'🔔',cat:'flow',params:{title:'',message:'',level:'info'}}, {type:'stop_self',label:'停止本设备',icon:'⛔',cat:'flow',params:{reason:''}} ]; +// 步骤默认值（「任务 → 动作配置」页配置，见 core/step_defaults.py）；新建步骤时预填 +let _stepDefaults = null; var STEP_LIB_CATS=[['interact','交互操作'],['screen','屏幕与App'],['flow','流程控制']]; var _customActions=[]; // 后端加载的自定义动作 var _stepIdCounter=0; @@ -330,6 +332,8 @@ var _stepEditor={ h+='
'; h+='
'; h+=_humanizeRowHtml(p,'
'); + h+='
'+(_can('devices')?'':'')+'' + +'
在设备画面上按住划一下，按你划的方向/幅度/时长回填这一步（不想手填参数时用）
'; }else if(step.type==='click'){ h+=_selRowHtml(p,'
'); }else if(step.type==='long_click'){ @@ -343,6 +347,7 @@ var _stepEditor={ '
'+ '
'+ _humanizeChkHtml(p)+ + (_can('devices')?'
':'')+ '
上滑/下滑直到目标元素出现（每次滑动后检查一次），找不到则跳过继续。滑动同样走拟人轨迹
'); }else if(step.type==='wait_el'){ h+=_selRowHtml(p,'
'+ @@ -507,7 +512,28 @@ var _stepEditor={ } }, _makeStep:function(lib){ - return {id:_newStepId(),type:lib.type,label:lib.label,params:JSON.parse(JSON.stringify(lib.params))}; + // 参数 = STEP_LIB 出厂值 ← 用户在「动作配置」里配的默认值（有才覆盖） + var params=JSON.parse(JSON.stringify(lib.params)); + var d=_stepDefaults&&_stepDefaults[lib.type]; + if(d)Object.keys(d).forEach(function(k){ if(d[k]!==undefined)params[k]=d[k]; }); + return {id:_newStepId(),type:lib.type,label:lib.label,params:params}; + }, + // 录制手势：在设备上划一下，按你划的方向/幅度/时长回填这一步 + recordGesture:function(btn){ + var card=btn.closest('.step-card'); + if(!card){return;} + if(typeof openRecorder!=='function'){showToast('录制器未加载','error');return;} + var self=this; + openRecorder({mode:'gesture',onDone:function(p){ + card.querySelectorAll('[data-key]').forEach(function(inp){ + var k=inp.dataset.key; + if(p[k]===undefined)return; + if(inp.type==='checkbox')inp.checked=!!p[k]; + else inp.value=p[k]; + }); + self._syncFromDom(); + showToast('已按你划的手势回填：'+p.direction+' 幅度'+p.distance_ratio,'success'); + }}); }, // 测试此步骤：在选中设备上试执行当前步骤，验证选择器 _testStep:function(btn){ diff --git a/static/admin/recorder.js b/static/admin/recorder.js new file mode 100644 index 0000000..35ed3c9 --- /dev/null +++ b/static/admin/recorder.js @@ -0,0 +1,375 @@ +// ================== 动作录制器 ================== +// 在设备截图上操作（点/划/按键/输入），自动翻译成**步骤**： +// · 点 → 命中元素就记「点击元素」(选择器)，抓不到就退化成「点击坐标」(百分比) +// · 划 → 记「滑动」：方向 + 幅度(屏占比) + 实际时长 +// · 停顿 → 可选记成「等待」（按真实间隔 ±15%） +// +// 两种用法（同一个录窗口）： +// mode='action' —— 录一段，存成「自定义动作」（进动作库，能拖进任何任务） +// mode='gesture' —— 只取最后一个手势，回填当前滑动步骤的参数 +// +// 元素树用 /api/uiauto/snapshot 一次取齐（截图 + 元素），**每次操作后自动刷新**， +// 这样下一次点击就能用最新的树翻译选择器（抖音这种没有 id 的界面靠 text/desc）。 + +let _rec = null; + +function _recEl() { return document.getElementById('rec-overlay'); } + +async function openRecorder(opts) { + opts = opts || {}; + if (_recEl()) return; + _rec = { + mode: opts.mode || 'action', + serial: opts.serial || '', + onDone: opts.onDone || null, + steps: [], + elements: [], + devW: 0, devH: 0, imgURL: '', + lastTs: 0, dragFrom: null, busy: false, keepPause: true, + shots: 0, unstable: false, + }; + const ov = document.createElement('div'); + ov.id = 'rec-overlay'; + ov.className = 'modal-overlay show'; // .modal-overlay 默认 display:none，必须带 show + ov.innerHTML = + '
' + + '
' + + '' + (_rec.mode === 'gesture' ? '录制手势' : '录制动作') + '' + + '' + + '' + + '' + + '' + + '' + + '
' + + '
' + + '
正在取画面…
' + + '
' + + '
' + + '' + + '' + + '' + + '' + + '
' + + '
' + + '
' + + '
' + + '' + + '' + + '
' + + '
录到的步骤
' + + '
' + + '
' + + '
' + + '
' + + '
'; + ov.addEventListener('mousedown', function (e) { if (e.target === ov) closeRecorder(); }); + document.body.appendChild(ov); + await recLoadDevices(); + recRender(); +} + +function closeRecorder() { + const ov = _recEl(); + if (ov) ov.remove(); + _rec = null; +} + +async function recLoadDevices() { + const sel = document.getElementById('rec-device'); + if (!sel) return; + sel.innerHTML = ''; + const r = await apiGet('/api/devices'); + if (!r || !r.ok) return; + (r.items || []).forEach(function (d) { + const o = document.createElement('option'); + o.value = d.serial; + o.textContent = d.name ? (d.name + '（' + d.serial + '）') : d.serial; + sel.appendChild(o); + }); + if (_rec.serial) { sel.value = _rec.serial; } + else if ((r.items || []).length) { sel.value = r.items[0].serial; _rec.serial = r.items[0].serial; } + if (_rec.serial) recRefresh(); +} + +function recPickDevice() { + const sel = document.getElementById('rec-device'); + _rec.serial = sel ? sel.value : ''; + _rec.elements = []; + recRender(); + if (_rec.serial) recRefresh(); +} + +// 取一张快照：截图 + 元素树（同一个连接背靠背取，避免框错位） +async function recRefresh() { + if (!_rec || !_rec.serial) return; + const r = await apiGet('/api/uiauto/snapshot?serial=' + encodeURIComponent(_rec.serial)); + if (!r || !r.ok) { + const st = document.getElementById('rec-stage'); + if (st) st.innerHTML = '
取画面失败：' + esc((r && r.error) || '未知错误') + '
'; + return; + } + _rec.imgURL = r.image || ''; + _rec.devW = r.width || 0; + _rec.devH = r.height || 0; + _rec.elements = r.elements || []; + _rec.unstable = !!r.unstable; + _rec.shots++; + recPaint(); +} + +function recPaint() { + const st = document.getElementById('rec-stage'); + if (!st) return; + if (!_rec.imgURL) { st.innerHTML = '
正在取画面…
'; return; } + st.innerHTML = '' + + (_rec.unstable ? '
画面在变化，这次框可能不准
' : ''); + const img = document.getElementById('rec-img'); + img.addEventListener('mousedown', recDown); + img.addEventListener('mousemove', recMove); + img.addEventListener('mouseup', recUp); + img.addEventListener('mouseleave', function () { _rec.dragFrom = null; recPaintOverlay(); }); + recPaintOverlay(); +} + +// 拖动中的轨迹提示（录制时能看见自己划到哪） +function recPaintOverlay() { + const st = document.getElementById('rec-stage'); + if (!st) return; + let cv = document.getElementById('rec-overlay-line'); + if (!cv) { + cv = document.createElement('div'); + cv.id = 'rec-overlay-line'; + cv.className = 'rec-line'; + st.appendChild(cv); + } + if (!_rec.dragFrom) { cv.style.display = 'none'; return; } + cv.style.display = 'block'; + const a = _rec.dragFrom; + const b = _rec.dragTo || a; + const x = Math.min(a.x, b.x), y = Math.min(a.y, b.y); + cv.style.left = x + 'px'; cv.style.top = y + 'px'; + cv.style.width = Math.abs(b.x - a.x) + 'px'; + cv.style.height = Math.abs(b.y - a.y) + 'px'; +} + +function _recPos(e) { + const img = document.getElementById('rec-img'); + if (!img) return null; + const r = img.getBoundingClientRect(); + const x = e.clientX - r.left, y = e.clientY - r.top; + if (x < 0 || y < 0 || x > r.width || y > r.height) return null; + // 显示坐标 → 设备坐标 + const sx = _rec.devW / r.width, sy = _rec.devH / r.height; + return { x: Math.round(x * sx), y: Math.round(y * sy), rx: x, ry: y, cssW: r.width, cssH: r.height }; +} + +function recDown(e) { + if (_rec.busy) return; + const p = _recPos(e); + if (!p) return; + _rec.dragFrom = p; _rec.dragTo = null; _rec.dragT0 = Date.now(); + recPaintOverlay(); +} + +function recMove(e) { + if (!_rec.dragFrom) return; + const p = _recPos(e); + if (!p) return; + _rec.dragTo = p; + recPaintOverlay(); +} + +async function recUp(e) { + if (!_rec.dragFrom || _rec.busy) { _rec.dragFrom = null; return; } + const a = _rec.dragFrom; + const b = _recPos(e) || a; + const durMs = Date.now() - _rec.dragT0; + _rec.dragFrom = null; + recPaintOverlay(); + const dist = Math.hypot(b.x - a.x, b.y - a.y); + if (dist < 12 || durMs < 60) { // 视为点击 + await recTap(a.x, a.y); + } else { + await recSwipe(a, b, durMs); + } +} + +// ---------- 翻译：点击 → 步骤 ---------- +function _recFindElement(x, y) { + // 取包含该点的最小元素；优先可点击的（和 /api/screen/tap 的 snap 同一口径） + let best = null, bestClick = null; + (_rec.elements || []).forEach(function (el) { + const m = (el.bounds || '').match(/\[(\d+),(\d+)\]\[(\d+),(\d+)\]/); + if (!m) return; + const x1 = +m[1], y1 = +m[2], x2 = +m[3], y2 = +m[4]; + if (!(x1 <= x && x <= x2 && y1 <= y && y <= y2)) return; + const area = (x2 - x1) * (y2 - y1); + const cand = { el: el, area: area, cx: Math.round((x1 + x2) / 2), cy: Math.round((y1 + y2) / 2) }; + if (!best || area < best.area) best = cand; + if (String(el.clickable) === 'true' && (!bestClick || area < bestClick.area)) bestClick = cand; + }); + return bestClick || best; +} + +async function recTap(x, y) { + if (!_rec || _rec.busy) return; + _rec.busy = true; + try { + const hit = _recFindElement(x, y); + let step; + if (hit && hit.el.suggested && hit.el.suggested.value) { + step = { type: 'click', label: '点击' + _recShort(hit.el), + params: { selector_type: hit.el.suggested.type || 'xpath', + selector_value: hit.el.suggested.value, wait_timeout: 2 } }; + } else { + step = { type: 'click_xy', label: '点击坐标', + params: { x: Math.round(x / _rec.devW * 100), y: Math.round(y / _rec.devH * 100) } }; + } + _recPush(step); + const r = await apiPost('/api/screen/tap', { serial: _rec.serial, x: x, y: y, snap: 1 }); + if (r && !r.ok) showToast((r.error || '点击失败'), 'error'); + await recRefresh(); + } finally { _rec.busy = false; } +} + +function _recShort(el) { + const s = el.text || el.description || el.name || el.resource_id || ''; + return s ? ('「' + String(s).slice(0, 12) + '」') : ''; +} + +// ---------- 翻译：滑动 → 步骤 ---------- +async function recSwipe(a, b, durMs) { + if (!_rec || _rec.busy) return; + _rec.busy = true; + try { + const dx = b.x - a.x, dy = b.y - a.y; + const vertical = Math.abs(dy) >= Math.abs(dx); + const direction = vertical ? (dy < 0 ? 'up' : 'down') : (dx < 0 ? 'left' : 'right'); + const span = Math.abs(vertical ? dy : dx); + const base = vertical ? _rec.devH : _rec.devW; + const ratio = Math.max(0.05, Math.min(0.9, span / base)); + const dur = Math.max(0.08, durMs / 1000); + const step = { type: 'swipe', label: '滑动 ' + direction, + params: { direction: direction, + duration_min: +(dur * 0.9).toFixed(2), + duration_max: +(dur * 1.15).toFixed(2), + distance_ratio: +ratio.toFixed(2), + jitter: 0.15, humanize: true } }; + _recPush(step); + const r = await apiPost('/api/screen/swipe', + { serial: _rec.serial, x1: a.x, y1: a.y, x2: b.x, y2: b.y, + duration: Math.round(durMs) / 1000 }); + if (r && !r.ok) showToast((r.error || '滑动失败'), 'error'); + await recRefresh(); + } finally { _rec.busy = false; } +} + +async function recKey(key) { + if (!_rec || !_rec.serial) { showToast('先选设备', 'error'); return; } + _recPush({ type: 'key_event', label: '按键 ' + key, params: { key: key } }); + const r = await apiPost('/api/screen/key', { serial: _rec.serial, key: key }); + if (r && !r.ok) showToast((r.error || '按键失败'), 'error'); + await recRefresh(); +} + +async function recText() { + if (!_rec || !_rec.serial) { showToast('先选设备', 'error'); return; } + const inp = document.getElementById('rec-text'); + const t = (inp ? inp.value : '').trim(); + if (!t) { showToast('先填要输入的文字', 'error'); return; } + _recPush({ type: 'input_text', label: '输入 ' + t.slice(0, 8), + params: { mode: 'fixed', fixed_text: t, clear_first: false } }); + const r = await apiPost('/api/screen/text', { serial: _rec.serial, text: t }); + if (r && !r.ok) showToast((r.error || '输入失败'), 'error'); + if (inp) inp.value = ''; + await recRefresh(); +} + +function recAddWait() { + _recPush({ type: 'wait', label: '等待', params: { min: 1, max: 3 } }); +} + +// 入列：按需自动补一条「等待」（真实停顿，±15%），并刷新列表 +function _recPush(step) { + const now = Date.now(); + if (_rec.keepPause && _rec.lastTs && step.type !== 'wait') { + const gap = (now - _rec.lastTs) / 1000; + if (gap >= 1.0) { + _rec.steps.push({ id: 'rec_' + Math.random().toString(36).slice(2, 8), + type: 'wait', label: '等待 ' + gap.toFixed(1) + 's', + params: { min: +(gap * 0.85).toFixed(1), max: +(gap * 1.15).toFixed(1) } }); + } + } + step.id = 'rec_' + Math.random().toString(36).slice(2, 8); + _rec.steps.push(step); + _rec.lastTs = now; + recRender(); +} + +function recClear() { _rec.steps = []; _rec.lastTs = 0; recRender(); } + +function recDel(i) { _rec.steps.splice(i, 1); recRender(); } +function recMove2(i, d) { + const j = i + d; + if (j < 0 || j >= _rec.steps.length) return; + const t = _rec.steps[i]; _rec.steps[i] = _rec.steps[j]; _rec.steps[j] = t; + recRender(); +} + +function recRender() { + const list = document.getElementById('rec-list'); + if (!list) return; + const steps = _rec ? _rec.steps : []; + document.getElementById('rec-count').textContent = steps.length ? ('共 ' + steps.length + ' 步') : ''; + list.innerHTML = steps.map(function (s, i) { + return '
' + (i + 1) + '' + + '' + esc(s.label || s.type) + '' + + '' + + '' + + '' + + '' + + '
'; + }).join('') || '
还没有录到步骤——在左边画面上点一下或划一下试试
'; + recRenderFoot(); +} + +function recRenderFoot() { + const foot = document.getElementById('rec-foot'); + if (!foot) return; + const steps = _rec.steps; + if (_rec.mode === 'gesture') { + const sw = steps.filter(function (s) { return s.type === 'swipe'; }); + foot.innerHTML = sw.length + ? '' + + '
把方向/幅度/时长回填到当前滑动步骤
' + : '
在画面上划一下（按住拖动），然后点这里
'; + return; + } + foot.innerHTML = + '
' + + '
' + + '
存进「自定义动作」库，之后能拖进任何任务的步骤画布
'; +} + +function recApplyGesture() { + const sw = _rec.steps.filter(function (s) { return s.type === 'swipe'; }); + if (!sw.length) return; + const p = sw[sw.length - 1].params; + const cb = _rec.onDone; + closeRecorder(); + if (cb) cb(p); +} + +async function recSaveAsAction() { + const el = document.getElementById('rec-name'); + const name = (el ? el.value : '').trim(); + if (!name) { showToast('先给动作起个名', 'error'); return; } + const steps = _rec.steps.filter(function (s) { return s.type !== 'wait' || true; }) + .map(function (s) { return { type: s.type, label: s.label, params: s.params }; }); + if (!steps.length) { showToast('还没有录到步骤', 'error'); return; } + const r = await apiPost('/api/custom_actions', { name: name, icon: '⏺', steps: steps }); + if (!r || !r.ok) { showToast((r && r.error) || '保存失败', 'error'); return; } + showToast('已存成动作「' + name + '」（' + steps.length + ' 步）', 'success'); + if (typeof loadCustomActions === 'function') loadCustomActions(); + closeRecorder(); +} diff --git a/static/admin/tasks.js b/static/admin/tasks.js index 4773044..49f1ae1 100644 --- a/static/admin/tasks.js +++ b/static/admin/tasks.js @@ -503,3 +503,103 @@ function closeActionModal(){ document.getElementById('action-modal-overlay').classList.remove('show'); } + +// ================== 动作配置：步骤默认值 ================== +// 存 app_meta.step_defaults（见 core/step_defaults.py）；只影响**之后新建**的步骤。 +const _CFG_LABELS = { + swipe: '滑动', click: '点击元素', long_click: '长按元素', wait: '等待', + key_event: '按键', input_text: '输入文字', +}; +const _CFG_FIELD_LABELS = { + direction: '方向', duration_min: '最短时长(秒)', duration_max: '最长时长(秒)', + distance_ratio: '幅度(屏占比)', jitter: '抖动幅度', humanize: '拟人轨迹', + wait_timeout: '等待超时(秒)', duration: '长按时长(秒)', min: '最短(秒)', + max: '最长(秒)', key: '按键', mode: '输入模式', texts: '候选文案(每行一条)', + fixed_text: '固定文字', clear_first: '输入前清空', +}; +const _CFG_DIR_LABELS = {up:'上滑', down:'下滑', left:'左滑', right:'右滑'}; +let _cfgPayload = null; + +// 取一次步骤默认值缓存在 _stepDefaults（editor.js 的 _makeStep 用它预填新步骤） +async function loadStepDefaults(force) { + if (_stepDefaults && !force) return _stepDefaults; + const r = await apiGet('/api/step_defaults'); + _stepDefaults = (r && r.ok) ? (r.defaults || {}) : {}; + return _stepDefaults; +} + +async function loadActionConfig(force) { + const box = document.getElementById('cfg-forms'); + if (!box) return; + if (_cfgPayload && !force) { renderStepDefaults(); return; } + box.innerHTML = '
加载中…
'; + const r = await apiGet('/api/step_defaults'); + if (!r || !r.ok) { box.innerHTML = '
加载失败
'; return; } + _cfgPayload = r; + _stepDefaults = r.defaults || {}; // 编辑器新建步骤时预填用 + renderStepDefaults(); +} + +function renderStepDefaults() { + const box = document.getElementById('cfg-forms'); + if (!box || !_cfgPayload) return; + const d = _cfgPayload.defaults || {}, kinds = _cfgPayload.kinds || {}, spec = _cfgPayload.spec || {}; + box.innerHTML = Object.keys(d).map(function (st) { + const fields = Object.keys(kinds[st] || {}).map(function (k) { + const kind = kinds[st][k], v = d[st][k], rule = spec[st] ? spec[st][k] : null; + let inp; + if (kind === 'bool') { + inp = ''; + return inp; + } + if (kind === 'choice') { + inp = ''; + } else if (kind === 'num') { + inp = ''; + } else if (k === 'texts') { + inp = ''; + } else { + inp = ''; + } + return '
' + inp + '
'; + }).join(''); + return '

' + (_CFG_LABELS[st] || st) + ' ' + st + '

' + + '
' + fields + '
'; + }).join(''); + document.getElementById('cfg-hint').textContent = ''; +} + +function collectStepDefaults() { + const out = {}; + document.querySelectorAll('#cfg-forms [data-st]').forEach(function (el) { + const st = el.dataset.st, k = el.dataset.k; + out[st] = out[st] || {}; + if (el.type === 'checkbox') out[st][k] = el.checked; + else if (el.type === 'number') out[st][k] = parseFloat(el.value); + else out[st][k] = el.value; + }); + return out; +} + +async function saveStepDefaults() { + const r = await apiPost('/api/step_defaults', { defaults: collectStepDefaults() }); + if (!r || !r.ok) { showToast((r && r.error) || '保存失败', 'error'); return; } + _cfgPayload = r; + _stepDefaults = r.defaults || {}; + showToast('默认值已保存（只影响之后新建的步骤）', 'success'); + document.getElementById('cfg-hint').textContent = '已保存 ' + new Date().toLocaleTimeString(); + renderStepDefaults(); +} + +function resetStepDefaults() { + if (!_cfgPayload) return; + if (!confirm('恢复成出厂默认？（只影响这张表单，点「保存默认值」才真正生效）')) return; + _cfgPayload.defaults = JSON.parse(JSON.stringify(_cfgPayload.factory || {})); + renderStepDefaults(); +} diff --git a/templates/admin/monitor.html b/templates/admin/monitor.html index 3e2e809..c0cb69d 100644 --- a/templates/admin/monitor.html +++ b/templates/admin/monitor.html @@ -464,6 +464,37 @@ body{background:var(--bg);font-family:var(--body);color:var(--text);font-size:14 .agent-inputbar .btn-primary:hover{background:#155e75} .agent-inputbar .btn-primary:disabled{background:#9ca3af} .agent-empty{color:#6b7280;font-size:13px;text-align:center;padding:44px 0} + +/* ===== 动作配置：步骤默认值表单 ===== */ +.cfg-card{border:1px solid var(--border-strong);border-radius:10px;padding:12px;margin-bottom:10px} +.cfg-card>h4{margin:0 0 8px;font-size:13px} +.cfg-row{display:flex;gap:12px;flex-wrap:wrap} +.cfg-row .pg{display:flex;flex-direction:column;gap:2px;min-width:120px} +.cfg-row .pg label{font-size:11px;color:var(--text-light)} + +/* ===== 动作录制器 ===== */ +.rec-box{width:min(1180px,96vw);max-height:92vh;display:flex;flex-direction:column} +.rec-head{display:flex;align-items:center;gap:10px;padding:12px 16px;border-bottom:1px solid var(--border)} +.rec-head b{font-size:14px} +.rec-body{display:flex;gap:14px;padding:14px 16px;overflow:hidden;flex:1;min-height:0} +.rec-stage{flex:1;min-width:0;position:relative;background:var(--ink);border-radius:10px; + display:flex;align-items:center;justify-content:center;overflow:hidden} +.rec-stage img{max-width:100%;max-height:74vh;display:block;cursor:crosshair;user-select:none} +.rec-hint{color:#8a94a6;font-size:13px;padding:40px} +.rec-warn{position:absolute;left:10px;top:10px;background:#fbbf24;color:#3b2f00; + font-size:11px;padding:2px 8px;border-radius:6px} +.rec-line{position:absolute;border:2px dashed #f97316;border-radius:4px;pointer-events:none} +.rec-side{width:330px;flex:0 0 330px;display:flex;flex-direction:column;gap:8px;min-height:0} +.rec-ops{display:flex;gap:6px;flex-wrap:wrap} +.rec-row{display:flex;gap:6px} +.rec-list-title{font-size:12px;color:var(--text-light);margin-top:4px} +.rec-list{flex:1;overflow-y:auto;border:1px solid var(--border);border-radius:8px;padding:6px;min-height:120px} +.rec-item{display:flex;align-items:center;gap:6px;padding:3px 4px;border-bottom:1px dashed var(--border)} +.rec-item:last-child{border-bottom:0} +.rec-idx{width:18px;color:var(--text-light);font-size:11px;text-align:right} +.rec-label{flex:1;font-size:12px;overflow:hidden;text-overflow:ellipsis;white-space:nowrap} +.rec-ops2{display:flex;gap:2px} +.rec-foot{border-top:1px solid var(--border);padding-top:8px} @@ -556,6 +587,7 @@ body{background:var(--bg);font-family:var(--body);color:var(--text);font-size:14
+
@@ -588,6 +620,24 @@ body{background:var(--bg);font-family:var(--body);color:var(--text);font-size:14
+ + +
+
+ + + + + +
+
+ 步骤默认值：新建步骤时预填这套参数（只影响之后新建的步骤，已有步骤不动； + 单步想改就打开那个任务改那一步）。
+ 录制动作：在设备画面上点/划/按键，自动翻译成步骤 —— 既能存成可复用的「自定义动作」， + 也能只取一个手势回填到滑动步骤上（步骤编辑器里滑动那一步有「录制手势」按钮）。 +
+
加载中…
+
@@ -1369,5 +1419,6 @@ body{background:var(--bg);font-family:var(--body);color:var(--text);font-size:14 + diff --git a/web/tasks_api.py b/web/tasks_api.py index e9e1fd8..5261de6 100644 --- a/web/tasks_api.py +++ b/web/tasks_api.py @@ -7,9 +7,9 @@ from datetime import datetime from concurrent.futures import ThreadPoolExecutor, as_completed, TimeoutError as FuturesTimeout from flask import (Blueprint, jsonify, request, Response) -from flask_login import login_required +from flask_login import login_required, current_user -from core import device_pool, uiauto_helper +from core import device_pool, uiauto_helper, step_defaults from core.adb_helper import adb_connect_light from core.models import db, DeviceGroup, TaskJob, CustomAction from core.logger import get_logger @@ -215,6 +215,30 @@ def api_groups_delete(name): return jsonify({"ok": False, "error": "分组不存在"}), 404 +# ================== API：步骤默认值（「动作配置」页） ================== +# +# 存 app_meta.step_defaults 一个键（不建表），校验与合并都在 core/step_defaults.py。 + +@bp.route("/api/step_defaults") +@login_required +def api_step_defaults_get(): + """生效的默认值 + 出厂值 + 字段规格（前端画表单用）。""" + return jsonify({"ok": True, **step_defaults.as_payload()}) + + +@bp.route("/api/step_defaults", methods=["POST"]) +@perm_required(PERM_TASKS) +def api_step_defaults_save(): + """保存默认值（只落与出厂值不同的字段，便于以后出厂值升级能跟着走）。""" + data = request.json or {} + ok, msg = step_defaults.save(data.get("defaults") or data) + if not ok: + return jsonify({"ok": False, "error": msg}), 400 + _log.info("更新步骤默认值 by %s: %s", getattr(current_user, "username", ""), + list((data.get("defaults") or data).keys())) + return jsonify({"ok": True, "msg": msg, **step_defaults.as_payload()}) + + # ================== API：用户管理 CRUD ================== @bp.route("/api/custom_actions")