 butubb
|
ed9e8bacb1
|
feat(AI 建任务): 直接创建 + 草稿沉淀 + MCP de_snapshot；修「建任务页收不到 done」
用户报的"探索完无法点击创建任务"真因：一个 run 的事件原先只有**一条** queue.Queue，
聊天页与建任务页同时开着时两个 EventSource 会**瓜分**它——建任务页的回放卡在中间、
`done` 被聊天页取走 → 永远等不到草稿，页面上自然没有可点的"创建"。
一、修（根因 + 表现）
- `web/agent_api.py` 新增 `_Fanout`：**每个订阅者一个专属队列**，多开页面各看各的，
还带单轮事件缓冲（晚订阅/刷新重连也能补齐回放，终止事件一定送达）。
实测两路订阅者收到完全一致的 1039 条事件（含 done）。
- `static/admin/agent.js`：断线重连的兜底订阅也按 `mode` 让开（此前漏了这一处）。
二、补齐上一批的三项
- **「直接创建」**：`POST /api/agent/task_draft/create`（草稿体只在服务端、创建前再校验一次、
成功后清草稿避免重复建）+ 草稿预览里的「✓ 直接创建任务」按钮 + 「探索完直接创建任务」勾选框。
- **草稿沉淀经验/动作**：designer 轮次也走 `_distill_experience/_distill_actions`，
但**只在草稿通过校验时**（没走通的试错不入库，免得把误点当经验）。
- **MCP `de_snapshot`**（第 20 个工具）：截图+元素树一次取齐（省一次来回、不会因界面在动而错位），
附带 `screen_state`/`unstable`；两套提示词都改为优先用它。
平台侧 `/api/uiauto/snapshot` 随之多返回 `screen_state`。
三、文档
- AI_TASK_GEN §10：§10.3 记两个 bug 的真因与修法、§10.4 三项标完成、§10.5 剩余项。
- AI_CONSOLE（扇出语义、多页面同时看一轮）、API（task_draft/create、snapshot 字段）、
MCP/MCP_DESIGN/staffdeck/README/ARCHITECTURE：工具数 19→20 + de_snapshot 条目。
- backlog：记一条新发现的缺陷——`mcp_server/platform_client._login()` 会把"登录页 200"
当成登录成功（现场进程缺 `MCP_PLATFORM_PASS` 时表现为含糊的 platform_unavailable）。
自测：真机浏览器端到端（勾上"探索完直接创建"）→ 探索 12 步 → 草稿 → 自动建任务成功；
`de_snapshot` 直连真机校验；校验器 21 条用例、扇出单元用例、本地工具契约用例全绿。
自测产生的任务/草稿已全部清理（未碰用户既有数据）。
|
2026-09-14 08:14:11 +08:00 |
|
|
butubb
|
79cdf61ed2
|
feat: 自动认领开关 + 全站按设备名称显示
一、指纹匹配自动认领（可选，默认关）
- 发现设置新增「指纹匹配自动认领」勾选（app_meta: discovery_auto_claim，默认 0）
- 打开后：扫描发现某设备指纹与池中已有记录一致（同一台换了 IP）→ 自动迁移记录到新地址
并同步分组/任务引用，零点击；关闭时维持"识别自动 + 人工点一次确认"
- 默认关的原因：认领会改写分组/任务引用（数据结构变动），交人工确认更稳妥
- 扫描结果与状态行会显示本轮自动认领了几台
二、设备名称在界面上呈现（凡选择/展示设备处都显示名称）
- 新增前端 helper `devText(name, serial)`（base.js）：有名称→「名称 · serial」
- 监控页设备表：名称加粗为主、地址作副行（未命名显示橙色提醒）；任务概况的覆盖设备
chip 也优先显示名称（tooltip 保留完整地址）
- AI 控制台：目标设备下拉、实时画面设备下拉、目标/运行中提示都带名称（serial→name 映射）
- 任务编辑器「指定设备」下拉、分组编辑的设备勾选列表：带名称
- 后端 `/api/devices` 新增 `items`（[{serial,name,model}]，`devices` 保持兼容）；
`/api/agent/devices` 增加 `name` 字段
- MCP `de_list_devices` 返回 `name`，并在工具说明与 Agent 系统提示里要求"汇报用名称、
调工具用 serial"
文档：API.md（items/name/auto_claim + §6.2.1 名称呈现表）、MCP.md（工具返回）
自测（全通过）：自动认领端到端（开开关→扫描→自动迁址 + 名称保留 + 分组/任务引用同步 +
待连接池清理 + 开关默认关且可持久化）；名称显示浏览器验证（监控页/覆盖设备 chip/AI 目标与
观看下拉/任务编辑器/分组弹窗/发现设置开关）；设备指纹与人工认领回归
|
2026-09-11 11:16:24 +08:00 |
|
|
butubb
|
0f75db289d
|
feat: AI 目标设备必选 + 设备任务占用锁——①前端新增「🎯 目标设备」选择器（在线设备含型号，任务运行中的设备禁选），发送必须选定设备，AI 只操作你指定的设备；②/api/agent/run 校验：serial 不在池/离线/任务 running-connecting → 拒绝（409 提示任务名）；③MCP 11 个写工具加 busy 锁（_ensure_device_free，5s 缓存）：任务运行中的设备 AI 一律拒绝，AI 不与任务抢设备（外部 MCP 客户端同样受保护）；④运行状态端点 GET /api/agent/run + 前端 8s 轮询：多人/多窗口能看到运行中任务（发起时间/任务/设备）并可停止（stop 加确认）；未选设备直接 400 引导请选择设备，去掉模型自己乱挑设备的行为
|
2026-09-06 09:32:11 +08:00 |
|
|
butubb
|
44a9dafcd8
|
fix: AI 点击精度优化——①坐标吸附：/api/screen/tap 加 snap=1，MCP de_tap 固定开启（dump UI 树找包含点击点的最小可点击元素点中心，模型坐标偏 20-50px 也点得准，大屏触控不带 snap 行为不变）；②新 de_tap_text 语义点击：按屏幕可见文字一次完成找+点（UI 树 textContains/descriptionContains → OCR 中心兜底，WebView/图片文字也能点）；③de_tap_element 支持 text_contains/desc_contains 模糊匹配；④de_ui_tree 可点击元素优先 + limit 参数防 token 膨胀；⑤agent 提示词重写：文字语义点击优先、坐标仅纯图形兜底且自动吸附、点击后无变化禁止重复同坐标
|
2026-09-04 14:29:17 +08:00 |
|
|
butubb
|
e5018c4e45
|
fix: de_foreground_app fallback mFocusedApp（MIUI 过渡期 mCurrentFocus=null 时前台解析为空）
|
2026-09-04 13:52:34 +08:00 |
|
|
butubb
|
fab7e2b11a
|
feat: MCP 工具补全（9→18）——de_open_app(adb monkey 直启，省 token)/de_stop_app/de_foreground_app/de_type_text(中文直接输入)/de_set_clipboard/de_sleep/de_ocr(屏幕文字识别)/de_list_apps/de_list_tasks；direct_ops 直连封装（adb/u2/OCR/剪贴板轻量通道）
|
2026-09-04 13:48:55 +08:00 |
|
|
butubb
|
5145f83f06
|
feat: AI 控制台增强——①de_read_clipboard 剪贴板回读工具；②任务可中断（stop_event 循环检查点 + API stop + 前端■停止按钮）；③智能滚动（回看历史不被打断，贴底才跟随）；④右侧实时画面（MJPEG 流自动跟随操作设备，可手动选择）
|
2026-09-04 13:32:35 +08:00 |
|
|
butubb
|
02776b12b8
|
feat(M2): 语义层工具 de_ui_tree/de_tap_element——UI 树元素定位点击（text/id/desc，多命中 index），无需坐标更可靠；坐标 tap 保留兜底（WebView/画布元素）
|
2026-09-04 12:52:55 +08:00 |
|
|
butubb
|
7017ff3315
|
feat(M1): 补 de_wake/de_press_key 工具（Agent 熄屏可自唤醒）；修复 MCP SDK v2 input_schema 字段警告
|
2026-09-04 12:50:55 +08:00 |
|
|
butubb
|
d7b6d83cd8
|
feat(M1): MCP 截图坐标空间统一——de_screenshot 附 native_size，de_tap/de_swipe 接受截图坐标由 server 按比例换算原生（模型只感知截图坐标系）
|
2026-09-04 12:47:09 +08:00 |
|
|
butubb
|
2ba9f0c239
|
feat(M0): MCP 手机控制 Server 骨架——FastMCP HTTP 传输（8033），平台登录会话+CSRF 封装，de_list_devices/de_screenshot(图像块)/de_tap/de_swipe，写门控/白名单/审计，实测全链路通过
|
2026-09-04 12:42:16 +08:00 |
|