 butubb
|
ed9e8bacb1
|
feat(AI 建任务): 直接创建 + 草稿沉淀 + MCP de_snapshot；修「建任务页收不到 done」
用户报的"探索完无法点击创建任务"真因：一个 run 的事件原先只有**一条** queue.Queue，
聊天页与建任务页同时开着时两个 EventSource 会**瓜分**它——建任务页的回放卡在中间、
`done` 被聊天页取走 → 永远等不到草稿，页面上自然没有可点的"创建"。
一、修（根因 + 表现）
- `web/agent_api.py` 新增 `_Fanout`：**每个订阅者一个专属队列**，多开页面各看各的，
还带单轮事件缓冲（晚订阅/刷新重连也能补齐回放，终止事件一定送达）。
实测两路订阅者收到完全一致的 1039 条事件（含 done）。
- `static/admin/agent.js`：断线重连的兜底订阅也按 `mode` 让开（此前漏了这一处）。
二、补齐上一批的三项
- **「直接创建」**：`POST /api/agent/task_draft/create`（草稿体只在服务端、创建前再校验一次、
成功后清草稿避免重复建）+ 草稿预览里的「✓ 直接创建任务」按钮 + 「探索完直接创建任务」勾选框。
- **草稿沉淀经验/动作**：designer 轮次也走 `_distill_experience/_distill_actions`，
但**只在草稿通过校验时**（没走通的试错不入库，免得把误点当经验）。
- **MCP `de_snapshot`**（第 20 个工具）：截图+元素树一次取齐（省一次来回、不会因界面在动而错位），
附带 `screen_state`/`unstable`；两套提示词都改为优先用它。
平台侧 `/api/uiauto/snapshot` 随之多返回 `screen_state`。
三、文档
- AI_TASK_GEN §10：§10.3 记两个 bug 的真因与修法、§10.4 三项标完成、§10.5 剩余项。
- AI_CONSOLE（扇出语义、多页面同时看一轮）、API（task_draft/create、snapshot 字段）、
MCP/MCP_DESIGN/staffdeck/README/ARCHITECTURE：工具数 19→20 + de_snapshot 条目。
- backlog：记一条新发现的缺陷——`mcp_server/platform_client._login()` 会把"登录页 200"
当成登录成功（现场进程缺 `MCP_PLATFORM_PASS` 时表现为含糊的 platform_unavailable）。
自测：真机浏览器端到端（勾上"探索完直接创建"）→ 探索 12 步 → 草稿 → 自动建任务成功；
`de_snapshot` 直连真机校验；校验器 21 条用例、扇出单元用例、本地工具契约用例全绿。
自测产生的任务/草稿已全部清理（未碰用户既有数据）。
|
2026-09-14 08:14:11 +08:00 |
|
|
butubb
|
44a9dafcd8
|
fix: AI 点击精度优化——①坐标吸附：/api/screen/tap 加 snap=1，MCP de_tap 固定开启（dump UI 树找包含点击点的最小可点击元素点中心，模型坐标偏 20-50px 也点得准，大屏触控不带 snap 行为不变）；②新 de_tap_text 语义点击：按屏幕可见文字一次完成找+点（UI 树 textContains/descriptionContains → OCR 中心兜底，WebView/图片文字也能点）；③de_tap_element 支持 text_contains/desc_contains 模糊匹配；④de_ui_tree 可点击元素优先 + limit 参数防 token 膨胀；⑤agent 提示词重写：文字语义点击优先、坐标仅纯图形兜底且自动吸附、点击后无变化禁止重复同坐标
|
2026-09-04 14:29:17 +08:00 |
|
|
butubb
|
fab7e2b11a
|
feat: MCP 工具补全（9→18）——de_open_app(adb monkey 直启，省 token)/de_stop_app/de_foreground_app/de_type_text(中文直接输入)/de_set_clipboard/de_sleep/de_ocr(屏幕文字识别)/de_list_apps/de_list_tasks；direct_ops 直连封装（adb/u2/OCR/剪贴板轻量通道）
|
2026-09-04 13:48:55 +08:00 |
|
|
butubb
|
02776b12b8
|
feat(M2): 语义层工具 de_ui_tree/de_tap_element——UI 树元素定位点击（text/id/desc，多命中 index），无需坐标更可靠；坐标 tap 保留兜底（WebView/画布元素）
|
2026-09-04 12:52:55 +08:00 |
|
|
butubb
|
7017ff3315
|
feat(M1): 补 de_wake/de_press_key 工具（Agent 熄屏可自唤醒）；修复 MCP SDK v2 input_schema 字段警告
|
2026-09-04 12:50:55 +08:00 |
|
|
butubb
|
d7b6d83cd8
|
feat(M1): MCP 截图坐标空间统一——de_screenshot 附 native_size，de_tap/de_swipe 接受截图坐标由 server 按比例换算原生（模型只感知截图坐标系）
|
2026-09-04 12:47:09 +08:00 |
|
|
butubb
|
2ba9f0c239
|
feat(M0): MCP 手机控制 Server 骨架——FastMCP HTTP 传输（8033），平台登录会话+CSRF 封装，de_list_devices/de_screenshot(图像块)/de_tap/de_swipe，写门控/白名单/审计，实测全链路通过
|
2026-09-04 12:42:16 +08:00 |
|