 butubb
|
44a9dafcd8
|
fix: AI 点击精度优化——①坐标吸附：/api/screen/tap 加 snap=1，MCP de_tap 固定开启（dump UI 树找包含点击点的最小可点击元素点中心，模型坐标偏 20-50px 也点得准，大屏触控不带 snap 行为不变）；②新 de_tap_text 语义点击：按屏幕可见文字一次完成找+点（UI 树 textContains/descriptionContains → OCR 中心兜底，WebView/图片文字也能点）；③de_tap_element 支持 text_contains/desc_contains 模糊匹配；④de_ui_tree 可点击元素优先 + limit 参数防 token 膨胀；⑤agent 提示词重写：文字语义点击优先、坐标仅纯图形兜底且自动吸附、点击后无变化禁止重复同坐标
|
2026-09-04 14:29:17 +08:00 |
|
|
butubb
|
e5018c4e45
|
fix: de_foreground_app fallback mFocusedApp（MIUI 过渡期 mCurrentFocus=null 时前台解析为空）
|
2026-09-04 13:52:34 +08:00 |
|
|
butubb
|
fab7e2b11a
|
feat: MCP 工具补全（9→18）——de_open_app(adb monkey 直启，省 token)/de_stop_app/de_foreground_app/de_type_text(中文直接输入)/de_set_clipboard/de_sleep/de_ocr(屏幕文字识别)/de_list_apps/de_list_tasks；direct_ops 直连封装（adb/u2/OCR/剪贴板轻量通道）
|
2026-09-04 13:48:55 +08:00 |
|
|
butubb
|
1560a13d86
|
fix: tool_calls 流中断自愈——400 配对错误时移除不完整段重试一次；加消息结构诊断日志
|
2026-09-04 13:43:20 +08:00 |
|
|
butubb
|
c0c1be05f8
|
fix: 经验保存缺 app context（后台线程 db 报错被吞）——register_blueprints 注入 app，线程内 db 操作包 app_context
|
2026-09-04 13:37:33 +08:00 |
|
|
butubb
|
1ada51a7f6
|
feat: 自进化经验记忆——任务成功后用模型把工具序列提炼成「操作配方」存入 agent_experience 表；下次相似任务（bigram 相似度检索 top2）自动注入 system prompt 参考，AI 越用越聪明（同类操作不再摸索）
|
2026-09-04 13:33:30 +08:00 |
|
|
butubb
|
5145f83f06
|
feat: AI 控制台增强——①de_read_clipboard 剪贴板回读工具；②任务可中断（stop_event 循环检查点 + API stop + 前端■停止按钮）；③智能滚动（回看历史不被打断，贴底才跟随）；④右侧实时画面（MJPEG 流自动跟随操作设备，可手动选择）
|
2026-09-04 13:32:35 +08:00 |
|
|
butubb
|
44cab88546
|
fix: Agent 步骤上限优化——max_steps 20→40（多步任务如打开抖音搜索），system prompt 加收敛规范（无进展 6 步主动停止总结），超限时无工具收尾请求让模型给有意义总结（不再机械提示）；web 超时 600→900s
|
2026-09-04 13:23:04 +08:00 |
|
|
butubb
|
ce4e5464b9
|
feat: AI 控制台会话化 + 视觉优化——①多轮对话连续性（后端 history 持久化 12 轮，Agent 注入历史上下文，DeepSeek 式会话：新建会话才清空）；②聊天区改浅色（DeepSeek 风格，图片文字清晰）；③截图点击放大查看
|
2026-09-04 13:18:36 +08:00 |
|
|
butubb
|
e24458a085
|
feat: AI 控制台升级为顶级 Tab——DeepSeek 风格聊天界面（气泡+流式渲染+思考折叠），实时 MCP 步骤卡片（工具/参数/截图缩略），SSE 流式输出（delta/step/done/error 事件），配置模态（模型/Key/设备前端可配）；工具页旧子栏移除
|
2026-09-04 13:09:34 +08:00 |
|
|
butubb
|
25ef7e7746
|
fix: agent_api 同步 dev（事务/_execute 遮蔽/600s 超时）
|
2026-09-04 13:04:44 +08:00 |
|
|
butubb
|
19126d1a59
|
fix: Agent MCP 连接短超时（10s 快速失败）+ web 600s 兜底
|
2026-09-04 12:59:32 +08:00 |
|
|
butubb
|
fea5a57fc3
|
feat(M2): Web AI 控制台——工具页新增子分栏：模型/Key/设备前端可配置（app_meta 存储，key 打码回显），指令执行 + 步骤流轮询（含截图缩略）+ 回答展示；Agent 加 on_step 回调、后台线程单实例运行
|
2026-09-04 12:54:17 +08:00 |
|
|
butubb
|
02776b12b8
|
feat(M2): 语义层工具 de_ui_tree/de_tap_element——UI 树元素定位点击（text/id/desc，多命中 index），无需坐标更可靠；坐标 tap 保留兜底（WebView/画布元素）
|
2026-09-04 12:52:55 +08:00 |
|
|
butubb
|
7017ff3315
|
feat(M1): 补 de_wake/de_press_key 工具（Agent 熄屏可自唤醒）；修复 MCP SDK v2 input_schema 字段警告
|
2026-09-04 12:50:55 +08:00 |
|
|
butubb
|
937a87b36c
|
feat(M1): Agent 编排层（OpenAI 兼容）——DeepSeek 等第三方模型经 MCP 工具控制手机：工具桥转 function schema、截图图像转 image_url 多模态流、工具循环、CLI 入口（mock 验证通过）
|
2026-09-04 12:47:09 +08:00 |
|
|
butubb
|
d7b6d83cd8
|
feat(M1): MCP 截图坐标空间统一——de_screenshot 附 native_size，de_tap/de_swipe 接受截图坐标由 server 按比例换算原生（模型只感知截图坐标系）
|
2026-09-04 12:47:09 +08:00 |
|
|
butubb
|
084ed59ad5
|
feat: 平台新增只读端点 /api/screen/size——返回设备屏幕原生分辨率（u2 window_size），供 MCP 截图坐标换算（截图是缩放图，操作需原生坐标）
|
2026-09-04 12:47:09 +08:00 |
|
|
butubb
|
2ba9f0c239
|
feat(M0): MCP 手机控制 Server 骨架——FastMCP HTTP 传输（8033），平台登录会话+CSRF 封装，de_list_devices/de_screenshot(图像块)/de_tap/de_swipe，写门控/白名单/审计，实测全链路通过
|
2026-09-04 12:42:16 +08:00 |
|
|
butubb
|
c304996c7b
|
docs: MCP 手机控制设计文档——架构（复用平台 REST/core 能力薄封装）、L1感知/L2操作/L3语义三层 tools 规格、图像链路（screenshot→image block）、安全（写门控/白名单/占用互斥/审计）、220 部署与 M0-M3 里程碑
|
2026-09-04 10:29:03 +08:00 |
|
|
butubb
|
441ff7c7da
|
feat: 设备分组移入工具页（原顶级 tab 删除）——工具页新增「设备分组」子分栏，分组管理入口与其他设备工具聚合
v2026.09.04
|
2026-09-04 10:15:44 +08:00 |
|
|
butubb
|
0b6b000b01
|
feat: 剪贴板注入面板只显示在线设备（pool/离线条目无注入意义）；adb 终端面板保留全部供重连
|
2026-09-04 10:12:17 +08:00 |
|
|
butubb
|
d3ccc4a7a8
|
chore: users.db 为运行时数据库（容器实时写入导致 git pull 一直冲突），移除 git 跟踪并加入 .gitignore
|
2026-09-04 00:11:14 +00:00 |
|
|
butubb
|
88f4d09d4c
|
chore: 清理 DataEase 误解压残留；users.db 移除跟踪（运行时数据），.gitignore 忽略 data/ logs/
|
2026-09-04 08:11:05 +08:00 |
|
|
butubb
|
7276cfe585
|
fix: 待连接池后端过滤离线设备——list_pending 只返回当前在线设备（离线候选不可确认），不依赖前端 JS 缓存版本，任何客户端都拿不到离线条目
|
2026-09-04 08:08:52 +08:00 |
|
|
butubb
|
1a74372ad9
|
fix: 任务调度限定设备池——preempt 抢占模式的 all 目标原用 list_online()（含待连接/未入池设备，自动发现验证连上的设备会被任务误跑）；改为设备池内在线设备；group 模式同样过滤未入池设备（serial 模式保留显式指定）
|
2026-09-01 09:07:12 +08:00 |
|
|
butubb
|
22ba9272bd
|
feat: 全站默认只看在线——监控页/大屏/待连接池同步过滤离线设备（可切换查看全部）；18051 main 旧实例已停止（STF 已删，旧代码无保留意义）
|
2026-09-01 08:58:21 +08:00 |
|
|
butubb
|
ac7997176d
|
feat: 设备池默认只看在线——离线旧条目（IP 已变的幽灵设备）默认隐藏，在线优先排序；「只看在线」开关可切换查看全部（含离线/停用）
|
2026-09-01 08:54:06 +08:00 |
|
|
butubb
|
b9fab1999d
|
fix: 自动发现按钮引号转义语法错误——onclick 内嵌单引号拼接在生成时丢一层转义（Unexpected string 导致整个 tools.js 不执行，设备池/发现全不渲染）；改为 dataset 传参彻底绕开嵌套引号
|
2026-08-31 15:38:33 +08:00 |
|
|
butubb
|
4efe17c1c9
|
feat: 设备自动发现——定时扫描局域网+Tailscale 网段开放 adb 5555 的设备进入待连接池，用户确认后才加入正式设备池（不自动连接）；socket 并发探测+adb 短超时验证（state=device 过滤 unauthorized），配置存 app_meta 可前端调整；配套：adb_connect_light 验证短超时、DISABLE_SCHEDULER 回归开关
|
2026-08-30 10:57:07 +08:00 |
|
|
butubb
|
1e39f5490a
|
fix: 大屏触控优化——①点击错位：ctrl-img object-fit:contain 时图片绘制区小于盒子（居中黑边），坐标换算改为按实际绘制区域，黑边点击忽略；②滑动卡顿：tap/swipe/key/text 每次 u2.connect 重建连接（1-3s 握手），加 60s 连接缓存，失败自动清缓存重建（实测点击 2.97s→1.13s）
|
2026-08-20 13:22:21 +08:00 |
|
|
butubb
|
31a2ae911e
|
fix: uiautodev 自动启动失败 name sys is not defined——_ensure_uiauto_running 用 sys.platform 但 web_server.py 未 import sys；补 import，元素抓取/动作编辑器设备列表恢复
|
2026-08-20 11:09:25 +08:00 |
|
|
butubb
|
90ca2c2100
|
fix: 任务动作编辑器剪贴板注入改用 ClipInject 通道——u2 set_clipboard 在 Android 10+ 静默失效（粘贴模式必抛 UiAutomationError）；提取 core/clipboard_helper 公共模块供工具页与任务执行端共用，粘贴模式 atx-agent pasteClipboard + set_text 兜底
|
2026-08-20 10:51:54 +08:00 |
|
|
butubb
|
2a3c748964
|
fix: 工具页剪贴板注入无反应——injectClipboard 函数在阶段3清理时被误删，点击按钮 JS 报错；补全函数（校验→ClipInject 通道 API→逐台结果表+toast 汇总），帮助文案同步更新
|
2026-08-20 10:40:49 +08:00 |
|
|
butubb
|
5d637bd4f5
|
fix: 剪贴板注入改用 ClipInject 通道——u2.set_clipboard 在 Android 10+ 被系统静默丢弃（atx-agent 后台身份写剪贴板受限），改为 am start 透明 Activity（shell 身份启动不受后台限制），注入后 u2 读回比对验证，未装 APK 明确报错
|
2026-08-20 10:34:53 +08:00 |
|
|
butubb
|
81a99e007b
|
feat: 启动时后台并发预连接设备池——adb server 重启后设备全掉线，adb 命令排队卡几分钟；预连接（并发 connect IP:5555）把恢复时间降到秒级
|
2026-08-20 09:33:24 +08:00 |
|
|
butubb
|
f78955f119
|
fix: start.sh 增加 cv2 空壳兜底——pip 24.0 解压 abi3 wheel 偶发丢根文件（cv2.abi3.so/__init__.py 缺失致 OCR 全挂），检测后 pip download + zipfile 手动解压（幂等）
|
2026-08-20 08:51:02 +08:00 |
|
|
butubb
|
27530ff5ac
|
fix: 手动执行不再受运行窗口限制（窗口只约束定时触发）——立即执行按钮在窗口外也可触发任务
|
2026-08-20 08:36:29 +08:00 |
|
|
butubb
|
0fab6f4de8
|
fix: opencv-python-headless 锁 4.x——清华源 5.0.0.93 wheel 打包异常（site-packages 无 cv2 模块），OCR 仍不可用
|
2026-08-19 16:23:36 +08:00 |
|
|
butubb
|
5de87465bc
|
fix: start.sh 修复顺序——rapidocr 依赖声明 opencv-python 会被 pip 强制装回 GUI 版，uninstall 必须在 pip install 之后最后执行
|
2026-08-19 16:17:28 +08:00 |
|
|
butubb
|
b33ff17c26
|
feat: 容器启动脚本 scripts/start.sh——幂等卸载 opencv-python（GUI 版缺 X11 库致 OCR 崩）并装 headless，compose 指向本脚本后环境修复全走 git
|
2026-08-19 16:14:15 +08:00 |
|
|
butubb
|
c0667c5959
|
fix: 容器环境 OCR 不可用——opencv-python 依赖 X11（libxcb）在 slim 容器 import 崩溃致条件判断 OCR 步骤任务退出，改为 opencv-python-headless（本地 Mac 不受影响）
|
2026-08-19 16:11:20 +08:00 |
|
|
butubb
|
d0cb531c20
|
fix: 未登录访问 500——login_view 蓝图化后未更新为 auth.login，flask_login 重定向 url_for('login') BuildError
|
2026-08-19 16:02:47 +08:00 |
|
|
butubb
|
42c2820180
|
docs: requirements 注释清理（STF 时代描述 → 当前架构）
|
2026-08-19 15:51:57 +08:00 |
|
|
butubb
|
a9720e8b81
|
fix: 抢占归还丢失——preempted_job 在重试循环内被重置为 None，关键字任务一旦重试（attempt≥2）被抢占的养号任务永不恢复；提升到循环外+已有值不覆盖+归还时被抢占任务停用/删除也打日志
|
2026-08-19 15:46:18 +08:00 |
|
|
butubb
|
e0c3373dd1
|
feat: 全量路由回归测试脚本 scripts/regression_test.py（GET 全量 + 写操作空 body 探测抓 import 遗漏 + 关键业务 POST，500=缺陷 502/503=业务提示）+ fix: clear_all_worker_errors 缺导入（回归脚本首跑即抓到）
|
2026-08-19 15:24:11 +08:00 |
|
|
butubb
|
2adc54b512
|
fix: adb 相关功能全挂——tools_api 缺 ADB_PATH/_ADB_BLOCKED_PATTERNS 导入（模块拆分遗漏），应用版本/adb终端/剪贴板恢复，全量 28 个 GET 路由回归通过
|
2026-08-19 15:12:42 +08:00 |
|
|
butubb
|
a0916ebda2
|
fix: 抓取元素回填垃圾选择器——无属性元素生成 //*[N]（匹配任意节点点不到），改为 invalid 标记前端提示不可选；结构路径跳过无 class 层消除 //*[N] 前缀污染；模块拆分遗漏修复（get_all_worker_status/list_installed_apps 致 summary/设备已装应用 500）
|
2026-08-19 15:10:26 +08:00 |
|
|
butubb
|
265e47a1f4
|
fix: 测试此步骤弹窗全链路修复——closeTestModal 恢复（阶段3误删导致关不掉）、test-overlay 层级 1200（高于编辑器/元素抓取弹窗）、tasks_api 补 _log（后端500）、GenericStepsWorker 旧签名调用修复（测试执行失败）
|
2026-08-19 15:00:27 +08:00 |
|
|
butubb
|
ce47a5b83d
|
refactor: web_server 模块化拆分（web/ 蓝图包 auth/monitor/tasks/admin/tools/devices/apks/tailscale + context/common，web_server 1796→193 行仅留装配与启动）+ 大屏优化（网格 5s 轮询、弹窗独占缩略图、流支持 q/fps）+ 三修复（MIUI 屏幕状态检测改 dumpsys power、补 ADB_PATH 导入修复一键亮屏、renderGrid 增量渲染不重载缩略图）
|
2026-08-19 14:55:29 +08:00 |
|