butubb/auto_control
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
248 Commits 2 Branches 6 Tags
dev
Commit Graph
248 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
butubb 91b2785c6b feat: 动作库查看/管理（接口 + AI 控制台「🎬 动作库」面板）+ 未沉淀灰卡提示 
- 后端：GET /api/agent/actions（列表）、POST /api/agent/actions/delete、
  POST /api/agent/actions/save（新增/编辑，steps 走 _sanitize_actions 校验：
  type 白名单 + 必填 + **拒绝坐标 click_xy**），均 @admin_required
- 前端：AI 控制台右上角新增「🎬 动作库」按钮与模态框——列出 名称/app/别名/
  步骤摘要(含元素定位)/命中次数/更新时间；支持编辑(表单 + steps JSON)、删除、
  手动新建；保存失败(如写坐标)即时 toast 原因
- 未沉淀提示：本轮无可沉淀动作时也推送一张 🧠 动作经验 灰卡
  「本轮未沉淀动作（步骤以坐标定位为主，缺少可复用的元素定位信息）」
- doc/API.md：登记三个新接口
实测：列表返回自动沉淀的动作；保存合法动作 200；提交 click_xy 步骤被 400 拒绝；
删除生效
 2026-09-10 13:58:38 +08:00
butubb 104964aa53 feat: 动作经验库(agent_action)——成功步骤蒸馏命名动作(带元素定位/禁坐标)+ 执行前召回注入 
- 新表 agent_action(name/app/aliases/params/steps/preconditions/hits/时间)，
  独立于人工维护的 custom_action(2B 决策)：AI 自学动作不污染手建动作
- 沉淀：任务成功后从**成功**工具轨迹(_ACTION_TOOLS: open_app/tap_text/tap_element/
  type_text/clipboard/swipe/press_key/wake/sleep)用模型蒸馏为命名动作；steps 用
  编辑器 schema，**必须元素定位**(xpath/text/resourceId/description…)，
  **显式剔除 click_xy 等坐标类**；on_tool 记录带 result 的结构化轨迹以判成败
- 兼容模型形状漂移：顶层 {action,params} 自动归一为 {name,steps}；宽容 JSON 解析
  (围栏/尾逗号/中文引号/坏对象逐条抢救)，实测模型常返回带语法错误的 JSON
- 召回：执行前按动作名/别名命中(或相似度≥0.34)取 top3，注入 system prompt
  「可复用动作」段(含元素定位)，模型可跳过重新探索；hits 回写
- 文档同步：ARCHITECTURE §3.6(agent_action 表)、API.md(🧠 动作经验 伪卡片 + 动作库
  说明)、AI_TASK_GEN P1(沉淀进展)
实测：跑「打开抖音，点搜索」→ 沉淀「打开抖音」；下一轮同指令命中并注入；日志
「命中可复用动作 1 个」「动作提炼: 轨迹 5 步, 成功可沉淀 1 步」「动作经验已保存 1 条」
 2026-09-10 13:53:04 +08:00
butubb 4e71f79a10 fix: 经验库命中数算错(单条恒显示 0)+ 蒸馏前缀误杀 + 命中卡片带摘要 
- _find_experiences 改为返回 (注入文本, 命中配方列表)：此前卡片用
  exp_ctx.count('\n- ') 计数，单条恒为 0、两条为 1(永远少 1)，用户看到
  「命中 0 条」误判为没参考；现用 len(列表) 得真实条数并附配方摘要
- 新增 _clean_recipe()：清洗模型可能加的「操作配方：」前缀，替换旧判定
  "配方" not in recipe[:50]——该判定与蒸馏提示词(要求以「操作配方」作答)
  自相矛盾，模型照做即被整条丢弃(静默)，是经验存不下来的主因
- doc/API.md：SSE step 说明补 🧠 伪卡片语义(N 为实际条数 + 摘要)
实测：同一指令由「命中 0 条」变为「命中 1 条同类历史经验，已注入参考：<摘要>」
 2026-09-10 13:41:10 +08:00
butubb 19560aba3e docs: 数字员工知识库升级到平台同级——补操作纪律/状态检查/SOP 
- KNOWLEDGE_BASE.md 重写：§0 快速开始；§5 操作纪律(与内置 AI 控制台等价的 10 条：
  先看设备/先看屏/定位三段优先级/吸附验证/输入两拍/每步验证/无变化不重点/如实汇报/
  效率/连续 6 步无进展停止)；§6 开跑前状态检查 7 项(含「屏幕是否点亮/解锁」：
  用 screen_state+画面判断，黑屏先 de_wake 再重截，未确认亮屏不许点按)；§7 执行中
  状态判据(息屏/锁屏、页面到位判据表、加载抖动、幂等重放注意)；§8 SOP 五阶段+闸门
  (P0 澄清→P1 预检→P2 到起点→P3 观察-行动-验证循环→P4 收尾还原→P5 固定汇报口径)
  含卡住判定表(2 步换策略/6 步停)；§9 异常处置速查；§10 效率预算
- JOB_SPEC.md §4 SOP 改为指向知识库 §5-§8 + 五阶段概览，两份不打架
 2026-09-10 13:41:06 +08:00
butubb 357fe98e22 fix: AI 控制台 MCP 不可达给出明确文案——不再显示 SDK 含糊报错 
MCP 客户端(streamable_http)在工具服务不可达/返回非 MCP 响应时只抛
'Server returned an error response'，用户无法判断原因。改为：
- 后端 web/agent_api.py:_execute 包裹 _load_tools/run_stream，识别连接类错误
  (Server returned an error response/ConnectError/refused 等)后抛明确文案：
  'MCP server(8033) 不可达：无法加载设备工具(<url>)。请确认 MCP server 已启动…'
- 前端 static/admin/agent.js 加 _friendlyAgentError() 兜底映射并去掉
  'RuntimeError:' 之类前缀，三处错误展示统一使用
- 文档同步：MCP.md(依赖提示+本机启动命令)、API.md(SSE error 文案说明)、
  DEPLOY.md(故障排查新增一行)
实测：停掉 MCP 复现 → 前端显示明确文案；启动 MCP 后 AI 控制台正常完成任务
 2026-09-10 10:28:57 +08:00
butubb 4e67764589 docs: 新增 StaffDeck 数字员工知识库与岗位说明 
- doc/staffdeck/KNOWLEDGE_BASE.md:接入方式(MCP http://<host>:8033/mcp 首选/REST 备选)、服务端配置项、19 个 de_* 工具清单(读写分类)、通用约定(serial/坐标空间/busy 占用锁/错误码)、推荐操作模式与常见配方、红线、当前边界
- doc/staffdeck/JOB_SPEC.md:岗位描述、看板摘要(指标口径+文本/JSON 汇报模板)、岗位执行约束(L0-L3 授权分级/硬红线/操作规范/失败重试/审计)、SOP 工作流、应拒绝与转人工清单
- doc/DEVELOPMENT.md:§7 文档索引与 §5.6 同步映射登记这两份
 2026-09-10 10:28:53 +08:00
butubb fd829a6063 docs: doc/ 全量同步 dev 现状——API 目录补全(AI 控制台/系统备份/自动发现等)、去 STF 过时口径、补 generic_steps 与配置键速查；确立「功能/配置改动须同步文档」红线 
- doc/API.md:补方法/路径标题,权限分层修正,新增 AI 控制台(/api/agent/*)、系统备份(/api/system/backup/*)、设备自动发现(/api/devices/discovery/*)、tap_text/summary/health/devices-apps 等整节端点,去 STF 残留
- doc/TASK_DEV.md:STF 时代描述清理;新增 §2.10 generic_steps(18 节点与必填/嵌套/静默跳过语义)、§2.11 自定义动作与单步测试、/api/jobs 盲存校验语义、resolve_serials/抢占语义、模板构造函数签名修正
- doc/DEPLOY.md:数据备份改为推荐「系统→数据备份」功能并说明重启生效目录,端口表 STF7100→MCP8033,补 start.sh 生产链路与 MCP_PLATFORM_PASS 同步,故障排查去 STF
- doc/MCP.md:加「现状边界」(平台级任务 CRUD 未 MCP 化,规划见 AI_TASK_GEN §9),busy/平台会话说明,MCP_ALLOWED_SERIALS 语义纠正
- doc/MCP_DESIGN.md:加实现现状对照、错误码、独立容器改演进备选、里程碑状态、API 映射表按实现重写
- doc/ARCHITECTURE.md:Tab/子分栏/线程模型/数据表/蓝图表去 STF,补 device_discovery/agent/system_backup/经验巡检等
- doc/DEVELOPMENT.md:新增 §5.6「改动必须同步文档」红线、§2.3 配置键速查、蓝图化新增 API 流程、文档索引补登记
- doc/STF_REMOVAL.md:加历史记录状态横幅
- doc/AI_TASK_GEN.md:新增 AI 建任务设计稿(含 §9 需转 MCP 工具分层)
 2026-09-09 16:05:56 +08:00
butubb 470c76221e feat: 顶栏新增「系统」栏目——数据备份导出/导入恢复子分栏（仅管理员） 
monitor.html：导航 .tabs 追加「系统」(data-perm=admin) + #tab-system 面板，
内含「数据备份 / 导入恢复」两个子分栏；base.js _activeSubs 记忆子分栏并在
showTab 里切回；system.js：导出（含 APK 勾选→zip 下载）、导入（选文件→
校验预览：文件/schema/表行数/告警→确认应用，原生 confirm），全程含
「全量快照含密钥」警告与重启生效提示。
 2026-09-09 14:49:40 +08:00
butubb 55b1b74944 feat: 系统数据备份导出/导入后端——sqlite 在线快照 + apk 打包导出；上传校验预览→应用（自动快照当前库）+ 重启生效 
导出：sqlite3 在线备份 API 对 data/users.db 做一致快照 → zip（users.db +
manifest.json：schema_version/逐表行数/apk 清单）+ 可选 data/apks/*.apk。
导出文件读入内存(BytesIO)发送后即删磁盘副本，避免 Windows 流式句柄锁残留。
导入：上传 zip/db → 暂存校验（integrity + 必需表 app_meta/user/task_job/
device_group + schema 版本提示）→ 确认应用：先自动快照当前库到
data/backups/pre_restore_*.db，再把备份落到 data/restore_pending/，由
web_server.py 在 init_db 之前 consume 换库——TaskManager 启动时才读库入内存、
Windows 不能热替换正被持有的库文件，故导入必须重启生效。

新增 web/system_api.py（export/preview/apply，全 @admin_required）与目录常量
BACKUP_DIR/RESTORE_STAGING_DIR/RESTORE_PENDING_DIR；.gitignore 排除运行产物。
 2026-09-09 14:49:40 +08:00
butubb 65bab7e25c fix: schema 迁移幂等兜底——create_all 已建列而 schema_version 未记录时重复 ALTER 报 duplicate column，遇错回滚并照记版本自愈 
典型场景：create_all 已按当前模型把列/表直接建好（如 perms、device.model），
而 schema_version 又因历史中断没记录，导致每次启动重复 ALTER 报错。
duplicate column name 说明列已存在=迁移目标已达成：回滚本次语句后仍记录
版本号，一次启动即自愈；其它异常才中止本批迁移。
0909_mcp 		2026-09-09 14:16:15 +08:00
butubb 4c0572f73c fix: 设备自动发现本机IP枚举——git-bash hostname -I 报错炸线程，改 bytes 接收 + getaddrinfo 兜底 
Windows 上 git-bash 的 coreutils hostname 不支持 -I，会把 GBK 报错写进
stderr；text=True 在 subprocess 后台读线程里 utf-8 严格解码会直接炸线程
（主线程 try/except 接不住异步线程异常）。抽 _local_ips()：优先 hostname -I
且用 bytes 接收 errors=ignore 解码，不支持/失败时 getaddrinfo 枚举兜底。
扫描网段展开时剔除本机自身 IP，避免探测到自己 5555。
 2026-09-09 14:16:13 +08:00
butubb caa646e89c fix: 会话落库/加载缺 app context——后台线程 db 操作必须包 _flask_app.app_context()（历史加载与完成写回两处），否则静默失败（消息不落库、标题不生成） 2026-09-06 15:14:30 +08:00
butubb a77635c925 feat: AI 控制台历史会话（DeepSeek 式）——①agent_conversation 表：会话持久化（单表 JSON 消息），一轮 run 完成后 user/assistant 自动落库、新会话以首条消息作标题；②会话 API：列表/新建/详情/删除/重命名；③run 绑定 conversation_id：history 从会话加载（多轮上下文延续）、完成写回；④前端三栏布局：左侧会话栏（新建/列表/高亮/悬停删除/轮数时间）+ 聊天 + 实时画面，切换会话即切换上下文，刷新后自动恢复当前会话与消息 2026-09-06 15:12:56 +08:00
butubb 9b8ecd63f7 fix: AI 控制台切页/刷新不丢——①EventSource onerror 不再误 endRun（断网/后台节流/瞬时抖动都会触发 onerror 而后端任务仍在跑；EventSource 自动重连 + 服务端队列保留积压事件，重连后补发，连接彻底关闭才提示可刷新恢复）；②页面刷新恢复：GET /api/agent/run 增加 run_id/answer/error/history，前端 restoreAgentView 渲染历史轮次、running 时自动重订阅事件流、done/error 展示结果——切走再回来任务与对话都在 2026-09-06 09:41:02 +08:00
butubb 0f75db289d feat: AI 目标设备必选 + 设备任务占用锁——①前端新增「🎯 目标设备」选择器（在线设备含型号，任务运行中的设备禁选），发送必须选定设备，AI 只操作你指定的设备；②/api/agent/run 校验：serial 不在池/离线/任务 running-connecting → 拒绝（409 提示任务名）；③MCP 11 个写工具加 busy 锁（_ensure_device_free，5s 缓存）：任务运行中的设备 AI 一律拒绝，AI 不与任务抢设备（外部 MCP 客户端同样受保护）；④运行状态端点 GET /api/agent/run + 前端 8s 轮询：多人/多窗口能看到运行中任务（发起时间/任务/设备）并可停止（stop 加确认）；未选设备直接 400 引导请选择设备，去掉模型自己乱挑设备的行为 2026-09-06 09:32:11 +08:00
butubb 850d2e2e66 feat: 最大执行步骤可配置——AI 控制台 ⚙ 配置弹窗新增「最大执行步骤」输入（1-200，默认 40），存 app_meta（agent_max_steps），Agent 线程运行时覆盖 agent.s.max_steps；此前仅环境变量 AGENT_MAX_STEPS 可改 2026-09-06 09:26:53 +08:00
butubb f7aa71cca4 fix: AI 控制台实时画面跟随 AI 所选设备——后端 step 事件 args 原为 str() 的 Python repr（单引号），前端 JSON.parse 失败导致 followSerialFromArgs 从未生效；改为保留对象序列化，前端兼容对象/字符串并修 step 卡片 args 展示（避免 [object Object]） 2026-09-06 09:21:03 +08:00
butubb edfd529c59 feat: 正式池断联设备自动重连——①扫描线程每轮顺带对断联的网络设备 adb_connect_light（幂等，连上即恢复，无需人工；此前只有启动时预连接一次，断联后不会自己回来）；②断联设备不删不进待连接池（pending 语义=未授权新设备），GET discovery 返回 pool_offline（serial/型号/备注）；③POST /api/devices/discovery/reconnect 手动立即重连；④发现面板加「设备池断联设备」区块（自动重连中 + 立即重连按钮） 2026-09-05 09:58:42 +08:00
butubb 4865ed1d31 fix: 依赖守卫补 fastmcp——漏检导致 fastmcp 缺失时跳过安装，MCP server 持续启动失败 2026-09-04 16:30:55 +08:00
butubb b4513e78eb fix: fastmcp 加入主 requirements——MCP server 已由 start.sh 常驻启动（AI 控制台依赖），compose 全新重建容器时主依赖缺失导致 MCP 启动失败 2026-09-04 16:26:17 +08:00
butubb 4863b9fbbe fix: cv2 空壳修复改 pip --force-reinstall——手动 wheel 解压兜底在部分环境修不好（解压后 import cv2 仍无 __version__，OCR 持续不可用）；force-reinstall 已在 220 实测恢复 cv2 4.14.0 2026-09-04 16:25:24 +08:00
butubb 7fd77fa33c fix: 容器启动幂等——依赖安装段移入 start.sh 并加「就绪即跳过」守卫（flask/u2/rapidocr/cv2 全部可用则秒级启动）；配合 220 compose 去掉 command 里的 pip 段，消除每次容器重启重装 opencv 5.0(73MB) 并破坏 cv2 的崩溃循环帮凶 2026-09-04 16:23:17 +08:00
butubb fbd01a056c fix: 经验巡检评审失败重试——模型偶发输出解释文字不带 JSON（实测 4/11 条评审失败自动保留），失败后重试一次并强调只输出 JSON；仍失败才保守保留 2026-09-04 16:19:23 +08:00
butubb 04d07b2c62 fix: uiautodev 残留进程清理防误杀——容器重启后 PID namespace 重建、残留 uiauto.pid 的 PID 值会被 MCP/其它进程复用，原逻辑直接 os.kill 可能 SIGTERM 杀掉同容器的 MCP server（观察到 web 容器 12s 崩溃循环）；改为 kill 前校验 /proc/<pid>/cmdline 含 uiautodev 2026-09-04 16:15:54 +08:00
butubb 5681989194 feat: 经验库每日 AI 巡检 + 管理面板——①experience_audit 表：逐条评审（具体可执行/无过时坐标/非对话续语/配方与序列一致 checklist），keep 直接归档、delete 标 pending 待人工，绝不自动删；人工 kept 后不再重复建议；②web_server 注册每日 03:47 巡检 job（Asia/Shanghai）；③API：经验列表（含巡检建议）/确认删除/保留/手动触发巡检；④AI 控制台右上角「🧠 经验库」面板：经验卡片 + 建议徽章与理由 + 删除（confirm）/保留按钮 2026-09-04 15:53:08 +08:00
butubb c078e282ed docs: 新增 MCP 使用手册（doc/MCP.md）——19 个 de_* 工具全清单（参数/用途/推荐用法）、坐标空间与自动吸附约定、配置环境变量表、推荐操作模式（文字语义点击优先→元素→坐标兜底）、安全与审计说明、fastmcp 客户端示例；与 MCP_DESIGN.md 设计稿互链 2026-09-04 15:46:14 +08:00
butubb 9c700292c3 fix: 经验入库质量门槛——①对话续语/质疑/纠错轮次不再存为经验（prompt 过短、继续/还有等续语开头、你确定/还没有/不是吧等质疑词、无任务动词的疑问短句→弃），被用户纠正的失败轮次入库会教坏后续任务；②配方含不存在的 de_* 工具弃存（蒸馏模型编造 de_input 之类）；③检索命中 hits 回写 +1，高频有效经验浮前 2026-09-04 15:43:21 +08:00
butubb 729f40893e feat: 经验写入即时提示——提炼+保存挪到 done 事件之前（原在 done 后执行、SSE 已关流，用户看不到），成功后推 🧠 经验记忆 step 卡片「已写入记忆库，下次相似任务自动参考」；_save_experience 返回成功与否；蒸馏超时 60s→25s 防收尾拖沓 2026-09-04 15:12:55 +08:00
butubb bdaaea3e6c fix: MCP server 固化进 start.sh 容器启动链——之前手动 docker exec 拉起、容器重启即丢（AI 控制台 agent 依赖 8033）；MCP_ENABLED=0 可关，账号密码可经环境变量覆盖 2026-09-04 14:38:01 +08:00
butubb 4fad0b1198 fix: tap_text UI 树命中路径——u2 3.x 的 el.bounds 是方法不是属性，取 bounds 抛 TypeError 被吞导致永远走 OCR 兜底；改兼容写法 2026-09-04 14:36:34 +08:00
butubb 4d4f0ae666 fix: OCR 文字点击落点精度——命中文本块较长时（一行含多段文字）按关键词在文本中的位置比例估算 x，避免点整块中心偏离关键词（tap_text 与任务 OCR 条件共用受益） 2026-09-04 14:33:28 +08:00
butubb 44a9dafcd8 fix: AI 点击精度优化——①坐标吸附：/api/screen/tap 加 snap=1，MCP de_tap 固定开启（dump UI 树找包含点击点的最小可点击元素点中心，模型坐标偏 20-50px 也点得准，大屏触控不带 snap 行为不变）；②新 de_tap_text 语义点击：按屏幕可见文字一次完成找+点（UI 树 textContains/descriptionContains → OCR 中心兜底，WebView/图片文字也能点）；③de_tap_element 支持 text_contains/desc_contains 模糊匹配；④de_ui_tree 可点击元素优先 + limit 参数防 token 膨胀；⑤agent 提示词重写：文字语义点击优先、坐标仅纯图形兜底且自动吸附、点击后无变化禁止重复同坐标 2026-09-04 14:29:17 +08:00
butubb e5018c4e45 fix: de_foreground_app fallback mFocusedApp（MIUI 过渡期 mCurrentFocus=null 时前台解析为空） 2026-09-04 13:52:34 +08:00
butubb fab7e2b11a feat: MCP 工具补全（9→18）——de_open_app(adb monkey 直启，省 token)/de_stop_app/de_foreground_app/de_type_text(中文直接输入)/de_set_clipboard/de_sleep/de_ocr(屏幕文字识别)/de_list_apps/de_list_tasks；direct_ops 直连封装（adb/u2/OCR/剪贴板轻量通道） 2026-09-04 13:48:55 +08:00
butubb 1560a13d86 fix: tool_calls 流中断自愈——400 配对错误时移除不完整段重试一次；加消息结构诊断日志 2026-09-04 13:43:20 +08:00
butubb c0c1be05f8 fix: 经验保存缺 app context（后台线程 db 报错被吞）——register_blueprints 注入 app，线程内 db 操作包 app_context 2026-09-04 13:37:33 +08:00
butubb 1ada51a7f6 feat: 自进化经验记忆——任务成功后用模型把工具序列提炼成「操作配方」存入 agent_experience 表；下次相似任务（bigram 相似度检索 top2）自动注入 system prompt 参考，AI 越用越聪明（同类操作不再摸索） 2026-09-04 13:33:30 +08:00
butubb 5145f83f06 feat: AI 控制台增强——①de_read_clipboard 剪贴板回读工具；②任务可中断（stop_event 循环检查点 + API stop + 前端■停止按钮）；③智能滚动（回看历史不被打断，贴底才跟随）；④右侧实时画面（MJPEG 流自动跟随操作设备，可手动选择） 2026-09-04 13:32:35 +08:00
butubb 44cab88546 fix: Agent 步骤上限优化——max_steps 20→40（多步任务如打开抖音搜索），system prompt 加收敛规范（无进展 6 步主动停止总结），超限时无工具收尾请求让模型给有意义总结（不再机械提示）；web 超时 600→900s 2026-09-04 13:23:04 +08:00
butubb ce4e5464b9 feat: AI 控制台会话化 + 视觉优化——①多轮对话连续性（后端 history 持久化 12 轮，Agent 注入历史上下文，DeepSeek 式会话：新建会话才清空）；②聊天区改浅色（DeepSeek 风格，图片文字清晰）；③截图点击放大查看 2026-09-04 13:18:36 +08:00
butubb e24458a085 feat: AI 控制台升级为顶级 Tab——DeepSeek 风格聊天界面（气泡+流式渲染+思考折叠），实时 MCP 步骤卡片（工具/参数/截图缩略），SSE 流式输出（delta/step/done/error 事件），配置模态（模型/Key/设备前端可配）；工具页旧子栏移除 2026-09-04 13:09:34 +08:00
butubb 25ef7e7746 fix: agent_api 同步 dev（事务/_execute 遮蔽/600s 超时） 2026-09-04 13:04:44 +08:00
butubb 19126d1a59 fix: Agent MCP 连接短超时（10s 快速失败）+ web 600s 兜底 2026-09-04 12:59:32 +08:00
butubb fea5a57fc3 feat(M2): Web AI 控制台——工具页新增子分栏：模型/Key/设备前端可配置（app_meta 存储，key 打码回显），指令执行 + 步骤流轮询（含截图缩略）+ 回答展示；Agent 加 on_step 回调、后台线程单实例运行 2026-09-04 12:54:17 +08:00
butubb 02776b12b8 feat(M2): 语义层工具 de_ui_tree/de_tap_element——UI 树元素定位点击（text/id/desc，多命中 index），无需坐标更可靠；坐标 tap 保留兜底（WebView/画布元素） 2026-09-04 12:52:55 +08:00
butubb 7017ff3315 feat(M1): 补 de_wake/de_press_key 工具（Agent 熄屏可自唤醒）；修复 MCP SDK v2 input_schema 字段警告 2026-09-04 12:50:55 +08:00
butubb 937a87b36c feat(M1): Agent 编排层（OpenAI 兼容）——DeepSeek 等第三方模型经 MCP 工具控制手机：工具桥转 function schema、截图图像转 image_url 多模态流、工具循环、CLI 入口（mock 验证通过） 2026-09-04 12:47:09 +08:00
butubb d7b6d83cd8 feat(M1): MCP 截图坐标空间统一——de_screenshot 附 native_size，de_tap/de_swipe 接受截图坐标由 server 按比例换算原生（模型只感知截图坐标系） 2026-09-04 12:47:09 +08:00
butubb 084ed59ad5 feat: 平台新增只读端点 /api/screen/size——返回设备屏幕原生分辨率（u2 window_size），供 MCP 截图坐标换算（截图是缩放图，操作需原生坐标） 2026-09-04 12:47:09 +08:00
butubb 2ba9f0c239 feat(M0): MCP 手机控制 Server 骨架——FastMCP HTTP 传输（8033），平台登录会话+CSRF 封装，de_list_devices/de_screenshot(图像块)/de_tap/de_swipe，写门控/白名单/审计，实测全链路通过 2026-09-04 12:42:16 +08:00