butubb/auto_control
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
147 Commits 2 Branches 6 Tags
104964aa536fc919214e0d44fb65779f18b50db8
Commit Graph
100 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
butubb 104964aa53 feat: 动作经验库(agent_action)——成功步骤蒸馏命名动作(带元素定位/禁坐标)+ 执行前召回注入 
- 新表 agent_action(name/app/aliases/params/steps/preconditions/hits/时间)，
  独立于人工维护的 custom_action(2B 决策)：AI 自学动作不污染手建动作
- 沉淀：任务成功后从**成功**工具轨迹(_ACTION_TOOLS: open_app/tap_text/tap_element/
  type_text/clipboard/swipe/press_key/wake/sleep)用模型蒸馏为命名动作；steps 用
  编辑器 schema，**必须元素定位**(xpath/text/resourceId/description…)，
  **显式剔除 click_xy 等坐标类**；on_tool 记录带 result 的结构化轨迹以判成败
- 兼容模型形状漂移：顶层 {action,params} 自动归一为 {name,steps}；宽容 JSON 解析
  (围栏/尾逗号/中文引号/坏对象逐条抢救)，实测模型常返回带语法错误的 JSON
- 召回：执行前按动作名/别名命中(或相似度≥0.34)取 top3，注入 system prompt
  「可复用动作」段(含元素定位)，模型可跳过重新探索；hits 回写
- 文档同步：ARCHITECTURE §3.6(agent_action 表)、API.md(🧠 动作经验 伪卡片 + 动作库
  说明)、AI_TASK_GEN P1(沉淀进展)
实测：跑「打开抖音，点搜索」→ 沉淀「打开抖音」；下一轮同指令命中并注入；日志
「命中可复用动作 1 个」「动作提炼: 轨迹 5 步, 成功可沉淀 1 步」「动作经验已保存 1 条」
 2026-09-10 13:53:04 +08:00
butubb 4e71f79a10 fix: 经验库命中数算错(单条恒显示 0)+ 蒸馏前缀误杀 + 命中卡片带摘要 
- _find_experiences 改为返回 (注入文本, 命中配方列表)：此前卡片用
  exp_ctx.count('\n- ') 计数，单条恒为 0、两条为 1(永远少 1)，用户看到
  「命中 0 条」误判为没参考；现用 len(列表) 得真实条数并附配方摘要
- 新增 _clean_recipe()：清洗模型可能加的「操作配方：」前缀，替换旧判定
  "配方" not in recipe[:50]——该判定与蒸馏提示词(要求以「操作配方」作答)
  自相矛盾，模型照做即被整条丢弃(静默)，是经验存不下来的主因
- doc/API.md：SSE step 说明补 🧠 伪卡片语义(N 为实际条数 + 摘要)
实测：同一指令由「命中 0 条」变为「命中 1 条同类历史经验，已注入参考：<摘要>」
 2026-09-10 13:41:10 +08:00
butubb 19560aba3e docs: 数字员工知识库升级到平台同级——补操作纪律/状态检查/SOP 
- KNOWLEDGE_BASE.md 重写：§0 快速开始；§5 操作纪律(与内置 AI 控制台等价的 10 条：
  先看设备/先看屏/定位三段优先级/吸附验证/输入两拍/每步验证/无变化不重点/如实汇报/
  效率/连续 6 步无进展停止)；§6 开跑前状态检查 7 项(含「屏幕是否点亮/解锁」：
  用 screen_state+画面判断，黑屏先 de_wake 再重截，未确认亮屏不许点按)；§7 执行中
  状态判据(息屏/锁屏、页面到位判据表、加载抖动、幂等重放注意)；§8 SOP 五阶段+闸门
  (P0 澄清→P1 预检→P2 到起点→P3 观察-行动-验证循环→P4 收尾还原→P5 固定汇报口径)
  含卡住判定表(2 步换策略/6 步停)；§9 异常处置速查；§10 效率预算
- JOB_SPEC.md §4 SOP 改为指向知识库 §5-§8 + 五阶段概览，两份不打架
 2026-09-10 13:41:06 +08:00
butubb 357fe98e22 fix: AI 控制台 MCP 不可达给出明确文案——不再显示 SDK 含糊报错 
MCP 客户端(streamable_http)在工具服务不可达/返回非 MCP 响应时只抛
'Server returned an error response'，用户无法判断原因。改为：
- 后端 web/agent_api.py:_execute 包裹 _load_tools/run_stream，识别连接类错误
  (Server returned an error response/ConnectError/refused 等)后抛明确文案：
  'MCP server(8033) 不可达：无法加载设备工具(<url>)。请确认 MCP server 已启动…'
- 前端 static/admin/agent.js 加 _friendlyAgentError() 兜底映射并去掉
  'RuntimeError:' 之类前缀，三处错误展示统一使用
- 文档同步：MCP.md(依赖提示+本机启动命令)、API.md(SSE error 文案说明)、
  DEPLOY.md(故障排查新增一行)
实测：停掉 MCP 复现 → 前端显示明确文案；启动 MCP 后 AI 控制台正常完成任务
 2026-09-10 10:28:57 +08:00
butubb 4e67764589 docs: 新增 StaffDeck 数字员工知识库与岗位说明 
- doc/staffdeck/KNOWLEDGE_BASE.md:接入方式(MCP http://<host>:8033/mcp 首选/REST 备选)、服务端配置项、19 个 de_* 工具清单(读写分类)、通用约定(serial/坐标空间/busy 占用锁/错误码)、推荐操作模式与常见配方、红线、当前边界
- doc/staffdeck/JOB_SPEC.md:岗位描述、看板摘要(指标口径+文本/JSON 汇报模板)、岗位执行约束(L0-L3 授权分级/硬红线/操作规范/失败重试/审计)、SOP 工作流、应拒绝与转人工清单
- doc/DEVELOPMENT.md:§7 文档索引与 §5.6 同步映射登记这两份
 2026-09-10 10:28:53 +08:00
butubb fd829a6063 docs: doc/ 全量同步 dev 现状——API 目录补全(AI 控制台/系统备份/自动发现等)、去 STF 过时口径、补 generic_steps 与配置键速查；确立「功能/配置改动须同步文档」红线 
- doc/API.md:补方法/路径标题,权限分层修正,新增 AI 控制台(/api/agent/*)、系统备份(/api/system/backup/*)、设备自动发现(/api/devices/discovery/*)、tap_text/summary/health/devices-apps 等整节端点,去 STF 残留
- doc/TASK_DEV.md:STF 时代描述清理;新增 §2.10 generic_steps(18 节点与必填/嵌套/静默跳过语义)、§2.11 自定义动作与单步测试、/api/jobs 盲存校验语义、resolve_serials/抢占语义、模板构造函数签名修正
- doc/DEPLOY.md:数据备份改为推荐「系统→数据备份」功能并说明重启生效目录,端口表 STF7100→MCP8033,补 start.sh 生产链路与 MCP_PLATFORM_PASS 同步,故障排查去 STF
- doc/MCP.md:加「现状边界」(平台级任务 CRUD 未 MCP 化,规划见 AI_TASK_GEN §9),busy/平台会话说明,MCP_ALLOWED_SERIALS 语义纠正
- doc/MCP_DESIGN.md:加实现现状对照、错误码、独立容器改演进备选、里程碑状态、API 映射表按实现重写
- doc/ARCHITECTURE.md:Tab/子分栏/线程模型/数据表/蓝图表去 STF,补 device_discovery/agent/system_backup/经验巡检等
- doc/DEVELOPMENT.md:新增 §5.6「改动必须同步文档」红线、§2.3 配置键速查、蓝图化新增 API 流程、文档索引补登记
- doc/STF_REMOVAL.md:加历史记录状态横幅
- doc/AI_TASK_GEN.md:新增 AI 建任务设计稿(含 §9 需转 MCP 工具分层)
 2026-09-09 16:05:56 +08:00
butubb 470c76221e feat: 顶栏新增「系统」栏目——数据备份导出/导入恢复子分栏（仅管理员） 
monitor.html：导航 .tabs 追加「系统」(data-perm=admin) + #tab-system 面板，
内含「数据备份 / 导入恢复」两个子分栏；base.js _activeSubs 记忆子分栏并在
showTab 里切回；system.js：导出（含 APK 勾选→zip 下载）、导入（选文件→
校验预览：文件/schema/表行数/告警→确认应用，原生 confirm），全程含
「全量快照含密钥」警告与重启生效提示。
 2026-09-09 14:49:40 +08:00
butubb 55b1b74944 feat: 系统数据备份导出/导入后端——sqlite 在线快照 + apk 打包导出；上传校验预览→应用（自动快照当前库）+ 重启生效 
导出：sqlite3 在线备份 API 对 data/users.db 做一致快照 → zip（users.db +
manifest.json：schema_version/逐表行数/apk 清单）+ 可选 data/apks/*.apk。
导出文件读入内存(BytesIO)发送后即删磁盘副本，避免 Windows 流式句柄锁残留。
导入：上传 zip/db → 暂存校验（integrity + 必需表 app_meta/user/task_job/
device_group + schema 版本提示）→ 确认应用：先自动快照当前库到
data/backups/pre_restore_*.db，再把备份落到 data/restore_pending/，由
web_server.py 在 init_db 之前 consume 换库——TaskManager 启动时才读库入内存、
Windows 不能热替换正被持有的库文件，故导入必须重启生效。

新增 web/system_api.py（export/preview/apply，全 @admin_required）与目录常量
BACKUP_DIR/RESTORE_STAGING_DIR/RESTORE_PENDING_DIR；.gitignore 排除运行产物。
 2026-09-09 14:49:40 +08:00
butubb 65bab7e25c fix: schema 迁移幂等兜底——create_all 已建列而 schema_version 未记录时重复 ALTER 报 duplicate column，遇错回滚并照记版本自愈 
典型场景：create_all 已按当前模型把列/表直接建好（如 perms、device.model），
而 schema_version 又因历史中断没记录，导致每次启动重复 ALTER 报错。
duplicate column name 说明列已存在=迁移目标已达成：回滚本次语句后仍记录
版本号，一次启动即自愈；其它异常才中止本批迁移。
 2026-09-09 14:16:15 +08:00
butubb 4c0572f73c fix: 设备自动发现本机IP枚举——git-bash hostname -I 报错炸线程，改 bytes 接收 + getaddrinfo 兜底 
Windows 上 git-bash 的 coreutils hostname 不支持 -I，会把 GBK 报错写进
stderr；text=True 在 subprocess 后台读线程里 utf-8 严格解码会直接炸线程
（主线程 try/except 接不住异步线程异常）。抽 _local_ips()：优先 hostname -I
且用 bytes 接收 errors=ignore 解码，不支持/失败时 getaddrinfo 枚举兜底。
扫描网段展开时剔除本机自身 IP，避免探测到自己 5555。
 2026-09-09 14:16:13 +08:00
butubb caa646e89c fix: 会话落库/加载缺 app context——后台线程 db 操作必须包 _flask_app.app_context()（历史加载与完成写回两处），否则静默失败（消息不落库、标题不生成） 2026-09-06 15:14:30 +08:00
butubb a77635c925 feat: AI 控制台历史会话（DeepSeek 式）——①agent_conversation 表：会话持久化（单表 JSON 消息），一轮 run 完成后 user/assistant 自动落库、新会话以首条消息作标题；②会话 API：列表/新建/详情/删除/重命名；③run 绑定 conversation_id：history 从会话加载（多轮上下文延续）、完成写回；④前端三栏布局：左侧会话栏（新建/列表/高亮/悬停删除/轮数时间）+ 聊天 + 实时画面，切换会话即切换上下文，刷新后自动恢复当前会话与消息 2026-09-06 15:12:56 +08:00
butubb 9b8ecd63f7 fix: AI 控制台切页/刷新不丢——①EventSource onerror 不再误 endRun（断网/后台节流/瞬时抖动都会触发 onerror 而后端任务仍在跑；EventSource 自动重连 + 服务端队列保留积压事件，重连后补发，连接彻底关闭才提示可刷新恢复）；②页面刷新恢复：GET /api/agent/run 增加 run_id/answer/error/history，前端 restoreAgentView 渲染历史轮次、running 时自动重订阅事件流、done/error 展示结果——切走再回来任务与对话都在 2026-09-06 09:41:02 +08:00
butubb 0f75db289d feat: AI 目标设备必选 + 设备任务占用锁——①前端新增「🎯 目标设备」选择器（在线设备含型号，任务运行中的设备禁选），发送必须选定设备，AI 只操作你指定的设备；②/api/agent/run 校验：serial 不在池/离线/任务 running-connecting → 拒绝（409 提示任务名）；③MCP 11 个写工具加 busy 锁（_ensure_device_free，5s 缓存）：任务运行中的设备 AI 一律拒绝，AI 不与任务抢设备（外部 MCP 客户端同样受保护）；④运行状态端点 GET /api/agent/run + 前端 8s 轮询：多人/多窗口能看到运行中任务（发起时间/任务/设备）并可停止（stop 加确认）；未选设备直接 400 引导请选择设备，去掉模型自己乱挑设备的行为 2026-09-06 09:32:11 +08:00
butubb 850d2e2e66 feat: 最大执行步骤可配置——AI 控制台 ⚙ 配置弹窗新增「最大执行步骤」输入（1-200，默认 40），存 app_meta（agent_max_steps），Agent 线程运行时覆盖 agent.s.max_steps；此前仅环境变量 AGENT_MAX_STEPS 可改 2026-09-06 09:26:53 +08:00
butubb f7aa71cca4 fix: AI 控制台实时画面跟随 AI 所选设备——后端 step 事件 args 原为 str() 的 Python repr（单引号），前端 JSON.parse 失败导致 followSerialFromArgs 从未生效；改为保留对象序列化，前端兼容对象/字符串并修 step 卡片 args 展示（避免 [object Object]） 2026-09-06 09:21:03 +08:00
butubb edfd529c59 feat: 正式池断联设备自动重连——①扫描线程每轮顺带对断联的网络设备 adb_connect_light（幂等，连上即恢复，无需人工；此前只有启动时预连接一次，断联后不会自己回来）；②断联设备不删不进待连接池（pending 语义=未授权新设备），GET discovery 返回 pool_offline（serial/型号/备注）；③POST /api/devices/discovery/reconnect 手动立即重连；④发现面板加「设备池断联设备」区块（自动重连中 + 立即重连按钮） 2026-09-05 09:58:42 +08:00
butubb 4865ed1d31 fix: 依赖守卫补 fastmcp——漏检导致 fastmcp 缺失时跳过安装，MCP server 持续启动失败 2026-09-04 16:30:55 +08:00
butubb b4513e78eb fix: fastmcp 加入主 requirements——MCP server 已由 start.sh 常驻启动（AI 控制台依赖），compose 全新重建容器时主依赖缺失导致 MCP 启动失败 2026-09-04 16:26:17 +08:00
butubb 4863b9fbbe fix: cv2 空壳修复改 pip --force-reinstall——手动 wheel 解压兜底在部分环境修不好（解压后 import cv2 仍无 __version__，OCR 持续不可用）；force-reinstall 已在 220 实测恢复 cv2 4.14.0 2026-09-04 16:25:24 +08:00
butubb 7fd77fa33c fix: 容器启动幂等——依赖安装段移入 start.sh 并加「就绪即跳过」守卫（flask/u2/rapidocr/cv2 全部可用则秒级启动）；配合 220 compose 去掉 command 里的 pip 段，消除每次容器重启重装 opencv 5.0(73MB) 并破坏 cv2 的崩溃循环帮凶 2026-09-04 16:23:17 +08:00
butubb fbd01a056c fix: 经验巡检评审失败重试——模型偶发输出解释文字不带 JSON（实测 4/11 条评审失败自动保留），失败后重试一次并强调只输出 JSON；仍失败才保守保留 2026-09-04 16:19:23 +08:00
butubb 04d07b2c62 fix: uiautodev 残留进程清理防误杀——容器重启后 PID namespace 重建、残留 uiauto.pid 的 PID 值会被 MCP/其它进程复用，原逻辑直接 os.kill 可能 SIGTERM 杀掉同容器的 MCP server（观察到 web 容器 12s 崩溃循环）；改为 kill 前校验 /proc/<pid>/cmdline 含 uiautodev 2026-09-04 16:15:54 +08:00
butubb 5681989194 feat: 经验库每日 AI 巡检 + 管理面板——①experience_audit 表：逐条评审（具体可执行/无过时坐标/非对话续语/配方与序列一致 checklist），keep 直接归档、delete 标 pending 待人工，绝不自动删；人工 kept 后不再重复建议；②web_server 注册每日 03:47 巡检 job（Asia/Shanghai）；③API：经验列表（含巡检建议）/确认删除/保留/手动触发巡检；④AI 控制台右上角「🧠 经验库」面板：经验卡片 + 建议徽章与理由 + 删除（confirm）/保留按钮 2026-09-04 15:53:08 +08:00
butubb c078e282ed docs: 新增 MCP 使用手册（doc/MCP.md）——19 个 de_* 工具全清单（参数/用途/推荐用法）、坐标空间与自动吸附约定、配置环境变量表、推荐操作模式（文字语义点击优先→元素→坐标兜底）、安全与审计说明、fastmcp 客户端示例；与 MCP_DESIGN.md 设计稿互链 2026-09-04 15:46:14 +08:00
butubb 9c700292c3 fix: 经验入库质量门槛——①对话续语/质疑/纠错轮次不再存为经验（prompt 过短、继续/还有等续语开头、你确定/还没有/不是吧等质疑词、无任务动词的疑问短句→弃），被用户纠正的失败轮次入库会教坏后续任务；②配方含不存在的 de_* 工具弃存（蒸馏模型编造 de_input 之类）；③检索命中 hits 回写 +1，高频有效经验浮前 2026-09-04 15:43:21 +08:00
butubb 729f40893e feat: 经验写入即时提示——提炼+保存挪到 done 事件之前（原在 done 后执行、SSE 已关流，用户看不到），成功后推 🧠 经验记忆 step 卡片「已写入记忆库，下次相似任务自动参考」；_save_experience 返回成功与否；蒸馏超时 60s→25s 防收尾拖沓 2026-09-04 15:12:55 +08:00
butubb bdaaea3e6c fix: MCP server 固化进 start.sh 容器启动链——之前手动 docker exec 拉起、容器重启即丢（AI 控制台 agent 依赖 8033）；MCP_ENABLED=0 可关，账号密码可经环境变量覆盖 2026-09-04 14:38:01 +08:00
butubb 4fad0b1198 fix: tap_text UI 树命中路径——u2 3.x 的 el.bounds 是方法不是属性，取 bounds 抛 TypeError 被吞导致永远走 OCR 兜底；改兼容写法 2026-09-04 14:36:34 +08:00
butubb 4d4f0ae666 fix: OCR 文字点击落点精度——命中文本块较长时（一行含多段文字）按关键词在文本中的位置比例估算 x，避免点整块中心偏离关键词（tap_text 与任务 OCR 条件共用受益） 2026-09-04 14:33:28 +08:00
butubb 44a9dafcd8 fix: AI 点击精度优化——①坐标吸附：/api/screen/tap 加 snap=1，MCP de_tap 固定开启（dump UI 树找包含点击点的最小可点击元素点中心，模型坐标偏 20-50px 也点得准，大屏触控不带 snap 行为不变）；②新 de_tap_text 语义点击：按屏幕可见文字一次完成找+点（UI 树 textContains/descriptionContains → OCR 中心兜底，WebView/图片文字也能点）；③de_tap_element 支持 text_contains/desc_contains 模糊匹配；④de_ui_tree 可点击元素优先 + limit 参数防 token 膨胀；⑤agent 提示词重写：文字语义点击优先、坐标仅纯图形兜底且自动吸附、点击后无变化禁止重复同坐标 2026-09-04 14:29:17 +08:00
butubb e5018c4e45 fix: de_foreground_app fallback mFocusedApp（MIUI 过渡期 mCurrentFocus=null 时前台解析为空） 2026-09-04 13:52:34 +08:00
butubb fab7e2b11a feat: MCP 工具补全（9→18）——de_open_app(adb monkey 直启，省 token)/de_stop_app/de_foreground_app/de_type_text(中文直接输入)/de_set_clipboard/de_sleep/de_ocr(屏幕文字识别)/de_list_apps/de_list_tasks；direct_ops 直连封装（adb/u2/OCR/剪贴板轻量通道） 2026-09-04 13:48:55 +08:00
butubb 1560a13d86 fix: tool_calls 流中断自愈——400 配对错误时移除不完整段重试一次；加消息结构诊断日志 2026-09-04 13:43:20 +08:00
butubb c0c1be05f8 fix: 经验保存缺 app context（后台线程 db 报错被吞）——register_blueprints 注入 app，线程内 db 操作包 app_context 2026-09-04 13:37:33 +08:00
butubb 1ada51a7f6 feat: 自进化经验记忆——任务成功后用模型把工具序列提炼成「操作配方」存入 agent_experience 表；下次相似任务（bigram 相似度检索 top2）自动注入 system prompt 参考，AI 越用越聪明（同类操作不再摸索） 2026-09-04 13:33:30 +08:00
butubb 5145f83f06 feat: AI 控制台增强——①de_read_clipboard 剪贴板回读工具；②任务可中断（stop_event 循环检查点 + API stop + 前端■停止按钮）；③智能滚动（回看历史不被打断，贴底才跟随）；④右侧实时画面（MJPEG 流自动跟随操作设备，可手动选择） 2026-09-04 13:32:35 +08:00
butubb 44cab88546 fix: Agent 步骤上限优化——max_steps 20→40（多步任务如打开抖音搜索），system prompt 加收敛规范（无进展 6 步主动停止总结），超限时无工具收尾请求让模型给有意义总结（不再机械提示）；web 超时 600→900s 2026-09-04 13:23:04 +08:00
butubb ce4e5464b9 feat: AI 控制台会话化 + 视觉优化——①多轮对话连续性（后端 history 持久化 12 轮，Agent 注入历史上下文，DeepSeek 式会话：新建会话才清空）；②聊天区改浅色（DeepSeek 风格，图片文字清晰）；③截图点击放大查看 2026-09-04 13:18:36 +08:00
butubb e24458a085 feat: AI 控制台升级为顶级 Tab——DeepSeek 风格聊天界面（气泡+流式渲染+思考折叠），实时 MCP 步骤卡片（工具/参数/截图缩略），SSE 流式输出（delta/step/done/error 事件），配置模态（模型/Key/设备前端可配）；工具页旧子栏移除 2026-09-04 13:09:34 +08:00
butubb 25ef7e7746 fix: agent_api 同步 dev（事务/_execute 遮蔽/600s 超时） 2026-09-04 13:04:44 +08:00
butubb 19126d1a59 fix: Agent MCP 连接短超时（10s 快速失败）+ web 600s 兜底 2026-09-04 12:59:32 +08:00
butubb fea5a57fc3 feat(M2): Web AI 控制台——工具页新增子分栏：模型/Key/设备前端可配置（app_meta 存储，key 打码回显），指令执行 + 步骤流轮询（含截图缩略）+ 回答展示；Agent 加 on_step 回调、后台线程单实例运行 2026-09-04 12:54:17 +08:00
butubb 02776b12b8 feat(M2): 语义层工具 de_ui_tree/de_tap_element——UI 树元素定位点击（text/id/desc，多命中 index），无需坐标更可靠；坐标 tap 保留兜底（WebView/画布元素） 2026-09-04 12:52:55 +08:00
butubb 7017ff3315 feat(M1): 补 de_wake/de_press_key 工具（Agent 熄屏可自唤醒）；修复 MCP SDK v2 input_schema 字段警告 2026-09-04 12:50:55 +08:00
butubb 937a87b36c feat(M1): Agent 编排层（OpenAI 兼容）——DeepSeek 等第三方模型经 MCP 工具控制手机：工具桥转 function schema、截图图像转 image_url 多模态流、工具循环、CLI 入口（mock 验证通过） 2026-09-04 12:47:09 +08:00
butubb d7b6d83cd8 feat(M1): MCP 截图坐标空间统一——de_screenshot 附 native_size，de_tap/de_swipe 接受截图坐标由 server 按比例换算原生（模型只感知截图坐标系） 2026-09-04 12:47:09 +08:00
butubb 084ed59ad5 feat: 平台新增只读端点 /api/screen/size——返回设备屏幕原生分辨率（u2 window_size），供 MCP 截图坐标换算（截图是缩放图，操作需原生坐标） 2026-09-04 12:47:09 +08:00
butubb 2ba9f0c239 feat(M0): MCP 手机控制 Server 骨架——FastMCP HTTP 传输（8033），平台登录会话+CSRF 封装，de_list_devices/de_screenshot(图像块)/de_tap/de_swipe，写门控/白名单/审计，实测全链路通过 2026-09-04 12:42:16 +08:00
butubb c304996c7b docs: MCP 手机控制设计文档——架构（复用平台 REST/core 能力薄封装）、L1感知/L2操作/L3语义三层 tools 规格、图像链路（screenshot→image block）、安全（写门控/白名单/占用互斥/审计）、220 部署与 M0-M3 里程碑 2026-09-04 10:29:03 +08:00
butubb 441ff7c7da feat: 设备分组移入工具页（原顶级 tab 删除）——工具页新增「设备分组」子分栏，分组管理入口与其他设备工具聚合 2026-09-04 10:15:44 +08:00
butubb 0b6b000b01 feat: 剪贴板注入面板只显示在线设备（pool/离线条目无注入意义）；adb 终端面板保留全部供重连 2026-09-04 10:12:17 +08:00
butubb d3ccc4a7a8 chore: users.db 为运行时数据库（容器实时写入导致 git pull 一直冲突），移除 git 跟踪并加入 .gitignore 2026-09-04 00:11:14 +00:00
butubb 88f4d09d4c chore: 清理 DataEase 误解压残留；users.db 移除跟踪（运行时数据），.gitignore 忽略 data/ logs/ 2026-09-04 08:11:05 +08:00
butubb 7276cfe585 fix: 待连接池后端过滤离线设备——list_pending 只返回当前在线设备（离线候选不可确认），不依赖前端 JS 缓存版本，任何客户端都拿不到离线条目 2026-09-04 08:08:52 +08:00
butubb 1a74372ad9 fix: 任务调度限定设备池——preempt 抢占模式的 all 目标原用 list_online()（含待连接/未入池设备，自动发现验证连上的设备会被任务误跑）；改为设备池内在线设备；group 模式同样过滤未入池设备（serial 模式保留显式指定） 2026-09-01 09:07:12 +08:00
butubb 22ba9272bd feat: 全站默认只看在线——监控页/大屏/待连接池同步过滤离线设备（可切换查看全部）；18051 main 旧实例已停止（STF 已删，旧代码无保留意义） 2026-09-01 08:58:21 +08:00
butubb ac7997176d feat: 设备池默认只看在线——离线旧条目（IP 已变的幽灵设备）默认隐藏，在线优先排序；「只看在线」开关可切换查看全部（含离线/停用） 2026-09-01 08:54:06 +08:00
butubb b9fab1999d fix: 自动发现按钮引号转义语法错误——onclick 内嵌单引号拼接在生成时丢一层转义（Unexpected string 导致整个 tools.js 不执行，设备池/发现全不渲染）；改为 dataset 传参彻底绕开嵌套引号 2026-08-31 15:38:33 +08:00
butubb 4efe17c1c9 feat: 设备自动发现——定时扫描局域网+Tailscale 网段开放 adb 5555 的设备进入待连接池，用户确认后才加入正式设备池（不自动连接）；socket 并发探测+adb 短超时验证（state=device 过滤 unauthorized），配置存 app_meta 可前端调整；配套：adb_connect_light 验证短超时、DISABLE_SCHEDULER 回归开关 2026-08-30 10:57:07 +08:00
butubb 1e39f5490a fix: 大屏触控优化——①点击错位：ctrl-img object-fit:contain 时图片绘制区小于盒子（居中黑边），坐标换算改为按实际绘制区域，黑边点击忽略；②滑动卡顿：tap/swipe/key/text 每次 u2.connect 重建连接（1-3s 握手），加 60s 连接缓存，失败自动清缓存重建（实测点击 2.97s→1.13s） 2026-08-20 13:22:21 +08:00
butubb 31a2ae911e fix: uiautodev 自动启动失败 name sys is not defined——_ensure_uiauto_running 用 sys.platform 但 web_server.py 未 import sys；补 import，元素抓取/动作编辑器设备列表恢复 2026-08-20 11:09:25 +08:00
butubb 90ca2c2100 fix: 任务动作编辑器剪贴板注入改用 ClipInject 通道——u2 set_clipboard 在 Android 10+ 静默失效（粘贴模式必抛 UiAutomationError）；提取 core/clipboard_helper 公共模块供工具页与任务执行端共用，粘贴模式 atx-agent pasteClipboard + set_text 兜底 2026-08-20 10:51:54 +08:00
butubb 2a3c748964 fix: 工具页剪贴板注入无反应——injectClipboard 函数在阶段3清理时被误删，点击按钮 JS 报错；补全函数（校验→ClipInject 通道 API→逐台结果表+toast 汇总），帮助文案同步更新 2026-08-20 10:40:49 +08:00
butubb 5d637bd4f5 fix: 剪贴板注入改用 ClipInject 通道——u2.set_clipboard 在 Android 10+ 被系统静默丢弃（atx-agent 后台身份写剪贴板受限），改为 am start 透明 Activity（shell 身份启动不受后台限制），注入后 u2 读回比对验证，未装 APK 明确报错 2026-08-20 10:34:53 +08:00
butubb 81a99e007b feat: 启动时后台并发预连接设备池——adb server 重启后设备全掉线，adb 命令排队卡几分钟；预连接（并发 connect IP:5555）把恢复时间降到秒级 2026-08-20 09:33:24 +08:00
butubb f78955f119 fix: start.sh 增加 cv2 空壳兜底——pip 24.0 解压 abi3 wheel 偶发丢根文件（cv2.abi3.so/__init__.py 缺失致 OCR 全挂），检测后 pip download + zipfile 手动解压（幂等） 2026-08-20 08:51:02 +08:00
butubb 27530ff5ac fix: 手动执行不再受运行窗口限制（窗口只约束定时触发）——立即执行按钮在窗口外也可触发任务 2026-08-20 08:36:29 +08:00
butubb 0fab6f4de8 fix: opencv-python-headless 锁 4.x——清华源 5.0.0.93 wheel 打包异常（site-packages 无 cv2 模块），OCR 仍不可用 2026-08-19 16:23:36 +08:00
butubb 5de87465bc fix: start.sh 修复顺序——rapidocr 依赖声明 opencv-python 会被 pip 强制装回 GUI 版，uninstall 必须在 pip install 之后最后执行 2026-08-19 16:17:28 +08:00
butubb b33ff17c26 feat: 容器启动脚本 scripts/start.sh——幂等卸载 opencv-python（GUI 版缺 X11 库致 OCR 崩）并装 headless，compose 指向本脚本后环境修复全走 git 2026-08-19 16:14:15 +08:00
butubb c0667c5959 fix: 容器环境 OCR 不可用——opencv-python 依赖 X11（libxcb）在 slim 容器 import 崩溃致条件判断 OCR 步骤任务退出，改为 opencv-python-headless（本地 Mac 不受影响） 2026-08-19 16:11:20 +08:00
butubb d0cb531c20 fix: 未登录访问 500——login_view 蓝图化后未更新为 auth.login，flask_login 重定向 url_for('login') BuildError 2026-08-19 16:02:47 +08:00
butubb 42c2820180 docs: requirements 注释清理（STF 时代描述 → 当前架构） 2026-08-19 15:51:57 +08:00
butubb a9720e8b81 fix: 抢占归还丢失——preempted_job 在重试循环内被重置为 None，关键字任务一旦重试（attempt≥2）被抢占的养号任务永不恢复；提升到循环外+已有值不覆盖+归还时被抢占任务停用/删除也打日志 2026-08-19 15:46:18 +08:00
butubb e0c3373dd1 feat: 全量路由回归测试脚本 scripts/regression_test.py（GET 全量 + 写操作空 body 探测抓 import 遗漏 + 关键业务 POST，500=缺陷 502/503=业务提示）+ fix: clear_all_worker_errors 缺导入（回归脚本首跑即抓到） 2026-08-19 15:24:11 +08:00
butubb 2adc54b512 fix: adb 相关功能全挂——tools_api 缺 ADB_PATH/_ADB_BLOCKED_PATTERNS 导入（模块拆分遗漏），应用版本/adb终端/剪贴板恢复，全量 28 个 GET 路由回归通过 2026-08-19 15:12:42 +08:00
butubb a0916ebda2 fix: 抓取元素回填垃圾选择器——无属性元素生成 //*[N]（匹配任意节点点不到），改为 invalid 标记前端提示不可选；结构路径跳过无 class 层消除 //*[N] 前缀污染；模块拆分遗漏修复（get_all_worker_status/list_installed_apps 致 summary/设备已装应用 500） 2026-08-19 15:10:26 +08:00
butubb 265e47a1f4 fix: 测试此步骤弹窗全链路修复——closeTestModal 恢复（阶段3误删导致关不掉）、test-overlay 层级 1200（高于编辑器/元素抓取弹窗）、tasks_api 补 _log（后端500）、GenericStepsWorker 旧签名调用修复（测试执行失败） 2026-08-19 15:00:27 +08:00
butubb ce47a5b83d refactor: web_server 模块化拆分（web/ 蓝图包 auth/monitor/tasks/admin/tools/devices/apks/tailscale + context/common，web_server 1796→193 行仅留装配与启动）+ 大屏优化（网格 5s 轮询、弹窗独占缩略图、流支持 q/fps）+ 三修复（MIUI 屏幕状态检测改 dumpsys power、补 ADB_PATH 导入修复一键亮屏、renderGrid 增量渲染不重载缩略图） 2026-08-19 14:55:29 +08:00
butubb e07b339a51 feat: 大屏增强——一键亮屏按钮、卡片显示设备名+IP+熄屏状态（thumb 响应头 X-Screen-State）、点击卡片进入设备操作弹窗（实时流+触控+按键+文字），工具页远程看屏子分栏移除并入大屏 2026-08-19 14:17:33 +08:00
butubb c78f17d72f feat: 监控大屏（/wall 全屏深色控制室风格：设备卡片网格+缩略图轮询+统计+时钟，缩略图 360px/q55 每 2.5s 一帧 20 台仅 ~0.2 核 CPU）+ /api/screen/thumb 接口 + 导航栏大屏入口 2026-08-19 14:13:15 +08:00
butubb 5543bad0e6 docs: 全面更新——README/API/DEVELOPMENT 摘除 STF 章节（设备池/型号/看屏/新端点文档，技术红线改为共享 transport 表述） 2026-08-19 14:07:53 +08:00
butubb 83ba489f57 feat: 前端整体改版（仪表控制台主题：自托管 Bricolage Grotesque+IBM Plex Mono 字体、暖纸底+墨色+深青主色、卡片/表格/徽章/模态框/Toast 全面细化、Tab 切换动画）+ fix: showTab 硬编码 tab 列表移除维护后索引错位、tools 分支调用已删的 loadStfDevMgmt、导航移除失效维护Tab 2026-08-19 14:03:02 +08:00
butubb 2d1b10c7f3 fix: 全选勾选不显示（renderDevices 签名缺选中状态导致防抖跳过渲染）+ 亮屏/息屏支持勾选设备（未勾选则全部在线，离线自动过滤） 2026-08-19 13:57:07 +08:00
butubb 6f6093842c feat: 设备型号采集展示（devices 表 model 列+getprop 采集+管理页型号列/采集按钮+监控页兜底）+ fix: 监控页设备列错位（离线标签残留 td）、appver 端点误删恢复、appver 只查在线设备用轻量连接防挂起 2026-08-19 13:53:27 +08:00
butubb eda71c8e5f fix: USB 设备双路径——优先本机 adb 直连，其次 220 远程 adb server（原实现只查远程，本机 USB 会被误判不在 server） 2026-08-19 08:08:40 +08:00
butubb 1573e82653 阶段3: 文档更新（ARCHITECTURE/DEPLOY 摘除 STF 章节，STF_REMOVAL 标记代码完成+220 停容器待确认） 2026-08-18 08:11:00 +08:00
butubb a5ce57b6fd 阶段3: 摘除 STF——删除 stf_client/stf_device_mgmt 与全部引用（STF 容器重启/设备管理/强制释放占用/agent 按钮/占用列），调度与设备管理完全基于本地设备池+adb；错误类迁入 device_worker，create_worker 去 stf 参数 2026-08-18 08:08:32 +08:00
butubb 98244d8161 feat: 设备池管理面板（新增/停用/删除/一键重连，调度数据源规范化入口）+ STF 设备管理增删桥接同步设备池（迁移期） 2026-08-18 08:02:13 +08:00
butubb 645938b305 阶段2: USB 远程 adb server 打通（220 host 网络 5037 全接口监听，无需改 220）+ 自建远程看屏（MJPEG 流 + u2 触控 tap/swipe/key/text，ws-scrcpy 不在 npm 改自建） 2026-08-17 16:50:12 +08:00
butubb 5354fe6379 阶段1: 调度/生命周期切换 device_pool——task_manager 设备解析与状态查询、STFDevice 去 occupy/release、web_server 端点换数据源（USB 桥接保留到阶段 2） 2026-08-17 11:16:13 +08:00
butubb 52c4d3aab4 阶段0: 设备池（SQLite devices 表 + core/device_pool.py 清单/在线状态/CRUD，首次启动自动从 STF 导入）+ STF 摘除迁移计划文档 2026-08-17 11:11:08 +08:00
butubb c111cb9a5e fix: STF未就绪设备纳入维护终端列表（adb可达但agent启动失败，标记stf_not_ready）+ 卸载/检查agent自动先connect 2026-08-17 11:02:43 +08:00
butubb e48eeef49b feat: 任务抢占+归还（抢占任务结束后自动重启被抢占任务）+ 修复抢占死锁（stop_device 移出锁块）+ wait 步骤可中断 + 循环块新增一直循环模式（配合定时启动+停止实现全天候养号） 2026-08-16 08:12:05 +08:00
butubb a51857d143 feat: 步骤新增剪贴板注入（可注入+粘贴，批量发链接场景）+ adb终端快捷命令 tcpip 5555 转网络调试 2026-08-15 15:53:31 +08:00
butubb 17f849f723 feat: STF设备管理彻底删除（脚本+断开+STF API清记录）+ 一键重连（后台跑connect脚本）+ 跳过原因日志区分离线/未就绪 + SSH超时错误分类 2026-08-15 15:22:55 +08:00
butubb e12219c979 feat: 强制安装APK（推送+pm install 绕过厂商弹窗）+ 定位设备（亮屏+大字定位页，结束定位关闭浏览器含后台）+ 一键亮屏/息屏（并发全部设备） 2026-08-15 15:03:01 +08:00
butubb 21d3aa8268 feat: 任务离线设备自动跳过（serial/分组模式触发时过滤 STF 池离线设备，默认开启，任务编辑器可勾选关闭） 2026-08-14 09:16:54 +08:00
butubb 060157ea1a refactor: 前端JS拆分为8个模块（base/list/monitor/editor/tasks/tools/apps/admin，按依赖顺序加载）+ 删除废弃文件（start_web.bat/main.py/fix_web.bat/cleanup.py，web已全覆盖）+ 文档同步 + 修复/api/summary缺导入 2026-08-11 14:53:04 +08:00