butubb/auto_control
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
193 Commits 2 Branches 6 Tags
6f14529db0752014e5be64b1b1e0e1ee2e5789ff
Commit Graph
193 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
butubb 6f14529db0 docs(流程): 明确「修复也走分支流程，含线上紧急修复」 
2026-09-14 当天两次 APK 安装修复（615f9cf / 7b6c838）因为"生产卡着"直接提交在 dev 上、
紧接着合 main 部署，跳过了 ① 切分支 与 ③ 交负责人确认（把"合 dev 确认"与"部署确认"
揉成了一次）。负责人指出后补齐这条约束。

补充内容（§1.2 git 铁律）：
- 紧急修复照样从 dev 切 fix/xxx，不允许直接 commit/push 到 dev
- 第 ② 步自测要跑通本机服务，不能只有脚本级验证
- 第 ③ 步确认要点名两件事：「是否合 dev」与「是否合 main + 部署生产」
- 线上正卡住时先恢复（运维动作，经确认即可），再按流程走修复
 2026-09-14 10:33:43 +08:00
butubb 7b6c8386af fix(APK 安装): 推送卡死会永久挂住整批安装（新增停滞看门狗 + 收尾兜底） 
用户报：220 上一个安装任务卡住不动。（现场：rednote 169.6MB 装 6 台，
5 台成功，192.168.20.203 卡在「推送中 67%（114.0/169.6 MB）」9 分钟没动静——
那台设备当时正跑着任务，adb 流量撞在一起把推送链路卡住了。）

两个叠加的缺陷：
1. 分块推送的 `proc.stdin.write()` **没有任何超时**：链路一卡就永久阻塞，
   安装线程挂死。
2. 批处理的 `as_completed(timeout=...)` 超时后异常直接冒泡出去（`with
   ThreadPoolExecutor` 退出时还会 wait 卡住的线程），`finished=True` 永远没被
   置位 —— 于是界面上永远是"安装中"，且后续安装全被「已有安装任务正在进行」
   挡住（用户看到的"卡住"）。

修法（core/apk_manager.py）：
- 新增**停滞看门狗**：盯着"已写字节数"是否推进，`_PUSH_STALL_TIMEOUT`(90s) 没进展
  就 kill 掉 adb，阻塞中的写立刻以异常返回 → 退回 `adb push` 重传。
  （为什么不用非阻塞写/管道 select：`os.set_blocking` 是 Unix 专有，开发机是 Windows，
  看门狗两边都能用。）
- 批处理改成 try/except/finally：超时或异常时把还没结果的设备标失败，**无论如何**
  都置 `finished=True`；`pool.shutdown(wait=False)` 不再为卡住的线程陪等。

验证：
- 假 adb 模拟"永不读 stdin"（链路卡死）→ 4 秒识别停滞 → kill → 回退 push 成功，
  全程 6.1s（旧代码在这里永久挂死）。
- 真机正常路径不受影响：5.9MB 推送 1.7s、设备侧字节数一致。
 2026-09-14 10:28:22 +08:00
butubb 615f9cf0d5 fix(APK 安装): 「推送不完整」是误报——adb 退出 ≠ 设备写完 
用户报：安装 APK 显示「推送不完整（设备 3605447 / 本地 5933150 字节）」。

排查（220 现场 + 复现）：这不是传输失败，是**检查时机太早**。
`adb exec-in` 把数据交给设备侧（adbd → shell → `cat >`）后，缓冲里的数据还在继续落盘：
同一份 5.9MB 的 APK，adb 刚返回时 stat 读到 3710967，紧接着 4264448，几秒后才是完整的
5933150（逐步实测）。旧实现只量一次就判失败，于是同一份文件在多台设备上"失败"了 8 次，
断点各不相同（2.7M/3.3M/3.6M/3.9M）—— 典型误报指纹。

修法（core/apk_manager.py）：
- 新增 `_wait_remote_size()`：收尾**轮询**设备文件大小直到长齐（默认最长 20s）；
  stat 取不到（机型差异）时返回 None，照旧跳过校验，不误报。
- 只有真不齐才退回 `adb push` 重传（原来直接判失败）。
- `_push_fallback` 也补一次大小校验：adb push 虽同步，但设备空间不足/被并发覆盖时
  "1 file pushed" 也可能是残缺的。

影响：这个误报不只是显示难看——它会让整台设备的安装直接失败（明明是好的包）。
 2026-09-14 09:08:37 +08:00
butubb 5dc15e128e fix(AI 建任务): 切走再切回来不再重置/重复探索回放 
现象（用户报）：离开「AI 建任务」子页再回来，回放与步骤计数像是被重置了。

真因与修法（`static/admin/taskgen.js`）：
1. 每次进入子页 `initTaskGen → tgRestore` 都会重新订阅 SSE。已在盯同一轮时这是多余的：
   服务端 `_Fanout` 带历史缓冲，会把这一轮**从头补发**一遍 → 回放区里卡片变两份、
   步骤计数从 0 重数。现在用 `_tgRunId` 记当前订阅，同一轮直接复用连接；
   换了一轮/刚刷新过页面才清空回放区重新订阅（历史缓冲会把已发生的事件补回来）。
2. 跟随画面的 MJPEG 长连接在切 Tab 时可能被浏览器挂起（画面定格）——
   切回来时重新拉一次流（`tgRearmLive`）。

实测（真机，12 步探索）：切走 6 秒再切回 → 卡片 11→14 无重复、状态继续计数；
跑完后再切两次 → 14 张卡片与草稿预览均保持、跟随画面正常、无 JS 报错。
 2026-09-14 08:25:35 +08:00
butubb ed9e8bacb1 feat(AI 建任务): 直接创建 + 草稿沉淀 + MCP de_snapshot；修「建任务页收不到 done」 
用户报的"探索完无法点击创建任务"真因：一个 run 的事件原先只有**一条** queue.Queue，
聊天页与建任务页同时开着时两个 EventSource 会**瓜分**它——建任务页的回放卡在中间、
`done` 被聊天页取走 → 永远等不到草稿，页面上自然没有可点的"创建"。

一、修（根因 + 表现）
- `web/agent_api.py` 新增 `_Fanout`：**每个订阅者一个专属队列**，多开页面各看各的，
  还带单轮事件缓冲（晚订阅/刷新重连也能补齐回放，终止事件一定送达）。
  实测两路订阅者收到完全一致的 1039 条事件（含 done）。
- `static/admin/agent.js`：断线重连的兜底订阅也按 `mode` 让开（此前漏了这一处）。

二、补齐上一批的三项
- **「直接创建」**：`POST /api/agent/task_draft/create`（草稿体只在服务端、创建前再校验一次、
  成功后清草稿避免重复建）+ 草稿预览里的「✓ 直接创建任务」按钮 + 「探索完直接创建任务」勾选框。
- **草稿沉淀经验/动作**：designer 轮次也走 `_distill_experience/_distill_actions`，
  但**只在草稿通过校验时**（没走通的试错不入库，免得把误点当经验）。
- **MCP `de_snapshot`**（第 20 个工具）：截图+元素树一次取齐（省一次来回、不会因界面在动而错位），
  附带 `screen_state`/`unstable`；两套提示词都改为优先用它。
  平台侧 `/api/uiauto/snapshot` 随之多返回 `screen_state`。

三、文档
- AI_TASK_GEN §10：§10.3 记两个 bug 的真因与修法、§10.4 三项标完成、§10.5 剩余项。
- AI_CONSOLE（扇出语义、多页面同时看一轮）、API（task_draft/create、snapshot 字段）、
  MCP/MCP_DESIGN/staffdeck/README/ARCHITECTURE：工具数 19→20 + de_snapshot 条目。
- backlog：记一条新发现的缺陷——`mcp_server/platform_client._login()` 会把"登录页 200"
  当成登录成功（现场进程缺 `MCP_PLATFORM_PASS` 时表现为含糊的 platform_unavailable）。

自测：真机浏览器端到端（勾上"探索完直接创建"）→ 探索 12 步 → 草稿 → 自动建任务成功；
`de_snapshot` 直连真机校验；校验器 21 条用例、扇出单元用例、本地工具契约用例全绿。
自测产生的任务/草稿已全部清理（未碰用户既有数据）。
 2026-09-14 08:14:11 +08:00
butubb 46e6ea1f37 feat(AI 建任务): AI 自己在真机探索 → 写出可调度任务 → 人工确认入库 
AI 控制台下新增子分栏「🧭 AI 建任务」：描述要做什么（例：建一个跑 2 小时的任务、自动刷
某 App、随机点赞），AI 用 de_* 工具自己在设备上探索（看屏/读元素树/点按验证），把走通的
路径写成一条任务草稿，经服务端校验后交人在步骤编辑器里核对/手改/试跑，保存才入库。

链路：POST /api/agent/run{mode:"designer", settings}
  → Agent 自探 → 本地工具 submit_task(draft)
  → core/task_draft 校验（失败把 errors 回灌模型让它改）
  → 只暂存（运行态 + app_meta.agent_task_draft，**不落库**）
  → SSE done{mode,draft,warnings} → 页面草稿预览 → openTaskModal(null, prefill) 预填

关键实现
- core/task_draft.py（新）：把执行器的"静默跳过点"（未知 type/空 selector/空 children/
  嵌套>5/节点>60/cron 非法/必填缺失）前移成显式 error——POST /api/jobs 对 params 是盲存的，
  执行器又静默跳过错误步骤，没有这道闸门就是"任务建好了、跑起来什么都没做"。
  归一化兜底任务名/target/schedule/retry/时长；页面填的设置以 overrides 优先于模型。
  故意**不比执行器更严**：loop_mode 近义值归一（count→rounds）、缺 max_iterations 补默认 10
  （执行器本来就默认）——实测卡太死会把一轮探索耗在改字段上。
  有副作用的步骤（评论/发送/购买/删除…）只警告并把触发概率压到 30%（编辑器可改回）。
- mcp_agent/agent.py：双系统提示词（CHAT/DESIGNER）+ 平台级本地工具
  （LOCAL_TOOL_SPECS，不进 MCP）+ 每工具调用上限 40 + designer 输出上限 8192 +
  **json.loads 容错**（草稿被截断时给模型可读错误，而不是整轮失败）。
- web/agent_api.py：mode/settings 透传、submit_task 处理器（app_context 内校验+暂存）、
  done 带 draft、GET /api/agent/task_draft{,+POST,/clear}（草稿走 app_meta，不新建表）。
- 前端：static/admin/taskgen.js + #agent-sub-taskgen 子面板（showSubTab 机制）；
  tasks.js 的 openTaskModal(jobId, prefill) + 信封归一化 + 唯一 draftKey；
  agent.js 按 mode 门控（一个 run 只有一个事件队列，两个 EventSource 会互相瓜分事件）。

顺带修掉一个 chat 也踩的协议 bug：一轮里同时调 de_screenshot 与别的工具时，截图图像会被
插在两条 tool 消息之间 → 模型侧判"工具回应不足"直接 400。改为本轮 tool 消息发完再附图像，
_repair_tool_messages 也改成只数**连续**的 tool 消息。

真机实测（Redmi 22120RN86C，设置页）：8 步探索（含 tap_text 验证）→ submit_task 一次通过 →
草稿 8 个顶层步骤（screen_on/open_app/wait_el/click/wait/key_event…）、max_duration 1800、
无 click_xy、3 条 evidence；页面恢复草稿 + 预填编辑器 + 提示块渲染均正常，无 JS 报错。
自测数据已清理（草稿已丢弃、未创建任何任务）。

文档：AI_TASK_GEN.md 状态改「P0 已实现」+ §10 实现记录（差异/护栏/未做项）、AI_CONSOLE.md
（子分栏、designer 分支、SSE done 负载、app_meta 键）、API.md、DATA_MODEL.md、ARCHITECTURE.md、
DEVELOPMENT.md（自测入口）、README.md 索引、backlog 勾掉 P0。
 2026-09-13 23:08:59 +08:00
butubb 0bc713137d feat(抓取): 选择器优先语义化（同 id 多实例用 @text 限定，而非序号）+ 修掉两类"死选择器" 
语义消歧（B 项）：主属性在整棵树里重复时，先找第二个属性把目标单独圈出来 ——
  //*[@resource-id="x" and @text="我"]   （次属性 text > content-desc > class，
                                        单个不够就两两组合）
标 semantic:true + via；只有组合也分不开（列表里同 id 同文字）才退回
  (//*[@resource-id="x"])[k]            （标 indexed，前端黄标提醒脆弱）
抖音底部导航正是这个场景：tab 个数随灰度版本变（4 个 ↔ 3 个），序号必然错位。

顺带修掉两个结构性缺陷（给上面做验证时逐条 lxml 求值发现的，均非本次引入）：
1. 结构步进把 class 当标签名 —— dump 的 XML 标签**一律是 <node>**，class 在
   @class 上，所以 //FrameLayout[1]/… 这类路径**永远零命中**；改 *[@class="…"][n]
2. 兜底结构路径用 @index 定位兄弟 —— 实测同级 index 会重复（状态栏/内容区/
   导航栏三个兄弟全是 index="0"）；改按子节点位置 //hierarchy/*[1]/*[2]

前端：抓取列表把 text/content-desc 排到最前并加粗上色（最稳的定位依据）；
序号型从蓝标改**黄标 ⚠ 序号 k/n**，语义型给**绿标 ✓ 语义**；属性页新增
「选择器稳定性」一行说明这个选择器靠什么定位、会不会因界面变化失效。

真机实测（192.168.20.100，248 个元素）：
  精确命中目标 221 → 247 ｜ 死选择器 26 → 0 ｜ 语义型 0 → 26（序号型 141 → 115）
  「我」的语义选择器经 /api/steps/test 真机点击 → 命中 ✓

文档：TASK_DEV §5.3/5.4（含两个 XPath 坑）、API §8（suggested 字段表 +
snapshot 行）、research/U2_ELEMENT_SELECTORS §五/§六、backlog ②标记完成。
 2026-09-13 22:05:47 +08:00
butubb 4ea777a55a fix(抓取): 元素框跟着图片走（ResizeObserver）+ 界面放大 + 右侧层级/属性/颜色三页签 
用户报的准确现象：**点某些元素会让画面变大，但框没跟着变大 → 错位**。

根因：预览图是 `max-width:100%` —— 窗口够宽时恒为原始尺寸（我这儿复现不出），
但窗口窄时图片被压小；此时任何**布局微动**都会改变预览列宽度 → 图片重新缩放，
而框是上一次算好的**像素坐标**，不会跟着变。触发布局微动的正是"点元素"：
`.el-picker-item.active` 用 `border-left:3px`（占宽度）→ 列表变宽 → 预览变窄 →
图片变小 ✗。实测（视口压到 900）：图片从 720 → 363，框仍停在 720 的位置。

修法：
1. **ResizeObserver 盯着图片**：显示尺寸一变就重算所有框 —— 窗口缩放、面板宽度
   变化、滚动条出现…都会自动跟上，这是"完全不错位"的兜底保证。
2. 高亮一律改用 **outline / box-shadow**（不占布局）→ 选中元素不再引发任何重排。
3. 弹窗放大到 **98vw × 88vh**（用户要"整个界面大一点"），图片在宽窗口下 1:1。
4. 右侧改成和 uiauto.dev 一样的**三页签**：
   - **层级**：元素树（原列表，缩进 + 搜索）
   - **属性**：选中元素的全部属性（建议选择器/class/resource-id/text/desc/package/
     clickable/bounds/深度）
   - **颜色**：鼠标在图上移动实时取**像素色**；选中元素显示**元素中心色**
5. 交互对齐云检查器：**点层级条目 = 选中**（看属性/颜色/高亮，不关窗），
   回填改由每行的「✓ 填入」按钮触发。

实测（视口 900 窄窗口）：图片 720→363、框同步变 363 ✓；点元素不再错位 ✓；
三页签可用、属性/取色正确（选中元素中心 #f7f7f7）✓；无 JS 报错 ✓。
 2026-09-13 21:30:41 +08:00
butubb 37a2b1c59b feat(抓取): 元素检查器改成本地版"大图 + 一次取齐"——复刻云检查器的体验 
用户要的是 uiauto.dev 那个检查器的体验（左边大图点元素、右边层级树、选完回填），
并希望本地复刻（云页面跨域，拿不到它的选中结果，没法自动回传）。

- core/uiauto_helper.py: 新增 `snapshot(serial)`
  * **一个 u2 连接背靠背** dump_hierarchy() + screenshot()：截图与元素树同源同刻，
    不再像原来那样分两个接口取（中间隔着 dump 本身的 1.3~1.8 秒）
  * `_xml_to_node()`：把 u2 的 XML 节点转成 uiautodev 那套结构，直接复用既有的
    选择器建议逻辑（不写第二遍）
  * **双截图校验**：dump 前后各截一张，差异明显就标 `unstable`，让前端明确提示
    "界面在变化中，请停在静止界面再抓"，而不是悄悄给一个可能错位的框
- web/tasks_api.py: 新增 `GET /api/uiauto/snapshot`（登录 + 设备权限）
- static/admin/editor.js + templates/admin/monitor.html:
  * 抓取弹窗从 900px 加宽到 1280px，预览列从"固定 320px"改为铺满左侧 →
    **图片按原始分辨率 1:1 显示**（实测 720x1650 缩放 1.000），元素框严丝合缝；
    原来缩到 294px 时框全挤在一起，看着就像错位
  * 工具栏显示 `720x1650 · 247 个元素 · 2370ms`；界面在变时顶部弹黄色提示条
  * 鼠标在图上移动时高亮"最深命中"的元素框，便于确认真要点哪个

实测：抓取弹窗 1:1 显示、222 个框逐一贴合元素、无 JS 报错；
`unstable` 在静止界面为 false。
 2026-09-13 21:17:12 +08:00
butubb accd06df4b docs(research): 章节编号理顺（三·补 → 四，建议改动 → 五） 2026-09-13 21:02:01 +08:00
butubb ee559786e7 docs(research): 补「抓取弹窗老是错位」的真因——截图与元素树不是同一时刻（附实测） 
用户澄清"是抓取的窗口老是会错位"。把几种常见猜测逐一实测排除：
两条通道元素树不一致（✗ 逐项相同）、CSS 缩放没跟着算（✗ 缩放比正确、
框位置与理论值一致）、窗口 resize（✗ 预览列固定 320px）、列表索引错位
（✗ indexOf 保住原始序号）。

真因是取数时序：
  /api/uiauto/screenshot 0.4s + /api/uiauto/elements 1.8s（两次请求）= 间隔约 1.8s；
  换成原生 u2 背靠背也仍有约 1.4s（dump 本身就要 1.3~1.8s，设备端开销改不动）。
界面只要在动（信息流/视频/动画），这两秒就足以让元素位置全变 → 框永远落在旧位置。
因为是**每次都发生**，所以表现为"老是错位"而不是偶发。

解法（写进文档待排期）：①新增 /api/uiauto/snapshot 一个请求取齐（也正是
"用原始 u2"的做法，间隔降到 ~1.4s）；②抓取前后各截一张做校验，不一致就
明确提示"界面在变化中，请停在静止界面再抓"，而不是悄悄给一个错位的框。
 2026-09-13 21:01:53 +08:00
butubb a94f63f0bf docs: 元素选择器研究——「点不到按钮」的根因是序号型选择器（附实测证据与解法） 
用户反馈任务步骤老是点不到元素，怀疑"执行用的 u2"和"抓取用的 uiautodev"两条
通道不一致。建 research 分支实测，结论与假设相反：

1) **两条通道其实是一致的**：同设备同屏各 dump 一次，节点数 330/330、
   id 个数逐项相同 —— 都是同一份 UiAutomation 树，不存在"看到的不一样"。
   顺带纠正一处过时注释：uiautodev 的 `rect` 就是像素（`bounds` 才是归一化）。

2) **真凶是序号型选择器**：复现「抖音→我页面」，底部 `0qf` 只有 **3 个**
   （首页/消息/我 —— 「朋友」tab 是灰度功能，有的账号/设备没有），
   而任务里写死 `(…0qf…)[4]` → 第 4 个不存在 → 必然点空。
   同一选择器在 4 tab 设备上碰巧对、在 3 tab 设备上必错 —— 这就是"时好时坏"。

3) **解法（实测有效）**：同一 id 多实例时用**文字/描述限定**：
   `//*[@resource-id="…0qf" and @text="我"]` → 命中并把设备带进我页面（jy- 出现）。

文档里还列了同类限定条件的优先级与四条待排期改动（抓取器优先产语义选择器、
对带序号的选择器加提示、存量任务批量复核、运行期 dump 同 id 实例数）。
 2026-09-13 20:56:37 +08:00
butubb 6fd9e6f8f3 chore: 容器依赖守卫补 qrcode——设备配置二维码用了它，不加的话容器重启不会安装（守卫只看固定模块列表） 2026-09-13 17:36:03 +08:00
butubb 3422b4f265 feat: 监控页按名称排序 + 按钮改「看屏 / 打开设备端 Agent」；设备名匹配补 USB 设备 
用户反馈的三件事：

1) **监控页设备排序**改成按**名称**（A01/A02/…），没名字的排最后按地址。
   之前是 adb 返回的顺序，看着像按 IP 排，同型号多台时对不上号。
   排序放在 `/api/status`（后端），大屏页一并受益。

2) **操作按钮改名 + 换实现**：
   - 「截图」→「**看屏**」（行为不变，就是查看设备实时画面）
   - 「定位」→「**打开设备端 Agent**」：改成让设备上的 Agent 弹身份大字页
     （名称/IP/平台地址），替代原来"推 HTML 让设备浏览器打开定位页"那套
     （那套要设备装浏览器、页面还依赖设备能访问平台，backlog A1/A2 一直没修）
     * 新接口 `POST /api/agent/show-info {serial, close?}`；没装 Agent 时明确报出来
     * **先点亮屏幕 + 解除锁屏再拉起** —— 设备息屏时 am start 会把大字页开在锁屏后面，
       人看到的还是一片黑（实测踩过）
     * 平台地址取操作者当前访问地址；若是 localhost 则换成本机局域网地址
       （设备上显示 127.0.0.1 毫无意义）

3) **安装应用的选择设备界面仍显示裸序列号**：USB 设备在 adb 里的 serial 就是
   `ro.serialno`，等于池里那条网络记录的**指纹** —— 之前只按 serial 匹配，插着 USB
   时会冒出一个没名字的 `s8o7nrt8pbzhfadq`。现在按 serial 或指纹任一命中都取名称，
   三处（剪贴板注入 / 安装弹窗 / 安装进度表）统一。

顺带修掉几个自己踩出来的坑：
- `device_pool.list_configured()` 返回的是 **serial 字符串列表**，我当成字典用了
  （`.get("serial")` 抛异常被 except 吞掉 → 名字全空）→ 改用 `list_devices()`
- `web/device_agent_api.py` 用了 `PERM_DEVICES` 但没导入 → 服务直接起不来（502）
- Agent 自检里的版本号是写死的常量（升到 1.4 还显示 1.0）→ 改成读包信息
- `doc/API.md` 章节编号（插了一节没把后面整体下移，出现两个 §16）

验证：安装弹窗里 USB 那台现在显示「A07」（指纹匹配）；监控页按钮为
「看屏 / 打开设备端 Agent」；对装/未装 Agent 的设备分别得到大字页 / 明确报错；
大字页实测显示 A07 + 192.168.20.250:18050 + Agent v1.4。
 2026-09-13 17:18:30 +08:00
butubb 3f041668ec feat: 设备配置二维码——设备池里出码，Agent 扫一下配好 
配合设备端 Agent 新增的「扫码配置」：人在机架前、设备还没接进平台时，
不用插线也不用在手机上打字输地址/令牌（还容易漏指纹）。

- `GET /api/devices/qrcode?serial=`：生成配置二维码（PNG data-url），内容为
  {"v":1,"server":…,"token":…,"fingerprint":…,"name":…}
  * 前置：设备端商店已启用（令牌从那儿来），否则 400 并说明去哪儿开
  * `warn` 非空必须显示：①用 localhost 打开平台时，二维码里的地址手机会连不上
    （提示改用局域网地址，_lan_ip() 优先挑 192.168/10.x，**不用** gethostbyname ——
     那会返回 Tailscale 的 100.x 或 docker 的 172.17，手机根本连不上）
    ②设备还没采到指纹 → 扫完平台认不出是哪台
- 设备池每行加「二维码」按钮 → 弹窗显示二维码 + 设备名/地址 + 可展开看原始内容
- requirements 加 qrcode（纯 Python，配合已有的 Pillow 出 PNG，不引前端二维码库）
- 文档：API.md §6.2.2 新增、§6.2.1 名称呈现表补齐（剪贴板/安装弹窗/版本管理/
  安装进度四处）；DEVICE_AGENT.md §5.3 新增二维码内容格式（设备端契约）

验证：二维码用 cv2.QRCodeDetector 解回来与 payload 完全一致；手机上实测——
扫 A07 的码 → 相机启动 → 解码 → 保存 → 立刻拉清单，平台认出「A07」。
 2026-09-13 16:42:53 +08:00
butubb 17b6624a34 docs: 契约补 '请平台静默装' 接口（§3.4）——设备端可选实现 
设备端自己调系统安装器在 MIUI 上要过好几步确认，而平台走 adb 装是静默的
（实测升级 2.7s、全新安装 7.9s）。接口已实现，写进两个仓库共享的契约：
受理后平台异步安装、设备端轮询版本变化判断结果；平台装不了时返回 ok=false，
设备端退回本机安装。
 2026-09-13 16:30:48 +08:00
butubb 25e4fbb053 feat: 应用列表按包名合并 + 剪贴板/安装/版本管理显示设备名 
两件事都是"列表看不清楚"的问题：

1) **同一个应用传多个版本会并排显示多行**（v1.2 / v1.3 各占一行），看着像重复。
   现在按 **package_name 合并成一个应用一行**，显示最新版：
   - `apk_manager.list_latest()`：版本按 version_code 排序取最新，其余版本放进
     `versions` 字段；解析不出包名的 APK 各自独立成行（不硬合并）
   - 管理页版本列显示 `1.3（另有 1 个旧版本）`，多一个「清理旧版本」按钮
   - 「删除」语义改为**删掉这个应用的所有版本**（行=应用），另给
     `?scope=older` 只清理旧版本；老的单条删除行为保留（不带 scope）
   - **设备端商店也走同一个列表** —— 手机上不会再看到同一个 App 的 v1.2/v1.3 两行

2) **设备只显示地址**（`192.168.20.100:5555`），同型号多台时分不清是哪一台。
   三处补齐设备名（平台给设备起的名字，如 A08），统一「名称 · 地址」：
   - 剪贴板注入的设备勾选列表（`/api/adb/devices` 经 `_merged_device_list` 带 name）
   - 应用管理的安装弹窗（`/api/apks/install/devices` 带 name）
   - 应用版本管理表格（`/api/tools/appver` 结果里带 name）
   - 顺带：安装进度表里的「设备」列原来显示**型号**（而且是 STF 时代残留的空 dict），
     改为显示设备名
   没名字的设备（不在池里）自动回退只显示地址，不显示空占位

验证：上传同包名 v1.1/v1.2/v1.3 三个版本 → 列表只出现一行（v1.3，标注共 4 个版本）、
设备端 bootstrap 也只剩 2 个应用；`scope=older` 只留最新、`scope=package` 整包删除；
三个面板在浏览器里渲染无 JS 报错，devText 有名字/没名字两种形态都正确。
 2026-09-13 16:29:38 +08:00
butubb fa07ed0804 feat(platform): 设备端商店支持"请平台静默装"—— 设备请求、平台走 adb 落地 
背景：设备端自己调系统安装器在 MIUI 上要过「继续 → 勾选未经安全检测 → 继续更新」
甚至 ICP 备案检查好几步；而平台用 adb（推送 + pm install）装是**静默**的，实测
升级 2.7s、全新安装 7.9s、336MB 大包也没弹过一次框。

所以给设备端商店补一个"请求平台装"的出口：用户还是在手机上选应用（应用商店体验），
真正干活的是平台，几秒钟装完、零弹窗。

- web/device_agent_api.py 新增 `POST /api/device/agent/install`：
  设备带令牌调它 → 平台复用应用管理的安装器（`apk_mgr.install`，本身已是
  推送 + pm install、并发 5 台）→ 返回是否受理；失败时设备端自行退回本机安装
- 鉴权与设备识别沿用同一套（令牌 + 指纹），未登记设备拒绝并说明原因

注：设备端 APK 那边的对应按钮改动已暂停（用户决定先不动 Agent），
这个接口属于平台侧能力，先落在本次分支里，等 Agent 恢复时直接可用。
 2026-09-13 15:38:14 +08:00
butubb cdf06e1929 fix: 大 APK 推送到设备时显示实时进度（原来是整段黑箱干等） 
问题（用户反馈）：从网页点「安装」到设备，包大的时候（抖音 336MB）只显示
一句「正在推送 APK...」，传了两分多钟全程没有任何进度，像卡死了。

根因：推送用的是 `adb push`，它**只在结束时**吐一行汇总
（"1 file pushed, 3.0 MB/s"），中间过程什么都不给。

改法：分块写 + 实时进度
- core/apk_manager.py 新增 `_push_with_progress()`：改用 `adb exec-in "cat > 文件"`
  自己按 1MB 分块喂数据，每块更新一次状态（限流 0.8s 一次）：
    `推送中 62%（211.0/336.1 MB · 2.6 MB/s · 剩约 48s）`
  传完校验设备上文件大小；中途断流/exec-in 不可用时**退回原来的 adb push**（保证兼容）
- 代价：实测速度 2.6 vs 3.1 MB/s（慢 17%），换来看得见的进度，划算
- 「正在设备上安装...」补上预期时间说明 —— `pm install` 在设备端解包
  （336MB 实测 ~65s），系统没给进度接口，只能给预期值
- static/admin/apps.js：安装进度轮询 3s → 1.5s；表格里再加一条细进度条
  （大包要一两分钟，光有文字不够直观）
- doc/API.md：把安装状态机的两段式进度与耗时参考写进接口说明

实测（抖音 v40.4.0 336.1MB → 192.168.20.100，单台）：
  推送 60%→100% 每 2 秒一档，速度稳定 2.6 MB/s，134s 传完；
  设备端安装 65s；端到端 ~200s，全程有进度可看。
全量回归 106 项通过。
 2026-09-13 15:38:14 +08:00
butubb dad1af8b0b feat: 设备端应用商店（平台侧）—— Agent 直连拉清单/下载/安装，绕开 MIUI 的 USB 安装拦截 
背景：`adb install` 在 MIUI 上被「USB 安装」拦下（USER_RESTRICTED），必须人工点确认；
而**由设备上的 App 自己调系统安装器**走的是普通应用安装流程，不触发那道拦截。

平台侧实现（设备端 Agent APK 在另一个仓库，契约见 doc/DEVICE_AGENT.md）：

- web/device_agent_api.py（新）：
  * 设备侧 `/api/device/agent/{bootstrap,apk/<id>,report}` —— 无登录会话，靠
    `X-Device-Token`（常量时间比对）鉴权；`X-Device-Fingerprint` 让平台认出是哪台设备
    （换 IP 也认得出，并把平台分配的名称回给它）；**默认关闭，关闭时统一 404**，
    不暴露接口存在性；只读清单与文件，不返回任何配置/密钥
  * 管理侧 `/api/agent-store/{config,logs}` —— 登录 + 应用管理权限；启用时自动生成令牌，
    可一键重置（旧令牌立即失效）
- core/models.py：新增 `device_install_log`（下载/安装记录，自动裁剪保留 500 条）
- 应用管理页新增「📱 设备端应用商店」面板：开关 / 接入地址 / 令牌（复制·重置）/ 安装记录；
  面板里写明它与「平台批量推送」的分工
- doc/DEVICE_AGENT.md（新）：**两个仓库共享的接口契约** —— 接入流程、三个设备接口的
  完整规格与错误码、adb 指令协议（剪贴板/身份显示/配置下发）、版本兼容约定、安全须知；
  API.md、DATA_MODEL.md、doc/README.md 索引同步

验证：
- 后端 9 组用例：默认关闭 404、无/错令牌 401、指纹认出设备名、清单、下载、上报与失败
  原因落库、关闭后重新 404、重置令牌后旧令牌立即失效、未登录管理端被拒 —— 全通过
- 真实浏览器：面板渲染、点开关 → 自动生成令牌 → 设备端带令牌拉到清单且 device.name=A08、
  无 JS 报错；测试后已把开关还原为关闭
- 全量回归 105 项通过（42 GET + 62 写探测 + 7 关键业务）
 2026-09-13 14:40:38 +08:00
butubb 66632bb7d6 chore: .gitignore 忽略 .env.*（含密钥的备份文件），显式放行 .env.example 
220 上切 MySQL 前留的 .env.bak_before_mysql 含生产 WEB_SECRET_KEY 与新加的
DB_PASSWORD，git status 显示为未跟踪 —— 一次 git add . 就会把生产密钥提交进去。
 2026-09-13 13:11:41 +08:00
butubb 5f02edb5c3 feat: 浏览器标签名带环境前缀（dev-设备自动化后台 / 设备自动化后台） 
同时开 dev 和生产的标签页时分不清谁是谁。标题取 web_server 注入的
db_env（非 prod 才加前缀），login / monitor / wall 三个页面一致。
 2026-09-13 13:03:37 +08:00
butubb c6fda262db fix: 回归脚本两处"自己坏掉"的问题——GBK 控制台崩在汇总、写死过期设备串 
在 MySQL dev 库上跑全量回归时暴露：
1. 汇总里的 ⚠/❌/✅ 在 Windows GBK 控制台抛 UnicodeEncodeError，而且崩在打印
   汇总那一步 —— 探测其实全跑完了，看起来却像脚本挂了（stdout 重设为 UTF-8）
2. `100.100.10.11:5555` 是 Tailscale 时代的地址，设备早换了：路径参数与两个关键
   POST 都拿它当目标 → 每次回归要等好几轮 30s adb connect 超时，还误报
   "关键 POST 测试步骤(wait) 失败"。改为**运行期从设备池挑一台启用设备**

结果（对 MySQL dev 库）：99 项检查全通过（38 GET + 60 写探测 + 7 关键业务），
仅 3 条 Tailscale 未配置的业务提示。
 2026-09-13 11:05:44 +08:00
butubb da77d8eb6b fix: 回归脚本 Windows 可用 + 加"禁止对生产库跑"安全闸；迁移脚本去掉 GBK 控制台会崩的符号 
- scripts/regression_test.py:
  * signal.alarm 加 hasattr 守卫（Windows 上直接 AttributeError 退出，
    backlog A4）→ 本机终于能跑"一条命令扫全接口 500"
  * 新增安全闸：.env 声明 prod、或目标库 app_meta.deployment_env=prod 时
    **拒绝运行**（exit 3）。本脚本会发真实写请求（设备池增删/剪贴板注入/
    亮灭屏），跑在生产配置上就是拿正式数据做实验
- scripts/migrate_sqlite_to_mysql.py: stdout 重设为 UTF-8 并去掉 ✔/✘ 符号。
  实测在 GBK 控制台里打印 ✔ 会抛 UnicodeEncodeError，而且崩在"写库标签"之前，
  看起来像迁移失败（数据其实已搬完）
- doc/backlog/TODO.md: A4 移入已完成；gitignore 条目更新（mcp_audit.log 已补，
  uiauto.pid 仍缺）；登记 MySQL 迁移与回归安全闸

实测（对 192.168.2.27 的 auto_control_dev）：数据迁移 12 张表逐表 SHA-256 一致；
应用直连 MySQL 全部接口 200，设备名/指纹唯一索引语义与 SQLite 一致（空值可重复、
非空重复被拦、大小写敏感 A08≠a08）；备份导出→预览→应用往返正常。
 2026-09-13 10:48:36 +08:00
butubb f5fc96c300 feat: 页面顶部环境徽标（防混库第 4 层） 
启动日志和横幅只在日志里；用户在界面上操作时也该一眼看出连的是哪个库。
生产显示红底 'PROD · <库名@主机/库>'，开发显示灰底 'DEV'，鼠标悬停给出完整目标。
环境信息由 core/db_config.env_badge() 提供（不含密码），web_server 注入 Jinja 全局。
 2026-09-13 10:38:13 +08:00
butubb 429aaf6283 feat: SQLite → MySQL 数据迁移脚本 + 建库建账号 SQL（P3） 
- scripts/migrate_sqlite_to_mysql.py（新增）：源库完整性校验 → 列宽审计（SQLite 不强制
  长度，MySQL 严格模式下超长直接报错，先拦下）→ 建目标 schema（复用平台的 create_all
  + _sync_columns + 唯一索引）→ 逐表单事务搬行 → 逐表行数 + 全行 SHA-256 比对 →
  写库环境标签与 schema_version。支持 --dry-run / --mode verify / --schema-only；
  --env prod 必须 --allow-prod（+ 交互确认或 --yes）；目标库已登记别的环境时拒绝
- scripts/sql/init_mysql_5.7.sql（新增）：建 auto_control / auto_control_dev 两个库
  （utf8mb4 + utf8mb4_bin）+ 专用账号与授权
- doc/DEPLOY.md §7.2：补 SQLite→MySQL 迁移流程与注意事项

比对口径踩坑记录：验证哈希必须两边都从**驱动层原生读**。走 ORM/Core 的 typed
select 会把 Boolean 读成 True/False，而源库 SQLite 原始读出来是 1/0 —— 三张带
布尔列的表（user/device/task_job）会全部误报"不一致"。现在统一用原生 SQL 回读 +
值规范化（bool→int、整数值浮点→int、bytes→str）。

自测（目标用 SQLite 代跑，MySQL 专属部分待 P4 真库验证）：12 张表逐表 SHA-256 一致、
重复迁移幂等、verify 模式通过。
 2026-09-13 10:37:15 +08:00
butubb 2a3775ffd5 docs: 同步 P5 备份机制重写——DEPLOY §5 / API §13 / DATA_MODEL §7 / DEVELOPMENT §4.3 
- DEPLOY §5.1: 说明 SQLite 现在是「备份交换格式」，恢复走单事务整库替换，
  跨环境导入默认拒绝；§5.2 覆盖清单改为「由 metadata 派生」；§5.3 三个目录
  支持环境变量覆盖及原因
- API §13: 导出/预览/应用三个接口的字段补齐（db_backend/deployment_env/
  source_db_id/source_env/current_env、force_env_mismatch、pre_restore zip）
- DATA_MODEL §7: pre_restore 改 .zip、补目录可覆盖说明
- DEVELOPMENT §4.3: 补三个备份目录环境变量
 2026-09-13 10:35:26 +08:00
butubb 4899e66c68 refactor: 备份/恢复改为「SQLite 归档 + 单事务整库替换」——不再换文件，也不再依赖 SQLite 运行时 
SQLite 从"运行时数据库"降级为"备份交换格式"：导出把当前库（MySQL 或 SQLite）
整库写成一份 SQLite 归档，恢复则是启动时在单个事务里 DELETE + INSERT。
前端三个接口的契约一行未改。

- core/system_backup.py 重写：
  * dump_to_sqlite()（旧名 snapshot_db 保留为别名）取代在线备份 API：MySQL 下把
    这条连接提到 REPEATABLE READ，保证 12 张表读的是同一时刻
  * zip 结构不变（users.db + manifest.json + apks/），既有老备份继续可导入；不依赖
    任何外部二进制（sqlite3 是标准库，python:slim 容器里现成）
  * manifest 增加 db_backend / deployment_env / source_db_id，用于识别备份来源环境
  * apply_restore：安全网从裸 pre_restore_*.db 升级为 pre_restore_*.zip（可直接再导入
    回滚）；跨环境导入默认硬停（需 force_env_mismatch=true）
  * consume_pending_restore：启动时单事务整库替换，任何一步失败 rollback，当前数据
    完好（比换文件更安全）；坏归档挪 restore_failed_* 且不阻塞启动
  * 归档库收尾时 checkpoint 回单文件模式并清掉 -wal/-shm（zip 只打包主文件）
- web_server.py：consume 从 init_db 之前移到之后（现在是事务替换，需要表与 app context）
- config.py：BACKUP_DIR / RESTORE_STAGING_DIR / RESTORE_PENDING_DIR 支持环境变量覆盖
  —— 自动化测试必须把恢复目录指到临时位置，否则测试造的"待生效恢复任务"会在服务
  下次重启时被当成用户的操作消费掉
- core/db_config.py：SQLite 回退模式也写库环境标签（备份要能标出来源环境）
- web/system_api.py + static/admin/system.js + templates/admin/monitor.html：
  预览显示来源/当前环境，跨环境时出现「允许跨环境导入」勾选项；文案同步

验证（隔离副本，绝不碰真实库）：导出→zip 结构与 manifest 正确；预览带来源环境与
告警；应用→生成 pre_restore zip + 归档就位；跨环境 apply 被拒；模拟重启→数据回到
导出时刻、经验库/动作库完好；塞入坏归档→挪 restore_failed_*、服务照常启动、数据未变。
 2026-09-13 10:34:58 +08:00
butubb b145a007eb docs: 同步 P1/P2——DATA_MODEL 重写引擎/建表/迁移/唯一索引/覆盖清单章节，ARCHITECTURE 更新装配顺序与数据库决策 
- DATA_MODEL §1: 引擎改为「MySQL（正式）/SQLite（回退）」+ 连接参数 + 环境与库名绑定表；
  表清单注明 12 张全部是 ORM 模型（原 5 张裸表已并入）
- §4 重写: 建表/补列以模型为准（create_all + _sync_columns），补 §4.2.1 说明
  排序规则为何必须 utf8mb4_bin；唯一索引补 MySQL 的「生成列 + 唯一索引」方案
- §5 补 deployment_env/deployment_id/deployment_claimed_at 三个键
- §6 覆盖清单改为「由 metadata 派生」，红线只剩补 TABLE_LABELS
- ARCHITECTURE: 装配阶段 B/C/D 更新（db_config 装配 + 环境校验横幅）、
  §3.2 并发描述按方言改写、§7 数据库决策表改写
 2026-09-13 10:31:09 +08:00
butubb c834349fac refactor: schema 收敛到 ORM metadata——5 张裸表升模型，方言无关的建表/补列/唯一索引 
原来建表有三套来源（ORM create_all + 自建 SCHEMA_MIGRATIONS + agent_api 里的裸
CREATE TABLE）。这在 SQLite 下能活是因为 SQLite 的 DDL 极宽容；换 MySQL 后
agent_* 四张表的 `INTEGER PRIMARY KEY AUTOINCREMENT`、`TEXT DEFAULT ''`、
`TEXT PRIMARY KEY` 会全部建不出来，而失败被 `except: pass` 吞掉 —— 表现为
「经验库/动作库/会话功能静默失灵、日志里什么都看不到」。本期把它收敛成一套。

- core/models.py:
  * 新增 5 个 ORM 模型：AppMeta / AgentExperience / ExperienceAudit /
    AgentAction / AgentConversation（列名沿用历史，`app_meta.key` 在 MySQL 里是
    保留字，ORM 属性名用 k，读写统一走 db_config.meta_get/meta_set）
  * 新增 _long_text()（MySQL 用 MEDIUMTEXT，裸 TEXT 只有 64KB）与 _DOUBLE()
    （评分别用单精度 FLOAT）；_migrate_schema 不再执行 DDL，只维护版本账本，
    SCHEMA_MIGRATIONS 的历史建表/加列条目 SQL 置 None
  * 新增 _sync_columns()：用 sqlalchemy.inspect 比对模型与实表补缺列，取代原来
    靠 "duplicate column name" 报错文本判断的写法（换方言就失效）
  * _ensure_unique_indexes() 按方言分叉：MySQL 5.7 没有过滤索引，改用
    「虚拟生成列 + 唯一索引」复刻"空值不参与唯一约束"的语义
- web/agent_api.py: 删 4 段裸 CREATE TABLE；_ensure_* 收敛为 _ensure_tables()
  （db.create_all 薄封装，失败必记日志）；app_meta 读写与 INSERT OR IGNORE
  改为方言中立
- core/device_discovery.py: app_meta 读写改用同一助手
- core/system_backup.py: SUMMARY_TABLES 由 db.metadata 派生 —— 备份覆盖红线
  从"靠人记"变成结构上不可能漏；CURRENT_SCHEMA_VERSION 改从 models 导入

验证（均在 users.db 的一致快照副本上，不碰真实库）：
  空库 → 自建 12 张表 + 默认管理员 + 唯一索引 + schema_version=6；
  老库 → 逐表行数与真实库完全一致，app_meta 键未变；
  接口 → health/devices/jobs/groups/agent(经验库/动作库/会话) 全 200，
        会话增删与备份导出（12 张表、无覆盖缺失）正常。
 2026-09-13 10:30:15 +08:00
butubb f22263ab45 feat: 数据库连接层改造——库目标由 .env 装配 + 环境防呆（迁 MySQL 第一步） 
为把数据库从单文件 SQLite 迁到 MySQL 5.7 铺路。本期不改后端：
DB_HOST 为空时仍走 SQLite，本地开发无感。

- config.py: 新增 DEPLOY_ENV（默认 dev）与 DB_HOST/PORT/USER/PASSWORD/NAME/
  CHARSET/COLLATION、DATABASE_URL、两个逃生阀（DB_ALLOW_ENV_MISMATCH /
  DB_ALLOW_SQLITE_FALLBACK）
- core/db_config.py（新增）: URI 组装；按方言分叉的引擎参数（utf8mb4、
  pool_pre_ping、pool_recycle=1800、READ COMMITTED、STRICT_TRANS_TABLES）；
  连接探活；app_meta 方言中立读写（MySQL 里 key 是保留字，需反引号）
- 防混库三层: ①库名与环境绑定（dev→auto_control_dev / prod→auto_control）
  ②库标签 app_meta.deployment_env 与 .env 声明比对 ③启动横幅打印当前库
  （生产用 WARNING 级）。不符直接拒绝启动并说明两边分别是什么
- web_server.py: 硬编码 sqlite URI → db_config；配置错在装配期就 exit 2；
  init_db 之后跑库标签校验 + 横幅
- core/models.py: PRAGMA 监听器加 sqlite 类型守卫——它挂在 Engine 基类上，
  MySQL 连接执行 PRAGMA 会直接导致建连失败
- requirements.txt 加 PyMySQL；scripts/start.sh 依赖守卫加 pymysql，
  并在 exec 前打印 DEPLOY_ENV/DB_NAME/DB_HOST
- .env.example 新增「数据库」段；DEVELOPMENT.md §4.1/4.2、DEPLOY.md §2.2 同步

验证: 用 DATABASE_URL 指向 users.db 的一致快照副本跑通主要只读接口
（health/devices/jobs/pool/groups/discovery/summary 全 200，app_meta 读写正常）；
DEPLOY_ENV=prod 且无 DB_HOST 时退出码 2；开 DB_ALLOW_SQLITE_FALLBACK 后可回退。
 2026-09-13 10:27:14 +08:00
butubb 933225784b chore: .gitignore 补 data/*.log——MCP 审计日志落在 data/ 下，git add . 会误提交 2026-09-13 08:24:34 +08:00
butubb 64fadde568 fix: 断联设备表「换地址」按钮传参丢失（缺 data-serial）+ 删除任务/分组兼容内存不一致 
- tools.js：断联设备表的「换地址」按钮漏了 data-serial 属性，onclick 里
  this.dataset.serial 是 undefined → 接口报「缺少 old_serial 或 new_serial」。
  设备池表里的同名按钮是传字面量的，所以只有断联表这条路径坏。
  顺带给 relocatePoolDev 加参数防呆（取不到地址时给明确提示，不静默）
- task_manager.delete_job / delete_group：原先只在"内存里有"时才删库行，
  内存与库不一致时（手工插行、上次异常退出、旧版本漏删）会出现"删不掉的
  任务/分组"（API 404 但库行还在、重启复活）。改为无论内存有没有都尝试删库行

自测：浏览器验证断联表两个按钮都带 data-serial；relocate 接口端到端（上一轮已验）；
删除接口在前端删除分组/任务后 DB 与内存一致
 2026-09-11 11:23:19 +08:00
butubb 79cdf61ed2 feat: 自动认领开关 + 全站按设备名称显示 
一、指纹匹配自动认领（可选，默认关）
- 发现设置新增「指纹匹配自动认领」勾选（app_meta: discovery_auto_claim，默认 0）
- 打开后：扫描发现某设备指纹与池中已有记录一致（同一台换了 IP）→ 自动迁移记录到新地址
  并同步分组/任务引用，零点击；关闭时维持"识别自动 + 人工点一次确认"
- 默认关的原因：认领会改写分组/任务引用（数据结构变动），交人工确认更稳妥
- 扫描结果与状态行会显示本轮自动认领了几台

二、设备名称在界面上呈现（凡选择/展示设备处都显示名称）
- 新增前端 helper `devText(name, serial)`（base.js）：有名称→「名称 · serial」
- 监控页设备表：名称加粗为主、地址作副行（未命名显示橙色提醒）；任务概况的覆盖设备
  chip 也优先显示名称（tooltip 保留完整地址）
- AI 控制台：目标设备下拉、实时画面设备下拉、目标/运行中提示都带名称（serial→name 映射）
- 任务编辑器「指定设备」下拉、分组编辑的设备勾选列表：带名称
- 后端 `/api/devices` 新增 `items`（[{serial,name,model}]，`devices` 保持兼容）；
  `/api/agent/devices` 增加 `name` 字段
- MCP `de_list_devices` 返回 `name`，并在工具说明与 Agent 系统提示里要求"汇报用名称、
  调工具用 serial"

文档：API.md（items/name/auto_claim + §6.2.1 名称呈现表）、MCP.md（工具返回）

自测（全通过）：自动认领端到端（开开关→扫描→自动迁址 + 名称保留 + 分组/任务引用同步 +
待连接池清理 + 开关默认关且可持久化）；名称显示浏览器验证（监控页/覆盖设备 chip/AI 目标与
观看下拉/任务编辑器/分组弹窗/发现设置开关）；设备指纹与人工认领回归
 2026-09-11 11:16:24 +08:00
butubb 0a1b4d6122 feat: 设备身份改为「名称 + 指纹」——更换 IP 自动认领，分组/任务引用自动同步 
背景：设备池原先拿 serial（IP）当身份。设备一换 IP（DHCP 重新分配）旧记录就成了连不上的
僵尸条目（表现为"断联·自动重连中"但设备并没关机），分组与 serial 模式的任务还吊着死地址。
2026-09-11 实际发生：.70 变成 .71、.72 消失，平台两个条目永远连不上。

实现
- **设备名称必填且唯一**：加入设备必须填名称；库层面用部分唯一索引兜底
  （ux_device_name / ux_device_fingerprint，WHERE 非空 → 兼容历史空值），管理页可改名
- **设备指纹**（ro.serialno）：网络设备添加/确认/扫描/采集型号时自动读取；
  身份三层拆分——名称（人可读，稳定）、指纹（机器识别，稳定）、serial（当前地址，可变）
- **自动认领**：添加或确认设备时指纹命中池中已有记录 → 迁移原记录到新地址
  （名称/型号/备注/启用状态/添加时间全保留），不新增条目
- **人工认领** `POST /api/devices/pool/relocate`：旧地址已断联、指纹没采过时的兜底——
  人工指认"这条就是那台，现在在 X"，迁移并同步引用
- **引用同步**：认领/迁址时把 device_group.serials 与 task_job.target.serial 的旧地址
  换成新地址。⚠️ 必须同时改**内存**：分组/任务在 TaskManager 里另有内存副本且调度用内存对象，
  只改库不重启不生效 → device_pool 迁址后回调 TaskManager.sync_device_serial
  （装配层用 set_move_hook 注册；device_pool 不能反向 import task_manager，会循环依赖）
- **前端**：待连接池新增「识别」列（指纹命中时提示"≈ 名称（原 IP）"，按钮变「认领为 X」）；
  设备池新增「名称/指纹」列与「改名/换地址」操作；断联设备表也加「换地址」（用户看到断联就在这里）
- 添加设备接口改用 adb_connect_light（单次短超时），避免不可达 IP 让请求卡 30s+；重名校验提前到 adb 之前

文档：API.md §6 重写（设备身份/认领/新接口）、DATA_MODEL.md（新列 + v5/v6 迁移 + 唯一索引）、
ARCHITECTURE.md §4.0（身份三层与引用同步的内存坑）、DEPLOY.md 排查表加"断联但没关机"条目

自测（全通过）：名称必填/唯一/改名/重名拒绝（含库层面约束）；指纹采集（真实读到 .71 的
gy7lskwkkvj7c6b6）；自动认领（指纹命中→迁址+保留名称+带指纹+未命中不误判）；人工认领
（迁址+名称保留+分组与任务引用同步）；浏览器验证设备池/断联表/待连接池三个界面
 2026-09-11 11:03:38 +08:00
butubb 24d57d3b96 docs: doc/ 全量重整——按现状重写并建立文档索引；项目统一更名 auto_control 
背景：文档长期落后于代码（Tab 数、任务类型、接口示例等多处与现状不符），
且信息分散重复。这次按当前代码状态逐篇重写，并建立统一的文档体系。

新增
- doc/README.md：文档总索引（文档地图 / 推荐阅读路径 / **文档维护约定**）
- doc/DATA_MODEL.md：数据模型（7 张模型表 + 5 张非模型表、迁移机制、app_meta 键、
  数据目录、备份覆盖清单与双向自检）
- doc/AI_CONSOLE.md：AI 控制台机制（会话与 SSE、经验库/动作库蒸馏与召回、巡检、
  Markdown 渲染、推理链、token 统计、故障排查）

重写（按现状，去掉过时与重复）
- README.md：7 个 Tab、18 种步骤、设备生命周期、调度/窗口语义、常见问题；修掉
  「6 个 Tab / 分组为顶级 Tab」等过时内容与损坏的目录树
- doc/ARCHITECTURE.md：补启动装配顺序（import 期副作用、A~G 七阶段）、线程与锁清单、
  设备状态机、调度全链路、前端结构与实时通道、设计决策、**已知缺陷与踩坑清单**、扩展点
- doc/API.md：按蓝图重建「接口总索引」（107 条路由含鉴权）+ 分域详细说明 +
  非 JSON 响应汇总 + 错误分支速查
- doc/TASK_DEV.md：18 种步骤全表（参数/默认值/语义）、容器与公共参数、
  选择器与 XPath 序号语义、抓取器建议规则、新增任务类型骨架
- doc/DEPLOY.md：容器入口 start.sh 三件事、发布流程与检查清单、备份覆盖红线、
  按现象分类的故障排查
- doc/DEVELOPMENT.md：流程/红线/本地开发/**测试与写测试的约定**/配置速查/文档同步
- doc/MCP.md：19 个工具的参数级清单、坐标空间、写门控三连、安全与审计
- doc/MCP_DESIGN.md、doc/AI_TASK_GEN.md：标注设计 vs 实现现状，补交叉链接
- doc/backlog/TODO.md：新增「已知缺陷」小节（含复现与影响）+ 已完成留档
- .env.example：按代码实际读取的键重写（补 USB/DISCOVERY/MCP/AGENT，删死配置）

其它
- 项目名统一 auto_control：README/文档/scripts/pack.py 产物名；代码内的
  doc 章节引用（templates/admin/monitor.html）同步更新
- 校验：16 篇文档 156 条相对链接全部可解析；文档中的关键数字与代码核对一致
  （19 个 MCP 工具 / 18 种步骤 / 12 张备份表 / 1 种任务类型）
 2026-09-10 22:19:18 +08:00
butubb f4b5316436 chore: 去掉 generic_steps 的默认步骤 + 重试失败带上真实原因 
- tasks/generic/task.py：DEFAULT_PARAMS 只留 max_duration，**不再内置示例步骤**
  （步骤只能由前端编辑器产出；此前默认的"打开抖音→循环看视频"只有后端在用，
  编辑器新建任务本来就是空的，等于埋了个和界面不一致的隐性默认值）
- 空步骤不再静默空跑：worker 立即抛错「通用步骤任务没有可执行步骤…」，
  设备表「最近错误」能看到（此前会走完 0 步当成功）
- core/task_manager.py：重试耗尽的 last_error 现在带上最后一次的真实失败原因，
  不再只有"重试N次失败"（用户看不到为什么失败）；max_attempts=1 显示"执行失败"
  而非费解的"重试1次失败"；长度截断 200 字符
- 文档：TASK_DEV §2.10 说明无默认步骤 + 空步骤会报错；API.md 的 task_types 示例
  改 default_params={"max_duration":0}，POST /api/jobs 补「steps 要一起传」提示

自测（全通过）：default_params 无 steps；无步骤任务真跑一次 → 设备错误信息完整含原因；
有步骤任务（wait 1s）真跑一次 → status=done 无错误；临时任务验完已删，任务集合复原
 2026-09-10 21:50:18 +08:00
butubb 98cdc39224 chore: 删除抖音养号任务类型，平台只保留 generic_steps 
tasks/douyin/（task_type=douyin_nurture）整体删除，唯一任务类型是 generic_steps。
所有默认值/文档/接口示例同步改成 generic_steps：

- tasks/：删 douyin 包；__init__ 只注册 generic；base.py/generic 注释改为照 generic 抄
- 默认值：core/models.py（列默认 + 旧 JSON 迁移默认）、core/task_manager.py TaskJob、
  web/tasks_api.py 建任务默认、static/admin/tasks.js 新建任务默认
- core/task_manager.py：去掉 douyin 专属的"清理废弃 comment 参数"迁移块，改为**启动时告警**
  仍残留已删类型的任务（只告警不改数据）；run_job_now 对已删类型直接返回明确错误，
  不再"报已触发、线程里静默失败"
- 清理残留：douyin_running 状态位（无任何读取方）、core/__init__、core/actions/*、
  core/logger.py 注释里的抖音示例
- 文档：README（特性/目录树/类型表/参数表/示例）、TASK_DEV（目录树/注册说明/模板引用）、
  ARCHITECTURE（注册示例/action 注册表示例）、API.md（task_types 与任务 JSON 示例）、
  AI_TASK_GEN（P1 去掉 douyin 预设）、DEVELOPMENT
- 注：示例里"抖音"作为**App 名**（MCP 列应用、AI 建任务的需求举例）保留，与任务类型无关

自测（全部通过）：类型列表只剩 generic_steps；建任务不传类型默认 generic_steps；传
douyin_nurture 被 400 拒；库里塞残留旧类型任务 → 启动日志告警 + 执行返回明确错误 +
不自动删用户数据；前端新建任务下拉 1 项且默认选中、界面建任务成功；监控页卡片两个按钮 +
覆盖设备正常。临时任务/数据验完已清理，任务集合复原。
 2026-09-10 21:43:08 +08:00
butubb 86c65236a2 fix: 监控页任务概况去掉「编辑/删除」，只留执行/停用 + 显示覆盖设备 
监控页的任务卡片原来带「编辑」，但 openTaskModal 依赖 _taskTypes/_groupsList/
_devicesList，这三个列表只在任务 Tab 的 loadTasks() 里加载——从监控页直接点编辑，
下拉框是空的（这就是"编辑有问题"）。按需求把编辑/删除从监控页移除（编辑统一去任务 Tab），
每张卡片只留：执行任务 + 停用任务/启用任务。

并给卡片加「覆盖设备」一行：
- 后端 /api/jobs（含 POST/PUT 返回的 job）新增 coverage = {mode, serials, total}：
  按 target 定义解析（all=设备池全量 / group=分组∩设备池 / serial=该设备），
  不做离线过滤、不写调度日志（该接口每 5s 轮询），与调度用的 resolve_serials 口径差异已写入文档
- 前端用已在手的 /api/status 标注在线状态，渲染成彩色 chip：
  在线=蓝、运行中=黄+⏳、离线或不在池=灰划线+✕，完整 serial/型号放 tooltip
- 文档：API.md §5 补 coverage 字段与三种模式口径、ARCHITECTURE §5.1 补卡片说明

自测：coverage 三种模式端到端（含分组过滤池外 serial）全通过；Edge headless 验卡片
（2 个按钮、无编辑/删除、chip 文案/样式/tooltip）全通过；离线分支与任务 Tab 编辑器回归通过
 2026-09-10 21:15:23 +08:00
butubb d40c867d6f fix: 备份覆盖补全（动作库/系统配置入清单）+ 覆盖自检与未登记表告警；发布流程/红线文档更新 
问题（2026-09-10 用户反馈）：动作库"没有备份"。实测导出 zip 里 agent_action 数据其实在
（导出是 users.db 全库快照），但清单/预览没列它 → 看起来像没备份。同类还有 app_meta。

修复（core/system_backup.py）：
- SUMMARY_TABLES 补 agent_action(动作库) 与 app_meta(系统配置) + 中文标签；
- 导出侧**覆盖自检**：登记表若在快照缺失 → manifest.coverage_missing + 日志告警；
- 导入侧**反向自检**：备份含未登记表 → 预览告警提示登记（extra_tables）；
- 顶部注释写明新增持久化表必须登记（红线）。

其余：
- monitor.html：数据备份面板文案改为明列全部业务表 + 指引（预览见表行数 / 新增表须登记）；
- doc/DEPLOY.md §3.5：新增「备份覆盖清单（红线）」小节（含清单与两侧自检说明）；
- doc/DEVELOPMENT.md：§5.6 增「备份覆盖红线」；§6 发布流程重写为分支流程
  （本机建分支 → 用户确认 → 合 dev → dev 整体就绪 → 合 main → 220 部署，附部署命令）；
- doc/ARCHITECTURE.md §3.6：补备份覆盖登记提示。

实测：导出清单 12 表（含动作库 3 行、系统配置 8 行），coverage_missing 空；上传预览同样显示、
extra_tables 空。
 2026-09-10 21:03:41 +08:00
butubb 4b5b836d31 feat: AI 控制台回答支持 Markdown 渲染 + 推理链可折叠 + token 用量显示 
- markdown.js（新增，无 CDN 依赖）：轻量 Markdown 渲染（标题/列表含嵌套/表格/
  代码块/引用/链接…），先 esc() 转义再套标记，模型输出的 HTML 只当文本显示
- agent.js：回答改走 Markdown；推理链改为 <details> 可折叠（流式时展开、正文开始
  自动收起、手动点过后不再自动改）；单条消息 token 脚注 + 顶栏「本会话累计」
- monitor.html：消息结构加 .reasoning/.agent-usage、顶栏 token 徽标、md 相关样式，
  引入 markdown.js（base.js 之后、agent.js 之前）
- mcp_agent/agent.py：请求带 stream_options.include_usage，按「每次模型调用」累计
  usage（末尾 chunk），on_usage 回调吐累计值；网关不认该参数（400/422/点名）时
  自动降级重试一次
- web/agent_api.py：SSE 新增 usage 事件、done 带 usage；推理链与用量随会话落库
  （_REASONING_KEEP=6000 截断），回灌模型时只取 role/content
- 文档：API.md（usage 事件/done/会话消息字段）、ARCHITECTURE §5.4.1、DEVELOPMENT
  前端 JS 清单

自测：假模型端点单测 3/3（正常/降级/多轮累加）；Edge headless 全链路 27 项全通过
（真实 Flask+SSE+SQLite，含 XSS 转义、刷新后回看）；Markdown 渲染器 18 用例全通过
 2026-09-10 18:22:20 +08:00
butubb 1c2b440dce docs: 新增 doc/backlog/TODO.md（待完成项）并登记进文档索引 
收录：adb 远程终端目标切换(本机/220)、未命中要明确提示、uiautodev 超时 8s→30s、
序号型选择器/界面就绪防呆、动作库后续(合并面板/预制件)、MCP 平台级工具与 de_screen_text、
经验召回改进、命名统一、STF 容器状态矛盾、MCP 白名单语义缺口等。
p1_0910 		2026-09-10 15:31:42 +08:00
butubb 972db13f81 fix: 经验/动作蒸馏不再静默丢弃（关推理 + 质量门槛 + 截断容忍）+ 前端会话显示 ID 
问题：蒸馏模型把 token 预算烧在 reasoning 上 → content 为空/被截断（finish_reason=length），
代码只读 content → 经验与动作被静默丢弃（"使用小红书找苏州饭店"跑完什么都没存，动作侧日志
'原始输出 0 字符'）。

修复（web/agent_api.py）：
- 蒸馏调用统一加 "thinking": {"type":"disabled"}（该代理支持；实测关掉后 reasoning=0、
  配方 3/3 合格）——关键修复
- 配方：纯文本问法 + _recipe_ok 质量门槛（过短/含省略号占位丢弃，避免把提示词示例当真配方；
  曾因提示词里写了占位示例，模型照抄成 "1. …\n2. …" 存进库）+ 空则重试一次；
  仅动作提炼允许回退 reasoning_content（配方不回退，防思考草稿污染）
- 动作：JSON 输出 + _loads_lenient 截断容忍（逐对象抢救）+ {action,params} 形状归一 +
  输入/产出限量（≤10 步、≤3 动作×4 步）；失败日志带样本
- 前端 agent.js：会话列表显示会话 ID 前 8 位（等宽小字），点击复制完整 ID（便于引用 conv=<id>）
- doc/ARCHITECTURE.md：§3.8 序号语义 + §5.4 蒸馏健壮性与会话 ID 说明
实测：真机复跑同一句需求 → 经验已保存（配方 196 字符）+ 动作经验已保存 2 条
 2026-09-10 15:31:39 +08:00
butubb 3f44cd1491 fix: 元素选择器序号语义 + 抓取弹窗直接点击测试 
- uiauto_helper: 同属性多实例的选择器由 `//*[@id="x"][k]` 改为 `(//*[@id="x"])[k]`——
  前者在 XPath 里是"父节点内排第 k"，多实例时 [2..n] 全部失配（实测抖音底部 4 个同 id tab：
  仅 [1] 可用），任务里表现为"未找到元素"但界面上元素明明存在。
- tasks/generic/task.py: 新增 _norm_legacy_xpath，执行前把**历史遗留**的
  `//*[@attr=…][k]` 窄范围纠正为带括号形式（只改前缀，结构路径 …/FrameLayout[2] 的
  兄弟序号保持不动）——已存任务无需重抓即可恢复。
- editor.js: 抓取弹窗每条元素新增「▶ 点一下」（按 bounds 中心真点一次，/api/screen/tap
  snap=1 吸附）与「✓ 测选择器」（用将填入的选择器跑 /api/steps/test 验证命中），
  点击后自动刷新截图；底部加用法提示。
- doc/TASK_DEV.md：写明 xpath 序号必须整体加括号 + 旧形态自动纠正 + 优先文字/唯一 id。
 2026-09-10 15:31:33 +08:00
butubb 8072f4a380 docs: 补充动作库文档——ARCHITECTURE 加 agent_action 表与「AI 控制台记忆面板」小节、agent_api 职责含动作库；DEVELOPMENT 幂等建表清单加 agent_action 2026-09-10 14:03:09 +08:00
butubb 91b2785c6b feat: 动作库查看/管理（接口 + AI 控制台「🎬 动作库」面板）+ 未沉淀灰卡提示 
- 后端：GET /api/agent/actions（列表）、POST /api/agent/actions/delete、
  POST /api/agent/actions/save（新增/编辑，steps 走 _sanitize_actions 校验：
  type 白名单 + 必填 + **拒绝坐标 click_xy**），均 @admin_required
- 前端：AI 控制台右上角新增「🎬 动作库」按钮与模态框——列出 名称/app/别名/
  步骤摘要(含元素定位)/命中次数/更新时间；支持编辑(表单 + steps JSON)、删除、
  手动新建；保存失败(如写坐标)即时 toast 原因
- 未沉淀提示：本轮无可沉淀动作时也推送一张 🧠 动作经验 灰卡
  「本轮未沉淀动作（步骤以坐标定位为主，缺少可复用的元素定位信息）」
- doc/API.md：登记三个新接口
实测：列表返回自动沉淀的动作；保存合法动作 200；提交 click_xy 步骤被 400 拒绝；
删除生效
 2026-09-10 13:58:38 +08:00
butubb 104964aa53 feat: 动作经验库(agent_action)——成功步骤蒸馏命名动作(带元素定位/禁坐标)+ 执行前召回注入 
- 新表 agent_action(name/app/aliases/params/steps/preconditions/hits/时间)，
  独立于人工维护的 custom_action(2B 决策)：AI 自学动作不污染手建动作
- 沉淀：任务成功后从**成功**工具轨迹(_ACTION_TOOLS: open_app/tap_text/tap_element/
  type_text/clipboard/swipe/press_key/wake/sleep)用模型蒸馏为命名动作；steps 用
  编辑器 schema，**必须元素定位**(xpath/text/resourceId/description…)，
  **显式剔除 click_xy 等坐标类**；on_tool 记录带 result 的结构化轨迹以判成败
- 兼容模型形状漂移：顶层 {action,params} 自动归一为 {name,steps}；宽容 JSON 解析
  (围栏/尾逗号/中文引号/坏对象逐条抢救)，实测模型常返回带语法错误的 JSON
- 召回：执行前按动作名/别名命中(或相似度≥0.34)取 top3，注入 system prompt
  「可复用动作」段(含元素定位)，模型可跳过重新探索；hits 回写
- 文档同步：ARCHITECTURE §3.6(agent_action 表)、API.md(🧠 动作经验 伪卡片 + 动作库
  说明)、AI_TASK_GEN P1(沉淀进展)
实测：跑「打开抖音，点搜索」→ 沉淀「打开抖音」；下一轮同指令命中并注入；日志
「命中可复用动作 1 个」「动作提炼: 轨迹 5 步, 成功可沉淀 1 步」「动作经验已保存 1 条」
 2026-09-10 13:53:04 +08:00
butubb 4e71f79a10 fix: 经验库命中数算错(单条恒显示 0)+ 蒸馏前缀误杀 + 命中卡片带摘要 
- _find_experiences 改为返回 (注入文本, 命中配方列表)：此前卡片用
  exp_ctx.count('\n- ') 计数，单条恒为 0、两条为 1(永远少 1)，用户看到
  「命中 0 条」误判为没参考；现用 len(列表) 得真实条数并附配方摘要
- 新增 _clean_recipe()：清洗模型可能加的「操作配方：」前缀，替换旧判定
  "配方" not in recipe[:50]——该判定与蒸馏提示词(要求以「操作配方」作答)
  自相矛盾，模型照做即被整条丢弃(静默)，是经验存不下来的主因
- doc/API.md：SSE step 说明补 🧠 伪卡片语义(N 为实际条数 + 摘要)
实测：同一指令由「命中 0 条」变为「命中 1 条同类历史经验，已注入参考：<摘要>」
 2026-09-10 13:41:10 +08:00
butubb 19560aba3e docs: 数字员工知识库升级到平台同级——补操作纪律/状态检查/SOP 
- KNOWLEDGE_BASE.md 重写：§0 快速开始；§5 操作纪律(与内置 AI 控制台等价的 10 条：
  先看设备/先看屏/定位三段优先级/吸附验证/输入两拍/每步验证/无变化不重点/如实汇报/
  效率/连续 6 步无进展停止)；§6 开跑前状态检查 7 项(含「屏幕是否点亮/解锁」：
  用 screen_state+画面判断，黑屏先 de_wake 再重截，未确认亮屏不许点按)；§7 执行中
  状态判据(息屏/锁屏、页面到位判据表、加载抖动、幂等重放注意)；§8 SOP 五阶段+闸门
  (P0 澄清→P1 预检→P2 到起点→P3 观察-行动-验证循环→P4 收尾还原→P5 固定汇报口径)
  含卡住判定表(2 步换策略/6 步停)；§9 异常处置速查；§10 效率预算
- JOB_SPEC.md §4 SOP 改为指向知识库 §5-§8 + 五阶段概览，两份不打架
 2026-09-10 13:41:06 +08:00
butubb 357fe98e22 fix: AI 控制台 MCP 不可达给出明确文案——不再显示 SDK 含糊报错 
MCP 客户端(streamable_http)在工具服务不可达/返回非 MCP 响应时只抛
'Server returned an error response'，用户无法判断原因。改为：
- 后端 web/agent_api.py:_execute 包裹 _load_tools/run_stream，识别连接类错误
  (Server returned an error response/ConnectError/refused 等)后抛明确文案：
  'MCP server(8033) 不可达：无法加载设备工具(<url>)。请确认 MCP server 已启动…'
- 前端 static/admin/agent.js 加 _friendlyAgentError() 兜底映射并去掉
  'RuntimeError:' 之类前缀，三处错误展示统一使用
- 文档同步：MCP.md(依赖提示+本机启动命令)、API.md(SSE error 文案说明)、
  DEPLOY.md(故障排查新增一行)
实测：停掉 MCP 复现 → 前端显示明确文案；启动 MCP 后 AI 控制台正常完成任务
 2026-09-10 10:28:57 +08:00