butubb/auto_control
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
248 Commits 2 Branches 6 Tags
dev
Commit Graph
16 Commits
Author SHA1 Message Date
butubb ed9e8bacb1 feat(AI 建任务): 直接创建 + 草稿沉淀 + MCP de_snapshot；修「建任务页收不到 done」 
用户报的"探索完无法点击创建任务"真因：一个 run 的事件原先只有**一条** queue.Queue，
聊天页与建任务页同时开着时两个 EventSource 会**瓜分**它——建任务页的回放卡在中间、
`done` 被聊天页取走 → 永远等不到草稿，页面上自然没有可点的"创建"。

一、修（根因 + 表现）
- `web/agent_api.py` 新增 `_Fanout`：**每个订阅者一个专属队列**，多开页面各看各的，
  还带单轮事件缓冲（晚订阅/刷新重连也能补齐回放，终止事件一定送达）。
  实测两路订阅者收到完全一致的 1039 条事件（含 done）。
- `static/admin/agent.js`：断线重连的兜底订阅也按 `mode` 让开（此前漏了这一处）。

二、补齐上一批的三项
- **「直接创建」**：`POST /api/agent/task_draft/create`（草稿体只在服务端、创建前再校验一次、
  成功后清草稿避免重复建）+ 草稿预览里的「✓ 直接创建任务」按钮 + 「探索完直接创建任务」勾选框。
- **草稿沉淀经验/动作**：designer 轮次也走 `_distill_experience/_distill_actions`，
  但**只在草稿通过校验时**（没走通的试错不入库，免得把误点当经验）。
- **MCP `de_snapshot`**（第 20 个工具）：截图+元素树一次取齐（省一次来回、不会因界面在动而错位），
  附带 `screen_state`/`unstable`；两套提示词都改为优先用它。
  平台侧 `/api/uiauto/snapshot` 随之多返回 `screen_state`。

三、文档
- AI_TASK_GEN §10：§10.3 记两个 bug 的真因与修法、§10.4 三项标完成、§10.5 剩余项。
- AI_CONSOLE（扇出语义、多页面同时看一轮）、API（task_draft/create、snapshot 字段）、
  MCP/MCP_DESIGN/staffdeck/README/ARCHITECTURE：工具数 19→20 + de_snapshot 条目。
- backlog：记一条新发现的缺陷——`mcp_server/platform_client._login()` 会把"登录页 200"
  当成登录成功（现场进程缺 `MCP_PLATFORM_PASS` 时表现为含糊的 platform_unavailable）。

自测：真机浏览器端到端（勾上"探索完直接创建"）→ 探索 12 步 → 草稿 → 自动建任务成功；
`de_snapshot` 直连真机校验；校验器 21 条用例、扇出单元用例、本地工具契约用例全绿。
自测产生的任务/草稿已全部清理（未碰用户既有数据）。
 2026-09-14 08:14:11 +08:00
butubb 46e6ea1f37 feat(AI 建任务): AI 自己在真机探索 → 写出可调度任务 → 人工确认入库 
AI 控制台下新增子分栏「🧭 AI 建任务」：描述要做什么（例：建一个跑 2 小时的任务、自动刷
某 App、随机点赞），AI 用 de_* 工具自己在设备上探索（看屏/读元素树/点按验证），把走通的
路径写成一条任务草稿，经服务端校验后交人在步骤编辑器里核对/手改/试跑，保存才入库。

链路：POST /api/agent/run{mode:"designer", settings}
  → Agent 自探 → 本地工具 submit_task(draft)
  → core/task_draft 校验（失败把 errors 回灌模型让它改）
  → 只暂存（运行态 + app_meta.agent_task_draft，**不落库**）
  → SSE done{mode,draft,warnings} → 页面草稿预览 → openTaskModal(null, prefill) 预填

关键实现
- core/task_draft.py（新）：把执行器的"静默跳过点"（未知 type/空 selector/空 children/
  嵌套>5/节点>60/cron 非法/必填缺失）前移成显式 error——POST /api/jobs 对 params 是盲存的，
  执行器又静默跳过错误步骤，没有这道闸门就是"任务建好了、跑起来什么都没做"。
  归一化兜底任务名/target/schedule/retry/时长；页面填的设置以 overrides 优先于模型。
  故意**不比执行器更严**：loop_mode 近义值归一（count→rounds）、缺 max_iterations 补默认 10
  （执行器本来就默认）——实测卡太死会把一轮探索耗在改字段上。
  有副作用的步骤（评论/发送/购买/删除…）只警告并把触发概率压到 30%（编辑器可改回）。
- mcp_agent/agent.py：双系统提示词（CHAT/DESIGNER）+ 平台级本地工具
  （LOCAL_TOOL_SPECS，不进 MCP）+ 每工具调用上限 40 + designer 输出上限 8192 +
  **json.loads 容错**（草稿被截断时给模型可读错误，而不是整轮失败）。
- web/agent_api.py：mode/settings 透传、submit_task 处理器（app_context 内校验+暂存）、
  done 带 draft、GET /api/agent/task_draft{,+POST,/clear}（草稿走 app_meta，不新建表）。
- 前端：static/admin/taskgen.js + #agent-sub-taskgen 子面板（showSubTab 机制）；
  tasks.js 的 openTaskModal(jobId, prefill) + 信封归一化 + 唯一 draftKey；
  agent.js 按 mode 门控（一个 run 只有一个事件队列，两个 EventSource 会互相瓜分事件）。

顺带修掉一个 chat 也踩的协议 bug：一轮里同时调 de_screenshot 与别的工具时，截图图像会被
插在两条 tool 消息之间 → 模型侧判"工具回应不足"直接 400。改为本轮 tool 消息发完再附图像，
_repair_tool_messages 也改成只数**连续**的 tool 消息。

真机实测（Redmi 22120RN86C，设置页）：8 步探索（含 tap_text 验证）→ submit_task 一次通过 →
草稿 8 个顶层步骤（screen_on/open_app/wait_el/click/wait/key_event…）、max_duration 1800、
无 click_xy、3 条 evidence；页面恢复草稿 + 预填编辑器 + 提示块渲染均正常，无 JS 报错。
自测数据已清理（草稿已丢弃、未创建任何任务）。

文档：AI_TASK_GEN.md 状态改「P0 已实现」+ §10 实现记录（差异/护栏/未做项）、AI_CONSOLE.md
（子分栏、designer 分支、SSE done 负载、app_meta 键）、API.md、DATA_MODEL.md、ARCHITECTURE.md、
DEVELOPMENT.md（自测入口）、README.md 索引、backlog 勾掉 P0。
 2026-09-13 23:08:59 +08:00
butubb 79cdf61ed2 feat: 自动认领开关 + 全站按设备名称显示 
一、指纹匹配自动认领（可选，默认关）
- 发现设置新增「指纹匹配自动认领」勾选（app_meta: discovery_auto_claim，默认 0）
- 打开后：扫描发现某设备指纹与池中已有记录一致（同一台换了 IP）→ 自动迁移记录到新地址
  并同步分组/任务引用，零点击；关闭时维持"识别自动 + 人工点一次确认"
- 默认关的原因：认领会改写分组/任务引用（数据结构变动），交人工确认更稳妥
- 扫描结果与状态行会显示本轮自动认领了几台

二、设备名称在界面上呈现（凡选择/展示设备处都显示名称）
- 新增前端 helper `devText(name, serial)`（base.js）：有名称→「名称 · serial」
- 监控页设备表：名称加粗为主、地址作副行（未命名显示橙色提醒）；任务概况的覆盖设备
  chip 也优先显示名称（tooltip 保留完整地址）
- AI 控制台：目标设备下拉、实时画面设备下拉、目标/运行中提示都带名称（serial→name 映射）
- 任务编辑器「指定设备」下拉、分组编辑的设备勾选列表：带名称
- 后端 `/api/devices` 新增 `items`（[{serial,name,model}]，`devices` 保持兼容）；
  `/api/agent/devices` 增加 `name` 字段
- MCP `de_list_devices` 返回 `name`，并在工具说明与 Agent 系统提示里要求"汇报用名称、
  调工具用 serial"

文档：API.md（items/name/auto_claim + §6.2.1 名称呈现表）、MCP.md（工具返回）

自测（全通过）：自动认领端到端（开开关→扫描→自动迁址 + 名称保留 + 分组/任务引用同步 +
待连接池清理 + 开关默认关且可持久化）；名称显示浏览器验证（监控页/覆盖设备 chip/AI 目标与
观看下拉/任务编辑器/分组弹窗/发现设置开关）；设备指纹与人工认领回归
 2026-09-11 11:16:24 +08:00
butubb 4b5b836d31 feat: AI 控制台回答支持 Markdown 渲染 + 推理链可折叠 + token 用量显示 
- markdown.js（新增，无 CDN 依赖）：轻量 Markdown 渲染（标题/列表含嵌套/表格/
  代码块/引用/链接…），先 esc() 转义再套标记，模型输出的 HTML 只当文本显示
- agent.js：回答改走 Markdown；推理链改为 <details> 可折叠（流式时展开、正文开始
  自动收起、手动点过后不再自动改）；单条消息 token 脚注 + 顶栏「本会话累计」
- monitor.html：消息结构加 .reasoning/.agent-usage、顶栏 token 徽标、md 相关样式，
  引入 markdown.js（base.js 之后、agent.js 之前）
- mcp_agent/agent.py：请求带 stream_options.include_usage，按「每次模型调用」累计
  usage（末尾 chunk），on_usage 回调吐累计值；网关不认该参数（400/422/点名）时
  自动降级重试一次
- web/agent_api.py：SSE 新增 usage 事件、done 带 usage；推理链与用量随会话落库
  （_REASONING_KEEP=6000 截断），回灌模型时只取 role/content
- 文档：API.md（usage 事件/done/会话消息字段）、ARCHITECTURE §5.4.1、DEVELOPMENT
  前端 JS 清单

自测：假模型端点单测 3/3（正常/降级/多轮累加）；Edge headless 全链路 27 项全通过
（真实 Flask+SSE+SQLite，含 XSS 转义、刷新后回看）；Markdown 渲染器 18 用例全通过
 2026-09-10 18:22:20 +08:00
butubb 972db13f81 fix: 经验/动作蒸馏不再静默丢弃（关推理 + 质量门槛 + 截断容忍）+ 前端会话显示 ID 
问题：蒸馏模型把 token 预算烧在 reasoning 上 → content 为空/被截断（finish_reason=length），
代码只读 content → 经验与动作被静默丢弃（"使用小红书找苏州饭店"跑完什么都没存，动作侧日志
'原始输出 0 字符'）。

修复（web/agent_api.py）：
- 蒸馏调用统一加 "thinking": {"type":"disabled"}（该代理支持；实测关掉后 reasoning=0、
  配方 3/3 合格）——关键修复
- 配方：纯文本问法 + _recipe_ok 质量门槛（过短/含省略号占位丢弃，避免把提示词示例当真配方；
  曾因提示词里写了占位示例，模型照抄成 "1. …\n2. …" 存进库）+ 空则重试一次；
  仅动作提炼允许回退 reasoning_content（配方不回退，防思考草稿污染）
- 动作：JSON 输出 + _loads_lenient 截断容忍（逐对象抢救）+ {action,params} 形状归一 +
  输入/产出限量（≤10 步、≤3 动作×4 步）；失败日志带样本
- 前端 agent.js：会话列表显示会话 ID 前 8 位（等宽小字），点击复制完整 ID（便于引用 conv=<id>）
- doc/ARCHITECTURE.md：§3.8 序号语义 + §5.4 蒸馏健壮性与会话 ID 说明
实测：真机复跑同一句需求 → 经验已保存（配方 196 字符）+ 动作经验已保存 2 条
 2026-09-10 15:31:39 +08:00
butubb 91b2785c6b feat: 动作库查看/管理（接口 + AI 控制台「🎬 动作库」面板）+ 未沉淀灰卡提示 
- 后端：GET /api/agent/actions（列表）、POST /api/agent/actions/delete、
  POST /api/agent/actions/save（新增/编辑，steps 走 _sanitize_actions 校验：
  type 白名单 + 必填 + **拒绝坐标 click_xy**），均 @admin_required
- 前端：AI 控制台右上角新增「🎬 动作库」按钮与模态框——列出 名称/app/别名/
  步骤摘要(含元素定位)/命中次数/更新时间；支持编辑(表单 + steps JSON)、删除、
  手动新建；保存失败(如写坐标)即时 toast 原因
- 未沉淀提示：本轮无可沉淀动作时也推送一张 🧠 动作经验 灰卡
  「本轮未沉淀动作（步骤以坐标定位为主，缺少可复用的元素定位信息）」
- doc/API.md：登记三个新接口
实测：列表返回自动沉淀的动作；保存合法动作 200；提交 click_xy 步骤被 400 拒绝；
删除生效
 2026-09-10 13:58:38 +08:00
butubb 357fe98e22 fix: AI 控制台 MCP 不可达给出明确文案——不再显示 SDK 含糊报错 
MCP 客户端(streamable_http)在工具服务不可达/返回非 MCP 响应时只抛
'Server returned an error response'，用户无法判断原因。改为：
- 后端 web/agent_api.py:_execute 包裹 _load_tools/run_stream，识别连接类错误
  (Server returned an error response/ConnectError/refused 等)后抛明确文案：
  'MCP server(8033) 不可达：无法加载设备工具(<url>)。请确认 MCP server 已启动…'
- 前端 static/admin/agent.js 加 _friendlyAgentError() 兜底映射并去掉
  'RuntimeError:' 之类前缀，三处错误展示统一使用
- 文档同步：MCP.md(依赖提示+本机启动命令)、API.md(SSE error 文案说明)、
  DEPLOY.md(故障排查新增一行)
实测：停掉 MCP 复现 → 前端显示明确文案；启动 MCP 后 AI 控制台正常完成任务
 2026-09-10 10:28:57 +08:00
butubb a77635c925 feat: AI 控制台历史会话（DeepSeek 式）——①agent_conversation 表：会话持久化（单表 JSON 消息），一轮 run 完成后 user/assistant 自动落库、新会话以首条消息作标题；②会话 API：列表/新建/详情/删除/重命名；③run 绑定 conversation_id：history 从会话加载（多轮上下文延续）、完成写回；④前端三栏布局：左侧会话栏（新建/列表/高亮/悬停删除/轮数时间）+ 聊天 + 实时画面，切换会话即切换上下文，刷新后自动恢复当前会话与消息 2026-09-06 15:12:56 +08:00
butubb 9b8ecd63f7 fix: AI 控制台切页/刷新不丢——①EventSource onerror 不再误 endRun（断网/后台节流/瞬时抖动都会触发 onerror 而后端任务仍在跑；EventSource 自动重连 + 服务端队列保留积压事件，重连后补发，连接彻底关闭才提示可刷新恢复）；②页面刷新恢复：GET /api/agent/run 增加 run_id/answer/error/history，前端 restoreAgentView 渲染历史轮次、running 时自动重订阅事件流、done/error 展示结果——切走再回来任务与对话都在 2026-09-06 09:41:02 +08:00
butubb 0f75db289d feat: AI 目标设备必选 + 设备任务占用锁——①前端新增「🎯 目标设备」选择器（在线设备含型号，任务运行中的设备禁选），发送必须选定设备，AI 只操作你指定的设备；②/api/agent/run 校验：serial 不在池/离线/任务 running-connecting → 拒绝（409 提示任务名）；③MCP 11 个写工具加 busy 锁（_ensure_device_free，5s 缓存）：任务运行中的设备 AI 一律拒绝，AI 不与任务抢设备（外部 MCP 客户端同样受保护）；④运行状态端点 GET /api/agent/run + 前端 8s 轮询：多人/多窗口能看到运行中任务（发起时间/任务/设备）并可停止（stop 加确认）；未选设备直接 400 引导请选择设备，去掉模型自己乱挑设备的行为 2026-09-06 09:32:11 +08:00
butubb 850d2e2e66 feat: 最大执行步骤可配置——AI 控制台 ⚙ 配置弹窗新增「最大执行步骤」输入（1-200，默认 40），存 app_meta（agent_max_steps），Agent 线程运行时覆盖 agent.s.max_steps；此前仅环境变量 AGENT_MAX_STEPS 可改 2026-09-06 09:26:53 +08:00
butubb f7aa71cca4 fix: AI 控制台实时画面跟随 AI 所选设备——后端 step 事件 args 原为 str() 的 Python repr（单引号），前端 JSON.parse 失败导致 followSerialFromArgs 从未生效；改为保留对象序列化，前端兼容对象/字符串并修 step 卡片 args 展示（避免 [object Object]） 2026-09-06 09:21:03 +08:00
butubb 5681989194 feat: 经验库每日 AI 巡检 + 管理面板——①experience_audit 表：逐条评审（具体可执行/无过时坐标/非对话续语/配方与序列一致 checklist），keep 直接归档、delete 标 pending 待人工，绝不自动删；人工 kept 后不再重复建议；②web_server 注册每日 03:47 巡检 job（Asia/Shanghai）；③API：经验列表（含巡检建议）/确认删除/保留/手动触发巡检；④AI 控制台右上角「🧠 经验库」面板：经验卡片 + 建议徽章与理由 + 删除（confirm）/保留按钮 2026-09-04 15:53:08 +08:00
butubb 5145f83f06 feat: AI 控制台增强——①de_read_clipboard 剪贴板回读工具；②任务可中断（stop_event 循环检查点 + API stop + 前端■停止按钮）；③智能滚动（回看历史不被打断，贴底才跟随）；④右侧实时画面（MJPEG 流自动跟随操作设备，可手动选择） 2026-09-04 13:32:35 +08:00
butubb ce4e5464b9 feat: AI 控制台会话化 + 视觉优化——①多轮对话连续性（后端 history 持久化 12 轮，Agent 注入历史上下文，DeepSeek 式会话：新建会话才清空）；②聊天区改浅色（DeepSeek 风格，图片文字清晰）；③截图点击放大查看 2026-09-04 13:18:36 +08:00
butubb e24458a085 feat: AI 控制台升级为顶级 Tab——DeepSeek 风格聊天界面（气泡+流式渲染+思考折叠），实时 MCP 步骤卡片（工具/参数/截图缩略），SSE 流式输出（delta/step/done/error 事件），配置模态（模型/Key/设备前端可配）；工具页旧子栏移除 2026-09-04 13:09:34 +08:00