butubb/auto_control
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
151 Commits 2 Branches 6 Tags
972db13f818a483bd7066a5da3dea50383d0725f
Commit Graph
24 Commits
Author SHA1 Message Date
butubb 972db13f81 fix: 经验/动作蒸馏不再静默丢弃（关推理 + 质量门槛 + 截断容忍）+ 前端会话显示 ID 
问题：蒸馏模型把 token 预算烧在 reasoning 上 → content 为空/被截断（finish_reason=length），
代码只读 content → 经验与动作被静默丢弃（"使用小红书找苏州饭店"跑完什么都没存，动作侧日志
'原始输出 0 字符'）。

修复（web/agent_api.py）：
- 蒸馏调用统一加 "thinking": {"type":"disabled"}（该代理支持；实测关掉后 reasoning=0、
  配方 3/3 合格）——关键修复
- 配方：纯文本问法 + _recipe_ok 质量门槛（过短/含省略号占位丢弃，避免把提示词示例当真配方；
  曾因提示词里写了占位示例，模型照抄成 "1. …\n2. …" 存进库）+ 空则重试一次；
  仅动作提炼允许回退 reasoning_content（配方不回退，防思考草稿污染）
- 动作：JSON 输出 + _loads_lenient 截断容忍（逐对象抢救）+ {action,params} 形状归一 +
  输入/产出限量（≤10 步、≤3 动作×4 步）；失败日志带样本
- 前端 agent.js：会话列表显示会话 ID 前 8 位（等宽小字），点击复制完整 ID（便于引用 conv=<id>）
- doc/ARCHITECTURE.md：§3.8 序号语义 + §5.4 蒸馏健壮性与会话 ID 说明
实测：真机复跑同一句需求 → 经验已保存（配方 196 字符）+ 动作经验已保存 2 条
 2026-09-10 15:31:39 +08:00
butubb 91b2785c6b feat: 动作库查看/管理（接口 + AI 控制台「🎬 动作库」面板）+ 未沉淀灰卡提示 
- 后端：GET /api/agent/actions（列表）、POST /api/agent/actions/delete、
  POST /api/agent/actions/save（新增/编辑，steps 走 _sanitize_actions 校验：
  type 白名单 + 必填 + **拒绝坐标 click_xy**），均 @admin_required
- 前端：AI 控制台右上角新增「🎬 动作库」按钮与模态框——列出 名称/app/别名/
  步骤摘要(含元素定位)/命中次数/更新时间；支持编辑(表单 + steps JSON)、删除、
  手动新建；保存失败(如写坐标)即时 toast 原因
- 未沉淀提示：本轮无可沉淀动作时也推送一张 🧠 动作经验 灰卡
  「本轮未沉淀动作（步骤以坐标定位为主，缺少可复用的元素定位信息）」
- doc/API.md：登记三个新接口
实测：列表返回自动沉淀的动作；保存合法动作 200；提交 click_xy 步骤被 400 拒绝；
删除生效
 2026-09-10 13:58:38 +08:00
butubb 104964aa53 feat: 动作经验库(agent_action)——成功步骤蒸馏命名动作(带元素定位/禁坐标)+ 执行前召回注入 
- 新表 agent_action(name/app/aliases/params/steps/preconditions/hits/时间)，
  独立于人工维护的 custom_action(2B 决策)：AI 自学动作不污染手建动作
- 沉淀：任务成功后从**成功**工具轨迹(_ACTION_TOOLS: open_app/tap_text/tap_element/
  type_text/clipboard/swipe/press_key/wake/sleep)用模型蒸馏为命名动作；steps 用
  编辑器 schema，**必须元素定位**(xpath/text/resourceId/description…)，
  **显式剔除 click_xy 等坐标类**；on_tool 记录带 result 的结构化轨迹以判成败
- 兼容模型形状漂移：顶层 {action,params} 自动归一为 {name,steps}；宽容 JSON 解析
  (围栏/尾逗号/中文引号/坏对象逐条抢救)，实测模型常返回带语法错误的 JSON
- 召回：执行前按动作名/别名命中(或相似度≥0.34)取 top3，注入 system prompt
  「可复用动作」段(含元素定位)，模型可跳过重新探索；hits 回写
- 文档同步：ARCHITECTURE §3.6(agent_action 表)、API.md(🧠 动作经验 伪卡片 + 动作库
  说明)、AI_TASK_GEN P1(沉淀进展)
实测：跑「打开抖音，点搜索」→ 沉淀「打开抖音」；下一轮同指令命中并注入；日志
「命中可复用动作 1 个」「动作提炼: 轨迹 5 步, 成功可沉淀 1 步」「动作经验已保存 1 条」
 2026-09-10 13:53:04 +08:00
butubb 4e71f79a10 fix: 经验库命中数算错(单条恒显示 0)+ 蒸馏前缀误杀 + 命中卡片带摘要 
- _find_experiences 改为返回 (注入文本, 命中配方列表)：此前卡片用
  exp_ctx.count('\n- ') 计数，单条恒为 0、两条为 1(永远少 1)，用户看到
  「命中 0 条」误判为没参考；现用 len(列表) 得真实条数并附配方摘要
- 新增 _clean_recipe()：清洗模型可能加的「操作配方：」前缀，替换旧判定
  "配方" not in recipe[:50]——该判定与蒸馏提示词(要求以「操作配方」作答)
  自相矛盾，模型照做即被整条丢弃(静默)，是经验存不下来的主因
- doc/API.md：SSE step 说明补 🧠 伪卡片语义(N 为实际条数 + 摘要)
实测：同一指令由「命中 0 条」变为「命中 1 条同类历史经验，已注入参考：<摘要>」
 2026-09-10 13:41:10 +08:00
butubb 357fe98e22 fix: AI 控制台 MCP 不可达给出明确文案——不再显示 SDK 含糊报错 
MCP 客户端(streamable_http)在工具服务不可达/返回非 MCP 响应时只抛
'Server returned an error response'，用户无法判断原因。改为：
- 后端 web/agent_api.py:_execute 包裹 _load_tools/run_stream，识别连接类错误
  (Server returned an error response/ConnectError/refused 等)后抛明确文案：
  'MCP server(8033) 不可达：无法加载设备工具(<url>)。请确认 MCP server 已启动…'
- 前端 static/admin/agent.js 加 _friendlyAgentError() 兜底映射并去掉
  'RuntimeError:' 之类前缀，三处错误展示统一使用
- 文档同步：MCP.md(依赖提示+本机启动命令)、API.md(SSE error 文案说明)、
  DEPLOY.md(故障排查新增一行)
实测：停掉 MCP 复现 → 前端显示明确文案；启动 MCP 后 AI 控制台正常完成任务
 2026-09-10 10:28:57 +08:00
butubb caa646e89c fix: 会话落库/加载缺 app context——后台线程 db 操作必须包 _flask_app.app_context()（历史加载与完成写回两处），否则静默失败（消息不落库、标题不生成） 2026-09-06 15:14:30 +08:00
butubb a77635c925 feat: AI 控制台历史会话（DeepSeek 式）——①agent_conversation 表：会话持久化（单表 JSON 消息），一轮 run 完成后 user/assistant 自动落库、新会话以首条消息作标题；②会话 API：列表/新建/详情/删除/重命名；③run 绑定 conversation_id：history 从会话加载（多轮上下文延续）、完成写回；④前端三栏布局：左侧会话栏（新建/列表/高亮/悬停删除/轮数时间）+ 聊天 + 实时画面，切换会话即切换上下文，刷新后自动恢复当前会话与消息 2026-09-06 15:12:56 +08:00
butubb 9b8ecd63f7 fix: AI 控制台切页/刷新不丢——①EventSource onerror 不再误 endRun（断网/后台节流/瞬时抖动都会触发 onerror 而后端任务仍在跑；EventSource 自动重连 + 服务端队列保留积压事件，重连后补发，连接彻底关闭才提示可刷新恢复）；②页面刷新恢复：GET /api/agent/run 增加 run_id/answer/error/history，前端 restoreAgentView 渲染历史轮次、running 时自动重订阅事件流、done/error 展示结果——切走再回来任务与对话都在 2026-09-06 09:41:02 +08:00
butubb 0f75db289d feat: AI 目标设备必选 + 设备任务占用锁——①前端新增「🎯 目标设备」选择器（在线设备含型号，任务运行中的设备禁选），发送必须选定设备，AI 只操作你指定的设备；②/api/agent/run 校验：serial 不在池/离线/任务 running-connecting → 拒绝（409 提示任务名）；③MCP 11 个写工具加 busy 锁（_ensure_device_free，5s 缓存）：任务运行中的设备 AI 一律拒绝，AI 不与任务抢设备（外部 MCP 客户端同样受保护）；④运行状态端点 GET /api/agent/run + 前端 8s 轮询：多人/多窗口能看到运行中任务（发起时间/任务/设备）并可停止（stop 加确认）；未选设备直接 400 引导请选择设备，去掉模型自己乱挑设备的行为 2026-09-06 09:32:11 +08:00
butubb 850d2e2e66 feat: 最大执行步骤可配置——AI 控制台 ⚙ 配置弹窗新增「最大执行步骤」输入（1-200，默认 40），存 app_meta（agent_max_steps），Agent 线程运行时覆盖 agent.s.max_steps；此前仅环境变量 AGENT_MAX_STEPS 可改 2026-09-06 09:26:53 +08:00
butubb f7aa71cca4 fix: AI 控制台实时画面跟随 AI 所选设备——后端 step 事件 args 原为 str() 的 Python repr（单引号），前端 JSON.parse 失败导致 followSerialFromArgs 从未生效；改为保留对象序列化，前端兼容对象/字符串并修 step 卡片 args 展示（避免 [object Object]） 2026-09-06 09:21:03 +08:00
butubb fbd01a056c fix: 经验巡检评审失败重试——模型偶发输出解释文字不带 JSON（实测 4/11 条评审失败自动保留），失败后重试一次并强调只输出 JSON；仍失败才保守保留 2026-09-04 16:19:23 +08:00
butubb 5681989194 feat: 经验库每日 AI 巡检 + 管理面板——①experience_audit 表：逐条评审（具体可执行/无过时坐标/非对话续语/配方与序列一致 checklist），keep 直接归档、delete 标 pending 待人工，绝不自动删；人工 kept 后不再重复建议；②web_server 注册每日 03:47 巡检 job（Asia/Shanghai）；③API：经验列表（含巡检建议）/确认删除/保留/手动触发巡检；④AI 控制台右上角「🧠 经验库」面板：经验卡片 + 建议徽章与理由 + 删除（confirm）/保留按钮 2026-09-04 15:53:08 +08:00
butubb 9c700292c3 fix: 经验入库质量门槛——①对话续语/质疑/纠错轮次不再存为经验（prompt 过短、继续/还有等续语开头、你确定/还没有/不是吧等质疑词、无任务动词的疑问短句→弃），被用户纠正的失败轮次入库会教坏后续任务；②配方含不存在的 de_* 工具弃存（蒸馏模型编造 de_input 之类）；③检索命中 hits 回写 +1，高频有效经验浮前 2026-09-04 15:43:21 +08:00
butubb 729f40893e feat: 经验写入即时提示——提炼+保存挪到 done 事件之前（原在 done 后执行、SSE 已关流，用户看不到），成功后推 🧠 经验记忆 step 卡片「已写入记忆库，下次相似任务自动参考」；_save_experience 返回成功与否；蒸馏超时 60s→25s 防收尾拖沓 2026-09-04 15:12:55 +08:00
butubb 1560a13d86 fix: tool_calls 流中断自愈——400 配对错误时移除不完整段重试一次；加消息结构诊断日志 2026-09-04 13:43:20 +08:00
butubb c0c1be05f8 fix: 经验保存缺 app context（后台线程 db 报错被吞）——register_blueprints 注入 app，线程内 db 操作包 app_context 2026-09-04 13:37:33 +08:00
butubb 1ada51a7f6 feat: 自进化经验记忆——任务成功后用模型把工具序列提炼成「操作配方」存入 agent_experience 表；下次相似任务（bigram 相似度检索 top2）自动注入 system prompt 参考，AI 越用越聪明（同类操作不再摸索） 2026-09-04 13:33:30 +08:00
butubb 5145f83f06 feat: AI 控制台增强——①de_read_clipboard 剪贴板回读工具；②任务可中断（stop_event 循环检查点 + API stop + 前端■停止按钮）；③智能滚动（回看历史不被打断，贴底才跟随）；④右侧实时画面（MJPEG 流自动跟随操作设备，可手动选择） 2026-09-04 13:32:35 +08:00
butubb 44cab88546 fix: Agent 步骤上限优化——max_steps 20→40（多步任务如打开抖音搜索），system prompt 加收敛规范（无进展 6 步主动停止总结），超限时无工具收尾请求让模型给有意义总结（不再机械提示）；web 超时 600→900s 2026-09-04 13:23:04 +08:00
butubb ce4e5464b9 feat: AI 控制台会话化 + 视觉优化——①多轮对话连续性（后端 history 持久化 12 轮，Agent 注入历史上下文，DeepSeek 式会话：新建会话才清空）；②聊天区改浅色（DeepSeek 风格，图片文字清晰）；③截图点击放大查看 2026-09-04 13:18:36 +08:00
butubb e24458a085 feat: AI 控制台升级为顶级 Tab——DeepSeek 风格聊天界面（气泡+流式渲染+思考折叠），实时 MCP 步骤卡片（工具/参数/截图缩略），SSE 流式输出（delta/step/done/error 事件），配置模态（模型/Key/设备前端可配）；工具页旧子栏移除 2026-09-04 13:09:34 +08:00
butubb 25ef7e7746 fix: agent_api 同步 dev（事务/_execute 遮蔽/600s 超时） 2026-09-04 13:04:44 +08:00
butubb fea5a57fc3 feat(M2): Web AI 控制台——工具页新增子分栏：模型/Key/设备前端可配置（app_meta 存储，key 打码回显），指令执行 + 步骤流轮询（含截图缩略）+ 回答展示；Agent 加 on_step 回调、后台线程单实例运行 2026-09-04 12:54:17 +08:00