 butubb
|
4b5b836d31
|
feat: AI 控制台回答支持 Markdown 渲染 + 推理链可折叠 + token 用量显示
- markdown.js（新增，无 CDN 依赖）：轻量 Markdown 渲染（标题/列表含嵌套/表格/
代码块/引用/链接…），先 esc() 转义再套标记，模型输出的 HTML 只当文本显示
- agent.js：回答改走 Markdown；推理链改为 <details> 可折叠（流式时展开、正文开始
自动收起、手动点过后不再自动改）；单条消息 token 脚注 + 顶栏「本会话累计」
- monitor.html：消息结构加 .reasoning/.agent-usage、顶栏 token 徽标、md 相关样式，
引入 markdown.js（base.js 之后、agent.js 之前）
- mcp_agent/agent.py：请求带 stream_options.include_usage，按「每次模型调用」累计
usage（末尾 chunk），on_usage 回调吐累计值；网关不认该参数（400/422/点名）时
自动降级重试一次
- web/agent_api.py：SSE 新增 usage 事件、done 带 usage；推理链与用量随会话落库
（_REASONING_KEEP=6000 截断），回灌模型时只取 role/content
- 文档：API.md（usage 事件/done/会话消息字段）、ARCHITECTURE §5.4.1、DEVELOPMENT
前端 JS 清单
自测：假模型端点单测 3/3（正常/降级/多轮累加）；Edge headless 全链路 27 项全通过
（真实 Flask+SSE+SQLite，含 XSS 转义、刷新后回看）；Markdown 渲染器 18 用例全通过
|
2026-09-10 18:22:20 +08:00 |
|
|
butubb
|
44a9dafcd8
|
fix: AI 点击精度优化——①坐标吸附：/api/screen/tap 加 snap=1，MCP de_tap 固定开启（dump UI 树找包含点击点的最小可点击元素点中心，模型坐标偏 20-50px 也点得准，大屏触控不带 snap 行为不变）；②新 de_tap_text 语义点击：按屏幕可见文字一次完成找+点（UI 树 textContains/descriptionContains → OCR 中心兜底，WebView/图片文字也能点）；③de_tap_element 支持 text_contains/desc_contains 模糊匹配；④de_ui_tree 可点击元素优先 + limit 参数防 token 膨胀；⑤agent 提示词重写：文字语义点击优先、坐标仅纯图形兜底且自动吸附、点击后无变化禁止重复同坐标
|
2026-09-04 14:29:17 +08:00 |
|
|
butubb
|
1560a13d86
|
fix: tool_calls 流中断自愈——400 配对错误时移除不完整段重试一次；加消息结构诊断日志
|
2026-09-04 13:43:20 +08:00 |
|
|
butubb
|
1ada51a7f6
|
feat: 自进化经验记忆——任务成功后用模型把工具序列提炼成「操作配方」存入 agent_experience 表；下次相似任务（bigram 相似度检索 top2）自动注入 system prompt 参考，AI 越用越聪明（同类操作不再摸索）
|
2026-09-04 13:33:30 +08:00 |
|
|
butubb
|
5145f83f06
|
feat: AI 控制台增强——①de_read_clipboard 剪贴板回读工具；②任务可中断（stop_event 循环检查点 + API stop + 前端■停止按钮）；③智能滚动（回看历史不被打断，贴底才跟随）；④右侧实时画面（MJPEG 流自动跟随操作设备，可手动选择）
|
2026-09-04 13:32:35 +08:00 |
|
|
butubb
|
44cab88546
|
fix: Agent 步骤上限优化——max_steps 20→40（多步任务如打开抖音搜索），system prompt 加收敛规范（无进展 6 步主动停止总结），超限时无工具收尾请求让模型给有意义总结（不再机械提示）；web 超时 600→900s
|
2026-09-04 13:23:04 +08:00 |
|
|
butubb
|
ce4e5464b9
|
feat: AI 控制台会话化 + 视觉优化——①多轮对话连续性（后端 history 持久化 12 轮，Agent 注入历史上下文，DeepSeek 式会话：新建会话才清空）；②聊天区改浅色（DeepSeek 风格，图片文字清晰）；③截图点击放大查看
|
2026-09-04 13:18:36 +08:00 |
|
|
butubb
|
e24458a085
|
feat: AI 控制台升级为顶级 Tab——DeepSeek 风格聊天界面（气泡+流式渲染+思考折叠），实时 MCP 步骤卡片（工具/参数/截图缩略），SSE 流式输出（delta/step/done/error 事件），配置模态（模型/Key/设备前端可配）；工具页旧子栏移除
|
2026-09-04 13:09:34 +08:00 |
|
|
butubb
|
19126d1a59
|
fix: Agent MCP 连接短超时（10s 快速失败）+ web 600s 兜底
|
2026-09-04 12:59:32 +08:00 |
|
|
butubb
|
fea5a57fc3
|
feat(M2): Web AI 控制台——工具页新增子分栏：模型/Key/设备前端可配置（app_meta 存储，key 打码回显），指令执行 + 步骤流轮询（含截图缩略）+ 回答展示；Agent 加 on_step 回调、后台线程单实例运行
|
2026-09-04 12:54:17 +08:00 |
|
|
butubb
|
7017ff3315
|
feat(M1): 补 de_wake/de_press_key 工具（Agent 熄屏可自唤醒）；修复 MCP SDK v2 input_schema 字段警告
|
2026-09-04 12:50:55 +08:00 |
|
|
butubb
|
937a87b36c
|
feat(M1): Agent 编排层（OpenAI 兼容）——DeepSeek 等第三方模型经 MCP 工具控制手机：工具桥转 function schema、截图图像转 image_url 多模态流、工具循环、CLI 入口（mock 验证通过）
|
2026-09-04 12:47:09 +08:00 |
|