AI 控制台下新增子分栏「🧭 AI 建任务」:描述要做什么(例:建一个跑 2 小时的任务、自动刷
某 App、随机点赞),AI 用 de_* 工具自己在设备上探索(看屏/读元素树/点按验证),把走通的
路径写成一条任务草稿,经服务端校验后交人在步骤编辑器里核对/手改/试跑,保存才入库。
链路:POST /api/agent/run{mode:"designer", settings}
→ Agent 自探 → 本地工具 submit_task(draft)
→ core/task_draft 校验(失败把 errors 回灌模型让它改)
→ 只暂存(运行态 + app_meta.agent_task_draft,**不落库**)
→ SSE done{mode,draft,warnings} → 页面草稿预览 → openTaskModal(null, prefill) 预填
关键实现
- core/task_draft.py(新):把执行器的"静默跳过点"(未知 type/空 selector/空 children/
嵌套>5/节点>60/cron 非法/必填缺失)前移成显式 error——POST /api/jobs 对 params 是盲存的,
执行器又静默跳过错误步骤,没有这道闸门就是"任务建好了、跑起来什么都没做"。
归一化兜底任务名/target/schedule/retry/时长;页面填的设置以 overrides 优先于模型。
故意**不比执行器更严**:loop_mode 近义值归一(count→rounds)、缺 max_iterations 补默认 10
(执行器本来就默认)——实测卡太死会把一轮探索耗在改字段上。
有副作用的步骤(评论/发送/购买/删除…)只警告并把触发概率压到 30%(编辑器可改回)。
- mcp_agent/agent.py:双系统提示词(CHAT/DESIGNER)+ 平台级本地工具
(LOCAL_TOOL_SPECS,不进 MCP)+ 每工具调用上限 40 + designer 输出上限 8192 +
**json.loads 容错**(草稿被截断时给模型可读错误,而不是整轮失败)。
- web/agent_api.py:mode/settings 透传、submit_task 处理器(app_context 内校验+暂存)、
done 带 draft、GET /api/agent/task_draft{,+POST,/clear}(草稿走 app_meta,不新建表)。
- 前端:static/admin/taskgen.js + #agent-sub-taskgen 子面板(showSubTab 机制);
tasks.js 的 openTaskModal(jobId, prefill) + 信封归一化 + 唯一 draftKey;
agent.js 按 mode 门控(一个 run 只有一个事件队列,两个 EventSource 会互相瓜分事件)。
顺带修掉一个 chat 也踩的协议 bug:一轮里同时调 de_screenshot 与别的工具时,截图图像会被
插在两条 tool 消息之间 → 模型侧判"工具回应不足"直接 400。改为本轮 tool 消息发完再附图像,
_repair_tool_messages 也改成只数**连续**的 tool 消息。
真机实测(Redmi 22120RN86C,设置页):8 步探索(含 tap_text 验证)→ submit_task 一次通过 →
草稿 8 个顶层步骤(screen_on/open_app/wait_el/click/wait/key_event…)、max_duration 1800、
无 click_xy、3 条 evidence;页面恢复草稿 + 预填编辑器 + 提示块渲染均正常,无 JS 报错。
自测数据已清理(草稿已丢弃、未创建任何任务)。
文档:AI_TASK_GEN.md 状态改「P0 已实现」+ §10 实现记录(差异/护栏/未做项)、AI_CONSOLE.md
(子分栏、designer 分支、SSE done 负载、app_meta 键)、API.md、DATA_MODEL.md、ARCHITECTURE.md、
DEVELOPMENT.md(自测入口)、README.md 索引、backlog 勾掉 P0。
5.7 KiB
5.7 KiB
auto_control 文档总索引
本目录是 auto_control(Android 多设备自动化任务平台)的唯一权威文档源。代码即事实,文档与代码不一致时以代码为准,并顺手把文档改对(见文末维护约定)。
项目名称统一为 auto_control(历史文档里出现过的
platform-tools均为旧名,已全部改名)。
1. 文档地图
| 文档 | 内容 | 主要读者 |
|---|---|---|
| ARCHITECTURE.md | 架构详解:分层、启动装配顺序、线程与并发模型、设备生命周期、任务调度链路、状态机、关键设计决策与扩展点 | 所有开发者(先读这篇) |
| DATA_MODEL.md | 数据模型:SQLite 表与字段、schema 迁移、非模型表、app_meta 配置键、数据目录、备份覆盖清单 |
后端开发、运维 |
| API.md | HTTP 接口全量:按蓝图分组的路由表、鉴权、请求/响应示例、非 JSON 响应、错误分支 | 前端开发、外部接入 |
| TASK_DEV.md | 任务与步骤开发:TaskType/TaskJob 概念、18 种步骤全表、选择器与定位、自定义动作、新增任务类型模板 | 写任务的开发 |
| MCP.md | MCP 手机控制手册:19 个 de_* 工具用法、写操作门控、坐标换算、接入示例 |
接入方、数字员工 |
| MCP_DESIGN.md | MCP 设计文档:边界划分、错误码、白名单/审计设计、演进方向 | 平台开发者 |
| AI_CONSOLE.md | AI 控制台:会话/SSE、经验库、动作库、巡检、Markdown 渲染、推理链、token 统计 | 使用者、平台开发者 |
| AI_TASK_GEN.md | AI 建任务:AI 自己在真机探索 → 写出可调度任务 → 人工确认入库(P0 已实现;契约与红线) | 平台开发者、使用者 |
| DEVICE_AGENT.md | 设备端 Agent 接口契约:应用商店的设备专用接口(清单/下载/上报)、adb 指令协议、版本约定 —— 与设备端 APK 仓库共享的契约 | 设备端开发者、平台开发者 |
| DEPLOY.md | 部署与运维:环境准备、生产容器、数据备份导出/导入、故障排查 | 运维、部署者 |
| DEVELOPMENT.md | 开发手册:git 流程、技术红线、本地开发与调试、常见开发任务、文档同步约定 | 所有开发者 |
| STF_REMOVAL.md | 历史记录:摘除 OpenSTF 的迁移过程(阶段 0-3) | 追溯背景时参考 |
| staffdeck/KNOWLEDGE_BASE.md | 给 StaffDeck 数字员工的知识库(MCP 接入/工具/约定/红线) | 外部 AI 接入方 |
| staffdeck/JOB_SPEC.md | 数字员工岗位说明(岗位描述/看板摘要/执行约束) | 外部 AI 接入方 |
| research/U2_ELEMENT_SELECTORS.md | 元素选择器研究:「点不到按钮」的根因(序号型选择器随界面变形而错位)与语义选择器解法 | 写任务/抓元素的开发 |
| backlog/TODO.md | 已确认但暂缓的待办(含已知问题) | 所有开发者 |
项目根目录的 README.md 是项目总览与快速上手(面向第一次接触项目的人),细节都在本目录。
2. 推荐的阅读路径
| 你的目的 | 按顺序读 |
|---|---|
| 第一次接触项目 | 根 README.md → ARCHITECTURE.md → DATA_MODEL.md |
| 搭环境跑起来 | 根 README.md 的「快速上手」→ DEPLOY.md |
| 写/改任务 | TASK_DEV.md → ARCHITECTURE.md §任务调度 |
| 改后端/前端 | DEVELOPMENT.md(流程+红线+本地开发)→ ARCHITECTURE.md → API.md |
| 对外提供手机控制 | MCP.md → staffdeck/KNOWLEDGE_BASE.md |
| 排故障 | DEPLOY.md §故障排查 → DEVELOPMENT.md §调试 |
3. 文档维护约定(红线)
与「doc 同步红线」一致:任何功能/配置/接口/表结构的增删改,必须在同一个 commit 里同步更新对应文档。
| 改动类型 | 必须同步的文档 |
|---|---|
| HTTP 接口(新增/改参数/改返回/改鉴权) | API.md |
| 数据库表/字段/迁移 | DATA_MODEL.md + ARCHITECTURE.md |
| 新增持久化表 | 还要登记进 core/system_backup.py 的 SUMMARY_TABLES + DEPLOY.md §3.5(备份覆盖红线) |
config.py / .env 键 |
DEVELOPMENT.md 配置速查 + DEPLOY.md + .env.example |
| 页面 Tab / 子分栏 / 前端 JS 拆分 | ARCHITECTURE.md §前端 + DEVELOPMENT.md |
| 任务类型 / 步骤 schema | TASK_DEV.md |
| 常驻线程 / 进程装配 | ARCHITECTURE.md §线程与并发 |
| MCP 工具 | MCP.md + MCP_DESIGN.md |
| 设备端 Agent(APK) | DEVICE_AGENT.md |
| 对外接入约定 | staffdeck/KNOWLEDGE_BASE.md |
| 暂缓项 / 已知问题 | backlog/TODO.md(完成时移出并同步相关文档) |
新增文档时:在本文 §1 表格里登记一行,并在根 README 的「更多文档」里加链接——否则等于没写。
历史文档不追改:STF_REMOVAL.md 是迁移阶段的历史记录,只增不改,不随现状改写。