butubb/auto_control
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
164 Commits 2 Branches 6 Tags
c834349facd486ce7fceb2e9d1e544cc4bb29ff5
Commit Graph
46 Commits
Author SHA1 Message Date
butubb f22263ab45 feat: 数据库连接层改造——库目标由 .env 装配 + 环境防呆（迁 MySQL 第一步） 
为把数据库从单文件 SQLite 迁到 MySQL 5.7 铺路。本期不改后端：
DB_HOST 为空时仍走 SQLite，本地开发无感。

- config.py: 新增 DEPLOY_ENV（默认 dev）与 DB_HOST/PORT/USER/PASSWORD/NAME/
  CHARSET/COLLATION、DATABASE_URL、两个逃生阀（DB_ALLOW_ENV_MISMATCH /
  DB_ALLOW_SQLITE_FALLBACK）
- core/db_config.py（新增）: URI 组装；按方言分叉的引擎参数（utf8mb4、
  pool_pre_ping、pool_recycle=1800、READ COMMITTED、STRICT_TRANS_TABLES）；
  连接探活；app_meta 方言中立读写（MySQL 里 key 是保留字，需反引号）
- 防混库三层: ①库名与环境绑定（dev→auto_control_dev / prod→auto_control）
  ②库标签 app_meta.deployment_env 与 .env 声明比对 ③启动横幅打印当前库
  （生产用 WARNING 级）。不符直接拒绝启动并说明两边分别是什么
- web_server.py: 硬编码 sqlite URI → db_config；配置错在装配期就 exit 2；
  init_db 之后跑库标签校验 + 横幅
- core/models.py: PRAGMA 监听器加 sqlite 类型守卫——它挂在 Engine 基类上，
  MySQL 连接执行 PRAGMA 会直接导致建连失败
- requirements.txt 加 PyMySQL；scripts/start.sh 依赖守卫加 pymysql，
  并在 exec 前打印 DEPLOY_ENV/DB_NAME/DB_HOST
- .env.example 新增「数据库」段；DEVELOPMENT.md §4.1/4.2、DEPLOY.md §2.2 同步

验证: 用 DATABASE_URL 指向 users.db 的一致快照副本跑通主要只读接口
（health/devices/jobs/pool/groups/discovery/summary 全 200，app_meta 读写正常）；
DEPLOY_ENV=prod 且无 DB_HOST 时退出码 2；开 DB_ALLOW_SQLITE_FALLBACK 后可回退。
 2026-09-13 10:27:14 +08:00
butubb 0a1b4d6122 feat: 设备身份改为「名称 + 指纹」——更换 IP 自动认领，分组/任务引用自动同步 
背景：设备池原先拿 serial（IP）当身份。设备一换 IP（DHCP 重新分配）旧记录就成了连不上的
僵尸条目（表现为"断联·自动重连中"但设备并没关机），分组与 serial 模式的任务还吊着死地址。
2026-09-11 实际发生：.70 变成 .71、.72 消失，平台两个条目永远连不上。

实现
- **设备名称必填且唯一**：加入设备必须填名称；库层面用部分唯一索引兜底
  （ux_device_name / ux_device_fingerprint，WHERE 非空 → 兼容历史空值），管理页可改名
- **设备指纹**（ro.serialno）：网络设备添加/确认/扫描/采集型号时自动读取；
  身份三层拆分——名称（人可读，稳定）、指纹（机器识别，稳定）、serial（当前地址，可变）
- **自动认领**：添加或确认设备时指纹命中池中已有记录 → 迁移原记录到新地址
  （名称/型号/备注/启用状态/添加时间全保留），不新增条目
- **人工认领** `POST /api/devices/pool/relocate`：旧地址已断联、指纹没采过时的兜底——
  人工指认"这条就是那台，现在在 X"，迁移并同步引用
- **引用同步**：认领/迁址时把 device_group.serials 与 task_job.target.serial 的旧地址
  换成新地址。⚠️ 必须同时改**内存**：分组/任务在 TaskManager 里另有内存副本且调度用内存对象，
  只改库不重启不生效 → device_pool 迁址后回调 TaskManager.sync_device_serial
  （装配层用 set_move_hook 注册；device_pool 不能反向 import task_manager，会循环依赖）
- **前端**：待连接池新增「识别」列（指纹命中时提示"≈ 名称（原 IP）"，按钮变「认领为 X」）；
  设备池新增「名称/指纹」列与「改名/换地址」操作；断联设备表也加「换地址」（用户看到断联就在这里）
- 添加设备接口改用 adb_connect_light（单次短超时），避免不可达 IP 让请求卡 30s+；重名校验提前到 adb 之前

文档：API.md §6 重写（设备身份/认领/新接口）、DATA_MODEL.md（新列 + v5/v6 迁移 + 唯一索引）、
ARCHITECTURE.md §4.0（身份三层与引用同步的内存坑）、DEPLOY.md 排查表加"断联但没关机"条目

自测（全通过）：名称必填/唯一/改名/重名拒绝（含库层面约束）；指纹采集（真实读到 .71 的
gy7lskwkkvj7c6b6）；自动认领（指纹命中→迁址+保留名称+带指纹+未命中不误判）；人工认领
（迁址+名称保留+分组与任务引用同步）；浏览器验证设备池/断联表/待连接池三个界面
 2026-09-11 11:03:38 +08:00
butubb 55b1b74944 feat: 系统数据备份导出/导入后端——sqlite 在线快照 + apk 打包导出；上传校验预览→应用（自动快照当前库）+ 重启生效 
导出：sqlite3 在线备份 API 对 data/users.db 做一致快照 → zip（users.db +
manifest.json：schema_version/逐表行数/apk 清单）+ 可选 data/apks/*.apk。
导出文件读入内存(BytesIO)发送后即删磁盘副本，避免 Windows 流式句柄锁残留。
导入：上传 zip/db → 暂存校验（integrity + 必需表 app_meta/user/task_job/
device_group + schema 版本提示）→ 确认应用：先自动快照当前库到
data/backups/pre_restore_*.db，再把备份落到 data/restore_pending/，由
web_server.py 在 init_db 之前 consume 换库——TaskManager 启动时才读库入内存、
Windows 不能热替换正被持有的库文件，故导入必须重启生效。

新增 web/system_api.py（export/preview/apply，全 @admin_required）与目录常量
BACKUP_DIR/RESTORE_STAGING_DIR/RESTORE_PENDING_DIR；.gitignore 排除运行产物。
 2026-09-09 14:49:40 +08:00
butubb 04d07b2c62 fix: uiautodev 残留进程清理防误杀——容器重启后 PID namespace 重建、残留 uiauto.pid 的 PID 值会被 MCP/其它进程复用，原逻辑直接 os.kill 可能 SIGTERM 杀掉同容器的 MCP server（观察到 web 容器 12s 崩溃循环）；改为 kill 前校验 /proc/<pid>/cmdline 含 uiautodev 2026-09-04 16:15:54 +08:00
butubb 5681989194 feat: 经验库每日 AI 巡检 + 管理面板——①experience_audit 表：逐条评审（具体可执行/无过时坐标/非对话续语/配方与序列一致 checklist），keep 直接归档、delete 标 pending 待人工，绝不自动删；人工 kept 后不再重复建议；②web_server 注册每日 03:47 巡检 job（Asia/Shanghai）；③API：经验列表（含巡检建议）/确认删除/保留/手动触发巡检；④AI 控制台右上角「🧠 经验库」面板：经验卡片 + 建议徽章与理由 + 删除（confirm）/保留按钮 2026-09-04 15:53:08 +08:00
butubb 4efe17c1c9 feat: 设备自动发现——定时扫描局域网+Tailscale 网段开放 adb 5555 的设备进入待连接池，用户确认后才加入正式设备池（不自动连接）；socket 并发探测+adb 短超时验证（state=device 过滤 unauthorized），配置存 app_meta 可前端调整；配套：adb_connect_light 验证短超时、DISABLE_SCHEDULER 回归开关 2026-08-30 10:57:07 +08:00
butubb 31a2ae911e fix: uiautodev 自动启动失败 name sys is not defined——_ensure_uiauto_running 用 sys.platform 但 web_server.py 未 import sys；补 import，元素抓取/动作编辑器设备列表恢复 2026-08-20 11:09:25 +08:00
butubb 81a99e007b feat: 启动时后台并发预连接设备池——adb server 重启后设备全掉线，adb 命令排队卡几分钟；预连接（并发 connect IP:5555）把恢复时间降到秒级 2026-08-20 09:33:24 +08:00
butubb d0cb531c20 fix: 未登录访问 500——login_view 蓝图化后未更新为 auth.login，flask_login 重定向 url_for('login') BuildError 2026-08-19 16:02:47 +08:00
butubb ce47a5b83d refactor: web_server 模块化拆分（web/ 蓝图包 auth/monitor/tasks/admin/tools/devices/apks/tailscale + context/common，web_server 1796→193 行仅留装配与启动）+ 大屏优化（网格 5s 轮询、弹窗独占缩略图、流支持 q/fps）+ 三修复（MIUI 屏幕状态检测改 dumpsys power、补 ADB_PATH 导入修复一键亮屏、renderGrid 增量渲染不重载缩略图） 2026-08-19 14:55:29 +08:00
butubb e07b339a51 feat: 大屏增强——一键亮屏按钮、卡片显示设备名+IP+熄屏状态（thumb 响应头 X-Screen-State）、点击卡片进入设备操作弹窗（实时流+触控+按键+文字），工具页远程看屏子分栏移除并入大屏 2026-08-19 14:17:33 +08:00
butubb c78f17d72f feat: 监控大屏（/wall 全屏深色控制室风格：设备卡片网格+缩略图轮询+统计+时钟，缩略图 360px/q55 每 2.5s 一帧 20 台仅 ~0.2 核 CPU）+ /api/screen/thumb 接口 + 导航栏大屏入口 2026-08-19 14:13:15 +08:00
butubb 2d1b10c7f3 fix: 全选勾选不显示（renderDevices 签名缺选中状态导致防抖跳过渲染）+ 亮屏/息屏支持勾选设备（未勾选则全部在线，离线自动过滤） 2026-08-19 13:57:07 +08:00
butubb 6f6093842c feat: 设备型号采集展示（devices 表 model 列+getprop 采集+管理页型号列/采集按钮+监控页兜底）+ fix: 监控页设备列错位（离线标签残留 td）、appver 端点误删恢复、appver 只查在线设备用轻量连接防挂起 2026-08-19 13:53:27 +08:00
butubb a5ce57b6fd 阶段3: 摘除 STF——删除 stf_client/stf_device_mgmt 与全部引用（STF 容器重启/设备管理/强制释放占用/agent 按钮/占用列），调度与设备管理完全基于本地设备池+adb；错误类迁入 device_worker，create_worker 去 stf 参数 2026-08-18 08:08:32 +08:00
butubb 98244d8161 feat: 设备池管理面板（新增/停用/删除/一键重连，调度数据源规范化入口）+ STF 设备管理增删桥接同步设备池（迁移期） 2026-08-18 08:02:13 +08:00
butubb 645938b305 阶段2: USB 远程 adb server 打通（220 host 网络 5037 全接口监听，无需改 220）+ 自建远程看屏（MJPEG 流 + u2 触控 tap/swipe/key/text，ws-scrcpy 不在 npm 改自建） 2026-08-17 16:50:12 +08:00
butubb 5354fe6379 阶段1: 调度/生命周期切换 device_pool——task_manager 设备解析与状态查询、STFDevice 去 occupy/release、web_server 端点换数据源（USB 桥接保留到阶段 2） 2026-08-17 11:16:13 +08:00
butubb 52c4d3aab4 阶段0: 设备池（SQLite devices 表 + core/device_pool.py 清单/在线状态/CRUD，首次启动自动从 STF 导入）+ STF 摘除迁移计划文档 2026-08-17 11:11:08 +08:00
butubb c111cb9a5e fix: STF未就绪设备纳入维护终端列表（adb可达但agent启动失败，标记stf_not_ready）+ 卸载/检查agent自动先connect 2026-08-17 11:02:43 +08:00
butubb 17f849f723 feat: STF设备管理彻底删除（脚本+断开+STF API清记录）+ 一键重连（后台跑connect脚本）+ 跳过原因日志区分离线/未就绪 + SSH超时错误分类 2026-08-15 15:22:55 +08:00
butubb e12219c979 feat: 强制安装APK（推送+pm install 绕过厂商弹窗）+ 定位设备（亮屏+大字定位页，结束定位关闭浏览器含后台）+ 一键亮屏/息屏（并发全部设备） 2026-08-15 15:03:01 +08:00
butubb 060157ea1a refactor: 前端JS拆分为8个模块（base/list/monitor/editor/tasks/tools/apps/admin，按依赖顺序加载）+ 删除废弃文件（start_web.bat/main.py/fix_web.bat/cleanup.py，web已全覆盖）+ 文档同步 + 修复/api/summary缺导入 2026-08-11 14:53:04 +08:00
butubb 2e491b19e2 feat: SSH 改纯密码认证（paramiko，禁用密钥/agent 不弹授权框，密码放 .env）+ 部署配置全迁 .env（config.py 不再内置 STF/SSH/Tailscale 值，.env.example 补全 11 项） 2026-08-11 14:12:52 +08:00
butubb 3bd56b4f59 feat: 工具Tab新增应用版本管理（按包名并发查询所有设备安装版本）+ 文档同步更新（README/API/ARCHITECTURE/DEPLOY：工具Tab各工具、条件判断if_el+OCR、STF设备管理、.env密钥配置） 2026-08-11 10:57:14 +08:00
butubb 5dd605e3a0 feat: 工具Tab新增STF设备管理（读写220脚本DEVICES列表+docker adb connect/disconnect，220侧timeout兜底防卡死）+ 修复设备列表:5555重复显示 2026-08-11 10:50:41 +08:00
butubb 2f1003bf1f feat: 新增工具Tab - 剪贴板注入（多选本地adb/STF设备批量注入文字，u2 setClipboard 实现，实测支持中文/引号/换行） 2026-08-11 09:53:32 +08:00
butubb cff0fc6a79 feat: 任务/应用/维护页统一页内子分栏（showSubTab 泛化），维护页首拆子分栏；模板自动重载（TEMPLATES_AUTO_RELOAD） 2026-08-11 09:38:29 +08:00
butubb de66c6194b feat: 维护页 Tailscale 管理（设备列表/改名/授权/密钥不过期/设置IP/auth key，独立模块 core/tailscale_client.py）+ 密钥迁移 .env（STF_TOKEN/WEB_SECRET_KEY/TAILSCALE_API_KEY 不再入库）+ 修复设备更新端点（/device/{id} 405，改用 /name /authorized /key 专属端点）+ auth key description 仅 ASCII 2026-08-11 09:06:59 +08:00
butubb 06a9df111a feat: 用户权限系统（权限位/管理员全权限/前端隐藏/最后管理员保护） 2026-08-11 08:27:33 +08:00
butubb 5ccf622942 fix: 删除任务/分组持久化（重启不再复活）+ feat: APK 安装支持本机 USB 设备 2026-08-11 08:27:33 +08:00
butubb 794f40a880 feat: 调度简单设置（频率选择器）+ 运行窗口 + 下次运行列 2026-08-11 08:27:33 +08:00
butubb 3320035c9e feat: 维护 Tab（STF 容器一键重启 + adb 远程终端，含设备快捷选择/卸载 agent/重连） 2026-08-11 08:27:33 +08:00
butubb 26c908f04c feat: 抓取元素选择器精度优化 + 设备列表补全 + 刷新同步 2026-08-11 08:27:32 +08:00
butubb 8a3cd67a97 fix: 设备异常状态清除（清除异常/一键清除，检查与更新原子化防竞态） 2026-08-11 08:22:24 +08:00
butubb 5f914c4fe4 fix: 已删除设备残留失败记录不再出现在异常汇总 
- _merge_status 清理不在 STF 设备池且无运行 worker 的陈旧状态
- /api/summary 按当前设备池过滤，STF 异常时不隐藏任何记录
 2026-08-09 08:04:57 +08:00
butubb 8a675923cd feat: 失败任务汇总 - /api/summary + 监控页异常面板 
- 新增 /api/summary：各状态计数 + 异常设备列表（last_error/任务/重试次数/时间）
- 监控页新增"异常汇总"面板：显示失败/异常设备及错误信息，方便长期运行观察健康度
 2026-08-08 21:33:35 +08:00
butubb 02016b7b85 feat: 悬空设备自愈 - 启动可选自动释放残留 STF 占用 
崩溃/强杀后设备残留占用需手动清理。新增 AUTO_RELEASE_STALE_OCCUPY 配置
（默认关）：单实例部署设为 true 时，web_server 启动自动释放本账户残留占用；
多实例共用 STF 账户时勿开（会误放另一实例任务）。默认仅启动提示。
 2026-08-08 21:31:53 +08:00
butubb 838886e043 security: 环境变量密钥、密码加盐哈希、CSRF 防护 
- config.py/web_server.py 支持环境变量注入 STF_TOKEN/WEB_SECRET_KEY，新增 .env 加载和 .env.example；.env 加入 gitignore
- 用户密码从裸 SHA-256 改为 werkzeug 加盐哈希(scrypt)，旧哈希登录时自动升级
- CSRF：session token + X-CSRF-Token 请求头校验非 GET 请求，前端自动携带
 2026-08-08 21:29:39 +08:00
butubb b19caf3d55 refactor: 架构优化-后端（SQLite WAL/迁移机制/健康检查/uiautodev孤儿清理/残留提示） 
- SQLite 开 WAL + busy_timeout + synchronous=NORMAL，避免多 worker 并发写锁
- 新增版本化 schema 迁移机制（SCHEMA_MIGRATIONS + app_meta 表记录版本）
- 新增 /api/health 健康检查（无需登录，返回设备/任务/错误摘要）
- uiautodev 用 PID 文件追踪，启动时清理上次异常退出残留的孤儿进程
- 启动时提示残留的 STF 占用（不自动释放，避免多实例误伤）
 2026-08-08 20:55:53 +08:00
butubb 4f29762121 feat: 设备已装应用查看（含应用名/版本号） 
- adb_helper.list_installed_apps：pm list + pm dump 取包名/versionCode/versionName/APK路径
- 应用名解析：常见应用映射 + 小APK流式pyaxmlparser解析（并行+缓存）+ 包名兜底
- web 新增 GET /api/devices/<serial>/apps
 2026-08-08 16:30:49 +08:00
butubb 3a38d9a57f fix: adb 命令超时 + STF 释放失败检查，杜绝设备卡死/占用悬空 
- adb 所有命令加 30s 超时：connect 到不可达地址不再无限挂起（worker 不再卡 connecting）
- STF release 检查响应状态并重试：504 等失败不再被静默吞掉，释放失败会真实上报
- release_all_mine 返回 (released, failed)；web /api/release 透出失败列表
 2026-08-08 16:30:42 +08:00
butubb 468e86f0a9 feat: 新增通用步骤任务+元素抓取，完善全部项目文档 
- 新增 generic_steps 通用步骤任务（可视化步骤编辑器编排流程，支持 open_app/click/swipe/input_text/wait/loop/group）

- 新增 core/uiauto_helper.py 封装 uiautodev 元素抓取客户端

- web_server 新增元素抓取/截图/设备列表等 API

- monitor.html 新增步骤编辑器、元素抓取模态框、独立关闭逻辑

- 新增 README.md 项目总览（快速上手/架构/配置/FAQ）

- 新增 doc/ARCHITECTURE.md 架构详解、doc/DEPLOY.md 部署指南、doc/API.md 接口文档

- 修复 doc/TASK_DEV.md：移除已删除的 comment 引用，补充 generic 包，更新注册示例

- .gitignore 忽略 .claude/ 工具产物
 2026-08-08 10:40:06 +08:00
butubb b0f808fb8c fix: 修复所有弹窗打开后无法关闭的问题 - 重写closeModal先关闭再清理并try-catch容错 - 首页路由加no-store响应头避免浏览器缓存旧HTML 2026-08-07 15:26:10 +08:00
butubb 0fe2a2fc5f feat: 新增设备画面截图、列表复选框/排序/批量停止，修复端口绑定失败 2026-08-07 15:08:36 +08:00
butubb bce48fc137 chore: 初始化仓库（排除 adb 二进制文件以解决推送超时） 2026-08-07 13:55:48 +08:00