butubb/auto_control
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
184 Commits 2 Branches 6 Tags
accd06df4b6662d0ac9d4e8a26bab296bf6c1dcc
Commit Graph
14 Commits
Author SHA1 Message Date
butubb 4899e66c68 refactor: 备份/恢复改为「SQLite 归档 + 单事务整库替换」——不再换文件，也不再依赖 SQLite 运行时 
SQLite 从"运行时数据库"降级为"备份交换格式"：导出把当前库（MySQL 或 SQLite）
整库写成一份 SQLite 归档，恢复则是启动时在单个事务里 DELETE + INSERT。
前端三个接口的契约一行未改。

- core/system_backup.py 重写：
  * dump_to_sqlite()（旧名 snapshot_db 保留为别名）取代在线备份 API：MySQL 下把
    这条连接提到 REPEATABLE READ，保证 12 张表读的是同一时刻
  * zip 结构不变（users.db + manifest.json + apks/），既有老备份继续可导入；不依赖
    任何外部二进制（sqlite3 是标准库，python:slim 容器里现成）
  * manifest 增加 db_backend / deployment_env / source_db_id，用于识别备份来源环境
  * apply_restore：安全网从裸 pre_restore_*.db 升级为 pre_restore_*.zip（可直接再导入
    回滚）；跨环境导入默认硬停（需 force_env_mismatch=true）
  * consume_pending_restore：启动时单事务整库替换，任何一步失败 rollback，当前数据
    完好（比换文件更安全）；坏归档挪 restore_failed_* 且不阻塞启动
  * 归档库收尾时 checkpoint 回单文件模式并清掉 -wal/-shm（zip 只打包主文件）
- web_server.py：consume 从 init_db 之前移到之后（现在是事务替换，需要表与 app context）
- config.py：BACKUP_DIR / RESTORE_STAGING_DIR / RESTORE_PENDING_DIR 支持环境变量覆盖
  —— 自动化测试必须把恢复目录指到临时位置，否则测试造的"待生效恢复任务"会在服务
  下次重启时被当成用户的操作消费掉
- core/db_config.py：SQLite 回退模式也写库环境标签（备份要能标出来源环境）
- web/system_api.py + static/admin/system.js + templates/admin/monitor.html：
  预览显示来源/当前环境，跨环境时出现「允许跨环境导入」勾选项；文案同步

验证（隔离副本，绝不碰真实库）：导出→zip 结构与 manifest 正确；预览带来源环境与
告警；应用→生成 pre_restore zip + 归档就位；跨环境 apply 被拒；模拟重启→数据回到
导出时刻、经验库/动作库完好；塞入坏归档→挪 restore_failed_*、服务照常启动、数据未变。
 2026-09-13 10:34:58 +08:00
butubb f22263ab45 feat: 数据库连接层改造——库目标由 .env 装配 + 环境防呆（迁 MySQL 第一步） 
为把数据库从单文件 SQLite 迁到 MySQL 5.7 铺路。本期不改后端：
DB_HOST 为空时仍走 SQLite，本地开发无感。

- config.py: 新增 DEPLOY_ENV（默认 dev）与 DB_HOST/PORT/USER/PASSWORD/NAME/
  CHARSET/COLLATION、DATABASE_URL、两个逃生阀（DB_ALLOW_ENV_MISMATCH /
  DB_ALLOW_SQLITE_FALLBACK）
- core/db_config.py（新增）: URI 组装；按方言分叉的引擎参数（utf8mb4、
  pool_pre_ping、pool_recycle=1800、READ COMMITTED、STRICT_TRANS_TABLES）；
  连接探活；app_meta 方言中立读写（MySQL 里 key 是保留字，需反引号）
- 防混库三层: ①库名与环境绑定（dev→auto_control_dev / prod→auto_control）
  ②库标签 app_meta.deployment_env 与 .env 声明比对 ③启动横幅打印当前库
  （生产用 WARNING 级）。不符直接拒绝启动并说明两边分别是什么
- web_server.py: 硬编码 sqlite URI → db_config；配置错在装配期就 exit 2；
  init_db 之后跑库标签校验 + 横幅
- core/models.py: PRAGMA 监听器加 sqlite 类型守卫——它挂在 Engine 基类上，
  MySQL 连接执行 PRAGMA 会直接导致建连失败
- requirements.txt 加 PyMySQL；scripts/start.sh 依赖守卫加 pymysql，
  并在 exec 前打印 DEPLOY_ENV/DB_NAME/DB_HOST
- .env.example 新增「数据库」段；DEVELOPMENT.md §4.1/4.2、DEPLOY.md §2.2 同步

验证: 用 DATABASE_URL 指向 users.db 的一致快照副本跑通主要只读接口
（health/devices/jobs/pool/groups/discovery/summary 全 200，app_meta 读写正常）；
DEPLOY_ENV=prod 且无 DB_HOST 时退出码 2；开 DB_ALLOW_SQLITE_FALLBACK 后可回退。
 2026-09-13 10:27:14 +08:00
butubb 55b1b74944 feat: 系统数据备份导出/导入后端——sqlite 在线快照 + apk 打包导出；上传校验预览→应用（自动快照当前库）+ 重启生效 
导出：sqlite3 在线备份 API 对 data/users.db 做一致快照 → zip（users.db +
manifest.json：schema_version/逐表行数/apk 清单）+ 可选 data/apks/*.apk。
导出文件读入内存(BytesIO)发送后即删磁盘副本，避免 Windows 流式句柄锁残留。
导入：上传 zip/db → 暂存校验（integrity + 必需表 app_meta/user/task_job/
device_group + schema 版本提示）→ 确认应用：先自动快照当前库到
data/backups/pre_restore_*.db，再把备份落到 data/restore_pending/，由
web_server.py 在 init_db 之前 consume 换库——TaskManager 启动时才读库入内存、
Windows 不能热替换正被持有的库文件，故导入必须重启生效。

新增 web/system_api.py（export/preview/apply，全 @admin_required）与目录常量
BACKUP_DIR/RESTORE_STAGING_DIR/RESTORE_PENDING_DIR；.gitignore 排除运行产物。
 2026-09-09 14:49:40 +08:00
butubb 4efe17c1c9 feat: 设备自动发现——定时扫描局域网+Tailscale 网段开放 adb 5555 的设备进入待连接池，用户确认后才加入正式设备池（不自动连接）；socket 并发探测+adb 短超时验证（state=device 过滤 unauthorized），配置存 app_meta 可前端调整；配套：adb_connect_light 验证短超时、DISABLE_SCHEDULER 回归开关 2026-08-30 10:57:07 +08:00
butubb a5ce57b6fd 阶段3: 摘除 STF——删除 stf_client/stf_device_mgmt 与全部引用（STF 容器重启/设备管理/强制释放占用/agent 按钮/占用列），调度与设备管理完全基于本地设备池+adb；错误类迁入 device_worker，create_worker 去 stf 参数 2026-08-18 08:08:32 +08:00
butubb 645938b305 阶段2: USB 远程 adb server 打通（220 host 网络 5037 全接口监听，无需改 220）+ 自建远程看屏（MJPEG 流 + u2 触控 tap/swipe/key/text，ws-scrcpy 不在 npm 改自建） 2026-08-17 16:50:12 +08:00
butubb 2e491b19e2 feat: SSH 改纯密码认证（paramiko，禁用密钥/agent 不弹授权框，密码放 .env）+ 部署配置全迁 .env（config.py 不再内置 STF/SSH/Tailscale 值，.env.example 补全 11 项） 2026-08-11 14:12:52 +08:00
butubb 5dd605e3a0 feat: 工具Tab新增STF设备管理（读写220脚本DEVICES列表+docker adb connect/disconnect，220侧timeout兜底防卡死）+ 修复设备列表:5555重复显示 2026-08-11 10:50:41 +08:00
butubb de66c6194b feat: 维护页 Tailscale 管理（设备列表/改名/授权/密钥不过期/设置IP/auth key，独立模块 core/tailscale_client.py）+ 密钥迁移 .env（STF_TOKEN/WEB_SECRET_KEY/TAILSCALE_API_KEY 不再入库）+ 修复设备更新端点（/device/{id} 405，改用 /name /authorized /key 专属端点）+ auth key description 仅 ASCII 2026-08-11 09:06:59 +08:00
butubb 3320035c9e feat: 维护 Tab（STF 容器一键重启 + adb 远程终端，含设备快捷选择/卸载 agent/重连） 2026-08-11 08:27:33 +08:00
butubb 02016b7b85 feat: 悬空设备自愈 - 启动可选自动释放残留 STF 占用 
崩溃/强杀后设备残留占用需手动清理。新增 AUTO_RELEASE_STALE_OCCUPY 配置
（默认关）：单实例部署设为 true 时，web_server 启动自动释放本账户残留占用；
多实例共用 STF 账户时勿开（会误放另一实例任务）。默认仅启动提示。
 2026-08-08 21:31:53 +08:00
butubb 838886e043 security: 环境变量密钥、密码加盐哈希、CSRF 防护 
- config.py/web_server.py 支持环境变量注入 STF_TOKEN/WEB_SECRET_KEY，新增 .env 加载和 .env.example；.env 加入 gitignore
- 用户密码从裸 SHA-256 改为 werkzeug 加盐哈希(scrypt)，旧哈希登录时自动升级
- CSRF：session token + X-CSRF-Token 请求头校验非 GET 请求，前端自动携带
 2026-08-08 21:29:39 +08:00
butubb 0fe2a2fc5f feat: 新增设备画面截图、列表复选框/排序/批量停止，修复端口绑定失败 2026-08-07 15:08:36 +08:00
butubb bce48fc137 chore: 初始化仓库（排除 adb 二进制文件以解决推送超时） 2026-08-07 13:55:48 +08:00