butubb/auto_control
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
163 Commits 2 Branches 6 Tags
f22263ab45427d44295c8bde935f9e2ecd86757d
Commit Graph
12 Commits
Author SHA1 Message Date
butubb f22263ab45 feat: 数据库连接层改造——库目标由 .env 装配 + 环境防呆（迁 MySQL 第一步） 
为把数据库从单文件 SQLite 迁到 MySQL 5.7 铺路。本期不改后端：
DB_HOST 为空时仍走 SQLite，本地开发无感。

- config.py: 新增 DEPLOY_ENV（默认 dev）与 DB_HOST/PORT/USER/PASSWORD/NAME/
  CHARSET/COLLATION、DATABASE_URL、两个逃生阀（DB_ALLOW_ENV_MISMATCH /
  DB_ALLOW_SQLITE_FALLBACK）
- core/db_config.py（新增）: URI 组装；按方言分叉的引擎参数（utf8mb4、
  pool_pre_ping、pool_recycle=1800、READ COMMITTED、STRICT_TRANS_TABLES）；
  连接探活；app_meta 方言中立读写（MySQL 里 key 是保留字，需反引号）
- 防混库三层: ①库名与环境绑定（dev→auto_control_dev / prod→auto_control）
  ②库标签 app_meta.deployment_env 与 .env 声明比对 ③启动横幅打印当前库
  （生产用 WARNING 级）。不符直接拒绝启动并说明两边分别是什么
- web_server.py: 硬编码 sqlite URI → db_config；配置错在装配期就 exit 2；
  init_db 之后跑库标签校验 + 横幅
- core/models.py: PRAGMA 监听器加 sqlite 类型守卫——它挂在 Engine 基类上，
  MySQL 连接执行 PRAGMA 会直接导致建连失败
- requirements.txt 加 PyMySQL；scripts/start.sh 依赖守卫加 pymysql，
  并在 exec 前打印 DEPLOY_ENV/DB_NAME/DB_HOST
- .env.example 新增「数据库」段；DEVELOPMENT.md §4.1/4.2、DEPLOY.md §2.2 同步

验证: 用 DATABASE_URL 指向 users.db 的一致快照副本跑通主要只读接口
（health/devices/jobs/pool/groups/discovery/summary 全 200，app_meta 读写正常）；
DEPLOY_ENV=prod 且无 DB_HOST 时退出码 2；开 DB_ALLOW_SQLITE_FALLBACK 后可回退。
 2026-09-13 10:27:14 +08:00
butubb 0a1b4d6122 feat: 设备身份改为「名称 + 指纹」——更换 IP 自动认领，分组/任务引用自动同步 
背景：设备池原先拿 serial（IP）当身份。设备一换 IP（DHCP 重新分配）旧记录就成了连不上的
僵尸条目（表现为"断联·自动重连中"但设备并没关机），分组与 serial 模式的任务还吊着死地址。
2026-09-11 实际发生：.70 变成 .71、.72 消失，平台两个条目永远连不上。

实现
- **设备名称必填且唯一**：加入设备必须填名称；库层面用部分唯一索引兜底
  （ux_device_name / ux_device_fingerprint，WHERE 非空 → 兼容历史空值），管理页可改名
- **设备指纹**（ro.serialno）：网络设备添加/确认/扫描/采集型号时自动读取；
  身份三层拆分——名称（人可读，稳定）、指纹（机器识别，稳定）、serial（当前地址，可变）
- **自动认领**：添加或确认设备时指纹命中池中已有记录 → 迁移原记录到新地址
  （名称/型号/备注/启用状态/添加时间全保留），不新增条目
- **人工认领** `POST /api/devices/pool/relocate`：旧地址已断联、指纹没采过时的兜底——
  人工指认"这条就是那台，现在在 X"，迁移并同步引用
- **引用同步**：认领/迁址时把 device_group.serials 与 task_job.target.serial 的旧地址
  换成新地址。⚠️ 必须同时改**内存**：分组/任务在 TaskManager 里另有内存副本且调度用内存对象，
  只改库不重启不生效 → device_pool 迁址后回调 TaskManager.sync_device_serial
  （装配层用 set_move_hook 注册；device_pool 不能反向 import task_manager，会循环依赖）
- **前端**：待连接池新增「识别」列（指纹命中时提示"≈ 名称（原 IP）"，按钮变「认领为 X」）；
  设备池新增「名称/指纹」列与「改名/换地址」操作；断联设备表也加「换地址」（用户看到断联就在这里）
- 添加设备接口改用 adb_connect_light（单次短超时），避免不可达 IP 让请求卡 30s+；重名校验提前到 adb 之前

文档：API.md §6 重写（设备身份/认领/新接口）、DATA_MODEL.md（新列 + v5/v6 迁移 + 唯一索引）、
ARCHITECTURE.md §4.0（身份三层与引用同步的内存坑）、DEPLOY.md 排查表加"断联但没关机"条目

自测（全通过）：名称必填/唯一/改名/重名拒绝（含库层面约束）；指纹采集（真实读到 .71 的
gy7lskwkkvj7c6b6）；自动认领（指纹命中→迁址+保留名称+带指纹+未命中不误判）；人工认领
（迁址+名称保留+分组与任务引用同步）；浏览器验证设备池/断联表/待连接池三个界面
 2026-09-11 11:03:38 +08:00
butubb 98cdc39224 chore: 删除抖音养号任务类型，平台只保留 generic_steps 
tasks/douyin/（task_type=douyin_nurture）整体删除，唯一任务类型是 generic_steps。
所有默认值/文档/接口示例同步改成 generic_steps：

- tasks/：删 douyin 包；__init__ 只注册 generic；base.py/generic 注释改为照 generic 抄
- 默认值：core/models.py（列默认 + 旧 JSON 迁移默认）、core/task_manager.py TaskJob、
  web/tasks_api.py 建任务默认、static/admin/tasks.js 新建任务默认
- core/task_manager.py：去掉 douyin 专属的"清理废弃 comment 参数"迁移块，改为**启动时告警**
  仍残留已删类型的任务（只告警不改数据）；run_job_now 对已删类型直接返回明确错误，
  不再"报已触发、线程里静默失败"
- 清理残留：douyin_running 状态位（无任何读取方）、core/__init__、core/actions/*、
  core/logger.py 注释里的抖音示例
- 文档：README（特性/目录树/类型表/参数表/示例）、TASK_DEV（目录树/注册说明/模板引用）、
  ARCHITECTURE（注册示例/action 注册表示例）、API.md（task_types 与任务 JSON 示例）、
  AI_TASK_GEN（P1 去掉 douyin 预设）、DEVELOPMENT
- 注：示例里"抖音"作为**App 名**（MCP 列应用、AI 建任务的需求举例）保留，与任务类型无关

自测（全部通过）：类型列表只剩 generic_steps；建任务不传类型默认 generic_steps；传
douyin_nurture 被 400 拒；库里塞残留旧类型任务 → 启动日志告警 + 执行返回明确错误 +
不自动删用户数据；前端新建任务下拉 1 项且默认选中、界面建任务成功；监控页卡片两个按钮 +
覆盖设备正常。临时任务/数据验完已清理，任务集合复原。
 2026-09-10 21:43:08 +08:00
butubb 65bab7e25c fix: schema 迁移幂等兜底——create_all 已建列而 schema_version 未记录时重复 ALTER 报 duplicate column，遇错回滚并照记版本自愈 
典型场景：create_all 已按当前模型把列/表直接建好（如 perms、device.model），
而 schema_version 又因历史中断没记录，导致每次启动重复 ALTER 报错。
duplicate column name 说明列已存在=迁移目标已达成：回滚本次语句后仍记录
版本号，一次启动即自愈；其它异常才中止本批迁移。
 2026-09-09 14:16:15 +08:00
butubb 4efe17c1c9 feat: 设备自动发现——定时扫描局域网+Tailscale 网段开放 adb 5555 的设备进入待连接池，用户确认后才加入正式设备池（不自动连接）；socket 并发探测+adb 短超时验证（state=device 过滤 unauthorized），配置存 app_meta 可前端调整；配套：adb_connect_light 验证短超时、DISABLE_SCHEDULER 回归开关 2026-08-30 10:57:07 +08:00
butubb 6f6093842c feat: 设备型号采集展示（devices 表 model 列+getprop 采集+管理页型号列/采集按钮+监控页兜底）+ fix: 监控页设备列错位（离线标签残留 td）、appver 端点误删恢复、appver 只查在线设备用轻量连接防挂起 2026-08-19 13:53:27 +08:00
butubb 52c4d3aab4 阶段0: 设备池（SQLite devices 表 + core/device_pool.py 清单/在线状态/CRUD，首次启动自动从 STF 导入）+ STF 摘除迁移计划文档 2026-08-17 11:11:08 +08:00
butubb 06a9df111a feat: 用户权限系统（权限位/管理员全权限/前端隐藏/最后管理员保护） 2026-08-11 08:27:33 +08:00
butubb 838886e043 security: 环境变量密钥、密码加盐哈希、CSRF 防护 
- config.py/web_server.py 支持环境变量注入 STF_TOKEN/WEB_SECRET_KEY，新增 .env 加载和 .env.example；.env 加入 gitignore
- 用户密码从裸 SHA-256 改为 werkzeug 加盐哈希(scrypt)，旧哈希登录时自动升级
- CSRF：session token + X-CSRF-Token 请求头校验非 GET 请求，前端自动携带
 2026-08-08 21:29:39 +08:00
butubb b19caf3d55 refactor: 架构优化-后端（SQLite WAL/迁移机制/健康检查/uiautodev孤儿清理/残留提示） 
- SQLite 开 WAL + busy_timeout + synchronous=NORMAL，避免多 worker 并发写锁
- 新增版本化 schema 迁移机制（SCHEMA_MIGRATIONS + app_meta 表记录版本）
- 新增 /api/health 健康检查（无需登录，返回设备/任务/错误摘要）
- uiautodev 用 PID 文件追踪，启动时清理上次异常退出残留的孤儿进程
- 启动时提示残留的 STF 占用（不自动释放，避免多实例误伤）
 2026-08-08 20:55:53 +08:00
butubb 468e86f0a9 feat: 新增通用步骤任务+元素抓取，完善全部项目文档 
- 新增 generic_steps 通用步骤任务（可视化步骤编辑器编排流程，支持 open_app/click/swipe/input_text/wait/loop/group）

- 新增 core/uiauto_helper.py 封装 uiautodev 元素抓取客户端

- web_server 新增元素抓取/截图/设备列表等 API

- monitor.html 新增步骤编辑器、元素抓取模态框、独立关闭逻辑

- 新增 README.md 项目总览（快速上手/架构/配置/FAQ）

- 新增 doc/ARCHITECTURE.md 架构详解、doc/DEPLOY.md 部署指南、doc/API.md 接口文档

- 修复 doc/TASK_DEV.md：移除已删除的 comment 引用，补充 generic 包，更新注册示例

- .gitignore 忽略 .claude/ 工具产物
 2026-08-08 10:40:06 +08:00
butubb bce48fc137 chore: 初始化仓库（排除 adb 二进制文件以解决推送超时） 2026-08-07 13:55:48 +08:00