 butubb
|
4899e66c68
|
refactor: 备份/恢复改为「SQLite 归档 + 单事务整库替换」——不再换文件，也不再依赖 SQLite 运行时
SQLite 从"运行时数据库"降级为"备份交换格式"：导出把当前库（MySQL 或 SQLite）
整库写成一份 SQLite 归档，恢复则是启动时在单个事务里 DELETE + INSERT。
前端三个接口的契约一行未改。
- core/system_backup.py 重写：
* dump_to_sqlite()（旧名 snapshot_db 保留为别名）取代在线备份 API：MySQL 下把
这条连接提到 REPEATABLE READ，保证 12 张表读的是同一时刻
* zip 结构不变（users.db + manifest.json + apks/），既有老备份继续可导入；不依赖
任何外部二进制（sqlite3 是标准库，python:slim 容器里现成）
* manifest 增加 db_backend / deployment_env / source_db_id，用于识别备份来源环境
* apply_restore：安全网从裸 pre_restore_*.db 升级为 pre_restore_*.zip（可直接再导入
回滚）；跨环境导入默认硬停（需 force_env_mismatch=true）
* consume_pending_restore：启动时单事务整库替换，任何一步失败 rollback，当前数据
完好（比换文件更安全）；坏归档挪 restore_failed_* 且不阻塞启动
* 归档库收尾时 checkpoint 回单文件模式并清掉 -wal/-shm（zip 只打包主文件）
- web_server.py：consume 从 init_db 之前移到之后（现在是事务替换，需要表与 app context）
- config.py：BACKUP_DIR / RESTORE_STAGING_DIR / RESTORE_PENDING_DIR 支持环境变量覆盖
—— 自动化测试必须把恢复目录指到临时位置，否则测试造的"待生效恢复任务"会在服务
下次重启时被当成用户的操作消费掉
- core/db_config.py：SQLite 回退模式也写库环境标签（备份要能标出来源环境）
- web/system_api.py + static/admin/system.js + templates/admin/monitor.html：
预览显示来源/当前环境，跨环境时出现「允许跨环境导入」勾选项；文案同步
验证（隔离副本，绝不碰真实库）：导出→zip 结构与 manifest 正确；预览带来源环境与
告警；应用→生成 pre_restore zip + 归档就位；跨环境 apply 被拒；模拟重启→数据回到
导出时刻、经验库/动作库完好；塞入坏归档→挪 restore_failed_*、服务照常启动、数据未变。
|
2026-09-13 10:34:58 +08:00 |
|
|
butubb
|
c834349fac
|
refactor: schema 收敛到 ORM metadata——5 张裸表升模型，方言无关的建表/补列/唯一索引
原来建表有三套来源（ORM create_all + 自建 SCHEMA_MIGRATIONS + agent_api 里的裸
CREATE TABLE）。这在 SQLite 下能活是因为 SQLite 的 DDL 极宽容；换 MySQL 后
agent_* 四张表的 `INTEGER PRIMARY KEY AUTOINCREMENT`、`TEXT DEFAULT ''`、
`TEXT PRIMARY KEY` 会全部建不出来，而失败被 `except: pass` 吞掉 —— 表现为
「经验库/动作库/会话功能静默失灵、日志里什么都看不到」。本期把它收敛成一套。
- core/models.py:
* 新增 5 个 ORM 模型：AppMeta / AgentExperience / ExperienceAudit /
AgentAction / AgentConversation（列名沿用历史，`app_meta.key` 在 MySQL 里是
保留字，ORM 属性名用 k，读写统一走 db_config.meta_get/meta_set）
* 新增 _long_text()（MySQL 用 MEDIUMTEXT，裸 TEXT 只有 64KB）与 _DOUBLE()
（评分别用单精度 FLOAT）；_migrate_schema 不再执行 DDL，只维护版本账本，
SCHEMA_MIGRATIONS 的历史建表/加列条目 SQL 置 None
* 新增 _sync_columns()：用 sqlalchemy.inspect 比对模型与实表补缺列，取代原来
靠 "duplicate column name" 报错文本判断的写法（换方言就失效）
* _ensure_unique_indexes() 按方言分叉：MySQL 5.7 没有过滤索引，改用
「虚拟生成列 + 唯一索引」复刻"空值不参与唯一约束"的语义
- web/agent_api.py: 删 4 段裸 CREATE TABLE；_ensure_* 收敛为 _ensure_tables()
（db.create_all 薄封装，失败必记日志）；app_meta 读写与 INSERT OR IGNORE
改为方言中立
- core/device_discovery.py: app_meta 读写改用同一助手
- core/system_backup.py: SUMMARY_TABLES 由 db.metadata 派生 —— 备份覆盖红线
从"靠人记"变成结构上不可能漏；CURRENT_SCHEMA_VERSION 改从 models 导入
验证（均在 users.db 的一致快照副本上，不碰真实库）：
空库 → 自建 12 张表 + 默认管理员 + 唯一索引 + schema_version=6；
老库 → 逐表行数与真实库完全一致，app_meta 键未变；
接口 → health/devices/jobs/groups/agent(经验库/动作库/会话) 全 200，
会话增删与备份导出（12 张表、无覆盖缺失）正常。
|
2026-09-13 10:30:15 +08:00 |
|
|
butubb
|
d40c867d6f
|
fix: 备份覆盖补全（动作库/系统配置入清单）+ 覆盖自检与未登记表告警；发布流程/红线文档更新
问题（2026-09-10 用户反馈）：动作库"没有备份"。实测导出 zip 里 agent_action 数据其实在
（导出是 users.db 全库快照），但清单/预览没列它 → 看起来像没备份。同类还有 app_meta。
修复（core/system_backup.py）：
- SUMMARY_TABLES 补 agent_action(动作库) 与 app_meta(系统配置) + 中文标签；
- 导出侧**覆盖自检**：登记表若在快照缺失 → manifest.coverage_missing + 日志告警；
- 导入侧**反向自检**：备份含未登记表 → 预览告警提示登记（extra_tables）；
- 顶部注释写明新增持久化表必须登记（红线）。
其余：
- monitor.html：数据备份面板文案改为明列全部业务表 + 指引（预览见表行数 / 新增表须登记）；
- doc/DEPLOY.md §3.5：新增「备份覆盖清单（红线）」小节（含清单与两侧自检说明）；
- doc/DEVELOPMENT.md：§5.6 增「备份覆盖红线」；§6 发布流程重写为分支流程
（本机建分支 → 用户确认 → 合 dev → dev 整体就绪 → 合 main → 220 部署，附部署命令）；
- doc/ARCHITECTURE.md §3.6：补备份覆盖登记提示。
实测：导出清单 12 表（含动作库 3 行、系统配置 8 行），coverage_missing 空；上传预览同样显示、
extra_tables 空。
|
2026-09-10 21:03:41 +08:00 |
|
|
butubb
|
55b1b74944
|
feat: 系统数据备份导出/导入后端——sqlite 在线快照 + apk 打包导出；上传校验预览→应用（自动快照当前库）+ 重启生效
导出：sqlite3 在线备份 API 对 data/users.db 做一致快照 → zip（users.db +
manifest.json：schema_version/逐表行数/apk 清单）+ 可选 data/apks/*.apk。
导出文件读入内存(BytesIO)发送后即删磁盘副本，避免 Windows 流式句柄锁残留。
导入：上传 zip/db → 暂存校验（integrity + 必需表 app_meta/user/task_job/
device_group + schema 版本提示）→ 确认应用：先自动快照当前库到
data/backups/pre_restore_*.db，再把备份落到 data/restore_pending/，由
web_server.py 在 init_db 之前 consume 换库——TaskManager 启动时才读库入内存、
Windows 不能热替换正被持有的库文件，故导入必须重启生效。
新增 web/system_api.py（export/preview/apply，全 @admin_required）与目录常量
BACKUP_DIR/RESTORE_STAGING_DIR/RESTORE_PENDING_DIR；.gitignore 排除运行产物。
|
2026-09-09 14:49:40 +08:00 |
|