butubb/auto_control
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
243 Commits 2 Branches 6 Tags
e82fd64695db67dafa1f7ff630f284025e4e0a94
Commit Graph
11 Commits
Author SHA1 Message Date
butubb 97cec6e211 feat(通知): 系统级 Webhook 通知子系统（事件目录 + 可插拔适配器 + 防刷屏） 
平台此前出了问题只能靠人盯页面。现在各组件统一走 `notifier.notify(事件, **字段)`，
推到企业微信 / 自建服务；**所有可通知点都登记进事件目录，默认全关，用户按 webhook 勾选**。

## 架构（`core/notifier.py` + `core/notify_events.py`）
业务线程调 `notify()` → 只做内存操作（读配置快照/匹配订阅/入队）→ 返回；
后台 1 个 dispatcher（聚合 + 每 hook 限流 + 折叠摘要）+ 3 个 sender（真实 HTTP、退避重试）
负责真正发出去。硬约束：**notify 零 DB、零 HTTP、零阻塞、异常不冒泡**——所以任务线程里
可以直接调（不用 app_context、不用 try/except），但**必须放在所有 `with self._lock` 之外**。

- **事件目录 36 条**（任务批次/单设备/设备/Worker/业务/安装/系统/AI），支持 `task.*` 通配订阅；
  语义分工避免重复告警：`worker.*` 是单次尝试级，`task.device.success/failed` 是唯一权威结论。
- **适配器可插拔**：`wecom`（markdown，按 4096 **字节**截断、超限不截半个汉字）+
  `json`（模板占位符，替换值按 JSON 转义，保存前干跑校验）；钉钉/飞书留了插槽（前端置灰）。
- **防打爆四层**：聚合窗口（默认 30s，同批次合并成一条并带样本）→ 令牌桶限流（默认 18/分，
  对齐企微硬限 20）→ 被限流的**折叠成摘要不丢弃** → 有界队列背压。取舍：失败通知最多延迟
  一个窗口，换来群不被刷屏。

## 安全与存储
- 配置只落 `app_meta.notify_webhooks` 一个键（**不建表** → 不涉及备份覆盖红线）。
- URL 本身就是凭据（企微 `?key=`）→ 接口回显/发送记录/日志一律 `mask_url()/scrub()`；
  编辑时留空即不修改；secret 永不回显。DATA_MODEL 的明文凭据告警补上了这一条。
- 发送记录：内存环形缓冲 200 条（重启清空）+ 独立 `logs/notify.log`。

## 接入点（每个都放在锁外、不改 return 顺序）
task_manager（批次开始/结束用新增的 `_BatchTracker` 统一在 finally 计数、单设备成功/失败/
离线/重试/停止/抢占/归还/cron 停止）、device_worker 心跳看门狗、generic 任务选择器连续失效、
apk 安装开始/完成、设备上下线（**状态沿检测**，只报新变化）、备份导出/恢复、经验巡检、
用户登录、服务启停。

## 前端
系统 Tab 新增「通知 / Webhook」子分栏：多条 webhook 列表（URL 打码）+ 编辑弹窗（格式/URL/
密钥/事件勾选树带 ★建议/聚合/限流/自定义模板/预览）+ 发送测试 + 发送记录。

## 自测
- 进程内逻辑 10 组断言全绿：聚合合并、限流+折叠、无配置/全局关静默丢弃、未知事件、
  内部异常不外泄、JSON 转义（标题含引号换行仍合法）、URL/异常消息脱敏、配置校验。
- 端到端（假 webhook 接收端）17 项断言全绿：真实事件投递（user.login / task.batch.no_device）、
  企微请求体形状、**HTTP 200 + errcode 93000 判为失败**、500 重试 3 次、记录里 URL 打码。
- 韧性：webhook 指向黑洞地址时登录耗时 100~114ms（基线 107~133ms，**异步隔离生效**）；
  配置写成坏 JSON 服务照常启动、通知静默不发、日志有 error（服务端实测后已复原）。
- 页面：系统 → 通知 面板/弹窗/36 个事件复选框/预览全部正常，无 JS 报错。
- 自测数据已清理（webhook、自建任务、写坏又复原的配置键）。

文档：新增 doc/NOTIFY.md（事件表/配置/格式约束/防刷屏/加事件三步骤/排障）并登记进 doc/README；
API.md §2.11；DATA_MODEL 的 app_meta 键表与明文凭据告警；ARCHITECTURE 线程表/分层/扩展点；
根 README 功能索引与日志表。
 2026-09-15 13:55:14 +08:00
butubb 7b6c8386af fix(APK 安装): 推送卡死会永久挂住整批安装（新增停滞看门狗 + 收尾兜底） 
用户报：220 上一个安装任务卡住不动。（现场：rednote 169.6MB 装 6 台，
5 台成功，192.168.20.203 卡在「推送中 67%（114.0/169.6 MB）」9 分钟没动静——
那台设备当时正跑着任务，adb 流量撞在一起把推送链路卡住了。）

两个叠加的缺陷：
1. 分块推送的 `proc.stdin.write()` **没有任何超时**：链路一卡就永久阻塞，
   安装线程挂死。
2. 批处理的 `as_completed(timeout=...)` 超时后异常直接冒泡出去（`with
   ThreadPoolExecutor` 退出时还会 wait 卡住的线程），`finished=True` 永远没被
   置位 —— 于是界面上永远是"安装中"，且后续安装全被「已有安装任务正在进行」
   挡住（用户看到的"卡住"）。

修法（core/apk_manager.py）：
- 新增**停滞看门狗**：盯着"已写字节数"是否推进，`_PUSH_STALL_TIMEOUT`(90s) 没进展
  就 kill 掉 adb，阻塞中的写立刻以异常返回 → 退回 `adb push` 重传。
  （为什么不用非阻塞写/管道 select：`os.set_blocking` 是 Unix 专有，开发机是 Windows，
  看门狗两边都能用。）
- 批处理改成 try/except/finally：超时或异常时把还没结果的设备标失败，**无论如何**
  都置 `finished=True`；`pool.shutdown(wait=False)` 不再为卡住的线程陪等。

验证：
- 假 adb 模拟"永不读 stdin"（链路卡死）→ 4 秒识别停滞 → kill → 回退 push 成功，
  全程 6.1s（旧代码在这里永久挂死）。
- 真机正常路径不受影响：5.9MB 推送 1.7s、设备侧字节数一致。
 2026-09-14 10:28:22 +08:00
butubb 615f9cf0d5 fix(APK 安装): 「推送不完整」是误报——adb 退出 ≠ 设备写完 
用户报：安装 APK 显示「推送不完整（设备 3605447 / 本地 5933150 字节）」。

排查（220 现场 + 复现）：这不是传输失败，是**检查时机太早**。
`adb exec-in` 把数据交给设备侧（adbd → shell → `cat >`）后，缓冲里的数据还在继续落盘：
同一份 5.9MB 的 APK，adb 刚返回时 stat 读到 3710967，紧接着 4264448，几秒后才是完整的
5933150（逐步实测）。旧实现只量一次就判失败，于是同一份文件在多台设备上"失败"了 8 次，
断点各不相同（2.7M/3.3M/3.6M/3.9M）—— 典型误报指纹。

修法（core/apk_manager.py）：
- 新增 `_wait_remote_size()`：收尾**轮询**设备文件大小直到长齐（默认最长 20s）；
  stat 取不到（机型差异）时返回 None，照旧跳过校验，不误报。
- 只有真不齐才退回 `adb push` 重传（原来直接判失败）。
- `_push_fallback` 也补一次大小校验：adb push 虽同步，但设备空间不足/被并发覆盖时
  "1 file pushed" 也可能是残缺的。

影响：这个误报不只是显示难看——它会让整台设备的安装直接失败（明明是好的包）。
 2026-09-14 09:08:37 +08:00
butubb 3422b4f265 feat: 监控页按名称排序 + 按钮改「看屏 / 打开设备端 Agent」；设备名匹配补 USB 设备 
用户反馈的三件事：

1) **监控页设备排序**改成按**名称**（A01/A02/…），没名字的排最后按地址。
   之前是 adb 返回的顺序，看着像按 IP 排，同型号多台时对不上号。
   排序放在 `/api/status`（后端），大屏页一并受益。

2) **操作按钮改名 + 换实现**：
   - 「截图」→「**看屏**」（行为不变，就是查看设备实时画面）
   - 「定位」→「**打开设备端 Agent**」：改成让设备上的 Agent 弹身份大字页
     （名称/IP/平台地址），替代原来"推 HTML 让设备浏览器打开定位页"那套
     （那套要设备装浏览器、页面还依赖设备能访问平台，backlog A1/A2 一直没修）
     * 新接口 `POST /api/agent/show-info {serial, close?}`；没装 Agent 时明确报出来
     * **先点亮屏幕 + 解除锁屏再拉起** —— 设备息屏时 am start 会把大字页开在锁屏后面，
       人看到的还是一片黑（实测踩过）
     * 平台地址取操作者当前访问地址；若是 localhost 则换成本机局域网地址
       （设备上显示 127.0.0.1 毫无意义）

3) **安装应用的选择设备界面仍显示裸序列号**：USB 设备在 adb 里的 serial 就是
   `ro.serialno`，等于池里那条网络记录的**指纹** —— 之前只按 serial 匹配，插着 USB
   时会冒出一个没名字的 `s8o7nrt8pbzhfadq`。现在按 serial 或指纹任一命中都取名称，
   三处（剪贴板注入 / 安装弹窗 / 安装进度表）统一。

顺带修掉几个自己踩出来的坑：
- `device_pool.list_configured()` 返回的是 **serial 字符串列表**，我当成字典用了
  （`.get("serial")` 抛异常被 except 吞掉 → 名字全空）→ 改用 `list_devices()`
- `web/device_agent_api.py` 用了 `PERM_DEVICES` 但没导入 → 服务直接起不来（502）
- Agent 自检里的版本号是写死的常量（升到 1.4 还显示 1.0）→ 改成读包信息
- `doc/API.md` 章节编号（插了一节没把后面整体下移，出现两个 §16）

验证：安装弹窗里 USB 那台现在显示「A07」（指纹匹配）；监控页按钮为
「看屏 / 打开设备端 Agent」；对装/未装 Agent 的设备分别得到大字页 / 明确报错；
大字页实测显示 A07 + 192.168.20.250:18050 + Agent v1.4。
 2026-09-13 17:18:30 +08:00
butubb 25e4fbb053 feat: 应用列表按包名合并 + 剪贴板/安装/版本管理显示设备名 
两件事都是"列表看不清楚"的问题：

1) **同一个应用传多个版本会并排显示多行**（v1.2 / v1.3 各占一行），看着像重复。
   现在按 **package_name 合并成一个应用一行**，显示最新版：
   - `apk_manager.list_latest()`：版本按 version_code 排序取最新，其余版本放进
     `versions` 字段；解析不出包名的 APK 各自独立成行（不硬合并）
   - 管理页版本列显示 `1.3（另有 1 个旧版本）`，多一个「清理旧版本」按钮
   - 「删除」语义改为**删掉这个应用的所有版本**（行=应用），另给
     `?scope=older` 只清理旧版本；老的单条删除行为保留（不带 scope）
   - **设备端商店也走同一个列表** —— 手机上不会再看到同一个 App 的 v1.2/v1.3 两行

2) **设备只显示地址**（`192.168.20.100:5555`），同型号多台时分不清是哪一台。
   三处补齐设备名（平台给设备起的名字，如 A08），统一「名称 · 地址」：
   - 剪贴板注入的设备勾选列表（`/api/adb/devices` 经 `_merged_device_list` 带 name）
   - 应用管理的安装弹窗（`/api/apks/install/devices` 带 name）
   - 应用版本管理表格（`/api/tools/appver` 结果里带 name）
   - 顺带：安装进度表里的「设备」列原来显示**型号**（而且是 STF 时代残留的空 dict），
     改为显示设备名
   没名字的设备（不在池里）自动回退只显示地址，不显示空占位

验证：上传同包名 v1.1/v1.2/v1.3 三个版本 → 列表只出现一行（v1.3，标注共 4 个版本）、
设备端 bootstrap 也只剩 2 个应用；`scope=older` 只留最新、`scope=package` 整包删除；
三个面板在浏览器里渲染无 JS 报错，devText 有名字/没名字两种形态都正确。
 2026-09-13 16:29:38 +08:00
butubb cdf06e1929 fix: 大 APK 推送到设备时显示实时进度（原来是整段黑箱干等） 
问题（用户反馈）：从网页点「安装」到设备，包大的时候（抖音 336MB）只显示
一句「正在推送 APK...」，传了两分多钟全程没有任何进度，像卡死了。

根因：推送用的是 `adb push`，它**只在结束时**吐一行汇总
（"1 file pushed, 3.0 MB/s"），中间过程什么都不给。

改法：分块写 + 实时进度
- core/apk_manager.py 新增 `_push_with_progress()`：改用 `adb exec-in "cat > 文件"`
  自己按 1MB 分块喂数据，每块更新一次状态（限流 0.8s 一次）：
    `推送中 62%（211.0/336.1 MB · 2.6 MB/s · 剩约 48s）`
  传完校验设备上文件大小；中途断流/exec-in 不可用时**退回原来的 adb push**（保证兼容）
- 代价：实测速度 2.6 vs 3.1 MB/s（慢 17%），换来看得见的进度，划算
- 「正在设备上安装...」补上预期时间说明 —— `pm install` 在设备端解包
  （336MB 实测 ~65s），系统没给进度接口，只能给预期值
- static/admin/apps.js：安装进度轮询 3s → 1.5s；表格里再加一条细进度条
  （大包要一两分钟，光有文字不够直观）
- doc/API.md：把安装状态机的两段式进度与耗时参考写进接口说明

实测（抖音 v40.4.0 336.1MB → 192.168.20.100，单台）：
  推送 60%→100% 每 2 秒一档，速度稳定 2.6 MB/s，134s 传完；
  设备端安装 65s；端到端 ~200s，全程有进度可看。
全量回归 106 项通过。
 2026-09-13 15:38:14 +08:00
butubb a5ce57b6fd 阶段3: 摘除 STF——删除 stf_client/stf_device_mgmt 与全部引用（STF 容器重启/设备管理/强制释放占用/agent 按钮/占用列），调度与设备管理完全基于本地设备池+adb；错误类迁入 device_worker，create_worker 去 stf 参数 2026-08-18 08:08:32 +08:00
butubb e12219c979 feat: 强制安装APK（推送+pm install 绕过厂商弹窗）+ 定位设备（亮屏+大字定位页，结束定位关闭浏览器含后台）+ 一键亮屏/息屏（并发全部设备） 2026-08-15 15:03:01 +08:00
butubb 5ccf622942 fix: 删除任务/分组持久化（重启不再复活）+ feat: APK 安装支持本机 USB 设备 2026-08-11 08:27:33 +08:00
butubb 186bded9d9 fix: 消除所有会导致STF断开连接的操作 - adb_connect移除kill-server硬重置(会断全网设备) - APK安装后不再adb_disconnect(IP:5555会断STF provider) - 扫描空闲设备不再adb connect/disconnect(直接标记空闲) 2026-08-07 15:43:17 +08:00
butubb bce48fc137 chore: 初始化仓库（排除 adb 二进制文件以解决推送超时） 2026-08-07 13:55:48 +08:00