feat(日志): 任务步骤明细表 + 「日志 → 步骤明细」面板（按设备/任务/时间过滤、按运行归组、导出 CSV）
文本日志只能 grep，"这台设备这次运行为什么失败"翻起来很费劲。新增一张 **结构化**的步骤明细表，把"哪一步、什么类型、哪个选择器、结果、耗时"落库。 - core/models.py：新增 task_step_log（run_id/job/设备/step_path/selector/ result/detail/duration_ms），索引 run_id、created_at、(serial,created_at)、 (job_id,created_at)； - core/step_log.py（新）：**专用写线程 + 有界队列**批量落库——步骤执行是热路径， 任务线程只 put_nowait（实测 9000 次入队 31ms），队列满丢弃并计数，绝不阻塞； 另有保留期清理（默认 14 天，每日 04:13 + 每次启动）； - tasks/generic/task.py：_exec_one 记一条（异常=error / handler 返回 False=miss / 未知类型=unknown / 概率未触发=skip）；_exec_steps 维护路径栈得到 "2.1.3" 这样的嵌套位置；**单次运行封顶 2000 条**——forever 循环任务否则会写爆表； - 运行上下文 ctx（run_id/job_id/job_name/device_name）由 TaskManager 生成， 经 create_worker(serial, params, ctx=None) 传入 worker（扩展点向后兼容）； - 接口：/api/step_logs（过滤+分页）、/runs（按运行归组）、/filters（下拉选项）、 /download（CSV，带 BOM）； - 前端：日志页拆成「文件日志 / 步骤明细」子分栏 + static/admin/steplog.js。 红线：新表自动进备份覆盖清单（SUMMARY_TABLES 由元数据派生），已补 TABLE_LABELS 中文标签，导出实测 14 张表、coverage_missing 为空。 文档：DATA_MODEL §2.8/§1、API §10.2、ARCHITECTURE §1.1/§2.2/§3.1、 DEVELOPMENT §5.2 与红线表、DEPLOY §5.2、TASK_DEV §8.3、README。
This commit is contained in:
+8
-4
@@ -49,8 +49,8 @@
|
||||
from .actions import get_action_class
|
||||
return get_action_class(action_type)
|
||||
|
||||
def create_worker(self, serial, params):
|
||||
return MyWorker(serial, params=params)
|
||||
def create_worker(self, serial, params, ctx=None):
|
||||
return MyWorker(serial, params=params, ctx=ctx)
|
||||
|
||||
5. 在 my_task/__init__.py 加：from . import task （触发注册）
|
||||
6. 在 tasks/__init__.py 加：from .my_task import task （触发注册）
|
||||
@@ -85,8 +85,12 @@ class BaseTask:
|
||||
description = ""
|
||||
default_params = {}
|
||||
|
||||
def create_worker(self, serial, params):
|
||||
"""返回一个 threading.Thread（已启动或待启动），执行实际任务。"""
|
||||
def create_worker(self, serial, params, ctx=None):
|
||||
"""返回一个 threading.Thread（已启动或待启动），执行实际任务。
|
||||
|
||||
ctx：本次运行的上下文（`run_id`/`job_id`/`job_name`/`device_name`），
|
||||
由 TaskManager 传入，供步骤明细等结构化记录标注来源；可为 None。
|
||||
"""
|
||||
raise NotImplementedError
|
||||
|
||||
@classmethod
|
||||
|
||||
+66
-7
@@ -37,7 +37,7 @@ from tasks.base import BaseTask, register_task
|
||||
from core.device_worker import BaseWorker, _update_status
|
||||
from core.u2_helper import ensure_app_running, wait_for_app_home, random_sleep
|
||||
from core.logger import get_logger
|
||||
from core import notifier
|
||||
from core import notifier, step_log
|
||||
|
||||
_log = get_logger("task.generic")
|
||||
|
||||
@@ -124,13 +124,18 @@ class GenericStepsWorker(BaseWorker):
|
||||
只实现 run_task，按步骤类型分发到 _exec_<type> 方法。
|
||||
"""
|
||||
|
||||
def __init__(self, serial, params=None):
|
||||
super().__init__(serial, params)
|
||||
def __init__(self, serial, params=None, ctx=None):
|
||||
super().__init__(serial, params, ctx=ctx)
|
||||
p = {**DEFAULT_PARAMS, **(self.params or {})}
|
||||
self.max_duration = int(p.get("max_duration", 0))
|
||||
self.steps = p.get("steps", [])
|
||||
self._action_counts = {} # 步骤执行计数 {step_label: count}
|
||||
self._miss_counts = {} # 选择器健康：selector -> 连续未命中次数
|
||||
# 步骤路径：容器步骤（loop/group/if_el）进出时压栈，得到 "2.1.3" 这种位置，
|
||||
# 写进「步骤明细」用来还原嵌套结构。worker 每台设备一个线程，实例级状态安全。
|
||||
self._path = []
|
||||
self._step_rows = 0 # 本次运行已记录的明细条数（封顶见 _record_step）
|
||||
self._step_capped = False
|
||||
|
||||
# 某 click 选择器连续未找到元素的次数达到该值，判定可能失效（App 改版）
|
||||
_MAX_CONSECUTIVE_MISS = 10
|
||||
@@ -177,10 +182,16 @@ class GenericStepsWorker(BaseWorker):
|
||||
if depth > 5:
|
||||
_log.warning(f"[{self.serial}] 步骤嵌套深度超限(>5)，跳过")
|
||||
return
|
||||
for step in steps:
|
||||
for i, step in enumerate(steps):
|
||||
if self.stopped() or self.is_time_up():
|
||||
return
|
||||
self._exec_one(d, step, depth)
|
||||
# 压入本步在兄弟里的序号（1 起）：容器步骤执行 children 时会在其后
|
||||
# 继续追加，得到 "2.1" 这样的嵌套路径
|
||||
self._path.append(str(i + 1))
|
||||
try:
|
||||
self._exec_one(d, step, depth)
|
||||
finally:
|
||||
self._path.pop()
|
||||
|
||||
def _exec_one(self, d, step, depth=0):
|
||||
"""执行单个步骤。"""
|
||||
@@ -197,19 +208,29 @@ class GenericStepsWorker(BaseWorker):
|
||||
prob = float(params.get("probability", 100))
|
||||
if prob < 100 and random.random() * 100 > prob:
|
||||
_log.info(f"[{self.serial}] 步骤 '{label}' 概率 {prob}% 未触发，跳过")
|
||||
self._record_step(step, "skip", f"概率 {prob}% 未触发", 0)
|
||||
return
|
||||
self.set_action(f"执行: {label}")
|
||||
_log.info(f"[{self.serial}] 步骤: {label}({stype}) params={params}")
|
||||
|
||||
ret = None
|
||||
# 结果归类：异常 > 未命中（handler 返回 False）> 正常
|
||||
# （True/None 都算正常——None 是"没有判断语义"的步骤，如点击坐标）
|
||||
result, detail = "ok", ""
|
||||
t0 = time.time()
|
||||
handler = getattr(self, f"_exec_{stype}", None)
|
||||
if handler:
|
||||
try:
|
||||
ret = handler(d, params, depth)
|
||||
if ret is False:
|
||||
result, detail = "miss", "未命中/超时"
|
||||
except Exception as e:
|
||||
_log.error(f"[{self.serial}] 步骤 {label}({stype}) 异常: {e}")
|
||||
result, detail = "error", str(e)
|
||||
else:
|
||||
_log.warning(f"[{self.serial}] 未知步骤类型: {stype}")
|
||||
result, detail = "unknown", f"未知步骤类型: {stype}"
|
||||
self._record_step(step, result, detail, int((time.time() - t0) * 1000))
|
||||
# 容器步骤（loop/group/if_el）不计入操作计数，避免监控显示噪音
|
||||
if stype not in ("loop", "group", "if_el"):
|
||||
self._action_counts[label] = self._action_counts.get(label, 0) + 1
|
||||
@@ -220,6 +241,44 @@ class GenericStepsWorker(BaseWorker):
|
||||
action_counts=dict(self._action_counts), elapsed=elapsed)
|
||||
return ret # 命中结果（True/False/None），"测试此步骤"用
|
||||
|
||||
def _record_step(self, step, result, detail, duration_ms):
|
||||
"""把这一步写进「步骤明细」（异步落库，不阻塞任务线程）。
|
||||
|
||||
单次运行条数封顶：`forever` 循环任务会执行成千上万步，不封顶这张表
|
||||
会被瞬间写爆。到顶后只补一条 cap 说明行，此后本次运行不再记录。
|
||||
"""
|
||||
try:
|
||||
# 只记"任务运行"里的步骤：编辑器里的「测试此步骤」也会走 _exec_one，
|
||||
# 但没有 run_id（不归任何一次运行），记进来只是噪音
|
||||
if not self.ctx.get("run_id") or self._step_capped:
|
||||
return
|
||||
params = step.get("params") or {}
|
||||
label = step.get("label") or step.get("type", "")
|
||||
if self._step_rows >= step_log.MAX_ROWS_PER_RUN:
|
||||
self._step_capped = True
|
||||
step_log.record(
|
||||
run_id=self.ctx.get("run_id", ""), serial=self.serial,
|
||||
device_name=self.ctx.get("device_name", ""),
|
||||
job_id=self.ctx.get("job_id", ""),
|
||||
job_name=self.ctx.get("job_name", ""),
|
||||
step_path=".".join(self._path), step_label=label,
|
||||
step_type=step.get("type", ""), result="cap",
|
||||
detail=f"本次运行明细已达上限 {step_log.MAX_ROWS_PER_RUN} 条，"
|
||||
f"后续步骤不再记录（保留期与上限见 core/step_log.py）")
|
||||
return
|
||||
self._step_rows += 1
|
||||
step_log.record(
|
||||
run_id=self.ctx.get("run_id", ""), serial=self.serial,
|
||||
device_name=self.ctx.get("device_name", ""),
|
||||
job_id=self.ctx.get("job_id", ""),
|
||||
job_name=self.ctx.get("job_name", ""),
|
||||
step_path=".".join(self._path), step_label=label,
|
||||
step_type=step.get("type", ""),
|
||||
selector=str(params.get("selector_value", "") or ""),
|
||||
result=result, detail=detail, duration_ms=duration_ms)
|
||||
except Exception:
|
||||
pass # 记录失败绝不能影响任务执行
|
||||
|
||||
# ================== 步骤执行器 ==================
|
||||
def _exec_screen_on(self, d, params, depth=0):
|
||||
"""亮屏：息屏时唤醒并滑动解锁。任务执行前用（息屏时 u2 无法操作）。"""
|
||||
@@ -671,9 +730,9 @@ class GenericStepsTask(BaseTask):
|
||||
def get_action_class(cls, action_type):
|
||||
return None
|
||||
|
||||
def create_worker(self, serial, params):
|
||||
def create_worker(self, serial, params, ctx=None):
|
||||
merged = {**DEFAULT_PARAMS, **(params or {})}
|
||||
return GenericStepsWorker(serial, params=merged)
|
||||
return GenericStepsWorker(serial, params=merged, ctx=ctx)
|
||||
|
||||
|
||||
def test_step(serial, step):
|
||||
|
||||
Reference in New Issue
Block a user