方法论与洞察

自动化产出双重验收:机器验参数,人眼验内容 · v1

一句话律:自动化产出的素材,「文件存在且参数正确」和「内容正确」是两件独立的事——机器只能验前者,后者必须过人眼。

为什么这条容易被跳过

自动化跑完会给你一个绿色的”✓“。那个勾的含义是**“我按脚本做完了”,不是”结果是对的”**。

两者之间的落差,恰恰发生在最贵的地方:脚本执行了每一步,每一步都没报错,产物参数全对——但画面里什么都没有。

实证

Codex 教程实战六自动化录屏,19 段素材。4 条通过了机器校验但内容全错

现象机器看到的实际内容
拖拽没生效16.4s,参数正常输入框根本是空的,附件压根没附上
播放器开到主屏时长正常录的那块屏上什么都没有,全黑
面板已展开35.8s,参数正常看不到”点击→展开”的动作,开头就是结果
全屏没生效33.6s,参数正常只是浮动窗口叠在别的应用上,四周露着侧栏

同一项目更早一次自动录制,产出 3 个 mp4,全部参数正常,最后被整体废弃_作废_Claude自动录制/)。那次没有第二道关卡。

下一批(清单 2/3/4,三个项目 19 段)又拦下 2 条,都出在最后三段、流程最熟的时候:

现象机器看到的实际内容
上一条废弃 take 的残留在画面里43.9s,参数正常开头就是「你在 9s 后停止了」,同一句提示词出现两遍
提示词没发出去34.9s,参数正常快门按下时提示词还躺在输入框里、发送键在转圈

两批合计 6 条参数全对、内容全错。

操作规则

  1. 两道关卡分开设
    • 机器关:文件存在、时长在预期区间、分辨率/帧率/大小正常
    • 人眼关:抽帧目视,至少看开头、中段、结尾
  2. 机器关过了不等于可以跳过人眼关——本条的全部价值就在这句
  3. 判废的产物不删,加 .FAILED 后缀保留,便于事后追因(删了就查不出是哪一步断的)
  4. 能在过程中当场校验的,不要等录完再验。例:拖放是最容易悄悄失败的一步,拖完立刻比对目标区域像素变化,低于阈值就当场判废,别把整条跑完
  5. 能写成断言的内容判据,就别只靠事后抽帧。“提示词到底发出去没有”完全可以机检(发送后按钮应转成停止态),加了这道当场断言之后,这类失败当场判废,不用等人看。人眼关是兜底,不是第一道防线——见 UI自动化的固定坐标必须绑前提断言_v1
  6. 长产物(>3min)标注”未完整终审”。抽帧只能证明某几帧对,证明不了中间没异常——不要把抽帧通过写成终审通过

边界

同构案例

这条律在别的域有完全同构的版本:

三者共享同一个骨架:机器负责把候选压到可人审的规模,最终裁决权归人

验证状态

⭐⭐⭐ 三次验证(铁律)

关联文档

类型/洞察律主题/自动化录屏主题/质检工具/ffprobe