先定义使命和分母
机构、部门和项目都能参评。先写明负责人、时间窗口、核心任务、验收条件与台账来源。首版工具要求覆盖窗口内全部到期记录,事先固定价值流及工作量权重。对于科研项目,验收可以是独立复现成功;对于公共服务,验收可以是办件完成并通过质量检查。
端到端覆盖率 = 通过业务验收且由 AI 端到端完成的到期任务权重之和 ÷ 窗口内全部到期任务权重之和。
同质任务可用等权计数。不同复杂度的任务宜在开始前确定基线工时权重,并同时披露各价值流的样本数与未加权结果。失败、人工接管、超期及结果未知的任务均保留在分母。制度要求的人工授权或最终签字单列;人实质重做关键判断、修改交付物或调度中间步骤,计作人工介入。
全量台账的比例描述本观察窗口。抽样评测属于后续扩展。只能抽样时,应先固定抽样框、分层规则与随机种子,报告每层纳入率和遗漏风险。建议在同质、独立、等权随机样本中报告二项比例区间;同一客户或项目的重复任务应按簇处理。区间跨过判级门槛时,暂缓该项升级。这类统计推断需要另行分析。
两道门槛如何取证
G2 · 业务验收
多数核心使命工作应有端到端交付记录。试行将“多数”操作化为超过一半,并要求每条声明的核心价值流都有记录。衡量的范围、权重和验收线在查看结果前固定。评审追踪任务起点、执行者变化、人工介入和业务终态。应同时公开人工审核时间、总成本和质量异常,以解释同一覆盖率的不同经营代价。
G4 · 可继承的改进
G4 承接 G3 对完整项目和流程改进的要求。首版要求两个不同问题的改进周期,使用不同的留出任务。逐次追踪 AI 识别问题、形成改进、按授权实施、在后续独立任务复验的全过程。保留旧版本、同期失败候选、事先声明的最小正向收益和质量底线,并留存拒绝、停止或回滚的证据。比较同批新案例上的新旧方法,记录模型、预算和任务难度变化。无法区分供应商升级与组织学习时,说明归因仍待验证。
例如,一个公益配送项目的 AI 发现漏送集中于临时改址订单,提出复核改动。新班次用两个版本回放随后到期的工单,并核对漏送率与送达时效,这才提供了可继承的效果证据。
G5 · 研究挑战
验证改进机制本身是否变得更好,并观察它在新任务域能否以相近资源提升改进成功率。G5 保留为牵引目标。
没有事前任务清单,怎么评?
Agent 可以从请求、操作记录和交付回执反推任务,包括停滞及由人完成的工作。每项按准备、执行、检查、交付四个阶段取证。报告给出 AI 执行份额的估算区间,并检验任务轻重会怎样影响结论。等权下界超过 50% 时支持 G1 回顾估计。回顾试行版不签发徽标。
让 Agent 的判断可以被质疑
- 取证 Agent
- 按同一模板整理授权范围内的记录,保留证据定位、无法解释的记录、版本及人工介入。遇到缺失或冲突,原样列出。
- 可复算的判级规则
- 把证据归类与分数计算分开。对于相同输入和规则版本,应能复算出相同结果。文件摘要可检查内容是否改变;业务记录的真实性由来源和发布者负责。
- 中立性检查
- 对需主观判断的交付物,建议隐藏厂商、模型和提交者身份,交换展示顺序,以固定量表分别评阅。记录模型版本、提示词、判断理由及人工覆核。对于有实质分歧的样本,公开争点并保留较保守结论。
- 发布与纠错
- 自评徽标随报告披露主体、范围、证据期间和方法版本。公开脱敏证据摘要,原件由组织保管。发现取样或分类错误时,应发布修订声明并指向旧版。第三方可另外注明复核了哪些证据。
方法来源
GDPval 使用真实职业交付物与同行盲评。GO 借鉴其任务构造,并要求记录组织内实际验收结果。GDPval 原始说明
τ-bench 检查交互后的数据库状态,并在重复试验中衡量稳定性。GO 用业务系统终态验证交付,将重复回放与生产样本分开报告。τ-bench 官方仓库
METR 以人类完成同类任务所需的时间刻画任务跨度。GO 建议同时披露基线工时、实际历时与接管频率,帮助解读项目难度。METR Time Horizons
SWE-bench Verified 的复核指出部分测试存在判定问题,公开样本也可能已经暴露。GO 建议封存后续案例、允许纠正评分错误,并保留修订历史。SWE-bench Verified 复核
Darwin Gödel Machine 用下游任务评估自我修改,并记录过代理改变检测机制的情况。GO 的正式验证需保留独立于被评系统的评价依据。Darwin Gödel Machine
下一轮如何校准
在企业、公益、科研或政府项目上预先登记试点方案。让两位相互独立的评审对同一批脱敏证据判级,披露各级样本量、混淆矩阵、加权 κ 值及其不确定性。对照代理判断和业务负责人核验,分析误判集中在哪些任务和供应商。
用后续实际交付检验等级能否预测新任务的完成与接管。分别改变权重、观察期及门槛,记录哪些结论会翻转。校准后再决定是否调整下一版规则。试点结果和正式对外结论应标记各自的标准版本。