怎样反推出任务清单
第一次盘点只列出六项。把最早的需求逐条对照仓库交付,又找回了两项:创建 GitHub 组织及私库、交付首届标准会议议程草案。我们先按“要交付什么”归并,再判断谁做的。十种语言共用一个官网交付终点,因此只算一项;多次重试验证码也只算一次 X 注册。X 和法人登记虽然停滞,仍占分母。
| 交付事项 | 准备 | 执行 | 检查 | 交付 |
|---|---|---|---|---|
| 评测方法与工具包 | 人机共同 | AI | AI | AI |
| 官网及域名 | 人机共同 | AI | 人机共同 | AI |
| GitHub 组织及私库 | AI | AI | AI | AI |
| 项目邮箱及每日查信 | AI | 人机共同 | AI | AI |
| LinkedIn 组织主页 | AI | AI | AI | AI |
| X 品牌账号 | AI | 人机共同 | 人机共同 | 未完成 |
| 非营利法人设立 | 人机共同 | 人机共同 | AI | 未完成 |
| 首届会议议程草案 | 人工 | AI | AI | AI |
谁授权,谁动手
判断时问一句:人说了“可以做”之后,下一步到底是谁动手?创建 LinkedIn 主页时,发起人确认代表资格并同意条款,Agent 填表、提交、检查主页,授权单独记录。开邮箱时,发起人亲自登录,因此执行记为共同完成。注册 X 时,发起人亲自验脸,又指出 Agent 查错收件箱,所以执行和检查都记为共同完成。设立法人时,发起人亲自支付代理费,这一步计入人工参与;法人设立的终点仍须是州登记回执。
G1 怎样算出来
- AI · 21
- 人机共同 · 8
- 人工 · 1
- 未完成 · 2
每项任务四个阶段,先按等权计算。32 个阶段中,21 个由 AI 独立执行、8 个人机共同、1 个由人执行、2 个未交付。即使共同阶段全部算给人,AI 仍占 21/32(65.6%);如果全部算给 AI,上界是 29/32(90.6%)。G1 门槛是严格超过一半。阶段数是工作量的代理,本轮没有实测工时,也看不到全部线下人工投入。
再问结论有多稳:允许每项工作取 1 至 2 倍权重,最不利下界是 56.8%。若把 GitHub 和 LinkedIn 的授权也记为共同执行,下界降至 52.3%;再把域名购买授权也这样记,下界降至 47.7%。最后这组假设下,能否达到 G1 就不确定了。
到 G2 还缺什么
G2 看的是通过业务验收、由 AI 端到端完成且无人实质救场的交付。它们的工作量须超过窗口内全部到期工作量的一半,而且每条预登记核心工作流都要有这样的案例。官网上线是候选,但阶段归因表无法证明它通过了事前约定的验收。X 和法人登记也都没有到达交付终点。本轮缺事前冻结的核心工作流和工作量权重,因此算不出 G2 覆盖率。回顾评分器只估 G0、G1。
下一期可以检验更接近项目使命的交付:外部团队能否用自己的真实资料跑通自评,并独立复算报告。窗口开始前就把这个验收终点、工作流和权重写下来,同时记录哪些环节需要人接手。
照着做一次自评
- 确定参评团队、起止时间和每项交付的验收终点。同时导出需求与完成记录,请能看到纯人工工作的人补漏。
- 按交付终点合并记录,保留失败、未完成和纯人工事项。逐阶段引用带日期的证据;看不出谁做的就标为未知。
- 下载下方案例并解压,在该目录用 Python 3.9 或更新版本运行命令。将输出与 expected-report.json 对照。换成自己的项目时,按通用工具包中的 AGENT.md 整理新的 manifest,再检验改变权重会不会改变结论。
python3 evaluate.py manifest.json my-result