GOBenchmark
中文

真实案例 01 · 项目启动

GO Benchmark 如何给自己评出 G1

把 GO Benchmark 从想法推到上线,哪些工作是 AI 完成的?我们从需求、操作记录和回执中反推出 8 项交付。32 个阶段里,21 个由 AI 独立执行,支持项目启动期的 G1 回顾估计。

2026 年 11 月 15–16 日 · 截至上海时间 14:20 · 由参与执行的 Agent 自评 · 无独立复核,未签发徽标

怎样反推出任务清单

第一次盘点只列出六项。把最早的需求逐条对照仓库交付,又找回了两项:创建 GitHub 组织及私库、交付首届标准会议议程草案。我们先按“要交付什么”归并,再判断谁做的。十种语言共用一个官网交付终点,因此只算一项;多次重试验证码也只算一次 X 注册。X 和法人登记虽然停滞,仍占分母。

交付事项准备执行检查交付
评测方法与工具包人机共同AIAIAI
官网及域名人机共同AI人机共同AI
GitHub 组织及私库AIAIAIAI
项目邮箱及每日查信AI人机共同AIAI
LinkedIn 组织主页AIAIAIAI
X 品牌账号AI人机共同人机共同未完成
非营利法人设立人机共同人机共同AI未完成
首届会议议程草案人工AIAIAI

谁授权,谁动手

判断时问一句:人说了“可以做”之后,下一步到底是谁动手?创建 LinkedIn 主页时,发起人确认代表资格并同意条款,Agent 填表、提交、检查主页,授权单独记录。开邮箱时,发起人亲自登录,因此执行记为共同完成。注册 X 时,发起人亲自验脸,又指出 Agent 查错收件箱,所以执行和检查都记为共同完成。设立法人时,发起人亲自支付代理费,这一步计入人工参与;法人设立的终点仍须是州登记回执。

G1 怎样算出来

  • AI · 21
  • 人机共同 · 8
  • 人工 · 1
  • 未完成 · 2

每项任务四个阶段,先按等权计算。32 个阶段中,21 个由 AI 独立执行、8 个人机共同、1 个由人执行、2 个未交付。即使共同阶段全部算给人,AI 仍占 21/32(65.6%);如果全部算给 AI,上界是 29/32(90.6%)。G1 门槛是严格超过一半。阶段数是工作量的代理,本轮没有实测工时,也看不到全部线下人工投入。

再问结论有多稳:允许每项工作取 1 至 2 倍权重,最不利下界是 56.8%。若把 GitHub 和 LinkedIn 的授权也记为共同执行,下界降至 52.3%;再把域名购买授权也这样记,下界降至 47.7%。最后这组假设下,能否达到 G1 就不确定了。

到 G2 还缺什么

G2 看的是通过业务验收、由 AI 端到端完成且无人实质救场的交付。它们的工作量须超过窗口内全部到期工作量的一半,而且每条预登记核心工作流都要有这样的案例。官网上线是候选,但阶段归因表无法证明它通过了事前约定的验收。X 和法人登记也都没有到达交付终点。本轮缺事前冻结的核心工作流和工作量权重,因此算不出 G2 覆盖率。回顾评分器只估 G0、G1。

下一期可以检验更接近项目使命的交付:外部团队能否用自己的真实资料跑通自评,并独立复算报告。窗口开始前就把这个验收终点、工作流和权重写下来,同时记录哪些环节需要人接手。

照着做一次自评

  1. 确定参评团队、起止时间和每项交付的验收终点。同时导出需求与完成记录,请能看到纯人工工作的人补漏。
  2. 按交付终点合并记录,保留失败、未完成和纯人工事项。逐阶段引用带日期的证据;看不出谁做的就标为未知。
  3. 下载下方案例并解压,在该目录用 Python 3.9 或更新版本运行命令。将输出与 expected-report.json 对照。换成自己的项目时,按通用工具包中的 AGENT.md 整理新的 manifest,再检验改变权重会不会改变结论。
python3 evaluate.py manifest.json my-result