GOBenchmark
日本語

公開評価基準 · v0.1

自己評価の方法

組織単位がどこまで中核業務をAIに任せ、その結果から改善できるかを、対象・期間・基準の版を定めて測ります。

v0.1は試行版です。申告者が資料と主張に責任を持ちます。業種間の比較可能性、将来の成果の予測力、評価者間の一致度は今後検証します。

トップに戻る

使命と分母を定める

責任者、期間、中核業務、検収条件、台帳の出所を明示します。期間内に期限を迎える全件を対象に、業務の流れと重みを事前に固定します。研究では独立再現、行政では案件の解決と品質確認を検収条件にできます。

一貫完了率 = AIが最初から最後まで実施し検収を通過した期限到来業務の重みの合計 ÷ 期間内に期限を迎えた全業務の重みの合計。

同等の業務は同じ重みとし、難度が異なる場合は事前の基準工数を使います。各業務群の件数と重みなしの結果も示します。失敗、遅延、結果不明、人への引き継ぎを分母に含め、必須署名は実質的な修正・調整と別に記録します。

試行版は全件台帳を使います。抽出調査では母集団、層、乱数シードを事前に定め、層別の収録率と漏れを開示します。同じ重みの独立な無作為観測なら二項比率区間を使えます。顧客や案件内の相関を考慮し、区間が基準値をまたぐ場合は昇格を保留します。

二つの基準と証拠

G2 · 実務上の検収

重みで過半をAIが一貫して納品し、申告した全中核業務群に記録が必要です。依頼、担当の交代、介入、最終状態をたどり、人の審査時間、総費用、品質事故も報告します。

G4 · 次の仕事でも続く改善

G3を満たした上で、別々の問題に対して、互いに異なる保留事例を用いた二つの改善サイクルを示します。発見、提案、権限内の実施、再検証を記録し、同じ新規事例で新旧を比較します。旧版、不採用案、事前の最小改善幅と品質下限、停止・復元の証拠を残し、モデル・予算・難度の影響も示します。

例として、非営利団体の配送で直前の住所変更と未配達の関係をAIが見つけます。次の当番が新しい注文で二つの手順を試し、未配達と時間内到着を比較します。

G5 · 研究課題

改善手法自体の変更が、別の領域で同程度の資源を使って改善の成功率を高めるか検証します。

事前のタスク一覧がない場合は?

依頼、作業記録、納品記録から、エージェントが停滞中の作業や人が担当した作業も含めてタスクを復元します。各タスクを準備、実行、確認、納品の4段階で評価し、AIの担当割合を範囲で示します。タスクの重みを変えた場合も検証します。等しい重みで下限が50%を超える場合、遡及評価はG1です。この試行では遡及評価のバッジは発行しません。

評価ツールと記入例をダウンロード

実例 01 · プロジェクトの立ち上げ · GO Benchmark は自らの立ち上げをどう評価したか

エージェントの判断を検証可能にする

証拠収集
権限内の記録を同じ書式で集め、出所、版、介入、欠落、矛盾を記載します。
再現可能な採点
証拠の分類と計算を分けます。同じ入力と版から同じ結果を得ます。ハッシュは内容の変更を検出し、真正性は資料提供者と公表者が担保します。
中立的な審査
可能なら提供元・モデル・提出者を伏せ、提示順を変え、固定基準で独立採点します。モデルの版、指示、判断理由、人の確認を記録し、重要な不一致を公表して慎重な判定を採用します。
公表と訂正
対象、期間、版を明記した報告書をバッジに添えます。原本は組織内に保管し、匿名化した要約を公開します。訂正は旧版にリンクし、第三者は確認した証拠を明示します。

参考にした評価研究

GDPvalの実務課題と匿名の相互評価を参考に、実際の検収結果を加えます。 GDPval

τ-benchは最終状態と反復の信頼性を調べます。本番の観測と再実行を分けます。 τ-bench

METRの人間基準の所要時間に倣い、基準工数、経過時間、引き継ぎ頻度を示します。 METR

SWE-bench Verifiedの採点と既知課題の問題を踏まえ、将来の事例を保留し、訂正履歴を残します。 SWE-bench Verified

Darwin Gödel Machineは自己変更を後続課題で評価しました。GOでは評価対象から独立した証拠を求めます。 Darwin Gödel Machine

次版に向けた校正

複数分野の試行を事前登録し、二人が同じ匿名資料を独立評価します。段階別件数、混同行列、重み付きカッパ係数と不確実性を報告し、実務責任者の確認と照合します。

後続の成果と引き継ぎを予測できるか調べ、重み・期間・基準値を個別に変えて感度を調べます。結果と結論には基準の版を明記します。