GOBenchmark
日本語
世界に開かれた独立の非営利プロジェクト

組織のAI化をどう測るか

G2AI駆動G4ゲーデル組織↓

実際の仕事を通して、組織の自己改善を測る。

全部署がAIを使うようになったとき、依頼の受領から成果の検収まで、どれだけの中核業務をAIに任せられるでしょうか。今日の失敗を、次の仕事の改善につなげられるでしょうか。

公開評価基準 · v0.1

各段階で何を確かめるか

実務記録からエージェントが証拠を整理し、版を固定した採点器で評価します。G2は中核業務の過半を一貫して納品できるか、G4は改善を繰り返し検証できるか、G5は改善の仕組み自体が進化するかを問います。

段階を選ぶと、定義と必要な証拠が表示されます。

ゲーデルマシン

機械はいつ自分を書き換えるのか

1931年、数学者・論理学者のクルト・ゲーデルは不完全性定理の証明で論理式や証明を数として符号化し、算術の中で証明自体について語れるようにしました。この自己言及の考えは、プログラムが自分のコードについて推論し、改善できるかという問いにつながります。

2003年、ユルゲン・シュミットフーバーはゲーデルマシンを提案しました。この理論上の機械は作業を続けながら変更案を探索します。所与の目的と公理の下で、今変更する方が現行プログラムを動かして探索を続けるよりも期待効用が高いと証明できたとき、変更を実行します。

証明を探索する手続き自体も書き換えられます。これが再帰的自己改善(RSI)です。今回の改善で次の改善の探し方が変わります。証明は公理、環境の仮定、効用関数に依存し、有益でも証明が見つからない変更があります。

ゲーデル組織(GO)という名称には、仕事から学ぶだけでなく、学び方そのものを改善するという考えがあります。GO Benchmarkは、AIによる成果の納品、業務手順の改善、その検証方法の改善を段階ごとに評価します。

シュミットフーバーの原論文 ↗ IASによるゲーデルの紹介 ↗
ゲーデル組織 · GO

チームは改善の仕方をどう改善するのか

ゲーデル組織は業務手順を可視化し、人が定めた権限内でAIが変更を提案します。後続の仕事で効果を調べ、成果、比較、判断の記録によってG4に達した組織単位をGOと呼びます。

G4 · 見積手順を改善する

AIが遠隔地向け見積もりで送料漏れが繰り返されていることを発見します。承認を得て新しい規則を試し、後続の注文で漏れと所要時間を比較して採用か撤回を決めます。異なる問題でもこの過程を繰り返せることが必要です。

G5 · 変更の試し方を改善する

AIがテスト対象の偏りに気づき、注文の種類ごとに検証用の事例を取り分けます。次の割引規則の試験では、同じ予算で小規模顧客への影響を早く発見できました。この能力は研究目標です。

実例 01 · プロジェクトの立ち上げ

GO Benchmark は自らの立ち上げをどう評価したか

依頼、作業記録、受領記録を突き合わせ、8件の成果物を特定しました。32工程のうち21工程をAIが単独で担当したことから、立ち上げ期間の遡及評価はG1と推定されます。

事例を読む

自己評価を始める

チームのエージェントが依頼、作業記録、受領記録から成果物を復元し、手元で評価と再計算を行います。

自己評価を始める