Auftrag und Bezugsgröße festlegen
Organisationen, Abteilungen und Projekte können teilnehmen. Vor Beginn dokumentieren sie Verantwortliche, Beobachtungszeitraum, Kernaufgaben, Abnahmekriterien und Herkunft des Aufgabenregisters. Die erste Werkzeugversion erfasst sämtliche im Zeitraum fälligen Aufgaben. Wertschöpfungsprozesse und Gewichte für den Arbeitsaufwand werden vorab festgelegt. In einem Forschungsprojekt kann eine unabhängige Reproduktion als Abnahme gelten. In der öffentlichen Verwaltung kann es der Abschluss eines Vorgangs mit bestandener Qualitätsprüfung sein.
Ende-zu-Ende-Anteil = Summe der Gewichte aller fälligen, vollständig durch KI erledigten und fachlich abgenommenen Aufgaben ÷ Summe der Gewichte aller im Zeitraum fälligen Aufgaben.
Gleichartige Aufgaben können gleich gewichtet werden. Bei unterschiedlicher Komplexität empfehlen sich Gewichte auf Basis des vorab ermittelten üblichen Zeitaufwands. Für jeden Wertschöpfungsprozess werden zusätzlich die Fallzahl und das ungewichtete Ergebnis ausgewiesen. Fehlgeschlagene, übernommene, verspätete und ungeklärte Aufgaben bleiben im Nenner. Vorgeschriebene menschliche Freigaben oder Unterschriften werden gesondert erfasst. Überarbeitet ein Mensch eine wesentliche Entscheidung, verändert er das Arbeitsergebnis oder steuert er Zwischenschritte, zählt dies als Eingriff.
Eine Vollerhebung beschreibt den beobachteten Zeitraum. Stichproben sind für eine spätere Erweiterung vorgesehen. Wenn nur eine Stichprobe möglich ist, werden Auswahlrahmen, Schichtung und Zufallsstartwert vorab fixiert. Berichtet werden der erfasste Anteil jeder Schicht und mögliche Auslassungen. Bei gleichartigen, unabhängigen und gleich gewichteten Zufallsbeobachtungen empfiehlt sich ein Konfidenzintervall für den Binomialanteil. Wiederholte Aufgaben desselben Kunden oder Projekts sind als Cluster zu behandeln. Umfasst das Intervall die Schwelle zur nächsten Stufe, wird die Höherstufung zurückgestellt. Solche statistischen Schlüsse erfordern eine gesonderte Analyse.
Nachweise für die beiden Schwellen
G2 · Fachliche Abnahme
Für die Mehrheit der Kernarbeit muss eine durchgängige Aufgabenerledigung nachweisbar sein. Im Pilotstandard bedeutet Mehrheit mehr als die Hälfte. Für jeden angegebenen Kernprozess müssen Aufzeichnungen vorliegen. Umfang, Gewichte und Abnahmekriterien stehen vor der Einsicht in die Ergebnisse fest. Die Prüfung verfolgt Auftragsbeginn, Zuständigkeitswechsel, menschliche Eingriffe und fachlichen Endzustand. Zusätzlich sollten Prüfzeit der Menschen, Gesamtkosten und Qualitätsmängel offengelegt werden, damit der Aufwand hinter vergleichbaren Anteilen sichtbar wird.
G4 · Verbesserungen, die im nächsten Durchlauf wirken
G4 baut auf den vollständigen Projekten und Prozessverbesserungen von G3 auf. Die erste Fassung verlangt zwei Verbesserungszyklen zu unterschiedlichen Problemen. Jeder Zyklus nutzt eigene, zuvor zurückgehaltene Aufgaben. Dokumentiert wird, wie die KI das Problem erkennt, eine Verbesserung entwickelt, sie im Rahmen ihrer Befugnisse umsetzt und ihre Wirkung an späteren unabhängigen Aufgaben erneut prüft. Aufzubewahren sind die Vorversion, zeitgleich gescheiterte Ansätze, der vorab festgelegte Mindestgewinn, die Qualitätsuntergrenze sowie Belege für Ablehnung, Stopp oder Rücknahme. Alte und neue Methode werden an denselben neuen Fällen verglichen. Änderungen von Modell, Budget und Aufgabenschwierigkeit werden vermerkt. Lässt sich der Effekt eines Anbieterupdates nicht vom Lernen der Organisation trennen, bleibt die Ursache offen.
Beispiel: Bei einem gemeinnützigen Lieferdienst stellt die KI fest, dass besonders viele Lieferungen nach kurzfristigen Adressänderungen ausfallen. Sie schlägt einen zusätzlichen Prüfschritt vor. Eine spätere Schicht spielt die inzwischen fälligen Aufträge mit beiden Versionen durch und vergleicht Ausfälle und Lieferzeiten. So wird überprüfbar, ob die nächste Schicht von der Änderung profitiert.
G5 · Forschungsziel
Hier wird untersucht, ob der Verbesserungsmechanismus selbst wirksamer geworden ist und bei vergleichbarem Ressourceneinsatz auch in neuen Aufgabenfeldern häufiger erfolgreiche Verbesserungen hervorbringt. G5 ist das langfristige Ziel.
Sie haben kein Aufgabenverzeichnis geführt?
Ein Agent kann Aufgaben aus Anfragen, Arbeitsprotokollen und Belegen rekonstruieren, auch liegen gebliebene und von Menschen ausgeführte Arbeiten. Für jede Aufgabe werden Vorbereitung, Ausführung, Prüfung und Übergabe erfasst. Der Bericht schätzt den KI-Anteil als Spanne und prüft verschiedene Aufgabengewichte. Liegt die Untergrenze bei gleicher Gewichtung über 50 %, ergibt sich rückblickend G1. Dafür wird kein Abzeichen vergeben.
Auswertung und Beispiel herunterladen
Fall 01 · Projektstart · Wie GO Benchmark seinen eigenen Start bewertete
Urteile von Agenten überprüfbar machen
- Agent für die Belegerfassung
- Der Agent ordnet freigegebene Aufzeichnungen nach einer einheitlichen Vorlage. Er bewahrt Quellenverweise, ungeklärte Einträge, Versionen und menschliche Eingriffe. Lücken und Widersprüche werden ausdrücklich aufgeführt.
- Reproduzierbare Einstufung
- Die Einordnung der Belege und die Berechnung des Ergebnisses erfolgen getrennt. Gleiche Eingaben und Regelversionen sollen dasselbe Ergebnis liefern. Prüfsummen zeigen, ob Dateien verändert wurden. Für die Echtheit der betrieblichen Aufzeichnungen sind Quelle und Herausgeber verantwortlich.
- Unabhängigkeit der Bewertung
- Bei subjektiv zu bewertenden Ergebnissen empfiehlt sich eine unabhängige Prüfung nach festem Raster. Anbieter, Modell und Einreichende bleiben dabei anonym, die Reihenfolge der Ergebnisse wird gewechselt. Modellversionen, Prompts, Begründungen und menschliche Nachprüfungen werden protokolliert. Bei wesentlichen Abweichungen werden die Streitpunkte veröffentlicht und die vorsichtigere Einstufung beibehalten.
- Veröffentlichung und Berichtigung
- Der Bericht zum Selbstbewertungsabzeichen nennt Organisationseinheit, Umfang, Belegzeitraum und Methodenversion. Anonymisierte Zusammenfassungen werden veröffentlicht. Originale verbleiben bei der Organisation. Bei Auswahl- oder Klassifikationsfehlern erscheint eine Berichtigung mit Verweis auf die frühere Fassung. Dritte können genau angeben, welche Belege sie nachgeprüft haben.
Methodische Grundlagen
GDPval nutzt reale berufliche Arbeitsergebnisse und verblindete Bewertungen durch Fachkollegen. GO orientiert sich daran bei der Auswahl der Aufgaben und verlangt zusätzlich den tatsächlichen Abnahmebefund der Organisation. GDPval im Original
τ-bench prüft nach Interaktionen den Zustand einer Datenbank und misst die Zuverlässigkeit über wiederholte Versuche. GO prüft die Endzustände betrieblicher Systeme und weist Wiederholungen getrennt von Fällen aus dem laufenden Betrieb aus. Offizielles τ-bench-Repository
METR beschreibt die Länge einer Aufgabe anhand der Zeit, die ein Mensch für eine vergleichbare Aufgabe benötigt. GO empfiehlt, Referenzaufwand, tatsächliche Laufzeit und Häufigkeit menschlicher Übernahmen gemeinsam offenzulegen. METR Time Horizons
Eine Überprüfung von SWE-bench Verified zeigte Probleme mit den Bewertungskriterien einzelner Tests und eine mögliche Vorbekanntheit öffentlicher Testfälle. GO empfiehlt, künftige Fälle zurückzuhalten, Fehlbewertungen zu berichtigen und frühere Fassungen aufzubewahren. Überprüfung von SWE-bench Verified
Die Darwin Gödel Machine bewertet Selbständerungen anhand nachgelagerter Aufgaben. Die Autoren dokumentieren auch einen Fall, in dem ein Agent den Erkennungsmechanismus veränderte. Die formale Prüfung bei GO erfordert deshalb Bewertungsgrundlagen, die vom geprüften System unabhängig sind. Darwin Gödel Machine
Kalibrierung in der nächsten Runde
Pilotvorhaben in Unternehmen, gemeinnützigen Einrichtungen, Forschung und Verwaltung sollen vorab registriert werden. Zwei unabhängige Prüfer bewerten dieselben anonymisierten Belege. Veröffentlicht werden Fallzahlen je Stufe, die Verwechslungsmatrix sowie das gewichtete Kappa mit einer Angabe seiner Unsicherheit. Der Vergleich von Agentenurteilen mit der Prüfung durch Fachverantwortliche zeigt, bei welchen Aufgaben und Anbietern sich Fehlurteile häufen.
An späteren realen Aufgaben wird geprüft, wie gut eine Einstufung Aufgabenerfolg und menschliche Übernahmen vorhersagt. Gewichte, Beobachtungsdauer und Schwellen werden einzeln variiert, um festzustellen, welche Urteile sich ändern. Erst nach der Kalibrierung wird über die nächste Regelversion entschieden. Pilotergebnisse und öffentlich abgegebene Bewertungen nennen jeweils die verwendete Standardversion.