Definire missione e denominatore
Specifica responsabile, periodo, compiti, criteri di accettazione e fonte del registro. Includi tutte le attività in scadenza nel periodo e prestabilisci flussi e pesi. Nella ricerca può contare una replica indipendente; in un servizio pubblico, la chiusura del caso con controllo qualità.
Copertura integrale = peso delle attività in scadenza completate dall’IA dall’inizio alla fine e accettate ÷ peso di tutte le attività in scadenza.
Assegna pesi uguali ad attività comparabili. Se la complessità varia, usa ore di riferimento prestabilite e pubblica conteggi e risultati non ponderati per flusso. Includi insuccessi, ritardi, esiti ignoti e subentri. Registra la firma obbligatoria separatamente dalle revisioni sostanziali e dal coordinamento umano.
Il pilota usa il registro completo. In uno studio campionario, fissa popolazione, strati e seme casuale. Segnala copertura e omissioni. Un intervallo binomiale è adatto a osservazioni casuali indipendenti di peso uguale. Considera la correlazione per cliente o progetto. Rinvia il passaggio di livello se l’intervallo attraversa la soglia.
Prove per le due soglie
G2 · Accettazione operativa
Oltre la metà del peso del lavoro essenziale deve risultare consegnata integralmente dall’IA. Servono registri per tutti i flussi dichiarati. Ricostruisci richiesta, esecutori, interventi e stato finale. Indica tempi di revisione umana, costo totale e incidenti di qualità.
G4 · Miglioramenti duraturi
Oltre a G3, dimostra due cicli su problemi diversi con compiti di verifica distinti tenuti da parte. Documenta rilevazione, proposta, attuazione autorizzata e nuova prova. Confronta le versioni sugli stessi casi nuovi. Conserva versione precedente, alternative fallite, guadagno minimo e soglia di qualità prestabiliti e prove di rifiuto, arresto o ripristino. Segnala cambiamenti di modello, budget o difficoltà.
Per esempio, un ente non profit collega le mancate consegne ai cambi di indirizzo tardivi. Il turno successivo prova entrambi i metodi su nuovi ordini e confronta mancate consegne e puntualità.
G5 · Obiettivo di ricerca
Verifica se una procedura sperimentale migliore aumenta il tasso di successo delle modifiche in un altro ambito a risorse comparabili.
Il progetto è iniziato senza un registro delle attività?
Un agente può ricostruire le attività da richieste, registri e ricevute, comprese quelle in sospeso o svolte da persone. Ogni attività comprende preparazione, esecuzione, verifica e consegna. Il rapporto stima un intervallo per il contributo dell’IA e mostra l’effetto dei pesi assegnati alle attività. Se il limite inferiore a parità di peso supera il 50%, la stima retrospettiva è G1. Questa modalità non rilascia distintivi.
Scarica lo strumento e l’esempio
Caso 01 · Avvio del progetto · Come GO Benchmark ha valutato il proprio avvio
Consentire la verifica dei giudizi dell’agente
- Raccolta
- Usa un modello comune entro il perimetro autorizzato. Conserva fonti, versioni, interventi, lacune e contraddizioni.
- Calcolo riproducibile
- Separa classificazione e calcolo. Stessi dati e regole devono dare lo stesso risultato. Le impronte digitali rilevano modifiche; dell’autenticità risponde chi fornisce e pubblica i dati.
- Revisione neutrale
- Oscura le identità quando possibile, varia l’ordine e valuta in modo indipendente con criteri fissi. Registra versioni, istruzioni, motivazioni e controllo umano. Pubblica i disaccordi rilevanti e adotta la conclusione prudente.
- Pubblicazione e correzioni
- Abbina al distintivo un rapporto con unità, perimetro, periodo e versione. Pubblica sintesi anonimizzate, conserva gli originali e collega le correzioni alle versioni precedenti. I terzi indicano quali prove hanno verificato.
Fonti del metodo
GDPval usa risultati professionali e revisione in cieco. GO aggiunge l’accettazione operativa. GDPval
τ-bench controlla lo stato finale e l’affidabilità su prove ripetute. GO distingue le ripetizioni dalle osservazioni in produzione. τ-bench
METR misura i tempi umani di riferimento. GO riporta ore, tempo trascorso e frequenza dei subentri. METR
Le criticità di SWE-bench Verified suggeriscono di riservare casi futuri e conservare la cronologia delle correzioni. SWE-bench Verified
La Darwin Gödel Machine valuta le modifiche su compiti successivi. GO richiede prove indipendenti dal sistema valutato. Darwin Gödel Machine
Calibrare la prossima versione
Preregistra progetti pilota in più settori. Due revisori valutano indipendentemente le stesse prove anonimizzate. Pubblica numerosità per livello, matrice di confusione, kappa ponderato e incertezza. Confronta i giudizi con le verifiche operative.
Usa consegne successive per testare la previsione di completamenti e subentri. Varia separatamente pesi, periodi e soglie per misurare la sensibilità. Associa ogni conclusione alla versione adottata.