GOBenchmark
Italiano

Standard aperto · v0.1

Metodo di valutazione

Quanto lavoro essenziale può affidare un’unità all’IA e che cosa impara dai risultati? Ogni valutazione precisa perimetro, periodo e versione.

La v0.1 è un progetto pilota aperto. Chi presenta la dichiarazione risponde delle fonti. Comparabilità tra settori, capacità predittiva e accordo tra valutatori richiedono calibrazione.

Torna alla pagina iniziale

Definire missione e denominatore

Specifica responsabile, periodo, compiti, criteri di accettazione e fonte del registro. Includi tutte le attività in scadenza nel periodo e prestabilisci flussi e pesi. Nella ricerca può contare una replica indipendente; in un servizio pubblico, la chiusura del caso con controllo qualità.

Copertura integrale = peso delle attività in scadenza completate dall’IA dall’inizio alla fine e accettate ÷ peso di tutte le attività in scadenza.

Assegna pesi uguali ad attività comparabili. Se la complessità varia, usa ore di riferimento prestabilite e pubblica conteggi e risultati non ponderati per flusso. Includi insuccessi, ritardi, esiti ignoti e subentri. Registra la firma obbligatoria separatamente dalle revisioni sostanziali e dal coordinamento umano.

Il pilota usa il registro completo. In uno studio campionario, fissa popolazione, strati e seme casuale. Segnala copertura e omissioni. Un intervallo binomiale è adatto a osservazioni casuali indipendenti di peso uguale. Considera la correlazione per cliente o progetto. Rinvia il passaggio di livello se l’intervallo attraversa la soglia.

Prove per le due soglie

G2 · Accettazione operativa

Oltre la metà del peso del lavoro essenziale deve risultare consegnata integralmente dall’IA. Servono registri per tutti i flussi dichiarati. Ricostruisci richiesta, esecutori, interventi e stato finale. Indica tempi di revisione umana, costo totale e incidenti di qualità.

G4 · Miglioramenti duraturi

Oltre a G3, dimostra due cicli su problemi diversi con compiti di verifica distinti tenuti da parte. Documenta rilevazione, proposta, attuazione autorizzata e nuova prova. Confronta le versioni sugli stessi casi nuovi. Conserva versione precedente, alternative fallite, guadagno minimo e soglia di qualità prestabiliti e prove di rifiuto, arresto o ripristino. Segnala cambiamenti di modello, budget o difficoltà.

Per esempio, un ente non profit collega le mancate consegne ai cambi di indirizzo tardivi. Il turno successivo prova entrambi i metodi su nuovi ordini e confronta mancate consegne e puntualità.

G5 · Obiettivo di ricerca

Verifica se una procedura sperimentale migliore aumenta il tasso di successo delle modifiche in un altro ambito a risorse comparabili.

Il progetto è iniziato senza un registro delle attività?

Un agente può ricostruire le attività da richieste, registri e ricevute, comprese quelle in sospeso o svolte da persone. Ogni attività comprende preparazione, esecuzione, verifica e consegna. Il rapporto stima un intervallo per il contributo dell’IA e mostra l’effetto dei pesi assegnati alle attività. Se il limite inferiore a parità di peso supera il 50%, la stima retrospettiva è G1. Questa modalità non rilascia distintivi.

Scarica lo strumento e l’esempio

Caso 01 · Avvio del progetto · Come GO Benchmark ha valutato il proprio avvio

Consentire la verifica dei giudizi dell’agente

Raccolta
Usa un modello comune entro il perimetro autorizzato. Conserva fonti, versioni, interventi, lacune e contraddizioni.
Calcolo riproducibile
Separa classificazione e calcolo. Stessi dati e regole devono dare lo stesso risultato. Le impronte digitali rilevano modifiche; dell’autenticità risponde chi fornisce e pubblica i dati.
Revisione neutrale
Oscura le identità quando possibile, varia l’ordine e valuta in modo indipendente con criteri fissi. Registra versioni, istruzioni, motivazioni e controllo umano. Pubblica i disaccordi rilevanti e adotta la conclusione prudente.
Pubblicazione e correzioni
Abbina al distintivo un rapporto con unità, perimetro, periodo e versione. Pubblica sintesi anonimizzate, conserva gli originali e collega le correzioni alle versioni precedenti. I terzi indicano quali prove hanno verificato.

Fonti del metodo

GDPval usa risultati professionali e revisione in cieco. GO aggiunge l’accettazione operativa. GDPval

τ-bench controlla lo stato finale e l’affidabilità su prove ripetute. GO distingue le ripetizioni dalle osservazioni in produzione. τ-bench

METR misura i tempi umani di riferimento. GO riporta ore, tempo trascorso e frequenza dei subentri. METR

Le criticità di SWE-bench Verified suggeriscono di riservare casi futuri e conservare la cronologia delle correzioni. SWE-bench Verified

La Darwin Gödel Machine valuta le modifiche su compiti successivi. GO richiede prove indipendenti dal sistema valutato. Darwin Gödel Machine

Calibrare la prossima versione

Preregistra progetti pilota in più settori. Due revisori valutano indipendentemente le stesse prove anonimizzate. Pubblica numerosità per livello, matrice di confusione, kappa ponderato e incertezza. Confronta i giudizi con le verifiche operative.

Usa consegne successive per testare la previsione di completamenti e subentri. Varia separatamente pesi, periodi e soglie per misurare la sensibilità. Associa ogni conclusione alla versione adottata.