GOBenchmark
Français

Référentiel ouvert · v0.1

Méthode d’évaluation

Quelle part de sa mission une unité confie-t-elle à l’IA et qu’apprend-elle des résultats ? Chaque évaluation précise le périmètre, la période et la version.

La v0.1 est expérimentale. Le déclarant répond de ses sources. La comparabilité entre secteurs, la valeur prédictive et l’accord entre évaluateurs restent à mesurer.

Retour à l’accueil

Définir la mission et le dénominateur

Indiquez le responsable, les tâches, les critères d’acceptation et le registre. Recensez toutes les tâches dues et fixez les flux et les poids en amont. Une recherche peut exiger une reproduction indépendante ; un service public, un dossier clos et contrôlé.

Couverture de bout en bout = poids des tâches dues livrées par l’IA et acceptées ÷ poids de toutes les tâches dues.

À tâches comparables, poids égaux. Sinon, utilisez les heures de référence prédéfinies ; publiez aussi les effectifs et les résultats non pondérés. Incluez échecs, retards, résultats inconnus et reprises. Comptez les révisions de fond et la coordination humaine séparément de la signature obligatoire.

Le pilote utilise le registre complet. Pour une étude sur échantillon, fixez population, strates et graine aléatoire, puis indiquez couverture et omissions. Un intervalle binomial convient aux observations aléatoires indépendantes de même poids. Tenez compte des grappes par client ou projet. Si l’intervalle traverse le seuil, différez la promotion.

Preuves aux deux seuils

G2 · Acceptation opérationnelle

Plus de la moitié du poids des tâches essentielles doit être livrée de bout en bout et chaque flux déclaré doit être documenté. Reconstituez demande, exécutants, interventions et état final. Publiez temps de revue, coûts et incidents.

G4 · Améliorations durables

Après G3, démontrez deux cycles sur des problèmes différents avec des tâches réservées distinctes. Retracez détection, proposition, autorisation, mise en œuvre et nouvel essai. Comparez les versions sur les mêmes cas inédits. Conservez les essais infructueux, le gain minimal, le plancher de qualité et la possibilité de refus, d’arrêt ou de retour arrière. Signalez les changements de modèle, budget ou difficulté qui compliquent l’attribution.

Exemple : une association relie les livraisons manquées aux changements d’adresse tardifs. L’équipe suivante teste les deux procédures sur de nouvelles commandes et compare échecs et ponctualité.

G5 · Objectif de recherche

Vérifier dans un nouveau domaine si une meilleure méthode d’expérimentation augmente le taux de changements réussis à ressources comparables.

Le projet a démarré sans registre des tâches ?

Un agent peut reconstituer les tâches à partir des demandes, des traces de travail et des justificatifs, y compris les tâches en suspens ou réalisées par une personne. Chaque tâche comporte quatre étapes : préparation, exécution, vérification et livraison. Le rapport estime la part de l’IA sous forme d’intervalle et teste différentes pondérations. Si la borne inférieure à poids égaux dépasse 50 %, l’estimation rétrospective est G1. Cette voie ne délivre pas de badge.

Télécharger l’outil et l’exemple

Étude de cas 01 · Lancement · Comment GO Benchmark a évalué son propre lancement

Rendre les jugements contestables

Collecte
L’agent cite les sources autorisées et consigne versions, lacunes, contradictions et interventions.
Calcul reproductible
Séparez classification et calcul. Entrées et règles identiques doivent donner le même résultat. Une empreinte détecte une modification ; l’authenticité engage le déclarant.
Revue neutre
Masquez les identités si possible, variez l’ordre et faites noter indépendamment selon une grille fixe. Consignez modèles, consignes, motifs et revue humaine. Publiez les désaccords importants et retenez la conclusion prudente.
Corrections
Le badge accompagne un rapport daté et versionné, au périmètre explicite. Publiez un résumé expurgé, conservez les originaux et reliez chaque correction à la version antérieure. Un tiers précise les preuves qu’il a revues.

Sources de la méthode

GDPval associe tâches professionnelles et revue à l’aveugle. GO ajoute l’acceptation opérationnelle. GDPval

τ-bench examine l’état final et la fiabilité des répétitions. GO sépare rejeux et observations en production. τ-bench

METR mesure la durée de référence humaine. GO rapporte heures, délai écoulé et fréquence des reprises. METR

Les limites observées dans SWE-bench Verified motivent la réservation de cas futurs et un historique des corrections. SWE-bench Verified

La Darwin Gödel Machine teste ses modifications en aval. GO demande des preuves d’évaluation indépendantes du système évalué. Darwin Gödel Machine

Calibrer la prochaine version

Préenregistrez des pilotes dans plusieurs secteurs. Deux évaluateurs examinent indépendamment les mêmes preuves anonymisées. Publiez effectifs par niveau, matrice de confusion, kappa pondéré et incertitude. Comparez avec les vérifications des responsables opérationnels.

Sur les livraisons ultérieures, testez la prédiction du succès et des reprises. Faites varier poids, périodes et seuils séparément. Identifiez chaque conclusion par la version utilisée.