Definir la misión y el denominador
Identifica responsable, periodo, tareas, criterios de aceptación y fuente del registro. Incluye todas las tareas con vencimiento en el periodo y fija previamente los procesos y pesos. En investigación puede exigirse una reproducción independiente; en servicios públicos, el cierre y control de calidad de un caso.
Cobertura integral = peso de las tareas exigibles completadas de principio a fin por la IA y aceptadas ÷ peso de todas las tareas exigibles.
Asigna igual peso a tareas comparables. Si difieren, usa horas de referencia predefinidas y publica recuentos y resultados sin ponderar por proceso. Incluye fallos, retrasos, resultados desconocidos y relevos humanos. Registra la firma obligatoria aparte de revisiones sustantivas y coordinación humana.
El piloto usa el registro completo. Para un estudio muestral, fija marco, estratos y semilla aleatoria. Informa de cobertura y omisiones. Un intervalo binomial sirve para observaciones aleatorias independientes de igual peso. Considera la agrupación por cliente o proyecto. Si el intervalo cruza el umbral, aplaza el ascenso.
Pruebas para los dos umbrales
G2 · Aceptación operativa
La IA debe entregar integralmente más de la mitad del trabajo esencial por peso y debe haber registros de todos los procesos declarados. Rastrea la solicitud, responsables, intervenciones y estado final. Indica tiempo de revisión, coste total e incidentes de calidad.
G4 · Mejoras que perduran
Además de G3, demuestra dos ciclos sobre problemas distintos, con casos reservados diferentes. Documenta detección, propuesta, ejecución autorizada y nueva prueba. Compara versiones en los mismos casos nuevos. Conserva la versión anterior, alternativas fallidas, ganancia mínima y calidad mínima predefinidas, y pruebas de rechazo, parada o reversión. Indica cambios de modelo, presupuesto o dificultad que afecten a la atribución.
Ejemplo: una entidad social relaciona entregas fallidas con cambios tardíos de dirección. El siguiente turno prueba ambos procedimientos en pedidos nuevos y compara fallos y puntualidad.
G5 · Objetivo de investigación
Comprueba si el nuevo método aumenta la proporción de mejoras exitosas en otro dominio con recursos comparables.
¿El proyecto empezó sin un registro de tareas?
Un agente puede reconstruir las tareas a partir de solicitudes, registros y comprobantes, incluidas las pendientes y las realizadas por personas. Se evalúan cuatro etapas: preparación, ejecución, revisión y entrega. El informe estima un intervalo para la contribución de la IA y muestra el efecto de ponderar las tareas. Si el límite inferior con pesos iguales supera el 50 %, la estimación retrospectiva es G1. Esta vía no otorga insignias.
Descargar el evaluador y el ejemplo
Caso 01 · Lanzamiento · Cómo evaluó GO Benchmark su propio lanzamiento
Hacer revisables los juicios del agente
- Recogida de pruebas
- Usa una plantilla común dentro del ámbito autorizado. Conserva referencias, versiones, intervenciones, lagunas y contradicciones.
- Puntuación reproducible
- Separa clasificación y cálculo. Los mismos datos y reglas deben dar el mismo resultado. Los resúmenes criptográficos detectan cambios; la autenticidad corresponde a quienes aportan y publican los registros.
- Revisión neutral
- Oculta identidades cuando sea viable. Varía el orden y puntúa de forma independiente con una rúbrica fija. Documenta versiones, instrucciones, razones y revisión humana. Publica desacuerdos relevantes y adopta la conclusión prudente.
- Publicación y correcciones
- Vincula la insignia a un informe con unidad, alcance, periodo y versión. Publica pruebas anonimizadas, conserva los originales y enlaza las correcciones con los informes anteriores. Los terceros detallan qué revisaron.
Fuentes del método
GDPval emplea entregas profesionales y revisión ciega. GO añade la aceptación real. GDPval
τ-bench comprueba el estado final y la fiabilidad en ensayos repetidos. GO distingue repeticiones y observaciones de producción. τ-bench
METR usa el tiempo humano de referencia. GO informa de horas, tiempo transcurrido y relevos. METR
Las limitaciones de SWE-bench Verified motivan reservar casos futuros y mantener un historial de correcciones. SWE-bench Verified
Darwin Gödel Machine evalúa modificaciones en tareas posteriores. GO requiere pruebas independientes del sistema evaluado. Darwin Gödel Machine
Calibrar la próxima versión
Prerregistra pilotos en varios sectores. Dos revisores evalúan de forma independiente las mismas pruebas anonimizadas. Publica tamaños por nivel, matriz de confusión, kappa ponderado e incertidumbre. Contrasta con los responsables operativos.
Comprueba en entregas futuras si los niveles predicen finalización y relevos humanos. Varía por separado pesos, periodos y umbrales para medir sensibilidad. Identifica la versión en cada conclusión.