GOBenchmark
Español

Estándar abierto · v0.1

Método de evaluación

¿Cuánto trabajo esencial puede delegar una unidad en la IA y cómo aprende de los resultados? Cada evaluación identifica alcance, periodo y versión.

La v0.1 es un piloto abierto. Quien declara responde de sus fuentes. Aún deben calibrarse la comparación entre sectores, la capacidad predictiva y el acuerdo entre evaluadores.

Volver al inicio

Definir la misión y el denominador

Identifica responsable, periodo, tareas, criterios de aceptación y fuente del registro. Incluye todas las tareas con vencimiento en el periodo y fija previamente los procesos y pesos. En investigación puede exigirse una reproducción independiente; en servicios públicos, el cierre y control de calidad de un caso.

Cobertura integral = peso de las tareas exigibles completadas de principio a fin por la IA y aceptadas ÷ peso de todas las tareas exigibles.

Asigna igual peso a tareas comparables. Si difieren, usa horas de referencia predefinidas y publica recuentos y resultados sin ponderar por proceso. Incluye fallos, retrasos, resultados desconocidos y relevos humanos. Registra la firma obligatoria aparte de revisiones sustantivas y coordinación humana.

El piloto usa el registro completo. Para un estudio muestral, fija marco, estratos y semilla aleatoria. Informa de cobertura y omisiones. Un intervalo binomial sirve para observaciones aleatorias independientes de igual peso. Considera la agrupación por cliente o proyecto. Si el intervalo cruza el umbral, aplaza el ascenso.

Pruebas para los dos umbrales

G2 · Aceptación operativa

La IA debe entregar integralmente más de la mitad del trabajo esencial por peso y debe haber registros de todos los procesos declarados. Rastrea la solicitud, responsables, intervenciones y estado final. Indica tiempo de revisión, coste total e incidentes de calidad.

G4 · Mejoras que perduran

Además de G3, demuestra dos ciclos sobre problemas distintos, con casos reservados diferentes. Documenta detección, propuesta, ejecución autorizada y nueva prueba. Compara versiones en los mismos casos nuevos. Conserva la versión anterior, alternativas fallidas, ganancia mínima y calidad mínima predefinidas, y pruebas de rechazo, parada o reversión. Indica cambios de modelo, presupuesto o dificultad que afecten a la atribución.

Ejemplo: una entidad social relaciona entregas fallidas con cambios tardíos de dirección. El siguiente turno prueba ambos procedimientos en pedidos nuevos y compara fallos y puntualidad.

G5 · Objetivo de investigación

Comprueba si el nuevo método aumenta la proporción de mejoras exitosas en otro dominio con recursos comparables.

¿El proyecto empezó sin un registro de tareas?

Un agente puede reconstruir las tareas a partir de solicitudes, registros y comprobantes, incluidas las pendientes y las realizadas por personas. Se evalúan cuatro etapas: preparación, ejecución, revisión y entrega. El informe estima un intervalo para la contribución de la IA y muestra el efecto de ponderar las tareas. Si el límite inferior con pesos iguales supera el 50 %, la estimación retrospectiva es G1. Esta vía no otorga insignias.

Descargar el evaluador y el ejemplo

Caso 01 · Lanzamiento · Cómo evaluó GO Benchmark su propio lanzamiento

Hacer revisables los juicios del agente

Recogida de pruebas
Usa una plantilla común dentro del ámbito autorizado. Conserva referencias, versiones, intervenciones, lagunas y contradicciones.
Puntuación reproducible
Separa clasificación y cálculo. Los mismos datos y reglas deben dar el mismo resultado. Los resúmenes criptográficos detectan cambios; la autenticidad corresponde a quienes aportan y publican los registros.
Revisión neutral
Oculta identidades cuando sea viable. Varía el orden y puntúa de forma independiente con una rúbrica fija. Documenta versiones, instrucciones, razones y revisión humana. Publica desacuerdos relevantes y adopta la conclusión prudente.
Publicación y correcciones
Vincula la insignia a un informe con unidad, alcance, periodo y versión. Publica pruebas anonimizadas, conserva los originales y enlaza las correcciones con los informes anteriores. Los terceros detallan qué revisaron.

Fuentes del método

GDPval emplea entregas profesionales y revisión ciega. GO añade la aceptación real. GDPval

τ-bench comprueba el estado final y la fiabilidad en ensayos repetidos. GO distingue repeticiones y observaciones de producción. τ-bench

METR usa el tiempo humano de referencia. GO informa de horas, tiempo transcurrido y relevos. METR

Las limitaciones de SWE-bench Verified motivan reservar casos futuros y mantener un historial de correcciones. SWE-bench Verified

Darwin Gödel Machine evalúa modificaciones en tareas posteriores. GO requiere pruebas independientes del sistema evaluado. Darwin Gödel Machine

Calibrar la próxima versión

Prerregistra pilotos en varios sectores. Dos revisores evalúan de forma independiente las mismas pruebas anonimizadas. Publica tamaños por nivel, matriz de confusión, kappa ponderado e incertidumbre. Contrasta con los responsables operativos.

Comprueba en entregas futuras si los niveles predicen finalización y relevos humanos. Varía por separado pesos, periodos y umbrales para medir sensibilidad. Identifica la versión en cada conclusión.