GOBenchmark
Русский

Открытый стандарт · v0.1

Методика оценки

Какую долю основной работы подразделение передаёт ИИ и как учится на результатах? Каждая оценка привязана к области, периоду и версии стандарта.

Версия 0.1 открыта для апробации. Заявитель отвечает за источники и выводы. Сопоставимость отраслей, прогнозная сила и согласие экспертов требуют проверки.

На главную

Определите миссию и знаменатель

Укажите ответственного, период, задачи, критерии приёмки и источник реестра. Включите все задачи со сроком в данном периоде, заранее задайте направления работы и веса. Для исследования критерием может быть независимое воспроизведение, для госуслуги — закрытие дела и проверка качества.

Сквозной охват = вес принятых задач со сроком в периоде, выполненных ИИ от начала до конца, ÷ вес всех задач со сроком в периоде.

Сопоставимым задачам назначайте одинаковый вес. При разной сложности используйте заранее заданные базовые трудозатраты. Публикуйте число задач и невзвешенную долю по направлениям. Включите неудачи, просрочки, неизвестные исходы и передачу человеку. Обязательную подпись отделяйте от доработки и координации.

В пилоте нужен полный реестр. Для выборочного исследования заранее задайте генеральную совокупность, страты и начальное значение генератора. Укажите охват и пропуски. Для независимой случайной выборки с равными весами применим интервал для биномиальной доли. Учтите группировку по клиентам или проектам. При пересечении порога интервалом отложите повышение.

Доказательства для двух порогов

G2 · Приёмка результата

ИИ должен целиком сдать более половины основной работы по весу. Нужны записи по всем заявленным направлениям. Восстановите запрос, смену исполнителей, вмешательства и конечное состояние. Укажите время проверки людьми, общие затраты и инциденты качества.

G4 · Устойчивые улучшения

После G3 покажите два цикла для разных проблем на отдельных отложенных задачах. Зафиксируйте выявление, предложение, внедрение в пределах полномочий и повторную проверку. Сравните версии на одних и тех же новых примерах. Сохраните старую версию, неудачные варианты, заранее заданный минимальный выигрыш и нижнюю границу качества, основания для отказа, остановки или отката. Укажите смену модели, бюджета и сложности.

Например, ИИ в благотворительном проекте связывает срывы доставки с поздней сменой адреса. Следующая смена проверяет обе процедуры на новых заказах, сравнивая срывы и своевременность.

G5 · Исследовательская задача

Проверьте, повышает ли новый способ проведения испытаний долю успешных улучшений в другой области при сопоставимых ресурсах.

Проект начался без реестра задач?

Агент может восстановить задачи по запросам, журналам работ и подтверждениям передачи результата, включая остановленные задачи и работу людей. Каждая задача включает подготовку, выполнение, проверку и передачу результата. Отчёт оценивает долю ИИ в виде интервала и показывает влияние весов задач. Если при равных весах нижняя граница выше 50 %, ретроспективная оценка — G1. По этой процедуре знак не выдаётся.

Скачать инструмент и пример

Пример 01 · Запуск проекта · Как GO Benchmark оценил собственный запуск

Как проверить суждение агента

Сбор доказательств
Собирайте разрешённые записи по общему шаблону. Храните ссылки, версии, вмешательства, пробелы и противоречия.
Воспроизводимый расчёт
Отделите классификацию от расчёта. Одинаковые данные и правила должны давать тот же результат. Хэш выявляет изменение содержания; за подлинность отвечают поставщик данных и заявитель.
Нейтральная проверка
По возможности скройте имена поставщиков, моделей и заявителей. Меняйте порядок предъявления, оценивайте независимо по общей шкале. Записывайте версии, инструкции, обоснования и проверку людьми. Раскройте существенные разногласия и выберите осторожный вывод.
Публикация и исправления
Приложите к знаку отчёт с границами, периодом и версией. Публикуйте обезличенную сводку, храните оригиналы внутри организации. Ссылайтесь на прежнюю версию при исправлении. Внешний эксперт указывает объём своей проверки.

Источники методики

GDPval использует профессиональные задачи и слепую экспертную проверку. GO добавляет фактическую приёмку. GDPval

τ-bench проверяет конечное состояние и надёжность повторов. GO различает повторные испытания и рабочие наблюдения. τ-bench

METR использует время выполнения человеком. GO указывает базовые трудозатраты, длительность и частоту передачи работы. METR

Недостатки SWE-bench Verified обосновывают резервирование будущих примеров и ведение истории исправлений. SWE-bench Verified

Darwin Gödel Machine оценивает изменения на последующих задачах. GO требует доказательств, независимых от оцениваемой системы. Darwin Gödel Machine

Калибровка следующей версии

Заранее регистрируйте проекты в разных секторах. Два эксперта независимо оценивают одинаковые обезличенные материалы. Опубликуйте численность по уровням, матрицу ошибок, взвешенную каппу и неопределённость. Сверьте с результатами операционной проверки.

На будущих задачах проверьте прогноз завершения и передачи человеку. Поочерёдно меняйте веса, периоды и пороги, чтобы определить чувствительность выводов. Указывайте версию стандарта.