Определите миссию и знаменатель
Укажите ответственного, период, задачи, критерии приёмки и источник реестра. Включите все задачи со сроком в данном периоде, заранее задайте направления работы и веса. Для исследования критерием может быть независимое воспроизведение, для госуслуги — закрытие дела и проверка качества.
Сквозной охват = вес принятых задач со сроком в периоде, выполненных ИИ от начала до конца, ÷ вес всех задач со сроком в периоде.
Сопоставимым задачам назначайте одинаковый вес. При разной сложности используйте заранее заданные базовые трудозатраты. Публикуйте число задач и невзвешенную долю по направлениям. Включите неудачи, просрочки, неизвестные исходы и передачу человеку. Обязательную подпись отделяйте от доработки и координации.
В пилоте нужен полный реестр. Для выборочного исследования заранее задайте генеральную совокупность, страты и начальное значение генератора. Укажите охват и пропуски. Для независимой случайной выборки с равными весами применим интервал для биномиальной доли. Учтите группировку по клиентам или проектам. При пересечении порога интервалом отложите повышение.
Доказательства для двух порогов
G2 · Приёмка результата
ИИ должен целиком сдать более половины основной работы по весу. Нужны записи по всем заявленным направлениям. Восстановите запрос, смену исполнителей, вмешательства и конечное состояние. Укажите время проверки людьми, общие затраты и инциденты качества.
G4 · Устойчивые улучшения
После G3 покажите два цикла для разных проблем на отдельных отложенных задачах. Зафиксируйте выявление, предложение, внедрение в пределах полномочий и повторную проверку. Сравните версии на одних и тех же новых примерах. Сохраните старую версию, неудачные варианты, заранее заданный минимальный выигрыш и нижнюю границу качества, основания для отказа, остановки или отката. Укажите смену модели, бюджета и сложности.
Например, ИИ в благотворительном проекте связывает срывы доставки с поздней сменой адреса. Следующая смена проверяет обе процедуры на новых заказах, сравнивая срывы и своевременность.
G5 · Исследовательская задача
Проверьте, повышает ли новый способ проведения испытаний долю успешных улучшений в другой области при сопоставимых ресурсах.
Проект начался без реестра задач?
Агент может восстановить задачи по запросам, журналам работ и подтверждениям передачи результата, включая остановленные задачи и работу людей. Каждая задача включает подготовку, выполнение, проверку и передачу результата. Отчёт оценивает долю ИИ в виде интервала и показывает влияние весов задач. Если при равных весах нижняя граница выше 50 %, ретроспективная оценка — G1. По этой процедуре знак не выдаётся.
Пример 01 · Запуск проекта · Как GO Benchmark оценил собственный запуск
Как проверить суждение агента
- Сбор доказательств
- Собирайте разрешённые записи по общему шаблону. Храните ссылки, версии, вмешательства, пробелы и противоречия.
- Воспроизводимый расчёт
- Отделите классификацию от расчёта. Одинаковые данные и правила должны давать тот же результат. Хэш выявляет изменение содержания; за подлинность отвечают поставщик данных и заявитель.
- Нейтральная проверка
- По возможности скройте имена поставщиков, моделей и заявителей. Меняйте порядок предъявления, оценивайте независимо по общей шкале. Записывайте версии, инструкции, обоснования и проверку людьми. Раскройте существенные разногласия и выберите осторожный вывод.
- Публикация и исправления
- Приложите к знаку отчёт с границами, периодом и версией. Публикуйте обезличенную сводку, храните оригиналы внутри организации. Ссылайтесь на прежнюю версию при исправлении. Внешний эксперт указывает объём своей проверки.
Источники методики
GDPval использует профессиональные задачи и слепую экспертную проверку. GO добавляет фактическую приёмку. GDPval
τ-bench проверяет конечное состояние и надёжность повторов. GO различает повторные испытания и рабочие наблюдения. τ-bench
METR использует время выполнения человеком. GO указывает базовые трудозатраты, длительность и частоту передачи работы. METR
Недостатки SWE-bench Verified обосновывают резервирование будущих примеров и ведение истории исправлений. SWE-bench Verified
Darwin Gödel Machine оценивает изменения на последующих задачах. GO требует доказательств, независимых от оцениваемой системы. Darwin Gödel Machine
Калибровка следующей версии
Заранее регистрируйте проекты в разных секторах. Два эксперта независимо оценивают одинаковые обезличенные материалы. Опубликуйте численность по уровням, матрицу ошибок, взвешенную каппу и неопределённость. Сверьте с результатами операционной проверки.
На будущих задачах проверьте прогноз завершения и передачи человеку. Поочерёдно меняйте веса, периоды и пороги, чтобы определить чувствительность выводов. Указывайте версию стандарта.