GOBenchmark
Русский

Пример 01 · Запуск проекта

Как GO Benchmark оценил собственный запуск

По запросам, рабочим записям и подтверждениям удалось восстановить восемь задач. ИИ самостоятельно выполнил 21 из 32 этапов. Это даёт основание для ретроспективной оценки G1 за период запуска.

15–16 ноября 2026 · До 14:20 по Шанхаю · Самооценка агента проекта · Без независимой проверки и выдачи знака

Восстановление списка задач

Изначально в списке было шесть задач. Сверка запросов с репозиторием добавила две: создание организации и закрытого репозитория GitHub и проект повестки первой встречи. Десять языковых версий считались одним сайтом, повторные запросы кода — одной регистрацией в X. Незавершённые регистрации в X и в реестре штата остались в знаменателе.

ЗадачаПодготовкаИсполнениеПроверкаПередача
Протокол и инструментыСовместноИИИИИИ
Сайт и доменСовместноИИСовместноИИ
Организация и репозиторий GitHubИИИИИИИИ
Почта и ежедневная проверкаИИСовместноИИИИ
Страница LinkedInИИИИИИИИ
Аккаунт XИИСовместноСовместноНе завершено
Регистрация организацииСовместноСовместноИИНе завершено
Проект повесткиЧеловекИИИИИИ

Роль человека

Для LinkedIn основатель подтвердил полномочия и принял условия. Агент заполнил и отправил форму, затем проверил страницу. Разрешение учли отдельно. Основатель сам вошёл в почту, прошёл проверку лица в X, указал на неверно выбранный ящик и оплатил услуги регистрационного агента. Это уже участие в работе.

Расчёт G1

  • ИИ · 21
  • Совместно · 8
  • Человек · 1
  • Не завершено · 2

При равных весах 21 этап выполнен ИИ, восемь — совместно, один — человеком, две передачи результата не состоялись. В зависимости от распределения совместной работы доля ИИ составляет от 21/32 (65,6 %) до 29/32 (90,6 %). Для G1 требуется больше половины. Этапы приблизительно отражают объём труда; фактические часы и работа людей вне записей неизвестны.

При весе каждой задачи от одного до двух нижняя граница равна 56,8 %. Если разрешения для GitHub и LinkedIn считать совместным исполнением, она снизится до 52,3 %. Если добавить разрешение на покупку домена, получится 47,7 %. При таком сочетании допущений G1 под вопросом.

Что нужно для G2

Для G2 принятые результаты, полученные ИИ от начала до конца без существенной помощи человека, должны охватывать более половины объёма всех задач со сроком в данном окне и каждый заранее зарегистрированный ключевой процесс. Сайт — кандидат, но критерии его приёмки заранее не зафиксировали. Регистрации в X и в штате не завершились. Без заранее заданных процессов и весов охват G2 не вычислить. Ретроспективная оценка ограничена G0 и G1.

В следующем окне можно проверить, проведёт ли внешняя команда оценку на своих данных и воспроизведёт ли отчёт самостоятельно. Заранее зафиксируйте критерий приёмки, процессы и веса; отмечайте, где работу пришлось передать человеку.

Повторить оценку

  1. Определите команду, период и условия приёмки. Соберите запросы и результаты; уточните у участников, не пропущена ли работа, выполненная только людьми.
  2. Сгруппируйте записи по результату, сохраните неудачи и незавершённые задачи. Для каждого этапа укажите датированный источник; неизвестное авторство отметьте явно.
  3. Распакуйте архив и выполните команду в его каталоге с Python 3.9 или новее. Сравните результат с expected-report.json. Для своего проекта составьте манифест по AGENT.md из общего набора.
python3 evaluate.py manifest.json my-result