GOBenchmark
Русский
Независимая международная некоммерческая инициатива

Как измерить переход организации на ИИ?

G2Работа под управлением ИИG4Организация Гёделя↓

Измерять самоулучшение на реальных задачах.

Когда ИИ есть в каждом отделе, какую часть основной работы он выполняет от получения запроса до приёмки результата? Может ли команда извлечь урок из сегодняшней ошибки и предотвратить её в следующем заказе?

Открытый стандарт · v0.1

Что требуется для каждого уровня?

Агент систематизирует записи о реальных задачах, а программа фиксированной версии рассчитывает уровень. G2 проверяет выполнение основной работы целиком, G4 — повторяемые проверенные улучшения, G5 — развитие самого механизма улучшения.

Выберите уровень, чтобы увидеть определение и требования к доказательствам.

МАШИНА ГЁДЕЛЯ

Когда машине стоит переписывать себя?

В 1931 году математик и логик Курт Гёдель в работе о неполноте закодировал формулы и доказательства числами. В арифметике стало возможно высказываться о самих доказательствах. Эта идея самореференции подводит к вопросу: может ли программа рассуждать о своём коде и улучшать его?

В 2003 году Юрген Шмидхубер предложил машину Гёделя. Выполняя задачи, эта теоретическая машина ищет изменения своего кода. При заданных целях и аксиомах она должна доказать, что изменение сейчас имеет большую ожидаемую полезность, чем продолжение работы программы и поиска альтернатив. Получив доказательство, она применяет изменение.

Процедура поиска доказательств тоже может быть переписана. При рекурсивном самоулучшении (RSI) очередное изменение влияет на поиск следующего. Доказательство зависит от аксиом, предположений о среде и функции полезности. Полезное изменение может остаться недоказанным.

Организация Гёделя (GO) учится на своей работе и совершенствует сам способ обучения. GO Benchmark оценивает этот путь по результатам, которые сдаёт ИИ, устойчивым изменениям процессов и способам проверки этих изменений.

Работа Шмидхубера ↗ Курт Гёдель в IAS ↗
ОРГАНИЗАЦИЯ ГЁДЕЛЯ · GO

Как команде улучшить сам процесс улучшения?

Команда делает процессы наблюдаемыми. ИИ предлагает изменения в заданных людьми пределах, а команда проверяет их на последующих задачах. На уровне G4 обозначение GO опирается на результаты, сравнения и историю решений.

G4 · Улучшение расчёта сметы

ИИ замечает пропуски расходов на доставку в удалённые районы. С разрешения команды он испытывает новое правило. На следующих заказах сравнивают пропуски и сроки и принимают или отменяют изменение. Цикл должен повторяться для разных проблем.

G5 · Улучшение испытаний

ИИ замечает, что проверки охватывают в основном типовые заказы, и резервирует примеры каждого типа. При той же стоимости проверки ошибки в скидках для небольших клиентов обнаруживаются раньше. Это исследовательская цель.

Пример 01 · Запуск проекта

Как GO Benchmark оценил собственный запуск

По запросам, рабочим записям и подтверждениям удалось восстановить восемь задач. ИИ самостоятельно выполнил 21 из 32 этапов. Это даёт основание для ретроспективной оценки G1 за период запуска.

Читать разбор

Начать самооценку

Ваш агент восстановит задачи по запросам, рабочим записям и подтверждениям приёмки, а затем рассчитает и воспроизведёт результат локально.

Начать самооценку