GOBenchmark
한국어

공개 평가 기준 · v0.1

자가 평가 방법

조직이 핵심 업무를 AI에 얼마나 맡기며 그 결과로 무엇을 배우는지 평가합니다. 모든 평가에는 범위, 기간, 기준 버전을 명시합니다.

v0.1은 공개 시범판입니다. 신고 주체가 출처와 주장에 책임을 집니다. 산업 간 비교 가능성, 예측력, 평가자 간 일치도는 후속 검증 대상입니다.

첫 화면으로

임무와 분모 정하기

책임자, 기간, 과제, 검수 조건, 작업 대장의 출처를 명시합니다. 해당 기간에 기한이 도래한 모든 과제를 포함하고 업무 흐름과 가중치를 미리 정합니다. 연구에서는 독립 재현, 공공 서비스에서는 사건 종결과 품질 점검을 검수 조건으로 삼을 수 있습니다.

전 과정 완료율 = 기간 내 기한이 도래한 과제 중 AI가 처음부터 끝까지 수행해 검수를 통과한 과제의 가중치 합 ÷ 해당 기간에 기한이 도래한 모든 과제의 가중치 합.

비슷한 과제에는 같은 가중치를 줍니다. 난도가 다르면 미리 정한 기준 작업 시간을 쓰고 업무 흐름별 건수와 비가중 결과도 공개합니다. 실패, 지연, 결과 불명, 사람이 인계받은 과제도 분모에 포함합니다. 의무 승인과 실질적 수정·조율을 구분합니다.

시범판은 전체 대장을 사용합니다. 표본 연구는 표집 틀, 층, 난수 시드를 미리 정하고 층별 포함률과 누락 가능성을 밝힙니다. 동일 가중치의 독립 무작위 관측에는 이항 비율 구간을 사용할 수 있습니다. 고객이나 프로젝트 내 상관을 고려하고 구간이 문턱값을 걸치면 승급을 보류합니다.

두 문턱에 필요한 증거

G2 · 운영 검수

가중치를 기준으로 핵심 업무의 절반을 넘어야 하며 신고한 모든 핵심 업무 흐름에 기록이 있어야 합니다. 요청, 담당 변경, 개입, 최종 상태를 확인하고 사람의 검토 시간, 총비용, 품질 사고도 보고합니다.

G4 · 후속 업무에서 유지되는 개선

G3 요건에 더해 서로 다른 문제에 대한 두 개선 주기를 별개의 유보 과제로 입증합니다. 발견, 제안, 권한 내 실행과 재검증을 기록하고 동일한 새 사례에서 신구 버전을 비교합니다. 이전 버전, 실패한 대안, 사전 정의한 최소 이득과 품질 하한, 거부·중지·복원 가능성의 증거를 보관합니다. 모델, 예산, 난도 변화도 밝힙니다.

예컨대 비영리 배송 사업에서 AI가 막판 주소 변경과 배송 실패의 연관성을 발견합니다. 다음 근무조가 새 주문에서 두 절차의 실패 건수와 정시 도착을 비교합니다.

G5 · 연구 과제

실험 방법 자체를 바꾸면 다른 영역에서 비슷한 자원으로 개선 성공률이 높아지는지 시험합니다.

사전 작업 목록이 없다면?

에이전트가 요청, 작업 기록, 납품 증빙에서 중단된 일과 사람이 수행한 일을 포함해 작업 목록을 복원합니다. 각 작업의 준비, 실행, 검토, 전달 단계를 살펴 AI 수행 비율의 범위를 추정하고 작업별 가중치의 영향을 확인합니다. 동일 가중치에서 하한이 50%를 넘으면 회고 평가에서 G1으로 추정합니다. 이 방식은 배지를 발급하지 않습니다.

평가 도구와 예시 내려받기

실제 사례 01 · 프로젝트 출범 · GO Benchmark는 자체 출범 과정을 어떻게 평가했나

에이전트 판단에 이의를 제기할 수 있도록 하기

증거 수집
허용된 범위의 자료를 공통 양식에 기록합니다. 출처, 버전, 개입, 누락 및 모순을 남깁니다.
재현 가능한 채점
증거 분류와 점수 계산을 분리합니다. 동일한 입력과 규칙은 동일한 결과를 내야 합니다. 해시는 내용의 변경을 감지하며 원본의 진위는 제공자와 발행자가 책임집니다.
중립적 검토
가능하면 공급자, 모델, 제출자를 가리고 제시 순서를 바꿔 고정 기준으로 독립 평가합니다. 버전, 프롬프트, 판단 근거와 사람의 검토를 남깁니다. 중대한 이견은 공개하고 보수적인 결론을 적용합니다.
공개와 정정
범위, 기간, 버전이 적힌 보고서를 배지에 연결합니다. 민감 정보를 지운 요약을 공개하고 원본은 조직에 보관합니다. 정정은 이전 버전에 연결하며 외부 검토자는 확인한 증거를 명시합니다.

평가 방법의 근거

GDPval은 실제 직무 결과물과 익명 동료 평가를 사용합니다. GO는 실제 검수 결과를 추가합니다. GDPval

τ-bench는 최종 상태와 반복 시험의 신뢰성을 봅니다. GO는 재실행과 실제 업무 관측을 구분합니다. τ-bench

METR은 사람의 소요 시간을 기준으로 삼습니다. GO는 기준 공수, 경과 시간, 인계 빈도를 보고합니다. METR

SWE-bench Verified의 채점과 공개 과제 노출 한계를 고려해 새로운 사례를 남겨 두고 정정 이력을 보존합니다. SWE-bench Verified

Darwin Gödel Machine은 후속 과제로 자기 수정을 평가합니다. GO는 평가 대상 시스템에서 독립된 증거를 요구합니다. Darwin Gödel Machine

다음 버전 보정

다양한 분야의 시범 평가를 사전 등록합니다. 평가자 두 명이 같은 비식별 자료를 독립 평가하고 등급별 표본 수, 혼동 행렬, 가중 카파 계수와 불확실성을 공개합니다. 운영 책임자의 확인과 대조합니다.

후속 납품으로 완료와 사람의 인계 여부를 예측하는지 시험합니다. 가중치, 기간, 문턱값을 따로 바꿔 결론의 민감도를 확인하고 모든 결과에 기준 버전을 표시합니다.