$ git show ee1d510 · 2026-10-20 · 정구봉 (Bong)

AAII 해부: 우리 회사 모두는 벤치마크 1등 Opus 5.5를 사용해야 할까요?

환각 점수의 비중을 높이면 Opus 5.5는 10등으로 떨어집니다. 환각 점수가 가장 높은 모델은 Gemini 4 Argon이었습니다.
AAII(Artificial Analysis Intelligence Index)의 점수 계산 방식을 뜯어보면, 나한테 더 적합한 모델을 알 수 있습니다.

my_scoreboard.json

상위 10개 모델 · ▲▼는 AA 공식 순위 대비 변화 · 아래 슬라이더로 11개 세부 평가의 비중을 바꿀 수 있습니다

저는 여러 모델을 씁니다. 그런데 어떤 모델이 가장 좋은지 스스로도 판단하기 어려웠습니다. AAII 기준 1위는 Claude Opus 5.5(57.6점)이고, 저도 데일리 드라이버로 씁니다. 그래도 모든 작업에 이 모델 하나를 써야 하는지는 의문이었습니다. 그래서 인덱스를 처음부터 뜯어봤습니다.

AAII v4.3.2는 10개 평가 점수를 4개 범주 비중으로 섞은 가중평균입니다.
에이전트 30%: AA-Briefcase 15, GDPval-AA 10, AutomationBench 5
일반 30%: Omniscience 정확도 10, 비환각 5, GDP.pdf 10, AA-LCR 5
코딩 20%: Terminal-Bench 4.0 10, SciCode 10
과학 추론 20%: Humanity's Last Exam 10, CritPt 10

설계에는 분명한 관점이 들어 있습니다. Briefcase와 GDPval은 사람 대신 모델 심사단이 비교한 Elo 점수를 (Elo−500)/2000으로 환산합니다. AutomationBench는 가드레일을 한 번만 어겨도 그 과제가 0점입니다. GDP.pdf는 채점 기준을 전부 통과한 답만 점수로 칩니다. 환각은 일반 범주 안의 5%뿐입니다.
구성도 자주 바뀝니다. 9월 한 달 동안만 GPQA Diamond가 빠지고 Briefcase와 GDP.pdf가 들어왔고, τ³-Banking이 AutomationBench로, Terminal-Bench 2.1이 4.0으로 교체됐습니다. 1위는 고정된 사실이 아니라 이번 버전의 설계가 내린 결과입니다.

공개된 세부 점수로 다시 계산하니 32개 모델 모두 공식 점수와 거의 같았습니다(중앙 오차 0.04점). 그 위에서 가중치를 직접 바꿔봤습니다.

  1. 범주 비율만 바꾸면 1위는 그대로입니다. 4범주 균등, 코딩 60%, 과학 추론 0% 모두 Opus 5.5가 1위입니다. 범주 단위로는 견고합니다.
  2. 11개 세부 평가에 가중치를 무작위로 2만 번 주면 Opus가 1위인 경우는 49.6%입니다. 나머지는 Muse Wonder Full 36.3%, Gemini 4 Argon 10.9%, Claude Sonnet 5.5 3.2%가 가져갑니다.
  3. '모를 때 지어내지 않는 비율'(비환각)의 비중을 40%로 올리면 Gemini 4 Argon이 64.5점으로 1위, Opus 5.5는 51.6점으로 10위입니다. Opus는 지식 정답률 66%로 최상위권이지만, 이 비율은 41%입니다. Argon은 85%로 전체 1위입니다. 많이 아는 모델과 모를 때 멈추는 모델은 다릅니다.
  4. 오피스 실무 평가(Briefcase, GDPval, AutomationBench, GDP.pdf)만 남기면 Muse Wonder Full이 57.1점으로 1위입니다.
  5. Artificial Analysis가 지수 밖에서 따로 재는 도메인 평가에서 Opus는 법률(Harvey LAB) 16개 중 8위, 의료(HealthBench Professional) 12개 중 5위, 보안(Cyber Index) 14개 중 11위입니다. 1위는 각각 Muse Wonder Full, GPT-6 Astra, Grok 4.7입니다.

벤치마크가 어떻게 만들어졌는지 알고 보는 것과 모르고 보는 것은 큰 차이가 있습니다. 법률, 의료, 금융처럼 틀린 답 하나가 비싼 일이라면, 종합 1위보다 내 일의 실패 비용에 맞춘 점수표가 먼저입니다.

점수표를 만드는 방법도 하나가 아닙니다.
Vals Index는 금융, 코딩, 법률, 세무 과제 점수를 각 분야가 미국 GDP에서 차지하는 비중으로 가중합니다.
Epoch AI의 ECI는 벤치마크마다 난이도와 변별력을 통계로 추정해 하나의 척도를 만듭니다. 사람이 가중치를 정하지 않습니다.
Stanford HELM은 16개 시나리오마다 정확도, 보정, 견고성, 공정성 등 7개 지표를 함께 재서, 정확도 하나에 가려지는 트레이드오프를 드러냅니다.
LMArena는 카테고리별 순위를 따로 내고, 답변 길이와 마크다운 서식의 효과를 걷어낸 '스타일 컨트롤' 순위도 냅니다.
Zhang & Hardt(ICML 2024)는 성격이 다른 벤치마크를 많이 합칠수록 사소한 변화에도 종합 순위가 흔들린다는 것을 보였습니다.
모델을 만드는 회사도 발표마다 보여줄 벤치마크를 고릅니다. Anthropic의 Sonnet 5.5 발표는 지식노동 성능을 GDPval-AA와 AA-Briefcase, 즉 Artificial Analysis의 평가로 보여줬습니다.

이번 주 금요일 Benchmark Social 0.2에서도 이 이야기를 나눠보려 합니다.

위 차트에서 내 일에 맞는 가중치를 넣어보세요. 1위가 바뀌는 순간 내 회사가 써야 할 모델이 보입니다.

# 방법론 · 출처

  1. 데이터: Artificial Analysis Intelligence Index v4.3.2의 공개 세부 점수, 2026-10-20 수집. 모델당 최고 설정 1개, 27개 모델.
  2. 공식 가중치(AA methodology): 에이전트 30(AA-Briefcase 15 · GDPval-AA 10 · AutomationBench 5) · 코딩 20(Terminal-Bench 4.0 10 · SciCode 10) · 일반 30(Omniscience 정확도 10 · 비환각 5 · GDP.pdf 10 · AA-LCR 5) · 과학 추론 20(HLE 10 · CritPt 10). Elo 평가는 AA 방식대로 clamp((Elo−500)/2000)로 정규화했습니다.
  3. 검증: 공식 가중치로 재계산하면 32개 모델 모두 공식 지수와 거의 같습니다(중앙 오차 0.04점, 최대 0.32점).
  4. 차트는 슬라이더 값을 합이 100%가 되도록 정규화한 가중평균입니다. ▲▼는 AA 공식 순위 대비 변화입니다. 무작위 가중치 2만 회와 도메인 평가(법률 Harvey LAB, 의료 HealthBench Pro, 보안 Cyber Index, 모두 지수 미포함)는 같은 데이터로 따로 계산했습니다. 도메인 평가는 모델 수가 12~16개라 근소한 차이는 오차 범위일 수 있습니다.
  5. 비공식 개인 시뮬레이션입니다. Artificial Analysis와 관계가 없습니다.