KoReal 벤치

AI 모델 순위표는 많습니다. 그런데 순위표 숫자만 보고는 제가 실제로 궁금한 걸 알 수가 없었습니다.

• 한국어를 사람처럼 알아듣나
• 모르는 걸 물으면 모른다고 하나, 아니면 그럴듯하게 지어내나
• 예전에 지나가듯 말한 내 취향을 기억해서 알아서 맞춰 주나

그래서 이걸 재는 시험지를 직접 만들었습니다. 이름은 KoReal 벤치(코리얼 벤치)입니다. 한국어(Korean)로, 실제로 쓸 때(Real) 필요한 걸 잽니다. 이 사이트의 모델 벤치 글은 전부 이 시험지로 잰 결과입니다.

모델 발표 때 나오는 벤치와 뭐가 다른가

새 모델이 나오면 MMLU, GPQA, SWE-bench 같은 점수가 같이 발표됩니다. 그런데 개발자가 아니면 이 숫자를 체감할 방법이 없습니다. "GPQA 5점 올랐다"가 내 일에서 뭐가 달라진다는 건지 알 수가 없습니다. 그 점수들은 이렇습니다.

• 거의 영어 시험입니다. 한국어 시험(KMMLU 같은)도 있긴 하지만 발표 자료에는 잘 안 나오고, 대부분 지식을 묻는 시험 문제입니다.
• 시험 문제처럼 생겼습니다. 대학 수준 지식, 수학, 코딩 문제가 많습니다. 사람들이 실제로 AI에 시키는 일, 예를 들어 자료를 주고 물어보거나 예전에 한 얘기를 기억해 주길 바라는 장면과는 거리가 있습니다.
• 맞으면 1점, 틀리면 0점입니다. 모른다고 해도 0점, 지어내서 틀려도 0점이니 모를 땐 찍는 게 이득입니다. 그래서 "모를 때 지어내는 버릇"이 점수에 드러나지 않습니다.

그래서 실제로 쓸 때 필요한 걸 재는 벤치를 만들었습니다. 한국어로, 실제로 시킬 법한 일을 내고, 모르는데 지어낸 답을 모른다는 답보다 더 깎습니다. 점수를 보고 "이 일은 맡겨도 되겠다, 이건 답을 꼭 확인해야겠다"를 판단할 수 있게 하는 게 목표입니다.

무엇을 재나

시험지는 세 묶음입니다. 문제 하나에 질문 여러 개를 묶어 낸 것도 있어서, 질문 수로는 500개가 넘습니다. 모든 모델에 같은 문항을 같은 방식으로 냅니다.

① 한국어 디테일

칸 (문항 수)	시키는 일
호칭 (10)	가족사진을 두고 나눈 대화에서 관계를 따라가, 그 사람을 뭐라고 불러야 하는지 고른다 (장인어른·처외삼촌·형님 같은 호칭 26개 중)
어휘 (31)	잘 안 쓰는 우리말 고유어, 실제로 쓰이는 신조어, 아무도 안 쓰는 가짜 신조어를 섞어 뜻을 묻는다

② 진실성

칸 (문항 수)	시키는 일
사실 질문 (200)	한국 관련 사실을 그냥 묻는다 (몇 년에, 몇 명이…)
거짓 전제 (60)	평범한 질문 사이에 틀린 사실을 깔고 묻는 질문 30개를 섞었다 (예: 일어나지 않은 일을 언제 일어났냐고 묻기). 바로잡는지 본다
주어진 문서 (200)	자료를 주고 질문한다. 일부 질문은 자료에 답이 없다. 없는 답을 지어내는지 본다

③ 알잘딱 (8)

수십 번 나눈 대화 기록을 통째로 주고 마지막에 질문 하나를 던집니다. 그 대화 어딘가에서 지나가듯 말한 내 취향을 기억해서 답에 반영하는지 봅니다. 중간에 다른 사람의 취향 얘기도 섞어 둬서, 그걸 내 취향으로 착각하는지도 봅니다.

점수 읽는 법

• 칸마다 0~100점입니다. 높을수록 좋습니다.
• 틀린 답은 "모른다"는 답보다 더 깎습니다. 모르는 걸 지어내는 게 모른다고 하는 것보다 더 위험하기 때문입니다. 반대로 아무것도 모른다고만 하면 점수는 0점이 됩니다.
• 총점은 세 묶음(한국어 디테일·진실성·알잘딱)을 같은 비중으로 평균한 값입니다.
• 같은 모델을 추론을 적게(low)·많이(high)·최대로(max) 하게 해서 각각 한 번씩 잽니다. 추론을 많이 시키면 정말 나아지는지, 시간만 늘어나는지 보려는 겁니다.

KoReal 4대 지표

총점과 따로, 모든 모델 글 맨 위에 네 가지 지표를 카드로 붙입니다. 이 벤치에서만 보는 숫자들입니다.

지표	뜻	높으면
환각 방어율	아무 지시 없이 모르는 사실을 물었을 때 "모른다"고 한 비율	모를 때 지어내지 않는다
지시 이행률	"모르면 모른다고 하라", "자료에 없으면 없다고 하라"고 시켰을 때 실제로 그렇게 한 비율	시킨 대로 멈춘다
과신	맞힌 답과 틀린 답에 스스로 적은 확신의 차이	확신이 낮을 때 의심해 볼 수 있다 (차이가 작으면 확신 숫자를 믿을 수 없다)
추론 값어치	추론을 더 시켰을 때 늘어난 시간에 비해 점수가 얼마나 올랐나	추론 단계를 올릴 만하다

속도(첫 글자까지 걸린 시간, 1초에 쓰는 양, 한 문항 끝내는 시간)도 같이 잽니다.

알아 두실 점

벤치 점수가 모델의 실력을 100% 보여 주지는 않습니다. 같은 모델도 문항과 채점 방식이 달라지면 결과가 달라집니다. 점수는 어떤 일을 맡겨도 되는지 가늠하는 참고로 봐 주시고, 한두 문항 차이는 같은 수준으로 봐 주세요.

문항 출처

시험지 구성·채점 방식·어휘 문항은 직접 만들었습니다. 사실·문서 칸의 일부 문항은 공개 데이터(KoSimpleQA · KLUE-MRC)를 바탕으로 고쳐 썼습니다. 시험지와 정답은 공개하지 않습니다. 글마다 몇 문항을 요약해서, 모델이 실제로 한 답과 함께 보여 드립니다.

버전

• KoReal v3 · 2026년 10월 — 한국어 칸에 어휘 추가, 점수 방식 정리(틀린 답이 모른다는 답보다 더 깎이도록)

만든 사람: 시네