KoReal 벤치 비교: AI가 적은 확신 숫자, 믿어도 될까 — 틀린 답에도 90을 적었다
답과 함께 「얼마나 확실한지」를 숫자로 적게 하는 방법이 있습니다. 확신이 낮은 답만 골라서 확인하면 일이 줄어들 것 같아서입니다. 그래서 KoReal 벤치의 어휘 시험(우리말 낱말과 신조어 뜻 고르기 31문항)에서는 답마다 확신을 0~100으로 적게 했고, 모르면 「모르겠다(0)」를 내도 된다고 알려 줬습니다. 지금까지 잰 모델 6개와 기준선 GPT-6.1 Sol의 결과를 나란히 놓았습니다.
처음 표만 보면 몇몇 모델은 확신이 꽤 쓸 만해 보였습니다. 그런데 「모르겠다」를 빼고 실제로 답을 낸 것만 보니 이야기가 달라졌습니다.
겉으로는 쓸 만해 보인 숫자
맞힌 문항과 틀린 문항의 평균 확신 차이는 Claude Haiku 5.5 높음이 69.4점, 제미나이 3.8 플래시 낮음이 4.0점이었습니다.
차이가 클수록 확신으로 맞고 틀림을 가를 수 있다는 뜻으로 읽힙니다. 이 기준이면 Haiku·GLM 5.3 플래시 높음·Claude Sonnet 5.5 높음·GPT-6 Luna 맥스는 Sol(40.4점)보다 낫고, 제미나이와 딥시크 V4.1 플래시는 확신 숫자를 믿을 수 없는 쪽입니다.
| 모델 · 단계 | 확신 차이(점) | 「모르겠다」 낸 수 /31 |
|---|---|---|
| Haiku 높음 | 69.4 | 18 |
| GLM 높음 | 58.8 | 23 |
| Sonnet 높음 | 56.0 | 6 |
| Luna 맥스 | 55.1 | 4 |
| Sol(기준) | 40.4 | 1 |
| 딥시크 낮음 | 5.7 | 0 |
| 제미나이 낮음 | 4.0 | 0 |
오른쪽 칸을 같이 보면 이상한 점이 보입니다. 차이가 큰 모델은 대체로 「모르겠다」도 많이 냈습니다. 「모르겠다」는 확신 0으로 들어가고 틀린 문항으로 셉니다. 그래서 「모르겠다」를 많이 낸 모델은 틀린 문항 평균 확신이 저절로 낮아지고, 차이가 크게 나옵니다.
답을 내고 틀린 것만 보면
실제로 답을 골라 놓고 틀린 문항만 보면, 모델 대부분이 맞힌 답과 비슷하거나 더 높은 확신을 적었습니다.
| 모델 · 단계 | 맞힌 문항 평균 확신 | 답을 내고 틀린 문항 평균 확신 | 답을 내고 틀린 수 |
|---|---|---|---|
| Luna 맥스 | 87 | 94.5 | 2 |
| GLM 높음 | 71 | 78.8 | 4 |
| Sonnet 높음 | 76 | 79.0 | 2 |
| Haiku 높음 | 76 | 65.0 | 2 |
| 제미나이 낮음 | 93 | 88.8 | 4 |
| 딥시크 낮음 | 83 | 77.5 | 12 |
| Sonnet 낮음 | 70 | 52.5 | 8 |
| Sol(기준) | 95 | 81.5 | 2 |
Luna 맥스는 틀린 답 2개에 평균 94.5를 적었습니다. 맞힌 답(87)보다 높습니다. GLM 높음과 Sonnet 높음도 틀린 쪽이 조금 더 높았습니다. 앞 표에서 차이가 컸던 네 모델 중 틀린 쪽이 낮았던 건 Haiku 높음뿐인데, 답을 내고 틀린 문항은 2개였습니다.
틀린 답이 많은 쪽에서는 Claude Sonnet 5.5 낮음이 눈에 띕니다. 틀린 8개에 평균 52.5, 맞힌 답에 70을 적어 17.1점 차이가 났습니다. 이번 비교에서 「모르겠다」 없이 확신만으로 차이가 가장 크게 난 경우입니다. 딥시크 낮음은 틀린 12개에 평균 77.5를 적어, 맞힌 답(83)과 거의 같았습니다.
모두가 확신하고 틀린 낱말
「퇴메추」라는 말에는 모델 6개와 Sol이 모두, 적어도 한 단계에서 확신 80 이상을 적고 틀렸습니다.
제미나이 3.8 플래시는 세 단계 모두 95~99, GPT-6 Luna도 세 단계 모두 95~99, Sol은 91이었습니다. 추론 단계를 올려도 확신은 내려가지 않았습니다. 이 밖에도 「억분좋」에는 제미나이·딥시크·Luna가 85~95를, 「코푸렁이」에는 딥시크와 Luna가 80~90을 적고 틀렸습니다. 확신 80 이상을 적고 틀린 문항이 가장 많았던 건 딥시크 낮음으로 6개였습니다.
긴 대화를 기억하는 문제에서도 같았다
수십 번 나눈 대화를 주고 마지막 질문에 답하게 했을 때, 제미나이는 평균 확신 95~96을 적고 8문항 중 2~4문항을 통과했습니다.
| 모델 · 단계 | 답에 적은 평균 확신 | 실제 통과 /8 |
|---|---|---|
| 제미나이 낮음 | 96 | 3 |
| 딥시크 높음 | 87 | 2 |
| Luna 맥스 | 95 | 3 |
| Sonnet 높음 | 62 | 3 |
| Haiku 높음 | 79 | 0 |
| Sol(기준) | 92 | 3 |
8문항 중 절반을 넘게 통과한 경우는 없었는데, 확신은 대부분 80~90대였습니다. Sonnet은 두 단계 모두 62~63으로 낮게 적었고, Haiku 높음은 한 문항도 통과하지 못하면서 79를 적었습니다.
확신 숫자로 답을 걸러 내지 마세요
이번 결과로는 모델이 적은 확신 숫자를 「낮은 것만 확인하면 된다」는 기준으로 쓸 수 없습니다. 틀린 답에도 맞힌 답만큼, 때로는 더 높은 숫자를 적었습니다. 쓸모가 있었던 건 숫자보다 「모르겠다」였습니다. 모르면 「모르겠다」라고 하라고 지시에 넣고, 그 답이 나오면 그 부분을 따로 찾아보세요. 확신이 높게 적힌 답이라도 사실관계·낱말 뜻처럼 틀리면 곤란한 내용은 직접 확인해야 합니다.
모델마다 자세한 결과는 각 모델 글에 있습니다: 제미나이 3.8 플래시 · 딥시크 V4.1 플래시 · GLM 5.3 플래시 · GPT-6 Luna · Claude Sonnet 5.5 · Claude Haiku 5.5
시험지와 점수 읽는 법은 KoReal 벤치 소개에 있습니다.
댓글
댓글 쓰기