KoReal 벤치 비교: 추론 단계를 올리면 나아질까, 모델 6개 중 확실히 오른 건 절반뿐
요즘 모델은 대부분 「얼마나 오래 생각할지」를 고를 수 있습니다. 낮음·높음·맥스 같은 이름으로요. 높일수록 느려지고 비싸지니, 그만큼 답이 좋아져야 손해가 아닙니다. 지금까지 KoReal 벤치로 잰 모델 6개를 추론 단계별로 나란히 놓고, 단계를 올렸을 때 실제로 점수가 올랐는지만 따로 봤습니다.
결과는 갈렸습니다. 단계를 한 칸 올린 경우가 모두 10번인데, 확실히 오른 건 5번이고 확실히 떨어진 게 1번, 나머지 4번은 올랐는지 떨어졌는지 단정할 수 없었습니다. 시험지는 모델 글과 같습니다(한국어 디테일 · 진실성 · 알잘딱, 0~100점, 기준선은 GPT-6.1 Sol 높음 71.5점).
올린 만큼 오른 모델
GPT-6 Luna는 맥스에서 16.7점, Claude Sonnet 5.5는 높음에서 12.7점이 올랐습니다.
같은 문항 묶음을 4000번 다시 뽑아 비교해 봐도, 이 두 모델은 높은 단계가 낮음보다 점수가 높게 나온 경우가 95~100%였습니다. 운으로 오른 게 아니라는 뜻입니다.
| 모델 · 단계 | 점수 변화 | 오른 경우 | 시간 | 비용 |
|---|---|---|---|---|
| Luna 높음 | +7.6점 | 100% | 2.3배 | 1.14배 |
| Luna 맥스 | +16.7점 | 100% | 6.6배 | 1.73배 |
| Sonnet 높음 | +12.7점 | 95% | 2.7배 | 1.07배 |
| 딥시크 높음 | +6.2점 | 93% | 1.5배 | 1.33배 |
| Haiku 높음 | +9.5점 | 100% | 18.0배 | 1.41배 |
Sonnet은 시간이 2.7배 늘었지만 비용은 1.07배라, 높음으로 두지 않을 이유가 별로 없습니다. 낮음에서는 추론을 거의 하지 않다가(문항당 약 0토큰) 높음에서 약 1,800토큰을 썼고, 한국어 디테일 점수가 37.1에서 61.0으로 오른 게 총점 상승의 대부분입니다.
Haiku는 점수는 확실히 올랐는데 시험 전체 시간이 18배가 됐습니다. 한 문항 끝내는 데 13초 걸리던 것이 76초가 됐습니다. 점수와 기다리는 시간 중 무엇이 아까운지에 따라 고를 일입니다.
올렸더니 떨어진 모델
GLM 5.3 플래시는 높음으로 올리자 총점이 6.1점 떨어졌고, 시간은 4.4배가 됐습니다.
다시 뽑아 비교했을 때 높음이 낮음보다 높게 나온 경우가 8%뿐이었습니다. 나머지 92%는 낮음보다 높지 않았습니다. 이번 비교에서 「확실히 떨어졌다」고 할 수 있는 건 이 한 번입니다. 문항당 추론 분량은 약 1,500토큰에서 약 11,000토큰으로 늘었습니다.
칸별로 보면 떨어진 곳은 어휘였습니다. 51.6점에서 20.5점이 됐는데, 높음에서는 31문항 중 23문항에 「모르겠다」를 냈습니다. 지어낸 답은 줄었지만 맞힌 답도 4개로 줄었습니다. 대신 사실 질문은 50.0에서 59.8로 올랐습니다. 무조건 나빠졌다기보다, 더 오래 생각하게 하자 답을 아끼는 쪽으로 기울었습니다.
맥스로 더 올리면 총점은 낮음보다 1.7점 높았지만 단정할 수준은 아니었고, 시험 전체가 57.7분에서 484.0분이 됐습니다. 길이 한도에 닿아 답이 비어 버린 응답도 4개 나왔습니다.
올렸는데 그대로인 모델
딥시크 V4.1 플래시는 맥스에서 낮음보다 0.3점 낮았고, 제미나이 3.8 플래시는 높음에서 4.0점 낮았습니다. 둘 다 떨어졌다고 단정할 수는 없지만, 오르지 않은 건 분명합니다.
| 모델 · 단계 | 점수 변화 | 오른 경우 | 시간 | 비용 |
|---|---|---|---|---|
| 딥시크 맥스 | -0.3점 | 48% | 1.8배 | 1.49배 |
| 제미나이 중간 | +3.9점 | 71% | 1.7배 | 1.19배 |
| 제미나이 높음 | -4.0점 | 19% | 5.5배 | 2.26배 |
| GLM 맥스 | +1.7점 | 60% | 8.4배 | 2.63배 |
딥시크는 높음까지는 6.2점 올랐다가 맥스에서 낮음 수준으로 돌아왔습니다. 맥스가 틀리고 낮음이 맞힌 사실 질문이 18개 있었습니다.
제미나이는 낮음만으로 71.4점이라 기준선 Sol과 거의 같습니다. 높음으로 올리면 문항당 추론이 약 1,000토큰에서 약 8,200토큰으로 늘고 비용은 2.26배가 되는데, 점수는 오르지 않았습니다. 떨어진 칸은 호칭과 알잘딱처럼 문항 수가 적은 칸이라, 한두 문항 차이로 봐야 합니다.
끝까지 올렸더니 답을 못 낸 경우
Claude Haiku 5.5 맥스는 첫 문항에서 출력 한도 128,000토큰을 전부 생각에 쓰고 답을 0자 냈습니다.
514초 동안 생각만 하다가 잘렸고, 그래서 맥스는 점수가 없습니다. 같은 모델이 높음에서는 점수가 확실히 올랐으니, 「높을수록 좋다」가 맞는 구간과 맞지 않는 구간이 한 모델 안에도 있다는 뜻입니다.
다른 연구에서도 보고된 현상
추론을 길게 시킬수록 정확도가 오히려 떨어지는 과제가 있다는 연구가 2025년에 나왔습니다(Inverse Scaling in Test-Time Compute). 영어로 만든 인공 과제에서 추론이 길어질수록 방해 정보에 끌리거나 집중을 잃는 경우를 보고했고, 모델을 여러 추론 길이에서 평가하라고 권합니다. 과제가 KoReal과 달라서 위 결과의 이유를 이 연구로 설명할 수는 없습니다.
모델별로 정리하면
| 모델 | 이렇게 두고 쓰면 됩니다 | 이유 |
|---|---|---|
| 제미나이 | 낮음 | 낮음 71.4점 · 올려도 확실히 오르지 않음 |
| 딥시크 | 높음 | +6.2점 · 맥스는 다시 내려옴 |
| GLM | 낮음 | 높음 -6.1점 · 맥스는 시간 8.4배 |
| Luna | 맥스 | +16.7점 · 시험 1회 정가 약 $0.32 |
| Sonnet | 높음 | +12.7점 · 비용 1.07배 |
| Haiku | 높음 (기다릴 수 있으면) | +9.5점 · 시간 18.0배 · 맥스는 답을 못 냄 |
추론 단계는 모델마다 따로 정해야 합니다
Luna·Sonnet·딥시크·Haiku는 한 단계 이상 올리면 점수가 확실히 오르니 높음 이상으로 두고 쓰면 됩니다. 제미나이와 GLM은 낮음이 가장 낫거나 차이가 없으니, 높여서 시간과 비용만 늘리지 마세요. 딥시크는 높음에서 멈추고 맥스까지는 올리지 않는 편이 낫습니다. 새 모델을 쓸 때도 「제일 높은 단계가 제일 좋다」고 두기 전에 낮음과 한 번 비교해 보세요.
모델마다 자세한 결과는 각 모델 글에 있습니다: 제미나이 3.8 플래시 · 딥시크 V4.1 플래시 · GLM 5.3 플래시 · GPT-6 Luna · Claude Sonnet 5.5 · Claude Haiku 5.5
시험지와 점수 읽는 법은 KoReal 벤치 소개에 있습니다.
댓글
댓글 쓰기