Claude Haiku 5.5 KoReal 벤치: 낮음은 모르면 멈추고, 높음은 더 맞히지만 18배 느리며, 맥스는 답을 내지 못했다
Claude Haiku 5.5를 KoReal 벤치에 추론 단계 낮음·높음·맥스로 돌렸습니다. KoReal은 한국어로 일을 시킬 때 필요한 것을 재는 벤치로, 호칭·어휘 같은 한국어 디테일, 지어내지 않는 진실성, 긴 대화에서 사용자 취향을 기억하는 알잘딱 세 묶음으로 나뉩니다. 비교 기준은 GPT-6.1 Sol(추론 높음)입니다.
점수는 낮음과 높음 두 단계만 나왔습니다. 맥스는 시험 첫 문항인 호칭 문제에서 출력 한도 128,000토큰을 전부 생각에 쓰고, 답은 한 글자도 내지 못한 채 잘렸습니다. 514초가 걸렸고, 거기서 시험을 멈췄습니다. 이 글의 맥스 단계는 「풀지 못함」입니다.
맡겨도 됨
- 질문에 섞인 틀린 사실 걸러내기 (30개 모두)
- 자료 기반 답변 (77개 중 74개)
답을 꼭 확인
- 한국 관련 사실관계 (230개 중 22개 틀림)
맡기지 말 것
- 한국어 디테일이 중요한 글 (40.0점)
- 긴 대화 기억 (8문항 모두 실패)
추론을 올리면 사실 오답은 크게 줄고, "모른다"도 같이 사라집니다
지시 없이 물은 사실 질문에서 낮음은 227개 중 90개를 틀렸고, 높음은 230개 중 22개를 틀렸습니다.
| 낮음 | 높음 | Sol | |
|---|---|---|---|
| 사실 질문 틀림 | 90/227 | 22/230 | 13/230 |
| "모른다"고 답함 | 28 | 1 | 2 |
| 모르는 사실 앞에서 멈춘 비율 | 23.1% | 4.3% | 13.3% |
진실성 점수는 69.3에서 91.1로 올랐습니다. 그런데 두 단계는 성격이 다릅니다. 낮음은 모르면 28번 "모른다"고 했고, 높음은 단 한 번만 그랬습니다. 높음은 더 많이 맞히지만, 틀릴 때도 단서 없이 답합니다.
같은 오답을 낮음은 확실하지 않다고 감쌌고, 높음은 숫자만 적었습니다. 높음이 틀린 답에 구체적인 내용을 덧붙인 경우도 있습니다. 아리랑이 국가무형문화재로 지정된 해는 2015년인데, 높음은 이렇게 답했습니다.
날짜와 지정 번호까지 붙어 있어 맞는 답처럼 읽힙니다. 연도를 틀린 답 52개(두 단계 합)는 정답과 중앙값 3년 차이였고, 5년 넘게 빗나간 것이 19개였습니다.
거짓 전제에는 걸려 넘어가지 않았습니다
질문에 틀린 사실을 깔아 둔 문항에서 낮음은 채점된 27개, 높음은 30개를 모두 바로잡았습니다.
바로잡을 때는 "2005년이 아닌 2010년에 출시"처럼 질문의 틀린 값을 먼저 짚고 맞는 값을 붙입니다. 이 칸은 Sol과 차이가 없습니다.
자료를 주면 찾기는 잘하지만, 추론을 올리면 지어내는 답이 늘어납니다
자료에 답이 있는 질문 77개 중 72~74개를 맞혔고, 답이 없는 질문 109개 중 16~22개에 답을 만들어 냈습니다.
| 낮음 | 높음 | Sol | |
|---|---|---|---|
| 답 있는 질문 정답 /77 | 72 | 74 | 76 |
| 답 없는 질문에 지어냄 /109 | 16 | 22 | 5 |
| "자료에 없으면 없다고 하라"를 지킨 비율 | 85.3% | 79.8% | 95.4% |
사실 질문과 방향이 반대입니다. 자료를 붙여 주고 물으면 높음이 지어낸 답이 더 많습니다. 두 단계 모두 지어낸 13개 중 11개는 Sol이 "자료에 없음"이라고 한 질문입니다.
이스라엘 선거를 묻는 질문에는 "리쿠드당 (자료상 선거는 1976년이 아닌 1977년 5월)"이라고 답했습니다. 질문의 연도는 바로잡았지만, 정당 이름은 자료에 없는 답이었습니다.
한국어 디테일은 모르면 모른다고 하지만, 아는 것이 적습니다
낱말 뜻 31문항에서 낮음은 13개, 높음은 11개를 맞혔고, 16~18개에 "모르겠다(0)"를 냈습니다. Sol은 28개를 맞혔습니다.
| 낮음 | 높음 | Sol | |
|---|---|---|---|
| 맞힘 /31 | 13 | 11 | 28 |
| 희귀 우리말 /20 | 10 | 4 | 20 |
| 맞힌/틀린 평균 확신 | 70 / 9 | 76 / 7 | 95 / 54 |
"모르면 0을 내라, 틀리면 더 깎는다"는 지시는 거의 그대로 따랐습니다. 모르는 문제에서 0을 낸 비율이 낮음 88.9%, 높음 90.0%로 Sol의 33.3%보다 훨씬 높습니다. 틀린 답의 평균 확신도 한 자릿수라, 확신 숫자를 믿을 만합니다. 다만 맞힌 수 자체가 적습니다. 희귀 우리말은 높음으로 올렸을 때 오히려 20개 중 4개로 줄었습니다.
호칭도 비슷합니다. 가족사진 대화를 읽고 26개 호칭 중 맞는 것을 고르는 10문항에서 낮음은 1개, 높음은 3개를 통과했습니다. Sol은 7개입니다.
예전에 흘린 취향은 한 문항도 반영하지 못했습니다
수십 회 대화 뒤 예전에 흘린 취향을 반영해야 하는 알잘딱 8문항을 낮음·높음 모두 하나도 통과하지 못했습니다. Sol은 3개였습니다.
낮음은 대화 기록을 아예 비켜 가는 답이 보입니다. 저녁 활동을 추천해 달라는 문항에는 "대화 기록에 나온 취향과는 별개로, 일반적으로 인기 있는 활동들"이라고 시작했습니다. 날짜 기준도 어긋났습니다. 오늘 밤 볼 작품을 묻는 문항에서 높음과 Sol은 2023년 5월 기준으로 답했는데, 낮음은 "2026년 10월 기준"이라고 적었습니다. 침실 인테리어 문항에서는 "2026년 가을 기준"이라고 했습니다.
높음은 답 안에 대화 속 정보를 더 꺼내 썼지만 통과한 문항은 없습니다. 8개 중 2개 답은 앞에 {"answer": 같은 프로그램용 표기가 붙은 채로 나왔습니다. 답에 적은 평균 확신은 낮음 61, 높음 79였고, 실제 통과율은 둘 다 0%입니다.
높음은 오래 걸리고, 맥스는 첫 문항에서 멈췄습니다
| 낮음 | 높음 | Sol | |
|---|---|---|---|
| 시험 전체 걸린 시간(분) | 17.4 | 312.8 | 36.4 |
| 한 문항 끝내는 시간(중앙값) | 13초 | 76초 | 30초 |
| 첫 글자까지(중앙값) | 1.5초 | 25.8초 | 18.5초 |
| 문항당 추론 분량(평균, 토큰) | 약 2,400 | 약 16,600 | 약 500 |
| 어휘 31문항 한 번에 | 23초 | 990초 | 67초 |
낮음은 첫 글자가 1.5초 만에 나오고, 시험 전체를 17.4분에 끝냈습니다. 높음은 312.8분, 낮음의 18.0배가 걸렸습니다. 공식 요금표로 계산한 비용은 1.41배였습니다. 시간이 가장 많이 든 곳은 호칭입니다. 높음은 호칭 한 문항에 중앙값 1,361초를 썼고, 그중 한 문항은 1,004초 동안 생각하다 길이 한도에 닿아 답 없이 끝났습니다. 맥스가 첫 호칭 문항에서 멈춘 것과 같은 모양입니다.
추론은 높음으로 두되, 빨리 받아야 하는 일은 낮음으로
높음은 낮음보다 9.5점 높고 비용은 1.41배지만, 시간이 18배라 따져 보면 낮음과 거의 비깁니다. 사실관계가 중요한 일은 높음으로 두세요. 낮음은 한국 관련 사실관계 227개 중 90개를 틀렸고, 높음은 230개 중 22개로 줄였습니다. 다만 높음은 자료에 없는 답을 더 지어내니 근거 문장을 같이 확인하세요. 질문에 섞인 틀린 사실을 걸러 내거나 붙여 준 자료에서 답을 찾는 일은 낮음으로도 맡길 만하고, 훨씬 빨리 끝납니다. 한국어 디테일이 중요한 글, 긴 대화 기억이 필요한 일, 그리고 맥스 단계는 맡기지 않는 편이 낫습니다.
댓글
댓글 쓰기