Claude Sonnet 5.5 KoReal 벤치: 빠르고 거짓 전제엔 강하지만, 한국어 디테일은 추론을 높여야 따라온다
Claude Sonnet 5.5를 KoReal 벤치에 추론 단계 낮음과 높음으로 한 번씩 돌렸습니다. KoReal은 한국어로 실제 일을 시킬 때 필요한 것, 즉 호칭·어휘 같은 한국어 디테일, 지어내지 않는 진실성, 긴 대화에서 사용자 취향을 기억하는 알잘딱을 재는 벤치입니다. 비교 기준은 GPT-6.1 Sol(추론 높음)입니다.
이 모델이 궁금했던 이유는 속도입니다. 낮음으로 두면 시험 전체가 8.9분에 끝났고, 첫 글자가 나오기까지 1.7초였습니다. Sol은 36.4분이 걸렸습니다. 이만큼 빠른 모델이 한국어 일을 어디까지 해내는지, 추론을 올리면 무엇이 달라지는지를 봤습니다.
맡겨도 됨
- 자료 기반 답변 (77개 중 74개)
- 질문에 섞인 틀린 사실 걸러내기 (30개 모두)
답을 꼭 확인
- 한국 관련 사실관계 (230개 중 47개 틀림)
- 한국어 디테일이 중요한 글 (61.0점 · Sol 80.9점)
맡기지 말 것
- 추론 낮음으로 한국어 디테일이 중요한 글 (37.1점)
틀린 전제는 하나도 놓치지 않았습니다
질문에 틀린 사실을 깔아 둔 30문항을 낮음·높음 모두 30개 다 바로잡았습니다.
Sol도 30개였으니 이 칸은 차이가 없습니다. 바로잡는 방식은 짧습니다. 틀렸다고 먼저 말하고, 맞는 사실을 한 줄로 붙입니다.
카카오톡이 2005년에 나왔다는 질문에는 2010년 출시라고 고쳤고, 기생충이 작품상을 못 받았다는 질문에는 작품상을 기생충이 받았다고 답했습니다. 질문이 사실을 깔고 들어와도 그대로 따라가지 않습니다.
기억만으로 답한 연도는 정답 바로 옆으로 빗나갑니다
사실 질문 230개 중 낮음은 59개, 높음은 47개를 틀렸습니다. Sol은 13개였습니다.
| 낮음 | 높음 | Sol | |
|---|---|---|---|
| 사실 질문 틀림 /230 | 59 | 47 | 13 |
| "모른다"고 답함 | 6 | 5 | 2 |
| 모르는 사실 앞에서 멈춘 비율 | 9.2% | 9.6% | 13.3% |
두 단계 중 한 번이라도 틀린 질문은 68개였고, 그중 55개는 Sol이 맞혔습니다. 틀린 답의 모양이 눈에 띕니다. 연도를 틀린 답 51개 중 22개가 정답과 딱 1년 차이였고, 차이의 중앙값도 1년이었습니다. 5년 넘게 빗나간 답은 14개입니다. 엉뚱한 연도보다 그럴듯한 연도를 내는 쪽입니다.
이 질문처럼 두 단계가 글자까지 똑같이 틀린 질문이 15개였습니다. 임효준의 귀화 연도는 2020년인데 두 단계 모두 2019년, 손흥민과 공동 득점왕이었던 선수의 골든풋 수상은 2021년인데 둘 다 2022년이라고 했습니다. 추론을 올려도 잘못 기억하는 연도는 바뀌지 않았습니다. 한국서지표준센터 설립 연도를 묻자 높음에서 "1998년 (확실하지 않습니다)"라고 단서를 단 경우가 있지만, 이런 답은 드뭅니다. 230개 중 "모른다"고 한 것이 낮음 6번, 높음 5번입니다.
자료를 주면 대부분 찾고, 없는 답은 가끔 만들어 냅니다
자료에 답이 있는 질문은 77개 중 73~74개를 맞혔고, 답이 없는 질문 109개 중 10~13개에는 답을 만들어 냈습니다.
| 낮음 | 높음 | Sol | |
|---|---|---|---|
| 답 있는 질문 정답 /77 | 73 | 74 | 76 |
| 답 없는 질문에 지어냄 /109 | 10 | 13 | 5 |
자료 20건을 붙이고 "자료에 없으면 없다고 하라"고 시키면 90.8%는 그대로 따랐습니다. 지어낸 것은 추론을 올렸을 때 오히려 10개에서 13개로 늘었습니다. 두 단계 모두 지어낸 6개 중 5개는 Sol이 "자료에 없음"이라고 한 질문입니다.
금액이 원 단위까지 구체적이라 그대로 믿기 쉬운 답입니다. 같은 식으로 기원전 2세기 토지 전쟁을 한 인물을 묻자 자료에 없는 "그라쿠스 형제"를 댔습니다. 답이 있는 질문에서 틀린 것은 낮음 기준 2개로, 심야 요금을 자료의 8000원 대신 6000원이라고 했습니다.
추론 낮음과 높음은 한국어 디테일에서 갈렸습니다
한국어 디테일 점수가 낮음 37.1에서 높음 61.0으로, 세 묶음 중 가장 크게 올랐습니다.
| 낮음 | 높음 | Sol | |
|---|---|---|---|
| 호칭 통과 /10 | 0 | 4 | 7 |
| 어휘 맞힘 /31 | 23 | 23 | 28 |
| 어휘에서 "모르겠다(0)"를 낸 수 | 0 | 6 | 1 |
| 어휘 맞힌/틀린 평균 확신 | 70 / 53 | 76 / 20 | 95 / 54 |
호칭은 가족사진을 두고 나눈 대화를 읽고 26개 호칭 중 맞는 것을 고르는 문제입니다. 낮음은 10문항 중 하나도 통과하지 못했습니다. 낮음은 문항당 추론 분량이 약 0으로, 생각 없이 바로 답을 냅니다. 높음으로 올리면 문항당 시간이 10초에서 35초로 늘고 4문항을 통과했습니다.
어휘는 맞힌 수가 23개로 같은데 속이 다릅니다. "모르면 0을 내라, 틀리면 더 깎는다"고 알려 줬을 때 낮음은 한 번도 0을 내지 않았고, 높음은 모르는 문제의 75%에서 0을 냈습니다. 그래서 높음은 틀린 답의 평균 확신이 20까지 내려갑니다. 확신이 낮게 적힌 답은 의심해 볼 수 있는 상태입니다. 다만 신조어 「퇴메추」는 높음도 확신 93을 적고 틀렸습니다. Sol도 이 문항은 확신 91로 틀렸습니다.
긴 대화 기억은 Sol과 같은 수준입니다
수십 회 대화 뒤 예전에 흘린 취향을 반영하는 알잘딱 8문항에서 낮음 2개, 높음 3개를 통과했습니다. Sol도 3개입니다.
통과 수보다 확신의 높이가 다릅니다. Sol은 평균 확신 92를 적고 38%를 통과했고, Sonnet 5.5 높음은 62를 적고 같은 38%를 통과했습니다. 자기 답을 덜 장담합니다.
답하는 습관도 갈립니다. 오늘 밤 볼 거리를 묻는 문항에서 낮음은 바로 추천하지 않고 "몇 가지 확인이 필요해요"로 시작해 기록에서 파악한 취향을 늘어놓았습니다. 높음은 넷플릭스만 구독한다는 기억을 꺼내 작품을 골랐습니다. 두 답 모두 통과하지 못했고, 같은 문항을 Sol은 통과했습니다. 반대로 NAS 구매 시기를 묻는 문항은 낮음이 통과하고 높음이 떨어졌습니다. 단계를 올린다고 이 칸이 고르게 좋아지지는 않았습니다.
높음도 Sol보다 빠릅니다
| 낮음 | 높음 | Sol | |
|---|---|---|---|
| 시험 전체 걸린 시간(분) | 8.9 | 23.8 | 36.4 |
| 한 문항 끝내는 시간(중앙값) | 7초 | 17초 | 30초 |
| 첫 글자까지(중앙값) | 1.7초 | 3.6초 | 18.5초 |
| 어휘 31문항 한 번에 | 3초 | 32초 | 67초 |
높음은 낮음보다 2.7배 걸렸지만 Sol보다는 빨리 끝났습니다. 공식 요금표로 계산한 비용은 1.07배로 거의 그대로였습니다. 같은 시험 문항을 4,000번 다시 뽑아 비교해도 95%는 높음이 앞섰습니다. 어휘 31문항은 낮음이 3초 만에 답을 냈습니다. 그 3초 안에 0은 하나도 없었습니다.
추론은 높음으로 두세요
높음은 낮음보다 12.7점 높고, 시간은 2.7배지만 비용은 1.07배라 올려 둘 만합니다. 자료를 붙여 그 안에서 답을 찾게 하는 일, 질문에 섞인 틀린 사실을 걸러 내는 일은 맡겨도 됩니다. 한국 관련 사실관계는 1년 차이처럼 그럴듯하게 틀리니 꼭 따로 확인하세요. 한국어 디테일이 중요한 글은 높음에서도 61.0점으로 Sol의 80.9점에 못 미치니 결과를 직접 보는 편이 낫습니다.
댓글
댓글 쓰기