GPT-6 Luna KoReal 벤치: 추론을 올린 만큼 점수가 올랐지만, 모르는 사실 앞에서 멈추진 않았습니다
GPT-6 Luna를 추론 단계 낮음·높음·맥스로 한 번씩 돌렸고, 비교 기준은 GPT-6.1 Sol(추론 높음)입니다. 시험 구성은 KoReal 벤치 소개에 있습니다.
Luna는 낮음에서 첫 글자가 3.5초 만에 나옵니다. 이렇게 빠른 모델이 추론 단계를 올리면 어디가 좋아지고 어디는 그대로인지가 궁금했습니다. 아래 세 블록은 추천 설정인 맥스 기준입니다.
맡겨도 됨
- 빨리 답이 필요한 일 (맥스도 첫 글자까지 6.0초)
- 자료 주고 그 안에서 찾기 (높음 이상에서 77개 중 74개)
답을 꼭 확인
- 자료에 없는 질문에 답을 지어내는지 (높음 이상에서 109개 중 29개)
- 외워서 답하는 연도·숫자·이름 (230개 중 19개 틀림)
- 질문에 깔린 틀린 전제 (30개 중 1개는 그대로 받음)
- 긴 대화에 흘린 취향 반영 (8문항 중 3개 통과 · Sol과 같음)
맡기지 말 것
- 한국어 호칭 구분 (10문항 중 2개 통과)
단계를 올릴 때마다 총점이 올랐습니다
총점은 43.4에서 60.1까지 올랐고, 시험 전체 시간은 8.8분에서 57.8분이 됐습니다.
| 낮음 | 높음 | 맥스 | Sol | |
|---|---|---|---|---|
| 총점 | 43.4 | 51.0 | 60.1 | 71.5 |
| 시험 전체 걸린 시간(분) | 8.8 | 20.6 | 57.8 | 36.4 |
| 한 문항 끝내는 시간(중앙값) | 7초 | 14초 | 27초 | 30초 |
| 문항당 추론 분량(평균, 토큰) | 약 300 | 약 1,000 | 약 4,000 | 약 500 |
| 첫 글자까지(중앙값) | 3.5초 | 5.9초 | 6.0초 | 18.5초 |
높음은 낮음보다 7.6점, 맥스는 16.7점 높았습니다. 맥스도 한 문항 중앙값은 27초로 Sol보다 짧았지만, 호칭은 한 문항에 중앙값 129초가 걸려 전체 시간은 Sol보다 길어졌습니다. 그래도 맥스의 총점 60.1은 Sol의 71.5에 못 미칩니다. 같은 시험 문항을 4,000번 다시 뽑아 비교해도 맥스는 100% 낮음보다 높았고, 공식 요금표로 계산한 비용은 1.73배였습니다. 시간이 6.6배 들어도 오른 폭이 커서 맥스까지 올릴 만합니다.
외워서 답하는 사실은 줄었지만, "모른다"는 끝까지 없었습니다
틀린 답은 41개에서 19개로 줄었고, 세 단계 모두 "모른다"는 한 번도 없었습니다.
추론을 올리면 틀린 답이 확실히 줄어듭니다. 다만 모르는 걸 모른다고 하는 쪽으로 바뀌지는 않았습니다. 틀린 답이 다른 답으로 바뀌거나, 그대로 남았습니다.
세 단계가 글자까지 똑같이 틀린 질문은 4개였습니다. 조선의 첫 국호를 묻는 질문에도 세 단계 모두 "조선"이라고 답했는데, 실제는 고려였고 Sol은 맞혔습니다. 연도를 틀린 답 26개 중 11개는 딱 1년 차이였습니다.
깔아 둔 틀린 전제는 맥스에서 거의 다 걸러 냈습니다
틀린 전제 30개 중 낮음은 24개, 맥스는 29개를 바로잡았습니다.
낮음은 김연아가 소치에서 금메달을 땄다는 전제를 그대로 받았습니다.
이소연이 2018년에 우주정거장에 갔다는 질문은 세 단계 모두 넘어갔습니다. "소유스 TMA-12호"라는 우주선 이름은 맞았지만, 실제 비행은 2008년이었습니다. 바로잡을 때는 "2005년이 아니라 2010년 출시됐으며"처럼 전제부터 고치고 답을 이어 갑니다.
문서 질문은 낮음과 높음이 반대로 틀렸습니다
낮음은 답이 있는 질문 14개에 "자료에 없음"이라고 했고, 높음부터는 답이 없는 질문 29개에 답을 만들었습니다.
| 낮음 | 높음 | 맥스 | Sol | |
|---|---|---|---|---|
| 답 있는 질문 정답 /77 | 61 | 74 | 74 | 76 |
| 답이 있는데 "자료에 없음" | 14 | 1 | 0 | 1 |
| 답 없는 질문에 지어냄 /109 | 19 | 29 | 29 | 5 |
낮음은 조심스러운 대신 있는 답을 놓치고, 높음과 맥스는 찾는 대신 없는 답을 채웁니다. 세 단계가 모두 지어낸 질문 13개 중 9개는 Sol이 "자료에 없음"이라고 답했습니다.
호칭은 맥스에서야 두 문항을 통과했고, 확신 숫자는 맥스에서만 쓸 만했습니다
호칭 10문항 중 통과는 0~2개였고, Sol은 7개였습니다.
가족사진 대화를 읽고 호칭 두 개를 고르는 문제에서 낮음과 높음은 한 문항도 통과하지 못했습니다. 첫 문항에서 낮음은 "1-V 2-S"라고 답해 첫째만 맞혔고, 정답은 1-V 2-Z였습니다.
어휘 31문항에서는 22·26·25개를 맞혔습니다. 눈에 띄는 건 확신입니다. 낮음과 높음은 맞힌 답과 틀린 답의 확신 차이가 8.9점, 3.7점에 그쳤습니다. 맥스에서는 그 차이가 55.1점으로 벌어져 Sol의 40.4점보다 컸습니다. 맥스는 모르는 문제에 "모르겠다(0)"를 4번 냈고, 낮음과 높음은 한 번도 내지 않았습니다. 가짜 신조어 「퇴메추」는 세 단계 모두 확신 95 이상으로 틀렸습니다.
대화 속 취향은 맥스에서 Sol만큼 챙겼습니다
알잘딱 8문항 중 통과는 1·2·3개였고, Sol도 3개였습니다.
침실 인테리어를 묻는 문항에서 낮음은 유행만 정리했고, 높음은 흰색과 밝은 원목 조합을 꺼냈지만 통과하지 못했습니다. 맥스는 예전 대화에 나온 미드센추리 모던 가구 취향을 꺼내 답에 섞어 통과했습니다. 답에 적은 확신은 평균 88~95였는데, 통과율은 13~38%였습니다.
추론은 맥스로 두고, 가볍게 묻는 일만 낮음으로
맥스는 낮음보다 16.7점 높아 시간 6.6배, 비용 1.73배를 들일 만합니다. 첫 글자가 3.5초 만에 나오는 낮음은 가볍게 묻고 받는 일에만 쓰세요. 자료를 주고 찾게 할 때는 높음 이상이 있는 답을 잘 찾지만, 자료에 없는 답도 만들어 내니 근거 문장을 같이 확인하세요. 외워서 답하는 연도·이름은 어느 단계에서도 "모른다"고 하지 않으니 따로 확인해야 합니다. 확신 숫자를 보고 걸러 내고 싶다면 맥스에서만 믿을 만했습니다. 처가·시댁 호칭이 들어가는 글은 아직 맡기지 않는 편이 낫습니다.
점수 읽는 법과 지표 뜻: KoReal 벤치 소개
댓글
댓글 쓰기