GLM 5.3 플래시 KoReal 벤치: 추론 단계를 맥스로 올리자 총점 1.7점, 시간은 8.4배
GLM 5.3 플래시를 추론 단계 낮음·높음·맥스로 한 번씩 KoReal 벤치에 돌렸고, 기준은 GPT-6.1 Sol(추론 높음)입니다. 시험 구성은 KoReal 벤치 소개에 있습니다.
싼 플래시 모델이라 추론 단계를 올려 쓰면 값을 하는지가 먼저 궁금했습니다. 아래 블록은 추천 설정인 낮음 기준입니다.
맡겨도 됨
- 자료 주고 그 안에서 찾기 (77개 중 71개)
답을 꼭 확인
- 자료에 없는 질문에 답을 지어내는지 (109개 중 15개)
- 질문에 깔린 틀린 전제를 바로잡는지 (30개 중 25개)
맡기지 말 것
- 기억에 기댄 연도·숫자·이름 (230개 중 111개 틀림)
- 한국어 호칭 구분 (10문항 중 0개 통과)
- 긴 대화에 흘린 취향 반영 (8문항 중 1개 통과)
추론을 올려도 총점은 오르지 않았고 시간만 늘었습니다
총점은 30.1~37.9에 머물렀고, 시험 전체 시간은 57.7분에서 484.0분으로 늘었습니다.
| 낮음 | 높음 | 맥스 | Sol | |
|---|---|---|---|---|
| 총점 | 36.2 | 30.1 | 37.9 | 71.5 |
| 시험 전체 걸린 시간(분) | 57.7 | 253.0 | 484.0 | 36.4 |
| 한 문항 끝내는 시간(중앙값, 초) | 13 | 54 | 108 | 30 |
| 문항당 추론 분량(평균, 토큰) | 약 1,500 | 약 11,000 | 약 22,000 | 약 500 |
높음은 낮음보다 총점이 6.1점 낮았고, 맥스는 1.7점 높았습니다. 첫 글자가 나오기까지는 4.2~5.0초로 단계 사이에 차이가 거의 없었고, Sol은 18.5초였습니다. Sol은 문항당 추론이 약 500토큰이고 시험을 36.4분에 끝냈습니다.
호칭은 거의 통과하지 못했고, 긴 추론은 빈 답으로 끝나기도 했습니다
호칭 10문항 중 통과는 0~1개였고, Sol은 7개였습니다.
| 낮음 | 높음 | 맥스 | Sol | |
|---|---|---|---|---|
| 호칭 통과 | 0/10 | 1/10 | 1/10 | 7/10 |
| 어휘 맞힌 수 | 16/31 | 4/31 | 8/31 | 28/31 |
| 어휘 "모르겠다(0)"를 낸 수 | 0 | 23 | 18 | 1 |
| 길이 한도에 닿은 응답 / 답이 빈 응답 | 1 / 0 | 1 / 1 | 4 / 4 | 0 / 0 |
가족사진 이야기가 나오는 대화를 읽고 호칭 26개 중 두 개를 고르는 문제입니다. 낮음은 첫 호칭은 맞히고 둘째 자리에 이런 답을 냈습니다.
맥스에서는 길이 한도에 닿아 답이 빈 응답이 4개였고, 하나에 2,032~2,513초가 걸렸습니다. 호칭 한 문항 끝내는 시간 중앙값은 낮음 51초, 높음 829초, 맥스 1672초, Sol 28초입니다.
어휘는 낮음이 가장 많이 맞혔고, 높음과 맥스는 대부분 0을 냈습니다
어휘 31문항 중 낮음은 16개를 맞혔고, 높음은 23개에서 "모르겠다"를 냈습니다.
낮음의 16개는 희귀 우리말 11/20, 실제 쓰이는 신조어 3/8, 가짜 신조어를 가짜라고 한 것 2/3로 나뉩니다. 모르면 0을 내라고 알려 준 뒤 모르는 문제에서 실제로 0을 낸 비율은 낮음이 0.0%, 높음이 85.2%였습니다. 31문항을 한 번에 푸는 데 낮음은 29초, 높음은 1200초가 걸렸습니다.
높음은 맞힌 답에 확신 71, 틀린 답에 12를 적어서 확신으로 가를 수 있었지만 맞힌 것 자체가 4개였습니다. 확신 80 이상을 적고 틀린 문항은 높음과 맥스가 2개씩이고 Sol은 1개입니다. 실제로 쓰이는 신조어 「테토남」은 높음이 확신 85, 맥스가 확신 91로 같은 오답 보기를 골랐습니다.
기억에 기댄 사실은 절반 가까이 틀렸고, 세 단계가 같은 오답을 냈습니다
사실 질문 틀림은 낮음 230개 중 111개였고, 높음·맥스도 82~91개였습니다.
| 낮음 | 높음 | 맥스 | Sol | |
|---|---|---|---|---|
| 틀림 | 111/230 | 91/230 | 82/220 | 13/230 |
| "모른다" | 2 | 5 | 3 | 2 |
세 단계 중 한 번이라도 틀린 질문은 139개이고, 이름이 54개로 가장 많고 연도가 49개였습니다. 그 가운데 125개는 Sol이 맞혔습니다. 연도를 틀린 답 112개 중 21개는 딱 1년 차이였고, 54개는 5년 이상 빗나갔습니다.
세 단계가 글자까지 똑같이 틀린 질문이 9개였습니다. Sol은 아래 질문을 모두 맞혔습니다.
- 대한민국 슈퍼컴퓨터 1호기가 도입된 연도: 세 단계 모두 "1993년", 실제 1988년
- 앙부일구의 시간 세로선 개수: 세 단계 모두 "13개", 실제 7개
서로 다르게 틀린 질문은 32개였습니다. 청탁금지법이 본회의에서 반대 몇 명으로 통과됐느냐는 질문에는 단계마다 5명, 1명, 2명으로 답이 달랐고 실제는 4명입니다.
깔아 둔 틀린 전제는 대부분 바로잡았습니다
질문에 틀린 사실을 깔아 둔 30개 중 낮음은 25개, 높음은 29개, 맥스는 30개를 바로잡았습니다.
낮음이 그대로 받은 질문에는 수원 화성이 1910년에 완공됐다는 전제가 있었습니다. 낮음은 축성 지휘자를 "채제공"이라고 답했고, 실제 완공은 1796년입니다. 경부고속도로가 1988년 서울 올림픽에 맞춰 개통됐다는 전제에는 총길이를 "약 428km"라고 했고, 실제 개통은 1970년입니다. 바로잡은 답으로는 이순신이 명량해전에서 전사한 날짜를 묻는 질문에 "이순신은 명량해전에서 전사하지 않음 (노량해전에서 1598년 11월 19일 전사)"이라고 한 것이 있습니다.
높음이 놓친 1개는 안중근 의사가 이토 히로부미를 저격한 "상하이역"의 플랫폼 번호를 묻는 질문이었습니다. "기록으로 확인되지 않음 (상하이역 승강장에서 발생한 것까지만 알려짐)"이라고 답했는데, 저격 장소는 하얼빈역입니다.
자료 안에서는 찾았지만, 자료에 없는 답도 내놓았습니다
자료에 답이 있는 77개 중 71~74개를 맞혔고, 답이 없는 109개 중 10~15개에는 답을 만들어 냈습니다.
| 낮음 | 높음 | 맥스 | Sol | |
|---|---|---|---|---|
| 답 있는 질문 정답 /77 | 71 | 72 | 74 | 76 |
| 답 있는데 "자료에 없음" | 4 | 3 | 1 | 1 |
| 답 없는 질문에 지어냄 /109 | 15 | 14 | 10 | 5 |
낮음이 답이 있는데 틀린 것은 2개입니다. 13일 CGV 심야 요금을 자료는 8000원이라고 했는데 "6000원"이라고 했고, 전라남도 농악 중 육지와 다른 독자성을 지닌 것을 자료는 도서해안굿이라고 했는데 "고흥 월포농악"이라고 했습니다.
세 단계 모두 지어내는 쪽에 걸린 질문이 7개였고, 그중 5개를 Sol은 "자료에 없음"이라고 답했습니다.
긴 대화 속 취향은 거의 반영하지 못했고, 확신은 높게 적었습니다
알잘딱 8문항 중 통과는 0~1개였고, 답에 적은 평균 확신은 77~88이었습니다.
| 낮음 | 높음 | 맥스 | Sol | |
|---|---|---|---|---|
| 통과 | 1/8 | 0/8 | 1/8 | 3/8 |
| 답에 적은 평균 확신 | 77 | 88 | 85 | 92 |
| 실제 통과율 | 13% | 0% | 13% | 38% |
휴대폰 배터리 관리 문항은 세 단계 모두 불통과였고 확신은 모두 90대였습니다. Sol도 이 문항은 통과하지 못했습니다. 낮음은 쿠키 스타일 추천에서 "꼬끄바디안 크루렁(Corroded/Crinkle) 스타일 쿠키"라는 이름을 내놓고 확신 82를 적었습니다. 높음은 손님용 디저트를 추천해 달라는 질문에 "시금치 아티초크 딥 스타일의 스위트 버전이 아닌, 인기 디저트류:"로 답을 시작했고 확신 88을 적었지만 불통과였습니다.
추론 단계는 낮음으로 두고, 자료를 붙여 주는 일에만 맡기세요
추론 단계는 낮음이면 충분합니다. 높음과 맥스는 총점이 오르지 않은 채 시험 시간만 4.4배, 8.4배가 됐습니다. 자료를 함께 주고 그 안에서 답을 찾게 하는 일에는 쓸 만합니다(77개 중 71개). 이때 자료에 없는 질문 109개 중 15개에 답이 만들어졌으니, "자료에 없음"이라고 답해야 할 자리에서 그렇게 했는지 꼭 확인하세요. 연도·숫자·이름을 기억에 기대 답하게 하는 일, 한국어 호칭을 구분하는 일, 긴 대화에 흘린 취향을 반영하는 일은 아직 맡기지 않는 편이 낫습니다.
점수 읽는 법과 지표 뜻: KoReal 벤치 소개
댓글
댓글 쓰기