제미나이 3.8 플래시 KoReal 벤치: 낮음만으로 Sol과 같은 점수, 자료에 없는 답은 거의 지어내지 않았다
제미나이 3.8 플래시를 KoReal 벤치에 추론 단계 낮음·중간·높음으로 한 번씩 돌렸습니다. 비교 기준은 GPT-6.1 Sol(추론 높음)이고, 시험 구성은 KoReal 벤치 소개에 있습니다.
플래시급이니 싸고 빠른 대신 정확도는 조금 내줄 거라고 봤습니다. 그런데 이 모델은 낮음에서 시험 전체를 10.2분에 끝냈는데, 총점이 Sol과 0.1점 차이였습니다. 그래서 어디서 Sol을 따라잡았고 어디서 아직 모자란지를 나눠 봤습니다. 아래 세 블록은 추천 설정인 낮음 기준입니다.
맡겨도 됨
- 자료 기반 답변 (77개 중 72개 · 지어낸 답은 109개 중 1개)
- 한국어 디테일이 중요한 글 (83.5점 · Sol 80.9점)
- 빨리 답이 필요한 일 (첫 글자까지 1.8초)
답을 꼭 확인
- 한국 관련 사실관계 (230개 중 17개 틀림)
- 질문에 섞인 틀린 사실 걸러내기 (30개 중 25개)
맡기지 말 것
- 긴 대화 기억 (8문항 중 3개 통과인데 확신은 96)
자료를 주면 없는 답은 거의 만들지 않습니다
자료에 답이 없는 질문 109개 중 답을 지어낸 건 0~1개였습니다.
자료 20건을 주고 그 안에서 답을 찾게 하는 시험입니다. 질문 중에는 자료에 답이 없는 것도 섞여 있고, 그럴 땐 "자료에 없음"이라고 쓰라고 지시했습니다.
| 낮음 | 중간 | 높음 | Sol | |
|---|---|---|---|---|
| 답 있는 질문 정답 /77 | 72 | 74 | 75 | 76 |
| 답이 있는데 "자료에 없음" | 4 | 3 | 2 | 1 |
| 답 없는 질문에 지어냄 /109 | 1 | 1 | 0 | 5 |
Sol은 답이 없는 질문 5개에 답을 만들어 냈습니다. 이 칸에서는 제미나이가 더 조심스러웠습니다. 대신 낮음은 자료에 답이 있는 질문 4개를 "자료에 없음"으로 넘겼습니다. 답이 있는데 틀린 건 하나였습니다.
기억으로 답하는 사실은 틀려도 멈추지 않습니다
사실 질문 230개 중 10~17개를 틀렸고, "모른다"는 세 단계 모두 한 번도 없었습니다.
틀린 수만 보면 Sol(13개)과 비슷합니다. 차이는 모를 때의 태도입니다. Sol은 두 번 "모른다"고 멈췄고, 제미나이는 모든 질문에 답을 냈습니다. 연도를 틀린 답 12개 중 9개는 딱 1년 차이였습니다.
세 단계가 글자까지 똑같이 틀린 질문이 3개 있었습니다.
| 질문 요약 | 제미나이 (세 단계 같은 답) | 실제 |
|---|---|---|
| 공수처가 설립된 날짜 | 2021년 1월 21일 | 2020년 7월 15일 |
| 국내 최초로 무인 편의점을 도입한 기업 | 코리아세븐 (세븐일레븐) | GS리테일 |
| 페이커 이상혁이 졸업한 중학교 | 마포중학교 | 등원중학교 |
페이커의 중학교는 Sol이 맞혔습니다.
확신 숫자로는 맞고 틀림을 가를 수 없습니다
어휘 시험에서 맞힌 답의 확신은 평균 93, 틀린 답은 89였습니다.
어휘는 31문항을 한 번에 풀게 하고, 답마다 확신을 0~100으로 적게 했습니다. "모르면 0을 내라, 틀리면 더 깎는다"고 알려 줬는데도 세 단계 모두 0을 하나도 내지 않았습니다.
| 낮음 | 중간 | 높음 | Sol | |
|---|---|---|---|---|
| 어휘 맞힌 수 /31 | 27 | 27 | 28 | 28 |
| 확신 80 이상이라고 적고 틀린 문항 | 4 | 3 | 2 | 1 |
| 맞힌 답 / 틀린 답 평균 확신 | 93 / 89 | 91 / 86 | 96 / 88 | 95 / 54 |
맞힌 수는 Sol과 같거나 한 개 적습니다. 다른 건 틀릴 때입니다. 지어낸 신조어 「퇴메추」에는 세 단계 모두 그럴듯한 뜻을 골랐고, 확신을 95~99로 적었습니다. Sol은 틀린 답에 확신을 54로 낮게 적어서, 확신이 낮으면 한 번 더 볼 수 있습니다. 제미나이는 그 신호가 없습니다.
깔아 둔 틀린 전제는 낮음에서 다섯 개를 넘겼습니다
틀린 사실을 섞은 질문 30개 중 낮음은 25개, 중간과 높음은 29개를 바로잡았습니다.
바로잡을 땐 짧게 답하고 괄호 안에 고칩니다. 명량해전에서 전사한 날짜를 묻자 "명량해전에서 전사하지 않았음"이라고 하고 노량해전 날짜를 붙였습니다.
낮음이 그대로 받은 다섯 개는 모두 연도를 바꿔 넣은 질문이었습니다. 수원 화성이 1910년에 완공됐다거나, 갤럭시 S가 1990년대 초에 나왔다는 식입니다. 세 단계가 모두 넘어간 질문은 하나였습니다.
한국어 디테일은 Sol과 나란하거나 앞섰습니다
한국어 디테일 묶음은 낮음 83.5점으로 Sol(80.9점)보다 높았습니다.
가족 대화를 읽고 호칭을 고르는 시험에서 낮음은 10문항 중 8문항을 통과했고, Sol은 7문항이었습니다. 희귀 우리말은 20개 중 19~20개를 맞혔습니다. 다만 한두 문항 차이라 Sol보다 낫다고 하기는 어렵습니다.
대화 속 취향은 Sol만큼 챙겼지만, 확신은 늘 높았습니다
긴 대화 기록에서 사용자 취향을 챙겼는지 본 8문항 중 2~4개를 통과했습니다.
낮음은 3개로 Sol과 같았습니다. 침실 인테리어를 묻는 문항에서는 예전 대화에 나온 미드센추리 모던 취향을 첫 항목으로 꺼냈는데, Sol은 이 문항을 통과하지 못했습니다. 반대로 넷플릭스 신작을 묻는 문항에서 낮음은 사용자가 넷플릭스만 구독한다는 건 챙겼지만 통과하지 못했습니다.
답마다 적은 확신은 95~100이었고, 실제 통과율은 25~50%였습니다.
추론을 올려도 값을 하지 않았습니다
높음은 낮음보다 총점이 4.0점 낮았고, 시간은 5.5배 걸렸습니다.
| 낮음 | 중간 | 높음 | Sol | |
|---|---|---|---|---|
| 총점 | 71.4 | 75.3 | 67.4 | 71.5 |
| 시험 전체 걸린 시간(분) | 10.2 | 17.7 | 55.8 | 36.4 |
| 문항당 추론 분량(토큰) | 약 1,000 | 약 2,200 | 약 8,200 | 약 500 |
| 첫 글자까지(중앙값) | 1.8초 | 2.2초 | 2.5초 | 18.5초 |
눈에 띄는 건 중간입니다. 문항당 추론은 높음의 4분의 1 정도였고 시간도 1.7배로 높음보다 훨씬 짧았는데, 총점은 세 단계 중 가장 높았습니다. 다만 문항 묶음을 바꿔 4,000번 다시 계산하면 중간이 낮음을 앞선 경우는 71%였습니다. 공식 요금표로 따진 비용은 중간 1.19배, 높음 2.26배입니다.
추론은 낮음으로 두고, 기억으로 답한 사실만 따로 확인하세요
자료를 붙여 주고 그 안에서 답을 찾게 하는 일은 맡겨도 됩니다. 없는 답을 만들어 내는 일이 거의 없었습니다. 한국어 디테일이 중요한 글도 낮음에서 Sol만큼 해냈습니다. 다만 자료 없이 기억으로 답한 날짜·이름은 틀려도 "모른다"고 하지 않고, 적어 둔 확신도 틀릴 때와 맞을 때가 거의 같으니 꼭 따로 확인하세요. 긴 대화에서 예전에 말한 취향을 챙겨 주길 바라는 일은 아직 맡기지 않는 편이 낫습니다.
점수 읽는 법과 지표 뜻: KoReal 벤치 소개
댓글
댓글 쓰기