딥시크 V4.1 플래시 KoReal 벤치 결과: 자료 주고 묻는 일은 맡기고, 연도·이름은 확인하세요
추론 단계 낮음·높음·맥스로 한 번씩, 비교 기준은 GPT-6.1 Sol(높음). 시험 구성은 KoReal 벤치 소개에 있습니다.
플래시는 싸고 답이 빨리 나와서 자잘한 일을 맡기기 좋은 모델입니다. 제가 확인하고 싶었던 건 어떤 일까지 맡겨도 되느냐였습니다.
맡겨도 됨
- 자료 주고 그 안에서 찾기 (77개 중 75개)
- 질문 속 틀린 사실 걸러내기 (30개 전부)
- 빨리 답이 필요한 일
답을 꼭 확인
- 기억에 기댄 연도·숫자·이름
- 자료에 비슷한 문장만 있는 질문
맡기지 말 것
- 관계를 따져야 하는 한국어 (명절 인사·경조사 문자처럼 처가·시댁 호칭이 들어가는 글)
- 예전 대화 속 사용자 취향 챙기기
질문에 섞인 틀린 사실은 30개 전부 잡았습니다
세 단계 모두 30개를 다 바로잡았습니다. Sol과 차이가 없는 유일한 항목입니다.
답하는 방식이 독특합니다. 질문에 먼저 답하고, 괄호 안에 짧게 바로잡습니다. 틀린 부분을 지적하면서 질문 속 숫자도 정확하게 냅니다. 갤럭시 S 화면은 실제로 4.0인치였고, 류현진의 그해 평균자책점도 2.32가 맞습니다.
기억에 기댄 사실은 그럴듯하게 틀립니다
230개를 물어 48~61개를 틀렸고, "모른다"는 한 번도 없었습니다.
틀린 질문 73개를 나눠 보면 연도 28개, 숫자 20개, 이름 25개입니다. 연도를 틀린 답 71개 중 20개는 딱 1년 차이라, 겉으로는 맞는지 틀렸는지 티가 나지 않습니다. 세 단계가 글자까지 똑같이 틀린 질문도 12개였습니다. 추론을 더 시켜도 잘못 알고 있는 건 그대로입니다.
| 질문 요약 | 딥시크 (세 단계 같은 답) | 실제 |
|---|---|---|
| 뮤지컬 〈캣츠〉 한국 초연 | 2003년 | 1994년 |
| 통일호 열차 개통 | 1984년 | 1955년 |
| 엘란트라가 한국에서 아반떼로 나온 해 | 1990년 | 1995년 |
모르면 0을 내라고 해도 찍습니다
"모르면 0, 틀리면 더 깎는다"고 알려 줬는데 31문항 중 0을 낸 건 0~1개였습니다.
가짜 신조어 「퇴메추」는 세 단계 모두 "퇴근 후 메뉴 추천"이라 답했고 확신은 90~95였습니다. 희귀 우리말 「코푸렁이」(줏대 없이 흐리멍덩한 사람)는 "얼굴이 넙데데하고 큰 사람"을 골랐습니다. Sol은 확신 98로 맞혔습니다.
| 낮음 | 높음 | 맥스 | Sol | |
|---|---|---|---|---|
| 맞힌 문항 평균 확신 | 83 | 81 | 78 | 95 |
| 틀린 문항 평균 확신 | 78 | 70 | 70 | 54 |
| 확신 차이(맞힘 − 틀림) | 5.7 | 11.5 | 8.0 | 40.4 |
| 확신 80 이상인데 틀림 | 6 | 3 | 2 | 1 |
딥시크는 맞힐 때와 틀릴 때 확신이 6~11점 정도밖에 차이 나지 않습니다. Sol은 40점 차이가 나서, 확신이 낮게 나오면 의심해 볼 수 있습니다.
| 모를 때 멈추나 | 낮음 | 높음 | 맥스 | Sol |
|---|---|---|---|---|
| 지시 없이 물었을 때 "모른다"고 한 비율 | 0% | 0% | 0% | 13% |
| 어휘: 모르는 문제에 0을 낸 비율 | 0% | 7% | 0% | 33% |
| 문서: 자료에 없는 질문에 "없다"고 한 비율 | 80% | 84% | 84% | 95% |
자료를 주면 잘 찾지만, 비슷한 문장에는 넘어갑니다
자료에 답이 있는 질문은 77개 중 75~76개를 맞혔고, 답이 없는 질문 109개 중 17~22개에는 답을 만들어 냈습니다.
자료 20건을 주고 질문 10개씩 묻는 시험입니다. 답이 없는 질문은 자료 안에 비슷한 문장을 넣어 헷갈리게 만든 것들인데, 세 단계가 같은 함정에 똑같이 걸린 경우가 많았습니다. 기준으로 둔 Sol은 5개였습니다.
| 질문 요약 (자료에 답 없음) | 딥시크 (세 단계 같은 답) | Sol |
|---|---|---|
| 베토벤이 두 번째 위기 때 처음 도입한 기법 | 대위법(폴리포니) | 자료에 없음 |
| 기원전 2세기에 토지 전쟁을 벌인 인물 | 그라쿠스 형제 | 자료에 없음 |
| 조선 후기 석빙고를 지은 돌의 개수 | 1000여 개 | 자료에 없음 |
"자료에 없으면 없다고 하라"는 지시는 열 번에 여덟 번꼴로 지켰습니다.
관계를 따지는 한국어는 거의 못 맞혔습니다
가족 호칭 문제 10개 중 두 문제를 다 맞힌 건 0~2개, Sol은 7개였습니다.
가족사진을 두고 나눈 대화에서 관계를 따라가 호칭을 고르는 시험입니다. 한 문항에 문제가 두 개씩 있고, 둘 다 맞아야 통과입니다.
| 낮음 | 높음 | 맥스 | Sol | |
|---|---|---|---|---|
| 두 문제 다 맞힘 | 0 | 2 | 0 | 7 |
| 하나만 맞힘 | 4 | 2 | 4 | 3 |
| 둘 다 틀림 | 6 | 6 | 6 | 0 |
잘 안 쓰는 우리말은 20개 중 13~14개를 맞혔고, Sol은 20개를 다 맞혔습니다.
예전 대화를 기억해서 챙겨 주진 못합니다
수십 번 나눈 대화에서 흘린 사용자 취향을 반영해야 하는 8문항 중 1~2개만 통과했습니다. 일부러 어렵게 고른 문항이라 Sol도 3개였습니다.
답 자체는 길고 그럴듯했습니다. 다만 사용자 얘기가 빠져 있었습니다. 침실 인테리어 트렌드를 묻자 "조용한 럭셔리", "웜 미니멀리즘" 같은 일반 트렌드만 늘어놓았고, 사용자가 예전에 말한 미드센추리 모던 취향은 나오지 않았습니다. 저녁에 할 활동을 물었을 때도 사용자가 예전에 말한 "밤 9시 반 전에는 마무리" 조건을 반영하지 않았습니다.
통과한 문항도 있습니다. 손님 디저트를 추천해 달라고 하자, 예전 송별회 때 반응이 좋았던 레몬 포피시드 케이크를 기억해 추천했습니다(낮음 단계). 답마다 적게 한 확신은 평균 87이었는데 실제 통과는 8문항 중 1~2개였습니다.
추론을 더 시키면
높음은 6점 오르는 데 시간 1.5배, 비용 1.33배가 들어 올릴 만했습니다. 맥스는 시간만 1.8배로 늘었습니다.
| 낮음 | 높음 | 맥스 | Sol | |
|---|---|---|---|---|
| 총점 | 43.1 | 49.4 | 42.8 | 71.5 |
| 시험 전체 걸린 시간 | 1.0배 | 1.5배 | 1.8배 | — |
| 한 문항 끝내는 시간(중앙값) | 29초 | 42초 | 56초 | 30초 |
| 문항당 추론 분량(토큰) | 약 8,900 | 약 14,100 | 약 16,500 | 약 500 |
높음이 낮음보다 6점 높게 나왔습니다. 차이의 대부분은 호칭 2문항과 알잘딱 1문항이고 어휘는 오히려 19개에서 17개로 줄었지만, 같은 시험 문항을 4,000번 다시 뽑아 비교해도 93%는 높음이 앞섰습니다. 시간은 1.5배, 공식 요금표로 계산한 비용은 1.33배라 이만큼 오르면 올려 둘 만합니다. 맥스로 올리면 추론 분량은 낮음의 두 배 가까이 되는데 점수는 낮음과 같았습니다. Sol은 문항당 추론을 500토큰 정도밖에 하지 않는데도 점수가 훨씬 높았습니다.
속도는 딥시크가 확실히 빠릅니다. 첫 글자가 나오기까지 1.7초, 1초에 213토큰을 씁니다. Sol은 첫 글자까지 18초쯤 걸렸습니다.
추론 단계는 높음으로 두고 쓰세요
높음은 낮음보다 6점 높고 시간은 1.5배라 올려 둘 만합니다. 자료를 주고 그 안에서 찾게 하거나, 질문에 섞인 틀린 사실을 걸러 내는 일은 맡겨도 됩니다. 기억에 기댄 연도·숫자·이름은 모른다는 말 없이 그럴듯하게 틀리고, 스스로 적은 확신도로도 구분이 안 되니 꼭 확인하세요. 처가·시댁 호칭이 들어가는 글이나 예전 대화를 기억해 맞춰 주길 바라는 일은 아직 맡기지 않는 편이 낫습니다.
점수 읽는 법과 지표 뜻: KoReal 벤치 소개
댓글
댓글 쓰기