CINEVYZE Insight

AI가 지어낸 답이 무서운 건, 모른다고 말해 주지 않아서입니다. 지금까지 KoReal 벤치로 잰 모델 6개를 놓고 두 가지를 따로 봤습니다. 아무 지시 없이 물었을 때 모르는 사실 앞에서 「모른다」고 하는지, 그리고 「모르면 모른다고 하라」고 시켰을 때 달라지는지입니다. 기준선은 GPT-6.1 Sol 높음입니다.

답과 함께 「얼마나 확실한지」를 숫자로 적게 하는 방법이 있습니다. 확신이 낮은 답만 골라서 확인하면 일이 줄어들 것 같아서입니다. 그래서 KoReal 벤치의 어휘 시험(우리말 낱말과 신조어 뜻 고르기 31문항)에서는 답마다 확신을 0~100으로 적게 했고, 모르면 「모르겠다(0)」를 내도 된다고 알려 줬습니다. 지금까지 잰 모델 6개와 기준선 GPT-6.1 Sol의 결과를 나란히 놓았습니다. 처음 표만 보면 몇몇 모델은 확신이 꽤 쓸 만해 보였습니다. 그런데 「모르겠다」를 빼고 실제로 답을 낸 것만 보니 이야기가 달라졌습니다. 겉으로는 쓸 만해 보인 숫자 맞힌 문항과 틀린 문항의 평균 확신 차이는 Claude Haiku 5.5 높음이 69.4점, 제미나이 3.8 플래시 낮음이 4.0점이었습니다. 차이가 클수록 확신으로 맞고 틀림을 가를 수 있다는 뜻으로 읽힙니다. 이 기준이면 Haiku·GLM 5.3 플래시 높음·Claude Sonnet 5.5 높음·GPT-6 Luna 맥스는 Sol(40.4점)보다 낫고, 제미나이와 딥시크 V4.1 플래시는 확신 숫자를 믿을 수 없는 쪽입니다.

요즘 모델은 대부분 「얼마나 오래 생각할지」를 고를 수 있습니다. 낮음·높음·맥스 같은 이름으로요. 높일수록 느려지고 비싸지니, 그만큼 답이 좋아져야 손해가 아닙니다. 지금까지 KoReal 벤치로 잰 모델 6개를 추론 단계별로 나란히 놓고, 단계를 올렸을 때 실제로 점수가 올랐는지만 따로 봤습니다. 결과는 갈렸습니다. 단계를 한 칸 올린 경우가 모두 10번인데, 확실히 오른 건 5번이고 확실히 떨어진 게 1번, 나머지 4번은 올랐는지 떨어졌는지 단정할 수 없었습니다. 시험지는 모델 글과 같습니다(한국어 디테일 · 진실성 · 알잘딱, 0~100점, 기준선은 GPT-6.1 Sol 높음 71.5점).

제미나이 3.8 플래시를 KoReal 벤치에 추론 단계 낮음·중간·높음으로 한 번씩 돌렸습니다. 비교 기준은 GPT-6.1 Sol(추론 높음)이고, 시험 구성은 KoReal 벤치 소개 에 있습니다. 플래시급이니 싸고 빠른 대신 정확도는 조금 내줄 거라고 봤습니다. 그런데 이 모델은 낮음에서 시험 전체를 10.2분에 끝냈는데, 총점이 Sol과 0.1점 차이였습니다. 그래서 어디서 Sol을 따라잡았고 어디서 아직 모자란지를 나눠 봤습니다. 아래 세 블록은 추천 설정인 낮음 기준입니다.

Claude Haiku 5.5를 KoReal 벤치에 추론 단계 낮음·높음·맥스로 돌렸습니다. KoReal은 한국어로 일을 시킬 때 필요한 것을 재는 벤치로, 호칭·어휘 같은 한국어 디테일, 지어내지 않는 진실성, 긴 대화에서 사용자 취향을 기억하는 알잘딱 세 묶음으로 나뉩니다. 비교 기준은 GPT-6.1 Sol(추론 높음)입니다. 점수는 낮음과 높음 두 단계만 나왔습니다. 맥스는 시험 첫 문항인 호칭 문제에서 출력 한도 128,000토큰을 전부 생각에 쓰고, 답은 한 글자도 내지 못한 채 잘렸습니다. 514초가 걸렸고, 거기서 시험을 멈췄습니다. 이 글의 맥스 단계는 「풀지 못함」입니다.

Claude Sonnet 5.5를 KoReal 벤치에 추론 단계 낮음과 높음으로 한 번씩 돌렸습니다. KoReal은 한국어로 실제 일을 시킬 때 필요한 것, 즉 호칭·어휘 같은 한국어 디테일, 지어내지 않는 진실성, 긴 대화에서 사용자 취향을 기억하는 알잘딱을 재는 벤치입니다. 비교 기준은 GPT-6.1 Sol(추론 높음)입니다. 이 모델이 궁금했던 이유는 속도입니다. 낮음으로 두면 시험 전체가 8.9분에 끝났고, 첫 글자가 나오기까지 1.7초였습니다. Sol은 36.4분이 걸렸습니다. 이만큼 빠른 모델이 한국어 일을 어디까지 해내는지, 추론을 올리면 무엇이 달라지는지를 봤습니다.

GPT-6 Luna를 추론 단계 낮음·높음·맥스로 한 번씩 돌렸고, 비교 기준은 GPT-6.1 Sol(추론 높음)입니다. 시험 구성은 KoReal 벤치 소개 에 있습니다. Luna는 낮음에서 첫 글자가 3.5초 만에 나옵니다. 이렇게 빠른 모델이 추론 단계를 올리면 어디가 좋아지고 어디는 그대로인지가 궁금했습니다. 아래 세 블록은 추천 설정인 맥스 기준입니다.

GLM 5.3 플래시를 추론 단계 낮음·높음·맥스로 한 번씩 KoReal 벤치에 돌렸고, 기준은 GPT-6.1 Sol(추론 높음)입니다. 시험 구성은 KoReal 벤치 소개 에 있습니다. 싼 플래시 모델이라 추론 단계를 올려 쓰면 값을 하는지가 먼저 궁금했습니다. 아래 블록은 추천 설정인 낮음 기준입니다.

추론 단계 낮음·높음·맥스로 한 번씩, 비교 기준은 GPT-6.1 Sol(높음). 시험 구성은 KoReal 벤치 소개 에 있습니다. 플래시는 싸고 답이 빨리 나와서 자잘한 일을 맡기기 좋은 모델입니다. 제가 확인하고 싶었던 건 어떤 일까지 맡겨도 되느냐였습니다.

+821012345678 휴대폰 번호를 공백 없이 국가번호째 붙여 적은 한 줄입니다. 이 값을 ChatGPT가 짜 준 함수에 넣자 돌아온 답은 None 이었습니다. 기대한 값은 010-1234-5678 이었습니다. 같은 문장으로 부탁한 Claude와 Gemini의 함수는 이 줄을 제대로 바꿨습니다. 챗GPT·클로드·제미나이 중 무엇을 결제할지 고민하는 분이라면, 개인 요금표와 같은 업무 3개의 채점 결과를 나란히 보고 내 일에 맞는 쪽과 결과를 따로 검사해야 할 지점을 고를 수 있습니다. 짧은 답부터 적습니다. 쉬운 표 집계는 셋 다 맞혔습니다. 차이는 "그럴듯한 코드와 수식을 그대로 붙여 넣어도 되는가"에서 났고, 그 답은 세 곳 모두 "시험해 보기 전에는 모른다"였습니다. 이번 결과에서 차이를 가른 것은 받은 코드를 돌려 볼 시험 케이스가 먼저 있는가였습니다. 세 곳에 같은 문장 세 개를 넣었습니다 2026년 9월 25일, 세 서비스의 웹 화면에서 새 대화를 열고 같은 과제 문장을 하나씩 넣었습니다. 과제는 정답을 기계로 확인할 수 있는 것만 골랐습니다. 과제 부탁한 일 채점 방법 T1 표 집계 매출 12줄(환불 2줄 포함)을 지역별로 합산 정답표와 숫자 대조 T2 엑셀 수식 날짜 일부가 텍스트로 저장된 시트에서 2026년 9월 합계 수식 1개 시험 시트에 넣고 LibreOffice로 계산 T3 파이썬 함수 한국 휴대폰 번호를 010-1234-5678 형식으로 바꾸는 함수 입력 11건을 실제로 실행 모델과 추론 설정은 손대지 않았습니다. 화면에 떠 있던 기본값이 ChatGPT는 gpt-5-6-thinking(매우 높음), Claude는 Opus 5.5(중간), Gemini는 Flash(Extended)였습니다. 셋의 설정이 서로 다르니 이 글은 모델 순위표가 아닙니다. 평소 여는 화면 그대로 일을 맡겼을 때의 기록입니다. 채점은 응답을 받은 뒤 PC에서 따로...

커피 추출 방식을 다룬 글을 주고 「핵심 5문장으로 요약해줘. 원문에 없는 내용은 추가하지 마」라고 했습니다. 다섯 번째 반복에서 돌아온 답의 첫 줄과 넷째 문장입니다. 원문을 바탕으로 요약한 핵심 5문장입니다. 4\. 이러한 커피의 추출 결과를 좌우하는 3가지 핵심 변수는 원두의 분쇄도, 물의 온도, 물과 원두가 닿는 시간입니다. 두 군데가 걸립니다. 요약만 달라고 했는데 요약 앞에 머리말이 붙었습니다. 그리고 「3가지」는 원문에 없는 숫자입니다. 원문은 변수 세 개를 나열만 했고, 모델이 그것을 세어 붙였습니다. 이번 테스트에서 채점기에 걸린 것은 이 「3가지」가 전부입니다. Gemini 3.1 Pro에 코딩·요약·번역 과제를 생각 수준 high와 low로 9번씩, 모두 54번 넣었고, 채점 결과가 어긋난 회차는 요약 두 번뿐이었습니다. 그 두 번도 생각을 더 많이 하는 high 쪽에서 나왔습니다. 그래서 짧은 실무 과제를 맡길 때 생각 수준을 어디에 둘지는 품질보다 시간과 토큰 으로 정하게 됩니다. low는 과업마다 채점 결과가 떨어지지 않았고, 번역은 응답 시간 중앙값이 34% 줄었습니다. 대신 받은 답을 그대로 붙여 넣기 전에 지울 것이 과업마다 하나씩 있었습니다. 요약 18번, 머리말은 18번 다 붙었습니다 요약은 조건을 잘 지켰습니다. 18번 모두 번호 붙은 다섯 문장이었고, 원문의 추출 방식 네 가지(드립·에스프레소·침지식·콜드브루)와 핵심 변수 세 가지를 빠뜨린 요약은 없었습니다. 다만 18번 모두 요약 앞에 한 줄이 먼저 나왔습니다. 「원문에서 추출한 핵심 5문장 요약입니다」, 「원문을 바탕으로 요약한 핵심 5문장입니다」처럼 문구만 조금씩 달랐습니다. 채팅 창에서 읽을 때는 아무 문제가 없습니다. 이 답을 보고서나 스크립트로 그대로 옮기는 자리라면 매번 첫 줄을 지워야 합니다. 채점기는 번호 붙은 줄만 요약으로 세도록 짜서 이 머리말을 점수에 넣지 않았습니다. 원문 밖 숫자는 채점기가 요약 본문의 아라비아 숫자를 모두 뽑아 원문...