"내 답 맞아?"를 AI에게 물어봐도 될까 — 자가채점 신뢰도 192회 실측
다들 한 번쯤 해보셨을 겁니다. AI가 뱉은 답이 미심쩍어서 같은 창에 "이거 맞아?"라고 되묻는 것 말이죠. 솔직히 저도 그게 검산이라고 생각했습니다. 그런데 그건 착각이었습니다.
일꾼을 뽑았으면 감사도 붙여야 하는데, 감사 자리에 그 일꾼을 앉힌 셈이었거든요. 그래서 정답이 하나로 정해지는 24문항에 답을 시키고, 같은 모델에게 그 답을 채점시켰습니다. 답변 48회 + 채점 144회, 총 192회입니다. 2026년 8월 3일, 로컬 gemma3:4b와 qwen3-vl:8b 기준입니다.
채점의 옳고 그름을 사람이 판단하지 않는 이유
이 실험의 핵심은 채점자를 채점하는 것이라, 진실값을 사람 눈으로 정하면 실험이 무의미해집니다. 그래서 광복절 날짜·17×23·1시간 45분처럼 정답이 하나로 정해지고 별칭 목록으로 기계 대조가 가능한 문항만 골랐습니다. 상식 8개, 계산 8개, 단위 4개, 글자 세기 4개입니다.
절차는 두 단계입니다. 월급 안 나가는 일꾼 둘을 앉혀놓고 먼저 24문항을 풀립니다. 그다음 gemma3:4b에게 그 답들을 채점시키되, 채점 방식을 세 가지로 나눴습니다.
- 정답 비공개 — 질문과 답만 보여주고 맞았는지 묻습니다. 사람들이 실제로 쓰는 방식이죠.
- 먼저 풀고 비교 — 채점 전에 스스로 그 문제를 풀게 한 뒤 자기 답과 대조시킵니다.
- 정답 공개 — 정답을 알려주고 채점시킵니다. 채점 능력의 상한을 보는 대조군입니다.
이 녀석들의 원래 실력은 이랬습니다. gemma3:4b가 16/24(66.7%), qwen3-vl:8b가 22/24(91.7%)입니다. 양쪽 다 맞은 것도 틀린 것도 있어야 "틀린 걸 통과시키는지"와 "맞은 걸 깎는지"를 둘 다 잴 수 있는데, 다행히 그 조건이 채워졌습니다.
채점 144회 중 3회는 한 모델이 빈 응답을 낸 회차라 집계에서 뺐습니다. 백지는 틀린 답이 아니라서, 그걸 오답 분모에 넣으면 "오답을 통과시켰다"가 "빈칸을 통과시켰다"로 오염됩니다. 그래서 실제 집계는 141회입니다.
정답을 안 알려주면, 자기가 틀린 답 넷 중 셋을 통과시킵니다
gemma3:4b가 자기 답을 채점한 72회만 떼어 본 결과입니다.
| 채점 방식 | 판정 일치 | 틀린 답을 통과 | 맞은 답을 탈락 |
|---|---|---|---|
| 정답 비공개 | 15/24 | 6/8 = 75% | 3/16 |
| 먼저 풀고 비교 | 21/24 | 3/8 = 37.5% | 0/16 |
| 정답 공개 | 24/24 | 0/8 = 0% | 0/16 |
인턴에게 자기 답안지를 채점시킨 셈인데, 정답을 안 알려준 채 "이거 맞아?"라고 물었더니 자기가 틀린 여덟 문항 중 여섯 개를 "정답"이라고 통과시켰습니다. 되물어서 얻은 확인 도장은 넷 중 셋이 위조인 셈입니다.
무엇을 통과시켰는지 보면 더 곤란합니다. "대한민국 국회의사당이 있는 서울의 섬"에 "세종호" 라고 답해놓고 그걸 정답 처리했습니다. 세종호라는 섬은 없습니다(정답은 여의도). '대한민국'을 거꾸로 쓰라는 문제에 "도핵련대" 라고 답한 것도 통과였고요. 4분의 3을 소수로 바꾸라는 문제에 1.333을 적고도 통과입니다.
이 녀석이 저지른 반대 방향 오류도 있습니다. 광복절 8월 15일, 365-178=187, 1부터 10까지 합 55 — 셋 다 자기가 맞게 답해놓고 정답 비공개 팔에서 "오답"으로 깎았습니다. 자기가 맞힌 16회 중 3회입니다. 통과시키는 쪽으로만 후한 게 아니라, 판정 자체가 흔들린다고 보는 편이 맞습니다.
"먼저 직접 풀어봐"라고 한 줄 붙이면 절반으로 줄어듭니다
여기가 이번 측정에서 제일 써먹을 만한 부분입니다. 채점 지시문에 "먼저 당신이 직접 이 문제를 풀어 보고, 그 결과와 비교해 판정하세요" 한 줄을 넣었더니 거짓 통과가 75%에서 37.5%로 절반이 됐습니다. 맞은 답을 깎는 실수는 3회에서 0회가 됐고요.
공짜는 아닙니다. 일꾼이 야근하는 만큼 응답이 길어져 토큰을 더 씁니다. 그래도 채점을 맡길 거라면 이 한 줄이 지금까지 확인한 것 중 가장 싼 안전장치입니다.
다만 만능은 아닙니다. 세종호 문항은 다시 풀게 해도 "세종호는 한강을 따라 건설된 인공섬이며" 라는 설명까지 붙여가며 통과시켰습니다. 자기가 애초에 틀리게 아는 것은 다시 풀어도 똑같이 틀리게 나오니까요. 이건 AI 답변 재현성 실측에서 본 그 장면입니다. 그때도 temperature를 0으로 고정하니 8번이 글자까지 같아졌는데, 그 8번이 다 똑같이 틀린 계산이었습니다. 같은 일꾼에게 두 번 묻는 건 검산이 아니라 같은 답의 복사본을 받는 일입니다.
채점을 못 하는 게 아니라, 모르는 걸 모른다고 못 합니다
답안지를 쥐여주자 판정이 달라집니다. 정답을 공개한 47회(두 모델 답 합산)에서 판정 일치가 46회, 97.9%였습니다. 그중 자기 답을 채점한 24회만 보면 24/24, 한 건도 안 틀렸습니다. 채점이라는 잡무 자체는 이 4B짜리 일꾼도 충분히 해낸다는 뜻입니다.
그러니까 문제는 채점 능력이 아니라 기준을 모르는 상태에서 판정을 요구받았다는 것입니다. 답안지 없이 채점하라고 시켰을 뿐인데 "모르겠다"는 선택지를 쓰지 않고 도장을 찍습니다. 로컬 AI 사실성·환각 저항 실측에서 지어낸 이름을 실물처럼 인용하던 것과 같은 뿌리입니다. 모델은 자기가 모른다는 사실 자체를 잘 모릅니다.
문항 분야로도 갈립니다. 글자 세기 문항의 판정 일치율이 17/24(70.8%) 로 가장 낮았고 상식이 41/45(91.1%)로 가장 높았습니다. STRAWBERRY의 R 개수 같은 문제는 답도 틀리고 채점도 틀립니다. 애초에 글자를 세지 못하는 인턴에게 글자 세기 검사까지 맡긴 셈이니까요.
자기 답에 후한가 — 방향은 보이는데 단정은 못 합니다
원래 재고 싶었던 축이 하나 더 있었습니다. 이 녀석이 자기가 쓴 답과 옆자리 일꾼이 쓴 답에 잣대를 달리 대는가입니다. 비교 가능한 쪽은 맞은 답을 잘못 깎은 비율뿐이었습니다.
맞은 답을 오답으로 깎은 비율이 자기 답 3/48(6.25%), 다른 모델 답 8/66(12.1%) 로 두 배 가까이 차이 났습니다. 방향은 "자기 것에 후하다" 쪽이 맞습니다.
그런데 반대 축인 거짓 통과는 판정할 수가 없습니다. qwen3-vl:8b가 24문항 중 22개를 맞혔고, 못 맞힌 두 문항 중 하나는 앞서 뺀 빈 응답이었습니다. 그래서 채점 대상이 되는 오답이 한 문항뿐이라 세 팔을 합쳐도 분모가 3회였거든요. 3회짜리 비율은 숫자를 적는 것 자체가 과장입니다. 근무평가를 하려면 두 직원처럼 비슷한 난이도로 굴려야 하는데 그게 안 됐습니다. 깎은 비율 쪽도 건수로는 3건 대 8건이라, 한두 건이 뒤집히면 흔들립니다. 자기편애는 이 측정으로 확인되지 않았습니다 — 재려면 두 모델의 정답률을 비슷하게 맞춰 다시 설계해야 합니다.
그래서 오늘 뭘 바꾸면 되나
일꾼을 자르기 전에 사장이 지시서를 고칠 자리가 다섯 군데 있습니다.
- "이거 맞아?"만 던지지 마세요. 같은 창에 되묻는 확인은 이번 측정에서 자기 오답의 75%를 통과시켰습니다. 검산으로 치지 마세요.
- 되물을 거면 "먼저 직접 풀어보고 비교해"를 붙이세요. 이 한 줄로 거짓 통과가 절반이 됐습니다. 채점 프롬프트 맨 앞에 넣고, 판정은 마지막 줄에 한 단어로만 받으세요.
- 기준이 있으면 반드시 같이 주세요. 정답·체크리스트·규정 원문을 붙이면 판정 일치율이 97.9%까지 올라갑니다. 채점을 맡기기 전에 "내가 이 판정의 기준을 갖고 있나"를 먼저 확인하세요.
- 다른 모델에게 교차 채점을 맡기세요. 감사는 다른 일꾼에게 맡기는 게 회사 상식이죠. 같은 녀석은 자기 오해를 그대로 반복합니다. 무료 로컬 모델이라면 두 개를 번갈아 쓰는 비용이 거의 없습니다.
- 글자 수·개수 세기는 기계로 검산하세요. 이 분야가 답도 채점도 가장 부정확했습니다.
wc -m이나 스프레드시트 함수 한 줄이 훨씬 정확합니다.
이 측정의 한계
채점을 시킨 일꾼은 gemma3:4b 한 명입니다. 인턴 한 명 근무평가로 업계 전체를 말할 수는 없죠. 상용 대형 모델은 정답 비공개 조건에서도 훨씬 나을 가능성이 큽니다. 그러니 이 글의 숫자를 "AI 채점은 못 믿는다"로 일반화하면 안 되고, "작은 로컬 모델에게 답안지 없이 채점을 맡기면 이렇게 된다" 로 읽어야 맞습니다.
설계에도 흠이 하나 있습니다. "먼저 직접 풀어보라"는 지시가 채점할 답을 보여준 뒤에 붙습니다. 이미 답을 읽은 상태에서 푸는 것이라 완전히 독립적인 재풀이는 아닙니다. 사람이 실제로 프롬프트 끝에 한 줄 덧붙이는 방식과는 같지만, "눈 가리고 먼저 풀린 뒤 대조"와는 다르다는 뜻이라 다음 라운드에서 순서를 바꿔 다시 재야 합니다.
이 녀석에게 던진 문항도 좁습니다. 정답이 하나로 정해지는 단답형만 썼습니다. 글쓰기 품질이나 요약의 충실도처럼 정답이 여럿인 과제의 자가채점은 이 측정 범위 밖입니다. 그리고 각 칸이 8~9건이라, 75%와 37.5% 같은 숫자는 한두 건이 뒤집히면 몇 %포인트씩 움직입니다. 단단한 건 비율의 소수점이 아니라 순서입니다. 정답 비공개보다 먼저 풀고 비교가 낫고, 그보다 정답 공개가 낫다는 순서는 세 팔 모두에서 일관됐습니다.
이 글은 cinevyze 운영자가 해당 도구를 직접 테스트하고 결과를 비교·검수해 정리·편집했습니다. 판단·사실확인은 모두 사람이 했고, 글 다듬는 일부 과정에 AI 도구의 도움을 받았습니다.
댓글
댓글 쓰기