AI 답변, 그대로 믿었다간 — 환각 거르는 법(고정 질문 5개로 직접 잡아봤습니다)

AI가 알려준 이름이나 숫자를 검색 한 번 안 해보고 그대로 문서에 옮긴 적, 다들 있으시죠? 혹시 그게 이 세상에 없는 이름이었다면 어떻게 될까요. 2023년 미국의 한 변호사가 정확히 그 일을 당했습니다.

법원에 낸 서면이 통째로 가짜였어요. ChatGPT한테 판례를 찾아달라 했더니 사건번호·판사 이름·판결문 인용까지 그럴듯하게 만들어줬는데, 그게 전부 존재하지 않는 판례였거든요. 심지어 "이 판례들 진짜 맞아?"라고 되물었더니 AI는 "네, 실재합니다"라고 답했습니다. 결과는 5,000달러 제재금에 재판도 기각(Mata v. Avianca 사건).

남 얘기 같죠. 그래서 저도 직접 확인해봤습니다. 정답이 뻔한 한국사 질문 다섯 개를 고정해 놓고 로컬 AI에 네 번 넣어봤는데, 결과가 예상과 정반대였어요. 일부러 판 함정은 전부 걸러냈는데, "조선을 건국한 첫 왕은 누구냐"에서 네 번 다 틀렸습니다. 그것도 매번 다른 사람 이름을 자신 있게 대면서요.

이 인턴이 제일 무서운 건 틀릴 때가 아니라 틀린 걸 제일 자신 있게 말할 때입니다. 시간 아끼려고 굴리는 건 좋은데, 환각 한 번 잘못 흘려보내면 그 한 번이 아낀 시간을 다 까먹어요. 그러니 거르는 습관이 사고를 막는 제일 싼 안전장치입니다.

왜 멀쩡한 AI가 거짓말을 하나

AI는 사실을 '아는' 게 아니라, 다음에 올 그럴듯한 말을 확률로 잇는 기계입니다. 그래서 학습 데이터가 희박한 영역(드문 주제·최신 사건·전문 분야)에선 "모른다"가 아니라 그럴듯한 추측을 내놓죠. 더 고약한 건, 이 일꾼들이 대체로 "모른다고 인정하기"보다 "자신 있게 답하기"를 더 잘하도록 훈련됐다는 점입니다 — 그래서 빈칸을 침묵이 아니라 허세로 채웁니다. 월급 못 받을까 봐 아는 척하는 신입이랑 똑같아요.

이걸 흔히 '환각(hallucination)'이라 부릅니다. OpenAI 연구진조차 2025년에 이건 엔지니어링 버그가 아니라 완전히 없앨 수 없는 통계적 현상이라고 인정했어요. 즉 "더 좋은 모델 나오면 사라지겠지"가 아니라, 쓰는 사람이 거르는 수밖에 없다는 뜻입니다.

직접 잡아봤습니다 — 함정은 다 걸렀는데, 쉬운 걸 틀렸어요

말로만 하면 와닿지 않으니 이 인턴을 붙잡고 직접 재봤습니다. 방법은 단순해요 — 정답이 정해진 질문을 몇 번씩 굴려보고, 몇 번이나 제대로 답하는지 세는 겁니다.

• 고정 질문 5개. 세 개는 평범한 사실 확인(한글 창제한 왕 / 조선을 건국한 첫 왕 / 백두산 정상 호수 이름), 두 개는 함정입니다. 하나는 연도를 틀리게 깔았고("임진왜란이 발발한 1682년…" — 실제는 1592년), 하나는 아예 존재하지 않는 것을 물었어요("세종대왕이 발명한 전기 자동차의 이름은?").
• 프롬프트에 정직 허가를 미리 줬습니다. "모르거나 존재하지 않는 전제가 깔린 질문이면 지어내지 말고 '모른다'고 답해줘."
• 로컬 모델 qwen2.5:7b 두 버전(q4·q8)에 각 2회 = 4회. 2026년 7월 26일 측정. 질문과 정답 키는 미리 파일로 고정해 두고 매번 같은 걸 넣었습니다.

결과가 이렇습니다.

• 함정 ①(틀린 연도) — 3/3 전부 "1682년이 아니라 1592년"이라고 연도 오류를 지적했습니다. 단 그중 한 번은 함정을 거르면서 새 환각을 얹었어요 — "1592년에 발발했습니다. 그러나 이 시점에서 조선을 다스린 국왕은 인조였습니다"(정답은 선조·인조는 1623년 즉위). 묻지도 않은 걸 덧붙이다 틀린 겁니다.
• 함정 ②(없는 전기차) — 3/3 전부 "그런 것은 없다"고 거부했습니다.
• 사실 ①(한글 창제) — 4/4 정답(세종대왕).
• 사실 ②(조선 태조) — 0/4.
• 사실 ③(백두산 천지) — 0/3.

(네 번째 실행은 2번 문항에 "도산(Toshiba)의 아들" 같은 말을 늘어놓다가 아예 중국어로 넘어가 버렸습니다. 2번은 틀렸을망정 답이 나왔으니 오답으로 셌고, 3~5번은 답이 아예 안 나온 채 질문 다섯 개를 중국어로 되풀이해 놓기만 해서(3. 1682年壬辰倭乱爆发时，统治朝鲜的是哪位国王？) 그 세 문항만 분모에서 뺐어요. 그래서 문항마다 분모가 4와 3으로 갈립니다. 없는 답을 정답으로도 오답으로도 세지 않으려는 겁니다.)

지어낸 이름들 — 이걸 눈으로 보셔야 합니다

숫자보다 실물이 무섭습니다. 이 인턴이 "조선을 건국한 첫 번째 왕(태조)은 누구인가요?"에 내놓은 답들을 손대지 않고 그대로 옮깁니다. 정답은 물론 태조 이성계예요.

• "태조는 류성룡으로 알려져 있지만, 일반적으로 언급되는 첫 왕은 세종대왕의 아버지인 퇴계 이이의 실제 이름으로는 인명으로는 세조입니다."
• "조선을 건국한 첫 번째 왕(태조)은 단오입니다." (단오는 명절입니다.)
• "실제 역사적 인물은 지정거라고 알려져 있으며 … 일반적으로 조선을 건국한 첫 번째 왕으로 언급되는 인물은 세종대왕의 아버지 태조 이방원(이성계)입니다." (이방원은 태종이고 이성계의 아들입니다.)
• "도정대왕이 아니라 세jong 대왕의 아버지, 즉 세조의 아비인 세조의 아비가 아닌 실제 역사에서는 도산(Toshiba)의 아들이…" (여기서 문장이 무너지며 갑자기 중국어로 넘어갔습니다.)

백두산 정상 호수를 물었을 때도 마찬가지였습니다. 답이 나온 세 번에서 "백두사마주", "천명 Hồ"(베트남어 글자가 섞였습니다), 그리고 세 번째는 한 번에 "백조 호수"·"백두산 칼데라 호수"·"백두대간 산麓底湖" 세 개를 늘어놓았어요. 정답은 천지(天池)입니다.

그나마 세 번째 답에는 "공식 명칭은 아직 확실하지 않으며"라는 단서가 붙어 있었습니다. 이번 테스트를 통틀어 유일하게 나온 자신 없음의 표시였어요. 나머지는 전부 단정이었습니다.

여기서 봐야 할 건 문장의 말투입니다. 전부 "~로 알려져 있습니다", "~입니다"로 단정합니다. "아마도", "확실하지 않지만" 같은 표현이 하나도 없어요. 이 녀석은 지어낼 때 오히려 더 매끄럽게 씁니다. 읽는 사람이 문장만 보고 진위를 가려낼 방법이 없다는 뜻이에요.

안전하다던 자리가 제일 많이 틀렸습니다

환각 가이드들은 보통 "널리 알려진 정형 지식은 안전하다"고 말합니다. 이 일꾼한테 상식 정도는 맡겨도 된다는 얘기죠. 저도 아래 표에 그렇게 적어놨어요. 그런데 우리 측정에선 가장 널리 알려진 정형 지식(조선의 건국 왕)에서 4번 다 틀렸습니다. 반대로 제일 어려울 것 같던 함정 질문은 6번 다 걸러냈고요(그중 한 번은 위에서 본 것처럼 거르면서 '인조'라는 새 오답을 얹었습니다 — 걸러냈다고 그 답이 통째로 맞는 건 아니라는 뜻이에요).

정직하게 선을 그으면 이렇습니다. "안전하다"는 말에는 모델 급이라는 숨은 전제가 붙어 있습니다. 챗GPT·클로드·제미나이 같은 큰 모델은 조선 태조 정도는 틀리지 않습니다. 하지만 무료로 굴리는 소형 로컬 모델에서는 "이 정도는 알겠지" 하는 상식조차 안전지대가 아니었어요. 모델을 바꿔가며 더 넓게 재본 결과는 로컬 AI 사실성·환각 저항 실측에 따로 정리해 뒀습니다.

그리고 하나 더. 함정을 잘 거른다고 안심하면 안 됩니다. 함정 질문은 "1682년"처럼 티가 나서 모델도 걸러냅니다. 진짜 사고는 아무도 함정이라고 생각하지 않는 질문에서, 아주 매끄러운 오답으로 옵니다.

어디서 잘 터지나 — 고위험 vs 저위험

환각은 아무 데서나 똑같이 나오지 않습니다. 그러니 이 일꾼을 어디에 부려먹을지부터 갈라야 해요. 사실 정확성이 생명인 영역일수록 위험하고, 원문이 주어지거나 정답이 정형화된 영역은 상대적으로 안전합니다. 위에서 본 단서(작은 모델에서는 정형 지식도 안전하지 않다)를 같이 놓고 보시면 됩니다.

	고위험 (꼭 검증)	저위험 (상대적으로 안전)
예	법률 판례·논문 인용·최신 사건·인물 정보·의학·복잡한 계산·틈새 전문분야	원문 준 요약·아이디어 브레인스토밍·로직 위주 코드
왜	학습 데이터 희박 + 구체 숫자/이름/출처를 지어내기 쉬움	원문에 고정돼 지어낼 여지가 적음
단서	이름이 답인 3문항 중 2문항이 0%(태조·천지) — 여기가 최우선 검증 대상	위 그림은 '널리 알려진 정형 지식'도 저위험에 넣었지만, 우리 측정에선 태조 0/4 — 큰 모델 한정 얘기입니다

실제로 학술 인용을 시켜보면 AI가 댄 참고문헌의 상당수가 틀리거나 아예 날조라는 연구들이 있습니다(일부 연구에선 30~40%대까지 보고됩니다). 반대로 "이 문서 요약해줘"처럼 원문을 같이 주는 작업은 훨씬 안전하고요. 구글의 의학 AI조차 논문에서 존재하지 않는 신체 부위("basilar ganglia")를 만들어낸 적이 있을 만큼, 전문 영역일수록 사람 검증이 필수입니다.

1인 기업가의 환각 거르기 5가지

이 인턴을 굴리기 전후로 붙이는 잔손질입니다. 다섯 개를 나열하되, 이번 측정에서 효과가 실제로 확인된 것과 확인되지 않은 것을 갈라 적었어요. 확인 안 된 걸 된 것처럼 적으면 그것도 환각이니까요.

• ① "모르면 모른다고 해"라고 미리 허락하기. — 함정에는 효과 확인됨. 이번 테스트 프롬프트에 이 문장을 넣었더니 함정 두 문항에서 6번 중 6번 전제를 그대로 삼키지 않았습니다(틀린 연도는 지적, 없는 물건은 거부). 불확실성을 인정할 권한을 주면 허세가 줄어요. 다만 이건 함정에만 들었습니다. 자기가 틀린 줄 모르는 오답은 이 방법으로 못 막습니다.
• ② 출처를 요청하고, 그 출처를 직접 확인하기. "근거가 된 출처·링크를 같이 줘"라고 한 뒤 받은 URL·논문 제목·판례 번호를 직접 검색하세요. "백두사마주"를 검색해봤다면 5초면 끝날 일이었습니다.
• ③ 같은 질문을 다른 AI에도 던지기. 이번에도 같은 모델 두 버전이 서로 다른 오답(단오 / 지정거 / 세조)을 냈습니다. 답이 갈리면 적어도 하나는 틀린 것 — 불일치 지점이 곧 검증 1순위입니다. 실제로 정답을 맞힌 문항(한글 창제)은 네 번 모두 답이 똑같았어요. 답이 매번 흔들리면 그 자체가 경보입니다.
• ④ "네 답을 스스로 비판해봐"라고 시키기. "위 답변에서 사실이 불확실하거나 틀렸을 수 있는 부분을 짚어줘." 약한 고리가 드러납니다. 다만 Mata v. Avianca 사건에서 보듯 되물어도 "맞다"고 우기는 경우가 있으니 이걸 최종 관문으로 삼지는 마세요.
• ⑤ 이름·지명·날짜·인용은 한 번 더 보기. — 이번 측정의 결론입니다. 답이 이름인 질문 세 개 중 두 개가 0%였어요(조선 태조 0/4 · 백두산 천지 0/3). 유일하게 맞힌 건 '한글=세종대왕'처럼 어디를 봐도 같이 붙어 다니는 조합이었습니다. 즉 이름이라고 다 위험한 게 아니라, 그 이름이 그 질문과 얼마나 자주 붙어 다니느냐가 갈림길이에요. 조금이라도 '덜 유명한 쪽'이면 확인하세요.

여기에 하나 더 — 최신 정보나 사실 확인이 중요하면 검색이 연결된 모드(검색 포함 챗봇·퍼플렉시티 등)를 쓰면 학습 데이터 공백으로 인한 날조가 줄어듭니다. 단 검색 모드도 100%는 아니니 ②번은 그대로 적용하세요. 프롬프트를 어떻게 짜야 이 인턴이 말을 듣는지는 프롬프트 4칸 공식 실측에서 숫자로 따로 다뤘습니다.

이름이 답인 자리부터 보세요

AI는 빠른 초안·요약·브레인스토밍엔 훌륭한 일꾼이고 월급도 안 나가지만, 사실의 최종 책임은 사람입니다. 위 5가지를 다 할 필요도 없어요. 고위험 작업(법률·의학·인용·통계)일 때만 ②출처 확인 + ⑤덜 유명한 이름 확인, 둘만 걸어도 큰 사고는 거의 막힙니다.

이번에 직접 재보고 제일 크게 바뀐 생각은 이겁니다. 저는 함정 질문을 걱정했는데, 정작 무너진 건 "이건 당연히 알겠지" 하고 안 쳐다본 자리였어요. 다 믿지도, 다 의심하지도 말고 — 이름이 답인 자리부터 골라 확인하는 게 제일 싸게 먹히는 검증법입니다.

이 측정의 한계

• 모델 1종(두 양자화 버전)·질문 5개·4회입니다. 통계라기엔 작은 표본이고, 큰 상용 모델은 이 질문들을 훨씬 잘 맞힙니다.
• 잰 것은 한국사 상식 질문에 대한 정확도지 모든 분야의 환각률이 아닙니다. 환각 발생률은 작업 종류에 따라 크게 달라져 하나의 수치로 단정하지 않았습니다.
• 질문·정답 키·모델 버전·실행 기록은 재현할 수 있게 고정해 뒀습니다.

참고자료

• OpenAI 외 — Why Language Models Hallucinate (arXiv:2509.04664, 2025)
• Mata v. Avianca, Inc. — 가짜 판례 제재 사건 (en.wikipedia.org/wiki/Mata_v._Avianca,_Inc.)
• Anthropic — Reduce hallucinations (공식 가이드) (platform.claude.com/docs)
• MIT Sloan EdTech — Addressing AI Hallucinations and Bias (mitsloanedtech.mit.edu)
• AI Incident Database — Med-Gemini "basilar ganglia" 사례 (incidentdatabase.ai)
• 본문 실측 = 자체 테스트(2026년 7월 26일 · qwen2.5:7b q4_K_M·q8_0 각 2회 · 고정 질문 5개)

이 글의 실측 숫자와 인용된 오답 문장은 cinevyze 운영자가 직접 돌린 테스트 출력에서 그대로 가져왔습니다. 질문과 정답 키를 미리 파일로 고정해 두고 같은 입력을 반복했고, 출력은 손대지 않고 원문 그대로 옮겼습니다. 외부 사례(Mata v. Avianca·Med-Gemini)와 연구 수치는 1차 출처로 확인했습니다. 무엇을 잴지 정하는 일과 결과 해석은 직접 했고, 글을 다듬는 일부 과정에 AI 도구의 도움을 받았습니다.