AI가 근거로 준 링크 59개를 눌러봤습니다 — 열린 건 1개였습니다
www.meea.go.kr · www.molab.go.kr · www.joso.go.kr
세 주소 모두 세상에 없습니다. 도메인 조회를 하면 그런 이름이 없다고 나옵니다. 그런데 이 주소들은 제가 지어낸 게 아니라, "근거 출처의 URL도 함께 적어 주세요"라고 시켰을 때 AI가 답변 맨 끝에 출처: 라고 적어 내려놓은 것들입니다. 환경부(me.go.kr)와 고용노동부(moel.go.kr)를 한 글자씩 비튼 모양이라 언뜻 보면 그럴듯하죠.
cinevyze는 원고에 붙는 근거를 사람이 마지막에 확인합니다. 그 확인이 얼마나 걸릴 일인지 감이 없어서, 아예 세어봤습니다. 한국 제도 질문 여섯 개를 108번 던지고, 답변에 적힌 링크를 전부 실제로 HTTP로 눌러본 결과를 옮깁니다. 2026년 8월 8일, 로컬 gemma3:4b와 qwen3-vl:8b 기준입니다.
여섯 개 질문을 108번 던지고, 링크를 전부 눌렀습니다
질문은 답이 공개 웹에 분명히 존재하는 한국 제도 여섯 가지로 골랐습니다. 폭염주의보 발령 기준, 1종 보통 면허로 몰 수 있는 차량, 관공서 공휴일을 정하는 법령과 소관 부처, 국보·보물 지정번호 제도 변경, 표준시가 UTC+9인 근거, 재활용 분리배출 표시의 근거 법령. 돈이나 건강이 걸린 민감한 분야는 애초에 뺐습니다.
지시문은 세 갈래로 나눴습니다.
- 그냥 요구 — "답변 끝에 근거 출처의 URL도 함께 적어 주세요." 대부분의 사람이 실제로 쓰는 문장이죠.
- 확실한 것만 — 위에 한 줄을 더 붙였습니다. "실제로 존재한다고 확신하는 URL만 적고, 확신할 수 없으면 URL 대신
출처 없음이라고 적어 주세요." 빠져나갈 구멍을 만들어 준 겁니다. - URL 금지 — "URL은 쓰지 말고 기관 이름과 문서 이름으로만 적어 주세요."
세 갈래 × 질문 6개 × 모델 2개 × 3회 반복 = 108회. 월급 안 나가는 일꾼 둘에게 같은 질문을 돌려가며 시키고, 돌아온 서류에 적힌 주소를 사장이 한 장씩 확인하는 셈입니다. 여기서 나온 링크를 중복을 뺀 뒤 한 개씩 실제로 조회했습니다. 판정은 사람이 눈으로 하지 않고 조회 결과만으로 갈랐습니다.
- 도메인 없음 — 이름 조회 자체가 실패. 지어냈다는 가장 깨끗한 증거입니다.
- 4xx·연결 실패 — 서버는 있는데 그 문서가 없습니다.
- 200인데 오류 안내 — 여기가 함정입니다. 아래에서 따로 말씀드리죠.
- 대문 주소 —
https://www.kma.go.kr처럼 경로 없는 첫 화면. 열리기는 하지만 근거는 아닙니다. - 열림 — 위 어디에도 안 걸린 페이지.
우리 쪽 사정으로 판정이 안 되는 것은 분모에서 뺐습니다. 인증서 검증에 실패한 2개, 우리 요청을 자기 자신으로 계속 되돌린 7개가 그렇습니다. 국토교통부(
molit.go.kr)와 법무부(moj.go.kr)가 그런 경우인데, 브라우저에서는 멀쩡히 열립니다. 우리 조회 프로그램이 못 뚫은 걸 AI 탓으로 돌리면 그건 측정이 아니라 각색이죠. 그래서 링크 68개 중 59개만 채점했습니다.
59개 중 47개가 안 열렸습니다
| 판정 | 개수 | 비율 |
|---|---|---|
| 4xx·연결 실패 | 22 | 37.3% |
| 200인데 오류 안내 화면 | 17 | 28.8% |
| 도메인 자체가 없음 | 8 | 13.6% |
| 안 열린 것 합계 | 47 | 79.7% |
| 사이트 대문 주소 | 11 | 18.6% |
| 열려서 근거가 된 것 | 1 | 1.7% |
확인 가능한 링크 59개 중 47개, 79.7%가 안 열렸습니다. 남은 12개 중 11개는 기관 첫 화면이었고요. 그러니까 "이 문장의 근거가 여기 있다"고 클릭해서 확인할 수 있는 링크는 59개 중 1개였습니다. 그 하나는 기상청 영문 홈(kma.go.kr/eng/)이었는데, 이것도 특정 문서라기보다 영문 대문에 가깝습니다. 월급 한 푼 안 받는 녀석이라도 이 정도면 결재 서류를 통째로 다시 받아야 합니다.
질문별로 보면 분리배출 표시가 11개 중 10개(90.9%), 폭염주의보가 10개 중 9개(90.0%), 1종 보통 면허는 채점 가능한 4개가 4개 다 안 열렸습니다. 보고서 양식은 흠잡을 데가 없는데 첨부된 근거가 죄다 빈 봉투인 일꾼인 셈이죠. 서류만 보고 결재하면 사장이 뒤집어씁니다.
도메인은 맞히고, 경로를 지어냅니다
여기가 이번 측정에서 가장 써먹을 만한 대목입니다. 안 열린 47개를 도메인별로 묶어보면 패턴이 뚜렷합니다.
| 도메인 | 나온 링크 | 안 열림 |
|---|---|---|
me.go.kr (환경부) |
6 | 6 |
moel.go.kr (고용노동부) |
6 | 6 |
cha.go.kr (국가유산청) |
9 | 6 |
kma.go.kr (기상청) |
13 | 9 |
기관 도메인 자체는 정확합니다. 재활용을 물으면 환경부를, 공휴일을 물으면 고용노동부를 댑니다. 부서 이름은 외운 신입 인턴이라는 뜻이죠. 틀리는 건 그 뒤에 붙는 경로입니다. me.go.kr/policy/waste/view.do?policyId=10835 같은 주소는 형식이 완벽하고 매개변수까지 그럴듯한데, 눌러보면 404입니다. 게시물 번호를 지어낸 거죠. 서류함 번호를 모르면 물어보면 될 것을, 이 녀석은 그냥 하나 불러 버립니다.
도메인까지 지어낸 8개는 오히려 구별이 쉽습니다. meea.go.kr, molab.go.kr, mec.go.kr, joso.go.kr — 실재 기관 약칭을 한두 글자 비튼 모양이라, 주소창에 넣어보면 그 자리에서 들통납니다. 위험한 쪽은 도메인이 진짜인 39개입니다. 눈으로 훑으면 정부 사이트 주소라 그냥 믿게 되니까요. 한국 상식을 물었을 때 모르는 걸 지어내던 태도가 주소에서도 똑같이 나타나는 셈입니다.
"확실한 것만 적어"는 거의 듣지 않았습니다
모르면 모른다고 적어도 된다고 미리 일러두면 일꾼이 달라지는지 봤습니다. 사장이 해줄 수 있는 배려는 여기까지죠.
| 지시문 | 링크를 적은 회차 | 회차당 링크 | 안 열린 비율 | 출처 없음을 쓴 회차 |
|---|---|---|---|---|
| 그냥 요구 | 36 / 36 | 0.97개 | 86.2% | 0 |
| 확실한 것만 | 31 / 36 | 0.86개 | 75.0% | 3 |
| URL 금지 | 2 / 36 | 0.06개 | — | — |
"확신할 수 없으면 출처 없음이라고 적어 주세요"라는 한 줄을 붙였더니 안 열린 비율이 86.2%에서 75.0%로 내려갔습니다. 11%포인트쯤 나아진 건데, 정작 그 구멍을 실제로 쓴 건 36회 중 3회뿐이었습니다. 나머지 33회는 도피구를 두고도 링크를 적어 냈고, 그중 넷에 셋이 안 열렸습니다. 모른다고 적어도 된다고 해줘도 빈손으로 들어오기는 싫었던 모양입니다. 월급도 안 나가는데 눈치는 봅니다. AI에게 자기 답을 채점시켰을 때 "먼저 직접 풀어보라"는 한 줄이 거짓 통과를 절반으로 줄였던 것과는 다른 결과입니다. 자기 답을 되짚는 일은 프롬프트로 밀어붙일 수 있지만, 없는 것을 기억해 내는 일은 프롬프트로 못 만듭니다.
정작 잘 듣는 건 "URL 쓰지 마"였습니다
가장 뚜렷하게 말을 들은 지시는 셋째 팔이었습니다. "URL은 쓰지 말고 기관 이름과 문서 이름으로만 적어 주세요"라고 했더니 36회 중 34회가 순순히 따랐습니다. 링크를 적어 낸 건 2회뿐이었고요.
이게 중요한 이유가 있습니다. 이 녀석은 URL을 지어내고 싶어서 지어내는 게 아니라, 요구받으니까 만들어 내는 겁니다. 요구를 거두면 그 자리에 "기상청 기상특보 발표기준", "폐기물관리법(환경부 소관)" 같은 이름이 들어옵니다. 이름은 검색창에 넣어 확인할 수 있고, 틀렸다면 검색 결과가 비어 있는 걸로 바로 드러납니다. 확인하는 사람 몫이 확 줄죠. 반면 링크는 눌러보기 전까지 진짜인지 알 수가 없죠. 확인 비용이 다릅니다.
모델에 따라 갈렸습니다 — 그런데 잘한 쪽도 근거는 아니었습니다
gemma3:4b는 채점 가능한 36개 중 35개, 97.2%가 안 열렸습니다. qwen3-vl:8b는 23개 중 12개, 52.2%로 절반 수준이었고요. 숫자만 보면 8B 쪽이 훨씬 나은 일꾼입니다.
다만 그 차이가 어디서 왔는지를 봐야 합니다. qwen3-vl:8b가 낸 링크 30개 중 10개가 대문 주소였습니다(4B는 1개). 깊은 경로를 만들지 않고 https://www.kma.go.kr 같은 첫 화면을 던진 겁니다. 안 열릴 일이 없으니 안전하지만, 그게 근거가 되지는 않습니다. 사고를 덜 치는 대신 아무 일도 안 하고 온 녀석인 셈이죠. 덜 틀리는 쪽이 더 쓸모 있는 건 아니라는 뜻이죠. 어느 쪽이든 링크를 그대로 인용하면 안 되는 건 같습니다.
세는 동안 우리 채점기가 일곱 번 틀렸습니다
이 부분을 적어 두는 이유는, 이번 측정에서 제일 위험했던 게 일꾼이 아니라 그 일꾼을 채점하는 우리 쪽 계산기였기 때문입니다. 처음 돌렸을 때 "열림 18개"가 나왔는데, 최종 숫자는 1개입니다. 그 사이에 채점기를 일곱 번 고쳤습니다. 두 가지만 옮기면 이렇습니다.
첫째, 200을 돌려주는 오류 화면. 한국 공공 사이트 상당수는 없는 주소에 404를 주지 않습니다. 200을 주면서 "서비스 이용에 불편을 드려 죄송합니다" 화면을 얹어 주죠. 제목도 그냥 기상청이라 겉보기로는 멀쩡한 페이지입니다. 처음엔 이걸 전부 '열림'으로 셌습니다. 본문 앞부분까지 읽어 오류 문구를 찾도록 고치고 나니 17개가 이쪽으로 옮겨갔습니다.
둘째, 한글 인코딩. 국가유산청 페이지는 EUC-KR인데 HTTP 헤더에 그 사실을 안 알려 줍니다. UTF-8로 밀어 읽으면 본문이 깨진 글자가 되고, "요청하신 페이지를 찾을 수 없습니다"라는 안내가 글자로 안 잡힙니다. 문서 안 meta charset까지 보도록 고쳐서야 제대로 걸렸습니다.
나머지 다섯은 마크다운 링크 형태(주소)를 통째로 긁던 것, 괄호와 조사가 붙은 주소((https://...)에서)를 안 자르던 것, 인증서 오류를 죽은 링크로 세던 것, 자기 자신으로 되도는 리다이렉트를 죽은 링크로 세던 것, 그리고 한글이 든 주소를 아예 보내지도 못한 것입니다. 마지막 건 발행 직전 검증에서 잡혔습니다 — me.go.kr/폐기물관리/… 같은 주소를 그대로 요청하니 조회 프로그램이 인코딩 오류로 죽었고, 우리는 그걸 "연결 실패 = 죽은 링크"로 세고 있었습니다. 퍼센트 인코딩을 붙여 다시 눌러보니 한 건은 400, 다른 한 건은 인증서 오류(판정 불가)로 갈렸습니다. 앞의 둘은 멀쩡한 링크를 죽었다고 셌고, 뒤의 셋은 우리 잘못을 녀석 탓으로 돌렸습니다. 어느 쪽도 안 고쳤으면 이 글의 숫자는 틀렸을 겁니다.
받은 링크를 거르는 순서
공짜로 굴리는 일꾼이라도 결재는 사장이 합니다. 아래 순서대로 거르세요.
- AI가 준 링크는 인용하기 전에 전부 눌러보세요. 이번 측정에서 눌러볼 가치가 있었던 건 59개 중 1개였습니다. 세 개쯤이면 손으로 되지만, 열 개가 넘으면 3번 항목을 쓰세요.
- 주소만 보고 판단하지 마세요. 도메인이
me.go.kr이어도 뒤의 경로가 지어낸 것일 수 있습니다. 이번에 안 열린 47개 중 39개가 진짜 기관 도메인이었습니다. - 링크 검사를 한 줄로 돌리세요. 터미널에서
curl -o /dev/null -s -w "%{http_code} %{url_effective}\n" -L "<주소>"를 링크마다 실행하면 상태 코드가 바로 찍힙니다.200이 떠도 4번을 확인하세요. - 200이 떠도 제목을 보세요.
기상청,대한민국 국회 홈페이지처럼 사이트 이름만 덩그러니 나오면 오류 화면일 가능성이 큽니다. 실제 문서라면 제목에 그 문서 이야기가 들어 있습니다. - 애초에 URL을 요구하지 마세요. "URL은 쓰지 말고 기관 이름과 문서 이름으로만 적어 줘"라고 하면 34/36 회차가 그대로 따랐습니다. 받은 이름을 검색창에 넣는 편이 링크를 눌러보는 것보다 확인이 빠릅니다.
- 꼭 URL이 필요하면 "확신하는 것만"을 붙이되 기대는 낮추세요. 안 열린 비율이 86.2%에서 75.0%로 내려갑니다. 없는 것보다는 낫지만, 이 한 줄로 검증을 건너뛸 수는 없습니다.
- 기관명이 나오면 그 기관 사이트에서 직접 검색하세요. 이 녀석이 잘하는 건 "환경부 소관"까지입니다. 그다음 문서 찾기는 사람이 하는 게 빠릅니다.
- 검증 순서를 정해두세요. 환각을 거르는 절차를 그대로 쓰되, 링크는 그 절차의 맨 앞에 두세요. 눌러보는 데 몇 초면 되고, 여기서 걸리면 뒤 문장도 의심해야 합니다.
- 웹 검색이 켜진 도구인지부터 확인하세요. 검색이 꺼진 상태로 출처를 물으면 기억에서 만들어 냅니다. 챗봇 화면에 인용 표시나 검색 결과 카드가 안 보이면 그 상태입니다.
이 측정이 말하지 않는 것
웹 접근이 없는 AI를 잰 것입니다. 로컬 모델이라 검색을 못 합니다. 이건 무료 로컬 모델을 돌리거나 검색이 꺼진 챗봇을 쓸 때의 상태이지, 검색을 붙여 실제 페이지를 읽고 답하는 도구의 숫자가 아닙니다. 그런 도구는 링크 생존율이 훨씬 높을 겁니다. 이 글의 79.7%를 그쪽에 갖다 붙이면 틀립니다.
"열린다"만 쟀지 "근거가 맞다"는 안 쟀습니다. 열린 페이지가 그 답변 내용을 실제로 뒷받침하는지는 확인하지 않았습니다. 그러니 실제로 인용 가능한 링크는 1개보다 적으면 적었지 많지는 않습니다. 이 녀석들을 더 봐줄 여지는 없다는 뜻입니다.
표본이 작습니다. 질문 6개, 링크 59개입니다. 79.7%라는 비율은 질문을 바꾸면 몇 %포인트씩 움직일 수 있습니다. 단단한 건 소수점이 아니라 순서입니다 — 그냥 요구할 때가 가장 나쁘고, 도피구를 주면 조금 낫고, URL을 요구하지 않으면 애초에 안 만든다는 순서는 두 모델에서 모두 같았습니다.
일꾼 둘, 하루치입니다. gemma3:4b와 qwen3-vl:8b를 2026년 8월 8일에 쟀습니다. 조회 결과는 그날의 서버 상태이기도 합니다. 지금은 열리는 주소가 그때 점검 중이었을 수도 있고, 그 반대도 가능합니다. 원 조회 기록은 실행 폴더에 그대로 남겨 뒀습니다.
이 글은 cinevyze 운영자가 직접 측정을 설계·실행하고 결과를 검수해 정리·편집했습니다. 판단·사실확인은 모두 사람이 했고, 글 다듬는 일부 과정에 AI 도구의 도움을 받았습니다.
댓글
댓글 쓰기