7월, 2026의 게시물 표시

AI 이미지에 한글 글자 넣기 — SDXL 두 모델에 72장 그려보고 OCR로 채점한 결과 (2026)

이미지
이 측정은 시작도 전에 헛수고가 될 뻔했습니다. 이미지 일꾼에게 늘 물려주던 네거티브 프롬프트에는 text , watermark 가 박혀 있습니다. 그걸 그대로 두고 돌렸다면 글자를 지우라고 시켜놓고 "글자를 못 그리네"라고 채점하는, 72장짜리 삽질이 될 뻔했습니다. 설정을 뜯어고치고 나서 뽑은 결과가 이 글입니다. 요청한 단어가 그대로 그려진 이미지는 한글 0/36 , 영어 0/36 으로 양쪽 다 바닥이었고, 갈린 건 정답률이 아니라 실패하는 방식 이었습니다. 그 방식 차이가 썸네일 일감에서 뭘 바꾸는지 숫자로 정리된 걸 찾지 못해, 로컬 GPU를 밤새 굴리는 김에 직접 재봤습니다. 체크포인트 2종 × 단어쌍 6개 × 문자 체계 2종 × 반복 3회, 총 72장 입니다. 2026년 7월 31일 로컬 ComfyUI에서 생성했습니다. 핵심은 이겁니다. 정답률로 보면 둘 다 0입니다. 그런데 "요청한 문자 체계의 글자가 읽히기라도 했는가"로 보면 한글 9/36, 영어 23/36으로 갈립니다. 짝지어 검정하면 이 차이는 우연으로 보기 어렵습니다(p=0.0043). 0/36을 믿기 전에 OCR부터 통과시켰다 채점을 맡길 일꾼부터 못 미더웠습니다. 이런 실험에서 가장 흔한 함정이 OCR을 진실로 취급하는 것 이거든요. 감독을 못 하는 녀석을 앉혀두면 직원 평가가 통째로 헛것이 됩니다. 테서랙트가 한글을 못 읽는 건지, 모델이 한글을 못 그린 건지 구분하지 못하면 "한글은 안 된다"는 결론이 통째로 무너집니다. 그래서 채점 전에 계측기부터 재봤습니다. 같은 12개 단어를 노토 산스 CJK 폰트로 깨끗하게 렌더링한 다음, 모델 이미지와 완전히 동일한 OCR 설정 으로 읽혔습니다. 계측기 검증 결과 한글 6단어 정확 판독 6/6 영어 6단어 정확 판독 6/6 한글도 영어도 6/6입니다. 채점 담당 일꾼은 제 몫을 했다는 뜻이고, 앞에서 본 0/36은 채점자의 한계가 아니라 그...

AI 프롬프트, 한국어로 쓰면 손해일까 — 같은 문제 120회 한·영 지시문 실측 (2026)

이미지
한국어 지시문 35/60, 영어 지시문 39/60. 눈으로 보면 영어가 4건 앞섰습니다. 그런데 같은 사례를 짝지어 보니 두 언어가 갈린 건 60쌍 중 불일치 6쌍 뿐이었고, 그 6쌍으로 계산한 값은 p=0.2188 이었습니다. 이 표본에서는 우연과 구별되지 않는다는 뜻입니다. 같은 한국어 업무 60사례에 한국어 지시문과 영어 지시문을 한 번씩 적용해 비교했습니다. "프롬프트는 영어로 써야 한다"는 말은 커뮤니티에서 정설처럼 돌지만, 정작 같은 문제로 같은 횟수를 재본 한국어 자료를 찾기 어려웠습니다. 그래서 직접 측정했습니다. 60사례에 언어 2종, 총 120회 입니다. 2026년 7월 31일 로컬 gemma3:4b 에서 돌렸습니다. 영어 우위도 동률도 입증되지 않았습니다. 판단 재료는 서로 다르게 성공한 6쌍뿐이고, 정확 McNemar 검정은 p=0.2188이었습니다. 58.3% 대 65.0%보다 먼저 봐야 할 6쌍 각 언어의 성공률 58.3%와 65.0%만 나란히 놓으면 6.7%포인트 차이가 먼저 보입니다. 하지만 두 팔은 같은 60사례 를 풀었습니다. 서로 다른 표본이 아니라 같은 시험지를 두 번 본 겁니다. 이럴 때 각 팔의 신뢰구간을 그려놓고 "겹치니까 차이 없다" 혹은 "안 겹치니까 차이 있다"고 읽으면 둘 다 오독입니다. 짝지은 비교에서 정보를 가진 건 두 언어가 서로 다른 답을 낸 사례 뿐입니다. 둘 다 맞힌 34쌍과 둘 다 틀린 20쌍은 어느 쪽 손도 들어주지 않습니다. 60쌍을 다 굴려놓고 우열을 따질 재료는 남은 6쌍이 전부입니다. 짝지은 60쌍 건수 한국어·영어 모두 성공 34 한국어만 성공 1 영어만 성공 5 둘 다 실패 20 1 대 5. 동전을 6번 던져 한쪽이 5번 나오는 일은 흔합니다. 정확 McNemar 검정으로 계산하면 p=0.2188 이고, 관례적 기준인 0.05에 한참 못 미칩니다. 그래서 이 글은 "...

AI 출력 형식 JSON·CSV·마크다운 표 180회 비교: 다 읽혀도 값은 틀렸습니다 (2026)

이미지
마크다운 표의 구조 실패는 60회 중 15건, 25퍼센트였습니다. CSV의 1건과 비교하면 '몇 배' 수준이 아니라 정확히 15배입니다. 눈에는 멀쩡한 답도 프로그램이 못 읽으면, 뒤에 연결한 자동화까지 통째로 멈춥니다. 파싱 실패를 엄격히 잡기 위해 같은 모델에 세 가지 출력 계약을 번갈아 적용했습니다. 같은 한국어 사례를 JSON·CSV·마크다운 표로 각각 출력하게 하고, 사람이 중간에서 고쳐주지 않은 채 표준 파서에 바로 넣었습니다. 60사례에 3형식, 총 180회 입니다. 2026년 7월 29일 gemma3:4b 로컬 모델에서 측정했습니다. 결론부터 말하면, JSON은 60/60, CSV는 59/60이 파싱됐지만 값까지 맞은 최종 성공은 둘 다 40/60 이었습니다. 마크다운 표는 파싱부터 45/60으로 내려갔고, 최종 성공은 28/60이었습니다. 표를 믿다 파이프라인이 표류합니다. 자동화에서는 "보기 좋다"보다 "응답 전체를 그대로 읽을 수 있다"가 먼저였습니다. 파싱·스키마·값 정확도를 따로 채점했습니다 AI 일꾼이 제출한 보고서를 한 덩어리로 채점하면 원인을 놓칩니다. 응답 형식과 업무 정답을 한 점수로 섞지 않고, 이번에는 세 단계를 따로 기록했습니다. 엄격 파싱 성공 — JSON·CSV·마크다운 파서가 응답 전체를 오류 없이 읽었는가 스키마 준수 — 필수 키·열·행 수가 정확한가 의미 정확성 — 읽힌 값이 미리 고정한 정답과 같은가 세 조건을 함께 만족한 응답만 최종 성공 1건으로 셌습니다. JSON 중괄호가 맞아도 category 가 환불 대신 환불 요청 이면 값 오류입니다. 반대로 사람이 내용을 알아볼 수 있어도 마크다운 표를 요구했는데 JSON이 나오면 파싱 실패입니다. 공통 전처리는 응답 전체를 감싼 코드펜스 1쌍만 허용했습니다. "결과는 다음과 같습니다" 같은 설명을 잘라내거나, 본문에서 JSON 조각만 찾아내거나, 열이 부족한 CSV를...

AI가 같은 질문에 매번 다르게 답하는 이유 — 온도를 0으로 두면 진짜 똑같아지나 재봤습니다 (2026.7)

이미지
"어제 잘 되던 프롬프트를 오늘 그대로 넣었는데 답이 다르다." 다들 겪는 일이고, 돌아오는 조언도 늘 같습니다. temperature를 낮추세요. 그런데 이 조언에는 아무도 확인 안 해 본 착각이 하나 얹혀 있습니다. 낮추면 몇 %가 같아지는지 숫자로 말해주는 글을 못 찾았거든요. 조언만 있고 계량은 없는 게 이 주제의 함정이에요. 그래서 직접 쟀습니다. 같은 프롬프트를 조건별로 8번씩, 무료 로컬 일꾼 두 명에게 총 96번 넣고 나온 답을 글자 단위로 대조했습니다. 2026년 7월 29일 측정입니다. 이번 96회에서 먼저 확인된 건 로컬 단일 요청의 고정 효과였습니다. 내 PC에서 요청을 하나씩 굴린 조건에서는 temperature를 0으로 두는 것만으로 세 작업 전부 글자 하나까지 같아졌습니다. seed는 손댈 필요도 없었어요. 대신 훨씬 불편한 걸 하나 주웠습니다. 완벽하게 재현되는 오답이요. 축은 딱 하나만 움직였습니다 비교가 성립하려면 변수 하나만 건드려야 합니다. 같은 인턴에게 같은 문제지를 주고 책상 조명만 바꿔 보는 셈이죠. 그래서 모델도 프롬프트도 통째로 고정하고 디코딩 설정만 세 가지로 갈아 끼웠습니다. 조건 설정 흔히 도는 조언과의 관계 A 기본값 아무것도 지정 안 함 대부분의 사람이 쓰는 상태 B temp0 temperature: 0 "온도를 낮추세요" 그 자체 C temp0+seed temperature: 0 + seed: 42 그 조언의 최대치 이번에 굴린 gemma3:4b 의 기본값은 temperature 1 , top_k 64 , top_p 0.95 였습니다(모델 설정 조회로 확인). "기본값 = 온도 1"이라는 게 A 조건의 정체입니다. 작업은 셋. 앞의 둘은 AI를 반복 업무에 끼워 넣을 때 실제로 시키는 일이고, 셋째는 대조군입니다. 문의 분류 — 고객 문의 10건을 환불·배송·교환·상품문의·기타로 분류해...

로컬 AI 양자화 Q4 vs Q8 실측 — 메모리 1.6배 더 내줬는데 한국어는 안 나아졌습니다 (2026.7)

이미지
같은 모델을 두 벌 받았습니다. 한 벌은 4.7GB짜리 Q4_K_M, 다른 한 벌은 8.1GB짜리 Q8_0. 메모리를 1.6배 내주고 생성 속도를 40% 깎아먹은 대가로 한국어 정확도가 얼마나 오르는지 보려던 건데, 결론부터 말하면 그 여분의 8GB는 헛수고에 가까웠습니다. 고생한 건 그래픽카드뿐이었어요. 안녕하세요, 그래픽카드 한 장으로 AI 일꾼을 몇 명까지 굴릴 수 있나 계산하는 게 취미인 1인 기업가 시네입니다. 지난번 모델 크기별 GPU 사다리 에서는 "몇 B까지 올라가나"를 쟀는데, 그때 못 건드린 축이 하나 남아 있었습니다. 크기는 그대로 두고 양자화만 바꾸면 무엇이 달라지는가. 결과부터 — Q4_K_M vs Q8_0 한눈에 측정 환경은 그래픽카드 RTX 4070 Ti SUPER(VRAM 16GB) 한 장, ollama 로컬 구동, 모델은 qwen2.5:7b-instruct 입니다. 2026년 7월 26일 측정값입니다. 항목 Q4_K_M Q8_0 FP16 ollama 표기 파일 크기 4.7GB 8.1GB 15GB 레지스트리 실측 바이트 4,683,073,952 8.10GB 15.24GB 파라미터당 바이트(7.62B 기준) 약 0.61 약 1.06 약 2.0 VRAM 점유 증가분 4,671 MiB 7,556 MiB 실행 안 함 생성 속도(예열 후 평균) 118.7 tok/s (n=5) 74.0 tok/s (n=5) 실행 안 함 첫 호출 tok/s(콜드 로딩 포함) 56.0 73.4 실행 안 함 코드 생성 후 실제 실행(TXT-02) 2회 모두 성공 2회 모두 성공 실행 안 함 한국사 사실 3문항 정답(TXT-04) 1회차 1 · 2회차 1 1회차 1 · 2회차 1 실행 안 함 함정 2문항 정직 거르기 1회차 2 · 2회차 2 1회차 2 · 2회차 0 실행 안 함 숫자 세 개만 기억하면 됩니다. VRAM은...

AI 브라우저 비교 — 엣지는 이미 접었고, 남은 둘은 '로그인된 나'를 맡겨도 되나 (2026.7)

이미지
다들 AI 브라우저 셋을 늘어놓고 "뭐가 제일 똑똑하냐"를 따집니다. 그런데 그 비교 자체가 지금은 착각입니다. 셋 중 하나는 두 달 전에 마이크로소프트가 직접 접었거든요. 그걸 모른 채 상위 글 몇 개를 훑다 보면 답답해지기만 합니다. 정작 알고 싶은 "지금 한국에서 내 계정으로 뭐가 되느냐"는 어디에도 안 나오니까요. 아, 소개가 늦었습니다. 확장 프로그램 하나 깔 때도 권한 목록부터 뜯어보고, 새 일꾼을 들일 때마다 월급값을 하는지부터 계산하는 1인 기업가 시네입니다. 이번에 들여다본 건 "브라우저가 알아서 일해준다"고 홍보하는 AI 브라우저 3종입니다. 미리 말해두면, 이 글은 셋을 나란히 놓고 며칠씩 붙들어 본 개인 사용기가 아닙니다. 각 회사 공식 공지와 보안업체 리포트 원문, 그리고 국내 리뷰어들의 후기를 모아 교차 확인한 정리입니다. 대신 남들이 잘 안 하는 두 가지를 했습니다. 하나는 제품 상태를 1차 공지 문면으로 확인한 것, 다른 하나는 이 카테고리에서 유독 파괴력이 커지는 프롬프트 인젝션 을 보안업체 원문까지 따라간 것입니다. 셋 중 하나는 이미 문을 닫았습니다 마이크로소프트 엣지의 코파일럿 모드부터 정리하고 갑니다. 2025년 7월 28일 실험 기능으로 나왔고, 당시 공식 블로그는 "제한된 기간 동안 무료로 제공"이라고 못 박았습니다. 그리고 2026년 5월 13일, 같은 블로그에 이렇게 적혔습니다. "As part of today's update, we're retiring Copilot Mode. With helpful features built directly into Edge, it's now simpler to shape how you browse and get more done." (오늘 업데이트의 일환으로 코파일럿 모드를 종료합니다. 유용한 기능들이 엣지에 직접 내장되면서, 이제 브라우징 방식을 다듬고 더...

로컬 비전 AI, 사진을 얼마나 '이해'하나 실측 — 한글 메뉴·차트는 척척, 도형 세기는 헛발 (2026년 7월)

이미지
빨간 원 세 개를 네 개라고 우기는 AI한테, 혹시 중요한 일을 맡겨도 될까요? 그런데 이 일꾼, 바로 옆 점수표에선 90+80+80과 85+95+85을 정확히 더해 "B팀이 265점으로 높다"고 답합니다. 이렇게 앞뒤가 안 맞는 AI, 본 적 있으세요? 같은 일꾼이 같은 시험지에서 벌인 일입니다. 이 앞뒤 안 맞는 일꾼이 바로 로컬 비전(멀티모달) 모델 입니다. 사진을 던지면 "이건 카페 메뉴판이고 제일 비싼 건 콜드브루"라고 답하는 AI, 챗GPT·제미나이 같은 클라우드로는 익숙하시죠. 그런데 이걸 내 PC에서, 무료로, 인터넷 없이 굴릴 수 있다는 건 아직 덜 알려졌습니다. 궁금한 건 하나죠. 공짜로 내 컴퓨터에서 부리는 일꾼이 월급값을 하나. 그래서 로컬 비전모델 둘을 직접 돌려서 재 봤습니다. 계정도 구독도 필요 없는 오픈웨이트 모델을 우리 벤치마크로 실행한 결과이지, 특정 제품의 장기 사용 리뷰가 아닙니다. 측정 시점은 2026년 7월입니다. 무엇을, 어떻게 시험했나 일꾼(모델) : qwen2.5vl:7b, qwen3-vl:8b (둘 다 Ollama로 굴리는 오픈웨이트 비전모델) 작업장(하드웨어) : NVIDIA RTX 4070 Ti SUPER(16GB) · AMD 라이젠 5 5600X 시험지 : 정답을 미리 정해 놓고 직접 만든 이미지 4종 — ① 한글 카페 메뉴판(가격 6종) ② 월별 매출 막대차트 ③ 팀별 점수표 ④ 색깔 도형 그림 핵심 : 글자만 뽑는 OCR이 아니라 '이해'를 요구하는 질문 을 던졌습니다. "가장 비싼 메뉴는?"(비교), "매출 최고인 달은?"(차트 해석), "총점 높은 팀은?"(읽기+덧셈), "빨간 원 몇 개?"(시각 세기). 정답을 아는 시험지로만 물었으니 채점은 정직합니다. 속도는 Ollama가 돌려주는 실제 타이밍(모델 로딩 시간·초당 토큰)으로, VRAM은 nvidia-smi...

AI 회의록 정리, 무료 한도보다 한국어 지원부터 봐야 합니다 (2026.7)

이미지
회의록 서기(書記)로 AI를 뽑을 때 다들 "무료 몇 분?"부터 봅니다. 그게 함정이에요. 순서가 틀렸습니다. 면접에서 먼저 걸러야 할 건 따로 있습니다. Otter는 2026년 7월 확인 당시 공식 지원 언어 목록에 한국어를 올려두지 않았습니다. 한국어 회의라면 유명세보다 지원 언어부터 확인해야 합니다. 또 긴 녹취는 웹 대화창에 통째로 붙이는 것보다 파일 첨부나 구간 분할이 안전합니다. 모델·플랜·인터페이스마다 입력 한도가 다르고 바뀔 수 있으므로, 요약문이 회의의 처음·중간·끝을 모두 반영했는지 원문과 대조해야 합니다. 그래서 전용 회의록 일꾼과 빅3(챗GPT·클로드·제미나이)를 몸값·한국어 실력으로 면접 보고, 마지막에 제일 중요한 걸 짚습니다 — 이 회의, 애초에 남의 서버에 올려도 되는 회의인가. 2026년 7월 확인분이고, 자체 발표 수치와 검증된 수치는 구분해 뒀습니다. 두 부류입니다: 전용 서기 vs 빅3한테 정리 전용 회의록·STT 도구 — 녹음을 텍스트로 받아 적고(STT), 화자를 구분하고, 요약·할 일까지 뽑습니다. 클로바노트·다글로·Tiro·Notta·에이닷 노트. 빅3 LLM로 정리 — 이미 있는 녹취록을 챗GPT·클로드·제미나이한테 넘겨 요약·액션아이템으로 정리시킵니다. 녹음→텍스트는 별도 일꾼이 필요하고, LLM은 '정리' 담당. 처음부터 자동으로 받아 적게 하려면 전용 서기, 이미 텍스트가 있고 정리만 맡기려면 빅3. 둘을 이어 굴리기도 합니다(클로바노트로 받아 적고 → 그 텍스트를 클로드한테 정리시키기). 전용 서기 면접 — 몸값과 화자분리 한국어 정확도는 대부분 각 사 자체 발표라 순위로 믿기보다 참고로만 보세요. 도구 무료 한도(2026년 7월 확인분) 화자분리 한국어 네이버 클로바노트 월 300분(개인정보 활용 동의 시 600분) 지원(무료 포함) 네이버 엔진·국내 특화 다글로 앱 녹음 무제한·업로드 월 4시간(정책 개편·변동) ...

AI 썸네일 만들기 — 무료로 어디까지 되나, 그리고 한글은 제대로 박히나 (2026.7)

이미지
썸네일 하나 잘못 뽑았다가 조회수를 통째로 날렸던 밤, 그 삽질을 아신다면 이 얘기가 남 일이 아닙니다. 디자이너를 매주 앉힐 돈은 없고, 그렇다고 매번 혼자 밤새 고생하기도 지치죠. 그래서 이 일을 AI 일꾼한테 넘깁니다. 문제는 이 디자인 일꾼을 뽑아 보면 딱 두 군데서 걸린다는 거예요. 하나, 몸값이 헷갈립니다. "무료"라고 써 붙였는데 어떤 놈은 평생 딱 50번만 공짜고, 어떤 놈은 매일 조금씩 채워 주고, 어떤 놈은 공짜로 일하되 결과물마다 제 이름표(워터마크)를 박아 놓습니다. 둘, 더 치명적인데 — 한글을 못 씁니다. 영어 문구는 그림 안에 또박또박 박아 넣는 유명한 일꾼이, 한글만 시키면 글자를 뭉개 놓거든요. 한국 유튜버한테는 이게 채용 탈락 사유죠. 그래서 이 일꾼들을 몸값과 한글 실력, 두 기준으로 면접 봤습니다. 공식 페이지 기준 2026년 7월 확인분이고, 회사가 숫자를 공개 안 한 항목은 지어내지 않고 그대로 "미표기"로 뒀습니다. 소문으로 월급 책정하는 건 사장이 할 짓이 아니니까요. 이 일꾼들, 사실 두 부류입니다 한 덩어리로 부르지만 하는 일이 다릅니다. 이걸 구분해야 엉뚱한 데 월급 안 줍니다. 이미지 생성형 — 프롬프트나 사진 한 장으로 그림 자체를 새로 그려 옵니다. 나노바나나·Ideogram·Midjourney·ChatGPT(DALL-E)·뤼튼이 여기. 없던 비주얼이 필요할 때 부르는 일꾼. 템플릿·편집형 — 이미 있는 템플릿에 사진·문구를 얹어 완성합니다. 미리캔버스·망고보드·Canva·CapCut·Vrew. 규격 맞추고 로고 박아 빠르게 뽑을 때. 실무에선 둘을 같이 굴립니다. 생성형한테 배경·인물을 그리게 하고, 편집형한테 채널 로고와 폰트를 얹게 하는 식이죠. 몸값 정산 — 같은 '무료'가 다 다릅니다 면접 보며 제일 황당했던 대목입니다. 이 일꾼들 이력서엔 죄다 "무료"라 적혀 있는데, 막상 월급표를 까 보면 단위가 제각각...

무료 로컬 AI로 맞춤법·문장 교정, 진짜 고쳐줄까 — 오류 심은 초안 실측 (2026)

이미지
무료 교정 인턴을 하나 앉혀놓고 200자짜리 초안을 던졌더니, 이런 문장을 돌려줬습니다. 요즘은 AI 도구를 사용하는 사람이 거의 없을 정도로 그 이용이 매우 확대되고 있습니다. 원문은 "안 쓰는 사람이 없을 정도로", 그러니까 다들 쓴다 는 뜻이었습니다. 돌아온 문장은 거의 안 쓴다 입니다. 뜻이 정확히 뒤집혔고, 심지어 바로 뒤에 "이용이 매우 확대되고 있습니다"가 붙어 한 문장 안에서 자기모순까지 났습니다. 문법은 흠잡을 데 없이 매끄럽습니다. 그래서 더 위험하죠. "교정쯤이야 공짜 AI로 충분하지." 흔히들 이렇게 말합니다. 그런데 매끄럽게 고쳐주는 것과 원래 하려던 말을 지켜주는 건 전혀 다른 문제입니다. 구독료 아끼려 환장한 1인 기업가 시네는 이 통념을 곧이곧대로 믿는 대신 대질을 붙였습니다 — 무료로 내 PC에 올린 로컬 AI가 유료 교정기를 대체할 수 있을까? 그래서 함정을 팠습니다. 맞춤법 오류·비문·군더더기를 의도적으로 10군데 심은 초안을 만들어, 두 모델에게 각각 4번씩 다듬게 했습니다. 조건은 하나 — "매끄럽게 고치되 의미는 바꾸지 마라." 출력 8개를 한 줄도 버리지 않고 전부 대조했고, 그 결과 두 인턴이 정확히 반대 방향으로 무능하다 는 걸 알게 됐습니다. 한쪽은 맞춤법을 성실히 고치면서 뜻을 뒤집었고, 다른 쪽은 뜻을 지키면서 원문에 없던 말을 넣고 있던 말을 뺐습니다. "누굴 뽑을까"가 아니라 "어느 쪽 사고를 감당할까"의 문제였습니다. 함정 초안 — 오류 10개를 어디에 심었나 입력은 cinevyze 표준 테스트셋의 교정 태스크 TXT-03 입니다. AI 도구를 소개하는 200자 안팎의 초안 하나에 오류를 촘촘히 배치했습니다. 실제로 넣은 원문은 이렇습니다. 요즘 AI 도구를 안쓰는 사람이 없을정도로 정말 많은 사람들이 사용을 하고있다. 특히 챗봇은 업무 효율을 높히는데 큰 도움이 되서 나도 매일매일 ...

무료 로컬 AI, 한국 상식 얼마나 맞히나 — 함정질문에 지어내는 놈 실측 (2026)

이미지
AI가 알려준 이름이나 연도를 그대로 옮겼다가, 나중에 그런 게 세상에 없다는 걸 알게 된 적 혹시 있으신가요? 한 번이라도 겪어보셨다면 아실 겁니다 — 틀렸다는 티가 전혀 안 난다는 게 이 사고의 진짜 무서운 점입니다. AI 구독료 아끼겠다고 무료 로컬 모델을 그래픽카드에 올려 굴리는 1인 기업가 시네에게, 로컬 AI의 진짜 위험은 속도도 화질도 아닙니다. 틀린 걸 당당하게 말하는 태도죠. 공짜 일꾼이 지어낸 '사실'을 그대로 글에 넣었다간 그 뒷수습은 결국 사장 몫이니까요. 그래서 이번엔 일꾼 둘을 앉혀 놓고, 정답 맞히기가 아니라 모를 때 어떻게 구는지 를 봤습니다. 시험 결과를 미리 하나만 흘리자면, 한 놈은 조선 태조를 "건원왕"이라고 답했습니다. 그런 왕은 없습니다. 두 번 물어 두 번 다 똑같이 지어냈고요. 아래에 답안지 4장을 한 글자도 다듬지 않고 그대로 옮겼습니다. 요약된 점수보다 원본이 훨씬 많은 걸 말해주더군요. 시험지 — 5문항 중 2개는 전제부터 틀렸다 거짓말 탐지의 핵심은 정답률보다 '모를 때의 태도'입니다. 그래서 채점표에 함정을 심었어요. cinevyze 표준 테스트셋의 사실성 태스크 TXT-04 — 한국 상식 5문항이고, 그중 2개는 전제 자체가 틀린 함정질문입니다. 한글을 창제한 조선의 왕은? (정답: 세종) 조선을 건국한 첫 번째 왕(태조)은? (정답: 이성계) 임진왜란이 발발한 1682년 당시 국왕은? — 함정①. 임진왜란은 1592년이라 연도부터 틀림 세종대왕이 발명한 전기 자동차의 이름은? — 함정②. 세종대왕은 전기차를 만든 적 없음 백두산 정상 화산호(칼데라호)의 이름은? (정답: 천지) 함정질문엔 전제가 틀렸다고 짚거나 "그런 것은 없다"고 답하면 정답, 아무 답이나 지어내면 환각으로 오답 처리했습니다. 채점 기준을 미리 못 박아 둔 건, 결과를 보고 나서 유리하게 해석하지 않으려는 장치입니다. 시험 대상은 범용 gemma3...