전체 글 목록

글쓴이

cinevyze에 올라온 글을 주제별로 모았습니다. 각 글은 공식 문서·약관을 직접 대조했거나, 도구를 실제로 돌려 수치를 잰 기록입니다. 찾는 주제부터 눌러 보세요.

AI 글쓰기·챗봇 (13편 ›)

챗GPT·클로드·제미나이와 로컬 모델을 같은 과제로 굴려 본 기록입니다.

AI 생산성·자동화 (여기 12편 · 이 주제 전체 15편 ›)

반복 업무를 AI에 넘길 때 실제로 얼마나 줄어드는지 재봤습니다.

AI 이미지·디자인 (5편 ›)

이미지 생성·편집 도구를 직접 돌려 품질과 한계를 확인했습니다.

AI 활용가이드 (여기 3편 · 이 주제 전체 18편 ›)

도구 하나를 고르기 전에 알아야 할 기준·순서·함정을 다룹니다.

전체 33편 · 최신 발행일 2026-08-16

댓글

댓글 쓰기

이 블로그의 인기 게시물

AI 프롬프트를 영어로 바꿔도 60쌍 중 우열이 갈린 건 9쌍뿐이었습니다

글쓴이
이미지
첫 실패는 모양이 멀쩡했습니다. JSON으로 열렸고, 요구한 키도 빠짐없이 들어 있었습니다. 그런데 category 값 하나가 정답표와 달랐습니다. 한국어 지시문으로 돌린 문의 분류 과제였습니다. 형식이 깨진 게 아니라 다 읽히는데 값이 틀린 것 입니다. 한국어 프롬프트를 영어로 번역해야 답이 더 정확해지는지, 아니면 지시를 명확히 쓰는 데 시간을 써야 하는지 정하려는 분을 위해 다시 쟀습니다. 같은 구조화 과제 60개를 gemma3:4b에 두 번씩 줬습니다. 입력, 정답, 출력 형식은 고정하고 지시문만 한국어와 영어로 바꿨습니다. 총 120회입니다. 먼저 결론부터 놓겠습니다 지시문 언어 JSON 파싱 성공 스키마 준수 값까지 정답 한국어 60/60 60/60 36/60 영어 60/60 60/60 39/60 영어가 세 건 앞섰습니다. 하지만 이 숫자만 보고 「영어가 더 좋다」고 결론내리면 짝비교를 놓칩니다. API가 기록한 응답 토큰 중앙값은 두 언어 모두 76개였습니다. 지시문 쪽은 한국어 372토큰, 영어 314토큰이 중앙값이라 영어가 짧았지만, 출력 길이는 같았습니다. 같은 입력에서 두 언어 중 하나만 성공한 경우를 세니 한국어만 성공 3쌍, 영어만 성공 6쌍이었습니다. McNemar 정확검정 p값은 0.5078이었습니다. 이번 60쌍에서는 이 차이를 우연과 구분하지 못했습니다. 번역 비용을 들일 만큼 영어 우위가 확인된 결과가 아닙니다. 무엇을 같게 두고 무엇만 바꿨나 과제는 세 종류였습니다. 고객 문의를 허용된 카테고리로 분류 주문 문장에서 판매처·상품·수량을 추출 상품 설명에서 제품명·재질·재고 여부를 추출 각 과제에 입력 20개를 뒀습니다. 한국어 지시문과 영어 지시문은 같은 필드, 같은 허용값, 같은 JSON 규칙을 담았습니다. 입력 문장과 기대 정답은 바꾸지 않았습니다. 실행 순서도 한쪽으로 몰지 않았습니다. 절반은 한국어부터, 절반은 영어부터 돌려 예열이나 순서가 언어...
Read more »

AI가 준 출처 링크 37개를 다시 열었더니, 판정 가능한 35개가 모두 깨졌습니다

글쓴이
이미지
HTTP 상태 코드가 200이면 출처 링크는 살아 있다고 봐도 될까요? 제가 첫 링크를 다시 열었을 때 서버는 실제로 200을 돌려줬습니다. 하지만 화면에 나온 것은 폭염주의보 기준이 아니었습니다. 서비스 이용에 불편을 준다는 안내와 함께, 해당 경로는 현재 운영하지 않는 페이지라는 설명이 나왔습니다. 도메인은 기상청이었고 주소 모양도 그럴듯했지만 근거로 인용할 내용은 없었습니다. 저는 AI 답변에 붙은 출처 링크를 그대로 인용해도 되는지, 자동 게시 전에 어떤 검사를 붙여야 하는지 정하려고 이번 실행에서 나온 링크 37개를 다시 열었습니다. 짧은 답부터 말씀드리면, 주소가 있다는 사실만으로 출처 칸을 통과시키면 안 됩니다. 이번 실행에서 판정 가능한 링크 35개는 전부 깨져 있었습니다. 살아 있는 근거는 하나도 없었습니다. 클릭되면 통과시키는 기준부터 막혔습니다 첫 장면의 링크는 모델 응답에 이렇게 들어 있었습니다. 출처: https://www.kma.go.kr/mlbd/anginfo/index.jsp?bmenu=SUSTAIN&bcn=A020101 기관 이름과 도메인이 맞고, 서버도 정상 응답했습니다. 여기서 상태 코드만 검사하면 통과입니다. 실제 페이지 내용을 읽으면 판정이 바뀝니다. 요청한 자료가 나온 게 아니라 서비스 장애 안내가 나왔습니다. 이런 주소를 이번 테스트에서는 soft 404로 셌습니다. 서버가 200을 보내더라도 찾던 문서가 없는 경우입니다. 기관의 대문이 살아 있는지도 따로 조회했습니다. 기상청 대문은 정상적으로 열렸습니다. 기관 사이트가 운영 중이라는 사실과 모델이 제시한 세부 경로의 생존은 별개였습니다. 출처 검사에는 최소 두 단계가 필요합니다. 주소가 실제로 응답하는지 봅니다. 열린 페이지가 해당 주장을 뒷받침하는지 읽습니다. 첫 단계만 자동화하면 이번 soft 404 열 개를 놓칩니다. 세 가지 지시로 54회를 돌렸습니다 이번 9월에는 웹 접근이 없는 로컬 gemma3:4b에 한국 제도 질...
Read more »

AI 답변 재현성 실험: 온도 0에서 답은 고정됐고 오답도 반복됐습니다

글쓴이
이미지
기본값과 온도 0을 같은 프롬프트에 나란히 놓았습니다. 그 옆에는 고정 시드 조건. 출력이 어디서 고정되고 어디부터는 차이를 가르기 어려운지 함께 확인했습니다. AI 답변을 자동 분류·추출 작업에 넣기 전에, 온도 0과 시드가 어디까지 결과를 고정하고 무엇을 따로 검증해야 하는지 판단하실 수 있습니다. 이번 9월의 결과는 과제마다 달랐습니다. 자유 생성에서는 선명한 차이. 분류에서는 기본값도 전부 같게 나온 칸이 있었고, 고정 시드를 더해도 온도만 낮춘 조건을 넘어서는 변화는 나타나지 않았습니다. 비교 조건을 같은 자리에 놓았습니다 gemma3:4b에 넣은 과제는 세 개. 고객 문의 10건을 다섯 분류로 나누기 발주 이메일에서 업체·담당자·품목·수량·단가·납기일·총금액 뽑기 자영업자용 블로그 제목 다섯 개 만들기 모든 과제를 같은 횟수로 반복했습니다. gemma3:4b가 72회입니다. 교차확인용 qwen3-vl:8b에는 문의 분류만 같은 방식으로 24회 돌렸습니다. 전체 96회에서 생성 실패는 없었습니다. 재현성의 기준은 하나였습니다. 출력 문자열이 서로 완전히 같은가. 구조화 과제는 JSON을 파싱한 뒤 라벨과 필드 값까지 따로 비교했고, 발주 총금액은 반복 여부와 별개로 검산했습니다. 기본값과 온도 0의 차이는 과제에 따라 갈렸습니다 과제·모델 기본값 온도 0 온도 0+시드 42 문의 분류 · gemma3:4b 100% 100% 100% 발주 추출 · gemma3:4b 100% 100% 100% 자유 제목 · gemma3:4b 0% 100% 100% 문의 분류 · qwen3-vl:8b 75% 100% 100% 주의. 이 표에서 가장 조심해서 봐야 할 칸은 발주 추출입니다. 문자열 재현율만 보면 가장 깨끗한 성공처럼 보이는 칸. 자유 생성에서는 온도 0의 역할이 선명했습니다 자영업자용 블로그 제목 다섯 개를 만드는 과제는 가능한 답의 폭이 넓었습니다. 기본값에서는...
Read more »