문의
궁금한 점, 다뤘으면 하는 AI 도구 추천, 오류 제보, 제휴·협업 제안 모두 환영합니다.
이메일: cinevyze@gmail.com
보내주신 메일은 확인 후 순차적으로 답변드립니다. 광고·콘텐츠 관련 문의, 개인정보 열람·정정·삭제 요청도 이 이메일로 접수합니다.
AI 프롬프트를 영어로 바꿔도 60쌍 중 우열이 갈린 건 9쌍뿐이었습니다
첫 실패는 모양이 멀쩡했습니다. JSON으로 열렸고, 요구한 키도 빠짐없이 들어 있었습니다. 그런데 category 값 하나가 정답표와 달랐습니다. 한국어 지시문으로 돌린 문의 분류 과제였습니다. 형식이 깨진 게 아니라 다 읽히는데 값이 틀린 것 입니다. 한국어 프롬프트를 영어로 번역해야 답이 더 정확해지는지, 아니면 지시를 명확히 쓰는 데 시간을 써야 하는지 정하려는 분을 위해 다시 쟀습니다. 같은 구조화 과제 60개를 gemma3:4b에 두 번씩 줬습니다. 입력, 정답, 출력 형식은 고정하고 지시문만 한국어와 영어로 바꿨습니다. 총 120회입니다. 먼저 결론부터 놓겠습니다 지시문 언어 JSON 파싱 성공 스키마 준수 값까지 정답 한국어 60/60 60/60 36/60 영어 60/60 60/60 39/60 영어가 세 건 앞섰습니다. 하지만 이 숫자만 보고 「영어가 더 좋다」고 결론내리면 짝비교를 놓칩니다. API가 기록한 응답 토큰 중앙값은 두 언어 모두 76개였습니다. 지시문 쪽은 한국어 372토큰, 영어 314토큰이 중앙값이라 영어가 짧았지만, 출력 길이는 같았습니다. 같은 입력에서 두 언어 중 하나만 성공한 경우를 세니 한국어만 성공 3쌍, 영어만 성공 6쌍이었습니다. McNemar 정확검정 p값은 0.5078이었습니다. 이번 60쌍에서는 이 차이를 우연과 구분하지 못했습니다. 번역 비용을 들일 만큼 영어 우위가 확인된 결과가 아닙니다. 무엇을 같게 두고 무엇만 바꿨나 과제는 세 종류였습니다. 고객 문의를 허용된 카테고리로 분류 주문 문장에서 판매처·상품·수량을 추출 상품 설명에서 제품명·재질·재고 여부를 추출 각 과제에 입력 20개를 뒀습니다. 한국어 지시문과 영어 지시문은 같은 필드, 같은 허용값, 같은 JSON 규칙을 담았습니다. 입력 문장과 기대 정답은 바꾸지 않았습니다. 실행 순서도 한쪽으로 몰지 않았습니다. 절반은 한국어부터, 절반은 영어부터 돌려 예열이나 순서가 언어...
댓글
댓글 쓰기