인터넷 없이 AI로 번역하기 — 무료 로컬 모델(gemma3)로 번역 품질·속도 실측 (2026년 6월)
번역 좀 하겠다고 계약서나 고객 메일을 통째로 챗GPT 입력창에 붙여넣은 적, 아마 한 번쯤 있을 겁니다. 편하긴 한데, 그 문서가 어느 회사 서버로 넘어가는지 생각하면 영 찜찜하죠. 남의 개인정보까지 든 문서라면 더더욱이고요. 번역기 구독료에 슬슬 '번'아웃이 오던 차에, 사람 안 쓰고 AI만 굴려서 비용 줄이는 게 신조인 1인 기업가로서 이런 생각이 들었습니다. "인터넷도 끊고, 구독료도 안 내고, 내 컴퓨터 안에서만 번역을 끝낼 순 없나?"
그래서 공짜로 받아서 PC에 들일 수 있는 로컬 AI 모델 gemma3(4B)를 번역가로 고용해, 같은 문서들을 돌려봤습니다. 월급도 인터넷도 안 드는 이 작은 일꾼이 과연 쓸만한지, 얼마나 빠른지 직접 측정했어요.
왜 굳이 '로컬'인가
클라우드 번역(챗GPT·구글 번역 등)은 품질이 최상위권입니다. 그걸 부정하려는 게 아니에요. 다만 로컬 번역에는 클라우드가 못 주는 세 가지가 있습니다.
- 데이터가 PC 밖으로 안 나갑니다. 모델이 통째로 내 컴퓨터에 있으니, 로컬로 돌리는 한 번역할 문서가 외부로 전송되지 않아요. 민감한 계약서·고객 정보엔 이게 결정적입니다.
- 인터넷이 필요 없습니다. 비행기 안이든 와이파이가 끊겼든 번역이 됩니다.
- 공짜에 무제한입니다. 구독료도, API 키도, 사용량 한도도 없어요. 한 번 받아두면 몇 번을 돌리든 0원.
문제는 딱 하나, "월급도 안 받는 이 공짜 4B짜리 일꾼이 번역을 제대로 하긴 하냐" 였습니다. 싸게 부리는 것도 일을 해야 의미가 있으니까요. 그래서 쟀습니다.
어떻게 쟀나
일꾼을 채용하려면 면접을 봐야죠. 채점이 되게 조건을 고정했습니다.
- 번역가: 로컬에 설치된
gemma3:4b(오픈 모델·ollama로 구동). 클라우드 API가 아니라 내 PC GPU에서 돌렸습니다. - 시험지: 성격이 다른 영문 3종 — ①기술 문서(LLM 운영 설명) ②캐주얼 후기(구어체·관용구 범벅) ③비즈니스 메일(격식체). 관용구가 많을수록 작은 모델이 헤매기 쉬워서 일부러 섞었어요.
- 잰 것: 영→한 번역 속도(tok/s·문단당 시간)를 실측. 그리고 번역문을 다시 한→영으로 왕복시켜 의미가 얼마나 보존되는지 눈으로 확인.
- ★품질은 점수로 매기지 않습니다. 번역 품질은 사람마다 기준이 달라 별점 하나로 뭉개면 가짜 정밀이 돼요. 대신 실제 출력을 그대로 보여드릴 테니 직접 판단하시면 됩니다. 우리가 객관적으로 잰 건 속도뿐입니다. 테스트셋 TR-01~03, 측정 시점 2026년 6월. (번역 실행은 자동화 하네스로 기록하고, 속도(tok/s)와 왕복 결과는 재현 가능한 측정 스크립트로 남겼습니다.)
속도: 한 문단에 1초 안팎
| 시험지(80~90단어) | 생성 속도 | 순수 생성 시간 |
|---|---|---|
| ①기술 문서 | 153.6 tok/s | 약 1.0초 |
| ②캐주얼 후기 | 156.0 tok/s | 약 0.7초 |
| ③비즈니스 메일 | 155.8 tok/s | 약 0.7초 |
평균 약 155 tok/s, 한 문단을 0.7~1초에 뽑습니다. 월급도 인터넷도 안 쓰는 일꾼치고 손은 꽤 빠르죠.
단, 위 시간은 '순수 생성 시간'이고 사람이 실제로 기다리는 시간은 따로 잽니다. 호출을 걸고 답이 손에 들어오기까지의 총 소요는 ①기술 문서 3.89초 → ②캐주얼 1.13초 → ③비즈니스 1.12초였어요. 첫 시험지만 유독 느린 건 실력 차이가 아니라 그때 모델을 GPU에 처음 올렸기 때문입니다(순수 생성 0.98초 대비 약 4배). 한 번 올라간 다음부터는 총 소요가 1.1초대로 내려앉아 순수 생성의 1.6배쯤에서 안정됐습니다. 그러니 "문단당 1초"는 두 번째 문서부터의 얘기고, 프로그램을 새로 켜면 첫 문단에서 몇 초를 기다려야 합니다. 가정용 GPU 기준이라 그래픽카드가 약하면 더 느려지고요.
번역하면서 알게 된 실무 팁도 하나. 영문을 한국어로 옮기면 글자수가 절반쯤으로 줄어듭니다. 세 시험지 모두 영문 404~564자가 한국어 207~296자가 됐어요(비율 45~53%). 자간·행간 잡아둔 문서 틀에 번역문을 부어야 한다면 이 감을 미리 잡아두면 레이아웃 재작업이 줄어듭니다.
품질: 출력을 직접 보세요
말로 "쓸만하다"고 하면 광고죠. 이번 테스트의 실제 번역을 그대로 옮깁니다.
①기술 문서 (전문 용어):
대규모 언어 모델을 프로덕션 환경에서 운영하는 것은 대기 시간과 처리량 사이의 균형을 맞추는 일입니다. (…) 양자화는 모델 가중치의 숫자 정밀도를 낮춰 메모리 사용량을 줄이고 추론 속도를 높이는 방식으로, 출력 품질에 약간의 손실을 발생시킬 수 있습니다.
처리량·양자화·추론 같은 용어를 정확히 옮겼습니다. 흠잡을 데가 거의 없어요.
그런데 "정확하다"는 말만 하면 그것도 주장이죠. 그래서 이 한국어를 다시 영어로 왕복시켜 원문과 대봤습니다.
(왕복 영어) Operating large language models in a production environment involves balancing latency and throughput. Latency refers to the time a single user waits for a response, while throughput measures the number of requests a system processes per second. (…) Quantization reduces model weight numerical precision to decrease memory usage and increase inference speed, but this can result in a slight loss of output quality.
latency·throughput·quantization·inference 네 용어가 한국어를 한 바퀴 돌고도 제자리로 돌아왔습니다. 다만 한 군데는 어긋났어요 — 원문의 batch(요청을 묶는 것)를 한국어에서 "묶어 처리"로 옮겼다가 왕복 영어에서 bundle로 바뀌었습니다. 뜻은 통하지만 업계 표준 용어가 일반 단어로 내려앉은 것이라, 용어를 그대로 지켜야 하는 기술 문서라면 이런 자리를 사람이 잡아줘야 합니다.
②캐주얼 후기 (구어체·관용구 최다·난이도 최상):
솔직히 말해서, 도착했을 때 바로 반품할 뻔했어요. 설명서가 완전 엉망이고, 겨우 한 시간 동안 이것저것 만져보던 중에 겨우 연결되더라고요. (…) 추천할 만한가요? 네, 첫날의 고통스러운 시간을 견뎌낸다면 정말 좋은 제품이에요.
"설명서가 완전 엉망(a joke)", "이것저것 만져보던(fiddling)", "첫날의 고통스러운 시간을 견뎌낸다면(if you can get past the painful first day)"까지 — 구어체는 물론 의미가 뒤집히기 쉬운 조건절도 자연스럽게 풀었습니다. 4B 모델이 이 정도면 기대 이상이었어요.
③비즈니스 메일 (격식체) — 한→영 왕복까지 보여드리면:
(번역) 소중한 고객님께, 주문 배송 지연에 대해 연락 주셔서 감사합니다. (…) 사과를 드리는 의미로, 고객 계정에 10% 크레딧을 적용했습니다.
(다시 영어로 왕복) Dear Valued Customer, Thank you for contacting us regarding the delayed shipment of your order. (…) As a token of our apology, we've applied a 10% credit to your account.
왕복시킨 영어가 원문과 거의 똑같죠. 한 번 한국어로 갔다가 돌아왔는데도 의미가 그대로 살아있다는 뜻입니다.
종합: 이번 테스트에선 셋 다 좋았습니다 — 기술·비즈니스는 흠이 거의 없고, 까다로운 캐주얼도 잘 풀었어요. ★다만 로컬 작은 모델은 같은 문장도 돌릴 때마다 결과가 조금씩 달라집니다. 어떤 날은 한 군데가 어색하게 나올 수도 있어요(이게 품질에 점수를 안 매기는 또 다른 이유입니다). 그래서 중요한 문서일수록 결과를 한 번 훑어보는 게 안전합니다.
한계, 그리고 언제 쓸까
공짜 일꾼을 너무 띄우면 그것도 거짓말이니 선을 긋습니다.
- 작은 모델입니다(4B). 문학 번역, 미묘한 말장난, 전문 용어가 빽빽한 분야처럼 한 글자의 정밀함이 생명인 번역은 더 큰 모델이나 사람 번역가가 안전합니다. 여기서 잰 건 '실무 문서'가 한계예요.
- 품질은 사람이 확인해야 합니다. 가끔 어색하게 옮기니, 중요한 문서일수록 결과를 한 번 훑어보세요(저도 그래서 출력을 다 봤습니다).
- 한 모델만 테스트했습니다. 다른 로컬 모델(라마·큐원 등)은 결과가 다를 수 있어요.
정리하면 이렇게 나눕니다. 외부에 못 보낼 민감한 문서·인터넷이 없는 환경·구독료가 아까운 대량 작업이라면 → 로컬(gemma3). 한 글자도 틀리면 안 되는 계약 최종본이나 출판용 문학 번역이라면 → 클라우드나 전문가. 같은 '번역'이라도 목적에 맞춰 일꾼을 고르는 게 가성비입니다. (로컬 모델을 클라우드와 더 폭넓게 비교한 글은 로컬 AI vs 클라우드 실측에서 다뤘어요.)
참고자료
test_runs/ollama-gemma3:4b-20260628/(이 저장소) — run.yaml · TR-01~03 원출력 3건 · 호출 로그test_runs/offline-translate-gemma3/translate_bench.json— 시험지별 tok/s · 순수 생성 시간 · 총 소요 · 영문/한국어 글자수 · 왕복 번역문 전문corpus/translate/s1-tech.txt외 2건 — 고정 입력 영문 3종- cinevyze 표준 테스트셋 — 번역
TR-01(기술) ·TR-02(캐주얼) ·TR-03(비즈니스)
이 글은 cinevyze 운영자가 해당 도구를 직접 테스트하고(로컬 모델로 번역·왕복 번역·속도 측정·결과 검토) 정리·편집했습니다. 측정 방법과 판단은 모두 사람이 했고, 글을 다듬는 일부 과정에 AI 도구의 도움을 받았습니다. 속도는 실측, 번역 품질은 점수화하지 않고 실제 출력으로 공개했으며, 결과는 2026년 6월 측정 시점·해당 모델 기준입니다.
댓글
댓글 쓰기