Whisper 한국어 받아쓰기, 무료로 어디까지 되나 — CPU만으로 5개 크기 실측 (2026)

받아쓰기쯤이야 다들 제일 작고 빠른 모델로 대충 돌리면 된다고 여기죠. 저도 딱 그 착각으로 시작했습니다 — 월급 안 나가는 공짜 받아쓰기 일꾼 하나 굴려보자는 심산으로 제일 가벼운 tiny부터 켰다가, 화면 가득 쉼표만 ,,,,,,,, 게워내는 꼴을 보고 정신이 번쩍 들었어요. 영상 자막·회의록 받아쓰기를 사람한테 외주 주면 시간당 몇 만 원, 유료 받아쓰기 서비스는 분당 얼마씩 또박또박 새는 판이라 — 구독료라면 치를 떠는 1인 기업가로서 "공짜로 대체되나"가 간절했거든요. 그래서 대충이 아니라 제대로, 그래픽카드도 없이 CPU만으로 5개 크기를 한 줄에 세워 굴려봤습니다.

알고 싶은 건 하나였습니다. 돈 안 내고, 인터넷도 끊고, 낡은 CPU로 — 받아쓰기가 믿을 만하게 나오는 크기가 몇부터냐. 미리 김 빼자면, 작은 모델은 받아쓰기가 아니라 '받아치기'(엉뚱한 말로 받아치고 같은 문장을 앵무새처럼 반복)였고, 정답은 의외로 '제일 덩치 큰 놈'이 CPU에서도 실시간보다 빨랐다는 겁니다. 왜 그런지 숫자로 보여드릴게요.

뭘 어떻게 테스트했나

돈 한 푼 안 쓰고 검증하겠다면서 감으로 "이게 좋은 것 같다" 하면, 그게 제일 비싼 실수입니다. 공짜 일꾼일수록 검수를 건너뛰면 그 사람 몫은 결국 내가 뒤집어쓰거든요. 그래서 남 후기 대신 정답지부터 구했어요. 믿을 만한 숫자를 뽑으려면 '정답'이 있는 음성이 필요하거든요. 공개 음성 벤치마크 FLEURS(구글, CC-BY 라이선스)의 실제 사람이 낭독한 한국어 문장과 거기 딸린 공식 정답 전사를 썼습니다. TTS(기계 합성음)가 아니라 진짜 사람 목소리예요.

• 입력: 문장 2개씩 이어 붙인 20~30초짜리 연속 음성 클립 6개(총 12문장·약 2.4분). 음성메모·회의 한 토막에 가까운 길이로 잡았습니다.
• 모델: faster-whisper(Whisper를 CPU에서 빠르게 돌리는 오픈소스 구현)의 5개 크기 — tiny · base · small · large-v3 · large-v3-turbo. 전부 CPU·int8(그래픽카드 미사용)으로 같은 조건에서 돌렸습니다.
• 채점: CER(글자 오류율 — 한국어는 이게 실질 지표)와 WER(어절 오류율)을 정답과 대조해 계산. 구두점·띄어쓰기는 표준대로 정규화한 뒤 쟀습니다.
• 측정 시점: 2026년 7월. 모델·라이브러리는 갱신되니 시점 기준으로 보세요.

한 가지 정직하게 깔고 갑니다. 이건 잡음 없는 또렷한 낭독 음성입니다. 실제 회의실 웅성거림·사투리·여러 명이 겹쳐 말하는 상황은 이보다 훨씬 어렵습니다. 그러니 아래 숫자는 '깨끗한 조건에서의 상한선'으로 읽어주세요.

실측 결과 — 크기가 정확도를 거의 다 결정한다

우리 테스트에서 나온 숫자입니다. 평상시 정확도(중앙값)와 평균을 나눠 적었는데, 이 둘의 차이 자체가 중요한 이야기라 뒤에서 따로 짚습니다.

모델	평상시 CER(중앙값)	평균 CER	어절오류 WER	속도(CPU)	로딩
tiny	17.7%	38.6%	63.6%	실시간 ~14배	0.4초
base	12.6%	16.9%	39.5%	실시간 ~22배	0.5초
small	6.5%	16.1%	36.6%	실시간 ~8배	0.8초
large-v3-turbo	1.7%	9.7%	24.2%	실시간 ~2.5배	2.1초
large-v3	1.2%	1.8%	13.3%	실시간 ~1.8배	3.6초

'속도 실시간 ~8배'는 8분짜리 음성을 1분에 처리한다는 뜻입니다. 눈여겨볼 건 가장 정확한 large-v3조차 CPU만으로 실시간보다 빠르다(1.8배)는 점 — 그래픽카드 없이도 받아쓰기는 충분히 실용 속도가 나옵니다. 결국 사람 몫을 얼마나 덜어주느냐로 따지면, 덩치값을 제대로 하는 건 큰 모델입니다. 싼 일꾼 여럿보다 제대로 하는 하나가 남는 장사예요.

작은 모델은 왜 위험한가 — '반복 환각'이라는 함정

작은 모델은 싸고 빠른 인턴 같습니다. 문제는 이 인턴이 멀쩡히 일하다가 가끔 같은 말을 무한 반복하는 발작을 일으킨다는 거예요. 표에서 small·turbo의 중앙값과 평균이 크게 벌어진 것, 이게 그 증상입니다. 평소엔 잘하다가 특정 클립에서 완전히 무너지는데 — 틀리는 게 아니라 같은 문장을 계속 반복합니다.

실제로 turbo가 한 클립에서 낸 결과(뒷부분):

…해상 봉쇄를 시작한다. 교전이 발발한 직후 영국은 독일에 대한 해상 봉쇄를 시작한다. 교전이 발발한 직후 영국은 독일에 대한 해상 봉쇄를 시작한다.

앞 내용은 멀쩡히 받아썼는데 마지막 문장을 앵무새처럼 세 번이나 토해냈어요. 이 한 방에 그 클립 CER이 50%로 튑니다. tiny는 더 심해서, 아예 쉼표만 ,,,,,,,, 쏟아내며 문장을 통째로 날리는 클립이 6개 중 2개(3분의 1)나 나왔습니다. 게다가 tiny는 같은 음성을 두 번 돌리면 결과가 달라지기까지 했습니다(같은 나쁜 결과조차 재현이 안 됨).

반면 large-v3는 같은 클립들을 반복 없이 깔끔하게 받아썼습니다(CER 1~2%). 그래서 large-v3의 진짜 강점은 '평균이 낮다'가 아니라 '사고를 안 친다'는 신뢰성입니다. 믿고 맡기는 일꾼이냐, 등 돌리면 뒤에서 사고 치는 일꾼이냐 — 받아쓴 걸 사람이 일일이 검수할 몫이 없다면, 이 차이가 곧 돈이고 시간이에요.

한국어라서 생기는 착시 — WER은 부풀려진다

표에서 large-v3가 글자 오류(CER)는 1.8%인데 어절 오류(WER)는 13.3%죠. '단어 8개 중 1개 틀림'처럼 보이지만 실제 내용은 거의 완벽합니다. 한국어 띄어쓰기 때문이에요. 예를 들어 정답 "6 대 6"을 "6대6"으로, "타이 브레이크"를 "타이브레이크"로 붙여 쓰면 — 글자는 다 맞는데 어절 단위론 통째로 오답 처리됩니다.

그래서 한국어 받아쓰기 품질은 CER(글자 기준)으로 보는 게 맞습니다. WER 숫자만 보고 "생각보다 별론데?" 하면 오해예요. 정답과 large-v3 결과를 나란히 보면 체감이 옵니다.

정답: 기지국에 이중 라디오가 있다면 이것이 802.11a, 802.11b와 802.11g가 이전 기종이라도 호환할 수 있게 해준다.
large-v3: 기지국에 이중 라디오가 있다면 이것이 802.11a, 802.11b와 802.11g가 이전 기종이라도 호환할 수 있게 해준다.

숫자·영문 규격까지 그대로 받아썼습니다. 받아쓴 걸 손볼 것도 없이 자막으로 바로 써도 될 수준이라, 이런 일꾼이면 사람 몫을 확실히 덜어줍니다. WER 숫자에 겁먹고 이 일꾼을 놓치지 마세요.

그래서 뭘 골라야 하나

어차피 한 자리에 앉힐 일꾼, 월급값(=CPU·시간) 대비 뭘 뽑아낼지로 갈립니다.

• 정확도가 중요하고 사람이 일일이 못 고치면 → large-v3. 가장 정확하고 무엇보다 반복 사고를 안 냅니다. 잔손 안 가는 일꾼이라, CPU로도 실시간보다 빠르니 속도 핑계도 약해요.
• 분량이 많아 속도가 급하고, 결과를 어차피 한 번 훑을 거면 → large-v3-turbo. 평소 정확도는 large-v3에 거의 근접(중앙값 1.7%)하면서 더 빠릅니다. 단 긴 음성에서 가끔 반복 사고를 치니 눈으로 한 번 확인하는 걸 전제로.
• 가벼운 메모·초벌용 → small. 짧고 또렷한 음성이면 쓸 만(중앙값 6.5%)하지만, 길어지면 반복 위험이 커집니다.
• tiny·base는 한국어엔 비추. 빠르긴 한데 오류가 많고, tiny는 환각·불안정까지 겹칩니다. '빠른 초안'조차 믿기 어려워요.

돈은 얼마나 드나 — 그리고 안 드나

API 사용료나 구독료는 0원입니다. Whisper와 faster-whisper 모두 무료 오픈소스라, 클라우드 받아쓰기처럼 분당·글자당 과금이 없어요. 대신 준비물이 있습니다 — 처음 한 번 faster-whisper를 설치(무료)하고 모델 파일을 내려받으면(무료), 그다음부터는 인터넷 없이 내 컴퓨터에서 돌아갑니다. 음성을 외부 서버에 안 올리니 민감한 회의록·통화 녹음엔 이 '오프라인'이 특히 값어치를 합니다. 같은 '무료·오프라인·로컬' 노선으로 번역도 로컬 모델로 돌려본 적이 있는데, 받아쓰기도 결이 똑같아요 — 한 번 세팅해두면 그다음부턴 공짜에 인터넷도 필요 없습니다.

정리하면, 이 일꾼은 월급(구독료)이 0원이라, 돈으로 갈리는 게 아니라 '내 컴퓨터가 어느 크기를 감당하느냐'로 갈립니다. 그리고 우리 실측대로면, 그래픽카드 없는 CPU로도 가장 좋은 large-v3까지 실시간보다 빠르게 돌아갑니다. 쌓아둔 회의 녹음이 있다면, 외주 견적서 받기 전에 large-v3 하나 내려받아 5분짜리부터 던져보세요. 답은 그 5분 안에 나옵니다.

참고자료

• FLEURS 음성 데이터셋 (google/fleurs, CC-BY-4.0) — 실제 사람 낭독 한국어 음성·정답 전사 출처
• OpenAI Whisper — 오픈소스 받아쓰기(STT) 모델(원본)
• faster-whisper (SYSTRAN·CTranslate2) — CPU에서 빠르게 돌리는 오픈소스 구현
• 테스트 원본: 5개 모델 × 6클립 실측 로그·전사 출력(우리 테스트 런 기록)

이 글은 cinevyze 운영자가 해당 도구를 직접 테스트하고 결과를 비교·검수해 정리·편집했습니다. 판단·사실확인은 모두 사람이 했고, 글 다듬는 일부 과정에 AI 도구의 도움을 받았습니다. 측정은 2026년 7월·잡음 없는 낭독 음성 기준이며, 실제 잡음·억양·다중 화자 환경은 더 어렵고, 모델·라이브러리 업데이트로 수치는 바뀔 수 있습니다.