AI 문서요약, 클라우드가 무조건 나을까 — 로컬 gemma3 vs Gemini 정확도·속도 실측 (2026)

요약본만 믿고 원문을 안 열었다가 뒤늦게 빠진 항목을 발견하는 고생, 한 번쯤 해보셨을 겁니다. 그렇게 다시 원문을 뒤지기 시작하면 요약으로 아낀 시간은 그대로 헛수고가 됩니다. 그런데 이번에 요약본 6장을 원문과 한 줄씩 맞대 보고 알게 된 건, 무엇이 빠지는지가 모델마다 다르다는 거였어요. 클라우드가 놓친 걸 공짜 로컬이 챙기고, 로컬이 흘린 걸 클라우드가 담았습니다.

구독료라면 진저리를 치는 1인 기업가 시네가 'AI 요약, 매번 클라우드에 돈 주고 맡길 이유가 있나' 싶어 일꾼 둘을 나란히 앉힌 결과입니다. 클라우드에 회사 문서를 통째로 올리는 프라이버시 찜찜함에다 야금야금 쌓이는 API 비용까지 한 번에 털 수 있다면, 안 넘어갈 사장이 어딨겠어요.

그래서 감으로 정하지 않으려고, 같은 한국어 원문을 무료 로컬 gemma3:4b와 클라우드 Gemini 3.1 Pro에 각 3회씩 총 6번 던져 핵심 5문장 요약을 시켰습니다. 나온 요약 6장은 전부 원문과 항목별로 대조했고요. 미리 김을 빼자면, 흔히들 믿는 '클라우드가 무조건 낫다'는 이 테스트에서 절반만 맞았습니다.

시험지 — 수치 여섯 개가 박힌 커피 원문

요약의 '정확도'는 점수 매기기가 까다롭습니다. 정답 요약본이 딱 하나로 정해져 있지 않으니까요. 그렇다고 "느낌상 괜찮네"로 넘어가면 그게 제일 비싼 검수입니다. 일꾼이 올린 보고서를 사장이 눈으로 대충 훑고 넘겼다가 나중에 제일 크게 터지는 것과 같은 이치죠. 그래서 채점을 원문과 맞대볼 수 있는 항목으로만 좁혔습니다.

• 원문(고정): 커피 추출 방식을 설명하는 한국어 글 1건. cinevyze 표준 테스트셋의 요약 태스크 TXT-01에 고정 보관된 원문입니다. 원문 프롬프트는 590토큰 분량이라, 월급 안 나가는 일꾼 둘에게 나란히 던지기 딱 좋은 크기였습니다.
• 지시(고정): "다음 글을 핵심 5문장으로 요약해줘. 원문에 없는 내용은 추가하지 마." — 문장 수 제한과 환각 금지를 함께 걸었습니다.
• 채점: ① 소요 시간 ② 5문장 규칙 준수 ③ 환각(원문에 없는 내용을 지어냈는가) ④ 원문의 어떤 항목이 살아남았는가를 14개 항목으로 나눠 6장 전부 대조.
• 모델: 무료 로컬 gemma3:4b(ollama·내 그래픽카드 구동·인터넷 불필요) vs 클라우드 Gemini 3.1 Pro. 각 3회 반복. 측정 시점은 2026년 7월 17일 오후입니다.

여기서 이 원문의 성격을 하나 짚어야 합니다. 첫 단락은 추출 방식을 "드립, 에스프레소, 침지식" 셋으로 선언해 놓고, 콜드브루는 한참 뒤 별도 단락에서 네 번째 방식으로 등장합니다. 원문 스스로 분류가 어긋나 있는 셈인데, 이 틈이 나중에 두 모델을 정확히 갈라놓습니다.

원문에 박힌 수치도 여섯 개였습니다 — 물 온도 90~96도, 에스프레소 9기압, 추출 25~30초, 프렌치프레스 4분, 콜드브루 8~12시간, 그리고 분쇄도 원칙. 5문장으로 줄이면 이것들이 어떻게 되는지가 이번의 진짜 관전 포인트였어요.

속도 — 공짜 일꾼이 3.55배 빨랐다

항목	gemma3:4b (무료 로컬)	Gemini 3.1 Pro (클라우드)
소요 시간 (3회)	4.80 / 4.67 / 4.65초	16.47 / 16.51 / 17.18초
평균	4.71초	16.72초
생성 속도	초당 158~170토큰	CLI 경유라 토큰 속도 미측정
5문장 규칙	준수 (3/3)	준수 (3/3)
환각(원문에 없는 내용)	0건	0건
구동 비용	무료·오프라인	API/사용량 기반

속도는 로컬이 3.55배 빨랐습니다. 클라우드는 네트워크 왕복과 더 무거운 추론이 붙어 벽시계 시간이 길어졌어요. "클라우드가 곧 빠름"이라는 통념이 여기선 뒤집혔습니다. 게다가 로컬 쪽은 3회 편차가 0.15초로 거의 없었습니다 — 월급도 안 받으면서 출퇴근 시간까지 정확한 일꾼이죠.

거짓말도 둘 다 안 했습니다. 원문에 없는 사실을 지어낸 문장은 6장 전부 0건이었어요. 특히 gemma3가 3회 모두 넣은 "물 온도 90~96도"는 지어낸 게 아닌지 원문을 다시 뒤졌는데, 원문에 그대로 있는 값이었습니다. 작은 로컬 모델이라고 헛소리를 더 하지 않았습니다.

다만 5문장 규칙에는 잔가지가 하나 붙습니다. 6장 전부 번호 문장 앞에 "다음은 제시된 글의 핵심 5문장 요약입니다" 같은 서문을 한 줄씩 붙였어요. 세어보면 5문장이 맞지만, 복사해서 바로 쓰려면 첫 줄은 지워야 합니다. 사소해 보여도 자동화 파이프라인에 물릴 땐 걸리는 지점입니다.

요약본 6장을 원문과 대조했더니

여기서부터가 이번 측정의 핵심입니다. 두 일꾼이 제출한 보고서에서 원문의 항목 14개가 살아남았는지 하나씩 표시했어요. 어느 녀석이 뭘 흘렸는지는 여기서 다 드러납니다.

원문 항목	gemma3:4b (3회 중)	Gemini 3.1 Pro (3회 중)
드립 / 에스프레소 / 침지식	3 / 3 / 3	3 / 3 / 3
콜드브루	0	3
프렌치프레스	3	0
물 온도 90~96도	3	0
오일 성분(바디감 근거)	2	0
크레마	3	2
분쇄도	3	3
9기압 / 25~30초 / 4분 / 8~12시간	0 / 0 / 0 / 0	0 / 0 / 0 / 0

세 항목이 정확히 3대 0으로, 서로 반대 방향으로 갈렸습니다. 이게 이번에 새로 잡힌 그림입니다.

갈림길 셋 — 넓게 vs 깊게

Gemini는 넓게 갔습니다. 원문 첫 단락이 방식을 셋으로만 선언했는데도, 문서 전체를 훑어 네 번째인 콜드브루까지 3회 모두 챙겼어요. "침지식은 묵직한 바디감을, 찬물로 오래 우리는 콜드브루는 부드러운 맛을 냅니다"처럼 한 문장에 둘을 묶어 자리를 만들어냈습니다. 분류 체계를 잡는 일에서는 이 녀석이 확실히 위였습니다.

gemma3는 깊게 갔습니다. 콜드브루는 3회 다 흘렸지만, 대신 Gemini가 3회 다 버린 것들을 붙잡았어요.

• 물 온도 90~96도 — 원문에서 유일하게 살아남은 수치입니다. Gemini는 "물의 온도에 따라 맛이 달라집니다"라고 뭉갰습니다.
• 프렌치프레스 — 침지식의 대표 도구 이름. Gemini는 "원두를 물에 담가두는 침지식"으로만 처리했습니다.
• 오일 성분 — 바디감이 왜 묵직한지의 근거. gemma3는 "종이 필터를 안 써서 오일이 남는다"는 인과를 3회 중 2회 살렸습니다.

즉 "클라우드가 완전성에서 앞선다"는 정리는 절반만 맞습니다. 항목 수로 세면 gemma3가 챙긴 게 오히려 많아요. 두 일꾼은 완전성의 총량이 다른 게 아니라, 무엇을 버릴지의 기준이 반대였습니다. Gemini는 목차를 지키려고 세부를 버렸고, gemma3는 세부를 지키려다 목차 한 칸을 비웠습니다.

그럼 어느 쪽이 옳으냐. 그건 이 요약을 어디에 쓰느냐로 갈립니다. "커피 추출에 뭐가 있나" 목록을 뽑는 자리면 Gemini가 맞고, "드립 물 온도 몇 도로 맞추지" 실무 메모라면 gemma3가 맞습니다. 사장 입장에선 일꾼 성향을 알고 일감을 배분하는 게 답이지, 한 놈만 남기는 게 답이 아닙니다.

둘 다 버린 것 — 수치 네 개

경고를 하나 더 남겨야겠습니다. 원문의 수치 여섯 개 중 네 개(9기압·25~30초·4분·8~12시간)는 6장 전부에서 사라졌습니다. 어느 쪽도 살리지 않았어요.

이건 5문장이라는 압축률에서는 어느 일꾼을 굴려도 숫자 대부분이 떨어져 나간다는 뜻입니다. 계약 조건·수치 스펙·기한처럼 숫자가 본질인 문서라면 요약본을 최종본으로 쓰면 안 됩니다. 요약은 "무슨 얘긴지" 파악용이고, 숫자는 원문에서 다시 긁어야 합니다. 굳이 요약에 수치를 남기고 싶다면 문장 수 제한을 풀거나 "모든 수치를 보존하라"를 지시에 못 박아야 하는데, 이번엔 거기까지 측정하지 않았습니다.

숫자를 지어내는지(환각) 여부는 로컬 AI 사실성·환각 저항 실측에서 따로 다뤘습니다. 이번 요약 테스트에서 환각이 0건이었던 것과 달리, 지식을 묻는 질문에서는 같은 gemma3가 없는 왕 이름을 지어냈습니다 — 주어진 원문 안에서 고르는 일과, 아는 걸 꺼내는 일은 난이도가 완전히 다릅니다.

그래서 로컬이냐 클라우드냐

용도별로 칼같이 자르면 이렇습니다.

• 속도·비용·프라이버시가 우선이고 세부 수치가 중요하다면 → 무료 로컬(gemma3). 3.55배 빠르고, 공짜고, 인터넷 없이 돌고, 문서가 내 PC 밖으로 안 나갑니다. 회의록·메모·기사 한 토막 요약이면 이 일꾼으로 대체됩니다.
• 문서에 여러 갈래가 섞여 있고 "빠뜨린 갈래가 없어야" 한다면 → 클라우드(Gemini). 원문이 스스로 어긋나게 써 놓은 분류까지 정리해 담는 건 이쪽이 나았습니다.
• 숫자가 본질인 문서라면 → 둘 다 보조로만. 위에서 봤듯 4개 수치가 통째로 날아갔습니다.

시네라면 회의록·메모 요약은 월급 안 나가는 로컬에 던지고, 갈래가 많은 리포트만 돈 드는 클라우드에 맡기며, 계약서는 어느 쪽에도 안 맡깁니다. 선택 기준은 '클라우드냐 로컬이냐'가 아니라 '내 문서에서 잃으면 안 되는 게 갈래냐 수치냐'입니다.

로컬 모델이 GPU를 얼마나 먹는지는 로컬 AI 모델 크기별 GPU 사다리 실측에, 같은 gemma3에게 문장 교정을 시킨 결과는 무료 로컬 AI 한국어 교정 실측에 정리해뒀습니다.

이 테스트가 못 잡은 것

• 원문 한 건·각 3회, 요약 6장짜리 작은 표본입니다. 문서 종류(법률·기술·대화체)나 길이가 달라지면 결과도 달라질 수 있어요.
• '정확도'는 자동 점수가 아니라 원문 대조입니다. 위 14개 항목은 사람이 원문과 맞대 표시한 것이고, "요약이 얼마나 매끄러운가" 같은 문체 평가는 이 숫자에 들어가 있지 않습니다.
• 클라우드 쪽 소요 시간에는 네트워크 왕복과 CLI 오버헤드가 섞여 있습니다. 순수 추론 시간만 떼어 재지는 못했습니다.
• 지시문을 하나만 썼습니다. "수치를 모두 보존하라" 같은 다른 지시에서는 결과가 달라질 수 있습니다.
• 측정 시점은 2026년 7월 17일. 모델이 갱신되면 순위도 바뀔 수 있습니다.

요약은 이미 공짜 로컬 일꾼이 상당 부분 감당하고, 그것도 클라우드보다 빠르게 해냈습니다. 한 달을 굴려도 청구서가 안 날아오는 쪽이 더 빨랐다는 게 이번 측정의 결론입니다. 클라우드의 자리는 '무조건 우위'가 아니라 '갈래가 많은 문서를 빠짐없이 정리해야 할 때'로 좁혀졌고요.

참고 자료

• gemma3 모델 카드 — Ollama Library
• Gemini 모델 정보 — Google DeepMind
• 테스트 방법론 — cinevyze 표준 테스트셋 TXT-01(한국어 장문 요약) · 실행 로그 tool_test_harness 2.0 · 2026-07-17 측정

---

이 글은 cinevyze 운영자가 해당 모델들을 직접 테스트하고, 나온 요약 6장을 원문과 항목별로 대조·검수한 뒤 결과를 비교·정리·편집했습니다. 무엇을 어떻게 테스트할지·판단·검증은 모두 사람이 했고, 글 다듬는 일부 과정에 AI 도구의 도움을 받았습니다.