공짜로 내 PC에서 돌리는 AI(gemma3:4b), 유료 클라우드 어디까지 따라잡나 — 같은 일 직접 시켜본 실측 (2026.6)

혹시 이런 적 없으세요? 매달 클라우드 AI한테 월급 주듯 구독료는 꼬박꼬박 빠져나가는데, 정작 그 비싼 녀석한테 시키는 일이라곤 글 몇 줄 요약, 짧은 번역, 함수 하나 짜기뿐이었던 적. 이 정도 잔심부름 시키자고 유료를 불러야 하나, 한 번쯤 의심해 본 적 있으시죠?

저는 효율·가성비라면 환장하는 1인 기업가 시네입니다. 그리고 이 글의 주인공은 제 PC에 이미 깔려 있는 3.3GB짜리 공짜 일꾼, gemma3:4b예요. 인터넷 없이도 도는 작은 오픈 모델이죠. 그래서 유료 클라우드(Gemini 3.1 Pro)한테 시켰던 똑같은 일을 이 공짜 녀석한테 그대로 시켜봤습니다.

미리 못 박아둘게요. 이건 "공짜가 유료를 이긴다"는 글이 아닙니다. 4B짜리 꼬마 모델과 프런티어급 모델은 애초에 체급이 다르고, 저는 일부러 쉬운 일만 시켰거든요. 그러니 핵심 질문은 "누가 더 세냐"가 아니라 이거예요 — 당신이 AI한테 시키는 일이, 공짜 로컬로 때워도 될 만큼 쉬운가? 그 선을 직접 그어보려고 돌린 실측입니다.

측정 시점은 2026년 6월 26일(로컬 gemma3:4b), 대조군인 클라우드 수치는 같은 테스트셋으로 6월 24일에 잰 값입니다.

어떻게 시켰나 (감으로 쓴 거 아닙니다)

말로 때우면 큐레이션이지 실측이 아니죠. 공짜 일꾼을 제대로 부려먹으려면 시험 조건부터 똑같이 맞춰야 하니, 방법부터 깔고 갑니다.

• 고정 테스트셋, 같은 입력: 코딩(중복 제거 후 내림차순 정렬 함수), 한국어 요약(직접 작성한 약 940자 커피 지문을 "핵심 5문장으로, 원문에 없는 말 추가 금지"), 영한 번역(전문용어 박힌 LLM 추론 단락을 "자연스러운 한국어로") — 세 작업입니다.
• 각 작업 3번씩, 총 9번. AI는 같은 질문에도 매번 답이 조금씩 달라서요.
• 환경: 2026년 6월, gemma3:4b를 ollama로 제 PC GPU에서 로컬 구동. 호출도 측정도 인터넷 없이 돌아갑니다.
• 이 세 작업은 클라우드(Gemini)에도 똑같이 돌렸던 그 테스트셋 그대로라, 양쪽 결과를 바로 포갤 수 있어요.

정직하게 미리 박아둘 것도 있어요. 시간 숫자엔 함정이 있습니다(뒤에서 짚을게요). 그리고 3번은 작은 표본이라 "평균 몇 초!"로 못 박지 않고 범위로 보여드립니다.

쉬운 일에선 — 공짜 일꾼이 제 몫을 했다

결론부터 말하면, 세 작업 다 합격선이었어요. 공짜 일꾼이라고 봐주지 않고 빡세게 굴려본 결과를 하나씩 봅니다.

① 코딩 — 세 번 다 정답, 단 코드는 글자까지 같진 않았다. "정수 리스트에서 중복 빼고 내림차순 정렬하는 함수 짜라"고 시켰더니, 세 번 모두 정답 로직이 나왔습니다. 다만 정직하게 밝히면 세 번의 코드가 글자까지 똑같지는 않았어요. 2·3회차는 중복 제거와 정렬을 sorted(list(set(nums)), reverse=True) 한 줄에 몰아 썼고, 1회차는 그걸 두 단계(list(set(...)) → .sort(reverse=True))로 쪼갰습니다.

# 2·3회차 — 한 줄에 몰아서 (독스트링·주석은 생략)
def dedup_sort(nums):
    unique_nums = sorted(list(set(nums)), reverse=True)
    return unique_nums

# 1회차 — 두 단계로 쪼개서 (알고리즘은 동일)
def dedup_sort(nums):
    unique_nums = list(set(nums))   # 중복 제거
    unique_nums.sort(reverse=True)  # 내림차순 정렬
    return unique_nums

즉 표기는 흔들렸지만 알고리즘은 세 번 다 같았고, 결과도 같았습니다. 이게 작은 로컬 모델을 볼 때 중요한 구분이에요 — "매번 똑같은 글자"를 기대하면 안 되고, "매번 맞는 답"인지를 봐야 합니다.

말로만 "됩니다" 하면 안 되니, 두 형태를 제 손으로 직접 실행해 봤어요. 기본 예시는 물론이고 AI들이 곧잘 흘리는 엣지케이스(빈 리스트·음수·전부 같은 값)까지, 두 형태 모두 같은 값을 냈습니다.

입력	실행 결과	판정
[3,1,2,3,1]	[3, 2, 1]	✅
[] (빈 리스트)	[]	✅
[-1,-1,5,5,0]	[5, 0, -1]	✅
[2,2,2,2]	[2]	✅

전부 정확. 공짜 모델이라고 봐줄 것 없이 깔끔했습니다.

② 한국어 요약 — "5문장" 약속을 칼같이. 요약은 약속을 지키느냐가 관건이에요. "핵심 5문장으로, 원문에 없는 내용은 추가하지 마"라는 두 조건을 줬습니다. 결과는 세 번 모두 정확히 5문장, 그리고 원문에 없는 내용을 지어낸 환각이 0건. 작은 모델이 의외로 제약을 칼같이 지키더군요. 실제 나온 한 토막이에요.

1. 커피의 맛은 추출 방식에 따라 크게 달라지며, 드립, 에스프레소, 침지식 등이 대표적인 방식이다.
(…) 5. 추출 시간, 분쇄도, 물의 온도 등 핵심 변수들을 조절하여 개인의 취향에 맞는 커피를 만들 수 있다.

③ 영한 번역 — 전문용어를 안 흘렸다. 일상 문장이면 요즘 아무나 다 합니다. 그래서 LLM 추론 최적화에 관한 영어 단락을 던졌어요. 결과는 지연 시간(latency)·처리량(throughput)·양자화(quantization)·컨텍스트 윈도우처럼 용어를 한국어로 옮기면서 영어를 괄호로 같이 달아줬고, 문장 누락은 0건이었습니다.

그리고 속도 — 체감은 거의 즉시였어요. 요약은 3회 1.64~1.85초(평균 1.72), 번역은 3회 1.71~1.89초(평균 1.81)에 끝났으니까요. 다만 이걸 "로컬이 빠르다"로 읽으면 그게 바로 함정입니다. 네트워크 왕복이 아예 없는 데다 4B짜리 꼬마 모델이라 가벼워서 그런 거지, 프런티어 모델이랑 같은 무게로 잰 속도가 아니에요. 클라우드는 인터넷을 다녀오고 훨씬 큰 모델을 굴리니 십수 초가 걸린 거고요. 그러니 속도 숫자는 "내 PC에선 기다림이 거의 없더라"라는 체감 정도로만 받아주세요.

그런데 '충분'의 선은 정확히 여기까지였다

여기가 이 글에서 제일 중요한 대목이에요. 이 꼬마 일꾼을 어디까지 부려먹어도 되는지 그 선을, 결과가 좋았던 진짜 이유부터 솔직히 까야 하거든요. 잘 나온 건 제가 일부러 쉬운 일만 시켰기 때문입니다. 코딩 과제만 해도 솔직히 너무 쉬웠어요. set으로 중복 빼고 sorted로 정렬하는, 거의 정해진 한 줄짜리니까요. 이런 정형·단순 작업은 프런티어 모델의 진짜 강점(복잡한 추론, 긴 맥락 유지)이 드러날 자리 자체가 없습니다. 쉬운 운동장에선 누가 뛰어도 비슷해 보이는 거죠.

그래도 균열의 신호는 하나 보였어요. 번역의 용어 일관성입니다. 같은 latency를 세 번 돌렸더니 한 번은 "지연 시간", 한 번은 "대기 시간", 한 번은 "응답 시간"으로 매번 다르게 옮기더라고요. 셋 다 틀린 말은 아니에요. 하지만 용어를 처음부터 끝까지 통일해야 하는 긴 매뉴얼이나 기술 문서라면, 이 흔들림이 그대로 품질 문제가 됩니다. 작은 녀석일수록 이런 일관성이 약하다는 걸 보여주는 대목이죠.

그래서 이 테스트가 증명한 건 "gemma3가 Gemini만큼 똑똑하다"가 아닙니다. "쉬운 일에선 둘의 차이가 안 보인다"예요. 그럼 어려운 일은? 이번엔 안 시켰습니다. 안 해본 걸 한 척하는 게 제일 싫으니, 거기서 선을 긋고 멈출게요(더 빡센 추론 과제와 모델 비교는 다음 숙제로 남깁니다).

그래서 언제 로컬, 언제 클라우드 — 시네식 분류

돈 아끼자고 무작정 로컬, 좋다고 무작정 클라우드가 아니라 일에 따라 갈라야 가성비가 삽니다.

이런 일이면	추천	이유
요약·간단 번역·보일러플레이트 코드	공짜 로컬	쉬운 정형 작업은 차이가 거의 안 남. 구독료 아낌
외부에 내보내기 싫은 민감 자료	공짜 로컬	인터넷 없이 내 PC 안에서만 처리(프라이버시)
양 많고 난이도 낮은 반복 작업	공짜 로컬	호출당 비용 0이라 마음껏 부려먹기 좋음
복잡한 추론·긴 문서 용어 일관성	유료 클라우드	큰 모델의 강점이 드러나는 자리
최신 지식·품질이 비용보다 중요	유료 클라우드	결과물 한 방의 값어치가 구독료보다 큼

한 줄로 줄이면 — 공짜 일꾼(로컬)은 잔심부름엔 최고, 큰 프로젝트 총괄은 아직 대리님(클라우드) 몫입니다.

시네 사장의 결론, 세 줄로 끝냅니다

공짜 일꾼을 어디까지 부려먹고 언제 대리님(클라우드)을 부를지, 세 줄로 끊어 드릴게요.

1. 요약·번역·간단한 코드 정도면 → 공짜 로컬로 충분. 이런 일에 매달 구독료 갖다 바칠 이유 없어요.
2. 단 '충분'은 '쉬움'까지. 일이 어려워지면 흔들리기 시작합니다(용어 일관성부터 무너져요).
3. 민감한 자료라면 → 오프라인 로컬이 클라우드보다 나을 때도. 밖으로 안 나가는 게 최고의 보안이니까요.

돈 얘기까지 같이 보고 싶다면, 클라우드 쪽 같은 작업을 따로 실측한 Gemini 3.1 Pro한테 코딩·요약·번역 직접 시켜본 실측 글도 같이 보시면 그림이 맞춰집니다. 그리고 무엇으로 돌리든 사실 확인은 사람 몫이에요. 작은 모델일수록 자신 있게 틀린 말을 섞으니, 중요한 결과는 꼭 사람이 한 번 더 봐야 합니다.

테스트 방법 메모

• 고정 테스트셋: 코딩(TXT-02)·한국어 요약(TXT-01)·영한 번역(TXT-05), 각 3회 반복 — 같은 일을 이 공짜 녀석한테 9번 굴려본 셈이죠.
• 모델: gemma3:4b(오픈 웨이트), ollama로 로컬 구동, 2026년 6월 26일 측정. 설치된 일꾼을 그대로 부려먹었고 따로 받은 건 없습니다.
• 출력 원본과 호출 로그는 따로 보관합니다(같은 입력 = 같은 조건 재현용). 수치는 측정값 그대로이며, 모르는 건 모른다고 둡니다.

이 글은 cinevyze 운영자가 무료 로컬 모델 gemma3:4b를 고정 테스트셋으로 직접 돌리고, 출력 품질과 응답 시간을 기록해 클라우드 측정값과 비교·검수한 결과입니다. 무엇을 어떻게 테스트할지, 출력 판단과 사실 확인은 모두 사람이 했고, 글을 다듬는 일부 과정에 AI 도구의 도움을 받았습니다. 측정 시점은 2026년 6월이며, 모델 업데이트에 따라 결과는 달라질 수 있습니다.