Gemini 3.1 Pro한테 코딩·요약·번역 직접 시켜봤다 — 같은 작업 9번 굴려본 실측 (2026.6)
안녕하세요, AI 녀석들 붙잡고 단물 쪽쪽 빼먹는 게 일과인 시네입니다. 오늘은 "Gemini 3.1 Pro 진짜 일 잘하냐"는 소문을 말로 때우지 않고, 같은 작업을 9번 굴려본 실측으로 확인해 봤거든요. 구글의 Gemini 3.1 Pro(High)한테 실무에서 자주 시키는 세 가지 — 코딩·한국어 요약·영한 번역 — 을 똑같은 입력으로 던져주고, 나온 결과랑 걸린 시간을 그대로 기록했습니다.
결론부터 말하면, 세 작업 다 합격선이었어요. 다만 진짜 중요한 건 "얼마나 빨리"가 아니라 "시킨 대로, 거짓말 안 보태고" 해내느냐였습니다.
어떻게 테스트했나 (감으로 쓴 거 아닙니다)
신뢰가 생명이라 방법부터 깔고 갑니다.
- 고정 테스트셋: 매번 같은 입력을 씁니다. 코딩은 "중복 제거 후 내림차순 정렬 함수 만들기", 요약은 직접 작성한 935자 커피 지문을 "핵심 5문장으로, 원문에 없는 말은 넣지 말고", 번역은 전문용어가 박힌 영어 단락을 "자연스러운 한국어로" — 이렇게 세 작업입니다.
- 각 작업 3번씩, 총 9번. AI는 같은 질문에도 매번 답이 조금씩 달라서요.
- 측정 환경: 2026년 6월, Gemini 3.1 Pro (High), 구글 Antigravity 공식 클라이언트(CLI)로 호출.
그리고 정직하게 미리 박아둘 세 가지가 있어요.
- 이건 비교글이 아닙니다. 오늘은 Gemini 단독 실측이에요. ChatGPT·Claude랑 "누가 1등이냐"는 접근 방식이 붙는 대로 따로 비교글로 다룰게요. 안 돌려본 걸 돌린 척하는 게 제일 싫거든요.
- 3번은 작은 표본이라 "평균 12초!"처럼 못 박지 않고 범위로 보여드립니다.
- 시간엔 네트워크·클라이언트 왕복이 포함돼 있어요. 순수 모델 속도가 아니라, "체감 얼마나 기다리나"의 상대적인 감으로만 보세요.
1. 코딩 — 시키자마자 정답, 근데 너무 쉬웠나
먼저 파이썬. "정수 리스트에서 중복 빼고 내림차순 정렬하는 함수 짜고 예시 출력도 보여줘"라고 시켰습니다. 세 번 돌렸는데 핵심 한 줄이 글자까지 똑같이 나왔어요.
def dedup_sort(nums):
return sorted(list(set(nums)), reverse=True)여기서 하나 정직하게 밝힐 게 있어요. 똑같았던 건 '코드'고, 붙여준 '주석'은 매번 달랐습니다. 1회차는 "set()을 사용하여 중복을 제거한 후, sorted()의 reverse=True 옵션으로 내림차순 정렬합니다", 2회차는 그걸 두 줄로 쪼갰고, 3회차는 "set을 이용해 중복 제거 후, sorted를 사용해 내림차순 정렬"로 짧게 줄였어요. 셋 다 맞는 설명이지만, "매번 똑같은 글자"를 기대하고 자동화에 물릴 거라면 코드 본문만 그렇다는 걸 알고 있어야 합니다.
말로만 "됩니다" 하면 큐레이션이지 실측이 아니죠. 그래서 이 코드를 손으로 직접 실행해 봤습니다. 기본 예시 [3,1,2,3,1] → [3, 2, 1]은 물론이고, AI들이 곧잘 흘리는 엣지케이스까지 넣어봤어요 — 빈 리스트 [] → [], 음수 섞인 [-1,-1,5,5,0] → [5, 0, -1], 전부 같은 값 [2,2,2,2] → [2]. 네 가지 전부 기대값과 일치했습니다.
코드 설명도 군더더기 없이 맞았고요. 걸린 시간은 3회 9.99·12.3·14.56초(범위 10.0~14.6초·평균 12.28초)였습니다. 같은 입력인데 첫 회차와 마지막 회차가 4.5초나 벌어졌는데, 클라우드 호출이라 그때그때 서버 사정이 섞이는 탓입니다 — 그래서 이 글은 평균 한 개가 아니라 범위로 적습니다.
세 번을 돌렸는데 결과가 쌍둥이(Gemini)처럼 똑 닮았네요 — 아니, 세쌍둥이인가요? 다만 솔직히 이 과제는 너무 쉬웠어요. 변별력을 보려면 더 빡센 알고리즘을 시켜봐야겠다 싶었습니다(다음 편 예고로 남겨둘게요).
2. 한국어 요약 — "5문장" 약속을 칼같이 지킴
요약은 약속을 지키느냐가 관건이에요. "핵심 5문장으로, 원문에 없는 내용은 추가하지 마"라는 두 조건을 줬습니다. 결과는 세 번 모두 정확히 5문장, 그리고 원문에 없는 내용을 지어낸 환각이 0건이었어요. 실제로 나온 요약 한 토막을 그대로 옮기면 이렇습니다.
1. 커피는 같은 원두를 사용하더라도 드립, 에스프레소, 침지식 등 추출 방식에 따라 전혀 다른 맛을 냅니다.
(…) 5. 결국 좋은 커피란 분쇄도, 물의 온도, 추출 시간 등의 핵심 변수를 조절해 취향에 맞는 맛을 찾아낸 결과입니다.
원문의 사실(크레마·고압 추출·분쇄도·물 온도)만 추려서 깔끔하게 압축했습니다. 길이 제한과 "지어내지 말 것"을 동시에 지키는 게 의외로 잘 안 되는 모델도 많은데, 여기선 안정적이었어요. 시간은 15.8~17.7초(15.81·17.51·17.65 → 평균 16.99초). 935자를 읽고 추리는 값이라 코딩보단 조금 더 걸렸습니다.
3. 영한 번역 — 전문용어에서 갈리는데, 잘 넘겼다
마지막은 번역. 그냥 일상 문장이면 요즘 AI 아무나 다 합니다. 그래서 LLM 추론 최적화에 관한 영어 단락을 줬어요. 전문용어가 통용 표기대로 나오는지가 핵심이었죠.
결과는 합격이었습니다. latency는 "지연 시간", throughput은 "처리량", quantization은 "양자화", inference는 "추론", context window는 "컨텍스트 윈도우" — 전부 통용 표기로 옮겼고, 한국어 뒤에 영어를 괄호로 같이 달아줘서 읽는 사람이 헷갈리지 않게 배려했습니다(지연 시간(latency) 식으로요). 문장 누락도 0건, 한국어도 어색하지 않았어요.
그런데 세 번을 나란히 놓고 보니 딱 한 군데서 흔들렸습니다. batching을 1·2회차는 "배치(batch)"로, 3회차는 "일괄 처리(batching)"로 옮겼어요. 둘 다 틀린 말이 아니고 오히려 3회차가 더 친절한 번역인데, 문제는 '한 문서 안에서 용어가 갈린다'는 것입니다. 매뉴얼이나 기술 문서를 여러 번 나눠 번역시키면 이 흔들림이 그대로 품질 문제로 남습니다. 긴 문서는 용어집을 먼저 못 박고 시키는 게 안전하다는 뜻이죠.
시간은 3회 18.03·18.61·20.18초(범위 18.0~20.2초·평균 18.94초)로 세 작업 중 가장 오래 걸렸는데, 원문을 이해하고 용어까지 맞춰야 하니 수긍이 가는 수준이었습니다.
그래서, 가성비 눈으로 본 총평
세 작업 실측을 한 표로 정리하면 이렇습니다.
| 작업 | 응답 시간(3회) | 결과 한 줄 |
|---|---|---|
| 코딩(함수 작성) | 10.0~14.6초 | 정답·실행 검증 통과. 단 과제가 쉬움 |
| 한국어 요약 | 15.8~17.7초 | 5문장 약속 준수 + 환각 0 |
| 영한 번역 | 18.0~20.2초 | 전문용어 통용 표기 정확·누락 0 |
가성비에 진심인 입장에서 보면, "무난하게 시킬 일은 믿고 맡길 만하다"가 솔직한 한 줄 평이에요. 코딩·요약·번역 같은 보편 작업에서 시킨 대로, 거짓말 안 보태고 해냈으니까요. 다만 위에서 박아둔 대로 이건 단일 샘플급 테스트라, "Gemini가 최고다" 같은 단정은 하지 않습니다.
같은 문제를 내 PC 공짜 모델에 줘봤더니 — 시간이 뒤집혔다
여기가 이 글의 진짜 쓸모입니다. 위 세 작업은 이 블로그의 고정 테스트셋(TXT-02·TXT-01·TXT-05)이라, 똑같은 입력을 내 PC의 공짜 모델(gemma3:4b)에도 그대로 던져본 기록이 따로 있습니다. 같은 문제·같은 지시문·같은 회차 수(3회)로 잰 값이라 그냥 포개집니다.
- 코딩: 클라우드 Gemini 평균 12.28초 vs 로컬 gemma3 평균 4.08초
- 한국어 요약: 16.99초 vs 1.72초
- 영한 번역: 18.94초 vs 1.81초
숫자만 보면 3GB짜리 공짜 모델이 열 배 빠릅니다. 그런데 이걸 "로컬이 클라우드보다 좋다"로 읽으면 함정이에요. 클라우드 값에는 네트워크 왕복과 클라이언트 오버헤드가 통째로 들어 있고, 무엇보다 모델 무게가 전혀 다릅니다(4B 소형 vs 프런티어급). 즉 이 대조가 말해주는 건 "누가 똑똑한가"가 아니라 — 쉬운 정형 잡무라면 기다림 없이 공짜로 처리할 길이 있다는 것입니다. 어려운 판단·긴 컨텍스트·정확도가 돈으로 직결되는 일은 여전히 클라우드 몫이고요.
같은 조건으로 로컬 쪽을 자세히 잰 기록은 공짜로 내 PC에서 돌리는 AI(gemma3:4b), 유료 클라우드 어디까지 따라잡나에, 코딩만 더 파고든 건 전용 코드 AI vs 범용 AI 로컬 실측에 있습니다. 돈 얘기와 빅3 비교가 궁금하면 빅3, 같은 작업 시켜보면 뭐가 다를까도 같이 보세요.
테스트 방법 메모
- 고정 테스트셋 태스크: 코딩(TXT-02)·한국어 요약(TXT-01)·영한 번역(TXT-05), 각 3회 반복 = 총 9회.
- 9회 실측값 전부(초): 코딩 12.3·14.56·9.99 / 요약 17.51·17.65·15.81 / 번역 18.03·18.61·20.18.
- 요약 입력 지문은 직접 작성한 935자(지시문 제외) 커피 글이고, 번역 입력은 843자 영어 단락입니다.
- 출력 원본 9건과 호출 로그는 저장소(
test_runs/gemini-20260624/)에 그대로 보관합니다(같은 입력 = 같은 조건 재현용). - 로컬 대조값은 같은 테스트셋을
ollama로 돌린test_runs/ollama-gemma3:4b-20260626/에서 가져왔습니다. - 수치는 측정값 그대로이며, 모르는 건 모른다고 둡니다.
참고자료
test_runs/gemini-20260624/(이 저장소) — run.yaml·출력 원본 9건·호출 로그 전량test_runs/ollama-gemma3:4b-20260626/— 같은 테스트셋의 로컬 대조 실행 기록- cinevyze 표준 테스트셋 — 코딩
TXT-02· 한국어 요약TXT-01· 영한 번역TXT-05
이 글은 cinevyze 운영자가 Gemini 3.1 Pro를 고정 테스트셋으로 직접 테스트하고, 출력과 응답 시간을 기록해 비교·검수한 결과입니다. 무엇을 어떻게 테스트할지, 출력 품질 판단과 사실 확인은 모두 사람이 했고, 글을 다듬는 일부 과정에 AI 도구의 도움을 받았습니다. 측정 시점은 2026년 6월(Gemini 3.1 Pro High)이며, 모델 업데이트에 따라 결과는 달라질 수 있습니다.
댓글
댓글 쓰기