로컬 비전 AI, 사진을 얼마나 '이해'하나 실측 — 한글 메뉴·차트는 척척, 도형 세기는 헛발 (2026년 7월)

빨간 원 세 개를 네 개라고 우기는 AI한테, 혹시 중요한 일을 맡겨도 될까요? 그런데 이 일꾼, 바로 옆 점수표에선 90+80+80과 85+95+85을 정확히 더해 "B팀이 265점으로 높다"고 답합니다. 이렇게 앞뒤가 안 맞는 AI, 본 적 있으세요? 같은 일꾼이 같은 시험지에서 벌인 일입니다.

이 앞뒤 안 맞는 일꾼이 바로 로컬 비전(멀티모달) 모델입니다. 사진을 던지면 "이건 카페 메뉴판이고 제일 비싼 건 콜드브루"라고 답하는 AI, 챗GPT·제미나이 같은 클라우드로는 익숙하시죠. 그런데 이걸 내 PC에서, 무료로, 인터넷 없이 굴릴 수 있다는 건 아직 덜 알려졌습니다.

궁금한 건 하나죠. 공짜로 내 컴퓨터에서 부리는 일꾼이 월급값을 하나. 그래서 로컬 비전모델 둘을 직접 돌려서 재 봤습니다. 계정도 구독도 필요 없는 오픈웨이트 모델을 우리 벤치마크로 실행한 결과이지, 특정 제품의 장기 사용 리뷰가 아닙니다. 측정 시점은 2026년 7월입니다.

무엇을, 어떻게 시험했나

• 일꾼(모델): qwen2.5vl:7b, qwen3-vl:8b (둘 다 Ollama로 굴리는 오픈웨이트 비전모델)
• 작업장(하드웨어): NVIDIA RTX 4070 Ti SUPER(16GB) · AMD 라이젠 5 5600X
• 시험지: 정답을 미리 정해 놓고 직접 만든 이미지 4종 — ① 한글 카페 메뉴판(가격 6종) ② 월별 매출 막대차트 ③ 팀별 점수표 ④ 색깔 도형 그림
• 핵심: 글자만 뽑는 OCR이 아니라 '이해'를 요구하는 질문을 던졌습니다. "가장 비싼 메뉴는?"(비교), "매출 최고인 달은?"(차트 해석), "총점 높은 팀은?"(읽기+덧셈), "빨간 원 몇 개?"(시각 세기).

정답을 아는 시험지로만 물었으니 채점은 정직합니다. 속도는 Ollama가 돌려주는 실제 타이밍(모델 로딩 시간·초당 토큰)으로, VRAM은 nvidia-smi로 쟀습니다.

성적표 — 텍스트·차트·표는 척척, 세기는 헛발

질문(정답)	qwen2.5vl:7b	qwen3-vl:8b
메뉴 최고가 (콜드브루 6,000원)	✅ 정확	✅ 정확
차트 최고월 (4월)	✅ 정확	✅ 정확
표 총점 비교 (B팀 265 > A팀 250)	✅ 덧셈까지 정확	✅ 정확(단 영어로 답변)
빨간 원 개수 (3개)	❌ 4개로 오답	✅ 정확
채점	3 / 4	4 / 4

놀란 건 두 가지. 하나는 한글 텍스트를 그림 속에서 읽고 이해했다는 점. 메뉴 6개 가격을 비교해 최고가를 집어냈고, 점수표에선 세 과목을 실제로 더해서(90+80+80=250, 85+95+85=265) B팀이 높다고 계산까지 했습니다. 글자를 뽑는 걸 넘어 '읽고 판단'한 거예요.

다른 하나는 약점이 선명했다는 점. 7b는 화면에 빨간 원이 셋인데 넷이라고 답했습니다. 텍스트·표는 척척 해내는 일꾼이 단순 도형 개수에서 헛발질한 거죠. 월급값은 하면서 엉뚱한 데서 삽질하는 신입 같습니다. 시각적으로 세는 게 이 부류의 약한 고리라는 뜻입니다. 8b는 개수는 맞혔지만 한국어로 물은 표 문제에 영어로 답하는 잔버릇을 보였고요. 성능이 올라가면 약점 하나가 사라지고 다른 버릇이 생기는 셈입니다.

OCR과 뭐가 다른가 — 이게 핵심입니다

헷갈리기 쉬운데, 이건 한국어 OCR 실측에서 다룬 것과 다른 일꾼입니다.

• OCR = 이미지에서 글자만 그대로 받아 적습니다. "아메리카노 4,500원 카페라떼 5,000원…"을 텍스트로 뽑죠. 뽑을 뿐, 뭐가 제일 비싼지는 모릅니다.
• 비전 AI(멀티모달) = 이미지를 이해하고 질문에 답합니다. "제일 비싼 건 콜드브루 6,000원"이라 판단하고, 차트 추세를 읽고, 표를 더합니다.

용도가 갈립니다. 스캔 문서를 텍스트로 바꾸는 거면 OCR, "이 스크린샷 핵심이 뭐야", "이 차트 요약해 줘"처럼 판단이 필요하면 비전 AI. 경쟁이 아니라 특기가 다른 일꾼입니다. 받아쓰기만 하는 일꾼과 읽고 판단까지 하는 일꾼은 월급 자체가 다른 겁니다.

속도와 VRAM — 굴릴 만한가

무료 일꾼이라도 느려 터지면 월급값을 못 합니다. 그래픽카드까지 꽉 채우면 아예 못 굴려요. 그래서 굴려 보기 전에 이것도 쟀습니다.

항목	qwen2.5vl:7b	qwen3-vl:8b
모델 콜드 로딩(load_s)	3.4초	19.8초
첫 질문 총 소요(로딩+추론·wall_s)	4.3초	32.3초
두 번째 질문부터	0.9~1.9초	2.2~6.0초
이후 추론 속도(2~4번째 질문)	110.2~116.3 토큰/초	103.6~105.9 토큰/초
(첫 질문의 추론 속도)	106.0 토큰/초	105.3 토큰/초
VRAM 최대 점유(측정 전 상주 포함)	7,926MiB	8,332MiB
모델이 실제로 더 쓴 몫	약 6,812MiB(≈6.7GiB)	약 7,218MiB(≈7.0GiB)

여기서 두 줄을 굳이 나눈 이유가 있습니다. 흔히 "첫 응답 3.4초"라고 뭉개서 쓰는데, 3.4초는 모델을 GPU에 올리는 시간일 뿐이고 실제로 답이 손에 들어오기까지는 4.3초가 걸렸어요. 8b는 차이가 더 큽니다 — 로딩만 19.8초, 답까지는 32.3초. 기다리는 사람이 체감하는 건 뒤쪽 숫자입니다.

초당 토큰은 둘이 비슷했지만, 처음 불러오는 콜드 로딩에서 8b가 훨씬 오래 걸렸습니다(약 20초). 한 번 올라간 뒤로는 7b가 질문당 0.9~1.9초, 8b가 2.2~6.0초로 빨라졌고요. 참고로 이 수치는 매번 모델을 내렸다 올리지 않고 측정 중에만 올려 둔 뒤 끝나고 바로 내린 값입니다. VRAM도 정직하게 나눠 적었어요 — 측정 전에 제 카드에 이미 1,114MiB가 물려 있던 상태(제 16GB 카드의 사정이고, 남의 PC엔 그대로 적용되지 않습니다)라, 표의 최대 점유값에서 그만큼을 빼야 모델 자체가 요구하는 몫(6.7GiB·7.0GiB)이 나옵니다. 그래서 8GB 카드 얘기는 이렇게 읽으셔야 합니다: 흔히 "8GB"로 파는 카드의 VRAM은 실측 단위로 8,192MiB(=8GiB)이고, 8b 모델이 요구한 몫은 7,218MiB입니다. 산술로는 들어가지만 남는 게 974MiB뿐이라, 화면 출력이나 다른 프로그램이 VRAM을 조금만 물고 있으면 그대로 넘칩니다(제 PC에서 상주분이 1,114MiB였던 걸 감안하면 실제로 넘칠 쪽이 유력하죠). 즉 8GB 카드는 "빠듯"이 아니라 "조건 맞아야 겨우", 12GB 이상이면 여유가 있습니다. 로컬 AI에서 그래픽카드 메모리가 왜 중요한지는 로컬 이미지 생성 실측에서도 같은 맥락으로 다뤘습니다.

정직하게 — 이 실측의 한계

이 일꾼을 과대평가하지 않으려 분명히 해 둡니다. 공짜로 굴리는 일꾼이라도 맹신은 금물이에요.

• 표본이 작습니다. 이미지 4장, 모델당 4문항이에요. "이 모델은 몇 점짜리"라고 일반화할 규모가 아니라, 경향(텍스트·표는 강하고 세기는 약하다)을 보여줄 뿐입니다.
• 직접 만든 깔끔한 이미지로 쟀습니다. 흔들린 실사진, 복잡한 배경, 손글씨는 시험하지 않았어요. 현실 이미지에선 정확도가 더 떨어질 수 있습니다.
• 한 번씩만 물었습니다. 같은 질문을 여러 번 던지면 답이 흔들릴 수 있는데(생성 AI 특성), 그 편차는 재지 않았습니다.

즉 "로컬 비전 AI가 이 정도는 하더라"는 방향으로 읽어 주시고, 중요한 판단에 쓸 거면 본인 이미지로 직접 확인하세요.

한국어로 물었는데 영어로 답하면 — 그리고 어디에 굴리나

실측에서 8b 일꾼이 표 문제를 영어로 답한 걸 봤죠. 로컬 비전모델을 굴리다 보면 흔한 버릇인데, 대처는 간단합니다. 프롬프트 맨 앞에 "반드시 한국어로만 답해"를 한 줄 박아 두면 대부분 잡힙니다. 그래도 새면 "출력 언어: 한국어 고정"을 규칙으로 명시하세요. 공짜 일꾼한테 '보고는 한국말로'라고 사규를 정해 주는 셈입니다.

그럼 이 일꾼을 실제로 어디에 굴리나. 직군별로 나눠 봅니다.

• 자영업·소상공인 — 메뉴판·전표·영수증을 찍어 "이 중 5,000원 넘는 항목만 뽑아줘" 식으로. 실측에서 메뉴 최고가를 정확히 집었으니 단순 정리엔 바로 쓸 만합니다.
• 학생·직장인 — 강의 슬라이드·PDF 캡처를 넣고 "이 표 요약해줘". 표·차트 이해가 강점이라 잘 맞습니다. 단 개수·정밀 위치가 걸린 문제는 사람이 재확인.
• 개발자 — 에러 스크린샷·대시보드를 넣고 상황 파악. 오프라인·무료라 사내 화면이 외부로 안 나가는 게 큽니다.

공통 원칙 하나. 숫자와 개수가 결과를 좌우하는 일에는 이 일꾼을 혼자 두지 마세요. 도형 세기에서 헛발질한 걸 기억하면 됩니다.

클라우드 대신 로컬, 뭘 얻고 뭘 잃나

같은 일을 챗GPT·제미나이(GPT-4V급) 일꾼한테 시키면 더 정확할 때가 많습니다. 그런데도 로컬을 굴리는 이유는 분명해요.

• 얻는 것 — ①공짜(토큰 요금 0) ②오프라인(인터넷·계정 불필요) ③프라이버시(이미지가 내 PC 밖으로 안 나감). 민감한 사내 화면·개인 문서라면 이 셋이 결정적입니다.
• 잃는 것 — ①최상급 정확도(도형 세기 같은 약점) ②아주 긴 문서·복잡한 멀티스텝 추론 ③그래픽카드 값(8GB 이상 필요).

정리하면 '무제한으로 굴려도 공짜인데 가끔 실수하는 로컬 일꾼' vs '건당 돈 들지만 더 정확한 클라우드 일꾼'의 선택입니다. 프라이버시·양(量)이 중요하면 로컬, 정확도가 돈보다 중요하면 클라우드예요.

정리 — 무료 로컬 비전 AI, 어디에 굴리나

• 된다: 스크린샷·문서·차트·표를 읽고 요약하거나 질문에 답하기. 한글 이해도 생각보다 좋습니다. 인터넷 없이, 계정 없이, 내 PC에서.
• 주의: 개수 세기·정밀한 위치 판단은 틀릴 수 있습니다. 숫자가 중요하면 눈으로 재확인하세요.
• 하드웨어: 8GB 그래픽카드면 7b부터, 12GB 이상이면 8b도 여유. 없으면 CPU로도 돌지만 훨씬 느립니다.

로컬 음성 실측은 Whisper 한국어 받아쓰기에, 클라우드 빅3의 같은 작업 비교는 챗GPT·클로드·제미나이 실측에 따로 있습니다. 글자만 읽던 로컬 비전 AI가, 적어도 이 4문항에선 표와 차트까지 이해하는 일꾼으로 쓸 만해졌어요. 다만 글자는 척척 읽어도 도형 세기는 헛발질하니, 아직 시켜 보고 결과를 눈으로 확인해야 하는 일꾼입니다. 공짜로 굴리는 일꾼치고는 그 정도면 됐고요.

참고자료

• 실측 원본: test_runs/ollama-vision-20260723/run.yaml — qwen2.5vl:7b(3/4)·qwen3-vl:8b(4/4)·각 모델 4문항 출력·호출 로그(2026-07-23, RTX 4070 Ti SUPER)
• 대비: 한국어 OCR 실측(cinevyze) — 글자 추출과 이미지 이해의 차이
• 자매 실측: Whisper 한국어 받아쓰기·로컬 이미지 생성(SDXL)·빅3 같은 작업 비교(cinevyze)

이 글은 cinevyze 운영자가 로컬 비전모델을 직접 구동해 자체 테스트셋으로 측정한 결과를 정리·편집했습니다. 무엇을 어떻게 잴지·채점·판단은 직접 했고, 글 다듬는 일부 과정에 AI 도구의 도움을 받았습니다. 이 수치는 특정 제품 장기 사용 리뷰가 아니라 오픈웨이트 모델을 우리 벤치마크로 실행한 값이며, 표본(이미지 4장)이 작다는 한계를 본문에 명시했습니다. 측정 시점은 2026년 7월이고, 모델·버전이 바뀌면 결과는 달라질 수 있습니다.