측정방법

글쓴이

cinevyze의 글 상당수는 "이 AI가 이걸 얼마나 하나"를 직접 돌려서 잰 기록입니다. 숫자를 어디서 어떻게 얻었는지 밝히지 않으면 믿을 이유가 없으니, 여기에 절차를 공개합니다.

무엇으로 재나

측정은 제 PC 한 대에서 돌립니다. 클라우드 대여나 대행이 아닙니다.

항목값
GPUNVIDIA GeForce RTX 4070 Ti SUPER (16GB) · 드라이버 595.84
CPUAMD Ryzen 5 5600X (6코어 12스레드)
메모리30GB
OSUbuntu 26.04 LTS
로컬 모델 구동ollama 0.32.1

"CPU만으로" 라고 쓴 글은 실제로 GPU를 쓰지 않은 실행입니다.

언제부터, 몇 번이나

2026년 6월 21일부터 2026년 9월 14일 기준 55건의 측정 기록이 남아 있습니다. 글 한 편이 보통 런 한 개 이상에 대응하고, 파일럿(소규모 예비 실행)이 따로 붙는 경우도 있습니다. 아래 수치는 모두 이 날짜 기준이며, 측정이 쌓이면 갱신합니다.

사용한 도구별 런 수:

도구런
ollama (로컬 LLM)40
Whisper (음성 인식)5
Gemini API4
ComfyUI (이미지 생성)2
Tesseract (OCR)2
rembg (배경 제거)1
이미지 업스케일1

주로 돌린 모델: gemma3:4b(25) · qwen3-vl:8b(9) · Gemini 3.1 Pro (High)(4) · animagine · qwen2.5-coder:7b · qwen2.5:7b 외 14종

어떻게 재나

1. 축을 먼저 정하고, 그 축만 바꿉니다. 런마다 run.yaml 에 "무엇을 비교하는가"(axis)와 비교군(arms)을 먼저 적고 시작합니다. 예를 들어 자가채점 측정의 축은 채점 방식 3종 × 답을 쓴 주체 2종 이었고, 비교군은 정답 비공개 / 먼저 풀고 비교 / 정답 공개 였습니다.

2. 채점은 사람 인상이 아니라 정답키 대조입니다. 정답이 하나로 정해지는 문항만 씁니다. 맞고 틀림은 정답키와 문자열·값 대조로 결정합니다. 모델이 모델을 채점하는 실험에서도, "누가 맞았나"의 최종 판정은 정답키가 합니다.

3. 실행 조건을 고정합니다.

  • keep_alive: 0 — 모델을 VRAM에 물고 있지 않습니다. 매 호출이 같은 조건에서 시작합니다.
  • request_parallelism: 1 — 병렬로 던지지 않습니다. 순서가 결과에 섞이지 않게 합니다.

4. 실패한 응답도 셉니다. 파싱 실패(unparsed), 빈 답(blank_answer), 인프라 오류(infra_errors)를 집계에 별도 항목으로 남깁니다. 성공한 응답만 골라 비율을 계산하지 않습니다.

5. 원본 호출 기록을 남깁니다. 런 디렉터리마다 이렇게 남습니다.

run.yaml            방법·축·비교군 정의, 실행 조건
raw/                호출 하나하나의 원본 요청·응답
results.json/.csv   문항별 결과
aggregate.json      집계 (실패 항목 포함)
model_metadata/     그때 그 모델의 버전·수정일·파라미터

글에 실리는 "실행 결과" 이미지는 화면 사진이 아닙니다

일부 글 하단에 검은 배경의 터미널처럼 생긴 이미지가 있습니다. 이건 화면을 촬영한 스크린샷이 아니라, 실행 기록이 담긴 폴더에 명령을 걸어 나온 출력을 그대로 이미지로 렌더한 것입니다. 사이트 차원에서 미리 밝혀둡니다.

  • 만드는 방법 — ls -l --time-style=long-iso <런 폴더>, cat run.yaml 같은 고정된 명령을 실행해 나온 표준 출력을 글자 그대로 렌더합니다. 사람이 손으로 고쳐 쓰지 않습니다.
  • 이미지 하단에 렌더 시점을 적습니다. 화면에 보이는 파일 시각(mtime)은 그 파일이 만들어진 때이고, 렌더 시점은 그림을 만든 날입니다. 둘은 다릅니다.
  • 재연하지 않습니다. 이미 끝난 측정을 다시 돌리며 "실행 중" 장면을 찍는 일은 하지 않습니다. 사후에 찍은 것을 그때인 척하는 게 되니까요.
  • 증명 범위 — 이 이미지가 보여주는 건 "현재 그 산출물이 보존돼 있다"까지입니다. 파일 기록 시각은 사후에 바꿀 수 있는 값이라, 이미지 한 장으로 "그 날짜에 실제로 돌렸다"가 증명되지는 않습니다. 그렇게 주장하지 않습니다.
  • 출력이 길면 앞부분만 싣고, 그 사실을 이미지 안에 적습니다(예: "표시용 절단 — 전체 324줄 중 앞부분만"). 긴 줄을 접은 경우도 마찬가지로 밝힙니다.
  • 앞으로 새로 측정하는 글에는 실제로 도는 동안 찍은 화면이 들어갈 수 있습니다. 그건 촬영본이라 "화면"이라고 부르고, 위의 렌더 이미지와 표기를 섞지 않습니다.

이 측정이 말하지 않는 것

  • 표본이 작습니다. 대부분 수십~수백 회 규모입니다. 업계 벤치마크가 아니라 "내 환경에서 이랬다"입니다.
  • 모델은 계속 바뀝니다. 같은 이름의 모델도 몇 달 뒤엔 다른 결과가 나올 수 있습니다. 그래서 런마다 모델 수정일을 함께 남깁니다.
  • 로컬 소형 모델이 중심입니다. gemma3:4b 같은 4B~8B급이 많습니다. 대형 클라우드 모델의 성능을 대변하지 않습니다.
  • 한국어 기준입니다. 영어 환경에서는 다른 값이 나올 수 있습니다.
  • 결과가 제 기대와 다르게 나온 경우에도 그대로 씁니다. 채점기 자체가 틀린 걸 발견하면 그것도 본문에 적습니다.

요금·한도를 다루는 글은 다릅니다

요금제·무료 한도를 정리한 글은 측정이 아니라 조사입니다. 성격이 달라서 표기를 나눕니다.

  • 이런 글은 공식 요금 페이지·도움말 문서를 확인해 정리한 것이고, 본문에 확인한 날짜를 적습니다.
  • 요금과 한도는 자주 바뀝니다. 결제 전에는 반드시 공식 페이지를 직접 보세요.
  • 직접 결제해서 확인한 항목과, 문서만 보고 옮긴 항목을 구분해 적습니다.

누가 씁니까

  • 운영·측정·최종 검수: 시네
  • 글 작성 과정에서 AI 도구를 사용합니다. 초안 구성과 문장 다듬기에 씁니다. 숫자와 사실 판단은 위 절차로 얻은 것이고, 최종 검수는 사람이 합니다.
  • 문의: cinevyze@gmail.com

틀린 것을 발견하셨다면

수치나 사실이 틀렸다면 위 메일로 알려주세요. 확인해서 본문을 고치고, 무엇을 언제 왜 고쳤는지 해당 글에 남깁니다.

실행 코드 공개

이 측정을 직접 재현하려면 — 실행 코드와 채점기를 공개해 뒀습니다. cinevyze-bench (GitHub) 의 run_*.py / *_score.py 입니다. 문항 파일도 같이 들어 있어 같은 조건으로 다시 돌려볼 수 있습니다.

이 절차로 잰 글 보기

위 절차를 실제로 적용한 글은 전체 글 목록에 주제별로 정리돼 있습니다.

주제별로 바로 가기: AI 글쓰기·챗봇 · AI 생산성·자동화 · AI 이미지·디자인 · AI 활용가이드

사이트 전체의 방향은 소개에, 측정을 실행하고 검수하는 사람은 운영자에 적어 뒀습니다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

AI 프롬프트를 영어로 바꿔도 60쌍 중 우열이 갈린 건 9쌍뿐이었습니다

글쓴이
이미지
첫 실패는 모양이 멀쩡했습니다. JSON으로 열렸고, 요구한 키도 빠짐없이 들어 있었습니다. 그런데 category 값 하나가 정답표와 달랐습니다. 한국어 지시문으로 돌린 문의 분류 과제였습니다. 형식이 깨진 게 아니라 다 읽히는데 값이 틀린 것 입니다. 한국어 프롬프트를 영어로 번역해야 답이 더 정확해지는지, 아니면 지시를 명확히 쓰는 데 시간을 써야 하는지 정하려는 분을 위해 다시 쟀습니다. 같은 구조화 과제 60개를 gemma3:4b에 두 번씩 줬습니다. 입력, 정답, 출력 형식은 고정하고 지시문만 한국어와 영어로 바꿨습니다. 총 120회입니다. 먼저 결론부터 놓겠습니다 지시문 언어 JSON 파싱 성공 스키마 준수 값까지 정답 한국어 60/60 60/60 36/60 영어 60/60 60/60 39/60 영어가 세 건 앞섰습니다. 하지만 이 숫자만 보고 「영어가 더 좋다」고 결론내리면 짝비교를 놓칩니다. API가 기록한 응답 토큰 중앙값은 두 언어 모두 76개였습니다. 지시문 쪽은 한국어 372토큰, 영어 314토큰이 중앙값이라 영어가 짧았지만, 출력 길이는 같았습니다. 같은 입력에서 두 언어 중 하나만 성공한 경우를 세니 한국어만 성공 3쌍, 영어만 성공 6쌍이었습니다. McNemar 정확검정 p값은 0.5078이었습니다. 이번 60쌍에서는 이 차이를 우연과 구분하지 못했습니다. 번역 비용을 들일 만큼 영어 우위가 확인된 결과가 아닙니다. 무엇을 같게 두고 무엇만 바꿨나 과제는 세 종류였습니다. 고객 문의를 허용된 카테고리로 분류 주문 문장에서 판매처·상품·수량을 추출 상품 설명에서 제품명·재질·재고 여부를 추출 각 과제에 입력 20개를 뒀습니다. 한국어 지시문과 영어 지시문은 같은 필드, 같은 허용값, 같은 JSON 규칙을 담았습니다. 입력 문장과 기대 정답은 바꾸지 않았습니다. 실행 순서도 한쪽으로 몰지 않았습니다. 절반은 한국어부터, 절반은 영어부터 돌려 예열이나 순서가 언어...
Read more »

AI한테 일 제대로 시키는 법 — 프롬프트 4칸 공식(같은 모델에 18번 넣어 재봤습니다)

글쓴이
이미지
막연한 한 줄로 시켰을 때 요구조건 충족률 28.9퍼센트 , 같은 일을 네 칸으로 쪼개 시켰을 때 80.0퍼센트 — 모델은 그대로 두고 지시문만 바꿨는데 몇 배가 뛰었습니다(2026년 7월 26일 · 같은 모델에 18번 측정). 그런데 얼마나 올랐느냐보다 중요한 게 따로 있어요. 나머지 20퍼센트는 또박또박 말해줬는데도 안 지켰습니다. 무엇이 안 지켜졌는지가 이 글의 진짜 알맹이입니다. AI한테 일을 맡겼다가 엉뚱한 결과만 받아들고 반나절 날려본 적, 한 번쯤 있으실 겁니다. 그런 날은 보통 "AI가 아직 멀었네" 하고 도구를 탓하며 끝나죠. 그런데 십중팔구 AI가 부족한 게 아니라 지시가 막연했던 겁니다. 이 인턴은 값이 싼 대신 눈치가 없어서, 안 알려준 건 그냥 안 합니다. 사람 신입이라면 알아서 채웠을 자리를 통째로 비워두고 내놓아요. 그러니 일꾼을 탓하기 전에 지시서부터 봐야 합니다. 문제는 이 얘기가 온 인터넷에 널려 있는데 정작 숫자를 보여주는 글이 없다는 겁니다. "프롬프트를 잘 쓰면 결과가 좋아진다"는 건 다들 아는데, 얼마나 좋아지는지, 어떤 조건이 좋아지고 어떤 조건은 끝내 안 고쳐지는지는 아무도 안 알려줘요. 그래서 직접 쟀습니다. 막연한 한 줄이 왜 시간을 잡아먹나 "블로그 글 하나 써줘." 이렇게 던지면 AI는 수천 갈래 중 아무거나 하나를 골라 그럴듯하게 내놓습니다. 그게 내 머릿속 그림과 맞을 확률은 낮죠. 그래서 다시 시키고, 조건을 붙이고, 결국 대화를 열 번 왕복합니다. 처음부터 조건을 한 번에 정리해 넣었으면 한두 번에 끝날 일을요. 요점은 이겁니다. 이 인턴은 내 의도를 읽지 못합니다. 사람 신입이라면 눈치로 채울 사람 몫의 판단 — 누구를 위한 글인지, 길이는, 톤은, 형식은 — 을 말로 꺼내주지 않으면 알 길이 없어요. 내가 머릿속에서 당연하게 여기는 전제일수록 더 그렇습니다. 그 전제를 빠짐없이 적어주는 가장 쉬운 방법이 '4칸'입니다....
Read more »

AI가 근거로 준 링크 59개를 눌러봤습니다 — 열린 건 1개였습니다

글쓴이
이미지
www.meea.go.kr · www.molab.go.kr · www.joso.go.kr 세 주소 모두 세상에 없습니다. 도메인 조회를 하면 그런 이름이 없다고 나옵니다. 그런데 이 주소들은 제가 지어낸 게 아니라, "근거 출처의 URL도 함께 적어 주세요"라고 시켰을 때 AI가 답변 맨 끝에 출처: 라고 적어 내려놓은 것들입니다. 환경부( me.go.kr )와 고용노동부( moel.go.kr )를 한 글자씩 비튼 모양이라 언뜻 보면 그럴듯하죠. cinevyze는 원고에 붙는 근거를 사람이 마지막에 확인합니다. 그 확인이 얼마나 걸릴 일인지 감이 없어서, 아예 세어봤습니다. 한국 제도 질문 여섯 개를 108번 던지고, 답변에 적힌 링크를 전부 실제로 HTTP로 눌러본 결과를 옮깁니다. 2026년 8월 8일, 로컬 gemma3:4b 와 qwen3-vl:8b 기준입니다. 여섯 개 질문을 108번 던지고, 링크를 전부 눌렀습니다 질문은 답이 공개 웹에 분명히 존재하는 한국 제도 여섯 가지로 골랐습니다. 폭염주의보 발령 기준, 1종 보통 면허로 몰 수 있는 차량, 관공서 공휴일을 정하는 법령과 소관 부처, 국보·보물 지정번호 제도 변경, 표준시가 UTC+9인 근거, 재활용 분리배출 표시의 근거 법령. 돈이나 건강이 걸린 민감한 분야는 애초에 뺐습니다. 지시문은 세 갈래로 나눴습니다. 그냥 요구 — "답변 끝에 근거 출처의 URL도 함께 적어 주세요." 대부분의 사람이 실제로 쓰는 문장이죠. 확실한 것만 — 위에 한 줄을 더 붙였습니다. "실제로 존재한다고 확신하는 URL만 적고, 확신할 수 없으면 URL 대신 출처 없음 이라고 적어 주세요." 빠져나갈 구멍을 만들어 준 겁니다. URL 금지 — "URL은 쓰지 말고 기관 이름과 문서 이름으로만 적어 주세요." 세 갈래 × 질문 6개 × 모델 2개 × 3회 반복 = 108회 . 월급 안 나가는 일꾼 둘에게 같...
Read more »