AI에 "300자로 써줘"가 통할까 — 목표 글자수 4종 64회 준수율 실측
다들 프롬프트에 "800자로 써줘"라고 적고는 그 숫자가 지켜졌으려니 합니다. 솔직히 세어보는 사람은 거의 없죠. 그래서 세어봤더니 1748자가 나왔습니다. 두 배가 넘습니다.
AI 일꾼에게 글감 다듬는 잡무를 맡겨놓고 분량만 지정하면 끝일 줄 알았던 시네가, 그 기대를 숫자로 확인해봤습니다. 상품소개·공지·업무메일·후기 등 10주제를 목표 100·300·500·800자로 요청해 총 64회를 돌렸습니다. 2026년 8월 1일, 로컬 gemma3:4b 기준입니다.
결론부터 적으면, ±10% 안에 들어온 건 64회 중 15회(23.4%)입니다. 넷 중 셋은 요청한 길이를 벗어났습니다.
목표를 키울수록 넘치는 쪽으로 무너집니다
목표 글자수별로 16회씩 돌린 결과입니다. 길이는 공백을 포함하고 줄바꿈은 빼고 셌습니다. 코드펜스·제목·목록 기호 같은 장식은 채점 전에 제거했습니다. 쓰지 말라고 한 것들이니 그걸 글자수에 넣어주면 후하게 채점하는 셈이라서요.
| 요청한 길이 | 실제 중앙값 | 목표 대비 | ±10% 준수 | ±20% 준수 | 넘침/모자람 |
|---|---|---|---|---|---|
| 100자 | 102자 | 1.02배 | 3/16 | 12/16 | 8 / 8 |
| 300자 | 291자 | 0.97배 | 5/16 | 13/16 | 7 / 9 |
| 500자 | 560자 | 1.12배 | 5/16 | 8/16 | 11 / 5 |
| 800자 | 1000자 | 1.25배 | 2/16 | 6/16 | 11 / 5 |
100자와 300자에서는 중앙값이 목표에 거의 붙습니다. 102자, 291자면 눈대중으로는 "잘 지키네"입니다. 그런데 준수율은 3/16, 5/16밖에 안 됩니다. 중앙값이 맞는 것과 매번 맞는 것은 다른 얘기라는 뜻입니다. 100자 요청 16회만 봐도 제일 짧은 게 76자, 제일 긴 게 133자입니다. 그 한가운데가 102자인 것뿐입니다. 일꾼 열여섯 명 평균 근태가 정상이라고 개개인이 정시 출근한 건 아닌 것과 같습니다.
500자를 넘어가면 성격이 바뀝니다. 중앙값 자체가 위로 뜨고(1.12배 → 1.25배), 넘침이 모자람의 두 배가 됩니다. 800자를 요청하면 중앙값 1000자, 즉 요청한 것보다 200자를 더 받습니다. 최악은 상품소개 800자 요청에 1748자가 온 회차였습니다. 시키지도 않은 야근을 두 배로 하고 온 셈인데, 사장 입장에선 그 초과분을 다시 잘라내는 게 일입니다.
"정확히 맞춰"라고 못 박으면 더 안 맞습니다
여기가 이번 측정에서 제일 뜻밖이었던 부분입니다. 목표 글자수와 주제는 그대로 두고 길이를 요구하는 문장만 세 가지로 바꿔봤습니다.
| 지시 문구 | ±10% 준수 | 길이 중앙값(목표 대비) | 넘침/모자람 |
|---|---|---|---|
| "N자 내외로 써 주세요" | 5/12 = 41.7% | 1.01배 | 6 / 6 |
| "N자로 써 주세요" | 9/40 = 22.5% | 1.07배 | 23 / 17 |
| "정확히 N자에 맞춰 주세요. 넘치거나 모자라면 안 됩니다" | 1/12 = 8.3% | 1.14배 | 8 / 4 |
정확히 맞추라고 강하게 못 박은 쪽이 준수율 8.3%로 제일 낮았습니다. 심지어 아무 여지도 주지 않은 그 지시에서 길이가 목표의 1.14배로 가장 크게 부풀었습니다. 앞서 나온 1748자짜리도 "정확히 800자에 맞춰 주세요"라고 한 회차에서 나왔습니다. 일꾼한테 목소리를 높였더니 더 크게 어긋난 셈입니다.
반대로 "내외로"라고 여지를 준 쪽이 41.7%로 제일 높았고, 넘침과 모자람이 6대 6으로 균형까지 잡혔습니다. 인턴을 몰아세우는 것보다 여지를 주는 편이 결과가 나았다는 얘기라, 사장으로선 좀 머쓱한 결론입니다.
다만 이 표를 근거로 "내외가 다섯 배 낫다"고 말하면 안 됩니다. 표본이 문구마다 다릅니다(담백 40회, 나머지 각 12회). 12회에서 나온 41.7%와 8.3%는 한두 회차만 뒤집혀도 크게 흔들리는 숫자입니다. 이 측정으로 말할 수 있는 건 강하게 못 박는다고 더 잘 지켜지지는 않았다는 한 가지뿐입니다.
애초에 모델은 글자를 세지 않습니다
왜 이런 일이 생기는지는 원자료의 다른 열이 알려줍니다. 이번 64회에서 글자수를 생성 토큰 수로 나눈 값의 중앙값은 1.77이었습니다. 토큰 하나가 한국어 1.77자쯤 된다는 뜻입니다.
모델이 다루는 단위는 글자가 아니라 토큰입니다. "300자"라는 요청을 받으면 그걸 대략 170토큰쯤으로 환산해 감각적으로 맞추는 셈인데, 그 환산비가 글마다 흔들립니다. 조사가 많은 공지문과 영어 제품명이 섞인 상품소개는 같은 토큰 수라도 글자수가 다릅니다. 일꾼에게 자로 재라고 시켰는데 손에 쥐여준 게 눈금 없는 막대인 상황입니다. 인턴이 게을러서가 아니라 애초에 셀 도구가 없는 겁니다.
이렇게 보면 앞의 두 결과가 자연스럽게 이어집니다. 짧은 글은 감각으로 맞출 여지가 있으니 중앙값이 붙고, 길어질수록 환산 오차가 누적돼 위로 새는 겁니다. "정확히"를 강조해도 셀 수단이 없으니 준수율은 안 오릅니다. 강조가 하는 일은 정확도를 올리는 게 아니라 "충실히 쓰라"는 압력으로 읽혀 오히려 분량을 늘리는 쪽에 가까워 보입니다. 다만 이건 이번 표본에서 관측된 방향이고, 원인 규명은 이 측정 범위 밖입니다.
그래서 분량 지시를 어떻게 쓰나
실측을 받고 시네가 실제로 바꾼 건 이렇습니다. 일꾼을 더 굴리는 대신 지시서를 고쳤습니다.
글자수 대신 구조로 지시하세요. "300자"보다 "세 문장으로", "항목 다섯 개로"가 훨씬 잘 지켜집니다. 문장·항목은 모델이 실제로 셀 수 있는 단위이기 때문입니다. 분량이 목적이 아니라 "짧게"가 목적이었던 경우가 대부분이라, 이 교체만으로 해결되는 일이 많습니다.
꼭 글자수여야 하면 목표를 20% 낮춰 부르세요. 800자가 필요하면 650자쯤으로 요청하는 식입니다. 이번 500자·800자 구간의 중앙값이 각각 1.12배, 1.25배였으니 어림잡아 그만큼 되돌리는 겁니다. 정밀한 보정값이 아니라 이 표본에서 나온 어림수라는 건 분명히 해두겠습니다.
"정확히"라는 압박은 빼세요. 준수율을 올려주지 않았고, 길이를 오히려 부풀렸습니다. 대신 "내외" 같은 여지를 주는 표현이 이번 측정에서는 더 나았습니다.
길이는 프로그램으로 재고 자르세요. 결국 이게 제일 확실합니다. 받은 글을 len()으로 재서 범위를 벗어나면 다시 요청하거나 잘라냅니다. 사람이 눈으로 세지 말고, 모델에게 세라고 하지도 마세요. 셀 줄 아는 쪽은 프로그램뿐입니다.
한 번 더 요청하는 비용을 계산에 넣으세요. 이번 64회 중앙 소요는 회당 5.19초였습니다. 길이가 안 맞아 재요청하면 그 시간과 토큰이 그대로 두 배가 됩니다. 분량이 중요한 작업이면 처음부터 넉넉히 받아 자르는 쪽이 쌉니다.
이 숫자의 한계
- 모델 하나입니다.
gemma3:4b(4.3B, Q4_K_M) 결과이고, 더 큰 모델이나 상용 API가 같은 양상을 보인다는 근거는 이 측정에 없습니다. 월급 더 주는 일꾼이 자를 제대로 쥐고 있을 가능성은 충분히 있습니다. - 한국어 산문만 봤습니다. 코드·표·영어 텍스트는 토큰당 글자수가 달라 결과가 달라질 수 있습니다.
- 문구 비교는 표본이 작습니다. 각 12회입니다. 방향만 참고하시고 배수로 읽지 마세요.
- 글자수만 봤고 글의 질은 안 봤습니다. 분량만 맞춘 인턴이 일 잘하는 인턴이라는 뜻은 전혀 아닙니다. 품질 쪽은 로컬 AI 한국어 교정 실측에서 따로 다뤘습니다.
다음에는 "세 문장으로"처럼 구조로 지시했을 때 준수율이 실제로 오르는지를 같은 방식으로 재볼 생각입니다. 이번 데이터로는 그건 추정일 뿐입니다.
자주 묻는 것
Q. 유료 모델은 글자수를 더 잘 지키나요? 이 측정으로는 알 수 없습니다. 로컬 gemma3:4b 한 모델만 돌렸기 때문입니다. 다만 토큰 단위로 생성한다는 구조는 모델이 커져도 같으므로, 글자수를 정확히 세는 문제 자체가 사라지지는 않습니다.
Q. 프롬프트를 더 자세히 쓰면 되지 않나요? 분량 지시에 한정하면 이번 결과가 반대를 가리킵니다. 가장 자세하고 강했던 "정확히 N자에 맞춰 주세요"가 준수율 8.3%로 제일 낮았습니다. 물론 작업 지시 자체를 명확히 하는 건 여전히 중요합니다. 그 부분은 프롬프트 4칸 프레임에서 정리했습니다.
Q. 공백을 빼고 세면 결과가 달라지나요? 목표와 측정 기준을 함께 바꾸면 비율은 비슷하게 유지됩니다. 이번엔 한국어에서 통용되는 대로 공백 포함으로 세고, 프롬프트에도 "공백을 포함한 글자 수"라고 명시해 기준을 맞췄습니다.
이 글은 cinevyze 운영자가 해당 도구를 직접 테스트하고 결과를 비교·검수해 정리·편집했습니다. 테스트 설계·판단·사실확인은 모두 사람이 했고, 글 다듬는 일부 과정에 AI 도구의 도움을 받았습니다.
측정 조건: 2026년 8월 1일 · 로컬 gemma3:4b(4.3B, Q4_K_M) · 10주제 × 목표 4종(100·300·500·800자) 40회 + 문구 비교 24회 = 총 64회 · 생성 옵션은 모델 기본값 · 인프라 오류 0건 · 길이는 공백 포함·줄바꿈 제외, 마크다운 장식과 머리말은 제거 후 측정. 원자료(프롬프트 전문·원응답·API 메타데이터)는 실행 기록으로 보관합니다.
참고
댓글
댓글 쓰기