대화가 길어지면 AI가 앞의 지시를 잊을까 — 21턴 대화 22개, 462회 실측
챗봇에 "앞으로 답변은 이렇게 해줘"라고 규칙을 걸어두면, 스무 턴쯤 지난 뒤에도 그 규칙이 살아 있을까요?
일꾼을 뽑아놓고 근무수칙을 첫날 한 번만 일러준 셈인데, 사장 입장에선 그게 오후까지 가는지가 궁금하죠. 커뮤니티에서는 "대화가 길어지면 AI가 앞의 지시를 잊는다"가 거의 정설처럼 돌아다니는데, 정작 같은 규칙으로 턴 수를 늘려가며 세어본 한국어 자료를 찾기 어려웠습니다. 그래서 직접 재봤습니다. 규칙 3개를 건 21턴짜리 대화를 본런 18개 378회, 뒤에 붙인 대조군 4개 84회입니다. 2026년 8월 6일, 로컬 gemma3:4b와 qwen3-vl:8b 기준입니다.
규칙 3개를 걸고 21턴을 굴린 방법
월급 안 나가는 일꾼 둘을 앉혀놓고 근무수칙 세 줄을 던진 뒤 하루치 잡무를 시키는 설계입니다. 다만 이 녀석들이 수칙을 지켰는지를 사람 눈으로 판단하면 측정은 그 자리에서 무의미해집니다. 그래서 기계가 한 줄로 판정할 수 있는 규칙만 걸었습니다.
- 접두 — 모든 답변을
요약:으로 시작할 것 - 영어 금지 — 답변에 영어 알파벳을 쓰지 말 것(한글과 숫자만)
- 서명 — 답변 마지막 줄에
— 가온다인 안내봇을 붙일 것
대화는 사무 총무 문의, 문서·일정 관리, 생활 정리 요령 세 갈래로 각각 21개 질문을 미리 적어뒀습니다. 질문은 규칙과 아무 상관 없는 잡문이고, '영어 금지'를 공정하게 재려고 질문 문장에도 알파벳을 한 글자도 넣지 않았습니다.
규칙을 어떻게 붙들어두느냐도 세 갈래로 나눴습니다.
- 첫 턴에만 — 규칙을 맨 처음 한 번만 적습니다. 사람들이 실제로 하는 방식이죠.
- 시스템 고정 — 규칙을 시스템 메시지에 넣어 매 호출에 항상 딸려가게 합니다.
- 매 턴 재삽입 — 질문 끝에 규칙 한 줄을 매번 다시 붙입니다.
판정에는 관대한 쪽을 택했습니다. 서명을 새 줄에 넣었든 마지막 문장 끝에 붙였든, 마지막 줄이 서명으로 끝나면 지킨 것으로 셌습니다. 대시 기호가
—인지-인지도 따지지 않았고요. 재려던 것은 "서명을 붙였는가"이지 문장부호 취향이 아니니까요.
★한 가지는 반드시 못 박아야 합니다. 컨텍스트 창을 8,192로 명시하고 매 턴 실제 투입 토큰을 기록했습니다. 이걸 안 하면 모델이 규칙을 '잊은' 게 아니라 프롬프트에서 규칙이 '잘려나간' 것을 망각이라고 발표하게 됩니다. 긴 문서 위치별 정보손실 실측에서 기본 설정이 문서의 93%를 그냥 버리는 걸 확인한 뒤로, 이 항목은 그냥 넘기지 않습니다.
접두와 서명은 461회 내내 남았습니다
본런 378회 중 한 모델이 빈 응답을 낸 1회를 빼고 377회, 대조군 84회를 더해 총 461회를 집계했습니다. 표로 옮기면 이렇습니다.
| 규칙 | 본런(377회) | 대조군(84회) |
|---|---|---|
접두 요약: |
377 / 377 = 100% | 84 / 84 = 100% |
서명 — 가온다인 안내봇 |
377 / 377 = 100% | 84 / 84 = 100% |
| 영어 알파벳 금지 | 359 / 377 = 95.2% | 84 / 84 = 100% |
접두와 서명은 유효 응답 461회 중 461회, 단 한 번도 안 깨졌습니다. 다만 빈 응답은 운영상 성공이 아니므로 전체 호출 462회를 분모로 두면 461/462, 99.8%입니다. 근무수칙을 아침에 한 번 일러준 팔에서도 21번째 턴까지 두 녀석 모두 요약:으로 시작해서 서명으로 끝냈습니다. 마지막 턴 답변을 눈으로 열어봐도 그대로였고요. 잔소리 없이 퇴근까지 양식을 지키는 일꾼이면 사장은 손댈 데가 없죠.
"대화가 길어지면 앞의 지시를 잊는다"는 통념은 적어도 이 조건에서는 재현되지 않았습니다. 21턴을 다 쌓았을 때 프롬프트에 실제로 들어간 토큰이 중앙값 2,135개, 최대 2,912개였습니다. 규칙 문장이 프롬프트에서 밀려났는지를 가르는 건 이 프롬프트 쪽 숫자인데, 창(8,192)의 3분의 1을 조금 넘긴 수준이라 규칙은 끝까지 안에 멀쩡히 남아 있었습니다. 답변이 중간에 끊겨서 서명을 못 붙인 것도 아닙니다 — 461회 전부 done_reason이 stop이었고, 한도에 걸려 끊긴(length) 회차는 0건이었습니다.
깨진 건 딱 하나, '영어 쓰지 말라'였습니다
전체 위반 18회가 전부 영어 금지 한 규칙에서 나왔습니다. 무엇 때문에 깨졌는지 원문을 열어보면 사정이 뻔합니다.
- "노트북 충전기 사용은 주로 IT 지원팀이나 관리 부서에서 제공하고 있습니다" — 18회 중 8회가 이
IT한 단어였습니다. - "파일 이름은 YYYYMMDD 형식으로 사용하는 것이 좋습니다"
- "Eisenhower Matrix를 활용하면 효율적인 시간 관리가 가능합니다"
- "압축(ZIP) 파일을 만들어 보내거나 Google Drive·Dropbox 링크를 공유하는 방법도"
- 빔프로젝터 답변에서 HDMI, 서랍 정리 답변에서 "종이 separator"
압권은 유리창 닦는 법을 물었을 때 나온 "부드러운 스펀지나 마ylar 천"입니다. 한글과 영문이 한 단어 안에서 뒤엉켜 깨진 것이라, 규칙을 어겼다기보다 단어를 한글로 갈아 끼우다 실패한 흔적에 가깝습니다.
즉 이 규칙은 "잊어서" 깨진 게 아닙니다. 답이 영어 단어를 부르는 자리에서 깨졌습니다. 이 녀석 입장에선 "질문에 제대로 답하기"와 "영어 쓰지 않기"가 부딪혔고, 매번 답하기 쪽을 골랐습니다. 일꾼이 수칙을 어긴 게 아니라 사장이 서로 부딪히는 지시를 둘 다 내려놓고 잘 되기를 바란 겁니다.
턴이 지날수록 나빠지는 것처럼 보였습니다
턴 구간으로 끊어 보면 그럴듯한 하강 곡선이 나옵니다.
| 턴 구간 | 세 규칙 동시 준수 | 준수율 |
|---|---|---|
| 1턴 | 18 / 18 | 100% |
| 2~5턴 | 70 / 72 | 97.2% |
| 6~10턴 | 90 / 90 | 100% |
| 11~15턴 | 84 / 89 | 94.4% |
| 16~21턴 | 97 / 108 | 89.8% |
구간 폭은 1·4·5·5·6턴으로 같지 않습니다. 그래서 위 표는 건수가 아니라 각 구간의 분모를 반영한 준수율만 적었고, 이 다섯 칸으로 선형 하락 추세를 추정하지 않았습니다.
여기서 멈추고 "16턴을 넘으면 준수율이 10%p 떨어진다"고 쓰면 기사 한 줄은 나옵니다. 그런데 이 설계에는 함정이 박혀 있습니다. 질문 순서가 대화마다 고정돼 있어서, '19번째 턴'과 '노트북 충전기 질문'이 같은 자리에 붙어 있거든요. 늦은 턴의 하락이 경과 턴 때문인지, 그 자리에 놓인 질문이 하필 영어를 부르는 질문이어서인지 구분이 안 됩니다.
그래서 위반을 턴이 아니라 질문 자리별로 다시 셌습니다. 대화 3개 × 21턴 = 63개 질문 자리 중, 위반이 한 번이라도 난 자리는 7곳뿐이었습니다.
| 질문 | 위반 / 시행 |
|---|---|
| 노트북 충전기를 빌려 쓸 수 있나요? | 6 / 6 |
| 첨부 파일 용량이 크면 어떻게 보내나요? | 3 / 6 |
| 유리창은 무엇으로 닦나요? | 2 / 6 |
| 할 일이 많을 때 순서는 어떻게 정하나요? | 2 / 6 |
| 파일 이름에 날짜를 넣는 게 좋을까요? | 2 / 6 |
| 회의실 빔프로젝터가 안 켜지면 무엇부터 확인하나요? | 2 / 6 |
| 서랍 안을 나누려면 무엇을 쓰나요? | 1 / 6 |
노트북 충전기 질문은 세 팔, 두 모델, 여섯 번 시행에서 여섯 번 다 깨졌습니다. 수칙을 매 턴 코앞에 다시 들이밀어도, 시스템 메시지에 못 박아도 두 녀석 다 똑같이 넘어갔습니다. 반대로 5번째 턴처럼 이른 자리에서 무너진 질문도 있었고요. 일꾼이 지쳐서 그런 거라면 이른 자리에서 멀쩡해야 하는데 말이죠.
그래서 위치를 바꿔 다시 재봤습니다 — 예상이 빗나갔습니다
여기까지 보고 "범인은 턴이 아니라 질문"이라고 결론 낼 뻔했습니다. 그러면 검증이 아니라 이야기 만들기죠. 그래서 같은 질문을 순서만 뒤집어 다시 굴렸습니다. 6/6으로 전멸했던 노트북 충전기 질문은 19번째 턴에서 3번째 턴으로, 3/6이던 첨부 파일 질문은 20번째에서 2번째로 옮겨갔습니다. 역순 대화 2개를 두 모델에 각각 굴려 84턴입니다.
결과는 84회 전부 준수, 위반 0건이었습니다. 세 규칙 모두요.
제 가설이 맞았다면 노트북 충전기 질문은 3번째 턴에서도 깨졌어야 합니다. 안 깨졌습니다. 같은 질문을 받은 두 녀석의 답을 위치만 바꿔 나란히 놓으면 이유가 보입니다.
| 위치 | 모델 | 답변 |
|---|---|---|
| 19턴(본런) | gemma3:4b | "노트북 충전기 사용은 주로 IT 지원팀이나 관리 부서에서…" |
| 19턴(본런) | qwen3-vl:8b | "노트북 충전기를 빌릴 경우 IT팀 또는 관리자에게 먼저 승인을…" |
| 3턴(대조군) | gemma3:4b | "네, 노트북 충전기는 필요하시면 언제든지 가져가서 사용하실 수 있습니다" |
| 3턴(대조군) | qwen3-vl:8b | "충전기를 빌리기 전 사무실 관계자에게 반드시 확인해야 합니다" |
질문은 글자 하나 안 바뀌었는데, 뒤에 18턴이 쌓인 상태에서는 두 녀석 다 "IT팀"이라는 조직을 꺼냈고 2턴만 쌓인 상태에서는 아무도 안 꺼냈습니다. 오전 내내 총무 업무만 시켰더니 오후 답변이 죄다 사내 조직도처럼 나온 셈입니다. 대화가 길어질수록 답이 조직·부서 이야기로 굳어졌고, 그 어휘가 영어를 끌고 들어온 것으로 보입니다.
그래서 범인은 턴 번호도 아니고 질문도 아니고, 그 시점에 모델이 하기로 정한 말입니다. 다만 이건 방향이지 증명이 아닙니다. 질문 자리 하나당 대조군 시행이 2회뿐이고 온도를 고정하지 않아 매번 새로 뽑히는 답이라, 이 표 네 줄로 기전을 단정할 수는 없습니다. 단단한 건 하나입니다 — 접두와 서명은 461회 내내 안 깨졌습니다.
규칙을 어디에 적어두느냐는 거의 상관이 없었습니다
세 가지 유지 방식을 나란히 놓으면 이렇습니다(본런 기준).
| 규칙 유지 방식 | 영어 금지 준수 | 준수율 | 접두·서명 |
|---|---|---|---|
| 첫 턴에만 | 121 / 126 | 96.0% | 100% |
| 시스템 고정 | 119 / 126 | 94.4% | 100% |
| 매 턴 재삽입 | 119 / 125 | 95.2% | 100% |
세 팔의 차이가 1.6%p 안쪽입니다. 시행 수가 팔당 125회 남짓이라 이 정도 간격은 한두 건이 뒤집히면 순서가 바뀝니다. 어느 방식이 낫다고 말할 근거가 이 측정에는 없습니다. 오히려 눈여겨볼 것은 매 턴 규칙을 다시 붙여준 팔조차 영어 금지를 여섯 번 놓쳤다는 쪽입니다. 사장이 30분마다 수칙을 다시 읽어줘도, 일꾼은 답이 영어 단어를 부르면 그쪽으로 갑니다. 잔소리로 해결되는 문제가 아니라는 뜻이죠.
모델별로는 gemma3:4b가 177/189(93.7%), qwen3-vl:8b가 182/188(96.8%)이었습니다. 덩치 큰 녀석이 조금 낫지만 둘 다 같은 IT에서 넘어졌습니다.
그래서 챗봇 규칙을 어떻게 걸면 되나 — 오늘 할 일 넷
- 형식 규칙은 첫 턴에 한 번만 적어도 됩니다. 접두어·말머리·서명·말투 같은 껍데기 규칙은 21턴까지 100% 유지됐습니다. 매 턴 규칙을 다시 붙여 토큰을 태우고 있었다면, 안 해도 될 야근수당을 일꾼에게 매 턴 얹어주고 있었던 셈입니다. 빼기 전에 20턴짜리 대화 하나로 직접 확인해 보세요.
- 내용과 부딪히는 규칙은 프롬프트 대신 후처리로 거르세요. '영어 쓰지 마' 같은 금칙어 규칙이 여기 해당합니다. 출력을 받아
[A-Za-z]정규식으로 한 번 훑고 걸리면 다시 시키는 편이 확실합니다. 이번 위반 18회는 전부 이 한 줄 검사로 잡힙니다. - 금칙어를 꼭 프롬프트로 걸어야 한다면 대체어를 같이 주세요. "영어 쓰지 마" 대신 "IT 지원팀은 '전산 지원팀'으로, ZIP은 '압축 파일'로 쓰라"처럼 바꿔칠 말을 지정하는 겁니다. 이 녀석들이 넘어진 자리는 대부분 한국어 대체어가 잘 안 떠오르는 단어였습니다. 대체어를 안 주면 일꾼은 아는 말을 씁니다.
- 검사도 기계로 거세요. 그리고 위반은 턴이 아니라 질문으로 묶어 보세요. 눈으로 훑으면 이번처럼 "16턴부터 무너진다"는 잘못된 결론에 도달합니다. 규칙 하나당 판정 함수 하나를 두고, 위반이 나오면 어떤 질문에서 났는지부터 확인하세요. 그리고 가설이 섰으면 순서를 뒤집어 한 번 더 돌려보세요 — 저는 그걸 하고서야 제 결론이 틀렸다는 걸 알았습니다.
이 숫자를 어디까지 믿어도 되나
21턴은 긴 대화가 아닙니다. 프롬프트만 보면 최대 2,912토큰이지만, 생성분까지 합친 창 점유는 최대 7,134토큰까지 올라갔습니다. 창(8,192)의 87%라 여유가 생각만큼 넉넉하진 않았다는 뜻입니다. qwen3-vl:8b가 화면에 안 보이는 생각 토큰을 길게 쓰는 회차가 있어서인데, 그래도 한도에 걸려 잘린 회차는 0건이었습니다. 수만 토큰짜리 대화나 요약·압축이 끼어드는 긴 세션은 이 측정 범위 밖이고, 거기서는 이야기가 달라질 수 있습니다. 컨텍스트 창 안에 규칙이 통째로 남아 있는 한 안 잊는다 — 딱 거기까지가 이 글이 말할 수 있는 범위입니다.
규칙이 쉬웠습니다. 접두어와 서명은 답변 내용과 아무 데서도 부딪히지 않습니다. 반대로 내용과 부딪히는 규칙은 첫 턴부터 깨졌고요. 그러니 "AI는 지시를 잘 기억한다"로 읽으면 안 되고, "부딪히지 않는 규칙은 유지되고, 부딪히는 규칙은 턴과 무관하게 진다" 로 읽어야 맞습니다.
대조군은 한 갈래만 돌렸습니다. 규칙을 첫 턴에만 준 팔로 두 모델, 대화 2개입니다. 세 팔을 다 뒤집어 재지는 않았으니, 위 표 네 줄은 관찰이지 통제된 비교가 아닙니다.
이번 결과는 gemma3:4b와 qwen3-vl:8b 두 로컬 모델에서만 확인했습니다. 월급 한 푼 안 나가는 4B·8B짜리 일꾼이라 상용 대형 모델에 그대로 옮겨 적을 수 없습니다. 다만 방향이 뒤집힌다면 "대형 모델은 더 잘 지킨다" 쪽일 테니, 통념을 반박하는 이 결론이 대형 모델에서 뒤집힐 가능성은 낮다고 봅니다. 그것도 재봐야 아는 것이고요.
애초에 못 잰 갈래가 있습니다. 수칙끼리 충돌하거나, 사장이 중간에 "이제 반말로 해"라고 말을 바꿔 일꾼을 헷갈리게 하는 상황은 넣지 않았습니다. 실무에서 규칙이 무너지는 흔한 경로인데 이번 설계에는 없습니다.
시스템 메시지·규칙 개수·빈 응답의 경계
Q. 시스템 메시지에 넣으면 더 잘 지킨다던데요? 이번 측정에서는 아니었습니다. 시스템 고정 팔이 94.4%로 셋 중 오히려 가장 낮았고, 그 차이도 의미를 부여할 만한 폭이 아닙니다. 다만 시스템 메시지는 사용자가 지우기 어렵다는 다른 장점이 있으니, '준수율'이 아니라 '보호'가 목적이라면 여전히 쓸 이유가 있습니다. 일꾼 책상에 붙여둔 수칙과 사장실 금고에 넣어둔 수칙은 용도가 다르니까요.
Q. 규칙을 몇 개까지 걸 수 있나요? 이번엔 3개만 걸어서 답을 못 드립니다. 다만 셋 중 둘이 100%였고 나머지 하나가 내용 충돌로 깨진 걸 보면, 개수보다 각 규칙이 답변 내용과 부딪히는지가 관건으로 보입니다.
Q. 빈 응답 1회는 뭔가요? 덩치 큰 녀석(qwen3-vl:8b)이 13번째 턴에서 아무것도 안 내놓은 회차입니다. 규칙 위반 유형을 판정할 답이 없어 규칙별 표의 분모에서는 뺐습니다. 하지만 운영상 성공도 아니므로, 전체 호출 성공 기준에서는 실패 1회로 따로 남겼습니다. 러너는 빈 문자열을 assistant 이력에 넣고 14~21턴을 이어갔으므로, 그 대화의 이후 답변에 빈 회차가 미친 영향은 이번 설계에서 분리하지 못했습니다.
이 글은 cinevyze 운영자가 해당 도구를 직접 테스트하고 결과를 비교·검수해 정리·편집했습니다. 판단·사실확인은 모두 사람이 했고, 글 다듬는 일부 과정에 AI 도구의 도움을 받았습니다.
댓글
댓글 쓰기