대화가 길어지면 AI가 앞의 지시를 잊을까 — 21턴 대화 22개, 462회 실측
챗봇에 "앞으로 답변은 이렇게 해줘"라고 규칙을 걸어두면, 스무 턴쯤 지난 뒤에도 그 규칙이 살아 있을까요? 일꾼을 뽑아놓고 근무수칙을 첫날 한 번만 일러준 셈인데, 사장 입장에선 그게 오후까지 가는지가 궁금하죠. 커뮤니티에서는 "대화가 길어지면 AI가 앞의 지시를 잊는다"가 거의 정설처럼 돌아다니는데, 정작 같은 규칙으로 턴 수를 늘려가며 세어본 한국어 자료를 찾기 어려웠습니다. 그래서 직접 재봤습니다. 규칙 3개를 건 21턴짜리 대화를 본런 18개 378회, 뒤에 붙인 대조군 4개 84회입니다. 2026년 8월 6일, 로컬 gemma3:4b 와 qwen3-vl:8b 기준입니다. 규칙 3개를 걸고 21턴을 굴린 방법 월급 안 나가는 일꾼 둘을 앉혀놓고 근무수칙 세 줄을 던진 뒤 하루치 잡무를 시키는 설계입니다. 다만 이 녀석들이 수칙을 지켰는지를 사람 눈으로 판단하면 측정은 그 자리에서 무의미해집니다. 그래서 기계가 한 줄로 판정할 수 있는 규칙만 걸었습니다. 접두 — 모든 답변을 요약: 으로 시작할 것 영어 금지 — 답변에 영어 알파벳을 쓰지 말 것(한글과 숫자만) 서명 — 답변 마지막 줄에 — 가온다인 안내봇 을 붙일 것 대화는 사무 총무 문의, 문서·일정 관리, 생활 정리 요령 세 갈래로 각각 21개 질문을 미리 적어뒀습니다. 질문은 규칙과 아무 상관 없는 잡문이고, '영어 금지'를 공정하게 재려고 질문 문장에도 알파벳을 한 글자도 넣지 않았습니다. 규칙을 어떻게 붙들어두느냐도 세 갈래로 나눴습니다. 첫 턴에만 — 규칙을 맨 처음 한 번만 적습니다. 사람들이 실제로 하는 방식이죠. 시스템 고정 — 규칙을 시스템 메시지에 넣어 매 호출에 항상 딸려가게 합니다. 매 턴 재삽입 — 질문 끝에 규칙 한 줄을 매번 다시 붙입니다. 판정에는 관대한 쪽을 택했습니다. 서명을 새 줄에 넣었든 마지막 문장 끝에 붙였든, 마지막 줄이 서명으로 끝나면 지킨 것으로 셌습니다. 대시 기호가 —...
