인공지능이 멍청해 보였던 이유, 알고 보니 '대화 양식' 문제
한 개발자가 최신 AI 모델의 성능이 낮아 보였던 원인이 모델 자체가 아닌, 대화 형식을 맞추는 설정값인 채팅 템플릿 때문임을 발견했습니다. 모델의 성능을 제대로 끌어내려면 기술적인 세부 설정 확인이 필수적입니다.
작성자는 Qwen 3.6 모델을 테스트하던 중, 모델이 엉뚱한 답을 내놓고 형식을 무시하는 현상을 겪었습니다. 주말 내내 조사한 끝에, 모델 소개글에는 표준 방식을 쓴다고 되어 있었지만 실제로는 설정 파일인 tokenizer_config.json에 숨겨진 특수한 규칙을 따라야 한다는 점을 알아냈습니다. 설정을 바로잡자 모델은 다시 똑똑해졌습니다. 이는 AI 에이전트를 만들 때 겉모양만 보고 모델을 고르기보다, 실제 내부 설정을 꼼꼼히 검증하는 과정이 얼마나 중요한지 보여줍니다.
핵심 포인트
용어 한 줄 설명
- AI 모델
- 질문에 답하거나 글을 만드는 방법을 배운 프로그램입니다.
- 채팅 템플릿
- 사용자와 AI의 대화를 구분하기 위해 정해진 특수한 약속이나 형식입니다.
- 설정 파일
- 프로그램이 어떻게 동작할지 적어 둔 파일입니다.
- tokenizer_config.json
- AI가 글자를 이해할 때 사용하는 기술적인 규칙이 담긴 설정 파일입니다.
- token
- AI가 글을 읽고 쓸 때 세는 작은 글자 조각 단위입니다.
- config
- 프로그램이 어떻게 동작할지 정해두는 설정 파일이나 설정값입니다.
- AI 에이전트
- 사람 대신 정보를 찾거나 작업을 처리하도록 만든 AI 프로그램입니다.
- evals
- AI 모델의 성능이 얼마나 좋은지 객관적으로 측정하는 테스트 과정입니다.