반복 텍스트를 한 번만 써도 LLM 답변 품질이 유지된다
여러 예시에 같은 텍스트가 반복될 때, 그 내용을 한 번만 쓰고 나머지는 참조하게 하면 토큰을 아낄 수 있다. 4가지 LLM으로 실험한 결과 답변 품질에 큰 차이가 없었다. 프롬프트 비용을 줄이고 싶은 개발자에게 실용적인 팁이다.
AI 모델에 지시를 내릴 때 쓰는 텍스트를 '프롬프트'라고 한다. 여러 예시를 함께 보낼 때 공통 설명이나 지침을 매번 반복해 넣는 경우가 많은데, 이 반복이 쌓이면 처리해야 할 글자 수(토큰)가 늘어나 비용이 올라간다. 이 실험은 반복 텍스트를 한 번만 쓰고 나머지 예시에서는 그것을 가리키기만 해도 된다고 제안한다.
4가지 LLM을 대상으로 테스트한 결과, 텍스트를 매번 반복하든 한 번만 쓰든 답변 품질 차이가 거의 없었다. 특히 프롬프트 캐싱을 지원하는 모델에서는 이 방식과 결합하면 비용 절감 효과가 더 커질 수 있다. 단, 이는 소규모 개인 실험이므로 맹신보다는 자신의 use case에서 직접 확인하는 것이 좋다.
핵심 포인트
용어 한 줄 설명
- 토큰
- AI가 글을 읽고 쓸 때 세는 작은 글자 조각 단위입니다.
- LLM
- 글과 코드를 읽고 답을 만드는 대형 AI 모델입니다.
- 프롬프트
- AI에게 원하는 일을 설명하는 지시문입니다.
- AI 모델
- 질문에 답하거나 글을 만드는 방법을 배운 프로그램입니다.
- 테스트
- 소프트웨어가 의도한 대로 작동하는지 확인하는 과정으로, 버그(오류)를 찾아내는 작업이다.
- 프롬프트 캐싱
- 이전에 보낸 것과 같은 내용을 AI에 다시 보낼 때 재처리 비용을 줄이는 기술.
- 캐싱
- 같은 질문에 대한 AI 답변을 저장해 두었다가 다시 사용하는 방법으로, 중복 비용을 없앱니다.
- 검증
- 제품을 만들기 전에 사람들이 정말 필요로 하고 돈을 낼지 확인하는 일입니다.