상품 전체를 묻는 RAG 챗봇은 검색 방식부터 달라야 한다
기업용 상품 문서 도우미가 특정 상품 하나를 설명하거나 두 상품을 비교하는 질문에는 잘 답한다. 하지만 “어떤 상품이 이 기능을 지원하나”, “어떤 상품에 이 인증이 있나”, “어떤 상품이 이 속성을 빠뜨렸나”처럼 상품 50~80개 전체를 확인해야 하는 질문에서는 일부 상품을 놓칠 수 있다. 문제는 엉뚱한 내용을 지어내는 환각보다, 대형 언어 모델에 들어간 일부 문서 조각만 보고 답하는 불완전성에 가깝다.
일반적인 벡터 RAG는 관련성이 높은 상위 몇 개 문서 조각만 가져오므로, 사용자가 기대하는 “전체 상품 검사”와 맞지 않는다. 더 안정적인 방법은 이런 질문을 따로 감지한 뒤, 모든 활성 상품을 빠짐없이 확인하는 결정적 경로를 두는 것이다.
핵심 포인트
용어 한 줄 설명
- 대형 언어 모델
- ChatGPT, Claude처럼 글을 읽고 쓰고 코드를 짜는 데 쓰이는 대규모 AI 프로그램.
- 언어 모델
- 글을 읽고 다음 말을 예측해 답변을 만드는 AI 모델이다.
- 벡터 RAG
- 문장의 의미가 비슷한 문서 조각을 찾아 답변에 쓰는 RAG 방식이다.
- RAG
- AI가 답하기 전에 관련 자료를 검색해서 그 내용을 참고하게 하는 방식입니다.
- AI 에이전트
- 사람 대신 정보를 찾거나 작업을 처리하도록 만든 AI 프로그램입니다.
- 검색
- AI가 답하는 데 필요한 관련 정보 조각을 찾아 가져오는 단계입니다.
- 데이터베이스
- 많은 정보를 체계적으로 모아두어 찾아보기 쉽게 만든 정보의 집합체입니다.
- 토큰
- AI가 글을 읽고 쓸 때 세는 작은 글자 조각 단위입니다.