top-k 검색만으로는 합계·개수 질문을 맞히기 어렵다는 주장
이 Reddit 글은 RAG가 질문과 비슷한 문서 조각 몇 개만 골라 모델에 보내는 방식이라고 설명합니다. 글쓴이는 이 방식이 “총 미납액”, “몇 개”, “가장 많이 청구한 고객” 같은 aggregation 질문에는 맞지 않는다고 말합니다. 해결책으로 문서를 먼저 정해진 schema의 기록으로 뽑아 DB에서 계산하고, 출처 페이지를 함께 남기는 방식을 제안합니다.
핵심 포인트
- RAG의 top-k 방식은 질문과 비슷한 문서 조각 몇 개만 모델에 보냅니다.
- aggregation 질문은 일부 문서가 아니라 전체 기록을 봐야 답할 수 있습니다.
- k 값을 크게 올리면 결국 전체 문서를 보내야 해서 비용과 길이 제한 문제가 생깁니다.
- 글쓴이는 문서를 먼저 schema가 있는 기록으로 바꾼 뒤 DB에서 계산하자고 제안합니다.
- 검색은 설명용으로 쓰고, 합계·개수·조건 필터는 구조화된 데이터로 처리하는 흐름을 권합니다.
용어 한 줄 설명
- DDI
- DNS·DHCP·IP 주소 관리를 합쳐서 부르는 말
- RAG
- AI가 답하기 전에 관련 자료를 검색해서 그 내용을 참고하게 하는 방식입니다.
- aggregation
- 여러 값이나 항목을 모아 합계, 평균, 개수 같은 결과를 내는 일입니다.
- schema
- 데이터베이스 안의 표와 칸이 어떻게 구성되어 있는지 보여 주는 구조입니다.
- AI 에이전트
- 사람 대신 정보를 찾거나 작업을 처리하도록 만든 AI 프로그램입니다.
- 토큰 비용
- AI가 글을 읽고 답할 때 처리한 글자 조각 수에 따라 드는 비용입니다.
- top-k
- 검색 시 상위 몇 개의 결과를 가져올지 정하는 숫자 설정값이다.
- 구조화된 데이터
- 정보를 날짜, 감정, 할 일처럼 정해진 항목별로 나눠 저장한 형태로, 나중에 검색하거나 분석하기 쉽습니다.