섞인 문서 묶음에서 검색 오염을 줄이는 방법

정부 업무용 검색 기반 생성 플랫폼을 .NET으로 새로 만들고 있으며, 이미 몇 가지 시범 사용 사례가 준비되어 있다. 문제는 여러 업무 분야의 문서가 한 컬렉션에 섞일 때 검색 결과가 오염된다는 점이다. 예를 들어 이륜차 절도, 소매치기, 목걸이 날치기 같은 서로 다른 신고 문서가 한곳에 들어가면, 실제 질문과 관계없는 문서 조각이 높은 순위로 올라온다.

현재는 하이브리드 검색, RRF, 신뢰도 점수를 쓰고 있지만, 문제는 순위 매기기 전에 생기는 것으로 보인다. 잘못되거나 너무 넓은 범위의 노드가 먼저 선택되기 때문에 후보 문서의 품질이 낮아진다. 해결 방향은 문서를 넣을 때 반드시 카테고리를 고르게 하고, BAAI/bge-m3와 선택적인 LLM 분류기로 질문의 카테고리를 판별한 뒤, 해당 카테고리 안에서만 검색하는 것이다.

그 다음 필요하면 재정렬을 적용한다. 속도보다 정확도가 더 중요하다.