RAG에서 틀린 답보다 빠진 답이 더 위험할 수 있다
은 문서에서 관련 내용을 찾아 답을 만들지만, 실제로는 필요한 문서를 모두 찾지 못할 수 있다. 이때 답변은 도 있고, 가져온 문서 안에서는 맞는 말만 담고 있어서 믿을 만해 보인다.
하지만 빠진 문서에 중요한 근거가 있으면 전체 결론은 틀릴 수 있다. 이런 문제는 없는 내용을 지어내는 보다 알아차리기 어렵다.
사용자는 을 보고 답을 신뢰하고, 은 자신이 전체 근거 중 일부만 봤다는 점을 잘 알려주지 못한다. 실제 서비스에서는 답변을 잘 쓰는 능력보다 필요한 근거를 빠짐없이 찾는 능력이 더 중요할 수 있다.
핵심 포인트
- 답변은 이 있어도 중요한 근거를 놓치면 결론이 틀릴 수 있다.
- 가져온 문서 안에서는 맞지만 전체 자료를 보면 불완전한 답이 될 수 있다.
- 이 문제는 보다 사용자가 알아차리기 어렵다.
- 실제 서비스에서는 답변 생성 능력보다 이 더 큰 일 수 있다.
- 을 줄이려고 검색 범위를 과하게 줄이면 품질 위험이 커진다.