기업 RAG가 데모 뒤에 흔들리는 이유
이 Reddit 글은 기업 내부 RAG가 작은 데모에서는 잘 작동해도 실제 업무 데이터에 붙이면 자주 실패한다고 말합니다. 글쓴이는 실패 원인을 모델이나 프롬프트보다 앞단의 정보 구조에서 찾습니다. 예로 Slack, SharePoint, Salesforce의 정보가 서로 끊긴 조각으로 저장되고, 오래된 문서와 최신 문서가 섞이는 문제를 듭니다.
핵심 포인트
용어 한 줄 설명
- DDI
- DNS·DHCP·IP 주소 관리를 합쳐서 부르는 말
- RAG
- AI가 답하기 전에 관련 자료를 검색해서 그 내용을 참고하게 하는 방식입니다.
- 프롬프트
- AI에게 원하는 일을 설명하는 지시문입니다.
- share
- 서버에서 다른 기기나 앱이 접근할 수 있게 만든 공유 폴더입니다.
- repo
- 코드와 설정 파일을 모아 둔 온라인 저장소를 뜻합니다.
- RCE
- 공격자가 멀리서 다른 컴퓨터에 명령을 실행하게 만들 수 있는 보안 문제입니다.
- AI 에이전트
- 사람 대신 정보를 찾거나 작업을 처리하도록 만든 AI 프로그램입니다.
- 안정성
- 도구가 덜 멈추고 더 예측 가능하게 작동하는 정도입니다.