대규모 벡터 검색은 직접 운영 비용이 크다

Qdrant가 연 Vector Space Day에서는 벡터 데이터베이스가 단순 저장소보다 검색 엔진에 가까워지고 있다는 흐름이 드러났다. 벡터를 저장하는 일 자체는 점점 평범한 기능이 되고, 실제 차이는 검색할 때 여러 방식의 결과를 섞는 하이브리드 검색, 점수 조정, 실행 방식 제어에서 난다. HubSpot은 자체 운영 Qdrant에 200억 개가 넘는 벡터를 저장하고, 클러스터 앞단에 Kafka 인덱서를 둔 내부 “서비스형 벡터” 플랫폼을 만들었다.

규모가 커지자 Helm만으로는 부족해서, 클러스터 상태를 보고 조각을 다시 나누는 Kubernetes 오퍼레이터까지 직접 만들었다. 이 오퍼레이터는 60초마다 상태를 확인하고 필요한 조정을 한다. 벡터를 줄여 저장하는 양자화는 임베딩 모델마다 성능 저하가 다르게 나타나므로, 도입 전 자기 데이터로 시험해야 한다.

Salesforce는 여전히 검색에 Solr를 쓰는 사례로 언급됐다.