LLM 병렬 호출은 속도 제한 때문에 오히려 느려질 수 있다

오픈소스 자바 AI 작업 조율 도구인 OxyJen에서 여러 문서를 동시에 처리하는 MapNode가 만들어지고 있다. MapNode는 목록의 각 항목에 같은 작업을 나누어 적용하고, 동시에 몇 개까지 실행할지, 시간 초과와 개별 오류 처리를 정할 수 있다. 문제는 각 작업 안에서 Gemini 같은 대형 언어 모델을 부를 때 생긴다.

Gemini 무료 요금제는 분당 15회 호출 제한이 있어, 동시에 3개 요청을 보내면 일부 요청이 429 오류로 막힌다. LLMChain은 실패한 요청을 다시 시도하고 지수 백오프를 쓰지만, 30초와 60초씩 기다리는 벌칙 때문에 전체 시간이 더 길어진다. 대안으로 RateLimitedChatModel이 호출 시작 시간을 분당 허용량에 맞춰 띄우는 방식이 검토되고 있다.

이 방식은 재시도 폭주를 줄이고 이론상 최소 시간에 가까워질 수 있지만, 호출 시간이 5초 정도일 때는 실제 병렬성이 거의 사라질 수 있다. 현재 제한 조절 구현은 CAS를 쓰는 방향으로 고쳐지고 있다.