운영 중인 AI API 재시도와 비용 한도 관리 문제

운영 중인 AI 기능에서는 API 제공사가 응답하지 않거나 429 오류를 보낼 때 앱이 다시 요청을 보내는 일이 생긴다. 이때 무작정 재시도하면 같은 요청이 여러 번 처리되어 비용이 예상보다 커질 수 있다.

중요한 쟁점은 재시도 전에 얼마나 기다릴지, 언제 다른 제공사로 바꿀지, 응답 실패가 이미 비용으로 청구됐을 가능성을 어떻게 볼지다. 여러 요청이 동시에 재시도될 때 정해 둔 비용 한도를 넘지 않게 막는 것도 어렵다.

ai-prod-guard라는 초기 오픈소스 TypeScript 패키지는 요청별·세션별 강한 비용 한도, Retry-After에 따른 대기, 대체 제공사 사용, 제공사 상태를 잠시 기억해 아픈 제공사를 건너뛰는 기능을 목표로 한다. 실제 운영팀들은 이런 문제를 자체 개발, 게이트웨이, 제공사 SDK 기본값 중 무엇으로 처리하는지가 핵심 질문이다.