AI 모델을 작업 종류에 따라 골라 쓰면 비용·품질 둘 다 잡힌다

AI 연구자 Andrej Karpathy가 제시한 아이디어에서 출발한 실험이다. 핵심 개념은 '검증 가능성(verifiability)'이다. 수학 문제나 코드 테스트처럼 답이 맞는지 바로 확인할 수 있는 작업은 저렴한 모델에 맡겨도 되고, 결과가 틀렸으면 재시도하면 된다. 반면 글쓰기나 전략 조언처럼 정답이 없는 작업은 처음부터 더 강력한 모델이 필요하다.

실험에서는 작업을 먼저 '검증 가능'과 '검증 불가' 두 종류로 분류한 뒤 각각 다른 모델로 라우팅했다. 120개 샘플, 3개 모델 조합으로 테스트한 결과, 이 방식이 모든 작업에 비싼 모델을 쓰는 것보다 비용 효율이 높았다. AI 에이전트를 여러 단계로 구성할 때 각 단계에 맞는 모델을 자동으로 고르는 데 응용할 수 있다.