복잡한 조사형 AI 도구 4종을 비용까지 함께 비교

내부용 조사 도구를 만들기 위해, 복잡한 질문을 여러 자료에서 확인하고 사람이 바로 쓸 수 있는 답으로 정리하는 깊은 조사 API 4종을 같은 과제로 시험했다. 과제는 일부러 얕은 AI 에이전트가 틀리기 쉬운 형태였다.

처음 세 자료가 서로 충돌했고, 그중 하나는 조용히 오래된 정보였으며, 정답을 내려면 질문 안에 잘못된 전제가 있다는 점도 잡아내야 했다. 평가는 최종 답이 잘못된 전제를 알아챘는지, 모든 주장이 실제 출처로 이어지는지, 답을 만들기까지 도구 호출과 토큰을 얼마나 썼는지로 했다.

차이는 더 많은 페이지를 읽는 능력보다 자료가 서로 맞지 않을 때 처리하는 방식에서 났다. 약한 두 도구는 마지막에 본 자료를 따라가며 자신 있게 틀린 답을 냈고, 나은 두 도구는 충돌을 표시한 뒤 어느 쪽이 맞는지 풀어냈다.