AI 에이전트가 쓰는 글 형식만 바꿔도 비용을 줄일 수 있다는 연구

AI 에이전트가 쓰는 글 형식만 바꿔도 비용을 줄일 수 있다는 연구

이 논문은 AI 에이전트가 도구 정보를 주고받을 때 쓰는 형식을 비교했습니다. TRON이라는 형식은 JSON보다 토큰을 최대 27% 줄일 수 있었습니다. 토큰이 줄면 같은 작업의 API 비용과 처리 시간이 줄 수 있지만, 정확도 차이도 함께 확인해야 합니다.

핵심 포인트

  • AI 에이전트의 도구 설명과 도구 호출 형식을 바꾸는 실험입니다.
  • TRONJSON보다 토큰을 크게 줄였지만, 일부 작업에서는 정확도 손해가 있었습니다.
  • 에이전트를 많이 돌리는 서비스라면 형식 선택이 비용 절감에 영향을 줄 수 있습니다.

용어 한 줄 설명

AI 에이전트
사람 대신 정보를 찾거나 작업을 처리하도록 만든 AI 프로그램입니다.
TRON
AI가 도구 정보를 더 짧게 표현하도록 만든 데이터 형식입니다.
JSON
프로그램들이 데이터를 주고받을 때 자주 쓰는 글 형식입니다.
토큰
AI가 글을 읽고 쓸 때 세는 작은 글자 조각 단위입니다.
API 비용
서비스 기능을 프로그램으로 호출할 때 사용량에 따라 내는 돈입니다.
도구 호출
AI가 검색, 파일 읽기 같은 외부 기능을 부르는 일입니다.
원문 보기