Inferoa, 토큰 비용을 줄이려는 AI 에이전트 도구 공개
Inferoa는 AI 에이전트가 여러 단계 작업을 반복해서 처리하도록 돕는 오픈소스 도구입니다. 이 저장소는 반복 작업 중 토큰 사용, 캐시 재사용, 모델 선택, 도구 사용을 함께 관리한다고 설명합니다. 설치는 npm으로 하며, 대화형 화면과 한 번만 실행하는 명령을 제공합니다.
핵심 포인트
용어 한 줄 설명
- AI 에이전트
- 사람 대신 정보를 찾거나 작업을 처리하도록 만든 AI 프로그램입니다.
- 작업 흐름
- 사용자가 어떤 일을 끝내기 위해 거치는 순서와 과정입니다.
- 토큰 사용량
- AI에게 보내고 받은 글의 양을 세는 단위 사용량입니다.
- /loop
- 매 단계마다 사람의 허락을 기다리지 않고 AI가 스스로 판단해 연속적으로 작업을 진행하도록 허용하는 명령어입니다.
- loop
- 한 번에 끝내지 않고 확인과 수정을 반복하는 작업 흐름이다.
- token
- AI가 글을 읽고 쓸 때 세는 작은 글자 조각 단위입니다.
- 모델 라우팅
- 작업의 난이도에 따라 비싼 모델과 싼 모델 중 하나를 골라 보내는 기술입니다.
- vLLM
- AI 모델을 서버에서 빠르고 효율적으로 실행하기 위한 오픈소스 엔진.