LiteLLM, 자체 서버에서 돌리는 AI 에이전트 빌더 무료 공개
LiteLLM이 AI 에이전트를 직접 만들고 운영할 수 있는 플랫폼을 오픈소스로 공개했습니다. Claude Code, Hermes, OpenCode 같은 도구와 연동되며, 내 컴퓨터나 서버에 설치해 외부 API 없이 쓸 수 있습니다. Ollama나 vLLM처럼 로컬에서 실행하는 모델도 그대로 연결됩니다.
LiteLLM은 원래 여러 AI 모델(OpenAI, Claude 등)을 하나의 통일된 방식으로 호출할 수 있게 해주는 라이브러리로 알려져 있었습니다. 이번에 공개한 에이전트 플랫폼은 그 위에 올라가는 빌더로, 여러 AI 도구를 묶어 자동화된 작업 흐름을 구성할 수 있습니다. 클라우드 서비스에 월정액을 내는 대신 본인 서버나 맥미니에 설치해 운영할 수 있어 비용이 크게 줄고, Ollama나 vLLM으로 로컬에서 구동하는 오픈소스 모델도 그대로 붙일 수 있습니다. Claude Code나 Hermes-Agent처럼 이미 쓰고 있는 AI 코딩 도구를 에이전트 워크플로 안에 통합할 수 있다는 점이 실용적입니다.
핵심 포인트
용어 한 줄 설명
- LiteLLM
- 다양한 AI 회사의 모델을 하나의 통일된 방식으로 연결해주는 오픈소스 중간 다리 도구
- AI 에이전트
- 사람 대신 정보를 찾거나 작업을 처리하도록 만든 AI 프로그램입니다.
- Hermes
- AI 에이전트가 웹이나 도구를 써서 작업하도록 돕는 서비스입니다.
- OpenCode
- AI 모델을 연결해 코드 작성과 수정을 돕는 개발 도구입니다.
- 클라우드 서비스
- 내 컴퓨터가 아닌 인터넷 너머에 있는 강력한 컴퓨터를 빌려 쓰는 기술입니다.
- 오픈소스 모델
- 소스 코드가 공개되어 누구나 무료로 내려받아 직접 실행할 수 있는 AI 모델입니다.
- hermes-agent
- Nous Research의 에이전트형 AI 도구로 보이는 서비스 이름입니다.
- AI 코딩 도구
- 사람의 설명을 바탕으로 코드를 쓰거나 고치는 프로그램입니다.