PrivateGPT 1.0, 로컬 AI 앱 구축용 계층 공개
PrivateGPT 팀은 2023년에 완전 오프라인 방식의 검색 결합 AI 오픈소스 프로젝트를 공개했다고 말합니다. 이후 약 2년 동안 의료, 금융, 정부, 국방처럼 개인정보와 규정 요구가 강한 조직들과 작업했다고 설명합니다. 이번 PrivateGPT 1.0은 Ollama, vLLM, llama.cpp, LM Studio 같은 로컬 추론 서버 위에서 작동하는 애플리케이션 계층으로 소개됐습니다. 이 계층은 에이전트형 검색, 도구 사용, 구조화된 출력, 코드 실행, 워크플로 지원, OpenAI 스타일 API 호환성을 제공한다고 합니다.
핵심 포인트
용어 한 줄 설명
- llama.cpp
- GPU 없이 CPU에서 AI 언어 모델을 실행할 수 있게 해주는 오픈소스 프로그램.
- LM Studio
- 내 컴퓨터에 인공지능 모델을 다운로드하고 바로 실행해볼 수 있게 돕는 쉬운 프로그램입니다.
- 로컬 추론 서버
- AI 모델을 외부 클라우드가 아니라 자기 서버나 컴퓨터에서 실행하게 해주는 서버입니다.
- 애플리케이션 계층
- 기본 AI 모델 위에 실제 앱 기능을 붙여 주는 소프트웨어 층입니다.
- 에이전트형 검색
- AI가 필요한 정보를 찾아보고 그 결과를 이용해 다음 행동을 정하는 방식입니다.
- AI 에이전트
- 사람 대신 정보를 찾거나 작업을 처리하도록 만든 AI 프로그램입니다.
- 로컬 모델 서버
- 인터넷 API 대신 내 기기나 내 서버에서 AI 모델을 실행하는 방식입니다.
- 클라우드 API
- 인터넷으로 외부 회사의 AI 서비스를 호출해 쓰는 연결 방식입니다.