로컬 AI를 바로 쓰게 해주는 완성형 시스템 이미지 제안
로컬 대형 언어 모델을 더 쉽게 쓰게 하자는 제안이다. 목표는 AI가 몇몇 큰 회사 안에 갇혀 접근이 어려워지기 전에, 개인도 자기 컴퓨터에서 AI를 돌릴 수 있게 만드는 것이다.
예시 장비는 메모리 96GB가 있는 GMKtek Evo-X2이며, 이 장비에 바로 넣어 쓸 수 있는 시스템 이미지나 미리 설치된 저장장치를 만드는 방식이 제시됐다. 기본 운영체제는 가볍게 줄인 우분투 서버이고, 화면에는 크로미움 키오스크가 떠서 사용자가 복잡한 설정 없이 조작하게 된다.
인터페이스에는 시스템 상태 보기, 공개 코드, 쉬운 채팅 화면, 모델 선택기, 그리고 위키백과·스택 오버플로 등 내려받은 지식 자료를 활용하는 Kiwix RAG가 포함된다. llama.cpp는 미리 최적화되고, 내려받은 위키백과 자료를 쓰는 MCP 서버도 미리 설정되어 로컬 모델의 현재 수준을 쉽게 체험하게 하는 구상이다.
핵심 포인트
용어 한 줄 설명
- 로컬 대형 언어 모델
- 인터넷 서비스가 아니라 내 컴퓨터에서 직접 실행하는 글 생성 AI 모델이다.
- 대형 언어 모델
- ChatGPT, Claude처럼 글을 읽고 쓰고 코드를 짜는 데 쓰이는 대규모 AI 프로그램.
- 시스템 이미지
- 운영체제와 프로그램 설정을 통째로 담아 바로 설치할 수 있게 만든 파일입니다.
- 크로미움 키오스크
- 웹브라우저를 전체 화면 전용 화면처럼 띄워 정해진 기능만 쓰게 하는 방식이다.
- Kiwix RAG
- 내려받은 지식 자료를 검색해 AI 답변에 참고시키는 방식이다.
- llama.cpp
- GPU 없이 CPU에서 AI 언어 모델을 실행할 수 있게 해주는 오픈소스 프로그램.
- MCP 서버
- AI 도구가 파일, 앱, 데이터 같은 외부 기능과 연결되게 해주는 서버입니다.
- 클라우드 AI
- 내 컴퓨터가 아니라 외부 회사 서버에서 돌아가는 AI입니다.