12GB VRAM으로 로컬 LLM을 돌릴 때 생기는 한계 질문
Reddit의 한 사용자는 12GB VRAM 환경에서 LLM을 직접 돌리고 있다고 말했다. 주로 서버 관리 작업에 쓰며, Linux에서 Qwen Code CLI와 Ollama를 사용한다고 설명했다. 하지만 모델이 작업 중 멈추거나 반복에 빠져, 실제 도움보다 모델 문제를 고치는 시간이 더 많다고 했다. 이 사용자는 VRAM이 부족한지, 모델이나 작업 방식이 문제인지 묻고 있다.
핵심 포인트
- 사용자는 12GB VRAM으로 LLM을 직접 호스팅하고 있다.
- 주요 용도는 self hosting admin tasks라고 설명했다.
- Qwen 3.5 9B와 큰 context window를 사용해왔다고 말했다.
- Qwen Code CLI를 Linux 클라이언트로 쓰고, Ollama가 모델을 불러온다.
- 모델이 작업 중 멈추거나 loop에 빠져 작업 효율이 떨어진다고 했다.
용어 한 줄 설명
- Ollama
- 내 컴퓨터에 AI 모델을 내려받아 실행하게 해 주는 도구입니다.
- AI 에이전트
- 사람 대신 정보를 찾거나 작업을 처리하도록 만든 AI 프로그램입니다.
- 로컬 LLM
- 클라우드 서버가 아닌 내 컴퓨터에서 직접 실행하는 AI 언어 모델.
- 컨텍스트 창
- AI 모델이 한 번에 읽고 처리할 수 있는 텍스트의 최대 분량.
- 로컬 모델
- 인터넷 연결이나 외부 서버 없이 내 컴퓨터에서 직접 실행하는 AI 모델입니다.
- self host
- 서비스를 남의 서버가 아니라 내가 관리하는 서버에 직접 설치해 쓰는 방식입니다.
- context window
- AI가 한 대화에서 기억하고 참고할 수 있는 글의 최대 범위입니다.
- context
- AI가 답을 만들 때 참고로 받는 배경 정보입니다.