ARC B70에서 로컬 Qwen 모델을 빠르게 돌린 사용 후기
한 Reddit 사용자가 Intel ARC B70 그래픽카드로 로컬 AI 작업을 돌린 경험을 공유했다. 그는 Hermes agent에는 Qwen3.6-35B-A3B-GGUF를, Claude Code에는 Qwen3.6-27B-MTP-GGUF를 연결해 썼다고 밝혔다. LM Studio, 공식 llama.cpp Docker, 커뮤니티 Docker 이미지, kyuz0 도구를 차례로 시도했고, 직접 Docker 이미지를 빌드한 뒤 속도와 안정성이 좋아졌다고 말했다.
핵심 포인트
- 작성자는 ARC B70로 로컬 AI 작업을 돌리며 좋은 성능을 봤다고 말한다.
- Claude Code에는 Qwen3.6-27B-MTP-GGUF를 연결해 사용했다.
- Hermes agent에는 Qwen3.6-35B-A3B-GGUF를 연결해 사용했다.
- LM Studio는 SYCL backend support가 없어 빠르게 포기했다고 한다.
- 직접 Docker 이미지를 빌드한 뒤 성능과 안정성이 좋아졌다고 설명한다.
용어 한 줄 설명
- Hermes Agent
- AI 에이전트를 만들고 관리하는 도구나 커뮤니티 이름으로 보입니다.
- Qwen3.6
- 알리바바 계열에서 만든 Qwen 계열의 AI 모델 이름으로 보입니다.
- LM Studio
- 내 컴퓨터에 인공지능 모델을 다운로드하고 바로 실행해볼 수 있게 돕는 쉬운 프로그램입니다.
- llama.cpp
- GPU 없이 CPU에서 AI 언어 모델을 실행할 수 있게 해주는 오픈소스 프로그램.
- Docker
- 앱과 필요한 환경을 한 묶음으로 담아 어디서든 비슷하게 실행하게 해주는 도구다.
- 1인 개발자
- 회사에 소속되지 않고 혼자서 기획부터 제작까지 모든 과정을 책임지는 제작자.
- SYCL backend support
- Intel 같은 특정 하드웨어에서 AI 계산을 빠르게 돌리기 위한 지원 기능을 뜻한다.
- backend
- 사용자에게 직접 보이지 않지만 서비스의 실제 처리를 맡는 뒷단 시스템입니다.