맥에서 DiffusionGemma가 Unsloth Studio로 바로 실행되지 않음
M5 Pro와 64기가바이트 메모리를 가진 맥에서 Unsloth Studio로 DiffusionGemma 모델을 불러오려 했지만 실패했다. Unsloth Studio 업데이트 스크립트를 실행하고 모델까지 내려받았지만, 모델을 지원하지 않는다는 오류가 나왔다. 오류 내용은 llama.cpp가 이 GGUF 파일의 모델 구조인 diffusion-gemma를 아직 지원하지 않기 때문에 llama-server로 실행할 수 없다는 뜻이다.
파일 자체는 정상으로 보이지만, 현재 실행 도구가 이 모델 형식을 처리하지 못한다. Unsloth 문서에서는 지원되는 것처럼 보이기 때문에, 맥에서는 아직 지원되지 않는지, llama.cpp를 따로 업데이트해야 하는지 확인이 필요한 상황이다.
핵심 포인트
- M5 Pro와 64기가바이트 메모리 맥에서도 DiffusionGemma 로딩이 실패했다.
- 오류는 GGUF 파일이 잘못된 것이 아니라 diffusion-gemma 모델 구조를 실행 도구가 지원하지 않는다는 내용이다.
- llama.cpp가 해당 구조를 지원하지 않아 llama-server로 실행할 수 없었다.
- Unsloth 문서의 지원 안내와 실제 맥 실행 결과 사이에 차이가 있을 수 있다.
- 맥미니 서버에 새 모델을 올리기 전에는 실행 도구의 모델 지원 여부를 먼저 확인해야 한다.
용어 한 줄 설명
- M5 Pro
- 애플이 맥북 프로에 탑재한 고성능 칩으로, CPU와 GPU가 하나로 통합되어 있습니다.
- Unsloth Studio
- AI 모델을 내려받고 실행하는 데 쓰는 도구 이름입니다.
- DiffusionGemma
- Gemma 계열 이름이 붙은 AI 모델 또는 실험 모델로 보이지만, 이 항목만으로 정확한 세부 내용은 알 수 없습니다.
- diffusion
- 여러 단계를 거쳐 답을 만들어 내는 AI 생성 방식입니다.
- llama.cpp
- GPU 없이 CPU에서 AI 언어 모델을 실행할 수 있게 해주는 오픈소스 프로그램.
- llama-server
- Llama 계열 AI 모델을 서버처럼 실행해 다른 프로그램이 호출할 수 있게 하는 도구입니다.
- server
- 웹사이트나 앱이 인터넷에서 작동하도록 데이터를 보내 주는 컴퓨터다.
- 맥미니 서버
- 맥 미니를 집이나 사무실에서 계속 켜 두고 파일, 앱, 자동화 작업 등에 쓰는 방식입니다.