M2 16GB 맥에서 보조 모델 압축 테스트 중 메모리 문제
한 사용자가 Hermes Agent에서 압축용 보조 모델로 Gwen3 4b를 추가해 봤다고 말했습니다. 테스트 중 20k/s 토큰 속도를 봤고, 16000 MD 파일 요약을 압축 테스트에 사용했습니다. 이 과정에서 RAM 사용량이 12GB까지 올라갔고, Mac mini가 바로 꺼졌다고 합니다.
핵심 포인트
용어 한 줄 설명
- Hermes Agent
- AI 에이전트를 만들고 관리하는 도구나 커뮤니티 이름으로 보입니다.
- Hermes
- AI 에이전트가 웹이나 도구를 써서 작업하도록 돕는 서비스입니다.
- 보조 모델
- 주 작업을 돕기 위해 함께 쓰는 작은 AI 모델입니다.
- Gwen3 4b
- 작은 규모의 AI 모델로 보이는 이름이며, 여기서는 게시물 제목에 나온 표현입니다.
- MD 파일
- 마크다운 형식으로 쓴 문서 파일입니다.
- RAM
- 현재 실행 중인 프로그램의 데이터를 임시로 저장하는 컴퓨터의 기억 공간입니다.
- 메모리
- 컴퓨터가 정보를 일시적으로 기억하고 처리하는 데 사용하는 부품입니다.
- 16GB
- 컴퓨터가 한 번에 작업할 때 쓰는 메모리 용량입니다.