llama.cpp에 Cohere의 경량 코드 에이전트 모델 지원 추가
에 계열 모델을 돌릴 수 있는 구조 지원이 추가됐다. 이로써 Cohere와 Cohere Labs가 공개한 North Mini Code 1.0을 로컬 환경에서 더 쉽게 실행할 수 있다. North Mini Code 1.0은 코드 작성, 에이전트형 소프트웨어 작업, 터미널 작업에 맞춘 연구용 모델이다.
모델 크기는 전체 300억 매개변수지만, 한 번에 실제로 쓰는 부분은 30억 매개변수다. 이런 MoE 방식은 큰 모델의 능력을 일부 가져오면서도 매번 전체 모델을 돌리지 않아 실행 비용과 속도 면에서 유리할 수 있다. 문맥 길이는 최대 25만6000 토큰이며, 출력은 최대 6만4000 토큰까지 지원한다.
라이선스는 이라 실험과 제품화 검토에 비교적 쓰기 쉽다.
핵심 포인트
- 에 모델 구조 지원이 추가됐다.
- North Mini Code 1.0은 , 에이전트형 소프트웨어 작업, 터미널 작업에 맞춘 모델이다.
- 전체 크기는 300억 매개변수지만 한 번에 활성화되는 부분은 30억 매개변수다.
- 최대 문맥 길이는 25만6000 토큰이고 최대 출력은 6만4000 토큰이다.
- 라이선스로 공개되어 실험과 활용 검토가 쉽다.