애플, 기기 안에서 AI 모델을 돌리는 새 엔진 공개
레딧 글은 애플이 WWDC에서 Apple Silicon용 새 온디바이스 추론 엔진인 CoreAI를 발표했다고 전합니다. 작성자는 CoreAI가 CoreML을 대체할 수 있고, MLX, llama.cpp, torch 같은 도구의 대안이 될 수 있다고 설명합니다. 모델은 파이썬 스크립트로 변환해야 하며, 아직 성능 수치는 공개되지 않았다고 말합니다. 글은 애플이 기기 안에서 20B 모델을 배포할 수 있다고 밝힌 점도 함께 언급합니다.
핵심 포인트
- 애플이 Apple Silicon에서 AI 모델을 기기 안에서 실행하는 CoreAI를 발표했다고 글이 전합니다.
- 작성자는 CoreAI가 CoreML보다 큰 언어 모델에 더 맞을 수 있다고 봅니다.
- 모델 가중치는 별도 변환 과정을 거쳐야 한다고 설명합니다.
- 아직 실제 성능 수치는 공개되지 않았다고 말합니다.
- 20B 모델을 기기 안에서 배포할 수 있다는 애플 발표가 함께 언급됐습니다.
용어 한 줄 설명
- Apple Silicon
- Apple이 자체 설계한 M 시리즈 칩으로, 맥북과 맥미니 등에 탑재됩니다.
- 온디바이스 추론
- AI 모델을 서버가 아니라 사용자의 기기 안에서 실행하는 방식입니다.
- CoreAI
- 애플이 공개한 것으로 언급된 새 AI 실행 엔진 이름입니다.
- CoreML
- 애플 기기에서 머신러닝 모델을 실행하기 위한 기존 도구입니다.
- llama.cpp
- GPU 없이 CPU에서 AI 언어 모델을 실행할 수 있게 해주는 오픈소스 프로그램.
- AI 에이전트
- 사람 대신 정보를 찾거나 작업을 처리하도록 만든 AI 프로그램입니다.
- 클라우드 API
- 인터넷으로 외부 회사의 AI 서비스를 호출해 쓰는 연결 방식입니다.
- 모델 가중치
- AI가 학습을 통해 얻은 내부 숫자 값으로, 이것을 저장하면 같은 AI를 다시 만들 수 있습니다.