화웨이 칩에서 AI 모델 실행 가능하게 해주는 오픈소스 플러그인, 16개월 만에 별 2,200개
vLLM-Ascend는 AI 모델을 화웨이 Ascend 칩에서 실행할 수 있게 해주는 오픈소스 플러그인입니다. 엔비디아 GPU 없이도 AI 추론이 가능해져, 하드웨어 선택지가 넓어졌습니다. 16개월 만에 GitHub 별 2,200개를 받으며 관심을 끌었습니다.
현재 AI 모델을 돌리려면 대부분 엔비디아 GPU가 필요합니다. 하지만 엔비디아 칩은 비싸고, 미국의 수출 제한 때문에 일부 국가·기업은 구하기도 어렵습니다. vLLM-Ascend는 인기 있는 AI 실행 엔진인 vLLM에 꽂아 쓰는 플러그인으로, 화웨이가 만든 Ascend 칩 위에서도 같은 AI 모델을 실행할 수 있게 합니다.
이 플러그인이 중요한 이유는 하드웨어 의존도를 줄여주기 때문입니다. 엔비디아 외의 선택지가 생기면 칩 공급 부족이나 가격 상승에 덜 취약해지고, 특히 데이터센터 운영 비용을 낮출 여지가 생깁니다. 오픈소스로 공개돼 있어 누구나 코드를 살펴보거나 기여할 수 있습니다.
핵심 포인트
용어 한 줄 설명
- vLLM
- AI 모델을 서버에서 빠르고 효율적으로 실행하기 위한 오픈소스 엔진.
- LLM
- 글과 코드를 읽고 답을 만드는 대형 AI 모델입니다.
- ASCE
- 미국토목학회(American Society of Civil Engineers)로, 토목 공학 분야의 전문가 단체입니다.
- AI 모델
- 질문에 답하거나 글을 만드는 방법을 배운 프로그램입니다.
- Ascend 칩
- 화웨이가 만든 AI 연산 전용 반도체입니다.
- 오픈소스
- 소스 코드를 공개해 누구나 보고 사용할 수 있게 한 방식입니다.
- 플러그인
- 기본 도구에 특정 기능을 더해 주는 추가 기능입니다.
- 데이터센터
- AI 서비스가 돌아가도록 많은 컴퓨터를 모아 둔 큰 시설이다.