초소형 기기에서 인공지능을 더 싸고 빠르게 돌리는 방법
인공지능 모델의 크기를 극단적으로 줄여 작은 저사양 기기에서도 성능 저하 없이 작동하게 하는 기술이 확인되었습니다. 이를 통해 값비싼 서버 대신 내 컴퓨터나 작은 기기에서 직접 인공지능을 돌려 비용을 아낄 수 있습니다.
이번 벤치마킹 실험은 젯슨 오린 나노라는 소형 컴퓨터에서 '1비트' 및 '1.58비트'라는 새로운 압축 기술을 적용한 모델을 테스트했습니다. 보통 인공지능은 많은 메모리와 복잡한 계산이 필요하지만, 이 기술은 복잡한 곱셈을 단순한 덧셈으로 바꿔 속도를 높이고 전기 사용량도 대폭 줄여줍니다. 실험 결과, 아주 작은 기기에서도 초당 수십 개의 단어를 생성할 수 있을 만큼 효율적이었습니다. 이는 비싼 구독료를 내지 않고도 개인이나 기업이 독자적인 인공지능 비서를 저렴하게 구축할 수 있는 길을 열어줍니다.
핵심 포인트
용어 한 줄 설명
- 인공지능 모델
- 사람처럼 글을 쓰거나 이미지를 만들도록 많은 데이터를 학습한 컴퓨터 프로그램입니다.
- 인공지능
- 인간처럼 생각하고 문제를 해결하도록 만든 컴퓨터 프로그램입니다.
- 벤치마킹
- 여러 제품이나 서비스를 같은 기준으로 테스트해 성능을 비교하는 것
- 젯슨 오린 나노
- 인공지능 계산에 특화된 손바닥 크기의 소형 컴퓨터입니다.
- 전력 소모
- 기기가 작동하는 동안 사용하는 전기의 양입니다.
- 클라우드 서버
- 인터넷을 통해 접속해서 사용하는 거대한 외부 컴퓨터를 말합니다.
- 클라우드
- 내 컴퓨터가 아니라 인터넷으로 연결된 외부 컴퓨터를 쓰는 방식입니다.
- 운영 비용
- 사업이나 서비스를 유지하기 위해 계속해서 들어가는 돈입니다.