LLM 비용을 이해하려면 먼저 토큰을 알아야 한다
이 글은 LLM이 글자를 그대로 읽지 않고 토큰이라는 작은 조각으로 나눠 읽는 방식을 설명합니다. 같은 문장도 모델마다 토큰 수가 달라질 수 있습니다. 그래서 AI 에이전트를 만들 때 입력을 어떻게 쓰느냐가 속도와 비용에 직접 영향을 줍니다.
핵심 포인트
용어 한 줄 설명
- LLM
- 글과 코드를 읽고 답을 만드는 대형 AI 모델입니다.
- 토큰
- AI가 글을 읽고 쓸 때 세는 작은 글자 조각 단위입니다.
- AI 에이전트
- 사람 대신 정보를 찾거나 작업을 처리하도록 만든 AI 프로그램입니다.
- API 비용
- 서비스 기능을 프로그램으로 호출할 때 사용량에 따라 내는 돈입니다.
- BPE
- 자주 붙어 나오는 글자 조각을 묶어 토큰을 만드는 방법입니다.
- 토크나이저
- 문장을 토큰으로 나누는 도구입니다.