OpenAI API 비용을 요청별로 보여주는 추적 도구
작성자는 예상하지 못한 200달러 OpenAI 청구서를 받은 뒤 LLMWatch를 만들었다고 말합니다. 이 도구는 앱과 OpenAI 사이에 들어가는 proxy입니다. 설정에서 baseURL 한 줄을 바꾸면 각 요청의 비용, 지연 시간, token 사용량이 기록된다고 설명합니다. 무료 요금제는 월 1,000건 요청이고, Pro는 월 20달러에 무제한 사용과 비용 알림을 제공한다고 합니다.
핵심 포인트
용어 한 줄 설명
- proxy
- 앱과 AI 서비스 사이에 서서 요청과 응답을 지나가게 하는 중간 프로그램입니다.
- baseURL
- 앱이 요청을 보낼 기본 인터넷 주소다.
- 지연 시간
- 사용자 입력 후 AI가 응답을 시작할 때까지 걸리는 시간
- token
- AI가 글을 읽고 쓸 때 세는 작은 글자 조각 단위입니다.
- 무료 요금제
- 기간 제한 없이 일부 기능을 공짜로 사용할 수 있게 제공하는 등급입니다.
- OpenAI API
- 앱이나 서비스가 OpenAI의 AI 기능을 요청해서 쓰는 연결 방식입니다.
- prompt
- AI에게 원하는 결과를 설명하는 지시문입니다.
- 개인정보
- 목소리, 대화 내용, 이름처럼 개인을 알아볼 수 있는 정보입니다.