Claude Code 비용을 줄인다는 오픈소스 프록시 공개

Reddit 글쓴이는 Claude Code 사용 비용 중 캐시 할인이 안 되는 부분이 많다고 말합니다. 그래서 `llmtrim`이라는 로컬 프록시를 만들었다고 설명합니다. 이 도구는 캐시되는 앞부분은 그대로 두고, 새로 보내는 요청과 답변을 압축한다고 합니다. 글쓴이는 실제 Claude Code 사용에서 정가로 과금되는 입력이 약 68% 줄었다고 주장합니다.

핵심 포인트

  • 글쓴이는 `llmtrim`을 오픈소스 로컬 프록시라고 소개합니다.
  • 캐시 할인이 적용되는 앞부분은 바꾸지 않는다고 설명합니다.
  • 도구 출력처럼 긴 텍스트를 크게 줄이는 데 초점을 둔다고 합니다.
  • 글쓴이는 실제 Claude Code 트래픽에서 정가 과금 입력이 약 68% 줄었다고 주장합니다.
  • 요청당 약 18ms가 추가됐지만, 보내는 내용이 작아져 전체 호출은 더 빨라질 때도 있었다고 말합니다.

용어 한 줄 설명

DDI
DNS·DHCP·IP 주소 관리를 합쳐서 부르는 말
LLM
글과 코드를 읽고 답을 만드는 대형 AI 모델입니다.
로컬 프록시
내 컴퓨터나 서버에서 요청을 중간에 받아 정리한 뒤 다른 서비스로 보내는 도구입니다.
1인 개발자
회사에 소속되지 않고 혼자서 기획부터 제작까지 모든 과정을 책임지는 제작자.
생산성
같은 시간과 노력으로 얼마나 많은 결과를 만들어내는지를 뜻합니다.
캐시 적중률
저장해 둔 캐시가 실제로 얼마나 자주 다시 쓰였는지를 뜻합니다.
도구 출력
AI가 파일 읽기, 검색, 명령 실행 같은 작업을 한 뒤 받은 결과입니다.
오픈소스
소스 코드를 공개해 누구나 보고 사용할 수 있게 한 방식입니다.
원문 보기