DRIFT, 여러 언어 코드의 토큰을 자동으로 줄이는 기능 추가

DRIFT에는 여러 프로그래밍 언어의 코드를 모델에 넣기 전에 자동으로 줄이는 토큰 압축 기능이 추가됐다. 이 기능은 JSON 같은 정해진 형식뿐 아니라 파이썬, 자바스크립트, CSS, HTML 코드에도 적용된다. 메모리에서 가져온 코드, 문서에서 긁어온 코드, 작업공간 문맥에 포함된 코드는 모델 문맥에 들어가기 전에 언어별 축소 단계를 거친다.

파이썬에서는 문서 문자열, 줄 안 주석, 불필요한 빈칸과 빈 줄을 제거한다. 자바스크립트와 CSS에서는 한 줄 주석과 여러 줄 주석을 없애고, 코드가 작동하는 구조는 유지하면서 공백과 줄바꿈을 줄인다. HTML에서는 개발자 주석과 태그 사이의 불필요한 공백을 줄이되 DOM 구조는 유지한다.

파이썬, 자바스크립트, HTML이 섞인 433자 예시에서는 240자로 줄어 약 44.57% 감소했다.

핵심 포인트

  • DRIFT는 코드를 모델 문맥에 넣기 전에 자동으로 토큰을 줄인다.
  • 파이썬, 자바스크립트, CSS, HTML을 지원한다.
  • 주석, 문서 문자열, 불필요한 공백과 줄바꿈을 제거하거나 줄인다.
  • 혼합 언어 예시에서 433자가 240자로 줄어 약 44.57% 감소했다.
  • AI 에이전트가 많은 코드와 문서를 읽을 때 API 한도와 비용을 아끼는 데 도움이 될 수 있다.

용어 한 줄 설명

DRIFT
이 항목에서 소개된 토큰 압축 기능을 포함한 도구 이름이다.
프로그래밍 언어
사람이 컴퓨터에게 일을 시키기 위해 쓰는 규칙과 문법입니다.
자바스크립트
원래 웹페이지에 움직임을 주기 위해 만들어진 가장 대중적인 프로그래밍 언어입니다.
HTML
웹페이지의 글, 버튼, 링크 같은 구조를 담는 기본 문서 형식입니다.
모델 문맥
AI 모델이 한 번에 읽고 답변에 참고할 수 있는 입력 범위다.
DOM 구조
웹페이지의 HTML 요소들이 서로 어떤 관계로 놓여 있는지 나타내는 구조다.
AI 에이전트
사람 대신 정보를 찾거나 작업을 처리하도록 만든 AI 프로그램입니다.
코드 저장소
프로젝트 코드를 저장하고 여러 기기에서 같은 내용을 받을 수 있게 해 주는 공간입니다.
원문 보기