LLM에 보낼 정보를 코드로 자동 조립하는 방법
AI 모델에 넘기는 '맥락(context)'을 사람이 손으로 붙이는 대신, 코드가 자동으로 골라 조립하자는 아이디어입니다. 필요한 정보만 정밀하게 선택하면 토큰(비용)을 줄이면서 답변 품질도 높일 수 있습니다.
AI 모델은 질문과 함께 배경 정보를 받아야 좋은 답을 냅니다. 이 배경 정보 묶음을 'context(맥락)'라고 하는데, 지금은 개발자가 직접 어떤 문서를 넣을지 정하는 경우가 많습니다. 이 글에서 제안하는 방식은 맥락 조립 자체를 프로그래밍 가능하게 만드는 것입니다. 즉, 규칙이나 조건에 따라 코드가 '지금 이 질문에는 이 파일, 저 API 응답, 이 메모리'를 자동으로 골라 끼워 넣습니다. 이렇게 하면 불필요한 정보를 제거해 토큰 수를 줄이고, 에이전트가 여러 단계를 거칠 때마다 맥락을 일관되게 유지할 수 있습니다.
핵심 포인트
- context(맥락)란 AI 모델에게 질문과 함께 넘기는 배경 정보 묶음입니다.
- 지금은 개발자가 수동으로 어떤 정보를 넣을지 결정하는 경우가 많습니다.
- 코드로 맥락 조립을 자동화하면 필요한 정보만 선택해 토큰 비용을 줄일 수 있습니다.
- 에이전트가 여러 단계를 실행할 때 맥락이 일관되게 유지되어 오류가 줄어듭니다.
- 이 접근법은 RAG(문서 검색 후 답변 생성) 파이프라인에도 바로 적용할 수 있습니다.
용어 한 줄 설명
- AI 모델
- 질문에 답하거나 글을 만드는 방법을 배운 프로그램입니다.
- context
- AI가 답을 만들 때 참고로 받는 배경 정보입니다.
- 아이디어
- 새로운 사업이나 제품을 만들기 위한 생각이나 구상입니다.
- context(맥락)
- AI 모델이 답변을 만들 때 참고하도록 함께 전달하는 배경 정보 묶음입니다.
- 메모리
- 컴퓨터가 정보를 일시적으로 기억하고 처리하는 데 사용하는 부품입니다.
- 토큰 비용
- AI가 글을 읽고 답할 때 처리한 글자 조각 수에 따라 드는 비용입니다.
- RAG
- AI가 답하기 전에 관련 자료를 검색해서 그 내용을 참고하게 하는 방식입니다.
- 파이프라인
- 데이터를 가져오고 바꾸고 내보내는 여러 작업을 순서대로 묶은 흐름입니다.