AI 에이전트의 반복 루프를 일부러 테스트하는 방법
를 만들 때, 모델이 같은 말이나 같은 행동을 반복하는 를 잘 찾아내는 기능이 필요하다. 이 사례에서는 식별, 차단, 복구 기능을 시험하기 위해 일부러 자주 에 빠지는 모델을 찾고 있다. 최근에는 를 낮은 온도 설정과 강한 조건에서 썼을 때 문제가 가장 심했다.
이상적인 용 모델은 약 75%는 여러 방식으로 에 빠지고, 약 25%는 을 제대로 해내는 모델이다. 목표는 출력 내용을 보고 일 가능성을 점수로 매기고, 에이전트가 이전 단계로 돌아가 다시 지시해서 를 끊게 만드는 것이다.
핵심 포인트
- 에이전트가 같은 행동을 반복하는 를 감지하고 복구하는 기능을 시험하려는 목적이다.
- 는 낮은 온도 설정과 강한 조건에서 문제가 심했던 사례로 언급됐다.
- 에 이상적인 모델은 대부분 에 빠지지만 일부 상황에서는 도 제대로 해야 한다.
- 가능성을 하면 에이전트가 멈추거나 되돌아가 다시 지시할 수 있다.
- 감지는 불필요한 토큰 사용과 비용을 줄이는 데 도움이 된다.