AI 에이전트가 틀릴 때 멈추고 되돌리는 설계
가 단순히 을 쓰는 수준을 넘어 실제 작업을 처리할 때는 모델 성능만으로는 부족하다. 더 큰 위험은 에이전트가 틀렸거나 느리거나 필요한 문맥이 부족한 상태에서 다음 단계로 넘어가는 순간이다. 안전한 설계는 먼저 좁고 분명한 업무 하나만 하고, 입력과 출력이 무엇인지 으로 드러내는 방식에서 시작한다.
작업 로그는 사용자 입력, 모델 출력, , 사람이 고친 내용을 따로 남겨야 나중에 어디서 문제가 났는지 볼 수 있다. 를 멈출 수 있는 이름 있는 검토자가 필요하고, 에이전트 없이도 같은 일을 처리할 수 있는 수동 대체 경로가 있어야 한다. 문제가 생겼을 때는 , 도구, 데이터 출처를 이전 상태로 되돌리는 점검표도 준비해야 한다.
운영 방식으로는 모든 행동 전 사람 승인, 작업 후 검토, 도구 권한 제한, 즉시 중지 장치 같은 선택지가 비교 대상이 된다.
핵심 포인트
- 가 틀리거나 느리거나 문맥이 부족할 때의 넘겨받기 설계가 중요하다.
- 좁은 업무 하나부터 하고 입력과 출력 기준을 분명히 해야 한다.
- 작업 로그는 사용자 입력, 모델 출력, , 사람 수정 내용을 나누어 남기는 것이 좋다.
- 를 멈출 수 있는 담당 검토자와 에이전트 없이 실행 가능한 수동 대체 경로가 필요하다.
- , 도구, 데이터 출처를 되돌리는 점검표를 준비해야 한다.