ALTK‑Evolve의 접근법은 단순해 보이지만 효과적입니다. 에이전트의 과거 실수와 성공 사례를 분석해 짧은 행동 규칙으로 정리하고, 이를 시스템 프롬프트에 추가한 뒤 같은 기본 모델이 지속적으로 제공되는 맥락을 활용해 작업을 수행하도록 합니다. 정책 제약이 있는 τ²‑bench 고객 서비스 작업에서 이 방법은 gpt‑4.1 ReAct 에이전트를 소매 부문 최첨단 모델들과 어깨를 나란히 하는 수준으로 끌어올렸고, 항공 부문에서는 gpt‑5.5 에이전트를 1위로 올려놓았습니다. 이는 실제 운영 팀에 중요한 시사점을 줍니다. 성능 격차를 좁히기 위해 반드시 더 큰 모델을 써야 하는 것은 아닙니다. 정확하고 품질 높은 메모리만으로도 결과를 크게 바꿀 수 있습니다.
ALTK‑Evolve가 말하는 ‘학습된 지침’은 플레이북에 담긴 간결한 실행 규칙입니다. 예를 들면 데이터베이스에 기록하기 전에 인증하기, 변경 사항을 명확히 확인받기, 한 턴에 도구 작업 하나만 수행하기, 사용자 식별자 형식 통일하기 등이 있습니다. 이런 규칙은 에이전트의 실행 기록을 바탕으로 에이전트를 구동하는 것과 동일한 LLM이 자동으로 만들어내므로, 사람의 주석 작업이나 모델 가중치 업데이트가 필요하지 않습니다. 지침은 프롬프트에 포함되므로 세션마다 에이전트의 행동을 즉시, 일관되게 바꿉니다. 반복적인 파인튜닝에 비해 적은 비용으로 개선할 수 있고 감사도 간편한 지속적 메모리 방식입니다.
실험 결과는 분명합니다. 손실 없이 추출한 지침을 추가하자 소매 부문의 Pass^4 점수는 10포인트 상승해 67.5%에 도달했고, 항공 부문 성과도 크게 개선되었습니다. 이때 대화 턴 수는 대부분 늘어나지 않았습니다. 주된 추가 비용은 API를 더 많이 호출하는 데서 발생한 것이 아니라, 시스템 프롬프트가 길어지면서 늘어난 입력 토큰이었습니다. 프롬프트 캐싱과 세심한 컨텍스트 설계를 활용하면 토큰 비용의 상당 부분을 줄일 수 있어, 대량의 고객 상담을 처리할 때 메모리 방식은 경제적으로도 매력적입니다.
제품 및 운영 팀은 이 접근법을 통해 지속적인 효과를 내는 데 가장 도움이 되는 엔지니어링 투자가 무엇인지 다시 생각해 볼 수 있습니다. 다음 최첨단 모델을 무조건 따라가기보다 메모리 품질, 지침 선별, 수명주기 관리 도구에 투자하는 것이 더 나을 수 있습니다. 하지만 학습된 메모리가 만능은 아닙니다. 절차가 명확하고 정책이 안정적이며 도구 작업의 결과를 예측할 수 있는 환경에서 가장 효과적입니다. 아래에서 작동 방식과 다른 대안과의 비교, 실질적인 도입 체크리스트를 살펴보겠습니다.