AgentCL: Toward Rigorous Evaluation of Continual Learning in Language Agents

(번역: 언어 에이전트의 Continual Learning 엄밀 평가를 위한 프레임워크 — AgentCL, 원문 영어 제목의 국문 의역이며 공식 한글 제목 아님)
- 저자: Yiheng Shu, Bernal Jiménez Gutiérrez, Saisri Padmaja Jonnalagedda, Yuguang Yao, Huan Sun, Yu Su
- 소속: The Ohio State University, Johns Hopkins University, Intuit AI Research
- 출처: arXiv:2606.02461 (2026) — arXiv 프리프린트, 미출판·동료검토(peer review) 전 상태. 학술지 게재나 학회 발표를 거치지 않은 초고이므로, 팀원 논문(KCI 등재 학술지)과 같은 급의 검증된 자료로 취급하지 말 것.

ABSTRACT

언어 에이전트(Language Agent)는 개별 과제 하나를 풀 때 상당한 추론 시간을 쓰지만, 한 에피소드에서 얻은 경험이 다음 에피소드에 잘 활용되지 못하는 문제가 있다. Continual Learning(CL)은 에이전트가 연속된 과제들에서 재사용 가능한 경험을 축적하고, 시간이 지날수록 나아지며, 무관한 경험으로부터 방해받지 않기를 기대한다.
그러나 기존 벤치마크들은 언어 에이전트의 CL을 엄밀하게 평가하지 못한다는 문제가 있다.
본 논문에서는 통제된 과제 스트림(task stream)과 전이 효과(transfer gain) 지표를 중심으로 한 평가 프레임워크 AgentCL을 제안한다. 앞선 과제의 하위해법·근거·작업흐름이 뒤 과제에서 의도적으로 재사용되도록 설계한 compositional stream을, 재사용이 보장되지 않는 naive stream과 대조한다. 코딩·심층리서치·언어이해 3개 영역에서 비파라미터(non-parametric) 메모리 설계들을 평가한 결과, naive stream은 메모리 설계들을 구별하는 힘이 약한 반면, compositional stream은 유연성(plasticity) 차이를 훨씬 뚜렷하게 드러냈다.

• Non-parametric memory란?
  모델 가중치(파라미터)를 재학습하지 않고, 과거 경험(대화 기록·요약·스킬 등)을 텍스트 형태로 저장했다가 다음 과제 풀 때 컨텍스트로 불러와 쓰는 방식. 팀원 논문의 EWC/Rehearsal은 가중치 자체를 건드리는 파라미터 기반 CL이었다면, 이 논문은 "가중치는 그대로 두고 기억 저장소만 갱신"하는 접근이라는 차이가 있다.
• Plasticity Gain / Stability Gain / Generalization Gain란?
  아래 "평가 지표" 절에서 수식과 함께 설명.

서론 및 연구 동기

LLM 기반 에이전트는 복잡한 환경과 상호작용하며 많은 추론 시간을 쓰지만, 각 에피소드의 경험이 다음 에피소드 전에 자동으로 장기 역량으로 누적되지 않는다는 문제의식에서 출발한다.
기존 CL은 정적인 배치 데이터를 i.i.d. 가정하에 학습·평가하지만, 에이전트는 순차적이고 과제 수가 제한된 환경에서 동작하며, 과제 간 관계(cross-task relationship)가 CL 측정의 핵심이 된다. 저자들은 엄밀한 에이전트 CL 벤치마크가 만족해야 할 두 조건을 제시한다.
1. 과제 관계의 통제 — 임의로 이어붙인 과제열이 아니라, 지식·하위해법·작업흐름이 과제 간에 어떻게 조합되는지 통제.
2. 에이전틱 CL 지표 — 단순 평균 점수가 아니라, 유연성(plasticity)·안정성(stability)·일반화(generalization)를 분리해서 정량화.

기존 벤치마크(LoCoMo, LongMemEval, StreamBench, LifelongAgentBench 등)는 이 두 조건을 동시에 만족하지 못한다 — 정적 코퍼스에 의존하거나, 과제열의 관계를 통제하지 않아 성능 변동의 원인을 특정하기 어렵다.

핵심 기법 — Naive Stream vs Compositional Stream

팀원 논문에서 "Task1→Task2→Task3(속도 기준 인공 분할)"로 CL 상황을 인공적으로 연출했던 것처럼, 이 논문도 과제 순서를 직접 설계한다. 다만 방식이 다르다.

예를 들어 코딩 벤치마크(CodeEval-Pro)에서는 "부분 문제(subtask) → 그 부분 문제 해법을 반드시 써야 풀리는 복합 문제(complex task)" 쌍으로 구성한다. 팀원 논문이 "주차장 운전 → 시내 주행 → 고속도로 주행"처럼 난이도 순서만 바꿨다면, 이 논문은 "뒤 문제가 앞 문제의 정답 논리를 실제로 재사용해야만 풀리게" 설계 자체를 다르게 한다는 점이 핵심 차별점이다.

평가 프로토콜과 지표 — Two-Pass 방식

팀원 논문의 RMSE/loss/CS/LRR 3축(안정성·일반화·유연성)과 똑같은 3개 축을 쓰지만, 측정 방식이 다르다. 에이전트는 재학습 없이 "기억 저장소"만 갱신하기 때문에, 학습 곡선이 아니라 같은 과제를 두 번 통과시키는 방식(two-pass)으로 측정한다.

• $B_i$: 기억 없는(memoryless) 상태에서 과제 $i$의 성능
• $F_i$: 1차 통과(memory 읽기+쓰기 허용) 때 과제 $i$의 성능
• $S_i$: 2차 통과(memory 읽기 전용, 고정) 때 같은 과제 $i$의 성능
• $H_j$: 학습에 안 쓴 미지의 과제(held-out) $j$의 성능

$$PG_i = F_i - B_i \quad (1)$$
$$SG_i = S_i - F_i \quad (2)$$
$$GG_j = H_j - B_j \quad (3)$$

• Plasticity Gain(PG): "이전 과제 경험이 지금 과제 푸는 데 도움됐나?" — 팀원 논문의 CS/LRR(적응 속도)에 대응.
• Stability Gain(SG): "그 경험이 이후에도 계속 안정적으로 재사용 가능한가?" — 팀원 논문의 안정성(Stability)에 대응. 값이 낮거나 음수면 "기억이 잘 저장은 됐는데 나중에 못 꺼내 쓰거나, 다른 기억에 묻혀버렸다"는 뜻.
• Generalization Gain(GG): "그 기억이 전혀 새로운 과제에도 통하나?" — 팀원 논문의 일반화(Generalizability)에 정확히 대응.

실험 설계

• 평가 방법 8종: ReAct(기억 없는 기준선), LangMem·Mem0(적응형 메모리), AWM·Dynamic Cheatsheet(절차적 지식 메모리), ExpRAG·ReMem·MemProbe(자기진화형 메모리 — MemProbe는 저자들이 직접 만든 진단용 방법)
• 모델: 기본 LLM = Qwen3.5-35B-A3B, 임베딩 = Qwen3-Embedding-8B, 심층리서치 과제는 gpt-oss-120b
• 데이터셋(3개 도메인):

• 코딩·심층리서치는 3회 평균으로 보고. 모든 메모리 방식은 상위 2개 청크만 검색해서 컨텍스트로 사용(공정 비교 위해 통일).

결과 해석

(1) Naive Stream은 변별력이 약함

CodeEval-Pro 기준, compositional stream에서는 방법들 간 정확도 표준편차가 8.8~9.4로 크게 벌어지지만, naive stream(MMLU-Pro)에서는 표준편차가 훨씬 작아 방법 간 차이가 거의 안 보인다. 즉 "그냥 순서만 다른 과제들"로는 어떤 메모리 설계가 더 나은지 구별이 안 된다는 것 — 팀원 논문 식으로 말하면, 검증셋 설계가 나쁘면 알고리즘 우열 판단 자체가 왜곡될 수 있다는 교훈과 정확히 같은 맥락이다(팀원 논문의 "검증셋 결함 발견" 챕터와 본질적으로 같은 문제의식).

(2) Plasticity–Stability 트레이드오프 — 팀원 논문의 Rehearsal 트레이드오프와 판박이

CodeEval-Pro에서 ExpRAG·ReMem·MemProbe는 PG가 각각 +17.7, +13.5, +21.9로 크게 좋아지지만, 같은 스트림의 SG는 +0.0, −2.0, −2.1로 거의 이득이 없거나 오히려 손해다. Held-out 성능(GG)도 전부 기억 없는 ReAct보다 낮다(−4.2, −5.0, −0.8).

BrowseComp+에서는 ReMem이 compositional PG +26.0으로 크게 좋아지지만 SG는 −10.0으로 크게 깎인다.

쉽게 비유하면: "당장 눈앞 문제는 기억을 뒤져서 빨리 잘 푸는데(PG↑), 그 기억이 나중까지 안정적으로 남아있진 않거나(SG↓), 처음 보는 문제엔 오히려 방해가 된다(GG↓)"는 뜻 — 팀원 논문에서 Rehearsal이 "당장 loss는 나쁜데 최종 RMSE는 오히려 좋았던" 트레이드오프와 반대 방향이지만, "한 지표가 좋아지면 다른 지표가 나빠지는 구조적 트레이드오프가 있다"는 결론 자체는 완전히 같은 패턴이다.

(3) held-out 일반화에서는 "기억 없는 기준선"이 오히려 제일 셈

HumanEval-Pro held-out 평가에서 ReAct(메모리 없음)가 72.5로 가장 강했고, 메모리 방법들은 대부분 그보다 낮았다. 그중 MemProbe가 70.8로 ReAct에 가장 근접 — 관련 없는 메모리를 걸러내는 필터링 덕분으로 해석된다.

결론

1. 과제 스트림을 어떻게 설계하느냐(naive vs compositional)가 CL 능력을 구별하는 데 핵심적이다.
2. 앞으로의 CL 벤치마크는 평균 점수만 볼 게 아니라 과제 간 관계를 투명하게 공개·설명해야 한다.
3. Plasticity–Stability 트레이드오프는 특히 과제 간 재사용 기회가 불분명한 상황에서 여전히 풀리지 않은 난제다.

한계점 (논문 자체 명시)

1. 비파라미터(non-parametric) 메모리 접근에만 초점 — 모델 가중치를 직접 갱신하는 파라미터 기반 CL·학습 기반 적응 방법은 체계적으로 평가하지 않음. (즉 팀원 논문의 EWC/Rehearsal 같은 파라미터 기반 접근과는 상호보완적 관계 — 이 논문이 안 다룬 영역을 팀원 논문이 다룬다고 연결 지을 수 있음.)

Sources: AgentCL (arXiv:2606.02461)