AI 에이전트 메모리는 저장에서 생애주기·자기진화로 발전했고 인격 성장은 episodic→semantic consolidation이 만든다

요약

• AI 메모리는 "어디에 저장할까"(1997–2022) → "무엇을 기억으로 올리고 어떻게 진화시킬까"(2023) → "메모리를 학습 가능한 인지 기질로 만들까"(2025–) 순으로 발전했고, 각 단계는 직전 설계의 한계가 떠밀어 나왔다.
• "Memory in the Age of AI Agents" 서베이는 파편화된 용어를 Forms(token/parametric/latent) × Functions(factual/experiential/working) × Dynamics(formation/evolution/retrieval) 3축으로 통합한다.
• 상호작용으로 성장하는 인격 챗봇의 엔진은 working memory(긴 맥락)도 parametric persona(가중치에 구움)도 아니라, episodic 사건을 semantic 성향으로 굳히는 consolidation이다 — 학계가 이를 평생학습의 주 메커니즘으로 본다.

본문

발전 단계 (한계 → 다음 동력)

Era 0 (1997–2017) 외장 메모리 vs 어텐션

• LSTM(게이트 순환, 용량은 hidden state에 묶임) → NTM·Memory Networks(컨트롤러와 분리된 주소지정 read/write 메모리) → End-to-End MemNets·DNC(미분 가능) → Transformer: 어텐션=암묵적 working memory, FFN=파라메트릭 메모리. 컨트롤러/메모리 분리가 단일 아키텍처로 녹음.
• 한계: 컨텍스트 윈도우 유한, 가중치 지식은 학습 시점에 얼어붙음, 추론 사이에 stateless.

Era 1 (2020–2022) 얼어붙은 메모리를 푸는 세 갈래 (= Forms 축의 맹아)

• RAG(외부 문서 검색 주입 → 재학습 없이 갱신, but read-only) / ICL·GPT-3(컨텍스트를 프로그래밍, but 세션 끝나면 증발) / ROME·MEMIT(MLP를 key-value로 보고 사실 외과수술 편집, but 단일 사실·순차 편집 시 붕괴).
• 한계: 세 기법이 고립됨. 경험적 학습·반성·생애주기 관리 전무.

Era 2 (2023) LLM 에이전트 변곡점 — 저장에서 생애주기로

• Generative Agents: memory stream + recency·importance·relevance 검색 + reflection(상위 통찰 합성). 최초의 완전 생애주기. → 평평한 리스트, 구조·컨텍스트 관리 없음.
• MemGPT: OS 가상메모리(컨텍스트=RAM, 외부=디스크, 페이지 in/out). → 여전히 비구조 항목, multi-hop 실패.
• Reflexion: 실패 후 언어 자기비판을 episodic 버퍼에 축적, 가중치 없이 자기개선. → 휘발적·과제 특화.
• Voyager: 실행 가능 코드 스킬 라이브러리(합성적 평생학습). → 도메인 특화, 평평한 라이브러리 열화.
• 한계: 폭발적 다양화 + 용어 파편화("memory stream" vs "episodic buffer" vs "skill library").

Era 3 (2024) 사실은 구조화로, 경험은 의미로

• 사실/외부: HippoRAG(지식그래프 + Personalized PageRank, multi-hop) → Zep(bitemporal KG, 언제 참/폐기됐나) → Mem0(프로덕션, consolidation·중복제거).
• 경험/의미: ExpeL(성공·실패 비교로 교차과제 insight 증류 = episodic→semantic) → AutoGuide·AutoManual("상태 X일 때 Y" 조건부 규칙 + 온라인 갱신).
• 파라메트릭: WISE(얼린 main + 학습형 side + 라우터로 "불가능 삼각형" 돌파), AlphaEdit(null-space), ELDER(MoE-LoRA). → 모델 종속·이식 불가.
• working/latent: 프롬프트 압축(Gist tokens, LLMLingua) → 어텐션 통합(Infini-attention, Memory³, TTT).

Era 4 (2025–2026) 학습 가능한 잠재 상태 + 통합 분류체계

• Titans·LM2: surprise 기반으로 추론 중 자기 파라미터를 갱신하는 신경 메모리 = 미분 가능·연속 갱신 잠재 상태. → 대부분 단일 세션, 세션 간 지속은 미해결.
• ReasoningBank: 성공+실패에서 전략 수준 추론 메모리 증류(실패는 가드레일), test-time 메모리 성장. 자기진화 루프 완성.
• Memory-R1·Mem-alpha: 메모리 연산(add/update/delete/retrieve)을 RL로 학습.
• 서베이의 통합 분류체계: Forms × Functions × Dynamics. 왜 지금 — 용어 파편화로 비교가 불가능해져서. 단 서술적이지 처방적은 아님.

"성장하는 인격" 챗봇 설계 함의

1. consolidation = 성장 엔진 (학계 합의). reflection → insight 증류 → 전략 메모리 라인이 곧 "episodic 사건 → semantic 성향"의 구현.
2. 외부 메모리 vs 파라메트릭 페르소나: Character-LLM처럼 가중치에 구우면 비싸고 되돌릴 수 없고 붕괴(불가능 삼각형). memory stream식 외부 저장이 MVP의 정답, 하이브리드는 프론티어.
3. working/latent ≠ 성장: Titans류는 한 세션 안 긴 맥락일 뿐. "대화 전체를 기억함"과 "쟤가 변했음"은 다른 축(전자=working, 후자=Dynamics·evolution).
4. 모순·망각도 기존 도구 존재: 시간에 따른 사실 폐기는 Zep의 bitemporal KG, salience 감쇠는 MemoryBank의 Ebbinghaus 망각곡선.
5. 저항·실패 학습 = ReasoningBank, drift 관리 = memory governance(stale/contradictory 전략).
6. 승격 게이트의 고급판 = Memory-R1(연산을 RL 정책으로). MVP는 손으로 짠 임계치 게이트로 충분.

관련 노트

• Generative Agents의 기억 검색은 recency·importance·relevance 가중합이며 relevance만 쿼리 임베딩으로 매번 재계산된다
• Agentic RAG의 핵심은 검색 기술이 아니라 충분성 검증 루프다

참고

• Survey: Memory in the Age of AI Agents — https://arxiv.org/abs/2512.13564 · 논문 리스트 https://github.com/Shichun-Liu/Agent-Memory-Paper-List
• Generative Agents (Park et al., UIST 2023) — https://arxiv.org/abs/2304.03442
• MemGPT (Packer et al., 2023) — https://arxiv.org/abs/2310.08560
• RAG (Lewis et al., NeurIPS 2020) — https://arxiv.org/abs/2005.11401
• Reflexion (Shinn et al., NeurIPS 2023) — https://arxiv.org/abs/2303.11366
• Voyager (Wang et al., NeurIPS 2023) — https://arxiv.org/abs/2305.16291
• ExpeL (Zhao et al., AAAI 2024) — https://arxiv.org/abs/2308.10144
• AutoGuide (Fu et al., NeurIPS 2024) — https://arxiv.org/abs/2403.08978
• AutoManual (Chen et al., NeurIPS 2024) — https://arxiv.org/abs/2405.16247
• ReasoningBank (Ouyang et al., ICLR 2026) — https://arxiv.org/abs/2509.25140
• Mem0 (Chhikara et al., 2025) — https://arxiv.org/abs/2504.19413
• Memory-R1 (2025) — https://arxiv.org/abs/2508.19828
• Neural Turing Machines (Graves et al., 2014) — https://arxiv.org/abs/1410.5401
• Memory Networks (Weston et al., 2014) — https://arxiv.org/abs/1410.3916
• 그 외 venue 인용(arXiv ID 미대조): HippoRAG(NeurIPS 2024), Zep(2025), WISE(NeurIPS 2024), AlphaEdit·ELDER(2024/25), ROME(NeurIPS 2022)·MEMIT(ICLR 2023), Character-LLM(EMNLP 2023), Transformer-XL(ACL 2019), Compressive Transformer(ICLR 2020), Gist Tokens·LLMLingua·AutoCompressors(2023), Infini-attention·Memory³·TTT(2024), Titans(NeurIPS 2025)·LM2(2025)