개요최근 LLM을 활용한 애플리케이션들이 쏟아져 나오고 있다. 그러나 대부분의 사례에서는 '문맥 유지'의 문제를 해결하지 못하고 있으며, 이는 단순히 토큰 수 문제만이 아니라 더 근본적인 Context Rot(문맥 부패) 때문이라는 지적이 있다.이번 글에서는 Chroma Research의 분석을 바탕으로, LLM이 과거 대화를 얼마나 기억하지 못하는지, 왜 이런 현상이 발생하는지, 그리고 어떻게 해결할 수 있을지를 정리한다.Context Rot: LLM은 과거를 잊는다Context Rot이란 LLM이 이전 대화의 내용을 점차 왜곡하거나 무시하게 되는 현상이다. 많은 개발자들이 LLM에 수십 개의 대화 히스토리를 프롬프트로 넘기고 있지만, 실제로 모델은 초반 문장을 거의 활용하지 못한다.Chroma는 실험..

개요많은 팀들이 LLM 시스템을 설계할 때 에이전트 기반 아키텍처부터 시작하지만, 실제로는 복잡성, 디버깅 불가, 예측 불가능한 결과로 인해 실패하는 경우가 많다.이 글에서는 에이전트 대신 워크플로 패턴을 먼저 설계하는 것이 더 효과적인 접근 방식임을 설명하고, 대표적인 다섯 가지 LLM 워크플로 패턴과 실제 사례, 설계 체크리스트까지 정리한다.1. 에이전트는 무엇인가?AI 에이전트는 단순한 질문 응답을 넘어 도구를 선택하고 행동을 계획하며, 목표를 향해 여러 단계를 수행하는 실행형 시스템을 의미한다.하지만 처음부터 이를 도입하면 다음과 같은 문제가 발생한다:디버깅 불가능결정론적이지 않은 동작 (예측 불가)복잡성 과잉2. 에이전트 없이도 충분한 문제들실제로는 많은 LLM 기반 문제들이 간단한 워크플로만으..