Chain-of-Agents: 긴 컨텍스트 처리를 위한 에이전트 협업

안녕하세요.

최근 몇 년간 대형 언어 모델(LLM, Large Language Models)은 추론, 정보 검색, 생성 등 다양한 작업에서 뛰어난 성능을 보여주고 있습니다. 그러나 LLM이 긴 문맥(long-context)을 처리하는 데에는 한계가 있습니다. 기존 모델은 입력 길이에 제한이 있어 전체 문맥을 활용하지 못하는 문제가 발생하며, 이는 긴 문서 요약, 질의응답(Q&A), 코드 완성 등의 작업에서 성능 저하를 초래합니다.

이를 해결하기 위해 Google Research는 "Chain-of-Agents (CoA)"라는 새로운 프레임워크를 발표했습니다. 이 방법은 여러 개의 에이전트가 협업하여 정보 통합 및 추론을 수행하는 방식을 통해 기존 방법보다 우수한 성능을 발휘합니다. 본 글에서는 CoA의 개념, 작동 방식, 기존 접근법과의 비교, 실험 결과 및 응용 가능성을 살펴보겠습니다.

---

장문 컨텍스트 처리의 문제점

🔹 LLM의 입력 길이 제한

일반적인 LLM은 토큰 수 제한(Token Limit)이 존재하여 한 번에 긴 문서를 처리하기 어렵습니다. 이로 인해 다음과 같은 문제가 발생합니다:

• 긴 문서를 요약할 때 중요 정보가 누락됨
• 질의응답 시스템에서 관련 정보 검색 실패
• 코드 자동 완성 시 맥락을 충분히 반영하지 못함

🔹 기존 해결 방법

기존 연구에서는 두 가지 주요 접근법이 시도되었습니다.

1. 입력 축소(Input Reduction)
   - 문서를 잘라서(truncation) 처리하거나, 중요한 부분만 추출하는 방법
   - RAG(Retrieval-Augmented Generation) 기법이 대표적
   - 문제점: 정확한 검색 실패 시 정보 손실 발생
   
   
2. 윈도우 확장(Context Window Extension
   - 모델의 컨텍스트 창을 확장하여 더 긴 입력을 처리하도록 학습
   - 예: Gemini는 최대 200만 개의 토큰을 직접 처리 가능
   - 문제점: 창이 커질수록 연산 비용이 기하급수적으로 증가

🔹 새로운 접근법의 필요성

이러한 기존 방법의 한계를 극복하기 위해, Google Research는 CoA 프레임워크를 개발했습니다. CoA는 여러 개의 에이전트가 협업하여 정보를 분할 처리하고, 최종적으로 종합하여 최적의 답을 생성하는 방식을 채택합니다.

---

Chain-of-Agents(CoA)란 무엇인가?

🔹 CoA의 개념

Chain-of-Agents(CoA)는 훈련이 필요 없는(task-agnostic), 해석 가능한(interpretable) 멀티 에이전트 협업 프레임워크입니다. CoA는 여러 개의 LLM을 활용하여 장문 컨텍스트를 효과적으로 처리하며, 기존 방법보다 최대 10% 향상된 성능을 보였습니다.

🔹 CoA의 동작 방식

CoA는 두 가지 주요 단계로 이루어집니다.

✅ 작업자(Worker) 에이전트: 정보 수집 및 전달

• 긴 문서를 작은 청크(chunks)로 나누어 개별 에이전트에게 할당
• 각 작업자는 자신의 청크를 읽고 중요한 정보를 추출
• 앞선 작업자의 정보를 다음 작업자로 전달하여 연속적인 맥락 유지

✅ 관리자(Manager) 에이전트: 정보 통합 및 최종 응답 생성

• 모든 작업자가 수집한 정보를 종합하여 최종 답변 생성
• 다단계 추론을 통해 보다 정확한 정보 제공

🔹 CoA의 예제

질문: "A의 손자는 누구인가?"

문서 (청크 분할):
[1] - A의 배우자는 D이다.
[2] - A의 자녀는 B이다.
[3] - 추가 정보 없음
[4] - B의 자녀는 C이다.

CoA의 처리 과정:
- 작업자 1: "A의 배우자는 D"
- 작업자 2: "A의 자녀는 B"
- 작업자 3: "이전 정보 유지"
- 작업자 4: "A의 자녀는 B, B의 자녀는 C → 따라서 A의 손자는 C"
- 관리자: **"답변: C"**

---

CoA vs. 기존 방법 비교

🔹 RAG vs. CoA

• RAG는 검색 기반 접근 방식으로, 중요한 정보가 검색되지 않으면 정확도가 낮아질 수 있음
• CoA는 단계별로 정보 추출 및 결합하여 더 강력한 컨텍스트 활용 가능

🔹 윈도우 확장 vs. CoA

• 윈도우 확장은 비용이 기하급수적으로 증가하여 실용성이 낮음
• CoA는 n²에서 nk로 계산량 감소하여 비용 효율적

🔹 실험 결과

• 9개 데이터셋(QA, 요약, 코드 완성)에서 CoA가 기존 모델 대비 10% 이상 성능 향상
• Claude 3, Gemini, PaLM 2 등 다양한 LLM에서 테스트하여 일관된 성능 개선 확인

---

CoA의 실제 응용 사례

✅ 질의응답 시스템

• 대량의 문서를 읽고 다중 단계 추론을 수행하여 정확한 답변 제공

✅ 문서 요약 및 콘텐츠 생성

• 논문, 기사 등의 긴 문서를 요약할 때 핵심 정보 보존 가능

✅ 코드 완성 및 리뷰

• 대형 코드베이스에서 논리적 흐름을 이해하고, 코드 품질을 평가하는 데 활용 가능

---

결론

Chain-of-Agents(CoA)는 다중 에이전트 협업을 통해 장문 컨텍스트 처리 문제를 해결하는 혁신적인 프레임워크입니다. 기존 방법보다 더 정확하고 비용 효율적인 접근 방식을 제공하며, AI 기반 정보 처리의 새로운 가능성을 열어줍니다.

---

출처

Chain of Agents: Large Language Models Collaborating on Long-Context Tasks

Chain of Agents: Large language models collaborating on long-context tasks

 

https://arxiv.org/pdf/2406.02818