Cogito v1 preview – IDA를 통해 초지능으로 가는 새로운 모델

안녕하세요.
오늘은 DeepCogito가 공개한 차세대 AI 모델 시리즈인 Cogito v1에 대해 소개드립니다. 이 글에서는 인공지능이 어떻게 스스로 더 똑똑해질 수 있는지, 그리고 일반적인 AI를 넘어 초지능으로 나아가기 위한 혁신적인 훈련 방식인 IDA (Iterated Distillation and Amplification)에 대해 상세히 알아보겠습니다.
 

---

Cogito v1 이란?

DeepCogito는 최근 3B, 8B, 14B, 32B, 70B 규모의 LLM(Large Language Models)을 공개했습니다. 이 모델들은 모두 오픈 라이선스로 제공되며, 성능 면에서 LLaMA, DeepSeek, Qwen과 같은 기존의 최고 수준 모델들을 능가합니다. Deep Cogito는 일반 범용 인공지능(AGI)을 개발하고 있는 샌프란시스코 기반의 회사로, 고급 추론 및 자기 개선 같은 과학적 돌파구를 통해 인간 수준을 넘는 새로운 능력을 개발하는 것이 목표입니다. 

🔍 어떤 모델이 있나요?

- 크기별로 3B, 8B, 14B, 32B, 70B가 제공되며, 모두 사전 학습된 LLaMA 또는 Qwen을 기반
- reasoning mode(추론 모드)와 standard mode(기본 모드) 선택 가능

📌 무엇이 특별한가요?

- 공개된 모든 모델은 고성능 벤치마크에서 동급 모델보다 우수한 결과를 보임
- 70B 모델은 LLaMA 4 109B MoE 모델보다 더 뛰어난 성능
- IDA 방식을 통해 스스로 사고하고 향상되는 학습 구조 적용
- API나 Huggingface, Ollama에서 자유롭게 사용 가능

---

IDA란 무엇인가?

🧠 IDA의 기본 개념

IDA는 Iterated Distillation and Amplification의 약자로, 인간 감독자(오버시어)의 지능에 의존하는 한계를 넘어 AI가 스스로 지능을 높이는 방법입니다.

✅ 기존 훈련 방법과의 차이점

- 기존: 인간이 설계한 지식을 학습
- IDA: AI가 스스로 사고를 발전시켜 지식을 생성 및 내재화

** IDA의 두 가지 학습 단계

⚡ 1. 증폭(Amplification)

- 더 많은 연산 리소스를 사용하여 고차원적 사고 및 문제 해결 수행 (예: Chain-of-Thought, 다중 응답 샘플링, 검증을 통한 정답 도출)

🔥 2. 증류(Distillation)

- AI가 연산을 통해 얻은 사고방식을 자신의 매개변수(파라미터)로 내재화
- 이렇게 학습된 AI는 같은 사고를 더 빠르고 효율적으로 수행 가능
 
이 과정을 반복하면서 모델은 점점 더 향상되고, 계산 자원과 이 프로세스의 효율성에 따라 성능이 결정됩니다. 초기 실험에 따르면 IDA는 RLHF나 대규모 모델로부터의 단순 지식 이전보다 더 효율적이고 확장 가능하며, 대부분의 작업에서 일반화 성능이 뛰어납니다.

---

성능 비교 및 평가 지표

🏆 주요 벤치마크 결과

- Cogito의 70B 모델은 LLaMA 3.3 70B 모델, LLaMA 4 109B 모델보다 높은 성능 기록
- 특히 reasoning 모드에서는 Deepseek R1, Qwen QwQ보다 우수

Cogito의 70B 모델 성능 지표

Livebench 성능 지표

🧪 실사용에서의 의미

- 벤치마크는 참고 수단일 뿐이며, 실제 사용자의 목적에 얼마나 부합하는지가 중요
- Cogito 모델은 다양한 테스트에서 지속적으로 우수한 결과를 보임
 

---

초지능에 필요한 조건

🧭 조건 1: 고급 추론 능력

- 문제 해결에 필요한 논리적, 수리적 사고력
- 계산 리소스를 활용한 더 깊은 사고 가능

📈 조건 2: 자기 향상(Self-Improvement)

- 인간의 지시 없이도 스스로 더 나은 방식으로 학습
- IDA는 이를 가능하게 하는 핵심 전략
 

---

향후 계획 및 로드맵

🔮 다음 단계

- 109B, 400B, 671B 규모 모델 출시 예정
- 모든 모델에 대해 지속적인 체크포인트 업데이트 예정

📅 포스트 트레이닝 연구

- 자기 향상을 위한 새로운 후속 학습 기법 개발 중

---

결론 – IDA 기반 초지능의 미래

🚀 앞으로의 전망

- 인간의 지능 한계를 넘는 AI 개발 가능성
- IDA는 기존 방식보다 더 효율적이고 확장성 높은 전략
- DeepCogito는 이 미래를 실현하는 데 핵심적인 역할을 수행 중

---

출처

https://www.deepcogito.com/research/cogito-v1-preview

Introducing Cogito Preview

 
https://huggingface.co/collections/deepcogito/cogito-v1-preview-67eb105721081abe4ce2ee53

Cogito v1 Preview - a deepcogito Collection