분산 AI 실험실 Gradient가 오늘 Echo-2 분산 강화 학습 프레임워크를 발표했습니다.

AI 연구 훈련 효율성 장벽을 허물기 위해 설계되었습니다. 아키텍처 레이어에서 Learner와 Actor의 완전한 분리를 구현함으로써, Echo-2는 30B 모델의 후 훈련 비용을 4,500달러에서 425달러로 급격히 줄였습니다. 동일한 예산 하에 10배 이상의 연구 처리량을 제공합니다.

이 프레임워크는 저장 및 계산 분리 기술을 활용하여 비동기 훈련(Async RL)을 수행하며, 방대한 샘플링 계산 능력을 불안정한 그래픽 카드 인스턴스와 Parallax 기반의 이종 그래픽 카드로 오프로드합니다. 유한한 구식성, 인스턴스 내결함성 스케줄링, 그리고 자체 개발한 Lattica 통신 프로토콜 등의 기술 혁신과 함께 모델 정확성을 보장하면서 훈련 효율성을 크게 향상시킵니다. 프레임워크 출시와 함께 Gradient는 AI 연구를 "자본 축적"에서 "효율 반복" 패러다임으로 전환하는 RLaaS 플랫폼 Logits를 곧 출시할 예정입니다. Logits는 현재 전 세계 학생 및 연구자들을 위해 예약을 받고 있습니다.