Prime Intellect, 학습 가능한 MoE 커널 'Prime Mega MoE' 공개
Prime Intellect Releases Prime Mega MoE: Trainable Fused MoE Kernel, 3.11x Faster Forward Pass
- Prime Intellect가 DeepSeek의 커널을 확장한 'Prime Mega MoE'를 출시했습니다.
- 기존 추론 전용이었던 커널에 오버랩 방식의 역전파(backward pass)를 추가해 학습이 가능하게 했습니다.
- Qwen3 모델 테스트 결과, TorchTitan 대비 최대 55% 빠른 학습 속도를 기록했습니다.
왜 중요한가
MoE 모델 학습 시 발생하는 GPU 유휴 시간을 줄여 연산 효율을 극대화할 수 있습니다.
이 요약은 AI가 원문을 읽고 작성했습니다. 숫자와 고유명사는 원문에서 확인해 주세요.
원문 읽기 (marktechpost.com)