Qwen3 Nextは800億パラメータを持つMixture of Expertsモデルですが、推論時にはわずか30億パラメータしかアクティブになりません。モデル全体のサイズは大きいにも関わらず、驚異的な効率性を示しています。

この「スパース性」は、推論時の計算リソースを大幅に削減し、モデルの高速化と効率化に貢献
https://youtu.be/DfPKk-8fOGA?si=R0yEv5Oruap2gnpO