遅ればせながらNVIDIAの新GPU「Ampere A100」のDeep Dive解説でございます。
注目は基本的にTensorコアの刷新なのですが、ここが意外にややこしい。
Turing世代以前のTensorコアの単位演算器がFP16ベースだったのがAmpereではTF32という新形式に改められました。いうなれば19ビット浮動小数点なのですが、これ、レジスタサイズもメモリフットプリントも実は32ビットで、演算回路も32ビット設計でした。むしろ注目は、このTF32演算器がFP16ないしはBF16という新数値形式を同時に2つ1パックにして演算器に流し込めるところにあります。その辺りの解説がメインです。
あとは、Async Copyという新ループ処理構造、具体的にはCUDA11での新プログラミングモデルへの対応辺りですかね。
ボクの見立てでは、A100、TITANブランドでは出ないと思います。なぜってNVENCもレイトレユニットも載ってないから(笑)
