HBM-on-GPUの損得、面積あたりで2.5D超え周波数半減で学習は28%遅く（imec）
imecのシミュレーションでは、GPUの上にHBMを積んだ3D構成で熱を抑えるために周波数を半分にすると、AI学習の処理量は2.5D構成の通常周波数の72%に落ちる。それでも、パッケージ面積あたりの処理量では3D構成が2.5Dの通常周波数の122〜146%を保つ。imecが2025年12月のIEDMで示した結果で1、3D構成の利点は1個の速さより面積あたりの処理量に出る。
一方で、この利得は面積の縮小と帯域の増加という2つの前提に乗っている。周波数の半減は、3D構成のピーク温度を2.5D並みに下げる6つの対策の1つで、imecが重ねた順では最も大きく温度を下げた。つまり、3D化で払う28%を、面積と帯域でどこまで取り戻せるかが損得を決める。
imecの順序では、周波数の半減が120°Cを100°C未満に下げた
Section titled “imecの順序では、周波数の半減が120°Cを100°C未満に下げた”imecの対策の積み上げでは、HBMの積み方を変えた後もピーク温度は120.0°Cに残った。GPUのコア周波数を半分にするとピーク温度は120°Cから100°C未満に下がり、メモリ動作の重要な目標を満たしたと1、imecのJames Myers氏は説明する。発表資料の図では、4番目に重ねたこの一手で120.0°Cから99.2°Cへ20.8°C下がり、6つの対策の中で最も大きい。最終の70.8°Cも、半分の周波数を前提にした値だ。
そのため、imecの結果に沿って3D構成の処理量を見積もるなら、半分の周波数の値を使う。
周波数を半分にしても、処理量は半分ではなく72%に残る
Section titled “周波数を半分にしても、処理量は半分ではなく72%に残る”Myers氏は、周波数の半減による性能低下を28%、つまりAI学習の1ステップが遅くなる分1と述べる。発表資料の図3でも、帯域を変えない場合の処理量は、通常周波数の100%から半分の周波数で72%に下がる。図1の面積あたり処理量にある2.5Dの72%は、2.5D構成も周波数を半分にした場合の値で、面積が同じなので処理量と同じ比率になる。
周波数が半分でも処理量が半分にならない理由は、筆者の解釈では、AI学習の時間に演算だけでなくメモリからデータを運ぶ時間が含まれるからだ。GPUのコア周波数を下げてもHBMからデータを運ぶ時間は変わらず、演算の時間だけが延びるので、処理量の落ち幅は周波数の落ち幅より小さくなる。
帯域が4倍になれば、半分の周波数でも処理量は87%まで戻る
Section titled “帯域が4倍になれば、半分の周波数でも処理量は87%まで戻る”3D構成ではHBMがGPUの真上に載る。imecは帯域が4倍になる場合を計算し、半分の周波数でも処理量が87%まで戻る1ことを示した。帯域そのままの72%と比べて15ポイントの回復だ。筆者の解釈では、メモリを待つ時間が縮んだ分だけ、周波数の損失が埋まる。
それでも、GPU1個あたりでは2.5Dの通常周波数に13ポイント届かない。1個の処理量だけで比べれば、熱のために周波数を半分にした3D構成は、通常周波数の2.5D構成に負ける。
面積あたりでは、半分の周波数でも2.5Dの1.22〜1.46倍になる
Section titled “面積あたりでは、半分の周波数でも2.5Dの1.22〜1.46倍になる”3D構成が勝つのは、パッケージ面積あたりの処理量だ。imecの図では、半分の周波数で、面積あたり処理量は帯域そのままの3Dで122%、帯域4倍の3Dで146%になる1。基準は2.5Dの通常周波数で、imecはこの向上を3D構成のフットプリントが小さいためと説明する。
図3から筆者が算出すると、3D構成の面積は2.5Dの約59%になる。半分の周波数での処理量72%と面積あたり122%、帯域4倍の87%と146%のどちらから割っても約0.6で、通常周波数側の値（処理量100%と面積あたり169%、130%と220%）からも同じ比になる。imecはこの比較について、1パッケージにGPUを増やす利点は含めていないとしている1。同じ発表でimecは、3D構成なら1パッケージに4個のGPUを載せられ、2.5Dの1〜2個より多いと説明する。
論文の要旨も、温度を141.7°Cから70.8°Cへ下げたうえで、面積あたり性能で2.5Dを上回る可能性がある2と結論している。
| 比べる指標 | 2.5D・通常周波数 | 3D・半分の周波数・帯域そのまま | 3D・半分の周波数・帯域4倍 |
|---|---|---|---|
| GPU1個あたりの処理量 | 100% | 72% | 87% |
| 面積あたりの処理量 | 100% | 122% | 146% |
3D構成の利点は、面積あたりの処理量に出る
Section titled “3D構成の利点は、面積あたりの処理量に出る”imecの数値が示すのは、1個あたりで72〜87%、面積あたりで122〜146%という対比だ。筆者の見方では、この結果から3D HBM-on-GPUが向くのは、GPU1個の速さより、限られた面積に詰め込める処理量が価値になる製品になる。1個のGPUの学習速度が価値になる製品では、通常周波数の2.5Dが有利になる。帯域4倍の効果で処理量が72%から87%に戻った分も、どれだけ得られるかは作業がメモリを待つ割合で変わると筆者は見る。
imecは、GPUをHBMの上に置く構成など、別の積み方も同じ手法で調べている1。積み方の変更がどれだけ温度を下げたかは、3DICの熱対策を変える対象ごとに分けた解説で扱う。2.5Dと3Dの実装の違いは先端パッケージングの解説にまとめている。