メモリの壁とは
メモリの壁とは、演算の性能がメモリの帯域より速く伸びた結果、演算がデータの到着を待つ時間が全体の上限になる状態です。 演算器を増やしても、全体の速さはそこで頭打ちになります。差を生むのは伸び方の仕組みの違いで、演算は微細化で面積あたりに増え、メモリへの経路は端子の数と距離に縛られます。対策は距離を縮めるか帯域を増やすかの2通りで、どちらを選んでも熱か電力か汎用性で代価を払います。
プロセッサは年60%、DRAMは年7%で伸び、差は年ごとに開く
Section titled “プロセッサは年60%、DRAMは年7%で伸び、差は年ごとに開く”演算の性能は毎年のように伸びてきましたが、演算する数字をメモリから運んでくる速さの伸びは、より緩やかです。ノースウェスタン大学の講義資料は、メモリの壁をプロセッサとDRAMの速度差として示し、プロセッサの性能が年60%、DRAMが年7%で伸びるとしています1。この2つの率を8年続けると、プロセッサは約43倍、DRAMは約1.7倍になり、差は約25倍に開きます。
差が開くほど、演算器はデータの到着を待つ時間が増えます。待ちが全体を決める段階に入ると、演算器を足しても速さは伸びません。
演算器は面積あたりに増え、端子は外周の長さで頭打ちになる
Section titled “演算器は面積あたりに増え、端子は外周の長さで頭打ちになる”演算の性能は、トランジスタの数と動作の速さで伸びます。微細化が進むほど、同じ面積へ多くの演算器が入ります。
メモリの帯域は、端子の数と1本あたりの速度で決まります。端子はパッケージの外周に並ぶため、増やせる数は外周の長さで頭打ちになります。伸びる仕組みが異なるので差は時間とともに開き、開いた差のぶんだけ、演算器はデータの到着を待ちます。
対策は、距離を縮めるか帯域を増やすか
Section titled “対策は、距離を縮めるか帯域を増やすか”距離を縮めれば同じ電力で速く運べ、帯域を増やせば一度に多く運べます。imecは、演算チップと広帯域メモリの間を高帯域・低遅延・低電力で結ぶことを狙っています2。光の配線をこの区間へ持ち込む方向です。
積層で距離を詰める手もあります。メモリを演算チップの真上へ積めば、配線の長さが桁で縮みます。imecは3D集積の利点にプロセッサとメモリの経路を短くしてメモリウォールを崩すことを挙げ、HBMをGPUの真上に積めば1パッケージに4個のGPUを載せられるとしています。代わりに熱が集まり、imecのシミュレーションでは、同じ冷却条件でのピーク温度が横に並べる2.5D構成の69.1°Cに対し、対策なしの3D構成で141.7°Cに達しました。
もう1つは、メモリ側で演算して運ぶ量そのものを減らす方向です。
光の配線は、1ビットあたりの電力と面積あたりの帯域で測る
Section titled “光の配線は、1ビットあたりの電力と面積あたりの帯域で測る”imecの、2並列のGeSi電界吸収変調器による106 Gb/sの送信器は、消費が1.5 pJ/ビットでした3。TSVを使った送受信機の帯域密度は1 Tbps/mm²で、面積あたりでどれだけ運べるかを表します。
電気の配線では、速度を上げるほど1ビットあたりの電力が増えます。光では距離の影響が小さいため、長い区間ほど差が開きます。
AIの計算では、重みの読み出しが全体を支配する
Section titled “AIの計算では、重みの読み出しが全体を支配する”大きなモデルでは、演算のたびに膨大な重みをメモリから読み出すため、演算そのものより読み出しの時間が全体を支配します。imecが1レーン400 Gb/sを目標に挙げるのは、この要求からです。回線1本あたりの容量が、そのまま供給できるデータの量になります。
帯域と電力の両方が条件になるため、1ビットあたりのエネルギーが重要な指標になり、同じ帯域をどれだけ安く運べるかが設計の焦点になります。
どの対策も、柔軟さか費用を差し出す
Section titled “どの対策も、柔軟さか費用を差し出す”帯域を増やせば待ち時間は減りますが、端子と配線が増えて面積と電力で払います。距離を縮めれば同じ電力で速く運べるものの、積層や同一基板への搭載で組み立てと放熱が難しくなります。メモリ側で演算すれば運ぶ量そのものが減る代わりに、汎用性が落ちます。
よくある質問（FAQ）
Section titled “よくある質問（FAQ）”メモリの壁とは何ですか？
演算の性能がメモリの帯域より速く伸びた結果、演算がデータの到着を待つ時間が全体の上限になる状態です。演算器を増やしても、全体の速さはそこで頭打ちになります。
なぜ差が開きますか？
演算の性能はトランジスタの数と速度で伸びますが、メモリの帯域は端子の数と配線の速度で決まり、伸びる仕組みが異なるためです。プロセッサが年60%、DRAMが年7%で伸びると、8年で差は約25倍になります。
どんな対策がありますか？
距離を縮める、帯域を増やす、メモリ側で演算するという方向です。積層と光の配線が代表で、積層は放熱、メモリ側の演算は汎用性で代価を払います。
imec は何を狙っていますか？
演算チップと広帯域メモリの間を、高帯域・低遅延・低電力で結ぶことです。光の配線をこの区間へ持ち込む方向です。
光で何が変わりますか？
電気の配線より距離の影響が小さく、同じ帯域を低い電力で運べます。imecの106 Gb/sの送信器は1.5 pJ/ビットです。
面積あたりの帯域はどうですか？
imecの、TSVを使った送受信機の帯域密度は1 Tbps/mm²です。面積あたりでどれだけ運べるかを表す数字です。
AI の計算で特に前へ出ますか？
はい。大きなモデルほどメモリから運ぶ重みの量が増えるため、帯域が性能の上限になります。imecは1レーン400 Gb/sを目標に挙げています。
比較・違いを学ぶ
Section titled “比較・違いを学ぶ”- 光インターコネクトとは── 帯域と距離を同時に解く手
- コパッケージ光学とは── 距離を詰める具体的な形
- 演算あたりのエネルギーとは── 運ぶ費用を測る指標
- 3D DRAMとは── メモリ側で密度を上げる方向
3件を表示
- 1Northwestern University：ECE361 Lecture 1 Introductioneecs.northwestern.edu ↩
- 2
- 3