コンテンツにスキップ

HBM(広帯域メモリ)とは

HBM(High Bandwidth Memory、広帯域メモリ)とは、複数のメモリダイを垂直に積層し、TSV(シリコン貫通電極)で相互に連結したDRAMです。 平面のチップでは端子が外周に限られますが、積んでダイを貫けば、短い配線を面の全体から大量に通せます。速度より本数で帯域を稼ぐ部品で、世代が進んだ今、難しさの中心は、薄いダイをどう積み、どう熱を抜くかという後工程の側にあります。

帯域は本数とピン速度の積で、HBMは本数で稼ぐ

Section titled “帯域は本数とピン速度の積で、HBMは本数で稼ぐ”
帯域=本数×ピン速度
HBM3 819 GB/sHBM3E 1,180 GB/sHBM4 3,300 GB/sHBM4E 4 TB/s6.49.213.016ピン速度(Gbps)1,0242,048データ線の本数(ビット)
各世代の帯域は、本数とピン速度の長方形の面積です。HBM3からHBM3Eへは高さだけが伸び、HBM4では幅が2,048ビットへ倍になって面積が大きく広がります。

メモリの帯域は、同時に流せる線の本数と、1本あたりの速度の積で決まります。一般的なDRAMでは、データ入出力の通り道であるDQが1チップあたり8本で、DIMMというモジュールの単位にまとめても合計64本です1。HBMのDQは1,024本です。1チップどうしで比べれば128倍、DIMMと比べても16倍で、1本あたりの速度が同じでも、帯域は本数の比のまま開きます。

東京エレクトロンは、HBMが「広く、遅い」、つまりクロックを抑えて並列度を上げる方式で、電力効率を高めつつ巨大なスループットを出しているとしています2。中身は2DのDRAMダイを積んだものなので、セルにアクセスする遅延時間はほぼ変わりません。HBMが速くするのは1回のアクセスの速さではなく、一度に運べる量です。

Samsungの世代ごとの仕様3は次のとおりです。

世代容量ピン速度1スタック帯域積層
HBM316GB / 24GB6.4 Gb/s最大 819 GB/s──
HBM3E24GB / 36GB最大 9.2 Gb/s最大 1,180 GB/s──
HBM436GB最大 13.0 Gbps3,300 GB/s12H
HBM4E最大 64GB最大 16 Gbps4 TB/s16段

ピン速度はHBM3の6.4Gb/sからHBM4Eの16Gbpsへ2.5倍、帯域は819GB/sから4TB/sへおよそ5倍です。差の正体は本数です。819GB/sをビットに直して6.4Gb/sで割ると1,024本、HBM4の3,300GB/sを13.0Gbpsで割ると約2,030本になり、東京エレクトロンが示すHBM4世代のインターフェース2,048ビット2に合います。HBM4Eの4TB/sを16Gbpsで割っても約2,000本です。HBM4でデータ線の本数が倍になったことが、ピン速度の伸びを上回る帯域の伸びを生んでいます。SK hynixは、HBM3がHBM2E比でおよそ78%速いとしています。

短い距離で結ぶために、TSVで積んでプロセッサの隣に置く

Section titled “短い距離で結ぶために、TSVで積んでプロセッサの隣に置く”
信号の通り道
TSV(数千本)DRAMダイ 12段約1 mmベースロジックダイシリコンインターポーザプロセッサ1,024本
信号はTSVで積層を縦に下り、最下層のベースロジックダイからシリコンインターポーザの中を横に渡って、隣のプロセッサへ届きます。配線はチップの外周を回りません。

本数を増やすと、その線をどこへ通すかが課題になります。SK hynixによると、従来のDRAMがCPUやGPUといったプロセッサとやりとりするには、ワイヤボンディングやプリント基板の配線を通る必要があり、広い面積が要るため、大量のデータを並列処理することが難しくなります。HBMは非常に短い距離で通信するため、DQの本数を増やせます1。同社は、HBMの面積がSIPとTSVのおかげで標準的なDRAMの10分の1以下だとしています。面積が10分の1以下で線の本数は128倍という2つが同時に起きているのが、HBMという部品の形です。

作り方は2段構えです。HBMは同じチップの上ではメモリセルを2Dに集積し、前工程でチップを完成させた後、後工程で3Dに積層して2、チップ間をTSVでつないだDRAMです。ダイを貫通した数千本のTSVを介して上下のダイへ信号を伝え、1024ビット以上の非常に広いバス幅を作ります。配線がチップの外周を回らずに済むので、1本あたりも短くなります。

積層の最下層には、ベースロジックダイと呼ばれるロジックチップがあります。このダイは上部に積層された複数のDRAMチップと外部のプロセッサーとの間のインターフェースを制御し、信号の増幅やエラー訂正を行います。HBMをGPUなどと組み合わせるときは、シリコンインターポーザと呼ばれる中間基板を介してプロセッサーチップに近接配置する2.5D実装の形を取ります。プリント基板の配線で通すには本数が多すぎるので、細い配線を引ける中間基板の上で渡します。ここが先進パッケージングとHBMが重なる場所です。

Samsungは、HBMのパッケージを面積1〜2 cm²ほどの薄いほぼ正方形で、厚さは約1 mm、積むダイの数によって変わるとしています3。Samsungは、HBMがTSVベースの積層と高スループットのメモリ性能を統合してAI学習とHPCワークロードを加速するとし、データ集約的かつ高度に並列なワークロード向けに設計されているとしています。1スタックあたり1,180GB/sという値はスタック1つぶんの値で、1つのパッケージにHBMを何個載せたかで、製品全体の帯域は変わります。

12段を同じ高さに収めるには、ダイを数十µmまで薄くする

Section titled “12段を同じ高さに収めるには、ダイを数十µmまで薄くする”
8層と12層を同じ高さに
同じ高さ1枚を40%薄く8層 16GB12層 24GB(50%増)
SK hynixは1枚を40%薄くして、8層品と同じ高さに12層を積みました。容量は16GBから24GBへ50%増えています。

12段積んでも、パッケージの高さには上限があります。そこで1段あたりを薄く削ります。SK hynixはTSV技術によってDRAMチップ1枚の厚さを40%薄くし4、8層で16GBだった製品と同じ積層高さのまま、12層24GBを実現しました。容量は前の製品から50%増えています。段数が1.5倍になっても高さが同じという結果は、1枚を40%薄くしたという数字と対になっています。

段数の数え方には決まりがあります。16-HiはDRAMチップが16枚積層していることを意味し、最下層のロジックチップは含めずに数えます2。東京エレクトロンは、3D積層DRAMの製造で最も難しい工程は、数十µmまで薄くした繊細なダイを、歪みなく垂直に、導電性を保ちながら接合する後工程(組み立て・パッケージング)だとしています。

段と段の埋め方が、メーカーの違いになる

Section titled “段と段の埋め方が、メーカーの違いになる”
段間の接合3方式
熱圧着(TCB)熱と圧力マイクロバンプを溶かすMR-MUF隙間を封止材で埋めるハイブリッド接合Cu同士を直接つなぐ
熱圧着はマイクロバンプを熱と圧力で溶かし、MR-MUFはリフローで一括接合した後に隙間を封止材で埋めます。ハイブリッド接合は接合部をバンプレスにして、積層の高さを最小にします。

薄く削ったダイを重ねたら、次は段と段のあいだを埋めます。接合の方式は3つあります2。

熱圧着(Thermal-Compression Bonding、TCB)は、熱と圧力を加えながらマイクロバンプ(ハンダ)を溶かして接合します。精密な位置合わせと温度制御が要ります。

MR-MUF(Mass Reflow-Molded Under Fill)は、SK hynixの説明では複数のチップを下の基板に置いてリフローで一度に接合し、チップ間やチップと基板の隙間を封止材で同時に埋める4方式です。東京エレクトロンはSK hynixが強みを持つ方式として挙げ、熱伝導率が高く製造効率にも優れる一方、層数が増えるほど均一に注入する難度が上がる点を課題としています。

ハイブリッドボンディング(Cu-Cu)は、ハンダバンプを使わず、銅の配線面同士を直接接合します。接合部をバンプレス化することで積層の高さを最小化し、I/O密度を10倍以上に高められる方式で、東京エレクトロンはHBM5以降で期待される接合としています。

同じ12段でも、段と段のあいだをどう埋めたかでメーカーの製品は異なります。アンダーフィルという言葉がHBMの文脈で頻繁に出てくるのは、この隙間の埋め方が世代を分ける技術だからです。

積むほど熱の逃げ場が減り、課題は熱を抜く側へ移る

Section titled “積むほど熱の逃げ場が減り、課題は熱を抜く側へ移る”

DRAMはコンデンサの電荷としてデータを持つので、一定時間ごとに読み直して書き直すリフレッシュが要ります。温度は、この保持のしやすさに直接響きます。東京エレクトロンは、ダイあるいはセルを密に積むことが熱の逃げ場が減っていく方向へ向かうことを意味するとしています2。特にHBMをGPUの上に直接積層するような構造では、GPU動作時の熱によってDRAMの保持特性が悪化したり、熱膨張による接合部の破壊が起きたりするリスクがあり、より高熱伝導な封止材や、垂直方向の排熱経路の設計が重要になります。

症状は2つです。1つは電気的な症状で、熱でデータの保持が苦しくなる側です。もう1つは機械的な症状で、材料ごとに伸び方が異なるために接合部が壊れる側です。前者はDRAMのリフレッシュの話へ、後者は封止材と排熱経路の設計の話へ続きます。積層数が12段から16段へ進むほど、HBMの課題は線を増やすことから熱を抜くことへ移っていきます。

同じ世代でも、メーカーごとに公表値が違う

Section titled “同じ世代でも、メーカーごとに公表値が違う”

SK hynixは2013年に業界初のHBMを開発し、2022年6月にHBM3の量産を始めたとしています1。

MicronはHBM3Eの8段品と12段品について5、ピン速度を9.2Gbps超、1配置(placement)あたりの帯域を1.2TB/s(1,200GB/s)超、容量を8段24GB・12段36GBとし、消費電力が競合より30%低いとしています。SamsungのHBM3Eは最大9.2Gbps・最大1,180GB/s・24GB/36GBで、Samsungは大規模言語モデルや生成AI、推論に向けた製品としています。

HBMとは何ですか?

複数のメモリダイを垂直に積層し、TSV(シリコン貫通電極)で相互に連結したメモリです。前工程で完成させた2DのDRAMチップを、後工程で3Dに積み重ねて作ります。

なぜ縦に積むのですか?

配線の本数を稼ぐためです。横に配置すると端子は外周に限られますが、縦に積んで面で貫けば、短い配線を大量に通せます。帯域は配線の本数と速度の積で決まります。

TSVは何をしていますか?

積んだダイを貫いて上下をつなぎます。チップの外周を回らずに済むため配線が短くなり、数千本のTSVで1024ビット以上のバス幅を作ります。

世代ごとの帯域はどのくらいですか?

SamsungのHBM3はピンあたり6.4Gb/s・1スタックあたり最大819GB/s、HBM3Eはピンあたり最大9.2Gb/s・最大1,180GB/s、HBM4は最大13.0Gbps・3,300GB/sです。HBM4Eは最大16Gbps・4TB/sとされています。

積層数と容量はどうなっていますか?

SamsungのHBM3は16GBと24GB、HBM3Eは24GBと36GB、HBM4は36GBで12H(12段)、HBM4Eは16段スタックで最大64GBです。段数は最下層のロジックダイを含まず、DRAMチップの枚数で数えます。

どこで使われますか?

AI学習とHPCです。Samsungは、HBMがデータ集約的かつ高度に並列なワークロード向けに設計され、TSVベースの積層と高スループットのメモリ性能でそれらを加速するとしています。

HBMのデータの通り道は何本ありますか?

一般的なDRAMのDQ(データ入出力の通り道)は1チップあたり8本、DIMMモジュールの単位でも合計64本ですが、HBMは1,024本のDQを持ちます。東京エレクトロンは、HBM4世代ではインターフェースが2048ビットへ拡張されるとしています。

HBMはプロセッサとどうやって結ばれますか?

シリコンインターポーザと呼ばれる中間基板を介して、プロセッサーチップに近接配置されます(2.5D実装)。積層したダイの最下層にあるベースロジックダイが、上部のDRAMチップと外部のプロセッサーとの間のインターフェースを制御し、信号の増幅やエラー訂正を行います。

積んだダイの段と段は、どうやって埋めるのですか?

熱圧着(TCB)は熱と圧力を加えながらマイクロバンプ(ハンダ)を溶かします。MR-MUFは複数のチップをリフローで一括接合した後、チップ間の隙間を封止材で一度に埋めます。ハイブリッドボンディング(Cu-Cu)は銅の配線面同士を直接接合してI/O密度を10倍以上に高められる方式で、HBM5以降で期待されています。

なぜダイを薄く削るのですか?

段数を増やしてもパッケージの高さに収めるためです。SK hynixはTSV技術でDRAMチップ1枚の厚さを40%薄くし、8層16GB品と同じ積層高さのまま12層24GB(容量は前世代比50%増)を実現しました。

積層数を増やすと熱はどうなりますか?

ダイやセルを密に積むほど熱の逃げ場が減ります。HBMをGPUの上に直接積むような構造では、GPU動作時の熱でDRAMの保持特性が悪化したり、熱膨張で接合部が破壊されたりするリスクがあり、より高熱伝導な封止材や垂直方向の排熱経路の設計が重要になります。

メーカーごとに公表値は異なりますか?

異なります。MicronはHBM3Eの8段品と12段品をピン速度9.2Gbps超、1配置あたりの帯域1.2TB/s超、容量24GBと36GBとし、消費電力は競合比30%低いとしています。SamsungのHBM3Eは最大9.2Gbps・最大1,180GB/sです。

5件を表示
  1. 1
  2. 2
  3. 3
    Samsung Semiconductor:HBMsemiconductor.samsung.com ab
  4. 4
  5. 5