AIアクセラレータとは

← 07THEME 08 デバイスと回路09 →

AIアクセラレータとは、機械学習のアルゴリズム、とりわけニューラルネットワークを実行するために用意した専用の演算エンジンです。 指すのはチップ全体よりも小さい単位、つまりチップの中の一区画で、標準システム回路と組み合わせてはじめてAIチップになるという位置づけです¹。AIの演算は同じ形の演算を大量に繰り返すので、その演算だけを引き受ける回路を作って汎用のための仕組みを削れば、同じ仕事をより小さい電力で終えられます。評価の物差しは速さより1ワットあたりの演算量で、その差がカメラやロボットの中へ収まるかどうかを決めます。

汎用プロセッサは、演算のたびのメモリ往復で頭打ちになる

CPUは汎用プロセッサで、メモリから値を取り出し、演算し、その結果をふたたびメモリへ書き込む往復を繰り返します²。メモリへの出入りが演算そのものより時間を要し、チップ全体の演算量に上限を作る現象を、フォンノイマンボトルネックと呼びます。GPUは1つのプロセッサ内に数千個（一般に2,500〜5,000個）の演算器を備えて演算量を稼ぎますが、汎用プロセッサなので、演算のたびにレジスタや共有メモリへ出入りする点でCPUと同じ課題を抱えます。

NEDOは、AIアクセラレータをニューラルネットワークなどの機械学習のアルゴリズムを実行するエンジン（機能単位）³と定義しています。用途を1つに絞って作る専用チップ全体はASICと呼び、AIアクセラレータはチップの中の区画を指します。

物差しは、1ワットあたりの演算量

AI向けの動作には大量の演算が要るため、既存のAIチップでは消費電力が膨らんで発熱し、それが実用化を妨げていました³。カメラやロボットの装置内へAIチップを載せるには発熱を抑えるファンが必要で、実装費用が膨らみ、設置スペースが要り、ファンの騒音や故障も課題でした。これらを解消するには、パソコンなら100Wクラスを費やして行うような高度なAI向けの演算を、数W以内に収める性能が要ります。

そのため、AIアクセラレータの物差しは1ワット当たりのTOPS（1秒当たりの演算回数、兆回／秒）になります。この数値が大きいほど、ある問題をある速度でこなす際の消費電力が小さくなります。NEDOとルネサスは、低消費電力でリアルタイムに応答するAI機器として、セキュリティカメラや自動搬送車、サービスロボットなどの装置内に組み込めるとしています³。

DRP-AIは、回路の組み替えと演算の間引きで10倍の効率に届いた

枝刈りした演算だけを実行する

枝刈りで残る演算はモデルの中に不規則に散らばります。DRP-AIは回路の接続をその場で切り替え、残った演算だけを実行します。

NEDOとルネサスは2022年12月8日、独自のAIアクセラレータ「DRP-AI」に軽量化の技術を重ねたAIチップで、1W当たり10TOPS、従来技術比で最大10倍の電力効率に届いたと発表しました³。10分の1に軽量化した畳み込み層で、試作チップの性能を測定した結果です。

DRP-AIは二つの部分から成ります。DRPは、演算器どうしのつなぎ方を、実行する内容に合わせてクロック単位で組み替えるルネサス独自のハードウェアで、必要な演算回路だけが動作するため、消費電力が小さく、高速化も可能になります³。AI-MACは、ニューラルネットワークで多用する積和演算に特化した演算ユニットで、大量の積和演算器を並列に動かします。行列演算を担う回路の並べ方としては、シストリックアレイという形もあります。

軽量化には、認識精度への影響が小さい演算を省くプルーニング（枝刈り）を使います。モデルにもよりますが、演算量を最大90％削減したモデルでも、認識精度の低下は3％程度にとどまり、ほぼ同等の精度を得られました。ただし、認識精度に影響のない演算はモデルの中に不規則に散らばるのが普通で、ハードウェアの並列性と枝刈りの不規則さとの差が、効率よく処理できない原因になっていました³。DRP-AIの動的な回路切り替えにより、細かく省いた場合でも演算をスキップできました。両者は、演算量を最大90％削減する枝刈り率のモデルで最大10倍の高速化を確かめています。

回路の柔軟さは推論以外にも使えます。NEDOとルネサスは、DRPが学習アルゴリズムまで実装できる柔軟さを持つことを使い、DRP-AIの中でAIの実行と追加学習を同時並行で進めるエンドポイント学習技術を開発したとしています³。

アクセラレータはチップの一区画で、周りの回路まで作って測るのに費用と時間がかかる

実証チップAI-Oneの構成

AIアクセラレータはAIチップの一区画で、CPUやメモリインタフェース、検証・テスト回路が周囲を固めます。AI-Oneでは6種類のアクセラレータがこの共通部分を共有し、それぞれがLPDDR4へ24.8GB/sでデータを送れました。

演算エンジンが速くても、製品になるまでには周囲の回路が要ります。実環境での性能を確かめるには、演算エンジンに標準システム回路まで足したSoC、いわゆるAIチップを作り、システムとして測る段取りが要るため、多くのコストと時間がかかっていました¹。この周りの回路まで含めたチップがシステムLSI（SoC）です。

そこでNEDO・産総研・東京大学は、標準システム回路、検証回路、テスト回路、測定ボードなどを共通基盤技術として用意し、AIアクセラレータ向けの検証プラットフォームとして中小・ベンチャー企業へ提供しています。これによりAIチップの設計と検証を、従来比45％以下の期間、低コストで行えるとしています。開発者は拠点の設計クラウド上で自分のアクセラレータをこのプラットフォームに組み込み、チップに実装したときの動作周波数・消費電力・性能を設計段階で見積もれます⁴。

2022年3月22日に発表された実証チップ「AI-One」では、仕様の異なる6種類のAIアクセラレータが、CMOS 28nmプロセスの同じチップに同居しています⁴。試作したチップで6種類すべてが設計どおりの周波数で動き、CPUを800MHzで走らせた状態から、各アクセラレータがLPDDR4メモリへ設計値どおりの帯域（24.8GB/s）でデータを送れました。CPUからLPDDR4メモリへの読み書きも、同じ帯域で室温下8時間の安定動作¹を確かめています。SoCの評価で求められる条件です。

Gaudi 3は、2つの計算ダイを1つのダイとして見せる

アクセラレータには、ダイを複数つないで1つに見せる構成もあります。IntelのGaudi 3は、同じ設計の計算ダイ2つをインターポーザブリッジ上の高帯域・低遅延の配線でつないだ構成です⁵。Intelは、このダイ間接続がソフトウェアからは見えず、大きな単一ダイと同じ性能と振る舞いになるとしています。2つのダイを合わせて、行列演算エンジン（MME）を8基、プログラム可能なテンソルプロセッサコア（TPC）を64基、200 GbpsのRDMA NICポートを24本備え、MMEとTPCという2種類の演算エンジンを組み合わせた構成です。

AIアクセラレータがGPUとHBMを同じパッケージに入れるのは、HBMが求める本数の配線をプリント基板では通せないためで、その配線にインターポーザなどを使います。

製品では、放熱対策とISPを省ける

基板の上から消える部品

ルネサスは、DRP-AIの電力性能が高いのでRZ/V2Lではヒートシンクと冷却ファンを省け、画像調整もDRP-AIが受け持つためISPも1つ減らせるとしています。

量産品では、電力効率が筐体の設計へ直に届きます。マイクロプロセッサRZ/V2Lは、DRPとAI-MACで構成したビジョン向けAIアクセラレータ「DRP-AI」を内蔵し、その電力性能の高さにより、ヒートシンクや冷却ファンといった放熱の追加対策を省けるとしています⁶。DRP-AIはAI推論と、カメラ応用に必須の色補正やノイズリダクションなどの画像調整の2役をこなすため、画像調整用のISP（イメージシグナルプロセッサ）を1つ省いた構成でビジョンAIを組めるとしています。

演算エンジンを1つ足したことが、部品表と筐体の設計まで届いています。AIアクセラレータの価値は、TOPSの数字そのものより、この届き方に表れます。

よくある質問（FAQ）

AIアクセラレータとは何ですか？

機械学習向けに作られたアルゴリズム、とりわけニューラルネットワークを走らせるための機能単位です。チップ全体ではなくチップの中の一区画で、標準システム回路と組み合わせてはじめてAIチップになります。

GPUもAIアクセラレータですか？

用途を絞った演算エンジンという意味では近い位置にあります。ただしGPUは汎用プロセッサで、数多くのアプリケーションを支える必要から、演算のたびにレジスタや共有メモリへ出入りする点でCPUと同じ課題を抱えます。

なぜ速さより電力効率で語られるのですか？

発熱が製品化を左右するためです。既存のAIチップは消費電力が膨らんで発熱し、実用化を妨げていました。カメラやロボットへ載せるにはファンが要り、実装費用・設置スペース・騒音・故障も課題になっていました。

「1W当たり10TOPS」とはどういう意味ですか？

TOPSは1秒当たりの演算回数（兆回／秒）を表す単位で、電力効率を1ワット当たりのTOPSで示します。この数値が大きいほど、ある問題をある速度でこなす際の消費電力が小さくなります。

AIアクセラレータを設計すれば、それでAIチップになりますか？

AIチップにするには周囲の回路が要ります。演算エンジンに標準システム回路まで足したSoCを作り、システムとして測る段取りが要るため、多くのコストと時間がかかっていました。NEDO・産総研・東京大学は、この共通部分を検証プラットフォームとして提供しています。

演算を減らすと認識精度は落ちますか？

NEDOとルネサスの試作チップでは、演算量を最大90％削減しても認識精度の低下は3％程度にとどまり、ほぼ同等の精度を得られました。結果はモデルによって動きます。

実際の製品ではどう役立ちますか？

ルネサスのRZ/V2Lでは、DRP-AIの電力性能の高さにより、ヒートシンクや冷却ファンといった放熱の追加対策を省けるとしています。画像調整もDRP-AIが受け持つので、ISPを1つ省いた構成にできます。

比較・違いを学ぶ

ASICとは── 用途を1つに絞って作る専用チップ全体を指す側
シストリックアレイとは── AIアクセラレータの内部で行列演算を担う並べ方

出典

6件を表示