なぜAIはGPUとメモリを必要とするのか — CPU・GPU・HBMの役割

GPUが常にCPUより速いわけではありませんし、メモリが多いほどAIが賢くなるわけでもありません。ワークロード、ソフトウェア、精度、データの移動量をそろえて、はじめて性能を比較できます。

計算機の性能には、遅延（latency）とスループット（throughput）という二つの見方があります。遅延は一つの仕事を終えるまでの時間、スループットは一定時間に終えられる仕事の総量です。CPUは一つの流れに素早く反応する設計を、GPUは多数の似た流れを同時に進める設計を重視します。

入力が小さい処理、分岐の多い処理、逐次依存の強い処理、デバイス間の転送が支配的な処理では、GPUの並列演算器を使い切れません。逆に、大きな行列を何度も処理できるなら、CPUの少数の強いコアよりGPUの多数の演算レーンのほうが高い総量を出せます。「どちらが上か」ではなく「仕事をどれだけ規則的に分割できるか」が入口です。

現代の高性能なCPUコアの多くは、分岐予測、アウトオブオーダー実行、大きなキャッシュ、幅広い命令を使い、次に何をするかが変わる処理を低い遅延で進めます。少数スレッドの応答、OS、ネットワーク、ストレージ、データベース、圧縮、トークン化、データ読み込み、エラー処理といった、制御が中心の仕事に向いています。

CPUにもSIMDや行列演算向けの拡張命令、複数のコアがあり、AI推論そのものを実行できます。モデルが小さい、バッチが小さい、遅延の要求が厳しい、アクセラレータへの転送コストが大きい、といった場面では合理的な選択です。アクセラレータ中心のAIシステムでも、CPUはジョブを準備し、GPUのカーネルを起動し、I/Oと障害処理を担うため、役割はなくなりません。

GPUは多数の軽量なスレッドへ同じカーネルを割り当て、規則的な算術を高いスループットで処理します。グラフィックスのピクセル処理や頂点処理から発達したこの仕組みは、同じ演算を広いデータへ適用する行列・テンソル処理と相性がよいのです。専用の行列演算ユニットは低い精度を使い、AIに多い積和演算をまとめて片づけます。

ただし、スレッドが別々の分岐へ散る、仕事が小さすぎる、CPUとの往復が多い、メモリからデータが届かない、といった場合には演算レーンが待たされます。CUDAのようなソフトウェアのエコシステム、ライブラリ、コンパイラが対応して、はじめてハードウェアの並列性を使えます。ピーク時のFLOPSやTOPSだけでは、実際のアプリケーションの性能は決まりません。

ニューラルネットワークの層は、入力ベクトルに重み行列を掛け、非線形変換を加える形を多く含みます。Transformerでも、attentionとフィードフォワードネットワークの主要部分に大きな行列積があります。同じ形の積和を大量に実行できるので、GPUやTPUの並列演算器を活かしやすいのです。

とはいえ、AIが行列積だけでできているわけではありません。正規化、活性化、サンプリング、ルーティング、データの前処理、通信も欠かせません。学習と推論、prefillと1トークンずつのdecodeでも、仕事の比率は変わります。ベンチマークは、モデル、精度、バッチ、品質の目標、シナリオをそろえて読む必要があります。

ふつうのアーキテクチャでは、メモリは演算器そのものではなく、データを保持して演算器へ届ける役です。容量は何を同時に置けるか、帯域幅は1秒に何バイト運べるか、遅延は要求してから届くまでの時間を表します。三つは別々の指標です。容量が大きくても遅いことがあり、帯域が広くてもランダムアクセスの待ちが長いことがあります。

学習ではモデルのパラメータだけでなく、勾配、オプティマイザ状態、順伝播で得た活性化も保持します。必要量は精度とオプティマイザで変わるため、パラメータ数×バイト数の計算では収まりません。ZeROがオプティマイザ状態、勾配、パラメータを複数のデバイスへ分割するのは、このメモリ負担がシステム設計そのものを縛るからです。

混合精度は計算と保存の一部に低い精度を使い、スループットとメモリの使い方を改善しますが、数値の安定性を守る仕組みが要ります。活性化チェックポイント（activation checkpointing）は一部の活性化を保存せずに後で計算し直し、メモリと追加の計算を交換します。モデル並列も使える容量を広げますが、その分だけ通信と同期が増えます。

LLMの推論は、モデルの重みを読みながらトークンを生成します。自己回帰的なdecodeでは一度に増える計算が小さく、重みの読み出しが支配的になる場合があります。一方、長いプロンプトをまとめて処理するprefillや大きなバッチでは演算密度が高くなり得るので、「AI推論はすべてmemory-bound」とは言えません。

attentionのkeyとvalueを再計算せずに持ち続けるKV cacheは、層の数、トークン数、同時リクエスト数とともに増えます。PagedAttentionは、KV cacheを固定した連続領域として扱う無駄を減らすメモリ管理を提案しました。長い文脈を扱えるかどうかは、アルゴリズム上の能力だけでなく、メモリの容量と帯域幅の問題でもあります。

重みだけをFP16またはBF16、つまり1パラメータあたり2バイトで保持する単純計算なら、70億パラメータは約14 GB、700億パラメータは約140 GBです。4-bitに詰めた理論上の重み本体は、それぞれ約3.5 GB、35 GBになります。ここでのGBは10進です。

実際には、量子化のメタデータ、高い精度のまま残す一部の値、ランタイム、アロケータの空き、一時バッファ、KV cacheの分も要ります。学習ならさらに勾配、オプティマイザ状態、活性化が加わります。この算数は「必要GPU台数」の確定値ではなく、なぜメモリ容量がモデルの載せ方を縛るのかを示す、下限寄りの入口にすぎません。

Rooflineモデルは、実効性能の上限を、ピーク時の計算能力と、メモリ帯域幅×演算強度（1バイト運ぶ間に何演算するか）のうち小さいほうで考えます。演算を増やさずデータだけを多く動かすカーネルは、演算器を足しても帯域幅の屋根に当たります。

FlashAttentionはattentionの数式を変えないまま、HBMとon-chip SRAMのあいだの読み書きを減らすIO-awareなアルゴリズムです。効いているのは「メモリが演算した」ことではなく、同じ結果に届くまでのデータ移動を減らしたことです。AIの最適化では、演算の回数だけでなく、どの階層でデータを再利用するかが中心になります。

モデルやバッチを複数のアクセラレータへ分けると、勾配、活性化、パラメータ、トークンの状態を互いにやり取りします。個々のチップの演算が速くても、相互接続が遅ければ同期待ちが増えます。ネットワークの構成、集団通信、パッケージ、基板、ラック、ストレージ、電力、冷却までを含めて、一つのAI計算機です。

MLPerfは、モデル、品質の目標、シナリオ、部門、版を定めたうえでシステム全体を測るベンチマークです。精度やソフトウェアの条件が違うTOPSを一列に並べるより、同じタスクと同じ規則で出た結果を見るほうが再現できます。それでも、一つのベンチマークがすべてのワークロードを代表するわけではありません。

量子化は1パラメータあたりのビット数を減らし、容量と帯域幅を節約します。その代わり、精度の低下、較正の手間、カーネルの対応、メタデータのコストがついてきます。CPUのメモリやSSDへのオフロードは載せられるモデルを大きくできますが、PCIeやストレージの転送で遅延が増えます。

スパース性、mixture-of-experts、蒸留、より小さいモデルも必要な計算を減らせますが、品質、ルーティング、実装、利用目的とのトレードオフがあります。最良の構成は「最大GPU」ではなく、遅延、スループット、品質、コスト、エネルギー、データガバナンスの条件から決まります。

ここからは本サイトの見立てです。次の計算機競争では、一種類のプロセッサが他を置き換えるというより、CPUが制御と低遅延の処理を、GPU・NPU・ASICが得意な並列カーネルを、メモリ階層と相互接続がデータの供給を担う、異種混成のシステムが深まると考えます。

chipletと高速なリンクは機能の組み合わせを可能にし、near-memoryやprocessing-in-memoryの研究はデータ移動そのものを減らそうとしています。QPUが実用化すれば、限られたアルゴリズム向けのコプロセッサになるでしょう。競争の軸は、チップ単体のピークFLOPS/TOPSから、ハードウェアとソフトウェア全体が、必要なデータをどれだけ少ない移動とエネルギーで有用な結果へ変えられるかへ移ります。これはRoofline、IO-awareなAI研究、chipletの標準化、現在の量子誤り訂正から導いたシナリオであり、特定の製品や時期の予測ではありません。