Vera Rubinは推論プロセスに合わせて再設計されたハードウェア

いまさらな感じですが、Vera Rubinの構成や設計思想のメモ。

LLMの推論処理の流れ
Vera Rubinの構成
1. プレフィルとデコードの役割分担による最適化
  1. プレフィル：Vera Rubin GPUによる高速処理
  2. デコード：Groq 3 LPUによる低レイテンシ生成
2. システム全体の相乗効果

LLMの推論処理の流れ

LLMの推論は、大きく プレフィル（Prefill） と デコード（Decode） の2段階に分かれている。

プレフィルフェーズ

入力文章を全部読んで理解する作業。入力されたトークンを一気にTransformerへ流し、大量並列処理をする。GPUが得意。プレフィルはGPU使用率が非常に高い。各トークンのKeyとValueの情報を計算し、KV Cacheに保存する。その大量のKV CacheはVRAMに保存される。

デコードフェーズ

ここから文章の返事を書き始める。逐次処理で次のトークンを探していくため、GPUの演算器の多くが待ち状態になり、遊んでしまう。デコードフェーズでは、演算性能よりもメモリ帯域やメモリアクセス性能のほうが重要になる。データが届く速度が速くなればGPUがもっと仕事できる。

	プレフィル	デコード
入力	全トークン	新しい1トークン
並列性	非常に高い（全トークンを同時処理）	非常に低い（逐次処理）
GPU使用率	高い（フル稼働）	比較的低い（演算器が待ちやすい）
KV Cache	作成・VRAMへ保存	VRAMから読み出して利用
演算性能の重要性	非常に高い	中程度（演算よりメモリアクセスが律速になりやすい）
メモリ帯域の重要性	高い（重みや中間データを大量に転送）	非常に高い（KV Cacheを毎トークン読み続ける）
ボトルネック	演算能力（Compute-bound）になりやすい	メモリ帯域・レイテンシ（Memory-bound）になりやすい
改善に効くハードウェア	Tensor Core性能、GPU演算能力	HBM・GDDR帯域、L2キャッシュ、VRAM性能

まとめると、

プレフィルは「演算力が重要」
デコードは「メモリシステムが重要」

Vera Rubinの構成

Vera RubinはこのTransformerの仕組み、つまりプレフィルとデコードの性質を踏まえて設計されている。単にTensor Coreが速くなることではなく、AI推論全体をシステムとして最適化するという思想。

Vera Rubinプラットフォームを構成する7つのチップとその役割は以下の通り。

Rubin GPU: メインの演算装置。288GBのHBM4メモリを搭載し、学習と推論の両方で突出した演算性能を持つ。
Vera CPU: ホストプロセッサ。88コアを備え、ニューラル分岐予測器を搭載してシステム全体を制御する。
Groq 3 LPU: 推論専用プロセッサ。推論処理を特化して高速化させる役割を担う。
BlueField-4 (DPU): ストレージおよびセキュリティの管理を行うデータプロセッシングユニット。
NVLink 6 Switch: GPU同士を高速に接続し、チップ間の通信帯域を確保するスイッチ。
ConnectX-9: ネットワークアダプタ。外部ネットワークとの高速なデータ通信を担う。
Spectrum-6: Ethernetスイッチ。ネットワーク全体の通信を効率的に制御する。

NVIDIAは、単体のGPU性能だけでなく、これら7つのチップを統合し、データの供給速度や通信帯域などのボトルネックを解消することで、システム全体の最適化を図っている。

プレフィルはVera Rubin GPUが担当し、デコードはGroq 3 LPUが担当する。

プレフィルとデコードの役割分担による最適化

このように、プレフィルとデコードという性質の異なる処理を、それぞれに最適なハードウェアに切り分けて担当させることで、推論効率を極限まで高める設計となっています。

プレフィル：Vera Rubin GPUによる高速処理

プレフィルフェーズは大量のデータを一度に処理する「演算集約型」のタスク。Vera Rubin GPUは強力なTensor Coreと広帯域なHBM4メモリを備えており、入力トークンを一括して処理し、KV Cacheを高速に生成することに特化している。これにより、長いコンテキストを持つ入力であっても、最初のトークンが出力されるまでの時間を大幅に短縮することが可能になる。

デコード：Groq 3 LPUによる低レイテンシ生成

一方で、デコードフェーズは1トークンずつ逐次的に処理し、その都度KV Cacheを読み出す「メモリ帯域集約型」のタスク。Groq 3 LPU（Language Processing Unit）は、従来のGPUとは異なるアーキテクチャを採用しており、メモリレイテンシを極限まで抑え、決定論的なデータフローを実現している。これにより、GPUで発生しがちだった「演算器の待ち時間」を排除し、1秒あたりのトークン生成数を飛躍的に向上させる。

システム全体の相乗効果

この分業体制の最大のメリットは、リソースの競合を避けることで、スループットとレイテンシの両立を実現できる点にある。

パイプラインの効率化: GPUが次のリクエストのプレフィル処理を行っている間に、LPUが前のリクエストのデコード処理を継続させるという、高度なパイプライン処理が可能になる。
メモリ帯域の最適化: 巨大なモデル重みとKV Cacheの管理を最適化し、データ転送のボトルネックを解消することで、計算リソースを遊ばせることなくフル活用できる。
スケーラビリティの向上: NVLink 6やConnectX-9などの高速インターコネクトによって、これらのチップ間でのデータ受け渡しが極めて低遅延で行われるため、単一のチップでは不可能な規模のモデルでも、リアルタイムに近い応答速度で動作させることが可能になる。

Vera Rubinプラットフォームは、単なる「速いGPU」の提供ではなく、LLMの推論プロセスにおける計算特性をハードウェアレベルで分離・最適化した、次世代のAIインフラストラクチャであると言えますね。

参考動画