AMD Instict MI300Xの消費電力は最大750Wに。Instinct Platformでは6000W超えに。

AMDのAI向けGPU、Instinct MI300Xでは消費電力が最大750Wに

AMDではAI用途向けに合計192GBのHBM3を搭載するInstinct MI300Xを発表し、NVIDIAのAI向けGPUであるHopper H100に対抗する構えを見せていますが、このInstinct MI300Xの消費電力が衝撃的に高い事が明らかになりました。

AMD confirms CDNA3 based Instinct MI300X GPU requires 750W of power – VideoCardz.com

Instinct MI300XについてはTSMC 5nmと6nmで製造CDNA3を搭載するチップレット型のGPUで、NVIDIAが発売しているHopper H100に対してメモリー容量は2.4倍を持っており大量のメモリーを消費する生成AI用途において高いパフォーマンスを発揮すると見られていますが、AMDのInstinct MI300Xの発表資料末に添付されているエンドノートにて消費電力が750Wにも達する事が記載されている事が発見されました。

750Wの消費電力が記録されるのはOAMと呼ばれるデータセンターなど高密度に実装するためのモジュール型モデルで、先代のMI250Xでは最大560Wだったところから、MI300Xでは34%増の750Wに引き上げられているようです。

ただ、トランジスター数はMI250Xでは582億個でしたが、MI300Xでは1530億と2.63倍に増やされていますが消費電力増加は34%増に留められている事から電力効率の面ではプロセス微細化やアーキテクチャー改良に伴い引き上げられています。

この消費電力についてはInstinct MI300XのライバルであるNVIDIA Hopper H100 GPUの700Wをも上回っており、AMDが提案しているAMD Instinct MI300Xを8基搭載するAMD Instinct Platformでは単純計算で6000Wもの消費電力を記録する計算になります。これにマザーボードやその他周辺機器の消費電力やロスなども含める必要があるため、このInstict Platformは1枚で8000Wもの消費電力を要求すると見られています。

AMDのCEOであるLisa Su氏は2023年に開催された半導体関連の世界最大規模の国際学会、ISSCCにてプロセス微細化などの電力効率向上は進んではいるものの、ゼタスケールのパフォーマンスを持つスーパーコンピューターの運用には理論的に原子力発電所が1基必要であると発言しています。このMI300Xは着実に性能は上がっているものの、消費電力も跳ね上がっているため、Lisa Su氏が言う通り将来的にはデータセンター専用の発電所などが必要となる世界が来るのも時間の問題と言えそうです。

AIのみならず、日々の生活を支えているサービスの多くがこのような超電力喰いな半導体に支えられてはいるのですが『電力が足りない、でも原発は怖いから反対』という感情で生きる人の声が大きい日本では残念ながらこのような知識を持つ人は多く居ません（ここのブログを読む人は上記人種とは真逆の人間と思います。）

そのため、日本では政府含め、AI開発拠点としてOpenAIなどの開発拠点を誘致をしようとしていますが、将来的には消費電力をさらに必要とするハードウェアが登場し、この流れは続いていくと言えます。そのため、いずれこのようなテクノロジー分野において日本での電力不足が問題として浮上すると言えそうです。