GeForce RTX 30シリーズでは、AI処理で多く使われる演算の速度が、同じチップを積むプロ向けGPUの半分に抑えられてきました。この制限を外すLinux用のツールが公開され、RTX 3090 Tiではその演算が約8割速くなったと報告されています。
RTX 3000シリーズのAI向け演算はプロ向けの半分に制限。Linux用ツールで制限解除
AI処理で使うFP16やBF16の行列演算では、精度を保つために結果をFP32で足し合わせる（FP32累算）のが標準的ですが、GeForce RTX 3000シリーズでは、このFP32累算の速度がFP16で足し合わせる場合の半分に設定されています。NVIDIAの公称値でも、RTX 3090はFP16で足し合わせれば142TFLOPSなのに対し、FP32累算では71TFLOPSにとどまります。BF16の公称値はFP32累算の71TFLOPSだけで、BF16を使う処理はすべてFP16累算時の半分の速度で動きます。
プロ向けのRTX A6000は、RTX 3090と同じGA102を積みながら、FP32累算の公称値はFP16で足し合わせる場合と同じ154.8TFLOPSで、半分になっていません。そのため、GeForceのFP32累算が半分なのは、NVIDIAがプロ向けとの差を付けるために設けた制限とみられます。
そんな中、この制限を外すLinux用のカーネルモジュール「gpu-unlock」がGitHubで公開され、FP32累算の速度を2倍に引き上げてプロ向けと同じにできるようになりました。gpu-unlockはLinuxの起動時に読み込まれ、NVIDIAのドライバーがGPUを使い始める前に設定を切り替えるため、ドライバーやvBIOSには手を加えずに済み、ドライバーを更新するたびに作り直す必要もありません。
対象はGA102・GA103・GA104・GA106を積むRTX 3000シリーズでユーザーからは、RTX 3060 12GB、RTX 3070、RTX 3080 10GB、RTX 3090、RTX 3090 Tiで解除できたと報告されています。また、RTX 4000シリーズでも動いたと言う例もあるようで、開発状況によっては対応するグラフィックカードは増えると見られます。
RTX 3090 TiはRTX 4090に迫る性能。画像生成やプロンプト処理が高速化
RTX 3090 Tiを450Wで動かした行列演算の測定では、BF16の速度が87.5TFLOPSから157.4TFLOPSへ約8割伸び、1世代新しいRTX 4090の公称値の165.2TFLOPSに迫っています。RTX 3090 Tiがここまで近づけるのは、同じGeForceのRTX 4090もFP32累算が半分に抑えられているからで、FP16で足し合わせれば公称値は330.3TFLOPSあります。伸び幅は電力制限で大きく変わり、225Wに絞ったRTX 3090では25%にとどまっています。
演算速度の伸びが実際に効果を発揮するのは行列演算が多い用途で、画像生成はRTX 3090 Tiで47〜59%速くなっています。ローカルLLMでも、入力した文章を読み込む処理（プロンプト処理）は14〜36%速くなりますが、処理の中に行列演算以外の部分も含まれるため、伸びは約8割に届きません。一方、文章を1語ずつ生成する速さは演算ではなくメモリ帯域で決まるため変わらず、ゲームで速くなったという報告も出ていません。
使えるのはLinuxだけ。Windowsでは別の移植版で動いたとの報告も
gpu-unlockは現状はLinux専用で、Windowsで動いたという報告はUEFIから解除する別の移植版を使ったものに限られます。Linuxでは、カーネルの起動オプションで対象のGPUを指定したときだけ解除が働き、オプションを外せば元の速度に戻ります。
なお、この制限を外しても計算結果は変わらず、解除の前後で出力を比べた報告ではビット単位で同じ結果が出ています。そのため、RTX 3000シリーズを現状も使っている構成でローカルAIに興味がある場合、Linuxを用意して制限を外してみる運用も試してみると良いかもしれません。
