2013年に発売されたPlayStation 4(PS4)のGPUで、AlibabaのLLM「Qwen3.5-9B」を1秒あたり31〜39トークンで、ネットにつながずに動かすアプリ「Garlic LLM」が公開されました。メモリ帯域はPS5の4割弱しかないものの、同じ9BのモデルをPS5で動かしたときの56〜71%の速さが出ています。
PlayStation 4(PS4)で9BのLLMが1秒31〜39トークンで動作
PlayStation 4(PS4)は2013年に発売されたソニーのゲーム機で、AMDのGCN世代のGPU(1.84TFLOPS)を積み、8GBのGDDR5(帯域176GB/s)をCPUとGPUで共有しています。このGPUを非公式のアプリから計算に使うAPIや機械学習のライブラリは用意されておらず、開発者が調べた限り、PS4のGPUで言語モデルを動かす公開のプロジェクトはこれまでなかったとのことです。
そんな中、個人の開発者が、PS4のGPUでQwen3.5-9Bを動かす非公式アプリ「Garlic LLM」を公開しました。APIがないため、モデルの計算は自前で書いた計算カーネルで行い、本来はグラフィックスドライバーが作るGPUへの命令もアプリ自身で組み立てて、GPUに直接実行させています。
動作中はPCにもネットにもつながず、会話では1秒あたり31〜39トークン、コードを書かせると最大43トークンの速さで、1万6,000トークン(16K)のコンテキストを扱えます。ただ、動かせるのはPS4の脱獄環境であるGoldHENを入れた本体に限られ、動作を確かめたのも初代とSlimのシステムソフトウェア11.52だけで、PS4 Proとほかのバージョンでは試されていません。
LLMは1トークンを作るたびに重み全体をメモリから読み出すため、PS4で出せる速さは、メモリ帯域を約4.6GB(4.32GiB)のモデル本体で割った1秒約38トークンが上限の目安になります。ただ、1トークンずつ生成する通常の方法では、開発者によると1秒約22トークンと、その6割弱にとどまります。Garlic LLMは、Qwen3.5が持つ下書き用の部分で最大2トークン先を予測し、本体のモデルが1回の処理でまとめて確かめる投機的デコードで、この差を埋めています。
そのため、重みを1回読む間に最大3トークンを確定でき、会話の速さは約38トークンの上限に並び、コードではこれを上回ります。一方、PlayStation 5(PS5)向けのPS5LMでは、同じQwen3.5-9BがPS5 SlimのGPUで1秒55トークンで動いています。帯域がPS5の4割弱しかないPS4でも、その56〜71%の速さが出ています。
PS4の8GBは9Bでほぼ満杯。載せられるモデルは速さでなく容量で9Bが上限に
重みをすべて4bit(Q4)にすると約400MB(384MiB)多くメモリが要り、PS4にはその空きがありません。そのため、重みの大半はQ4のまま、各層でいちばん大きい2つの行列だけを3bit(Q3)に落とし、アテンションのキャッシュまで4bitに詰めて、長いコンテキストを収めています。
一方、PS5では派生版のPS5LM Plusが約12GBのうち11.44GBをGPUに割り当て、27BのQwen 3.8を2bitに圧縮して1秒約20トークンで動かしています。PS4で動かせるモデルの大きさは、速さではなくCPUとGPUで共有する8GBの容量で決まり、9Bがほぼ上限です。そのため、AI目的の需要が中古のPS4に向かう可能性は低いとみられます。


