Intelがベンチマーク不正？ Sapphire RapidsでSPEC向けに最適化していた事が発覚

Intelがベンチマークで不正？ Sapphire Rapids系でSPEC向けに最適化されていた事が判明。

サーバーなどを構築する際に、想定される負荷や容量を見積もり、十分かつ過剰ではない性能や台数のサーバーを検討することをサーバーサイジングといいますが、このサーバーサイジング時に検討材料となるのがSPECと呼ばれるベンチマークです。

このSPECベンチマークではCPU単体のパフォーマンスの他に、ソフトウェア、特にCPUに最適に実行するためのコンパイラは非常に重要な役割を持ちます。そのため、各社ではCPUの性能を向上させる他に、このコンパイラの最適化にも力を入れていますが、ベンチマークに特化した最適化はユーザー目線では好ましくなく、サーバーの導入計画にも使われるSPECなどで最適化を行えば導入企業からの信頼を失う結果となります。

そんなコンパイラについてIntelではoneAPI DPC++/C++と呼ばれるものを使うのですがPhoronixによるとIntelではコンパイラをSPEC CPU 2017ベンチマーク向けに最適化していたようで、SPECintの結果は全体で9%向上する可能性があるとのことです。

この問題により、SPEC CPU 2017の結果からSapphire Rapidsなど2022年に実行された2600件以上のIntel製CPUのベンチマーク結果が無効として扱われるようになるとのことです。

なお、IntelではこのSPECへの最適化をIntel oneAPI DPC++/C++の最新バージョンである2023.2.3で削除しています。

ベンチマークの最適化をすれば売上にも繋がるためメーカーとしてはやりたくなるのは分かるのですが、このSPECへの最適化は自動車で言えばある走行形態を認識して燃費を高めるデフィートデバイスと同じ様なものであるため非難されるべき行為と言えます。