協力型の料理ゲーム「Overcooked」のステージを再現し、1つのAIに2人のコックを同時に操作させる実験で、GPT-6 AstraやClaude Opus 5など4つのAIの成績を比べた結果が公開されました。AIが考えている間はゲーム内の時間が止まる条件でも、最も成績が良かったGPT-6 Astraでさえ、こなせた注文は26.2%にとどまっています。
考える間はゲームが止まる条件でもAIは注文の大半をこなせず
Overcookedは、複数のコックが食材を切り、煮て、盛り付ける作業を分担し、次々に入る注文の料理を期限までに出す協力ゲームで、AIどうしやAIと人の協力を試す研究の題材にも使われてきました。そんな中、カナダのブリティッシュコロンビア大学などの研究チームが、Overcookedシリーズのステージ20面を再現し、1つのAIに2人のコックを同時に操作させて成績を比べるベンチマーク「DuoCook」を、査読前の論文として公開しました。
DuoCookでは、AIはマス目と座標が入った真上からのキッチン画像と道具の凡例、注文や調理の進み具合、その時点で選べる操作の一覧を受け取り、2人それぞれの行き先と操作を選びます。行き先を選べば、そこまではゲーム側がコックを自動で歩かせ、次の指示を待つ間はゲーム内の時間も止まります。そのため、AIは自分でコックを操作したり、時間に追われて素早く判断したりする必要がなく、試されるのは2人のコックにどの作業をどの順番でやらせるかという段取りだけです。
こうした手助けがあっても、OpenAIが最も高性能とうたう主力モデルのGPT-6 Astraがこなせた注文は、20面の平均で26.2%にとどまっています。これでも、比べた4つのAIの中では最も良い成績で、残るAnthropicのClaude Opus 5、Googleが低価格な軽量モデルと位置付けるGemini 3.5 Flash-Lite、Alibabaが無償公開しているQwen3.8-27Bは8.8〜11.2%にとどまり、ほとんどの注文を処理できていません。また、Claude Opus 5とQwen3.8-27Bに至っては、20面のうち約15面で1皿も届けられていません。
道具の共有や受け渡しが要るステージでは調理器具を塞いで料理をほぼ出せず
GPT-6 Astra以外の3つのAIは、台や床が動いて通れる場所が変わるうえにまな板や鍋を2人で使い回すステージでは、4面とも1皿も届けられていません。2人の作業場が分かれていてカウンター越しに食材や皿を渡す必要があるステージでも、料理を届けられたのはQwen3.8-27Bの1面だけです。
どちらのステージも、道具の空きや動く地形、相手が食材を置くタイミングに合わせて2人の作業の順番を組み直す必要があります。順番がかみ合わないと、1つ1つの操作が正しくても、片方が急ぎの注文に要るまな板をふさいだり、放っておいても煮えるスープを鍋の横で待ち続けたりして、注文が回らなくなる例があったようです。
メモ帳で成績が伸びたのは2つだけ。止まらない協力プレイでの相棒役はまだ先
DuoCookには、AIが気づいたことを書き留め、次の判断で読み返せるメモ帳も用意されており、ここまでの成績はこのメモ帳を使ったときのものです。メモ帳を使うとAIの利用料（API料金）は4つとも増えるものの、使わない場合より成績が伸びたのはClaude Opus 5とQwen3.8-27Bだけで、GPT-6 AstraとGemini 3.5 Flash-Liteはかえって下がっています。下がり方の大きかったGemini 3.5 Flash-Liteは、届けた料理がメモ帳なしの21皿から12皿に減っており、メモの読み書きに注意を割かれ、本来の作業をおろそかにした可能性があるとのことです。
研究チームも認めるとおり、今回の実験は移動をゲーム側に任せ、選べる操作の一覧まで渡すなど、AIの負担を減らした条件で行われています。実際の協力プレイでは、ゲームはAIの指示を待たずに進み、AIは自分でコックを動かしながら、人が操作するもう1人のコックにも合わせなければなりません。負担を減らした条件でも注文の大半をこなせなかったことから、AIに協力プレイの相棒を任せられるのは、GPT-6 Astraのような高性能モデルでもまだまだ先になるとみられます。
