2024年11月23日に開催された「CEDEC+KYUSHU 2024」。ここでは、セッション「『サガ エメラルド ビヨンド』のゲームバランスは如何にして作られたのか？ －人の成したこと、AIの成したこと－」の内容をお届けする。
登壇者はスクウェア・エニックスより、柴田伯一氏と三宅陽一郎氏。本セッションでは、2024年4月に発売した「サガ エメラルド ビヨンド」のバトルデザインで仕掛けられた、ユーザーに合わせたさまざまな仕組みを紹介。
バトルデザインの思想や、バトルシステムのバランスを取る仕組みとして仲間キャラクターの意思決定をディープニューラルネットワーク（DNN）によって強化学習させ、この人工知能にバトルを継続的にプレイさせ続けることで、バランスが崩れている箇所を探し出し、ゲームデザイナーが修正するという、ゲームバランスのイテレーション・サイクルの技術と運用についての事例を中心とした内容となっていた。
後半はAIの専門的な話になるが、前半は「サガ エメラルド ビヨンド」プレイヤーはもちろんのこと、プレイしていない人でもわかりやすい話となっているので、ぜひ目を通してほしい。
「サガ エメラルド ビヨンド」とは？
「サガ エメラルド ビヨンド」はコマンドRPGとなっているが、普通のコマンドRPGと違うところは、行動ポイントをパーティーで共有している点。行動ポイントはブレイクポイント（BP）と呼ばれ、画面では星のマークで表示されている。パーティーが共有しているBPを消費して行動をするため、誰か一人がBPをたくさん使ってしまうと、他のキャラクターは行動できず、防御になる。
もうひとつ、本作の特徴として事前に敵の行動を表示している点が挙げられる。最初から敵の行動わかると簡単なのではないかと思う人もいるかもしれないが、本作はかなり難しいゲームの部類だ。敵の行動を事前に表示している点からも本作は戦略的な内容となっている。
さらに、タイムラインを使ったバトルも特徴となっている。最近のRPGではタイムラインを表示してるゲームは多く、本作でもタイムラインの左から順番にキャラクターが行動していくというのは同じだ。ただ、「サガ エメラルド ビヨンド」の場合、コマンドごとに連携範囲というタイムラインのマスを塗りつぶす色を持っており、プレイヤーは青色、敵側は赤で、選んだコマンドによって行動順が変わり、行動順が変わることで連携範囲をつなげて連続行動をすると、連携をしてダメージがアップする。
この基本のルールを用いて、さまざまな戦略が用意されている。まずひとつは、連携した後に連携率が上がっていき、連携率が高いとオーバードライブが発生するというシステム。そのため、連携してダメージを上げつつ、さらにオーバードライブを狙うというのが基本のシステムとなる。
そして、もうひとつは独壇場というシステムだ。味方或いは敵の左右2マスに誰もいない状態でコマンドを実行すると1人で連携が発生して連続攻撃を行うのだ。
「サガ エメラルド ビヨンド」は要素が多く、複雑なゲームとなっている。コマンドRPGによくある攻撃特性や弱点、ヘイト管理、ロール、装備などといった要素の他、「サガ」シリーズではお馴染みの陣形もある。タイムライン上の戦略だけでなく、キャラクターは人間だけではなく多種族で、種族ごとに成長システムも使える技も違う。
さらにシナリオも複雑で、6人5組の主人公から為るストーリーで、「サガ」シリーズ好きならば当然知っているとは思うが、本作でもフリーシナリオが導入されていて、ユーザー毎・周回毎に、行く世界と起こるイベントが変わる。
本作は、周回プレイ前提のゲームになっており、主人公を切り替えながら何周も何周もして遊んでいくことになる。さらにその周回プレイの時には引き継ぎ要素も細かく指定することができるという、非常に複雑なゲームになっている。
なお、本作は、経験値によってレベルが上がっていくことはない。ゲーム内通貨の概念もない。そして種族ごとの成長システムがバラバラ……と、他にもさまざまな要素が相まって、バランスが取りにくくなってしまったのだ。
それでもバトルにこだわったのが、「サガ エメラルド ビヨンド」。幅が広くて色々な戦略が報われるセッティングにしたい、システムをひとつ理解する度に、ひとつ強くなる、そんなゲームにしたかったのだという。
また、本作には回復がないのも大きな特徴だ。回復については、「絶対に入れたくない、本当に入れたくない」という本作のディレクターである河津秋敏氏の強いこだわりがあり、回復のないバトルを作ることになった。
回復がないということ自体は必ずしも難しいというわけではないのだが、回復のないゲームだと劣勢になるともう負けが見えてしまって、つまらなくなってしまう。ただ「サガ エメラルド ビヨンド」の場合は独自の独壇場システムによって、状況をひっくり返すことができるのだ。
そこに、陣形とタイムラインが生み出す戦略などもあって、開発末期になっても新しい戦略が見つかってきりがない、底の見えないゲームになってしまった。
さらに、運用素へのこだわりもあった。トレーディングカードゲームのような運用素を技術でコントロールできるゲームバランスに、そしてオーバードライブと独壇場で逆転できるギャンブル性を取り入れていくというゲームバランスを目指して作ったのだという。最初は、運：技術＝3：7くらいで、システムに対する理解度が増えたら、運：技術＝1：9以上と感じるように調整を行った。
本作では、コマンドを入力した後に「ここから先どうなるんだろう、自分はこうしたいと思ってコマンドを選んだけど、行動が始まったらどういう結果になるのか」と、コマンドに入力した後にドキドキしてほしいゲームにしたかったのだそうだ。そういう意味では「人事を尽くして天命を待つ」ようなゲームに感じてくれたらいいなと思って作り上げているのだそう。
この本作のバトルの複雑なバランス調整については、さすがに「夢を詰み込みすぎ」というツッコミをしつつも、イメージさえでき、かつ経験者であれば、バランス調整は何とかできるとのこと。
本作をプレイした人ならばわかると思うが、「サガ エメラルド ビヨンド」は100時間プレイしても緊張感のあるバトルが楽しめる。通常、RPGで本当にヒリヒリしたバトルをしている瞬間は実はそんなにない。だが、「サガ エメラルド ビヨンド」はとにかくあちこちで緊張感が続く調整をしている。
「サガ エメラルド ビヨンド」の絶妙なバランス調整
では、どうバランスの調整を行ったのだろうか。
バランス調整とは愚直にテストプレイを繰り返すことではないのだと、柴田氏。重要なのは事前設計で、能力値、装備、技、陣形等、様々なパラメータの影響度を事前にイメージし、その上で計算式を決めて調整する。この時、コントローラーは握らない。とはいえ、タイムラインは魔物で、ランダム性が強く、事前にイメージがしにくかった。ここで仕方なく、プレイして確かめることにしたのだそうだ。
ただ、「可能だったらできるだけコントローラを握らないで、とにかくイメージしていくというのを繰り返すのが大事」だとしつつも、「それでも調整できないと思ったら、それはコントローラは握り、テストプレイをしてどう感じたかが、大事」だとも語った。
特に本作では、攻撃特性や弱点、ヘイト管理、ロール、装備、陣形などすべての組み合わせをクリアすることは無理と判断し、代表的なケースを想定して調整を行った。そのフィードバックによって再び細かい調整をしていき、今回は調整にAIも活用している。AIは開発末期の優秀なテスターとして活躍しているが、バランスの方針はあくまでも人が決めていった。
バランス調整の軸として、バトルランクという成長要素を導入。強い敵と戦うとバトルランクが上がり、PCが成長する。また、装備を強化するのに必要なメイン素材があり、これもバトルランク合わせて入手タイミングを決めている。
実際にはExcelを使ってバトルランク毎のPC、敵の強さを事前計算しており、初期値、最大値、係数を用意しておき、プレイヤーのダメージが低いと思ったらあげる等の作業をひたすらやっていたのだという。
しかし、やはりシステムが複雑で、パーティーの状況は多岐に渡っており、代表的なケースを人海戦術で対応していたが、開発末期までパラメータを調整する未来が見えており、開発末期の通しプレイの時間が確保できないということが予想できた。
本作は周回前提の作品なので、必要なプレイ時間はおよそ200時間。こうなると人海戦術でも対応ができなくなってしまう。だが、人には成し得ないことでも、AI（機械学習）なら成し得る。
そもそもディレクターの河津氏がAIに興味津々で、開発に入れたがる珍しいケースであり、柴田氏も卒業研究でAIについて取り上げており、テストAIのイメージができていたという。そして、好奇心と将来への期待感もあり、AIを使った開発のノウハウを溜めて将来につなげたかったということもあり、機械学習を採用したそうだ。
実際の導入にあたって、どのようなAIにするかについては、今回はゲームシステムが複雑なことと仕様が常に変化することから、機械学習（深層学習）を採用することになった。テストAIは、開発側プログラマとAIエンジニア間でのデータのやり取りが大変ということから、本実装とは独立して動作させることにした。開発期間はゲーム開発と並行しておこない、約2年かかり、運用したのは半年間ほどだった。
機械学習の良いところは、ゲームシステムを完璧に理解していなくても動いてくれることや、学習すればすぐに強くなること、学習を止めると強さを一定にできる点。一方で短所は、AIが何を学習するかわからないこと、どこまで強くなるかわからないこと、機械学習の仕組みを理解しないとプランナーが使いこなせないこと、AIとゲームデザインのどちらに問題があるかわからないことがある点だ。
プランナーからは、本作は連携をするのが肝のゲームなため、AIに連携を学習してほしいという要望があった。しかし、機械学習というのは特定の要素を狙って学習する仕組みではない。よって、AIに連携を学習しろと無理強いするのは間違いで、ゲームシステム上連携が有利になっていればAIは連携を学習するはずで、実際AIが連携したということはゲームデザインがうまくいっていると捉えられる。
こうしてAIは動き出したが、開発初期はゲームがとても下手で、とにかく力押し。短絡的に強いダメージを出そうとしていた。1人目が高BP技を使って他のキャラクターの行動を奪いがちで、連携もできず、敵のHPを減らすことを優先してしまって瀕死の敵にトドメを刺さない結果、敵から反撃を受けて劣勢になる、といったような状態だった。
しかし開発中期には、上手くはないもののゲームへの理解は感じられ、連携は意識していないものの全体でBPを配分して総合ダメージを上げたり、瀕死の敵にトドメを刺すようになったり、術が有利な敵には術を使うなど人間らしい戦略が見え始めたものの、勝てない敵には防御しかしなくなる、といった問題もあった。
そして開発末期、AIは下手な人間よりは上手い、くらいにまで成長。連携をよくするようになり、敵の連携を阻止することもあり、時々微妙な行動を取るけれども敵を的確に倒すようにまで成長した（実はすごい戦略を取っているのかもしれないが、不明）。
本作のバトルには「楽勝」「普通」「強敵」「最凶」の4段階の難易度があるが、AI勝率は末期になるにつれてどんどん上がっていった。難易度「楽勝」「普通」にはほぼ勝てるが、「強敵」は勝ったり負けたりと勝率は低め。しかし、「最凶」には一度も勝てなかった。
この結果から、プランナーとして完成したAIは上級者ほどではないが、中級者程度には強いと見立てた。なので、このテストAIを使って全バトルをプレイ。毎週、全バトルシーン（約800ほど）をプレイしてデータを算出。各バトルを10戦し、HP残量や敵味方の生存数、勝率を確認した。
これを見て、AIエンジニアとプランナーとでは違う意見を持ったという。AIエンジニアとしては「最凶」に全く勝てないので、もっとAIを強くしないといけないと思ったものの、プランナーとしては「最凶」は人間が倒せればそれで良い、という判断でAIをこれ以上強くしなくていいと感じたそう。
高性能なAIを作るのであれば、AIは強ければ強いほどいいが、バランス調整にAIを利用するのであればAIの強さはほどほどで良いのだと、本作では判断した。
ちなみに人間がバランス調整をする場合、やればやるほどゲームが上手くなっていき、開発末期になると上手い人の感想だらけになりがちだが、AIがバランスを調整する場合、ある程度AIが強くなったらAIの学習を停止し、一定の強さで一貫したデータを取れることを利点として挙げた。
とはいえ、AIは感想を言うことはない。解読は人間の仕事で、プランナーが何をAIにさせたいのか、どんなアウトプットが欲しいのか、アウトプットから何が起きてるかを読み込む必要がある。
プランナーがAIを使ってたバランス調整を行うには、プランナーがAIに対する知識経験が必要となるため、安易におすすめはしないとしつつも、時代は今や空前のAIブームで、ネットの情報も豊富。プランナーでもAIを理解できる時代が到来しており、最近は状況はすっかり変わった。何かしらの条件が整ったら、AIでバランス調整をしてみるのも良いのではないかと、柴田氏は述べた。
テストAIの技術紹介
三宅氏からは実際のテストAIについての紹介が行われた。
三宅氏はAI導入にあたって、「AIがわかるプランナーだと話が早く、また最後はやはりプランナーやディレクターがイエスの返事を出さなければならないので、今回は非常に良い流れでできた」と語った。
大きな方針としては、AIがバランスが崩れる箇所を見つけ、人間が問題を調整し、パラメータを修正するという強化学習（Reinforcement Learning、RL） の形を取った。強化学習とは、とりあえずランダムでも良いので行動してみて、行動から得られるリターンによって行動の方針を変えることで、ゲームと強化学習は非常に相性が良いとのこと。
とりあえず行動させ、たまたま勝った、たまたま惜しい感じで負けたなど、報酬を少しずつ上げる。そうすると「こちらの方が良かった」とAIは自分の考えを変えていく。
そのためにはバトルだけ何回も繰り返すようなシミュレーターが必要で、ゲームチームにその部分だけ切り出してもらい、そこにデータを流し込み、ひたすらバトルだけやらせることになる。
この強化学習で一番ネックになるのは、ゲームチームがシミュレーターをちゃんと準備できるか否か。本作ではとてもしっかりした環境で準備してもらえたことで、AI技術が良い方向に活用できたという。
ちなみにゲームをプレイするAIというと、「StarCraft2」などが挙げられるがこちらは人間を超えるAIを作るため、今回の「サガ エメラルド ビヨンド」とは話がちょっと違い、今回必要だったのは人間を超えるAIは必要なく、人間レベルのプレイヤーAIが必要だった。その指標になるのが、勝率、どの程度ターンを使ったか、残りのHP量や、与ダメージだ。ゲームがアップデートされる度にシミュレーターへアップしてもらい、これが開発中はずっと続く。最後、ゲームがある程度FIXしたら、シミュレーターもFIXする。
なお、事前学習にて本作で対象としたのは約800ステージ。その中からまず60ステージ程を抜き出し、さらに26パターンのパーティの組み合わせで、約1500ケースに対してひたすら学習する。これがプリトレーニングで、その成績を記録していく。
そのステージの中で勝率が異様に低いものは、追加学習でファインチューニングでもう1回、学習を補完する形で回していく。
すると、ようやくそれなりのAIが出来上がるため、あとは各週800ステージ、AIによる評価を行うのだ。
具体的には月曜日から金曜日はバトル開発とバランシング調整をして、土曜と日曜はAIによる評価、というのを毎週ずっと繰り返すことになる。人間では、毎週800ステージの評価はまず無理で、しかも何十回とプレイする必要があるため、そこはやはりAIの真価が発揮されるところである。
ただし、これを再事前学習なしにずっと回していると、どんどん大きくゲームとの差が開いてしまい、結局もう1回、1から学習をやり直すことになってしまう。
全体のアーキテクチャーとしては、ゲームシミュレーターが複数走っており、そこにひたすらゲームをプレイしてもらうAIを貼り付ける。これでゲームのログをどんどん貯めていき、クラウドストレージからそれを学習する。
うまくデザインすると、望んだ方向にAIたちが学習してくれるのだが、ちょっと報酬関数のデザインを間違えると、AIは変な方向行ってしまうので、注意が必要だという。
AIはゲームを見てゲームをプレイしていくが、終わったらワーカーエージェントがゲームシミュレーターからトレーニングデータを収集する。ワーカー32体でゲームをプレイしてずっとデータを溜めていき、そのデータを使ってLearner agentがこのコードを取ったら良いという方針をどんどん正確にしていくのだ。
なお、学習の変動が極端にブレないように緩和するような関数の形を取っているという。三宅氏によれば、「この辺が工夫したところ」とのことで、Vトレースはその時系列でずっと学習していくので、学習の累積バリューがあり、そちらになるべくゆったり近づくようにエネルギー関数を定義しているそうだ。
そして最終的には人間に完全に及んでいるわけではないものの、人間に近い勝率を発生させ、全体のアーキテクチャーとしてはゲームのパラメータを入れてエンコーディングして、アテンションという仕組みを入れ、アテンションに対してどういう行動をするかをひたすら学習していくというのが、強化学習の全体像だ。
今後の課題としては、より効率的なアルゴリズムの探求、バックエンドシステムの自動化、他のゲームへの応用などを挙げ、セッションを締めくくった。
(C) SQUARE ENIX
コメントを投稿する
この記事に関する意見や疑問などコメントを投稿してください。コメントポリシー
