「プロセカ」コネクトライブの秘密――50人規模のスタッフと百戦錬磨のアクターによるリアルタイム連携が生んだ臨場感【CEDEC2022】

登壇者はColorful Paletteのアニメーション・演出班である藤本誠人氏、サウンドディレクターの磯田泰寛氏、エンジニアの山口智也氏、この3名。この講演は「プロジェクトセカイ カラフルステージ！ feat. 初音ミク」（以下、「プロセカ」）内で開催されたライブイベント「コネクトライブ」の開発事例を紹介するものとなっていた。

講演の概要は以下のとおり。

1．プロジェクトセカイ「コネクトライブ」機能の概要とコンセプト
2．ライブのコンセプトデザイン・演出制作
3．配信スタジオでのオペレーション
4．ライブ配信システムの全体構成
5．リアルタイム配信を実現するための基盤技術
6．ライブ体験を作るための技術的工夫

「コネクトライブ」とは

「コネクトライブ」は、「プロセカ」ゲーム内でリアルタイム配信によって開催されたライブのこと。普段ゲーム内で聴くことができるいわゆるゲームサイズとは異なるフルバージョンの楽曲の歌唱や、リアルタイムでのダンスやトークによるライブとなっており、ユーザーのコールやメッセージにキャラクターたちがその場で反応してくれる。

筆者も「コネクトライブ Vivid BAD SQUAD 1st CRASH」に参加したが、その臨場感たっぷりのコール＆レスポンスに、いったいどんな技術で成り立っているのだろう？　と疑問に思ったものだ。このライブ自体の詳細については、以下のレポートを参照してほしい。

特別感のあるステージ演出のために――本番までブラッシュアップを続けたアニメーション演出班

コネクトライブの演出は、ゲームエンジン・UnityのTmeline機能を用いてColorful Paletteのアニメーション演出班4名で制作されたという。

キックオフの時点で「コネクトライブ」を定義づける要件として“ゲーム内からのリアルタイム配信”、“通常のバーチャルライブとの差別化”、“360度ステージでキャラクターが自由に動いてパフォーマンスを行う”の3つを設定したという演出制作チーム。

モック（プロトタイプ）制作では、ベースとなるステージを作り、早めにチーム全員でゲーム内での見え方を確認できる環境を構築。要件を実現するために必要な要素を検証していった。

これらを踏まえて、会場の見た目作りに着手。どのような見た目を目指し、そのためにはどんなアセットが必要なのかを、静止画に直接レタッチすることでクオリティラインを定め、洗い出していったという。

実際のコネクトライブではフルバージョンの楽曲に合わせ、会場全体がハレーションしたり、ソロパートでは暗くなった会場でひとりのキャラクターにスポットライトが当たったりと、ステージ演出が実に多彩な展開を見せていたが、こうした演出プランはこの時点で定まっていたということだ。

これらの演出を実現するためTimeline上のトラックには、ポストエフェクト、ライティング、アセット、BGM/SE、その他コネクトライブオリジナルのトラックなどを追加。

それを踏まえて、全体の楽曲演出を確認できるベンチマークとなる演出を1曲ぶん作成。これを楽曲演出全体のクオリティラインや、アセットがひと通り入った状態での見え方などの基準にしていった。

このベンチマーク楽曲をもとに、ほかの楽曲の演出を量産。コネクトライブ1回のセットリストとなる7曲ぶんの演出が完成した段階で、全体の流れを通しで確認。コネクトライブ全体でどのような体感が得られるかを検証したという。

演出を量産する際には、360度ステージである点を考慮した見え方を意識したとのこと。コネクトライブは実際のライブのように、ユーザーによって最前列、中段列などステージを鑑賞する場所が異なる上、ズームできるなど自由に視点移動が可能だ。どんな視点でステージを見ても、演出がキャラクターの邪魔になったりしないように見た目を整えていったという。

また、会場全体にモヤを掛ける“フォグ”や、天井周辺の明るさにかかわる“フレア”を調整することで、理想的な空気感を演出。観客がキャラクターを注視した場合だけでなく、会場全体を引いた視点で見渡したときの見え方も考慮したポイントだった。

こうしたいくつもの演出上の差別化を積み重ねることでコネクトライブは、いつでもゲーム内で楽しめるバーチャルライブと差別化し、特別感のあるイベントになったわけだ。

また、全体の演出の流れが固まったあとには、本番想定での実機によるテクニカルリハーサル（技術検証）が行われた。具体的にはライブ全体のクオリティ、アセット・機能などの不足点などの確認を行ったという。

これを踏まえたブラッシュアップでは、ライティングやエフェクトをより見栄えのするものに盛ったり、これにともなう負荷軽減、本番環境でしか見えてこなかったアセットのバグ修正なども実行。

テクニカルリハーサルでNGと判断した演出もあったようだ。もともと楽曲ごとの演出に差を出すために導入を考えていた昇降機は、リアルタイムで動作させる上で、キャラクターとの干渉部分などにリスクがあるため、断念したという。

また、通常のバーチャルライブとくらべてリアルタイム感がないという意見が出たことで、キャラクターの歌唱中に観客がリアルタイムでリアクションする“コール＆レスポンス”はこの段階で追加したとのこと。

その後は、本公演までひたすらバグ対応やクオリティアップの調整が続いた。テクニカルリハーサル後、照明もリアルタイムでアクターの動きに合わせての調整が必要だと判明したため、これを意識した演出の調整もあったとか。

また、本番では演出班もリアルタイムのオペレーション周りの一部を担当したという。アクターがアドリブで動く部分も多く、これに合わせた演出作りのほか、描画負荷の軽減や、フル尺での演出バランス、バグの原因調査などは、制作を通して特に難しかったところだそうだ。

いくつもの困難があった開発だったものの、最終的なライブ全体の演出はすごくいいものになったのではないかと、ライブ演出についての講演は締めくくられた。

声優陣のアドリブにリアルタイムで対応！？曲芸に近いスキルを求められていたアクター陣

コネクトライブ当日の配信スタジオでのオペレーションチームは、Colorful Palette社内のスタッフだけでなく、協力会社などのスタッフもいて、なんと総勢約50名もの大人数で構成されていたとのこと。先ほど、コネクトライブの演出班は4名との話があったが、文字通り桁が違う。

チーム内の役割は、モーションチーム、表情操作チーム、ステージ演出チーム、音響チーム、PA・マニュピレーション、キャラクターボイス・台本管理チーム、配信システム管理チーム、進行など多岐にわたり、これらチームの連携により、ライブは実施されていたのだという。

実際の配信スタジオの様子を見てみると、アクターがリアルタイムでキャラクターたちのパフォーマンスを行い、これをモーションキャプチャーで映像に反映していたことが分かる。さらに、このアクターたちはステージ四方のモニターで配信中の映像や台本を確認しつつ、イヤモニの指示にあわせてパフォーマンスしていたのだとか。

声優陣にはリアルタイムでアドリブを多く含んだ演技をしてもらうようにお願いしており、アクターはこれにも咄嗟に対応した動きをしていたということで、ほとんど曲芸に近いスキルが求められていたと言っていいだろう。実際、このアクターたちは百戦錬磨の強者揃いで、多少無茶なボイスのアドリブにも、臨機応変に対応してくれたとのこと。

「コネクトライブ Vivid BAD SQUAD 1st CRASH」では1日に3回の公演が行われたが、上記のようなアドリブ性の高い演技プランや楽曲中のモーションの差分により、同じセットリストでも3公演とも異なった特徴のあるステージングを実現していた。

キャラクターの表情も、モーションやボイスに対応する形で、リアルタイムでコントロール。一方で口の動きについては、ボイスに合わせて自動的に口が開閉する自動リップシンクという技術が用いられているとのこと。これらの組み合わせで、キャラクターたちの活き活きとした様子を実現できていたのだ。

ステージ演出の制御も、キャラクターの入り・ハケに合わせて照明を変化させたり、MCが終わる際、最適なタイミングで楽曲を流すといった部分はリアルタイムで行っていたという。なお、楽曲歌唱時のステージ演出は、アセットとして楽曲ごとに組み込まれている。

SEなど楽曲以外の音響演出も、表情やステージ同様、コントローラーによる手動制御によってリアルタイムに対応していたとのこと。こういった自動・手動の組み合わせは、ほとんど昨今のリアルライブと変わらないそうだ。

このように、かなりの部分を配信時にリアルタイムで制御していることで、アドリブ性の強いライブを実現。ユーザーコメントやペンライトによるユーザー投票などで観客と双方向的にコミュニケーションを取り、たくさんコメントがあったときはファンサもたくさん行うといった対応ができたという。

臨場感抜群のコネクトライブは、大勢のスタッフのリアルタイムでの頑張りによって実現されていたのだ。

ライブ配信システムには、数万人単位のユーザーに安定してデータを送るための工夫も

コネクトライブのライブ配信のシステムは、協力会社やスタジオと連携しながら専用のシステムを構築したとのこと。システムは大きく分けてライブ配信基盤、リアルタイム通信基盤、ライブ配信スタジオ、アプリの4つ。

このうちサーバー上にあるのはライブ配信基盤とリアルタイム通信基盤の2つで、これらが各ユーザーのゲームアプリへのデータの送受信を担っている模様。

より詳細に図解すると、スタジオにあるモーションキャプチャーシステムと音響システム、キャラ管理端末と配信管理端末などの情報が、ライブ配信基盤からアプリへとリアルタイムで配信される。データのカテゴリーにより、ライブ配信基盤に届くまでのルートは異なっているようだ。

数万人単位のユーザーに安定してデータを送信するため、一度送信されたデータはクラウドフロントのCDNと呼ばれる場所にキャッシュされるなどの工夫も成されているのだとか。

また、リアルタイム通信基盤は、これに接続して各ユーザーのアプリ内の情報を同期する役割を担っているとのこと。また、ユーザーからのメッセージなどはリアルタイム通信基盤を経由して配信管理端末で収集しているという。

ユーザー投票を即座に反映するなどの驚きを生むためのデータ送受信システム

コネクトライブで送受信しているデータは、モーションデータ・音声データ・ライブステージデータの3種。

これらの中で容量の大部分を占めているのがモーションデータで、ここには各キャラクターのモーションと、表情のデータが含まれている。配信容量を削減するため、モーションのフレームを許容範囲内で落としたり、ボーンの精度を落とすなどの工夫を行ったという。

ほかにもデータサイズ削減のため、独自のフォーマットでのシリアライズ（複数のデータをひとまとまりとして扱うこと）や、gzip圧縮を利用したとのこと。音声データのサイズ削減には、音声コーデックHCAを使用して、高音質と高圧縮の両立を実現している。

配信データの再生がユーザーごとにズレないために、配信された各データにタイムスタンプを付加するといった工夫も。モーションデータのような連続する値は、タイムスタンプが対応するふたつのデータの中間値を利用することで、安定した出力を可能にしているという。

ここからは、ユーザーのアクションへのリアルタイムでの反応や、ペンライトで投票を行うなどのペンライトトーク機能といった体験を実現するための技術について。

ユーザーのアクションにキャラクターが反応してくれる仕組みについては、アプリからのメッセージがリアルタイム管理端末内で100人単位に区切られた「ルーム」と呼ばれる場所で同期され、複数のルームのメッセージをひとつの「グループ」に集約。

いくつかのグループに集約したメッセージをライブ管理端末に接続し、全ルームの情報を収集。この仕組みにより、たくさんのユーザーのメッセージを効率よく配信スタジオで表示でき、キャラクターたちのリアルタイムなリアクションに反映することができるという。

ペンライトトークはライブの進行に合わせて開始する必要があるため、ライブ管理端末から手動でスタートしている。この合図はNoticeGroupと呼ばれるアプリを経由し、すべてのユーザーのアプリに同時に届くとのこと。

ここでユーザーがペンライトの赤か青かを選ぶと、これは先ほどと同様、リアルタイム管理端末内のRoom、Groupを経由してライブ管理端末に。ここで東京データを集計して、配信スタジオに出力される。この結果を経てNoticeGroupを経由してふたたび集計結果をアプリへと反映。これによって、ほかのユーザーが選んだペンライトの色の割合も、リアルタイムに映像へと反映されているのだという。

こうした積み重ねにより、観客全体のライブに対する熱量をリアルに感じることができるのだ。

ここで講演はまとめに入った。コネクトライブは、360度のバーチャル空間特有のステージ演出や、あらゆるセクションのアドリブ、独自の配信基盤、ユーザーのアクションにリアルタイムで反応できる仕組みなどを駆使し、特別感のあるライブ体験を実現していた。

すべては「コネクトライブならではのライブ感のある体験」のために。今後もユーザーに多くの感動と驚きを提供するため、開発を進めていくと宣言し、講演を締めくくった。

CEDEC2022取材記事一覧