バンダイナムコ研究所とACESによる研究開発プロジェクトよりAI研究開発向けの3Dモーションデータセットが販売開始歩行・ダンスなどを中心に商用利用も可能なデータを収録

2023.06.23 14:04 0コメント

バンダイナムコ研究所とACESは、AI技術（機械学習と深層ニューラルネットワーク分類技術など）の研究開発に使用可能の3Dモーションデータセットの販売を6月21日よりACESのWEBサイトにて開始した。

昨年、AIを用いたキャラクターのモーション生成に関する研究開発プロジェクトを発足していた両社だが、今回ダンスの動作を表す6種類のコンテンツと、「かわいい」「荒々しい」などのキャラクター性を反映した7種類のスタイルを組み合わせた計42種類のモーションがセットになった3Dモーションデータセットを制作し、販売を開始したことが発表された。

これは、プロジェクトで制作したデータの一部を昨年公開したところ、研究のためにより高品質のデータを求める声や、商業利用に関する問い合わせが多かったことから、そうした要望に応えるため、エンターテインメント分野で実用的かつ、希少性の高いモーションを中心にデータセットを制作したとのことだ。

バンダイナムコ研究所とACESがAIを用いたキャラクターのモーション生成に関する研究開発プロジェクトを発足

以下、発表情報をそのまま掲載しています

モーションデータセットの概要

モーションデータセットは、ダンスの動作を表す6種類のコンテンツと、「かわいい」「荒々しい」などのキャラクター性を反映した7種類のスタイルを組み合わせた計42種類のモーションから構成されます。キャラクターにジェスチャーやダンスなどをさせて、挨拶や感情表現を表す機能であるエモートに利用することが可能で、総計1,475,826フレームのデータが含まれています。

主要なモーションデータセットと比べ以下の特徴を備えています。
・モーションごとの収録データ量が大きく、モーションAIの学習に適している
・ダンスモーションとキャラクターの特長を反映したスタイルを収録しており、より実用的で希少性が高い
・整備された収録環境でプロのアクターの動きを収録、モーション専門の技術者が処理した高品質なデータ

両社は、2022年1月にAIを用いたキャラクターのモーション生成に関する研究開発を目的にプロジェクトを発足しています。AI生成には複数のモーションパターンが必要なため、バンダイナムコグループのゲームや映像制作で使用しているモーションキャプチャのノウハウを活用し、キャラクター性や感情表現などさまざまな演技を加えたモーションスタイルを収録しています。

バンダイナムコ研究所では、このデータを元にエンターテインメントでの活用を研究する一方、AI研究の発展と推進を目的に、2022年4月にこのデータの一部を無料で公開しました。今回は、研究のためにより高品質のデータを求める声や商業利用についての問い合わせが多く、その要望に応えるため、特にエンターテインメント分野において実用的で希少性の高いモーションを中心に、データセットを制作しました。

バンダイナムコ研究所とACESの研究開発プロジェクト

昨今のバーチャルキャラクター市場の拡大に伴い、キャラクターの属性や場面に応じた自然で多様なキャラクターモーションの作成需要が高まっています。また、バーチャル世界で「なりたい自分」を実現するためにも、演者の属性にとらわれないモーションの作成技術は重要です。

バンダイナムコ研究所とACESは、メタバース及びxR（※1）技術での活用を目指し、AI技術である「モーションスタイル変換」を用いて、より多様なキャラクターモーションの生成を手軽に行うための研究開発を実施しています。

※1：xRとは VR（Virtual Reality…仮想現実）、AR（Augmented Reality…拡張現実）、MR（Mixed Reality…複合現実）など、現実の世界と仮想の世界をITの活用で融合させる技術の総称です。

社会におけるAI研究開発の背景

一般的にAIの開発において、データ量が大きく質の高いデータを学習に用いることは重要です。しかし、モーションデータの収集には、モーションキャプチャスタジオをはじめとする専門の設備と、それらを扱う専門性の高い人材が必要です。そのため、画像やテキストと比較するとモーションAI技術の研究開発に活用できるデータは十分でなく、技術発展の障壁となっています。

データセット販売の目的とユースケース

そこで、モーションAI技術の発展に寄与すべく、バンダイナムコ研究所とACESの共同研究開発で収集したモーションデータセットを研究開発に取り組む企業や研究所の研究員の方向けに販売いたします。

ご提供するモーションデータセットは、モーションスタイル変換（Motion Style Transfer）（※2）タスクの学習・評価での利用を中心に、モーション生成モデルなどモーションに関連する多様なタスクを解くAIの研究開発などにおいて可能です。基本的にはAI技術の研究開発での利用を想定していますが、3Dアニメーション制作やゲーム開発にも利用できます。

※2「モーションスタイル変換」とは、モーションを動作の内容を表す「コンテンツ」（例：歩く）と動作のニュアンスを表す「スタイル」（例：楽しそうに）に分解し、2つのモーションをかけ合わせた時に、一方のモーションの「コンテンツ」を維持し、もう一方のモーションの「スタイル」を反映した新しいモーション（例：楽しそうに歩く）を作成する技術のことを指します。

なお、2022年4月にバンダイナムコ研究所が研究者向けに公開したBandai-Namco-Research-Motiondataset（https://github.com/BandaiNamcoResearchInc/Bandai-Namco-Research-Motiondataset）とは、主に以下の点が異なります。
・ダンスをコンテンツ、キャラクター性をスタイルとした、より実用的なモーションが収録されている
・120FPSで収録されている
・商用利用が可能である