マイクロソフトが同社のKinectをはじめとしたNUI（ナチュラルインターフェース）の最新動向を紹介

NUI（ナチュラルユーザーインターフェイス）とは、身ぶり手ぶりといったジェスチャーや音声などでコンピュータを操作するシステムのことだ。もっとも代表的な事例がおなじみの「Kinect」で、2012年2月にWindows上で動作する「Kinect for Windows」が発売されたことをきっかけに、ゲーム以外のさまざまな分野への導入が進められているという。

では、実際にどのような普及・開発がなされているのか。NUIを利用したシステムや最新の研究内容について、マイクロソフトディベロップメント株式会社 代表取締役社長 兼日本マイクロソフト株式会社 業務執行役員 最高技術責任者の加治佐俊一氏が説明を行った。

「Kinect」がNUIの時代の幕を開ける

まず、加治佐氏はUIが文字情報によって操作するCUI（キャラクターユーザーインターフェース）から、画像やアイコンをマウスなどで操作するGUI（グラフィカルクユーザーインターフェース）へと進化してきた過程を説明。NUIはその次の時代のもので、今まさに始まりつつあるとの認識を述べ、その代表的存在である「Kinect for Windows」を利用した以下の5つの事例を紹介した。

非接触型画像操作システム「Opect（オペクト）」

執刀医の集中力の維持や手術時間の短縮などを目的として、東京女子医科大学 先端生命医科学研究所（FATS）が開発した、手術中の患者の画像を確認するためのシステム。見たい部分を直感的な操作ですぐに見ることが可能で、2次元の画像を操作するタイプはすでに一部で実用化されている。

「OPECT」紹介サイト
http://www.nichiiweb.jp/medical/category/hospital/opect.html

障碌者活動ソリューション「OAK」

東京大学先端科学技術研究センターと日本マイクロソフトが開発した、脳性まひや脊髄性筋萎縮症などによる障碌者を支援するためのソリューションで、口の開閉や眼球の動きなどでパソコンを操作できるようにする。重度の障碌者は静止した状態で操作することが難しい場合があることから、操作時に身体が動いても動作を検出できるようになっている。

「OAK」紹介サイト
http://www.microsoft.com/japan/presspass/detail.aspx?newsid=4203

介護施設向けテレビゲーム「リハビリウム起立くん」

株式会社メディカ出版、国立大学法人九州大学 大学院芸術工学研究院、特定医療法人長尾病院がリハビリ・介護施設向けに共同で開発。椅子から立ったり座ったりする起立運動を行うと画面の樹がどんどん成長していくゲームになっていて、楽しみながらリハビリをすることができる。

「リハビリウム起立くん」紹介サイト
http://www.medica.co.jp/topcontents/kirithu/

人流計測システム「Hello Counter」

株式会社リゾームが開発した、商業施設に入退店したお客の数や道路を通過した人数などの人の流れを計測するためのシステム。通過した人数を方向別に計測したり、時間ごとの平均人数を算出したりと、さまざまなデータを取ることができる。

「Hello Counter」紹介ページ（PDF）
http://www.rhizome-e.com/products/others/kinect.pdf

体感型書道フィジカルインスタレーション「AIRSHOUDOU」

手のひらを使って空間に文字を描くと画面にその文字が現れる“空間書道”というべきユニークな体感型のエンタテインメント。広島現代美術館の「ゲンビどこでも企画公募2011」で入選を果たした。

「AIRSHOUDOU」紹介サイト
http://sharefl.jp/projects/airshodou/

加治佐氏によると、国内のマイクロソフトだけでこのようなKinectに関するさまざまなプロジェクトが150以上も動いており、高専や大学でのKinect講座の開設をはじめとする人材育成も行われているという。

もちろん、アメリカでも多数のプロジェクトが稼動中で、これらの現状を踏まえて加治佐氏は「Kinectを使ったソリューションは今度どんどん広がっていくでしょう」と力強く語った。

さらに進化していくNUI

マイクロソフトの研究機関である「マイクロソフトリサーチ」では、約900人の研究者がさまざまなNUIの研究・開発に取り組んでおり、それらの最新の研究事例も3つ紹介された。

「Digit」

手首に装着した装置で手の動きを認識するシステムで、これを利用すれば指や手の平などを動かすだけでラジオのスイッチを入れたり、スマートフォンに応答したりとさまざまな操作ができるようになる。

「Digit」紹介動画掲載ページ（英語）
http://research.microsoft.com/apps/video/default.aspx?id=173838

「シャトルバスの手配システム」

米マイクロソフトで試験的に導入された、本社の敷地内を移動するためのシャトルバスを手配するシステム。広角カメラ、タッチスクリーン、音声認識などを組み合わて運用されており、相手がいらだっているか判断したり、服装がフォーマルかカジュアルかを認識したりして会話パターンを変えるといったことができるのだという。

さらに、ふたりの人物を同時に認識して、それぞれ個別に対応するといったマルチタスクを行うことも可能で、いずれはもっと人に近い自然な処理ができるようになるそうだ。

「Illumiroom」

Kinectを使ってテレビの周りにあるものの位置や距離情報などを計算し、プロジェクターからテレビの周囲の壁に映像を投影するというもの。テレビの画面を越えて、壁一面にゲームなどの映像が広がったりするので臨場感がさらに高まることだろう。

「Illumiroom」紹介サイト（英語）
http://research.microsoft.com/en-us/projects/illumiroom/

Kinectで3Dスキャンが可能に！

最後に「Kinect for Windows」のバージョンアップについて紹介しておこう。「Kinect for Windows」はハード面ではリリース当時からまったく変わっていないが、ソフトは何度もアップデートがなされており、これまでに顔の認識機能、Windows8のサポート、仮想環境での稼動といったさまざまな機能が追加されてきた。

近々実施される次期アップデートでも「Kinect Fusion」という新機能が実装される予定。これはKinectを入力デバイスにした3Dスキャナーで、人物やモノといった3Dのオブジェクトをリアルタイムで取り込んで、さまざまな利用ができるようにする機能を備えているそうだ。

多彩な分野への普及はもちろん、ゲームの世界をさらに変えうる可能性も持つNUI。今後のさらなる進化に期待しよう。

「Kinect Fusion」紹介動画掲載ページ（英語）
http://research.microsoft.com/apps/video/default.aspx?id=152815