マイクロソフトが同社のKinectをはじめとしたNUI（ナチュラルインターフェース）の最新動向を紹介

加治佐俊一氏

NUI（ナチュラルユーザーインターフェイス）とは、身ぶり手ぶりといったジェスチャーや音声などでコンピュータを操作するシステムのことだ。もっとも代表的な事例がおなじみの「Kinect」で、2012年2月にWindows上で動作する「Kinect for Windows」が発売されたことをきっかけに、ゲーム以外のさまざまな分野への導入が進められているという。

では、実際にどのような普及・開発がなされているのか。NUIを利用したシステムや最新の研究内容について、マイクロソフトディベロップメント株式会社 代表取締役社長 兼日本マイクロソフト株式会社 業務執行役員 最高技術責任者の加治佐俊一氏が説明を行った。

「Kinect」がNUIの時代の幕を開ける

まず、加治佐氏はUIが文字情報によって操作するCUI（キャラクターユーザーインターフェース）から、画像やアイコンをマウスなどで操作するGUI（グラフィカルクユーザーインターフェース）へと進化してきた過程を説明。NUIはその次の時代のもので、今まさに始まりつつあるとの認識を述べ、その代表的存在である「Kinect for Windows」を利用した以下の5つの事例を紹介した。

非接触型画像操作システム「Opect（オペクト）」

執刀医の集中力の維持や手術時間の短縮などを目的として、東京女子医科大学 先端生命医科学研究所（FATS）が開発した、手術中の患者の画像を確認するためのシステム。見たい部分を直感的な操作ですぐに見ることが可能で、2次元の画像を操作するタイプはすでに一部で実用化されている。

「OPECT」紹介サイト
http://www.nichiiweb.jp/medical/category/hospital/opect.html

身ぶり手ぶりで患部の画像を拡大したり、画像の角度を変えたりするデモンストレーションも行われた。

障碌者活動ソリューション「OAK」

東京大学先端科学技術研究センターと日本マイクロソフトが開発した、脳性まひや脊髄性筋萎縮症などによる障碌者を支援するためのソリューションで、口の開閉や眼球の動きなどでパソコンを操作できるようにする。重度の障碌者は静止した状態で操作することが難しい場合があることから、操作時に身体が動いても動作を検出できるようになっている。

「OAK」紹介サイト
http://www.microsoft.com/japan/presspass/detail.aspx?newsid=4203

加治佐氏が口を開閉する動きでパソコンを操作。顔や身体が大きく揺れても口の動きをトレースできることを実演した。

介護施設向けテレビゲーム「リハビリウム起立くん」

株式会社メディカ出版、国立大学法人九州大学 大学院芸術工学研究院、特定医療法人長尾病院がリハビリ・介護施設向けに共同で開発。椅子から立ったり座ったりする起立運動を行うと画面の樹がどんどん成長していくゲームになっていて、楽しみながらリハビリをすることができる。

「リハビリウム起立くん」紹介サイト
http://www.medica.co.jp/topcontents/kirithu/

患者さんのリハビリのモチベーションを継続させるため、楽しみながらできるゲーム形式にしたのだという。

人流計測システム「Hello Counter」

株式会社リゾームが開発した、商業施設に入退店したお客の数や道路を通過した人数などの人の流れを計測するためのシステム。通過した人数を方向別に計測したり、時間ごとの平均人数を算出したりと、さまざまなデータを取ることができる。

「Hello Counter」紹介ページ（PDF）
http://www.rhizome-e.com/products/others/kinect.pdf

セミナー会場では、このように左側の入口と右側の入口の利用回数がそれぞれ計測されていた。

体感型書道フィジカルインスタレーション「AIRSHOUDOU」

手のひらを使って空間に文字を描くと画面にその文字が現れる“空間書道”というべきユニークな体感型のエンタテインメント。広島現代美術館の「ゲンビどこでも企画公募2011」で入選を果たした。

「AIRSHOUDOU」紹介サイト
http://sharefl.jp/projects/airshodou/

加治佐氏が全身を大きく使って「人」という文字を描いてみせた。

加治佐氏によると、国内のマイクロソフトだけでこのようなKinectに関するさまざまなプロジェクトが150以上も動いており、高専や大学でのKinect講座の開設をはじめとする人材育成も行われているという。

もちろん、アメリカでも多数のプロジェクトが稼動中で、これらの現状を踏まえて加治佐氏は「Kinectを使ったソリューションは今度どんどん広がっていくでしょう」と力強く語った。

さらに進化していくNUI

マイクロソフトの研究機関である「マイクロソフトリサーチ」では、約900人の研究者がさまざまなNUIの研究・開発に取り組んでおり、それらの最新の研究事例も3つ紹介された。

「Digit」

手首に装着した装置で手の動きを認識するシステムで、これを利用すれば指や手の平などを動かすだけでラジオのスイッチを入れたり、スマートフォンに応答したりとさまざまな操作ができるようになる。

「Digit」紹介動画掲載ページ（英語）
http://research.microsoft.com/apps/video/default.aspx?id=173838

赤外線やレーザーセンサーを利用した装置。機体や画面にタッチすることなくデバイスを操作することができる。

「シャトルバスの手配システム」

米マイクロソフトで試験的に導入された、本社の敷地内を移動するためのシャトルバスを手配するシステム。広角カメラ、タッチスクリーン、音声認識などを組み合わて運用されており、相手がいらだっているか判断したり、服装がフォーマルかカジュアルかを認識したりして会話パターンを変えるといったことができるのだという。

さらに、ふたりの人物を同時に認識して、それぞれ個別に対応するといったマルチタスクを行うことも可能で、いずれはもっと人に近い自然な処理ができるようになるそうだ。

膨大なデータを活用して適切な対応ができるようになるには、人工知能的な機械学習が何よりも重要と加治佐氏は語る。

「Illumiroom」

Kinectを使ってテレビの周りにあるものの位置や距離情報などを計算し、プロジェクターからテレビの周囲の壁に映像を投影するというもの。テレビの画面を越えて、壁一面にゲームなどの映像が広がったりするので臨場感がさらに高まることだろう。

「Illumiroom」紹介サイト（英語）
http://research.microsoft.com/en-us/projects/illumiroom/

「Illumiroom」の詳細は今年4月に行われる「CHI」という学会で発表される予定だ。

Kinectで3Dスキャンが可能に！

最後に「Kinect for Windows」のバージョンアップについて紹介しておこう。「Kinect for Windows」はハード面ではリリース当時からまったく変わっていないが、ソフトは何度もアップデートがなされており、これまでに顔の認識機能、Windows8のサポート、仮想環境での稼動といったさまざまな機能が追加されてきた。

近々実施される次期アップデートでも「Kinect Fusion」という新機能が実装される予定。これはKinectを入力デバイスにした3Dスキャナーで、人物やモノといった3Dのオブジェクトをリアルタイムで取り込んで、さまざまな利用ができるようにする機能を備えているそうだ。

多彩な分野への普及はもちろん、ゲームの世界をさらに変えうる可能性も持つNUI。今後のさらなる進化に期待しよう。

「Kinect Fusion」紹介動画掲載ページ（英語）
http://research.microsoft.com/apps/video/default.aspx?id=152815

(C) Microsoft

※画面は開発中のものです。