MSが世界中のモノを3Dデータ化しようと企んでいるのです

00

最近は堅実なイメージが付きすぎている感のあるマイクロソフトですが、ARでGoogleやアップルばりのイノベーションを狙っている模様。現実世界をARで拡張するメガネ型デバイス「HoloLens」が記憶に新しいところですが、このたびMicrosoft Researchが公開した「SemanticPaint」も野心的ですごいんです。

まずは2本のムービーをご覧あれ。

SemanticPaint Video:

SemanticPaint Material Video:

この「SemanticPaint」では、現実世界のモノ(オブジェクト)を指でタッチして「色を塗る」と、そのオブジェクトだけが指定した色に変わります。AR世界のオブジェクトを入れ替えたり色を変える技術はすでにありましたが、現実世界のオブジェクトをリアルタイムで認識し、それだけの色を変えるというのが画期的。

ユーザーは「Kinect」のような深度を計測できるカメラを装着しつつ、「HoloLens」のようなARディスプレイと組み合わせて「SemanticPaint」を使います。まずはカメラが現実世界を計測し、オブジェクトの形状を認識したら、ユーザーがそれぞれのオブジェクトに触って「タグ」付け。タグのついたオブジェクトは独立したオブジェクトとして扱われて、色を変えたりするのもオブジェクト単位で処理されます。

01
▲最初、世界は平坦な灰色に塗りつぶされています。

02
▲イスをタッチすると、タッチしたイスだけが色分けされていきます。ペイントソフトの「ペンキ缶」(バケツ)ツールのようなものです。

03
▲机の上のバナナは机と別のオブジェクトとしてタグ付けされているので、単独で色分けされます。

これが実用化されると、たとえばソファーのカバーを交換する前に、部屋にいながら色をあれこれ試したり、あるいはサッカー観戦をしながら選手をポジションごとに色分けしたり、頭上に背番号などを(まるでテレビ中継のように)表示させたりもできるんじゃないでしょうか。

さて、ここまでは既存のシステムでも実現できましたが、「SemanticPaint」がユニークなのはオブジェクトを常時オンラインで認識している点。世界中でユーザーがオブジェクトを登録していくとデータベースが急速に進化。やがて、ほとんどのオブジェクトがわざわざ登録しなくても認識されるようになるでしょう。機械学習によってさまざまなパターンを学習していけば、まっすぐなキュウリも、まがったキュウリも、等しくキュウリとして自動認識されるようになるはずです。

つまりこの「SemanticPaint」、実はペイントソフトというよりは「マイクロソフトによる現実世界の3Dデータベース化」技術でもあり、言ってみればGoogleが顔認識のために世界中から写真を集めているように、世界を3D化するためにユーザーの力を結集しようという壮大なプロジェクトでもあります。まるっきりSFのように聞こえますが、技術的にはもは完成間近。そう遠くない将来に、都市が丸ごと3D化され、現実世界とAR世界の区別がつかなくなる……そんな可能性もあるのです。

 

文/倉田吉昭

関連サイト
SemanticPaint Project