複合現実（MR）技術を使用した新たなドローンナビゲーション[小林啓倫のドローン最前線] Vol.88

進化するMR技術

ホビーや空撮、そして配送にと、さまざまな用途で使われるようになったドローン。そのパイロットの数も増えているが、それでも一定の重量を持つ物体を飛行させる以上、その操縦は一筋縄ではいかない。たとえば一等無人航空機操縦士の試験については、公式な合格率の詳細は公表されていないものの、複数の情報源によると一般的に6割前後とされている（もちろんこれは実技だけでなく、学科も含めての結果だが）。経験の少ない受験者に限定すれば、もっと合格率は低くなるだろう。

そこでよりドローンを直感的に操れるようにするため、さまざまな研究が行われており、この連載でも何度か関連技術を紹介してきた。そこに新たなアイデアが加わろうとしている。今回は、「複合現実（Mixed Reality, MR）」と呼ばれる技術を活用するものだ。

MRとは、とは、現実世界の映像とコンピューターによって生成された仮想世界を組み合わせ、現実世界の中に仮想的な物体や情報を重ねて表示する技術を指す。従来の拡張現実（AR）技術と違い、表示される仮想世界を現実世界から干渉することが可能で、たとえば目の前に表示されるCGの物体を、自分の手で「触れて」（実際にはCGが表示されている辺りの空間に手をやることで）操作することができる。

たとえば次の映像は、Microsoft社が同社のVR/MR用ヘッドセットであるHoloLensを使用して、MRを実現しているデモンストレーションである。

この中で、作業員がCGで表示される機械のパーツを、自分の手を使って操作する様子が描かれているのが分かるだろう。このようにMRでは、ユーザーが思い通りの物体を仮想世界に出現させることができるだけでなく、それを現実世界の側から直感的に操れるのである。もちろんそれにはHoloLensのようなヘッドセットが必要だが、さまざまな可能性を秘めた技術であることがわかるだろう。

そしてこのMRを利用したドローンナビゲーション技術を開発したのが、ニューヨーク大学タンドン工科学部に所属する研究者らだ。彼らはその研究成果を、「複合現実を通じた未知の環境での人間とドローンの直感的な共同ナビゲーション」というタイトルの論文で発表している。

未経験者でも効率的なドローン操縦が可能に

研究者らは論文の中で、この技術を開発した目的は「ドローンを操作するために専門的な訓練を必要としないシステムを作ること」であったとしている。特に「災害現場での探索や危険な場所の点検など、ドローンの活用が期待される場面で、より直感的で安全な操作を可能にしたかった」という。

具体的にどのようなシステムを作り上げたのか。中心となるのは、前述のMR技術だ。ドローンのパイロットはHoloLensを装着し、目の前に表示される仮想的な地図を見ながらドローンを操縦することになる。

ドローンは搭載されたカメラとセンサーで周囲の環境を3Dマップとして記録し、そのデータをリアルタイムで操縦者のデバイスに送信。操縦者は実際の環境に重ねて表示されるこの3Dマップ上で、指でタップするだけでドローンの目的地を指定できる。さらに、ドローンは障害物を自動的に検知して回避するため、操縦者が完璧な経路を考える必要もない。

上の画像は論文から抜粋したものだが、これは開発された「人間-ドローン協働ナビゲーションシステム」のデモンストレーションを示している。

右側にある(b)の画像は、ユーザーがヘッドマウントディスプレイ（HoloLens）を装着して、ミニマップと呼ばれる縮小された仮想環境を見ている様子だ（当然ながらCG部分は実際には現実世界には存在しておらず、この画像はHoloLensをかけたユーザーがどのような光景を目にしているのかを表している）。

ユーザーの前には2つの青いタスクボタンが表示されており、これらを使ってドローンに経路を指示している。ユーザーはこのインターフェースを通じて、ドローンの目的地や移動経路を直感的に指定することができるというわけだ。

また左側にある(a)の図は、ドローンが実際の環境内で動作している様子を示している。ユーザーが指定した経路に従って、ドローンは障害物を自動的に回避しながら自律的に飛行することになる。

研究チームは、ドローン操縦の経験者と未経験者、計6名の被験者で実験を実施。従来の一人称視点による操作方法と比較したところ、新システムでは操縦者の精神的負担が約半分に減少し、同じ時間内に探索できる面積が約50％増加するという結果が得られた。特にドローン操縦の未経験者では、探索面積が約90％も増加したという。「これは、専門的な訓練を受けていない一般の人でも、このシステムを使えば効率的にドローンを活用できることを示している」と研究チームは説明している。

前述の通り、このシステムは特に、災害現場での捜索・救助活動や、危険な環境での点検作業などに役立つと期待されている。また研究チームは、今後の展望として、複数の操縦者と複数のドローンが連携できるシステムへの拡張や、よりアクセスしやすいクラウドベースのインターフェース開発を計画しているそうだ。いずれドローン操縦における主要なナビゲーション技術として、MRが大活躍する時代が来るかもしれない。