DroooneアプリとTelloを使用したMR（複合現実）体験　　(2020/10/08 new)

今回のTipsでは、DroooneアプリとToy Drone Telloを使用したMR（Mixed Reality）体験を行う方法について紹介します。

本格的なVR機器を所有している多くのユーザーは、CGや動画によるVRコンテンツを楽しんでいると思います。 しかし、MRコンテンツは少ないため、MR（複合現実）体験をしている方は非常に少ないと思います。
Windows MRは文字通り、本来はVRだけではなくMR体験を可能にするためのデバイスです。 そのため、オーバーレイを行うための特別なツールを導入する必要が無く、WindowsアプリをVR空間で簡単に起動することができます。 特に、UWPアプリとの互換性に優れています。

DroooneアプリもUWPアプリとして開発しているので、VR空間で直接起動し動作させることが可能です。 そのため、VR専用アプリとして開発を行っていないDroooneアプリでも、VR空間でリアルタイムにドローンの操縦を行うMR(Mixed Reality)を簡単に体験できます。 特にDroooneアプリの場合は、音声操作に対応しているのでVR空間での操縦を容易に体験できると思います。

VRコンテンツに慣れた方で、もっと新しい体験をしてみたいという場合は、MR体験をしてみましょう。

Droooneアプリの操作は、VR空間でも全て同じようにできるので特に迷うことは無いと思います。 ここでは、音声認識を用いた操縦方法について紹介します。

現実空間との違いは、Telloの機体を肉眼では全く確認できないことです。そのため、全ての操縦はTelloから送信されるライブ映像を見ながら行うことになります。
ライブ映像のみでの操縦は、慣れないと難しいです。 そのため、先ずは現実空間でDroooneアプリの操縦に慣れてから行うようにしましょう。

なお、Windows MR以外のPC VRデバイスで利用する場合は、オーバーレイを可能にするアプリが必要になると思います。ただし、動作確認は行っていないので正常な動作については不明です。

①Windows MRのポータルとなるクリフハウスに入る。

②スタートメニューの「すべてのアプリ」を選択し「Drooone」を起動する。

①スタートメニューの音声設定を選択し、Windows設定アプリを起動する。

②「オーディオと音声認識」で音声認識が有効になっていることを確認する。

③Droooneアプリで音声認識のテストモードをONにし、音声認識が正常に行えることを確認する。確認後はテストモードをOFFにする。（VR空間で音声認識を利用するには、現実の世界で音声認識を利用できていることが前提として必須）

①サブパネルを表示し、ライブ映像のMAXサイズで1920x1440を選択し、フルスクリーン表示を有効にする。

②サブパネルで、フライト・コントローラーの表示スイッチをOFFにする。

②Droooneのフルスクリーン表示ボタンを押す。

①音声認識をONにし、テイクオフして下さい。以降は、現実世界での操縦方法と同じです。

②ライブ映像のみでの操縦が難しい場合は、Windows MRに搭載されている懐中電灯も兼用してみて下さい。

Droooneは、Steam VRコンテンツ内でもクリフハウスと同様に起動できます。 飛行機や宇宙船などの操縦ができるコンテンツを持っている場合は、コックピットや指令室内で起動してみて下さい。 よりエンターテインメント性を高めることができ、没入感も高くなります。

ここでは、筆者が試してみたコンテンツの１つを紹介します。

１．Space Battle VRでのデモ

宇宙空間でのシューティング系コンテンツである、「Space Battle VR」内での動画です。指令室もシンプルで雰囲気があり、良い感じでアプリと融合できます。 また、宇宙船やコックピットも数種類から選択できるので雰囲気の違いも楽しめると思います。なお、宇宙船を選択できるようになるには、ゲームをクリアしておく必要があります。

宇宙船から地球へ偵察機を派遣しているというシナリオです。

Droooneに表示している動画は、モニターに表示している動画を、Telloのカメラで撮影しながらライブ映像として表示しています。
実際は、操縦している飛行映像が表示されるのですがプライバシー保護の都合上このようにしています。

しばらくVR関連のTipsを更新していませんでしたが、最近のVR状況を紹介します。

１．VRデバイス

新しいWindows MRデバイスとして、HP Reverbの後継機となるReverb G2が発売されます。大きな変更点は内蔵カメラが2つから4つに増加していることです。 インサイドアウト方式のデバイスでは４カメラ以上が一般的になってきています。トラッキング精度がより向上しているはずです。
解像度や視野角に変更はないようなので、トラッキングに困っていないユーザーであればあえて買い替える必要はないと思います。

スタンドアローン デバイスとしては、Oculus Questも後継機としてQuest2が発売されます。CPUが変更されているため解像度も向上しているのですがその他に大きな変更はないようです。 ディスプレイが有機ELから液晶パネルに変更されていることとコストカットのため、おそらく発色が悪くなっている可能性があります。 Homestar VRのようなコンテンツが好きな場合は、暗い星（等級の高い星）が見えにくくなると思われるので、買い替えを検討している場合は注意が必要です。 価格が安くなっていることが魅力ですが、随所にコストカットされていることと、オプションを追加するとそれなりの価格になることも覚えておいた方が良いと思います。

筆者が買い替える場合は、高画質でPCとの相性が良いReverb G2を迷うことなく選択します。
PCの知識が無い方やVR初心者には、こちらも迷うことなくQuest 2を勧めますが、「Facebookアカウントが必須になります!」と付け加えておきます。

２．VRコンテンツ

筆者が興味を持てる面白そうなコンテンツがなかなか登場してこないというのが現状です。 「Half-Life: Alyx」はCGやUIなども好評の様ですが、コンテンツのジャンルがホラー・シューティングのようなので好みが分かれるところです。

興味があるコンテンツとしては「Microsoft Flight Simulator」ぐらいでしょうか。VR対応に関しては、現在クローズドベータ版のテスターを募集しています。 Google Earth VR等が好きな方にとっては、興味が持てるコンテンツだと思われます。

ただし、基本は飛行機の操縦シミュレーターです。また、ハードウェアの最小要求スペックもGPUが1080以上と高く、ダウンロードのデータ量も150GB以上必要になります。 そのような訳で、操縦に興味がない方やハードウェアがスペックを満たしていない場合は、十分に検討したほうが良いでしょう。
筆者もとりあえず通常の３Dゲームとして購入を検討していますが、もう少し大きなバグが取れてからにしようと考えているところです。

現状は、VRコンテンツやARコンテンツ（ポケモンなど）のように、それぞれが独立した閉じたコンテンツで提供されています。 しかし、今回紹介したようなMRコンテンツを体験することで、VRの未来により多くの可能性を感じることができると思います。

例えば、ドローンを使用した競技ゲーム等を想像してみて下さい。 現状のesportsのような競技ゲームは、ソフトウェア中心に競い合っているだけなので、没入感やギャラリー側の盛り上が欠けているように感じます。 また、ドローンといえばコントローラーやスマートフォン等のデバイスを利用した、エンターテインメント性の無い操縦が一般的になっています。

そこで、次のような次世代の競技ゲームを考えてみましょう。（仮想空間と現実世界の複合ゲーム）

• ゲームの目的は、ドローンによるタイムアタックやレース。
• ドローンはワンメイク(One Make)な実機を使用する。（公平性を持たせる）
• ARで空中などにパイロン(Pylon)の様な様々な障害物を用意した仮想コースを設定する。
• VRで指令室やコックピット等を用意する。
• 競技には操縦者とメカニックやエンジニアなどによるチームとして参加する。（F1レースの様な構成）
• 観客席を、VR空間と現実空間の両方に用意する。

VRを利用しエンターテインメント性を高め、ARを利用することで障害物を用意設定する物理的なコストを削減します。 さらに実機のドローンをリアルタイムに操縦することで、競技者と観客の没入感を盛り上げることが可能になります。

将来的には、競技としてだけではなく、操縦者やメカニック、エンジニアの育成にも繋がるはずです。 リモートによるリアルタイムな操縦は、ドローンだけではなく、ロボットなどによる探索やメンテナンス等に広範囲で必要になる技術です。
そして、必ずハッキングを企てる者が出現するので、それらを防止するセキュリティ技術と技術者の育成にも繋がります。
ドローン、VR、ARは既に実用化されている技術です。 これからは、現実世界とVR、ARを複合して考えるMR（Mixed Reality）が重要になってくるでしょう。

VR空間に現実の世界をリンクさせることで、没入感がより高くなります。 今回は、ドローンをVR空間からリアルアイムに操縦する方法を紹介しましたが、ドローン以外の様々なデバイス等での利用が考えられます。

また現状のIoTは、現実世界での物理的な接続が主になっているのですが、今後は仮想空間との接続も登場してきます。 Raspberry Pi等を仮想空間から操作してみるのも楽しそうなので、是非試してみて下さい。

仮想空間と現実世界へのリンク、これらを実現させるためのキーワードが、「MR(Mixed Reality)」ということになるでしょう。