プロジェクト報告書 Project Report 提出日 (Date) 2011/01/19 バーチャル空間へのアクセスインタフェース開発プロジェクト Augmented Reality Interface Project 1008241 村山 寛明 Murayama Hiroaki 1 背景 近年、ドバイの「ブルジュ・ドバイ」、台湾の「台北 • Layar[2] • ARToolKit[3] • PTAM[4] 101」をはじめ世界中で超高層ビルやタワーが建設され ている。日本でも 2012 年春には自律式電波塔としては 世界一の高さになる東京スカイツリーが完成する予定で ある。このような建物はテレビやコンピュータ、小さな 模型などで目にすることがある。しかしこの場合、建物 のスケールなどを直感的にイメージすることは難しい。 また、歴史的な背景により今は無い建築物なども世の中 には多く存在する。コンピュータの中で復元・再現され ているものもあるが、これも画面の中の小規模な空間で しかないのでその建築物の歴史やスケールを感じること は難しい。 このように、テレビの映像、コンピュータでのシミュ レーション、小さな模型といったものは、人がイメージ する一つの基準にはなるが、直感的に心に訴えるもので はなかった。 これらはどれも、Mixed Reality(MR) や Augmented Reality(AR) と呼ばれる技術を用いて実現されたもの である。この MR とは複合現実と呼ばれ、現実空間と 仮想空間が融合された世界観のことである。また、AR とは現実空間内にコンピュータを用いて付加的に情報 やオブジェクトを配置するものである [5]。セカイカメ ラや Layar などでは、GPS や加速度などのセンサ類を 用いて現在地・カメラの向きを検出し、仮想空間を構築 している。しかし、現在見えている範囲の店や各種施設 を対象としているため、局所的なものが多かった。特に ARToolKit のようにマーカーを用いて実現するもので はマーカーがカメラに映らないため、事実上遠距離での 実現は不可能である。他にも、マーカーを使わない技術 として PTAM という「画像処理で地面を認識する」と いう方法もあるが、近くのテーブルなどに適用させるも 2 目的 我々は拡張現実の技術を用いて、直感的なイメージを のであることが論文で明記されている [4]。 4 従来の問題点と課題 手助けできないかと考えた。実際には無いものでも仮想 オブジェクトとして現実空間に持ってくることでそれ を直感的に感じることができる。つまり頭で理解してイ メージするのではなく、見た瞬間にインスピレーション としてそのスケールや概観を感じ取れる。このように現 実空間にいながらバーチャル空間へ視覚的にアクセスで きるインタフェースを提案する。 従来例はマーカーを使ったものが多く、机の上や紙の 上など小規模なものでしかなく、使用空間は室内などに 限定されていた [3, 4]。また、「バーチャル飛鳥京プロ ジェクト」のように、飛鳥時代の都を AR で再現すると いった『大きな仮想オブジェクトを現実空間と組み合わ せて表示する』ものもある。しかし、固定された位置で しか見ることができず、近くから見たり遠くから見たり 3 従来例 といった広範囲に対応していなかった [6]。 今まで現実空間に仮想現実を重ね合わせるという発想 そこで本プロジェクトでは広範囲での拡張現実を目指 のものは数多く存在していた。従来の例として、以下を す。観測者の位置や姿勢によって仮想オブジェクトの見 挙げることができる。 え方を変化させることで、広範囲の拡張現実を可能にす • セカイカメラ [1] る。これは、人の行動が仮想空間に影響を与えるという ことであり、この点が本プロジェクトの最大の特徴で ある。 中間課題を与えられた。これは大学内で仮想オブジェク これまでにない AR 技術として『現実空間に仮想オブ トである Ghost を見つけることが出来るシステム作る ジェクトを違和感無く配置することができるかどうか』 というものであった。つまり大学内のある特定の場所に が最大の課題である。直感的にそのものを感じるために Ghost を配置し、カメラを向けるとそれが映し出される は、まさにその場所に仮想オブジェクトがあるかの様 というものである。この助言を元に、前期に開発したも に見せなければならない。そのため、観測者の正確な位 のが「Ghost In Fun」である。Wii リモコンの加速度セ 置・姿勢情報が重要となる。 ンサと赤外線センサによってどこを向いているかという また、多くの人にこのシステムを使いたいと思ってい ただけるような実用性、使いやすいインタフェースを持 たせることも考えている。 5 課題の設定 姿勢情報を取得し、WEB カメラからの映像と仮想オブ ジェクトである Ghost の見え方を変化させている。 この「Ghost In Fun」をベースとし、Wii リモコンを 使って取得していた姿勢情報をもっとコンパクトな加速 度センサ・電子コンパスで取得することが後期の課題と 本プロジェクトでは「直感的なイメージを助ける」こ なった。 とを可能にするために、東京スカイツリーのように大き な仮想オブジェクトを未来大学のキャンパスに建てる 6 到達レベル ことを目標として掲げた。ヘッドマウントディスプレイ 広範囲な AR を目指すということで、その範囲を 5m (HMD) やそれに類するものを通して空間を見ると、ま ∼2km と目標を定めた。GPS の精度なども考え、近く るでその場所に建物が建っているように見える。そして は 5m まで近づけ、2km 遠くからでも見れるようなシス 見る位置によって、近くから見ると見上げるほど大きく テムを想定して制作にあたった。また、GPS を用いて 見え、遠くから見ると小さく見える、そのような広範囲 位置情報を取得した場合、屋内では人工衛星からの正確 での拡張現実を目指す。これらを実現するために大きく な値が取れないため、屋内でも使えるように無線強度に 分けて次のような課題がある。 よる位置情報取得も行った。これにより、屋内外問わず • 観測者の位置情報取得 • 観測者の姿勢情報取得 • 仮想オブジェクトの位置情報設定 広い範囲での AR が実現できると考えた。 7 課題解決の方法 以上の問題を解決するために次のプロセスを行なう。 • 仮想オブジェクトの姿勢情報設定 • 仮想オブジェクトの見え方を計算 • 現実空間の映像と仮想オブジェクトの合成 • 観測者が身につけているセンサーから入力情報の 取得 • 入力情報から観測者の位置・姿勢情報の計算 ここで言う姿勢情報とは観測者の頭の向き、すなわち視 線の方向である。どちらの方向を向いているか、どの角 • 計算した観測者の位置・姿勢情報を元に仮想空間の 構築 度で見上げているか・見下ろしているかといったものを • 仮想空間でのオブジェクトと現実空間の映像の合成 姿勢情報と呼ぶ。これらは観測者の位置と見ている方向 • 構築した拡張空間の映像の出力 によってオブジェクトの見え方が変わらなくてはならな いため重要となってくる。また WEB カメラを用いて現 これらのプロセスで、拡張された物理空間を実現す 実空間の映像を取得し、その映像の手前に仮想オブジェ る。その際に観測者の姿勢情報として Pitch・Roll・Yaw クトを配置する画像処理の工程も必要となる。これらの 角を、また観測者の位置情報と仮想オブジェクトの位置 技術を組み合わせることで広範囲での拡張現実を実現さ 情報が必要となり、そのオブジェクトの見え方を計算す せることができる。 る必要がある。さらに、現実空間の映像を取り込むカメ 最終目標に近づくため、プロジェクト担当教員 (ピト ラ、仮想オブジェクトを構築して現実空間の映像を合成 ヨ・ハルトノ担当教員. 以後担当教員と記述する) から するコンピュータ、その合成された空間を観測者に直視 させる出力装置の 3 つが必要である。このような映像を 見ることによって、実際にそこに仮想オブジェクトがあ るかのような体感ができる。 8 解決プロセスとその結果 8.3 GIF with Compass 「GIF with Compass」は、GIF に電子コンパスを組 み込んだものである。今まで Wii リモコンを用いて姿 勢情報を取得していたが、電子コンパスのみで姿勢情報 を取得でき、なおかつ他のデバイスとの組み合わせがし 8.1 Ghost In Fun 「Ghost In Fun(GIF)」は、本プロジェクトのベース 技術として作成した成果物である。GIF は学内に潜む 幽霊を探索できるシステムで、Wii リモコンと Web カ メラを組み合わせた『Wiicam』というデバイスとノー トパソコン使用する。GIF の制作を通して、観測者の 姿勢情報と観測者の視野情報を組み合わせる方法を学 んだ。ここでは、Wiicam を使って観測者の代わりにデ バイスの姿勢とデバイスの視野情報を組み合わせた。ま た、仮想空間上での仮想オブジェクトの見え方を計算し ており、最終的にはこれを大きなオブジェクトに利用し た。当初の考えていた中間までの目標はクリアしたと考 えられる。ただし、Yaw 角を電子コンパスで取得する ことが出来なかったため、Wii リモコンに備わっている 易い。これによって、ノートパソコンを主体にしたデバ イスを作成できた。また、Wii リモコンでは認識される Yaw 角が 120 度程であったが、電子コンパスを用いる ことで 360 度見渡すことが可能になり、さらに Wii リモ コンよりも良い精度を得ることができた。この成果物は 中間報告会には間に合わなかったが、オープンキャンパ スの「GO FUN PROJECT」への参加までに完成でき た。またこの成果物は、はこだて未来大学の学校祭の未 来祭でも発表を行った。課題点としては、電子コンパス が非常にノイズに弱いため、ノイズを軽減させる工夫が 必要であり、これは最終成果報告会でも指摘された点で ある。単純な平滑化やスムージングといった処理を行っ ていたが、さらに向上させる必要がある。 8.4 GIF with Gacha 赤外線を用いて Yaw 角の取得を行った。ただし、Yaw 「GIF with Gacha」は、今まで GIF では幽霊の画像 角を取得することはできるが、センサーバーを利用しな を表示していたが、仮想オブジェクトとして 3D モデ ければならなかったり、角度が 120 度程度しか認識する ル (X ファイル) を扱えるようにした物である。これに ことができない事により、精度や使いやすさに欠ける所 よって、今まで平面のように見えていた仮想オブジェク があった。この成果物は成果報告会の時にデモとして発 トに、立体感を感じさせることができた。また、周りの 表した。報告会のコメントからも、成果物がよくできて 仮想オブジェクトを見渡したり、見上げたりすることが いたといったコメントを多数頂いた。改善点として、仮 可能になった。課題点としては、3D モデルを自由に変 想オブジェクトとデバイスとの間に障害物があっても遮 えたり、調整したりする機能を追加する事と、その機能 られることなく仮想オブジェクトが表示されているとい が簡単に利用できることが挙げられる。また、3D オブ う指摘を頂いた。また、物が多く狭い空間だと幽霊の遠 ジェクトをよりリアルに見せるために、周りの環境に合 近感が得られず、違和感のある映像になってしまう。こ わせた光源の設定やテクスチャの設定が必要だと感じら れらを今後の課題と考えている。 れた。加えて、影をつけたりオブジェクトを動かせるな 8.2 GoogleMAP × GPS 「GoogleMAP × GPS」は、GPS で取得した値をもと どといった、本物のように見せる工夫も必要である。 8.5 GIF with GPS に Google Maps API を利用して、地図上に歩いた軌跡 「GIF with GPS」は、GIF with Compass に GPS を を残すというものである。これは最終目標である観測者 組み合わせたもので、これを用いることによって、観測 の位置を 3 次元上に表示させるための初期段階として作 者の位置と仮想オブジェクトの位置を計算することが 成した。最終的には GIF と組み合わせることによって、 できる。これによって、仮想オブジェクトの周りを回り オブジェクトに対する相対的な距離を求めたり、回り込 込んだり、近くから見上げたり、遠くから見ることが可 んだりすることを可能にする。また、これは中間目標と 能になった。評価としては、GPS を取り入れてからの して当初に予定していたものであって、これを用いるこ 時間がかかりすぎたのではと思う。実験とその結果を修 とによって、GPS の精度について求めることができた。 正する作業が発生するため、もう少し実験を工夫する必 要があった。また、GPS から位置を求める計算式の選 9 今後の課題 定に時間がかかったために精度を高める時間が少なく なり、満足のいく実験ができなかった。課題としては、 大きな改善点としては、ノイズによる不安定さの解消 精度を高めることはもちろんのこと、遠く離れた場所か が挙げられる。現状では電子コンパスと加速度センサか らオブジェクトを観察したり、場所を変えて実際の建造 らのノイズにより、実際には動いていないが僅かな振動 物と比較するなどの実験を行なう事が次の課題として に反応してしまうことで、仮想オブジェクトが動いてい 挙げられる。また、GIF with GPS の作成に当たって、 るように見えてしまう現象がある。現状のシステムでは デバイスを HMD と Web カメラを組み合わせた『AR スムージングや平滑化の処理を行なっているが、それと Watcher』と、電子コンパスと GPS を組み合わせた『コ は別にセンサからのノイズを軽減させる手段が必要であ ンパーカー』という服型のデバイスを作成した。これに る。具体的には B-Spline などを利用して、ノイズの影 よって、デバイスを意識せずに身につけることができ、 響を受けにくいような処理を行わせることが考えられ より自然にそこにモノがあるかのように感じることがで る。課題としては様々な場所での実験が必要である。現 きる。 段階では、はこだて未来大学のキャンパスのみでしか実 8.6 験を行っていない。五稜郭などに行き、五稜郭タワーと GIF with GPS 「GIF with Wifi」は、室内でも使うことができるシス 東京スカイツリーを比べ、景観の比較を行うなど、様々 テムである。この GIF with Wifi は GPS を使わない、 な場所へ赴いて、実験を行うことが課題として挙げられ 無線 LAN を利用した室内専用のシステムである。これ る。別の環境に訪問することによって、これまでにない は室内にある無線 LAN のアクセスポイントを元に観測 問題が生じたり、違ったアイディアが生まれるため、大 者の位置を検出する事によって、室内では使用できない 変有効だと考えられる。 GPS の代わりに利用した最終成果発表会用のデモであ 参考文献 る。今回のデモでは、無線 LAN5 つを一列に並べた直 線上の 3 点からオブジェクトを観測できる。また、3 点 間を徐々に移動させることによって、その間を動いてい るように見える。課題点としては、『直線上の位置』か ら『平面上の位置』へ精度を高める事が挙げられる。ま た無線 LAN のアダプタでシグナルパケットを取得する 周波数が少なかったのでサンプリング周波数を上げる必 要がある。 8.7 AR Watcher 「AR Watcher」は、今まで作成したシステムを理想 的に利用するためのデバイスである。ヘッドマウント [1] 頓智・ 「Sekai Camera」 http://www.robots. ox.ac.uk/∼gk/PTAM/ (最終アクセス 2010 年 7 月 24 日) [2] SPRXMobile 「Augmented Reality Browser: Layar」 http://www.layar.com/ (最 終 ア ク セ ス 2010 年 7 月 24 日) [3] ARToolKit http://www.hitl.washington. edu/artoolkit/ (最 終 ア ク セ ス 2010 年 7 月 24 日) [4] Georg Klein 「Parallel Tracking and Mapping ディスプレイと Web カメラを組み合わせたデバイスで、 for Small AR Workspaces」http://www.robots. コンパーカーと呼ぶ電子コンパスと GPS を埋め込んだ ox.ac.uk/∼gk/PTAM/ (最終アクセス 2010 年 7 月 パーカーと組み合わせることによって、私たちが作成し 24 日) たシステムを利用できる。センサ類を衣服に埋め込むこ [5] 神原誠之. 情報処理. 51(2010), 367-72. とによって、デバイスを意識することなく自然に仮想物 [6] 日経コミュニケーション編集部. AR のすべて-ケー を観測できる。また、ケーブル等をまとめて衣服の中に タイとネットを変える拡張現実. 日経 BP 社, 2009. 埋め込むことで、シンプルなインタフェースに実現する ことができた。
© Copyright 2024 ExpyDoc
