成果論文

全方位画像 センシング とそのテ レプレゼ ンスヘの応用 に関す る研究
横矢 直和
奈良先端科学技 術大学院大学 情報科学研究科
〒 630‐
0 1 0 1 奈 良県 生駒 市高 山町 8 9 1 6 - 5
1 は
じめ に
全方位 ビデ オカメラの中で ,1点 へ の 中心投影 の光
学特性 を有 し単 一視点制約 を満たす全方位 ビデ オカメ
ラは,撮 影 された全方位画像 か ら任意方向 ・任意形状
のデ イスプ レイ ・ス クリー ン面へ の透視投影画像 を計
算 によつて生成 で きる ことか ら,最 終的 に人 間へ の画
像 ・映像提示 を目的 とした視覚情報 メデ イアヘ の応用
に適 してい る [1,刻.ま た,最 近の仮想現実 ・複合現実
障1応 用では,実 環境 を対象 とした没入型 の映像空間を
構築す るために ,実 環境 を撮影 した全方位 ステレオ画
像 降,司 や多視 点全方位画像か らの自由視点 ・視線画像
生成 16,71も行 われ るよ うになってきた,こ れ らの研
究 は仮 想化現実 とも呼 ばれ る.遠 隔世界 にあたか も実
際 にい るかの よ うな没入感 を与 える技術にテ レプレゼ
ンス 181があ るが ,没 入感が得 られるための大 きな要因
の 1つ は ,観 察視点 ・視線 の 自由な変更 に追従 した時
間遅れの少 ない画像 の実時間提示 である,
一
本報告 では,単 視点制約 を満たす全方位画像か ら
の任意視線画像 の実時間生成による仮想 カメラのパン ・
チル ト ・ロール操作 を利用 した ,テ レプ レゼ ンスヘ の
全方位 ビデオカメラの応用事例 を紹介す る。具体 的に
用い
は,全 方位 ビデオカ メラHyperOmni Vision 191を
・
の
たインタラクテ イブ画像 映像提示 応用 として筆者
らの研究室で これ までに行 つて きたテ レプレゼ ンス方
式 と具体 的なシステ ムの実装例 の紹介 に重 点 をおいて
述べ る.
以下 , まず 2章 では,本 研究 で用 い る全方位 ビデオ
カメラの概要 について述べ る.次 に 3章 では,全 方位
画像 か らの提示画像 の生成法 について述べ る.4章 で
は,全 方位画像 か らの提示画像 の実時間生成の具体的
な応用 として ,テ レプレゼ ンス方式 と複数人が同時利
及び実験結果 を示す.最 後
用可能 なシ ステムの構成伊」
一
のまとめを
の
行 う。
に 5章 で 連 研究
2全
方 位 ビデ オ カ メラ
メデ イア応用では, 最 終的 には人間へ の画像提示 を
行 うため , 人 間へ の提示 に適 した画像 を全 方位画像 か
ら生成す る必 要がある。そ の場合, デ イスプレ イ面に
ー
映 つている画像 の網膜へ の投影が ,通 常 の実 シ ンの
投影 と同 じである ことが 望 ましい 。 このためには,網
膜へ の投影画像が近似的に平面透視投影 に従 つている
必要がある。
デ ィスプレイ ・ス クリー ン面 の形状 は,通 常 の計算
機 のモ ニ タ,頭 部搭載型画像表示装置 (HMDi Head、
ー
Mounted Display)等における平面 ,CAVE型 スクリ
ンにおける直方体表面,ア ーチ型 ス クリー ンにおける
円筒面, ドー ム型 ス クリー ンにおける球面等,様 々で
あ る。これ らに透視投影画像 を表示す るためには,元
の全 方位画像 が形】
犬が既知の投影面へ の 1点 中心投影
であ る必要があ る。 この制約 は単 一視点制約 と呼ばれ
る [1朗.レ ンズ ・ミラー系の組合せによる全方位画像 セ
ンサにお いて単 一視点制約 を満たす ミラー形状 は平面
1111,及曲面 191,放物面 11刻等 に限定 され る ことが知
られてい る。
本研 究 では ,単
一 視点制約 を満 たす全方位 ビデ オ カ
メラの 1つ で あ る HyperOmni Vision 191を
用 いる。同
セ ンサ は ,図 1に 示 す ように ,鉛 直下向 きに設置 した
回転 2葉 双 曲面 ミラ ーの 回転軸 上の外側焦点位置 (Oc)
に投影 中心 が 一 致す る よ うにビデ オ カメラを鉛 直 上向
きに設置 し,側 方 360度 の情景 の 双 曲面 での鏡像 を撮
映
像す る構 成 にな ってい る。下方視 野 は カメラ 自ffxが
り込 む部分 を除 い て 90度 に近 く,上 方視野 は双 曲面 ミ
ラー の形状 に よ り変化 す る.
ー
図 1の 反射光学系 にお い て ,外 界 か ら双 曲面 ミラ
の 内側焦点 OMに 向 か う光線 は ミラーで 反射 されて外
側焦点 Ocを 通過す る。 ここで ,図 1に 示す よ うに,
Z軸 を鉛 直軸 とす る 3次 元 世界座標系 (X,LZ)と 画
‐
ー
像座標系 (を
,υ)を 考 える と,カ メラが ピンホ ル カ メ
ラモデルに従 う場合 ,3次 元 空間中の 点 P(X,LZ)と
全方位画像 中の 写像点 P(2,7)の 間 には次式 の 関係が成
り立 つ .
て
" = ( b 2 デ
+( b 2C _ c22 ル) ( z _ c ) C ) 2 '
す(b2_c2)y
y=(b2+c2)(z_c)-2bcv留
+ y 2 + ( Z 一C ) 2 ・
(1)
Perspective ttmage
Focal Point
図 2:全 方位 画像 か らの平面透視投影画像 の生成
光学系
図 1 : 全方位 ビデオカメラ H y p e r O m n i V i s i o n の
ただ し, メ はカメラの焦点距離であ り, a , b , c は 双曲
ー
面 ミラーの形状 を表す パ ラメ タである。 このよ うに,
HyperOmni Visionは
単 一視点制約 を満たし, 内 側焦
点 ( O M ) を 投影中心 とした双 曲面へ の 1 点 中心投影像
が得 られ る。
図 3:全 方位画像 か らの全周 パ ノラマ 画像 (円筒面透視
投影画像 )の 生成
3.2画 像生成 の実時間処理
3 全 方位画像 か らの提示画像 の生成
3.1透 視投影画像 の生成
HyperOmni Visionは 上 で述 べ た よ うに ,双 出面 ミ
一
ラー の 内倶」
焦 点位置 を投影 中心 とす る単 視 点制約 を
満 たす ため ,式 (1)を もとに ,取 得 した全方位画像 か
ら任意 の位置 ・向 きに設定 された任意形状 の投影面 ヘ
の 再投 影画像 を計算 に よつて求 め るこ とがで きる。取
得 した全方位 画像 か ら平面透視投影画像 を生成 した例
を図 2に 示す 。 また ,円 筒面 へ の 再投影 に よつて 求 め
た全 周 パ ノラマ 画像 を図 3に 示す .こ れ らの透視投影
画像 は ,基 本的 に,全 方位画像 の幾何学 的変換 (座標変
換 )に よつて得 られ る.
全方位画像 か らの平面透視投影画像 の生 成 に よ り,通
・ ー ・ ー
・
常 の カメラの視点固定 での パ ン チル ト ロ ル ズ
ム操作 に対応 した仮想 カメラ操作 を実現す る ことがで
一
きる。実 カメラを用 いたこの よ うな操作 では 般 に,機
械 的 な動作遅延が発 生 し,ま た ,カ メラが遠 隔地 にあ
る場合 には通信遅延 や画像 の伝 送遅延 も無視 で きな く
なる.仮 想 カ メラ操作 の場合 には ,全 方位 画像 か らの
視線 に追従 した平面透視投 影画像 生成 を観 察者側 で 実
時 間で 行 うこ とが で きれ ば ,実 カ メラの よ うな時 間遅
れの問題 な く,遠 隔地 の情景 を 自由 に見 回す こ とがで
きる。 また ,こ の場合 には ,実 カ メラを用 い る場合 と
違 つて ,仮 想 的 なカ メラ操作 を同時 に複数 人が独 立 に
行 うこ とがで きる とい う利点 もあ る。
動環境 の インタラ クテ イブ な観 察 を実現す るために
は ,全 方位 ビデ オ ス トリー ムか ら前節 で 示 した よ うな
提示画像 をユ ーザ の 視線 に追従 して実時 間 で計算 す る
ー
ー
必要が あ る。現状 のワ クステ シ ヨン等 で ソフ トウエ
ア的 に これ を実現す るのは難 しい 。そ こで ,変 換後 の
画像 内 の比 較的少数 の格子 点上 でのみ対応す る入 力全
方位 画像 内 の 座標 を計算 し,格 子 間 の 隙 間 は画像 変形
ー
ー
ハ ー ドウ エア機能
(イ メ ジワ ピ ン グ )1131のための
を利用 して補 間す る疑似透視投影画像 生成法 (図 4参
照 )を 開発 して い る [11.本 手法で は厳密 には透視投影
画像 を生成で きな い ため ,生 成画像 には幾何学的 な歪
みが存在す る。 このため ,人 間が不 自然 さを感 じない ,
す なわ ち,幾 何 学 的 な歪 み を知覚で きな い 程度 の画像
を生成 で きる格子 点数 を設定す る必 要が あ る.
本手法 は ,任 意形状 の投影面 に対応可能 で あ り,平 面
透視投 影画像 の生 成 以外 に ,全 方位 画像 か ら円筒面へ
VE
代
の再投影画像 であ る全 周 パ ノラマ 画像 (図 3)や C」
型スクリーンヘの再投影画像 11引の実時間生成にも適
用できる.
4テ
レプ レゼ ンス
時 間的あ るいは 空 間的 に離 れた遠隔実世界 にあたか
も実 際 にい るか の よ うな没 入感 を与 えるテ レプ レゼ ン
スにおいて ,没 入感が得 られ るための大 きな要 因の 1
つ は 視 点 ・視線 の 自由 な変更 に よる観察 の イ ンタラ ク
wiretess
常ype「Onni Vislo台
ヽ
ト
Source image
Destnatton image
図 4:画 像変形 に よる全方位画像か らの平面透視投影 画
像 の生 成
テ イブ性 であ る。
4.1全 方位 ビデ オ映像 を用 いたテ レプ レゼ ンス方式
前節 で述 べ た全 方位 画像 か らの透視投影画像生成方
式 を用 い て視 線 の 自由 な変更 に よる見回 し機 能 を実現
4ど
声轟
..…
…。
…‐
・
…・
・
・
・
・
総..…
Ⅲ
法主at。
・
図 5:HMDを 用いた実時間/蓄積再生型テレプレゼン
ス システムの構成
す るこ とに よつて ,以 下 の よ うなテ レプ レゼ ンス シス
ず れ もライブ ビデ オに よる
テ ム を構 築 で きる 1161.V`
ー
へ
実時 間型 とテ プ等 の 記録 ビデ オを用 い た 蓄積再 生
型 での利用 が可 能 で あ る (図 5参 照 ).
実際 に 開発 した システムの外観 を図 7 に 示 す。本 シス
テ ムで は , ユ ーザ の視線情報 は頭 の 向 きを変 える とい
ーザ の 視線
う自然 な動作 で 与 え られ る。 この 場合, ユ
変化 に追 従 した実時 間画像 提示 が不可 欠 であ り, さ ら
(1)ス タン ドア ロン型 システ ム:
ー
入力 した全方位 ビデ オ ス トリ ムか ら視線 に追従
した透視投影画像 を実時 間 で生成 ・提示す る.入
に視線 の 変更 か ら画像提 示 まで の 時 間遅延 を極力抑 え
る必 要 が あ る。従 来 の可動 カ メラを用 い た システムで
は , ユ ー ザ の視線方 向 に応 じて カメラを機械 的に動 か
す ための時 間遅延 が生 じ, ま た, 遠 隔地 の観察 では通
カ ビデ オ信号 を分岐すれ ば 複数人 の独 立視聴 も可
能 にな る.
ー
(2)ネ ッ トワ ク型 システ ム:
1つ のサ イ トか らネ ッ トワ ー クを介 して 多 地点 に
全方位 ビデ オ ス トリー ム をマ ルチキ ャス トし,受
信 時 間 に よる遅延 も無視 で きない が 、全方位 ビデ オカ
メラを用 い る こ とに よつて これ らの問題 点 を解決す る
ー
とともに , 複 数 人 の 同時独 立使用が可能 な マルチ ユ
ザ システムの構成 を可能 に して い る。
で (1)と同様 の処理 を行 う。本方式 では ,1つ
信 狽」
の ビデ オス トリー ム を もとに複数 人が異 る視聴 を
ぶ筆号彰瞬根 x4
行 うこ とがで きる.
(3)放 送型 システ ム:
ー
ー
放送網 を利用 して全方位 ビデオス トリ ム をブ ロ
ドキ ャス トす るこ とに よつて ,(2)と 同様 の機能 を
実現 す る.
様
これ らの システ ムでは ,視 線情報 の与 え方 に よつて
々なユ ーザ イ ンタフェー スが 考 え られ る。例 えば ,視
線検 出,頭 部追跡,ジ ヨイステ イックや マ ウスの利用 な
どが あ る。以下 では ,複 数 人 に対 して全方位 ビデ オ ス
トリー ムの イ ンタラ クテ イブ な観察 ・観賞 を可能 にす
る具体 的 な ス タン ドア ロ ン型プ ロ トタイプシ ステ ム に
つい て述 べ る.
4,2複 数 人 が 同時利用可能 なテ レプ レゼ ンスシステム
ー
HyperOmni Visionと 3次 元磁 気 トラ ッカ 付 き
用 い た ,4人 が独 立 に利 用可能 な蓄 積再生型
テ レプ レゼ ンス システ ムの 構 成 を図 6に 示す 。 また ,
IMDを
OS:熊 せ岸et6.2
ゃ3 666MHz遊
CPじ:Pcntiじ
MeniSi2ヤ 3
V deo CerdiNvi01a Ge声◇浄
ce2
後 ptte Oだ =/O DA ACハ 印
電
図 6 : 複 数人が 同時利用可能 な蓄積再生型 テレプ レゼ ン
スシステムの構 成
試作 システ ム にお け る全 体 の処理 の 流れ は以下 の通
りであ る.
1 . H y p e r O m n i V i s i o n で 撮 影 した D V D へ
の 記録全
方位 ビデ オ を再生 し, 計 算機 に伝送す る.
図 7 : 複 数人が 同時利用 可能 な蓄積再生型 テ レプ レゼ ン
スシステ ムの外観
図 8:神 戸 。み らい体験博 (2001.7.20∼9.2)での様子
2 . 4 人 の ユ ーザ の 装着 す る H M D に 取 り付 け た 3 次
ー
ー
元磁気 トラ ッカ で 各 ユ ザ の視線 ( 頭部 ) の 方 向
( 3 自 由度 ) を 計測 す る。
ー
3 . 計 算機 で各 ユ ザ の 視線 に対応 した平面透視投影
画像 を生成 し, そ れぞれ の H M D に 表示す る。
本 シス テ ムは , ス テ ツプ 1 に お いて , 記 録 され た全方
位 ビデ オを再生す る代 わ りに , H y p e r O m n i V i s i O n で
撮 影 され た全方位 ビデ オ を直接 ( 無線 ) 伝 送す れば , 実
時 間型 システ ムになる。
ステ ップ 3で の 画像 生成 には 3.2節 で述 べ た高速化
手法 を用 いている。この場合,先 に も述べ た よ うに,格
つ
子 点が少 ない と,画 像 の幾何学 的 な歪 みが 日立 ため ,
生成画像 に歪 みが 目立 たな い程 度 の格子 点数 を設定す
る必 要 が あ る。画像生 成時 間 と画像 の 幾何 学的歪 み に
関す る評価実験 を行な い ,全 方位画像 ,生 成画像 ともに
一ユ ーザ システ ムにおいて
720× 486画 素 の場合 ,単
は ,ビ デ オ レ ー トの画像更新 を実現す るため に画像 生
以下に抑えるためには格子数は32×
成時間を1/30秒
2 4 以下 , 幾 何学的歪みが視覚的 に目立たない ためには
格子数 は 1 6 × 1 2 以 上 とい う結論 を得 てい る 1 1 1 . こ
れ らの値 は計算機 の性能 とH M D の 解像度 に依存す る。
ー
ー
図 6 の 4 ユ ザ システ ムでは, 各 ユ ザ の独立 した視
ー
線追従を行い,約 22フレーム/秒の画像更新レ トを
実現 して い る。
本 システ ムでのユ
ーザ の 視線変化 か ら対応す る画像
表示 まで の 時 間遅延 は , ビ デ オ映像 の実時 間伝 送 が 可
能 で あ る限 り, 遠 隔地 との通信時 間や画像伝 送時 間 に
・
は依 存 せ ず, 視 線検 出 お よび画像生 成 提 示 に要す る
時 間で 決 まる。現状 の シス テ ム構成 におけ る時 間遅延
よ1 0 o ミ リ秒以下 で あ る。 この程度 の 時 間遅 れで あ れ
ヤ
ー
図 9i4人 のユ ザ に よる インタラ クテ イブ観察 におけ
る提示 画像 の例 (入力全方 位 ビデ オ映像 は NHKエ ン
タープ ライズ 21の 提供 に よる)
ば ,ユ ー ザ は頭 を速 く動 か した場 合 に提示画像 の 時間
遅れ を知 覚 す るが ,ほ とん ど違和 感 を感 じる ことな く
見 回 しが行 える こ とを実験 によ り確認 した。
ーザ の視線情報 としてユ ー ザ の
本 システ ムでは ,ユ
頭部 の 3軸 回 りの 回転角度 を計測 して い るため ,仮 想
ー
カ メラのパ ン ・チル ト ・ロ ル操作 の結 果が HMDに
点は Hyperomni Vision
提 示 され る。ただ し,観 察視″
ー
の
位 置 (図 1中 の 点
ミラ
内側焦点
を構成す る及 曲面
時 のセ
0〃 )に 固定 されてお り,観 察視点 の移動 はJSx影
ンサ の 移動 に よつて のみ可 能 で あ る.
ー
本 システ ム を複数 のユ ザが実際 に使 用 して い る様
子 を図 8に 示す .図 9は ,エ ジプ トで撮 影 され た全方
ー
位 ビデ オ映像 を もとに 4人 のユ ザ に提示 されて い る
透視投影画 像 の例 で あ る。本研 究 では ,開 発 した シス
ー
一
テ ム を図 8に 示 したデ モ 展示 に供 し、多数 の 般 ユ
ザの体験 を通 して有効性 を実証 した。
5お
わ りに
一 視点制約 を満 たす全方位画像 か ら
本報告 で は ,単
・
の任意視線画像 の 実時間生成に よる仮想 カメラの パ ン
チル ト ・ロ ー ル操作 を利用 した ,筆 者 らの研究室 で こ
れ まで に行 って きたテ レプ レゼ ンスヘ の 全方位 ビデ オ
カ メラ HyperOmni Visionの 応用事例 につい て述 べ た。
特 に,数 万人規模 の使用体験 に よつて新 しい メデ イア と
して の 有効性 を確認 した多 人数型 テ レプ レゼ ンスシス
テ ムの 構成 と実験 の様 子 を紹介 した。本報告 で は ,ス
タン ドア ロ ン型 テ レプ レゼ ンスシステ ム に話題 を限 つ
たが ,関 連プ ロ ジ エ ク トと して ,放 送型 テ レプ レゼ ン
スシステムの 実用化 を目指 した イ ンタラ クテ イブ テ レ
ビの 実験等 も行 われ て い る [1倒.
一誠
パ
島村 潤 ,山 浮
,竹 村 治 雄 ,横 矢 直和 :全 周 ノラマ
ス テ レ オ画 像 と CGモ デ ル の 合 成 に よ る複 合 現 実 環 境
ー
の 構 築 ,1清報 処理 学会論 文誌 :コンピュ タビ ジ ョン とイ
メー ジ メデ イア ,Vol.42,No SIG6(CVIA/12),pp 44 53)
June 2001.
K Y a m a g u c h i , H . T a k e m u r a , K . Y a m a z a w a ) a n d
Yokoya: Real― tilne generation and presentation of
v―
vie、
dependent binOcular stereo images using a se―
んFAP妃
quence of omnidirectional images,PToc. ゴ5サ
■, Vol.4, pp.589サ
'ο
. σ。げ 。" PattCTれ 兄 ccο
r砲↓
θ砲ぢ
593,Barcelona,Spain)September 2000。
I.
T, Takahashi, H. Kawasaki, K Ikeuchi, and い ′
Sakauchi: Arbitrary view position and direction
βど σ。砲_
r e n d e r i n g f o r l a r sg ce a―l e s c e n e s , P T o c , r コ
砲″ P c か
"
α
c
r
t
t
S
力
ο砲夕抗
C I C 7↓θ " チ θt t θ
Cr 5ο
ク竹サ
ア
ol.2,pp.296-303,Hilton
Hcad
ls―
れ
あ
ι
↓
θ
れ
ι
cr乃兄ccο
,ヽ
す
land,SC,」 une 2000.
HyperOmni Visionに 代 表 され る 1台 の カメラを用
い て全 周 の 映像 を取得す る全方位 画像 セ ンサ は ,複 数
181S.MoeZZi(Ed.),Special lssuc on lmmersive ttlep
tc,v。1.4,No.1,pp.17-56,
れ,批rc』
resence,二β朋 肋r“
カ ダラを用 い る方 法 (例えば ,文 献 [5,111)に較 べ て ,
機器 の 構成 が 簡単 で 製作 し易 い ,取 得画像 か らの提 示
画像 の生成が容 易 であ る ,と い つた優 れ た特長 を もっ
一
p l 山 澤 誠, 八木 康史, 谷内田正彦: 移動ロボツトのナビ
ー
ゲ ションのための全方位視覚系 H y p e r O m n i V i s i o ■
て い る反面 ,原 理 的 に提示 画像 の 解像度 が 低 い とい う
・
問題 が あ る。最終 的に人間へ の 画像 映像提示を目的 と
す る視 覚情報 メデ イア応用 では ,臨 場 感 を高 めるため
に高解像度化 へ の 要求 が強 い .最 近 で は ,ビ デ オカ メ
181や全方位
ラ部 にハ イビジ ヨンカメラを用 いた もの 〔
画像 セ ンサ を回転 あ るいは 移動 させ なが ら取得 した複
数 の 画像 を用 いた 超解像 度化 の 試 みなどが あ るが ,今
後 の 仮想現実 ・複 合現実応 用 が 期待 され る大型 の没 入
型投影 デ イスプ レ イヘ の 映像提 示 では ,ま だ解像度が
足 りな い とい うのが 現状 であ る.全 方位画像 セ ンサ に
関 して は ,さ らな る高解像 度化 が望 まれ る.
謝辞 :本 研 究 は ,高 柳記念電子科学技 術振興財 団 の
・
・
研 究助 成 ,文 部科学省 科研 費補 助金 ,通 信 放 送機
構 か らの受託研 究等 による。
参考文献
の
い
ill横 矢 直和 :全 方位 ビデ オカメラを用 た広域屋外環境
仮 想化 ,情 報処理学会研 究報告 ,CVIMl19-15,Novem―
ber 1999.
レ1横 矢 直和:3Dパ ノラマ画像合成技術,映像情報メデイ
ア学 会 誌 ,Vol.54,No.3,pp.338342,March 2000.
r,ac』兄caFt的
131Y.Ohta and H.Tamura(Eds,):
■
一 財 c竹れ。 兄car∽ 』 ンア
“ar″ οr材じ,ohmsha&
ルを
Verlag,Tokyo,い 71arch 1999
Springer―
and K Ya
降lJ・ Sllimamura,N.Yokoya,H.Takemurら
mazawai Construction of an immersive mixed envi―
ronment using an omnidirectional stereo image sen―
_
』ぢ
r e c t tれ
οa r 吊/ ぢ
η θ砲砲ぢ
s んo P ο
s O r , P T οc . r コ』β " 句T ん
3ぢ
ο",pp.62-69,Hilton Head lsland,SC,June 2000.
ノ
小
Iarch 1997.
」79-D―II,
の 提 案 ,電 子 情 報 通 信 学 会論 文誌 (D―II),V。1・
No.5,pp.698-707,WIay 1996.
11叫S,Bぶ er and S.Ko N32yart A theory of catadioptric
image form抗
ion,PTο
c . び ↓ん あ ι σ ο7 チ
0"θ
O t t P 竹 サC T
/jむ
予
ぢ
οれ,pp.35‐42,Bombtty,India,」 anuary 1998.
111l T.Kawanishi,K.Yalnazawa,H Iwasa,H.Take
resolution
mura,and N.Yokoya: Generation of high―
stereo panoramic images by omnidirectional imag―
ing sensor using hexagonal pyranlidal lnirrors,PToc
サ
ぢ
οれ, 1 / o l . I ,
れを
c r " 兄c c o す
ゴィサ
んr ムP 妃 五戒. σο7 チ οれP a をセ
pp.485-489,Brisbane,Australia,August 1998.
c.
1121S.K.Nayari Omnidirectional videO camera,PTο
じ
れ
ο
わTた
α
"』
あ
れ
砲ooc
y"2cT3↓
DAttPA 挽
P, Vol.1,
ョ巧
pp.235-241,WIay 1997.
を
ar rttcoc waTPれ す,IEEE Com―
1131G.ヽ Volberg: D竹 ぢ
puter Society Press,Los Alalnitos,CA,1990.
品 慇錨 祭
靴 援
け
今
写
管
習
チ
曇花
」81-D―IIぅ
ゼ ンス ,電 子 情 報 通 信 学 会論 文 誌 (D-11),V。1・
No.5,pp.880-887,MIay 1998,
1151Y.Manabe,K.Sato,K.Yamazawa,N.Yokoya,and
K,Chihara: Reproduction of lnotioll for inmersive
れrttα
.σ。,チ ο
mixed environments,P"c.ysサ ぁ↓
θc
cs,pp.673-676,Tianjin,China,August
aれどCraPんぢ
2000.
ヘ
1lq横矢 直和:全方位ビデオカメラの視覚情報メデイア
の 応 用 ,情 報 処理 学 会研 究 報告 ,CVIM125-24,」 anuary
2001.
11珂 Y.Onoe, K.Yamazawa, H.Takemura, and
v―
tilne vie、
N. Yokoya:
Telepresence by real―
dependent ilnagc generation fron omnidirectional
θη αれどrttα
CT `
句3ぢ
θttP″ι
videO streams, θ
サc びれ】eT‐
ugust 1998.
れ9,ヽ「
ol.71,No.2,Pp.154-165,2生
stcれ
】ぢ
回ポ動 与
丞
姦
亀
糟
峯
けぽ嬢 乳 舎
膳
録
奪
術研 究報告 , P R M U 2 0 0 1 6 8 , J u l y 2 0 0 1 ,
本研 究 に 関連 した発 表
8.K.Yamaguchi,K.Yamazawa,H Takemura,and N
Yokoya: ``Image―based construction of 3D virtual en―
一
三木 隆大朗 , 山 澤 誠 , 竹 村 治雄, 横 矢 直和 : “複 数 の
",電
子1 青
全方位 視 覚 セ ンサ を用 い た遠 隔監視 シス テ ム
ー
パ
ン
デ
イア理解研
究会
タ
, 信 学技
認識 メ
報通信学 会
a
n
u
a
r
y
1
9
9
9
.
P
R
M
U
9
8
1
7
7
,
」
報
2.
!襴 !
・
品
紹α
緒T切
材テ
銑緒 樹為
断
apan,October 2000.
vironments from a sequence of omnidirectional inl
1999:子
一誠
山澤
, 三 木 隆太朗 , 横 矢 直和, 竹 村 治雄 : “複 数全
" , 計 測 自動
ー
方位 カ メラ を用 い た ビデ オサ ベ イラ ンス
ー
制御 学 会 第 4 7 回 パ タ ン計 測 部会研 究 会資 料 ) A p r i l
1999
一誠
山 口 晃 一郎 , 山 澤
, 竹 村 治雄 ぅ横 矢 直和 : “全 方
",
いた
任意方 向 の両眼 ステ レオ画像 の生成
位動 画像 を用
情 報 処理 学 会 第 5 9 回 全 国大 会講演論 文集 , N o . 2 M 0 5 ,
Septenber 1999,
4.横 矢 直和 :“全 方位 ビデ オ カ メラを用 い た広 域屋外 環境
ー
ー
の仮 想化 ",情 報処理 学会 コンピュ タビジ ョン とイメ
CVIMl19
15,November
ジ メデ イア研 究 会 ,情 処研 報
1999.
一誠
5,山 口 晃 一 郎 ,山 澤
,竹 村 治雄 ,横 矢 直和 :“全 方位
ス テ レオ画像 の実 時 間生成
いた
意方向両眼
任
を用
動 画像
ー
・
と提 示 ",電 子情 報通信学 会 パ タ ン認識 メデ イア理
解研 究 会 ,信 学技 報 PRMU99-159,November 1999.
2565-2570,Nagoya,」
θθ
2θ
,pP・
ノ
9 . 米田 美里, 山澤 一誠, 竹村 治雄ぅ横矢 直和: “移動 ロ
",2000
ボ ッ トの遠 隔操作 の ため の全 方位 画像 提 示 手法
・
年電子 情報通信学 会情報 システ ム ソサ イエ テ イ大 会講
演論 文集 , N o . D 1 2 - 5 3 , O c t o b e r 2 0 0 0 .
",画
1 0 ゃ横 矢 直和 : “実 写 に基づ く3 次 元 パ ノラマ画像 合成
像 ラボ , V o l , 1 1 , N o . 1 1 , p p . 6 - 1 0 , N o v e m b e r 2 0 0 0 。
一
1 1 . 米 国 美 里 , 山 澤 誠 ぅ竹村 治雄 , 横 矢 直和 : “全 方位 動
画像 か らの両眼 ステ レオ画像生成 に よる移動 ロボ ツ トの
・
ー
",電
子情報通信学 会 パ タ ン認 識 メデ イア理
遠隔操縦
解研 究 会 , 信 学技 報 P R M U 2 0 0 0 1 0 7 , N o v e m b e r 2 0 0 0 .
2001年
1.山 澤 一 誠 ,竹村 治雄 ,横矢 直和 :“全方位 HDカ メラを用
ー
",電
子情報通信 学会 パ タ
いた テ レプ レゼ ンスシステ ム
ン認識 ・メデ イア理解研 究会 ,信 学技報 PRMU2001-68,
」uly 2001,
2 . 山 澤 一 誠 , 竹 村治雄 , 横 矢 直和 : “高解像度 全方位視覚 セ
" , 日 本 バ ー チ ヤル リア リ
ンサ を用 い た テ レプ レゼ ンス
ー
ー
テ イ学会 サ イバ スペ ス と仮想 都市研 究会 , V R 学 研
報 CSVC 2001-15,July 2001.
一誠
3.山 口 晃 一 郎 ,山 澤
,竹 村 治 雄 ,横 矢 直和 :“ 全
Vir―
1.K.Yamazawa,H.Takemura,and N.Yokoya: “
ス テ レオ画像 の 実 時 間生 成 に
い
た両眼
を用
画像
tual tours into a visualized dynattlic real world using 方位 動
",電
ンス
',PTθc. ィ
レゼ
通信学 会論 文誌 (D-lI),
レプ
子情報
よるテ
ぢ
a"
せ
んムじ
an omnidirectional video camerゴ
II,No.9,pp.2048-2057,ScPtember
2001.
Vol.」
84-D―
5
1,PP。
θ
θ
ぢ
ο
"rAθσy2θ
Tソ1●
サ
●
ttP“
,vol・
θο
ノ
切'θれθθ
一
ンサ に
セ
画
像
:
“全方位
anuary 2000.(Invited).
4.山 澤
誠 , 横 矢直和 , 竹 村 治雄
10,Taipei,Taiwan,」
" , 2 0 0 1 年 電子情報
よるテ レプ レゼ ンス の 様 々 な実 装
2.R.Miki,N.Yokoya,K.Yalnazawa,and H.Take―
通信 学 会情 報 ・シス テ ム ソサ イエ テ イ大 会講演論 文 集 ,
2000ど 子
mura: ``A real―tilne video surveillancc and monitor―
ing system using lnultiple omnidirectional video ca11eras'',PToc, ィ
をあ A S じ 碗
働
げ
0,θ
θt t P 竹 サe r y j s , 。
"
/2θ
I,PP.528-534,Taipei,Taiwan,Jan―
r A θ σル θθノ, V o l ・
uary 2000.
")映
像 情 報 メデ イ
3 . 横 矢 直和 : “3 D パ ノラマ 画像 合 成技 術
ア学 会 誌 ,Vol.54,No.3,pp.338-342,March 2000.
4.K.YallazaWa,Y,Onoe,N.Yokoya,alld H.Take―
mura: “Telepresence by real―time view―dependent
al images",S7s‐
ilnage generation from omnidirectio■
ぢJapo■,Vol.31,No.6,pp.56冴 θοttPttteTu 砲
tctts c砲
64,」une 2000`
一誠
一
5 山 口 晃 郎 ,山 澤
, 竹 村 治 雄 , 横 矢 直 和 : “全 方
ス
い
テ レオ 画 像 の 実 時 間生 成 シス テ
た両
を用
眼
位動画像
ム" , 画 像 の 認 識 ・理 解 シ ンポ ジ ウ ム ( M I R U 2 0 0 0 ) 講 演
訴討づ〔努喜I,pp.I-45-50,」uly 2000.
6.K.Yamaguchi,H.Takemura)K.Yamazawa,and N.
Yokoya: “ Real―tilne generation and presentation of
view―dependent binocular stereo images using a se,
んrムP兄
c. ゴ」サ
quence of omnidirectionalimages",PTο
o"ryjrcP兄 ノ,V01・4,
, σ。切i οれ Paサ挽,切 兄ccο
r砲サ
。"売う
pp.589-593,Barcelona,Spain,ScPtember 2000.
7 . 山 澤 一 誠 , 市 川 徹 , 寺 沢 征 彦 , 竹 村 治 雄 , 横 矢 直和 : “
",2000
全 方 位 ビデ オ カ メ ラ を用 い た 行 動 記 録 シ ス テ ム
・
エ
年 電 子情 報 通 信 学 会情 報 シス テ ム ソサ イ テ イ大 会講
演論 文集 ,No.PD-1-6,September 2000,
No.D-12-36,Septelnber 2001.
5.八 木 康 史 ,横 矢 直和 ,“全 方位 ビジ ヨン:セ ンサ 開発 と
",情 処理学会論 文誌 :コンピュ ー タビ
報
応 用 の最 新動 向
ー
43),
ジ ョンとイメ ジ メデ イア,Vol.42,No.SIGll(CVI`
November 2001(採 録 決定 ).
一誠
6.横 矢 直和 ,山 澤
,竹 村 治 雄 :“ 全 方位 ビデ オ カ
",情
報 処 理 学 会論 文
メ ラ を用 い た視 覚 情 報 メデ イア
ー
ー
誌 :コンピュ タビ ジ ョン とイ メ ジ メデ イア,Vol.42,
No.SIGll(CVIM3),November 2001(採 録決定 ).