論文(日) - Makoto Okabe

画像電子学会
The Institute of Image Electronics
Engineers of Japan
年次大会予稿
Proceedings of Visual Computing 2015
見た目の転送を用いた疎な多視点画像からの流体ボリュームのモデリング
Fluid Volume Modeling from Sparse Multi-view Images by Appearance Transfer
岡部 誠 1,4
土橋 宜典 2,4
Makoto Okabe1,4
安生 健一 3,4
Yoshinori Dobashi2,4
尾内 理紀夫 1
Ken Anjyo3,4
Rikio Onai1
1 電気通信大学
1 The University of Electro-Communications
2 北海道大学
2 Hokkaido University
3 オー・エル・エム・デジタル
3 OLM Digital, Inc.
4 科学技術振興機構 CREST
4 JST, CREST
1. は じ め に
炎,煙,爆発など,流体の視覚効果は映像製作に欠か
せ な い . コ ン ピ ュ ー タ ・ グ ラ フ ィ ク ス (CG)に お い て ,
流体は最重要課題の 1 つとして長年研究されてきた.
しかし,流体アニメーションの製作は未だ難しく時間
の掛かる作業であり, 映像製作の工程の中でボトルネ
ックの 1 つとなっている.
流体アニメーションの製作には大きく 3 つの手法があ
る.1 つ目の流体シミュレーションは様々な種類の流
体 を リ ア ル に 作 る こ と が で き る [1].し か し ,流 体 シ ミ
ュレータへの入力はパラメータなど抽象的なものであ
るため,出力される映像との関係が掴みにく い.専門
家でも望みの流体を得るまで に,多くの試行錯誤が必
要 で あ る . 2 つ 目 は 動 画 の 編 集 で あ る [2]. 多 く の 映 像
製作会社は独自の動画データベースを持つ.ポスト・
プロダクション担当のアーティストはデータベースか
ら適切な流体動画を選び,動画編集ツールでシーンに
重ね合わせることで流体効果を演出する.しかし,2
次元の動画ではカメラが動くシーンなど,3 次元的な
効 果 が 必 要 な 場 合 に 対 応 で き な い .3 つ 目 は イ メ ー ジ ・
ベ ー ス ・モ デ リ ン グ で あ る [3,4,6].流 体 を 複 数 の カ メ ラ
で異なる方向から撮影し ,それを基に 3 次元流体アニ
メ ー シ ョ ン を 作 る . こ の 手 法 は 入 力 (多 視 点 動 画 )と 出
力 (3 次 元 流 体 )の 関 係 は 分 か り や す い が ,複 数 カ メ ラ を
用いての撮影作業が面倒である.
本稿では単一視点や直交 2 視点などの非常に疎な多視
点画像から 3 次元流体ボリュームをモデリングする手
法を提案する.入力の視点数が少ないので,複数カメ
ラの設置やキャリブレーションなど ,撮影者の負担が
軽減される.一方,入力の視点数が少ないとモデリン
グ に 必 要 な 情 報 が 不 足 す る . 図 2(上 段 )は 最 小 二 乗 法
(LSM)[6]で モ デ リ ン グ し た ボ リ ュ ー ム で あ る . 水 平 方
向 に 回 転 し ,他 の 視 点 (15 度 ,45 度 ,75 度 の 方 向 )か ら
見ると不自然にボケて見えるように感じる.この理由
は 「 人 は 入 力 (図 2 の 左 端 と 右 端 )の 見 た 目 を 覚 え て い
て ,他 の 視 点 か ら 見 て も 同 様 の 見 た 目 を 期 待 す る た め 」
図 1: 単 一 視 点 (左 )や 直 交 2 視 点 (右 )な ど , 非 常 に
疎な多視点動画 から 3 次元流体アニメーションを
作 る . Autodesk Maya 2015 の 流 体 シ ミ ュ レ ー タ を
用いて流体の見た目や動きを編集することが可
能 (左 図 で は 乱 気 流 を 加 え た ).
図 2: 左 端 と 右 端 を 入 力 画 像 と し , LSM で モ デ リ
ングしたボリュームを上段 ,提案手法でモデリン
グしたボリュームを下段に示す .
というのが我々の仮説である.
提案手法は見る人のこの「期待」に応えるようにボリ
ュームをモデリングする .あらゆる方向から見た時に
ボリュームが入力画像と似た見た目を持つよう ,ボリ
ュ ー ム ・モ デ リ ン グ の 新 し い エ ネ ル ギ ー 関 数 を 定 義 し ,
それを簡単で効率の良い 繰り返しアルゴリズムで最小
化 す る .図 2(下 段 )に 示 す よ う に ,提 案 手 法 で モ デ リ ン
グしたボリュームはあらゆる方向から見てもボケてお
らず,自然な見た目を持つ.画像が与えられると,提
案手法は自動的にボリュームをモデリングする.
画像電子学会
The Institute of Image Electronics
Engineers of Japan
年次大会予稿
Proceedings of Visual Computing 2015
データベースの流体 動画を扱うアーティストは,選ん
だ動画を単にそのまま使うことはなく ,望ましい映像
を作るため必ず編集を行う .我々も流体アニメーショ
ン を 編 集 す る た め , Autodesk Maya 2015 の 流 体 シ ミ ュ
レータを用いて流体の見た目や動きを編集できる手法
を 提 案 す る (図 1).
2. 提 案 手 法
疎 な 多 視 点 画 像 (図 3-a)が 入 力 さ れ る と ,LSM を 適 用 し
て 初 期 ボ リ ュ ー ム (図 3-b)を 作 る .こ の ボ リ ュ ー ム は 図
2(上 段 )の よ う に 他 の 視 点 か ら 見 る と ボ ケ て お り ,ま た
図 3-b の よ う に 斜 め 上 か ら 見 下 ろ す と グ リ ッ ド 構 造 が
見え不自然である.
図 3: 提 案 手 法 の 処 理 の 流 れ .
提 案 手 法 は 次 の 3 ス テ ッ プ を 繰 り 返 す .1) 現 在 の ボ リ
ュームを多視点方向に投影してレンダリングする.今
回 は 縦 軸 周 り に 180 の 方 向 に 投 影 し , 180 枚 の 投 影 画
像 を レ ン ダ リ ン グ し た (図 3-c).2) テ ク ス チ ャ 分 析 ・合
成 手 法 [5]を 用 い ,各 投 影 画 像 が 入 力 画 像 (図 3-a)と 似 た
見 た 目 を 持 つ よ う 修 正 す る (図 3-d). 3) 修 正 し た 画 像
に LSM を 適 用 し ,3 次 元 ボ リ ュ ー ム を 得 る (図 3-e).今
回の実験では,以上の 3 ステップを 8 回繰り返した.
以上のアルゴリズムは輝度画像を入力とし,密度場の
ボリュームを作る.
多視点動画が入力された 時は,上記のアルゴリズムを
各動画フレーム毎に独立に適用する .結果として得ら
れ る ボ リ ュ ー ム ・シ ー ケ ン ス は 時 間 的 な 一 貫 性 が 保 障
さ れ な い . そ こ で , Autodesk Maya 2015 の 流 体 シ ミ ュ
レ ー タ に ボ リ ュ ー ム ・シ ー ケ ン ス を 読 み 込 み ,動 画 か ら
測 定 し た オ プ テ ィ カ ル ・フ ロ ー を 用 い て 滑 ら か な 流 体
アニメーションをレンダリングする .この時,流体シ
ミ ュ レ ー タ の レ ン ダ リ ン グ ・パ ラ メ ー タ を 編 集 す る こ
と で 色 付 け が で き る (密 度 値 が 色 に マ ッ ピ ン グ さ れ る ).
また,乱気流など,流体の動きに関するパラメータを
編集することもできる.
3. 結 果 と 考察
提 案 手 法 を CG 画 像 (図 3)と 実 際 の 流 体 を 撮 影 し た 画 像
(図 1, 2, 4)の 両 方 に 適 用 し た . 図 1(左 )と 図 4 に 単 一
視点で撮影された 流体動画から作った流体アニメーシ
ョンを示す.図 4 には入力動画の解像度とフレーム数
を示す.単一視点の場合,流体を正面及び真横から見
た画像が同一である ,と仮定してモデリングを行う.
図 4 のスライスに示すように, 結果のボリュームは対
角 線 に 対 し て 左 右 対 称 と な る . 比 較 と し て stochastic
tomography (ST-SAD) [3]の 結 果 を 載 せ た . ST- SAD の
結果が四角く,グリッド構造を持つのに対し,提案手
法の結果は丸みがあり ,有機的な構造を持っている.
参考文献
[1] Bridson, R., and Müller-Fischer, M. 2007. Fluid
simulation: Siggraph 2007 course notes . In ACM
SIGGRAPH 2007 Courses, 1 –81.
[2] Bhat, K. S., Seitz, S. M., Hodgins, J. K., and Khosla,
P. K. 2004. Flow-based video synthesis and editing.
ACM Trans. Graph. 23, 3, 360 –363.
[3] Gregson, J., Krimerman, M., Hullin, M. B., and
Heidrich, W. 2012. Stochastic tomography and its
applications in 3d imaging of mixing fluids. ACM
Trans. Graph. 31, 4, 52:1–52:10.
[4] Hasinoff, S. W., and Kutulakos, K. N. 2007.
Photo-consistent reconstruction of semitransparent
scenes by density-sheet decomposition. IEEE Trans.
Pattern Anal. Mach. Intell. 29, 5, 870–885.
[5] Heeger, D. J., and Bergen, J. R. 1995. P yramid-based
texture
analysis/synthesis.
In
Proc.
of
SIGGRAPH ’95, 229–238.
[6] Ihrke, I., and Magnor, M. 2004. Image-based
tomographic reconstruction of flames. In Proc. of
SCA ’04, 365–373.
画像電子学会
The Institute of Image Electronics
Engineers of Japan
年次大会予稿
Proceedings of Visual Computing 2015
図 4: 単 一 視 点 の 動 画 か ら 作 っ た 流 体 ア ニ メ ー シ ョ ン .左 か ら 右 に ,入 力 動 画 の フ レ ー ム ,ST-SAD で モ デ リ ン グ
し た ボ リ ュ ー ム と そ の ス ラ イ ス , 提 案 手 法 で モ デ リ ン グ し た ボ リ ュ ー ム と そ の ス ラ イ ス , Autodesk Maya 2015 で
レンダリングした最終結果 .