ビデオデータベースを用いた 流体画像に基づくアニメーション生成 岡部 誠 電気通信大学 / JST PRESTO 安生 健一 OLM Digital, Inc. 尾内 理紀夫 電気通信大学 モチベーション • 流体画像を元にアニメーションを作りたい モチベーション • 流体画像を元にアニメーションを作りたい – 画像の質感を保ったまま モチベーション • 流体画像を元にアニメーションを作りたい – 画像の質感を保ったまま – 難しい問題 モチベーション • 流体画像を元にアニメーションを作りたい – 画像の質感を保ったまま – 難しい問題 • デザイナは１枚の流体の絵は描ける モチベーション • 流体画像を元にアニメーションを作りたい – 画像の質感を保ったまま – 難しい問題 • デザイナは１枚の流体の絵は描ける – 独特の面白いスタイル モチベーション • 流体画像を元にアニメーションを作りたい – 画像の質感を保ったまま – 難しい問題 • デザイナは１枚の流体の絵は描ける – 独特の面白いスタイル – 何枚も描くのは困難 or 時間が掛かる 既存研究 • 流体シミュレーション 既存研究 • 流体シミュレーション – 多くの物理パラメータ 既存研究 • 流体シミュレーション – 多くの物理パラメータ • 流体の動き • 流体の見た目 ？ 既存研究 • 流体シミュレーション – 多くの物理パラメータ • 流体の動き • 流体の見た目 • ビデオテクスチャ合成 – 既存のビデオを切り貼り ？ 既存研究 • 流体シミュレーション – 多くの物理パラメータ • 流体の動き • 流体の見た目 ？ • ビデオテクスチャ合成 – 既存のビデオを切り貼り – 指定された見た目の 再現が難しい ？ 既存研究 • ビデオを用いた 流体画像アニメーション[Okabe et al., 2009] 既存研究 • ビデオを用いた 流体画像アニメーション[Okabe et al., 2009] – 流れ場のデザイン 既存研究 • ビデオを用いた 流体画像アニメーション[Okabe et al., 2009] – 流れ場のデザイン – 流体のコピー＆ペースト 既存研究 • ビデオを用いた 流体画像アニメーション[Okabe et al., 2009] – 流れ場のデザイン – 流体のコピー＆ペースト – 適切なビデオを検索 提案手法 • 入力 – 単一の水、炎、煙の流体画像 提案手法 • 入力 – 単一の水、炎、煙の流体画像 – ユーザは流れ方向と速さを指定しても良い 提案手法 • 入力 – 単一の水、炎、煙の流体画像 – ユーザは流れ方向と速さを指定しても良い – 流体領域を指定するアルファマット 提案手法 • 入力 – 単一の水、炎、煙の流体画像 – ユーザは流れ方向と速さを指定しても良い – 流体領域を指定するアルファマット • 出力 – ビデオデータベースを用いてアニメーション合成 ビデオデータベースの利用 • 流体ビデオを収集 ビデオデータベースの利用 • 流体ビデオを収集 • 入力画像を元に 流体ビデオの検索 ビデオデータベースの利用 • 流体ビデオを収集 • 入力画像を元に 流体ビデオの検索 – 部分的な類似性 ビデオデータベースの利用 • 流体ビデオを収集 • 入力画像を元に 流体ビデオの検索 – 部分的な類似性 • コピー＆ペーストして アニメーションを生成する ビデオデータベースの構築 • 水について、151の流体ビデオを収集 ビデオデータベースの構築 • 水について、151の流体ビデオを収集 – カメラは固定 – 水が動画の主役 ビデオデータベースの構築 • 水について、151の流体ビデオを収集 – カメラは固定 – 水が動画の主役 • 解像度は640ｘ480 or 480ｘ640 • 時間は10秒程度 ビデオデータベース構築 • ビデオデータ量の増加 ビデオデータベース構築 • ビデオデータ量の増加 – 左右反転、回転、拡大縮小: x 18 ビデオデータベース構築 • ビデオデータ量の増加 – 左右反転、回転、拡大縮小: x 18 – ビデオをパッチ (48x48)に切る: x 90～100 ビデオデータベース構築 • ビデオデータ量の増加 – 左右反転、回転、拡大縮小: x 18 – ビデオをパッチ (48x48)に切る: x 90～100 – 水について、約24万のビデオパッチを得た ビデオパッチ検索 • 入力画像も同様に48x48のパッチに切る ビデオパッチ検索 • 入力画像も同様に48x48のパッチに切る ビデオパッチ検索 • 入力画像も同様に48x48のパッチに切る • 各ビデオパッチの代表画像の作成 ビデオパッチ検索 • 入力画像も同様に48x48のパッチに切る • 各ビデオパッチの代表画像の作成 – ビデオフレームの平均を取る ビデオパッチ検索 • 入力画像も同様に48x48のパッチに切る • 各ビデオパッチの代表画像の作成 – ビデオフレームの平均を取る • SIFT特徴の抽出 ビデオパッチ検索 • 入力画像も同様に48x48のパッチに切る • 各ビデオパッチの代表画像の作成 – ビデオフレームの平均を取る • SIFT特徴の抽出 ビデオパッチ検索 • 入力画像も同様に48x48のパッチに切る • 各ビデオパッチの代表画像の作成 – ビデオフレームの平均を取る • SIFT特徴の抽出 • 各パッチをヒストグラムで表現 ビデオパッチ検索 • 入力画像も同様に48x48のパッチに切る • 各ビデオパッチの代表画像の作成 – ビデオフレームの平均を取る • SIFT特徴の抽出 • 各パッチをヒストグラムで表現 – 200種類のSIFT → 200次元のヒストグラム 最適なビデオパッチの割り当て • 動きの滑らかさを考慮した最適化 – マルコフ・ランダム場を使用する 最適なビデオパッチの割り当て • 動きの滑らかさを考慮した最適化 – マルコフ・ランダム場を使用する 見た目の類似度 最適なビデオパッチの割り当て • 動きの滑らかさを考慮した最適化 – マルコフ・ランダム場を使用する 見た目の類似度 動きの類似度 静止画を分割して割り当て 最適なビデオパッチの割り当て • 隣接するパッチ間の動きの滑らかさ 最適なビデオパッチの割り当て • 隣接するパッチ間の動きの滑らかさ – 流れの速度 ：平均 最適なビデオパッチの割り当て • 隣接するパッチ間の動きの滑らかさ – 流れの速度 ：平均 – 流れの激しさ：分散 アニメーションの生成 • 入力画像 • 割当てられたビデオパッチ アニメーションの生成 • 入力画像 • 割当てられたビデオパッチ アニメーションの生成 • 入力画像 • 割当てられたビデオパッチ 穏やか アニメーションの生成 • 入力画像 • 割当てられたビデオパッチ 穏やか 激しい アニメーションの生成 • 入力画像 • 割当てられたビデオパッチ 穏やか 激しい 穏やか 激しい アニメーションの生成 • 入力画像と割当てられたビデオパッチを統合 アニメーションの生成 • 入力画像と割当てられたビデオパッチを統合 色や陰影の見た目情報のみ アニメーションの生成 • 入力画像と割当てられたビデオパッチを統合 色や陰影の見た目情報のみ 水飛沫等の流体の動き情報のみ アニメーションの生成 • 入力画像と割当てられたビデオパッチを統合 色や陰影の見た目情報のみ 水飛沫等の流体の動き 水飛沫等の流体の動き情報のみ アニメーションの生成 • 入力画像と割当てられたビデオパッチを統合 色や陰影の見た目情報のみ 水飛沫等の流体の動き情報のみ 水飛沫等の流体の動き 色や陰影 アニメーションの生成 • 入力画像と割当てられたビデオパッチを統合 色や陰影の見た目情報のみ 水飛沫等の流体の動き情報のみ 水飛沫等の流体の動き 色や陰影 高周波成分の除去 低周波成分の除去 結果と考察 • 結果動画の評価 – １６人の評価者（プロのデザイナ２名） – 動画は自然か？どこが不自然か？ 結果と考察 • 結果動画の評価 – １６人の評価者（プロのデザイナ２名） – 動画は自然か？どこが不自然か？ • 水は概ね好評 • 炎、煙に手法の限界が見られた 結果と考察 • 結果動画の評価 – １６人の評価者（プロのデザイナ２名） – 動画は自然か？どこが不自然か？ • 水は概ね好評 • 炎、煙に手法の限界が見られた (a) (b) 結果と考察 • 結果動画の評価 – １６人の評価者（プロのデザイナ２名） – 動画は自然か？どこが不自然か？ • 水は概ね好評 • 炎、煙に手法の限界が見られた (a) (b) まとめ • ビデオデータベースを用いた 流体画像のアニメーション手法の提案 まとめ • ビデオデータベースを用いた 流体画像のアニメーション手法の提案 – ユーザの手作業の大幅軽減 – ビデオ素材を崩すことなく利用できる まとめ • ビデオデータベースを用いた 流体画像のアニメーション手法の提案 – ユーザの手作業の大幅軽減 – ビデオ素材を崩すことなく利用できる • ビデオのより直接的な利用法を検討中 まとめ • ビデオデータベースを用いた 流体画像のアニメーション手法の提案 – ユーザの手作業の大幅軽減 – ビデオ素材を崩すことなく利用できる • ビデオのより直接的な利用法を検討中 まとめ • ビデオデータベースを用いた 流体画像のアニメーション手法の提案 – ユーザの手作業の大幅軽減 – ビデオ素材を崩すことなく利用できる • ビデオのより直接的な利用法を検討中
© Copyright 2025 ExpyDoc
