エントロピー最小化による単一画像から の反射特性とテクスチャの推定 原健二（九大）、 西野恒（Drexel University） インバースレンダリング • 実世界物体の光学モデル化アプローチのひとつ • 光学情報のいずれかを既知とし、残りを 実画像（列）から推定 – 反射特性 – テクスチャ（albedo） – 光源状況 実画像（列） – 幾何形状 インバースレンダリング • 反射特性とテクスチャの推定 – 光源状況と幾何形状は既知 未知 既知 – 反射特性 – テクスチャ（albedo） – 光源状況 実画像（列） – 幾何形状 反射特性とテクスチャの推定 • 応用 – 任意の光源状況下／視点の仮想画像合成 未知 – 照明変動下の物体認識、材質特定 既知 – 反射特性 – テクスチャ（albedo） – 光源状況 実画像（列） – 幾何形状 一枚の画像からの反射特性・テクスチャ推定 • 一般にテクスチャは空間的に不均一 – 画素ごとに独立した値 • 未解決問題 – 不良設定性 一枚の画像からの反射特性・テクスチャ 推定問題における不良設定性 • 反射特性（鏡面・拡散）が空間的に不均一 一枚の画像からの反射特性・テクスチャ 推定問題における不良設定性 • 反射特性（鏡面・拡散）が空間的に不均一 未知数の個数 テクスチャ（albedo） N ×N 拡散反射パラメタ ×N 鏡面反射パラメタ ( + +1)×N 全パラメタ 制約条件数 N 一枚の画像からの反射特性・テクスチャ 推定問題における不良設定性 • 拡散反射成分と鏡面反射成分に分離済み ＋ 一枚の画像からの反射特性・テクスチャ 推定問題における不良設定性 • 拡散反射成分と鏡面反射成分に分離済み ＋ テクスチャ（albedo） N ×N 拡散反射パラメタ ×N 鏡面反射パラメタ ( + +1)×N 全パラメタ 制約条件数 N 制約条件数 N ２×N 一枚の画像からの反射特性・テクスチャ 推定問題における不良設定性 • 拡散反射成分と鏡面反射成分に分離済み • 反射特性（鏡面・拡散）が空間的に均一 ＋ 一枚の画像からの反射特性・テクスチャ 推定問題における不良設定性 • 拡散反射成分と鏡面反射成分に分離済み • 反射特性（鏡面・拡散）が空間的に均一 ＋ テクスチャ（albedo） N 拡散反射パラメタ 鏡面反射パラメタ + 全パラメタ 制約条件数 N +N 制約条件数 N ２×N 既存手法における不良設定性の解消 • 条件を変えて複数枚撮影した画像列を入力 – 視点と光源を変えて撮影[Debevec00][Lensch01][Sato97] 既存手法における不良設定性の解消 • 条件を変えて複数枚撮影した画像列を入力 – 光源のみ変えて撮影 [Goldman05][Solomon92] 既存手法における不良設定性の解消 • 条件を変えて複数枚撮影した画像列を入力 – 視点のみ変えて撮影 [Nishino05][Ramamoorthi01][Yu06] 既存手法における不良設定性の解消 • 条件を変えて複数枚撮影した画像列を入力 – 偏光状態を変えて撮影 [Miyazaki03][Hara08] 提案手法における不良設定性の解消 • 入力画像は一枚のみ • テクスチャに関する事前知識（prior）の導入 – テクスチャのエントロピー最小性 提案手法における不良設定性の解消 • エントロピー最小化 小 Albedo テクスチャ画像の ヒストグラム 大 エントロピー Frequency Frequency – 多数の値に広がる分布に対しては大きな値 – 少数の値に集中する分布に対しては小さな値 – 影除去 [Finlayson04]、照度差ステレオ [Alldrin07] Albedo 通常の画像の ヒストグラム 提案手法（1） • 入力画像は一枚の画像 • 拡散反射成分はLambertianモデル、 鏡面反射成分はTorrance-Sparrowモデルに従う • テクスチャは、Lambertianモデルにおける反射係数 （albedo） • 鏡面反射特性は、Torrance-Sparrowモデルにおける 反射係数と表面粗さ （空間的に均一と仮定） 二次元多様体上のエントロピー最小化 • Torrance-Sparrowモデルの反射係数 と表面粗さ の値が与えられると、入力画像と反射モデルより、 テクスチャも一意に決まる 二次元多様体上のエントロピー最小化 • テクスチャの解空間は、画像ベクトル空間の二次元 部分多様体 N次元画像ベクトル空間 ２次元部分多様体 二次元多様体上のエントロピー最小化 • 二次元部分多様体上で、Torrance-Sparrowモデルの 反射係数 と表面粗さ に関して、エントロピーを 最小化 N次元画像ベクトル空間 ２次元部分多様体 推定されたテクスチャ 二次元多様体上のエントロピー最小化 • 離散的な局所探索 – 目的関数が下に凸 提案手法（2） • 入力画像は一枚の画像 • 拡散反射成分はOren-Nayarモデル、鏡面反射成分は Torrance-Sparrowモデルに従う • テクスチャは、Oren-Nayarモデルにおける反射係数 （albedo） • 拡散反射特性は、Oren-Nayarモデルの表面粗さ、 鏡面反射特性は、Torrance-Sparrowモデルの反射係 数と表面粗さ （空間的に均一と仮定） 三次元多様体上のエントロピー最小化 • Torrance-Sparrowモデルの反射係数 、 表面粗さ 、Oren-Nayarモデルの表面粗さ の 値が与えられると、入力画像と反射モデルより、 テクスチャも一意に決まる • テクスチャの解空間は、画像ベクトル空間の三次元 部分多様体 • 三次元部分多様体上で、Torrance-Sparrowモデルの 反射係数 、表面粗さ 、Oren-Nayarモデルの 表面粗さ に関して、エントロピーを最小化 三次元多様体上のエントロピー最小化 • 交互最小化（Alternative Minimization） – – を固定して を固定して を推定（目的関数が下に凸） を推定（目的関数が下に凸） 推定結果（合成画像） • 入力画像 拡散反射成分 鏡面反射成分 入力画像 • 推定値を用いて再合成した結果 拡散反射成分 鏡面反射成分 テクスチャ 撮影システム • デジタルSLRカメラ（Canon 30D） • レーザーレンジファインダ（Minolta Vivid 910） • 偏光フィルタ（精度評価のため） 実験結果（リンゴ） 入力画像（左）、 偏光を用いて分離 された各反射成分 （中・右） 入力画像 拡散反射成分 鏡面反射成分 推定された反射特性 を用いて合成された 各反射成分（左・中）、 推定されたテクスチャ （右） 拡散反射成分 鏡面反射成分 テクスチャ 実験結果（お面） 入力画像（左）、 偏光を用いて分離 された各反射成分 （中・右） 入力画像 拡散反射成分 鏡面反射成分 推定された反射特性 を用いて合成された 各反射成分（左・中）、 推定されたテクスチャ （右） 拡散反射成分 鏡面反射成分 テクスチャ むすび • 幾何形状と光源状況を既知としたうえで、 一枚画像から、鏡面・拡散反射特性とテクスチャを 推定する手法の提案 – テクスチャに関する事前知識（prior）の導入 • 今後の課題 – 光源の同時推定への拡張 – 反射モデルの一般化
© Copyright 2024 ExpyDoc
