Computer Vision • What is computer vision? – “Making computers see” Nice sunset! １台のカメラの場合３次元の点３次元物体３次元の点が存在しうる直線カメラ画面カメラの光学中心カメラ物体からの光線２台のカメラの場合３次元物体カメラ１カメラ２立体視 Stereo Vision (Stereopsis) • Main problem – recover 3D depth（距離） from two (or more) image views ●一つのカメラから得られた画像のみからでは、３Ｄ物体の形状を一意に決定することができない ●２つ以上の異なる視点で得られた画像からはこのような不定性を取り除き、形状を決定することができる CV Output: Model Real Scene Cameras Images ◎3Dシーンが2D平面に写像されたものとして画像データを捉える ◎2Ｄ画像→3Ｄシーンという逆写像を行い ◎元の3Ｄシーンの情報を復元することを処理の目的三角測量の原理３次元の点視線１視線２ q1 視点1 q2 Base line 視点2 ベースラインと２本の視線との角度（方向）が既知であれば、２本の視線の交差点が決定できる。２眼立体視の原理１．異なる位置（視点）にカメラを２台を設置する ⇒ ベースラインが決まる２．２台のカメラを用いて同じ物体を撮影する ⇒ 物体上の各点への視線方向が分かる３．二つの画像上の各点の対応付けを求める ⇒ 物体上の同じ点への２本の視線を求める４．三角測量原理を用いて物体上の点の３次元位置を計算する２眼立体視の基本課題１１．１ベースラインを求める必要があるベースラインの表現方法１：カメラ１を参照基準とし、カメラ２がカメラ１に対する位置を求めるベースラインの表現方法２：カメラ２を参照基準とし、カメラ１がカメラ２に対する位置を求めるベースラインの表現方法３：他の共通の参照座標系を決め、その座標系でのカメラ１、カメラ２の位置を求める２眼立体視の基本課題１（つづき）１．２ベースラインを求める方法方法１：直接測量する方法（困難）方法２：絶対的な３次元位置・形状が既知の基準物体を撮影した画像から計算する方法方法３：３次元形状のみが既知で、絶対的な３次元位置が既知でない基準物体を撮影した画像から計算する方法２眼立体視の基本課題２２．１画像上の点の位置から視線方向を求める必要がある解決しなければならない課題：１．撮影した画像上の各画素の座標をピンホールカメラモデルの画像座標に変換する方法の確立２．２台のカメラ間の回転変換パラメータを求める方法の確立２眼立体視の基本課題２（つづき）２.１.１撮影した画像上の各画素の座標をピンホールカメラモデルの画像座標に変換する方法この変換方法を確立するために、カメラ自身のさまざまなパラメータを求める必要がある。例えば、レンズの焦点距離、光学中心の位置、画素サイズの縦横比、レンズの歪み（変形）などこれらのパラメータは、カメラが固有なもので、カメラの設置場所、方向に依存しないため、カメラの内部パラメータと呼ばれる。これらのパラメータを求めることは、カメラの内部パラメータの較正という。レンズによる歪みの画像例２眼立体視の基本課題２（つづき）２．１．２カメラの内部パラメータの較正法基本的に、形状が既知の基準物体に対してを複数の視点から撮影して、得られた複数の画像からカメラの内部パラメータを推定する。さまざまな基準物体（正方形の格子パターン、円パターンなど）を用いて、さまざまな計算法が提案され、実用化されている。２眼立体視の基本課題２（つづき）２．１．３２台のカメラ間の回転変換パラメータを求める方法２台のカメラ間の回転・移動変換パラメータはカメラが固有なものではなく、カメラの設置場所、方向に依存するために、カメラの外部パラメータと呼ばれる。これらのパラメータを求めることは、カメラの外部パラメータの較正という。２眼立体視の基本課題３３．１カメラの外部パラメータの較正法基本的に、内部パラメータの較正法と同様に、形状が既知の基準物体（１個、複数個）に対して一回、あるいは物体の位置・姿勢を変えて、複数回撮影して、得られた画像からカメラの外部パラメータを推定する。さまざまな基準物体（正方形の格子パターン、円パターンなど）を用いて、さまざまな計算法が提案され、実用化されている。２眼立体視の基本課題３３．１対応付け問題対応付け問題とは、２枚の画像から、同じ物体上の同じ点の像を探す問題である。 ? ? ? ? ? ? ２眼立体視の基本課題３（つづき）３．２対応付け問題の解決方法３．２．１カメラの幾何学関係から、対応付け可能な画素の限定例えば、水平に配置された同じタイプの２台のカメラで撮影した画像では、対応している画素同士のY 座標が同じである。左画像右画像２眼立体視の基本課題３（つづき）３．２．２素の限定画像の特性から、対応付け可能な画例えば、同じ物体上の同じ点の像であれば、色が同じである（はず）、更に、その周辺も同じである（はず）など。左画像右画像