物体表現と物体認識第5回 Marr のパラダイム世界座標系表現 3D 表現観測者中心座標系表現 2-1/2D 表現融合・内そう明るさ 3D 特徴抽出モジュール模様線画 2D 画像両眼動き表現法の分類 表面表現法 – 基本面の集まりで表現 関数表現法 – 関数形（生成ルール）で表現 体積表現法 – 基本体積の集まりで表現表面表現法 • 基本面の集合として表現面  どの面 * 見える面の集合 * 全ての面の集合  面の定義 * 法線方向の不連続 * ガウス曲率 * 色・明るさ --- 使用が容易維持が容易大島白井システム 見えに基づく面表現 法線方向の不連続 R7 AA(+) R6 A 4(+) R3 A5(+) A9(+) AD(+) RC RB AB(+) A1(+) R8 R1 A8(+) R5 Model RD モデルの使用法 System 固有空間法  画像（ベクトル）の圧縮法  寄与の大きい固有ベクトルを抽出  大きなサイズの画像列を１０次元程度に固有空間法  トレーニング画像  画像の特徴を表わす空間から固有ベクトルを抽出  入力画像（高次元）を寄与の大きい固有ベクトルが張る低次元空間に射影固有空間法による認識例固有空間法の特徴  補間が可能  平行移動に弱い  隠蔽に弱い固有窓法による車両認識  画像を窓に分割  窓画像をベクトル化し固有ベクトルを抽出し窓表現をおこなう  各窓の投票による認識固有窓方式認識システムトレーニング画像固有空間投票認識結果投票空間 : 位置 x 画像番号入力画像Ａ車の中心投票方法 wi tj 投票空間 : 位置 x 画像番号窓の選択  3つの条件により安定な窓を選択 – Detectability – Reliability – Uniqueness Detectability  １枚の画像から安定に抽出できるか？低高 Reliability  画像の微少変動でも窓は安定か？ a2 不安定 b2 b2 a2 a1 b1 安定 a1 b1 固有空間 Uniqueness  他に類似の窓が存在しないか？ a1 a2 unique a1 b1 a2 b1 固有空間トレーニング画像  乗用車とワゴン車の２台の模型で実験  １５度ずつ回転した画像を撮影入力画像屋内実験の結果角度０９０１３５２７０２８５３４５１６５２７０３００３１５３３０１１６１５０３０３９７７５６１５５７１９７いくつの見えが必要か？アスペクト表現アスペクト＝トポロジー的に見えを分類  アスペクトグラフ  C AD ABD D A ACD B A D AB CD AC BC B BD BCD アスペクトの生成法 Face Label F1 F2 F3 F4 F5 F6 F7 F8 1 1 1 0 0 0 0 0 Visible Invisible アスペクトの生成法２アスペクト法を用いた認識システムウイングエンジ表現法 • 通常CADシステムで使用トポロジー情報エッジ－－－ウイングエッジ表現幾何情報面－－－面方程式頂点－－－頂点座標トポロジー情報 PCW NCCW PVert Nface Pface NVert NCW PCCW システム全体 body f1 f2 f3 e1 e2 e3 en v1 v2 v3 vn fn <vantage> Well-tessellated sphere rep  represent directions as points on the unit sphere (usually geodesic dome)  moving the points on the sphere out by their associated magnitude (usually the distance between a surface point and the mass center) 曲面の記述 曲率 ガウス曲率 拡張ガウス像曲線のパラメータ化 1. curve -- s arc length s a(s) = ( x(s), y(s) ) a(s) 2. tangent of a curve a’(s) = ( x’(s), y’(s) ) 3. curvature of a curve a”(s) = ( x”(s), y”(s) ) |a”(s)| -- curvature a' ( s)  s a( s  s) a' ( s  s) a(s ) a' ( s) a" ( s)  s a' ( s) a' ( s  s) 例（円） y 1. Arc length, s s  r  2. coordinates  r  y  r sin   r sin s r  as    xs , ys   r coss , r sin s  r r s  r x x  r cos  r cos s 3. tangent      a' s    sin s , cos s r r 4. curvature a" s    cos s r  r , sin s r  r   1 r 2 as  a" s   1 r a' s  as  S 曲率の定義 The normal direction (n) toward the empty side. a" s   k s ns  曲率による曲線表現 s=0 a b b c d a d arc length c b a s=0 c s=0 d a a b c スケールスペース a + a b + + e d c b f h d a c e g i j k 曲面の曲率法断面法曲率法断面でない法曲率の最大と最小＝主曲率主方向主曲率平面: 全ての方向で同じ  K1 K2  0  0 球: 全ての方向で同じ  K1 K2 円筒: K1  0 K2  0  0 K2  0  0 K2  0 楕円面: K1 双曲面: K1 ガウス曲率と平均曲率 Gaussian curvature  K1K2  K K1  K 2 Mean curvature  H 2 K1  0 K 0 K2  0 H 0 K1  0 K 0 K2  0 H 0 K1  0 K 0 K2  0 H 0 K1  0 K 0 K2  0 H 0 K1  0 K 0 K2  0 H ? 放物点ガウス曲率＝０の点をつないだ曲線 K 0 K 0 楕円点 K 0 双曲点放物点 F. Kleinの実験 F.Klein の仮説：顔の美は放物線の分布に関係する F.Kleinの実験：アポロ像上の全ての放物面点をプロット F.Klineの結果：曲線分布に特別な法則性はなかった主曲率線（lines of curvature）主方向（ Principal direction）最大曲率方向、最小曲率方向主曲率線主方向をつないだ曲線 PD PD PD 主曲率線の例主曲率線上の変曲点観測方向に不変な特徴ガウスマップ 1.ガウス写像 2.拡張ガウス像(EGI) 3.拡張ガウス像を用いた認識システムガウス写像 gauss map 1D gauss map 2D 拡張ガウス像 Extended Gaussian Image （EGI) n1 A1 n4 n1 Gauss mapping n6 n6 n3 n4 A1 n3 n5 n5 n2 n2 球面上に面積に対応した質量をプロットしたもの拡張ガウス像の例 side view top view Cylinder Ellipsoid 拡張ガウス像の特性 1. EGIが同一になることは、２つの凸多面体の合同条件 2. ガウス球上での写像面積と実物体の面積の比はガウス曲率に等しい 3. 球面上でのEGIの重みはガウス曲率の逆数 4. EGIの重心は球の中心 5. 物体の回転とEGIの回転は同期 EGIとガウス曲率の関係 S O  0  O K  lim object O large (K: small) O (K: large) small Gaussian sphere S  O small S O large  S small S large EGIの実装単位球面の分割 •全てのセルはほぼ同じ大きさ •全てのセルはほぼ同じ形状 •測地ドームである準正規測地ドーム EGIの使用法 10 20 0 5 8 0 5 8 0 viewing direction EGI table 複素拡張ガウス像垂直距離と面積を複素重みにエンコード nk k An k dk 0 Pn k  An k e jdk 複素EGI n1 A1 n4 n1 Gauss mapping n6 n6 A1e jd1 n3 n4 n3 d1 n5 n2 Origin n5 n2 EGIを使用したビンピッキングシステム Photometric stereo Needle map segmentation isolated regions Region selection target region Photometric stereo precise needle map EGI generation EGI EGI matching object attitude Grasp planning キャリブレーション照度差ステレオのための参照表ハンドアイキャリブビンピッキングシステム関数ベース表現１. 超楕円面 3. 一般化円筒 4. 拡張スネーク 5. 球面関数超楕円面  楕円面の一般化 x 2 y 2 z 2 [ ] [ ] [ ] 1 a b c 楕円面 1   2  1 超楕円面 2 1 1  2 2 2      x  2  y  2 1  z              1  a  b   c       a  b  size parameters c  1   shape parameters 2  超楕円面   0.1 1   0.1 2  1 2  2  1.9  1 1   1.9 1 input scene Segmentation result Superquadric representation of a rock grasp plan grasp execution 石拾い（火星探査ロボット用） Symmetry seeking 表現 Snakesの3次元版 x s V ( s, x ) rA (s) : axis position r ( s, x)  V ( s, x)  rA ( s) エネルギーの定義内部エネルギー軸の位置をなるべく保つ Eaxis   aV ( s)  VA ( s) ds 2 なるべく円形の形状 Ecir   br (s)  r (s, x)  dsdx 2 外部エネルギ明るさの勾配のある位置に形状   Egrad    c G   I (V ( s, x)) dsdx 2 2 内部エネルギー＋外部エネルギーを最小化画像からのポテンシャル場外部エネルギー場形状生成過程形状生成過程（ビデオ）円上表現 2D 形状 l i 同一の長さでサンプル  i 1 i  i 1 O 円上へマップ 2次元でのマッチング 1 7 2 6 5 4 similar shapes? contours rotation 2 1 0 3 3 7 4 6 5 circular representations 3次元球上投影 Regularization Each Mech has roughly equal area Each mesh has the same topology エネルギー最小化メッシュ球面の変形 – 内部エネルギー滑らかさ – 外部エネルギーデータ点特徴ほぼ同一の面積をもつように P3 P P3 Q P1 G Q P2 P1 G P2 球上属性イメージ Spherical Attribute Image (SAI) Gaussian Curvature Deformed Surface SAI マッチング例一般化円筒空間中の軸曲線とそれにそった断面形状の変化による体積 3次元カーブ S 断面一般化円筒のクラス分け Warped Skewed Layered GC axis Cross section planes Straight Torridal Cross sections Right Circular Open Transformation rule Polygonal Homogeneous Bilinear Linear Uniform Straight Homogeneous Generalized Cylinders r b R(s) s C(t) n 1. a(s) is a linear func 2. n-b planes are parallel 3. All cross sections have the same shape but may vary in size. モジュール表現 Human Arm Forearm Hand 階層表現抽出法  Initial light-strip image  initial axis estimation  preliminary center and axis estimation  Corn with smoothed radius function  completed analysis ACRONYM USERS Data Structure HI-LEVEL MOOELER LIBRARY CONTEXT GRAPH OBJECT GRAPH modelary module (user → GC) GRAPHICS MODULE prediction module PREDICTOR & PLANNER OBSERVABILITY GRAPH INTERPRETATION GRAPH SURFACE MAPPER PICTURE GRAPH PIX PIX EDGE MAPPER MATCHER interpretation module description module (image → GC) 拘束伝播特徴の長さの予測 p  (1´ f ) / d  P  [ pl , ph] 対応する特徴の発見 M  [ml , mh] Ｌ、ｆ、ｄなどのパラメータの範囲の新たな拘束 N '  M AND P  [nl , nh] nll  (1´ f ) / d nh  (1´ f ) / d 解析例 Edge image (PIX) GC description Interpretation graph 拘束伝播例 7 < WING-WIDTH < 12 1000 < M < 12000 7 < WING-WIDTH < 10.5677531 2199 < M < 3322 MATCH -- L1011!!! 2356 < M < 2489 体積表現法物体固有の座標系で表現 z x y r ( z)  x 2  y 2 1. 蓄積が容易 2. 使用が難しい r z 基本物体の集合表現  空間中に占める領域をボクセルで表現  球の集合  １つの物体を表現するのに多くの基本物体が必要 2次元クアッドトリー 1 2 4 5 Quad-tree 3 6 13 7 8 9 10 11 12 14 15 16 17 18 19 20 21 22 23 24 25 3 3 1 2 4 5 6 7 中間ノード空ノード実ノード 13 8 11 12 14 15 20 21 9 10 16 17 22 23 18 19 24 25 3次元オクトトリーオクトトリ表現 – 2次元のクアドトリの3次元版 2 2 0 6 7 3 7 3 3 5 1 1 Oct-tree 中間ノード空ノード実ノード Constructive solid geometry（CSG)表現プリミティブ物体とそれの論理演算で複雑な物体を表現  CADシステムへの入力  通常CSGからウイングエッジ表現に自動変換  CSGの文法 <CSG rep> :: <primitive solid> | move <CSG Rep> by <Motion params> <CSG Rep><operation><CSG Rep> leaf node: either primitive or motion params other node: Boolean operations (UNION, DIF, INT) セル分割表現 G *複数の表現が存在まとめ  表面表現法 – 基本面の集まりで表現 » アスペクトグラフ » 拡張ガウス像 » ウイングエッジ表現  関数表現法 – 関数形（生成ルール）で表現 » » » » 一般化円筒超楕円 Symmetry Seeking 球属性像  体積表現法 – 基本体積の集まりで表現 » constructive solid geometry » オクトトリー