Spatio-temporal Feature Based Keypoint of Interest and Hardware Implementation for Cloud Recognition System 池永研究室修士課程修了鈴木貴大研究背景ハードウェア実装特徴点抽出提案手法         クラウドによる認識システムの登場問題点：認識に不必要な特徴点まで抽出してしまう提案：実時間動作する Keypoint of Interest (KOI) 抽出利点：通信する特徴点するデータ量の削減演算量の削減三角関数，除算の近似計算特徴点検出と特徴量記述の並列処理特徴点マッチングのパイプライン処理マッチング処理の並列化 Matching with previous frame BRAM1 Cloud Cloud Large number Recognition result of keypoints Recognition result Device of user BRAM4 1 11101・・11 2 10100・・01   Max 01010・・10 keypoints in k frame Small number of keypoints BRAM controller SAD Keep minimum distance data BRAM2 1 11101・・11 2 10100・・01   Max 01010・・10 keypoints in k-1 frame Device of user Matching with database BRAM5 mux BRAM3 BRAM controller SAD keypoints in k frame 1 11101・・11 2 10100・・01   Max 01010・・10 keypoints in database Conventional keypoint Keypoint of Interest (KOI) WE Keep minimum distance data 評価結果提案アルゴリズム実験環境近似KLT trackerによる高速化カメラモーション不変なオプティカルフロー算出輝度勾配とオプティカルフローの重み付けによる特徴点選択特徴点クラスへMRFの適用・CPU (Core i7-2600 CPU 3.40GHz) ・画像サイズ Full-HD (1920×1080) ・8種のシーケンスで評価・Virtex-6 (XC6VLX760) 1. Approximated KLT tracker TP TP  FN TP precision  TP  FP recall  2. Camera motion-invariant optical flow 3. 従来手法 Intensity gradient Keypoint weight Binarization Keypoint class 4. 1163 84 処理時間 794 189 ソフトウェア X  x1 , x2 ,, xN  フレームレート [fps] 1 yi  {0,1} E ( Z )   g i ( zi )   hij ( z j , zi ) i data term g i ( zi )  MRF 特徴点数 xi  {0,1,,255} Y  y1 , y2 ,, y N   yi  z i Generation of descriptor i, j smoothing term hij ( z j , zi )   exp((dist (i, j )) 2 ) 提案手法 5.3 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 Proposed algorithm Conventional algorithm 0.8 ハードウェア 0.6 60 recall Combination Optical flow recall 1. 2. 3. 4. WE 0.4 0.2 0 0 0.5 1 - precision 1 Proposed algorithm Conventional algorithm 0 結論    0.5 1 - precision Keypoint of Interest 抽出の実現 93%の特徴点削減・76%演算量削減ハードウェア化により60 fpsの処理早稲田大学基幹理工学部電子光システム学科早稲田大学大学院基幹理工学研究科基幹理工学研究科電子光システム学専攻電子光システム学専攻池永研究室池永研究室 1