特定人物の検出・追跡システムの検討 A Study on the System that Identifies and Tracks a Specific Person ○市川賢志郎† ，弓指聡康†，山本薫† ，中村明生† †東京電機大学防犯カメラによる映像中の人物が登録者であるのかを判別し必要に応じて追跡・監視を行うシステム提案システム概要  映像技術における人物の検出・認証・追跡処理を統合し一連の流れを持ったシステムとして構築  必要な処理 ①動物体追跡開始 ②人検出入力画像  人物検出処理・画像から人物領域を抽出・人物特定・追跡のための前処理動物体抽出動物体追跡  人物認証処理・服装や身体的特徴（顔・体格など）から監視対象を特定 ③顔認証  人物追跡処理・監視対象の行動記録認証されず追跡継続  動物体抽出処理（前処理） T：検出人物検出 ④追跡継続or終了人物認証 F：未検出 F：未登録者 T：登録者終了動物体追跡処理 前処理として行った動物体抽出によって得られる領域の色情報を基にパーティクルフィルタを用いて対象を追跡パーティクルフィルタ（アルゴリズム） ⇒追跡対象となる人物を色情報を用いてモデル化 ⇒動物体抽出には背景差分・フレーム間差分を併用 Step1：初期化・動物体領域からHSV表色系における色ヒストグラムを取得・動物体領域に対してランダムにパーティクルを生成  パーティクルフィルタ Step2：状態推定 ⇒追跡対象の確率をパーティクルの密度によって近似して表現・追跡対象が画像中のどこにいるのかを推定・パーティクルは尤度・運動モデルを持つ・運動モデルには追跡精度向上のためランダムウォーク・等速直線運動を組み合わせた．動物体抽出・個々のパーティクルに運動モデルを適用し次のフレームにおける人物位置を推定する・運動モデルはランダムウォークと等速直線運動 Step3：尤度推定・初期化時に取得した色ヒストグラムと入力画像中のパーティクル周辺の色ヒストグラムを比較し尤度を決定・尤度計算にはバタチャリア距離を用いる m S   pu qu u 1 ランダムウォーク S：類似度 p：モデルのヒストグラム q：パーティクル周辺のヒストグラム m：ヒストグラムの階級の数 Step4：パーティクルの選択・予測したパーティクルから尤度に応じてパーティクルを選択（尤度の高いパーティクルが残る）・以降Step2 ~ 4を繰り返す等速直線運動パーティクルフィルタによる追跡例人検出処理  検出処理手順  Joint HOGによる識別器を用いて動物体領域中から人を検出 ⇒HOG特徴を利用しAdaBoostによる学習を行い 1. 動物体領域に対して検出処理を実行・背景部分の類似した特徴による誤検出の低減  HOG特徴・画像全体への検出処理による実行速度の低下を軽減輝度勾配のヒストグラムを特徴ベクトル化 ⇒対象の形状を表現，照明変動・わずかな向き変化に頑健学習用画像 0. 学習用データベースを用いて識別器を作成・学習用画像のサイズを縦×横＝30×80[pixel]に正規化・HOG特徴は画像を5×5[pixel]の領域ごとに算出人物を検出するための識別器を作成勾配方向算出時間 t ヒストグラム作成 0 ～ 1.1 動物体領域から画像を切り出し特徴量を算出 1.2 取得した特徴量を識別器へ入力 2. 識別器の出力に応じて人物か人物でないかを判別特徴ベクトルの取得 180 勾配方向（20deg きざみ）  f0    Fi     f   8 識別器動物体領域においてラスタスキャン識別器による人検出人物認証処理  検出・認証処理手順  顔検出によって得られた顔画像に対して認証処理を実行 0. 検出用識別器・認証用データベースの作成 ⇒Haar-like特徴を利用した顔検出処理を行い顔画像を取得 ⇒顔画像に対して固有顔法による人物認証処理を実行 0.1 顔検出用識別器の生成・学習用画像のサイズを縦×横＝32×32[pixel]に正規化・Haar-like特徴を用いて識別器を生成  顔検出処理 ⇒Haar-like特徴を利用した識別器により顔領域を抽出 Haar-like特徴・白黒の領域を持った矩形のフィルタ・白と黒の領域間の明度差を特徴量として取得顔検出結果例 Haar-like特徴の例 0.2 認証用データベースの生成・学習用画像のサイズを縦×横＝32×32[pixel]に正規化，正規化画像を平坦化・主成分分析を行い，固有顔特徴を算出  顔認証処理 ⇒検出した顔画像をデータベースとの比較によって人物を認証 固有顔法入力画像 ①顔画像の画素値をベクトルの要素とし特徴量として抽出 ②登録用画像全体の特徴量に対して主成分分析を行い固有値・固有ベクトルを取得平坦化特徴ベクトル取得  x1   x xk   2   x  M 32×32[pixel]        1024次元 Aさんを表すベクトル・登録者の特徴量をよく分離するような新しい軸を取得・次元数の多い特徴量に対して行うことで次元数を削減 1. 動物体領域に対して検出処理を実行 2. 検出された顔領域に対して，認証処理を実行主成分分析前次元数： 1024次元主成分分析後次元数： 40次元サイズの正規化 3. データベースへの登録／未登録を判別固有ベクトル判別・マハラノビス距離による評価登録画像から取得した特徴量と固有ベクトルを利用し特徴量を算出⇒データベースに登録 Bさんを表すベクトル入力画像から取得した特徴量とデータベース内の特徴量との距離を算出距離が最も近い登録データによって対象を判別実環境への導入・検証 人物検出・追跡・認証処理を組み合わせ,一連のシステムとして構築 • 開発環境 • 実験環境使用機器：・Pan-Tilt カメラ ( SONY EVI- D100) ・PC ( Intel Core2duo3.00GHz ) • 特定の人物を追跡することが可能であるかを検証＜実験条件＞  監視空間は入力画像全体とする  とにかく動物体は追跡する  追跡中に人検出処理を行い動物体領域に人が居たなら認証処理へ進む  追跡中に人物認証処理を行い登録者／未登録者の判別を行う  認証結果に応じて追跡処理の継続／終了を決定プログラミング環境：・Visual Studio 2005 ・OpenCV 人物認証用人物検出・追跡用カメラの配置＜実験結果＞結論  検出・特定・追跡処理を統合し一連の流れを持ったシステムを構築した  実環境への導入実験により特定人物の追跡についての可能性を示した  個々の技術の精度・安定性を向上する必要がある人物追跡においては，運動モデルにランダムウォーク・等速直線運動をそれぞれ用いた結果，追跡精度が向上した展望  人物追跡において，追跡のためのモデルについて検討する  人物認証において，顔画像が取得できない場合への対応として衣服を用いた認証手法を検討する  顔認証において，顔向きや表情の変化に対応できる手法を検討する人物検出結果人物位置対応付け結果参考文献 [山内 2008] 山内悠嗣, 藤吉弘亘, 山下隆義, “Boostingに基づく共起表現による人検出”, 第11回画像の認識・理解シンポジウム(MIRU2008), pp.180-187, 2008. [加藤 2007] 加藤丈和, “パーティクルフィルタとその実装法（チュートリアル）”, 情報処理学会研究報告, CVIM, Vol.2007, No.1, pp.161-168, 2007. [酒井 2006] 酒井幸市, “画像処理とパターン認識入門”, 森北出版株式会社, pp.113-130, 2006. 人物追跡結果入力画像動物体領域追跡