ステレオカメラを用いた歩行者の行動解析 ステレオカメラを用いた歩行者の行動解析 ステレオカメラシステム 歩行者の物理センシング ・複数人の3 次元空間的な移動検知 ・多人数の群れの人数計測 歩行者の行動解析システム 歩行者高次コンテクストのリアルタイム抽出 ・単純行動取得 ・異常行動の推定 Point Grey Research Bumblebee2 プロジェクトのゴール • 歩行者・群の異常行動をリアルタイム検知 – 歩行者の異常行動例 • 倒れこむ、長時間うろつく – 群の異常行動例 • もみあう、一斉に逃げ出す • 歩行者行動の可視化 既存研究との差分 具体的な異常行動の検知 ターゲット領域 産総研 人およびその動作の自動認識 東京大学 マルチセンサを用いた 群集の行動認識 歩行者単体 歩行者群 ミネソタ大学 Detection of Unusual Crowd Activity 異常行動の不検知 ATR: A social robot that anticipates… 既存研究との差分は 1．歩行者群に対応した具体的な異常行動の検知 2．高さ方向を考慮したコンテクストの取得（転ぶ、柵の乗り越えなど） 歩行者行動と群行動の定義 歩行者個人の行動 群の行動 単純な歩行者個人の行動 ・歩行者個人の移動スピード、移動方向、 位置などから推定可能 （歩く、走る、止まる、うろつくなど） 単純な群行動 ・歩行者間や複数歩行者の個人行動の 集積から判断する （同方向に歩く、全員が止まるなど） 時間変化を考慮した歩行者個人の行動 ・不審者： 長時間うろうろする 時間変化考慮した群行動 ・群衆の逃走： 複数人が急に走り出す d 群になる条件 1 d M V Vは歩行者密度 Mは定数 2人以上の歩行者の集まりを群とする ※本研究では街中を想定した歩行者行動を対象とする ダンスやジェスチャーなどを対象としない 歩行者行動の多段推論機構 前段の処理 Pedestrian Trajectory Data Pedestrian Set = ｛Ps0, Ps1, … PsN｝ Psi = <位置, 速度ベクトル, 人数> Primitive Activity Recognition Trajectory Matching 歩行者単純行動の認識 ･速度、方向（8方向に分類） ･歩く、走る、うろつくなど イベント検知 ・歩行者経路から外れた人の 検知 ･単純行動の変化（走り出すなど） Event Detection use these data Psi = <位置, 速度ベクトル, 人数, Primitive Activity> 後段の処理 具体的な異常状態の推定 多段推論の利点 Concrete Abnormal Situation Estimation 対象を絞った詳細推定が可能 ・監視対象を設定可能 ・多人数が存在する環境でリアルタイムに動作 前段： 単純行動の認識とイベント検知 単純行動の認識（歩く走るなど） 歩行速度と歩行タイプから学習済み SVMにより検知 歩行経路による歩行タイプ判別 (5x5 vector) 通りすぎる人 うろつく人 イベント検知 （例：歩行者経路から外れた歩行者） DP-Matchingで歩行者経路から 外れた行動を検知 (50cmグリット) （k-meansにより歩行経路を事前学習） 監視対象として後段部に詳細推定をディス パッチする 実験シーン（屋内実験（取得データ数100） 単純行動の検出精度 10frame/sec 1 0.9 0.8 歩行者単体 2人の群 0.7 0.6 0.5 ー ン Uタ り 曲 が 左 り 曲 が 右 つ く うろ る ま る 止 歩行者経路の分類結果(3方向に分類） 走 歩 く 0.4 後段： 詳細な異常行動推定 Timed Dynamic Bayesian Network の提案 (時間長をモデル化可能なDBN) 1.歩行者・群の異常行動のモデリングに は時系列データを扱う必要がある 2.記述性の高いモデル記述形式 ・ベイジアンネットワークは視認性 の高いモデル ・単純なHMMよりも記述性が高い 転倒後起き上がってこないシーン t-1秒前 t秒 t+1秒後 t+10秒後 BNでは時系列状態をうまく表現できない DBNでは時間長を表現できない TDBNで表現できる歩行者コンテクストの例 1.長時間うろついている人物を不審人物とする 2.転んだ後、すぐに起き上がってこない人にのみ 助けを呼ぶ 時間変化および時間長を記述可能 t-Δt秒前の 状態変数 t秒での 状態変数 t+Δt秒後の 状態変数 t+Δt２秒後の 状態変数 長時間倒れこんだ人にのみアラート出すモデル まとめと今後の課題 • 歩行者行動を可視化し、異常行動検知機構 を実装した – 多段推論による監視対象の絞込み – TDBNによる具体的な異常行動推定 – キャンパス内での検証実験を行った (データ数200) • 次年度の課題 – 多人数による実験、評価 – 屋外環境における実験、評価
© Copyright 2024 ExpyDoc
