ステレオカメラを用いた歩行者の行動解析ステレオカメラを用いた歩行者の行動解析ステレオカメラシステム歩行者の物理センシング・複数人の3 次元空間的な移動検知・多人数の群れの人数計測歩行者の行動解析システム歩行者高次コンテクストのリアルタイム抽出・単純行動取得・異常行動の推定 Point Grey Research Bumblebee2 プロジェクトのゴール • 歩行者・群の異常行動をリアルタイム検知 – 歩行者の異常行動例 • 倒れこむ、長時間うろつく – 群の異常行動例 • もみあう、一斉に逃げ出す • 歩行者行動の可視化既存研究との差分具体的な異常行動の検知ターゲット領域産総研人およびその動作の自動認識東京大学マルチセンサを用いた群集の行動認識歩行者単体歩行者群ミネソタ大学 Detection of Unusual Crowd Activity 異常行動の不検知 ATR: A social robot that anticipates… 既存研究との差分は 1．歩行者群に対応した具体的な異常行動の検知 2．高さ方向を考慮したコンテクストの取得（転ぶ、柵の乗り越えなど）歩行者行動と群行動の定義歩行者個人の行動群の行動単純な歩行者個人の行動・歩行者個人の移動スピード、移動方向、位置などから推定可能（歩く、走る、止まる、うろつくなど）単純な群行動・歩行者間や複数歩行者の個人行動の集積から判断する（同方向に歩く、全員が止まるなど）時間変化を考慮した歩行者個人の行動・不審者：長時間うろうろする時間変化考慮した群行動・群衆の逃走：複数人が急に走り出す d 群になる条件 d  1 M V Vは歩行者密度 Mは定数 2人以上の歩行者の集まりを群とする ※本研究では街中を想定した歩行者行動を対象とするダンスやジェスチャーなどを対象としない歩行者行動の多段推論機構前段の処理 Pedestrian Trajectory Data Pedestrian Set = ｛Ps0, Ps1, … PsN｝ Psi = <位置, 速度ベクトル, 人数> Primitive Activity Recognition Trajectory Matching 歩行者単純行動の認識･速度、方向（8方向に分類）･歩く、走る、うろつくなどイベント検知・歩行者経路から外れた人の検知･単純行動の変化（走り出すなど） Event Detection use these data Psi = <位置, 速度ベクトル, 人数, Primitive Activity> 後段の処理具体的な異常状態の推定多段推論の利点 Concrete Abnormal Situation Estimation 対象を絞った詳細推定が可能・監視対象を設定可能・多人数が存在する環境でリアルタイムに動作前段：単純行動の認識とイベント検知単純行動の認識（歩く走るなど）歩行速度と歩行タイプから学習済み SVMにより検知歩行経路による歩行タイプ判別 (5x5 vector) 通りすぎる人うろつく人イベント検知（例：歩行者経路から外れた歩行者） DP-Matchingで歩行者経路から外れた行動を検知 (50cmグリット) （k-meansにより歩行経路を事前学習）監視対象として後段部に詳細推定をディスパッチする実験シーン（屋内実験（取得データ数100）単純行動の検出精度 10frame/sec 1 0.9 0.8 歩行者単体 2人の群 0.7 0.6 0.5 ーン Uタり曲が左り曲が右つくうろるまる止歩行者経路の分類結果(3方向に分類）走歩く 0.4 後段：詳細な異常行動推定 TDBNを利用する理由 (時間長をモデル化可能なDBN) 1.歩行者・群の異常行動のモデリングには時系列データを扱う必要がある 2.記述性の高いモデル記述形式・ベイジアンネットワークは視認性の高いモデル・単純なHMMよりも記述性が高い転倒後起き上がってこないシーン t-1秒前 t秒 t+1秒後 t+10秒後 BNでは時系列状態をうまく表現できない DBNでは時間長を表現できない TDBNで表現できる歩行者コンテクストの例 1.長時間うろついている人物を不審人物とする 2.転んだ後、すぐに起き上がってこない人にのみ助けを呼ぶ時間変化および時間長を記述可能 t-Δt秒前の状態変数 t秒での状態変数 t+Δt秒後の状態変数 t+Δt２秒後の状態変数長時間倒れこんだ人にのみアラート出すモデルまとめと今後の課題 • 歩行者行動を可視化し、異常行動検知機構を実装した – 多段推論による監視対象の絞込み – TDBNによる具体的な異常行動推定 – キャンパス内での検証実験を行った (データ数200) • 次年度の課題 – 多人数による実験、評価 – 屋外環境における実験、評価