ステレオカメラを用いた人の行動解析

ステレオカメラを用いた人の行動解析
研究概要
研究の独自性
差分ステレオ技術を用いて、人の3次元空間的な移動を検知し、不
審者や不隠状況を抽出する.
・ 複数歩行者の3次元運動計測データから歩行者、グループ行動、
異常な行動を抽出
・ TDBN (Time Dynamic Bayesian Net) の導入
- 過去の3次元運動計測データ(時系列)を考慮したベイズ推論
・ 多段推論機構の導入
- 前段:歩行者行動の自動生成と異常検知
- 後段:異常状態の詳細推定
差分ステレオによる3次元運動計測は、従来の2次元計測と異なり、子供と大人の行
動分類や転倒など高さ方向のデータを必要とする行動解析が可能である。
さらに、我々のシステムは、リアルタイムの3次元運動計測データ解析を実現してい
る。時間経過に伴うコンテクストの変化を考慮することで、より正確なコンテスト抽出を
可能としている。歩行者がしゃがみ込んだ場合、休憩を取っているのか、転倒してい
るのかある時間の状態から得られたデータだけで判別することは難しい。
実験データ計測
異なる高さによるデータ計測
コンテキスト抽出のフロー
入力データ
前段:イベント抽出
DP Matching (k-means method)
による異常行動パターン検出
t -2秒
t -Δt秒
t秒
t +Δt秒
歩行者(群)3次元運動データ
3次元座標を例に考えると、歩行者が転んだ
場合は、歩行速度が急に低下し、歩行者の
高さ(z座標値)も急に小さくなると考えられる
• 速度ベクトル類似性
• 3次元座標値
• 距離データ平均
• ベクトル挟角平均,等
後段:TDBN実時間推論
検出されたイベントに対応したコンテキス
トを推定する
目線高(1mの位置)
自動販売機上(2mの位置)
イベント抽出
ステレオカメラデータを距離や時間をトリガ
として任意の時間で区切ったデータである
TDBN : Time Dynamic Bayesian Net
過去の3次元運動計測データ(時系列)を考慮したベイズ推論
転倒のシーン(5mの位置)
モデルに記述された時間情報に応
じてノードに変数(歩行者の状態)
をセットしてベイズ推論を実行する
t-Δt秒前の
状態変数
t秒での
状態変数
t+Δt秒後の
状態変数
座るシーン(5mの位置)
今年度の成果
・ キャンパス規模での実験データ
の蓄積と解析ツールの整備
適応例:転倒の検出
・ 群行動コンテクストに対応
- 偶発的な群れ、仲間同士の群れを識別
・ 過去の運動解析データを考慮した推論機構の導入
t-1秒前
t秒
t+1秒後
- 異常検知直前の行動時系列データを推論に利用
ETPB データビューワ