研究テーマ: 状況・状態把握技術 - 情報生体システム工学科

コンピュータビジョンとその応用(2)
~ 画像監視・移動ロボット
鹿児島大学大学院 理工学研究科
渡邊 睦
[email protected]
渡邊研究室研究内容:
3次元・動画像処理・認識技術







3次元物体認識
動画像処理・認識
統計的画像パターン認識
並列協調分散画像認識
(親和的情報空間の構築)
移動ロボット視覚認識
福祉応用ビジョンシステム
画像監視ビジョンシステム
・・・
渡邊研究室:
http://www.ics.kagoshima-u.ac.jp/~fics/
親和的情報空間とは
Friendly Informative Cyber Space(FICS)
人間(群)とコンピュータ(群)が
自然・自在にコミュニケーションできる環境
(物理空間,情報空間,認知空間のシームレスな結合)




身近・手軽・リアルタイム・完全非拘束
ロバスト(環境変動,照度変化,有限視野,・・)
エージェントベース
~状況に応じた発現(隠身・気付き・気配り)
学習・進化発展
関連研究

Forest of Sensors
~ MIT・AI Lab / E.Grimson
& INRIA / O.D.Faugeras
複数物体の移動状態追跡による屋外監視

Smart Room ~ MIT Media Lab./ A.Pentland et al.
“Perceptual intelligence”を持ったアシスタント(ALIVE)

ロボティック・ルーム
~ 東大先端研 / 佐藤(知)
インテリジェントな病室の実現

Human Reader
~ ATR・知能映像通信研 / 間瀬
ビジョンベース・マンマシンインタフェースの実現

就寝状態自動モニタリングシステム ~ 東芝・渡邊ら / 愛媛大・石原ら
夜間無呼吸症の自動監視(福祉用途)の実現結合されたコンピュータ
親和的情報空間構築の意義
 少子化・高齢化社会の進行
~ 2020年には4人に一人が高齢者(65歳以上)
痴呆者 現在180万人 ⇒ 数年後300万人へ
 効率重視型(省力・自動化)⇒人間中心型
~ CV・PR キラーターゲットの変遷
⇒能(脳)力補完・補助 vs 脳機能・日常活動の阻害

次世代研究テーマの発掘
~ 分散並列AI,4次元(3次元+動画像処理)ビジョン,
感性情報処理・認識,意識の解明・人工意識の実現
屋外: 信号機の適応的制御,迷子用道案内,・・
親和的情報空間のイメージ1(自動ドア)
移動中の人物を追跡
ドアの傍に所在
人物がドアに向って接近したら開く
動画像処理: 計測⇒利便性向上
親和的情報空間のイメージ2(訪問者応接)
訪問者認識・
挨拶
訪問者の作業状態
(多忙・暇)に
応じた出現・消滅
訪問者の心理状態
に応じた応接
~
対話,
自律移動ロボット
によるサービス
現在目標: 分散協調視覚認識による
親和的情報空間の構築
物理的空間に配置された複数カメラの動画像入力
↓
自律エージェント群による分散並列視覚処理・認識
↓
人物の挙動,状態のリアルタイム認識
自律移動ロボットの視覚制御
対話型コミュニケーション
(CGアニメーション,音声)
~アフォーダンス付加
渡邊研究室の構成

H16年度メンバー(15名)


D3:
D1:
M2:
M1:
B4:

研究G



古賀由紀夫(休学中)
勝間大輔,福添孝明
片山明伯,西奈津子,山本大樹
伊藤雅人,下脇克友,中野広樹,矢野雅之,水戸大輔
清水大輔,竹井沙織,田中宏樹,堀之内あすか
★状況認識G: 福添,伊藤,水戸,田中,堀之内
★3D物体認識G: 勝間,矢野,竹井
★移動ロボットG: (古賀),片山,下脇,中野
★スポーツ映像解析G: 山本,清水
★福祉ビジョン: 西
研究目標(個別)










動画像シーンの実時間記述作成
シーン変化の実時間認識
移動人物実時間追跡
人物状況認識(当面:制約状況下)
実時間個人認証
3次元物体認識(当面:研究室内備品を対象)
環境認識(当面:研究室を対象)
移動ロボットと人間のインタラクション支援
映像解析による利便性向上(当面:スポーツ映像を対象)
意思疎通支援(当面:障害者・高齢者を対象)
複数移動物体追跡技術による
在席自動管理システムの構築
伊藤 雅人
学会発表:
伊藤,福添,水戸,田中,堀之内,渡邊,
“複数移動物体追跡技術による在席自動管理システムの構築”,
H16年電気関係学会九州支部連合大会講演論文集,
Vol.??, pp.- (2004.9)
在席自動管理システムの処理内容
アクティブカメラを制御し人物の追跡、
着席判定を行いその着席位置の情報
をサーバに送る
人物の固有情報を検出時に取得し,
テンプレートマッチング技術を用いて追跡を行う
人物が着席したということを判断し、その時の
カメラの角度情報から着席位置を表示する
全体の処理の流れ
テンプレート取得領域
全てに変化があるか
N
Y
テンプレート取得 追跡開始
着席があるか
Y
サーバにカメラの追跡最後の
角度情報を送る
N
角度情報から着席位置を表示する
カメラが初期位置に戻る
実験条件1
左カメラ
右カメラ
実験室全景
左右カメラ位置
現在(2004.9)は部屋の4隅にアクティブカメラを設置
実験条件2
右カメラからの視野
左カメラからの視野
着席検出実験例(実験室3・原画像)
右カメラ
結果
サーバ
左カメラ
実験結果 (2004.2時点)
8人がそれぞれ8箇所の席の中から
ランダムに選んだ5箇所の席に着席する状況で,
合計40回の着席検出実験を実施
・追跡成功率(進入から着席直前まで) 85%(34/40回成功)
・着席判定率(進入から着席位置表示まで)70%(28/40回成功)
処理速度:
待機中 15FPS
追跡中 3~4FPS
分散協調視覚システムにおける
完全無拘束型人物認証システム
福添 孝明
学会発表:
福添,伊藤,水戸,渡邊,
“分散協調型人物認証方式の研究開発”,
第7回画像の認識・理解シンポジウム(MIRU2004)論文集,
Vol.1, pp.607-612 (2004.7)
概要
人物認証を制約的に実施できない環境において,
個人性を反映すると考えられる画像特徴を
複数同時取得し,
確率的手法にて統合判断することにより,
人物認証を行う手法の開発
適用例: 親和的情報空間化




研究室等の在室管理
講義における出席管理
コンビニ等における
利便性向上
CDショップの防犯
(株式会社Misumi)
「鹿児島TLO情報交換
会」
番号
1
2
3
4
5
6
7
8
9
10
11
名前
古賀
勝間
福添
片山
西
山本
伊藤
下脇
中野
水戸
矢野
1
×
×
○
○
×
○
○
○
○
○
○
8
×
×
○
×
○
×
○
○
○
×
○
15
×
×
○
○
○
×
○
×
×
×
○
22
×
×
○
○
○
×
×
×
×
○
○
29
×
×
○
○
○
○
×
○
○
○
×
分散協調個人認証手法の概要
Aさん?Bさん?Cさん?
体型が細めなら
AさんかBさんだろう
な
顔が黒いな
ら
Bさんだろう
な
たぶんBさんだ!
身長が高いなら
BさんかCさんだろうな
提案手法の流れ
人物領域の取得
頭位置の取得
顔向き判定
人物特徴取得
統合判断
人物領域の取得1
背景画像
入力画像
人物領域の取得2
背景差分
人物領域の取得3
人物領域
頭位置の取得
顔向き判定
後
前
頭部明度ヒストグラム
人物特徴の取得
人物領域の幅と頭の幅
人物領域の高さと頭の幅
人物領域の縦横比
頭領域の明度分布
人物領域の面積と頭の幅
人物領域のエッジ量
体型
頭身
体型
髪・顔
体型
服の着こなし
現時点では,数値(1次元)化可能な特徴のみ利用
人物認証手法
1.ベイズ(ネットワーク)判別:
P 事後
(人物x (k ))
特徴数
P
P 条件付
(人物x (k ) / 特徴i)
(特徴i)
事前
特徴i 1
2.最大事後確率推定(MAP)法:
各時点tの判別結果  Max(k{P
)
(人物x (k ))}
事後
3.多数決原理:
動画像系列において最大判別数を持つ人物を当該人物として認証
人物特徴の蓄積情報
2.0
2.1
1.9
2.3
2.2
2.1
2.2
2.1
1.9
人物特徴
時系列観測
人物特徴の蓄積情報
人物認証実験例(プログラム演習室)
最
大 大
事
後
確
率
値
(
多
数
決
)
を
有
す
る
小 人
物
実験結果(判別結果推移例)
50
45
40
35
People01
People02
People03
People04
People05
People06
People07
People08
People09
People10
25
20
15
10
5
0
1
4
7
10
13
16
19
22
25
28
31
34
37
40
43
46
49
52
55
58
61
64
67
70
73
76
79
82
85
88
91
94
97
100
103
106
109
112
115
Frequency
30
Frame
認証対象者:山本(People02)
10名による認識成功率
(2004.2時点)
実験室(人物特徴6つ) 80%
 実験室(人物特徴4つ) 70%
 実験室(人物特徴2つ) 50%

処理速度:15FPS,CPU使用率20%前後
動画像処理による
講義自動評価システムの研究
水戸 大輔
学会発表:
水戸,福添,伊藤,田中,堀之内,渡邊,
“動画像処理による講義自動評価システムの研究”,
H16年電気関係学会九州支部連合大会講演論文集,
Vol.??, pp.- (2004.9)
背景 ~FDと授業評価~

アンケートによる授業評価の問題点
・当該時間の指導内容を評価していない
・生徒の評価者としての信頼性
理想的なFDにはアンケートだけの判断でなく
さらに複眼的な講義状況の把握の必要性
研究目的
講義をテーマに受講者の状態
を把握するシステムの開発
遠隔授業や授業評価
システムの発展へ
処理の流れ



座席領域の設定(手動)
ターゲットの着席判定
ヒストグラムを用いた「正面顔」パターンの学習
ヒストグラム解析による顔向き判別
時系列変化の解析による動作認識
顔向き判定+ターゲットのアクティブ判定
による統合判断
⇒集中度をリアルタイム表示
講義自動評価実験の様子
講義評価時の状態認識
動き
大
小
ACTIVE ACTIVE
顔 前
向
き それ以外 状態未知 Non-ACTIVE
実験環境
鹿児島大学情報工学科棟
72号講義室
 実験講義
人工知能基礎(渡邊)
 実験対象者 3年生 12名(17名中)

実験場所
PPTによる講義のため消灯する⇒ 居眠りなどが発生
実験の様子-1
上段: 動き認識結果
下段: 顔向き認識結果
実験の様子-2
上段: 動き認識結果
下段: 顔向き認識結果
処理速度:
8FPS
講義自動評価実験 まとめ
総合結果
ACTIVE
Non-ACTIVE
34%
状態未知
17%
34%
54%
26%
12%
55%
40%
28%
自律移動ロボットにおける
人物追跡の研究
中野 広樹
学会発表:
中野,下脇,片山,渡邊,
“カルマンフィルタを用いた人物位置予測に基づく
自律移動ロボットの人物追跡システム”,
第22回日本ロボット学会学術講演会論文集,
Vol.??, pp.- (2004.9)
目 的

移動ロボットから送信される動画像を
解析することにより,
人物の足領域を検出・位置特定し、
実時間で追跡を行うシステムの開発
背 景

自律移動型ロボットの用途の広がり

介護・活動支援
(例)盲導犬ロボット,知的車椅子

日常生活支援
(例)掃除機ロボット,スーパー自動買物カート

教育・アミューズメント支援
(例)ペットロボット,自動運転シミュレータ
今回提案するシステム
初回検出時
背景差分による処理領域内への人物の進入を検出
人物追跡時
エッジ検出処理を行い、この結果に対して
カルマンフィルタによる一期先予測を行い、人物の場所を推定
(繰り返し)
上記で推定した人物の存在方向にロボットが移動
人物検出(背景差分)
【システム1番目の処理】

背景差分を用いて人物の処理領域内への進入を検知

X・Y軸方向の累積投射のピークを検出することにより,
人物の下端(足元)座標を決定

このエッジ周辺の色相ヒストグラム
パターンを学習
人物位置予測・位置特定
【システム2番目の処理】
一期前の画面上での人物の位置・速度
の情報をカルマンフィルタに入力し、
現時点の到達位置を予測
↓
上記の予測位置周辺の領域を設定し,
この領域に含まれるエッジを探索
↓
領域中で最下端位置にあるエッジを
人物の下端(足元)候補として選出
↓
このエッジ周辺の色相情報を取得し,
最初に学習したヒストグラムパターンと
比較することにより検証
カルマンフィルタ
確からしい予測値を時系列的に求めるためのフィルタ
 一期先予測
 フィルタリング
人物位置の観測値と予測値との
誤差を比較し、統計学的に現在
位置を修正

ˆ  X  K Z  H Xt
X
t
t
t
t
1
ˆ
K  P HR

t
1
t
t
t
Pˆ t  P  H R H
T
1
t

1

ˆ
X t 1  FX
t
Pt 1  FPˆ t F T  Q t
この修正・予測を繰り返す
ことで、次第に、予測式は
最適な形に収束
カルマンフィルタの設定

今回は下記のように設定
X t  X t
T

Xt 
 1 t 
1 0
 H  

F  
0 1 
0 1
X

X
t
t 1
X t 
t
ˆ X
ˆ P
X
P
0
0
0
0
ロボットの移動
【システム3番目の処理】


画面内での座標より,人物の下端までの3次元距離、方向を算出
計算後、下記のように速度を設定し,
人物の存在予測方向に向けて移動制御
移動ロボットによるターゲット追跡時の速度の設定
VR  V  V
VL  V  V
V  KV LT
V  K tT  K tDT
V
Lt
Θt
見失った場合の処理
違う状態が続くようであれば
足元周辺の色相ヒストグラム
初回学習パターンとの
(正規化済み)
↓
類似性判定
ロボット停止
↓
背景差分処理へ
ロボット追跡再開
処理速度:
8~9FPS
実験環境・通信システム
◇ 計算機のスペック
CPU / P4-2.6GHz memory / 1G
開発言語/ Microsoft Visual C++ .NET
キャプチャ / Matrox METEOR-Ⅱ
映像信号(有線)
OS / Windows XP
ロボット制御信号
(無線シリアル通信)
TELSTAR TR-801C
映像信号(無線)
ロボット / Pioneer3-DX8
カメラ / 約25万画素相当のカメラ
実験結果1
【自律移動型ロボットによる人物追跡】
実験結果2
【人物追跡時の処理画面】
実験結果3
【追跡中に別な人物が現れた場合】
内部状態と外部への顕れとの関連付けをどうするか?
⇒ 脳波解析の利用
今後:人物状態自動認識研究の目標
人物の内面状態を,外部への顕れから
推定する技術を確立することにより,
完全無拘束状態における状態認識システムを実現


内部状態(認識対象候補):
- 集中・居眠り
- 快・不快
- 注視・概観
利用可能な画像情報
- 姿勢: 身体伸び・伏せ・・・
- 動作: 手,首,身体全体,・・
- 表情: 顔部品の局所変形,目線,・・
実験計画中
画像記録
画像記録
脳波波形
モニタリング
呈示・作業内容:
・データ入力
・語学問題
・映画・ドラマ
・スポーツ映像
・ゲーム ~
特異キャラ出現
ご静聴ありがとうございました