コンピュータビジョンとその応用（２） ～ 画像監視・移動ロボット 鹿児島大学大学院 理工学研究科 渡邊 睦 [email protected] 渡邊研究室研究内容： ３次元・動画像処理・認識技術 3次元物体認識 動画像処理・認識 統計的画像パターン認識 並列協調分散画像認識 （親和的情報空間の構築） 移動ロボット視覚認識 福祉応用ビジョンシステム 画像監視ビジョンシステム ・・・ 渡邊研究室： http://www.ics.kagoshima-u.ac.jp/~fics/ 親和的情報空間とは Friendly Ｉｎｆｏｒｍａｔｉｖｅ Ｃｙｂｅｒ Ｓｐａｃｅ（ＦＩＣＳ） 人間（群）とコンピュータ（群）が 自然・自在にコミュニケーションできる環境 （物理空間，情報空間，認知空間のシームレスな結合） 身近・手軽・リアルタイム・完全非拘束 ロバスト（環境変動，照度変化，有限視野，・・） エージェントベース ～状況に応じた発現（隠身・気付き・気配り） 学習・進化発展 関連研究 Forest of Sensors ～ MIT・AI Lab / E.Grimson & INRIA / O.D.Faugeras 複数物体の移動状態追跡による屋外監視 Smart Room ～ MIT Media Lab./ A.Pentland et al. “Perceptual intelligence”を持ったアシスタント（ＡＬＩＶＥ） ロボティック・ルーム ～ 東大先端研 / 佐藤（知） インテリジェントな病室の実現 Human Reader ～ ATR・知能映像通信研 / 間瀬 ビジョンベース・マンマシンインタフェースの実現 就寝状態自動モニタリングシステム ～ 東芝・渡邊ら / 愛媛大・石原ら 夜間無呼吸症の自動監視（福祉用途）の実現結合されたコンピュータ 親和的情報空間構築の意義 少子化・高齢化社会の進行 ～ ２０２０年には４人に一人が高齢者（６５歳以上） 痴呆者 現在１８０万人 ⇒ 数年後３００万人へ 効率重視型（省力・自動化）⇒人間中心型 ～ ＣＶ・ＰＲ キラーターゲットの変遷 ⇒能（脳）力補完・補助 ｖｓ 脳機能・日常活動の阻害 次世代研究テーマの発掘 ～ 分散並列ＡＩ，4次元（3次元＋動画像処理）ビジョン， 感性情報処理・認識，意識の解明・人工意識の実現 屋外： 信号機の適応的制御，迷子用道案内，・・ 親和的情報空間のイメージ１（自動ドア） 移動中の人物を追跡 ドアの傍に所在 人物がドアに向って接近したら開く 動画像処理： 計測⇒利便性向上 親和的情報空間のイメージ２（訪問者応接） 訪問者認識・ 挨拶 訪問者の作業状態 （多忙・暇）に 応じた出現・消滅 訪問者の心理状態 に応じた応接 ～ 対話， 自律移動ロボット によるサービス 現在目標： 分散協調視覚認識による 親和的情報空間の構築 物理的空間に配置された複数カメラの動画像入力 ↓ 自律エージェント群による分散並列視覚処理・認識 ↓ 人物の挙動，状態のリアルタイム認識 自律移動ロボットの視覚制御 対話型コミュニケーション （CGアニメーション，音声） ～アフォーダンス付加 渡邊研究室の構成 Ｈ１６年度メンバー（１５名） Ｄ３： Ｄ１： M２： Ｍ１： B4： 研究Ｇ 古賀由紀夫（休学中） 勝間大輔，福添孝明 片山明伯，西奈津子，山本大樹 伊藤雅人，下脇克友，中野広樹，矢野雅之，水戸大輔 清水大輔，竹井沙織，田中宏樹，堀之内あすか ★状況認識Ｇ： 福添，伊藤，水戸，田中，堀之内 ★3D物体認識Ｇ： 勝間，矢野，竹井 ★移動ロボットＧ： （古賀），片山，下脇，中野 ★スポーツ映像解析Ｇ： 山本，清水 ★福祉ビジョン： 西 研究目標（個別） 動画像シーンの実時間記述作成 シーン変化の実時間認識 移動人物実時間追跡 人物状況認識（当面：制約状況下） 実時間個人認証 3次元物体認識（当面：研究室内備品を対象） 環境認識（当面：研究室を対象） 移動ロボットと人間のインタラクション支援 映像解析による利便性向上（当面：スポーツ映像を対象） 意思疎通支援（当面：障害者・高齢者を対象） 複数移動物体追跡技術による 在席自動管理システムの構築 伊藤 雅人 学会発表： 伊藤，福添，水戸，田中，堀之内，渡邊， “複数移動物体追跡技術による在席自動管理システムの構築”， H16年電気関係学会九州支部連合大会講演論文集， Vol.？？, pp.- (2004.9) 在席自動管理システムの処理内容 アクティブカメラを制御し人物の追跡、 着席判定を行いその着席位置の情報 をサーバに送る 人物の固有情報を検出時に取得し， テンプレートマッチング技術を用いて追跡を行う 人物が着席したということを判断し、その時の カメラの角度情報から着席位置を表示する 全体の処理の流れ テンプレート取得領域 全てに変化があるか N Y テンプレート取得 追跡開始 着席があるか Y サーバにカメラの追跡最後の 角度情報を送る N 角度情報から着席位置を表示する カメラが初期位置に戻る 実験条件1 左カメラ 右カメラ 実験室全景 左右カメラ位置 現在(2004.9)は部屋の４隅にアクティブカメラを設置 実験条件2 右カメラからの視野 左カメラからの視野 着席検出実験例（実験室３・原画像） 右カメラ 結果 サーバ 左カメラ 実験結果 （2004.2時点） 8人がそれぞれ8箇所の席の中から ランダムに選んだ5箇所の席に着席する状況で， 合計40回の着席検出実験を実施 ・追跡成功率（進入から着席直前まで） 85%（34/40回成功） ・着席判定率（進入から着席位置表示まで）70%（28/40回成功） 処理速度： 待機中 15FPS 追跡中 3～４FPS 分散協調視覚システムにおける 完全無拘束型人物認証システム 福添 孝明 学会発表： 福添，伊藤，水戸，渡邊， “分散協調型人物認証方式の研究開発”， 第7回画像の認識・理解シンポジウム（MIRU2004)論文集， Vol.1, pp.607-612 (2004.7) 概要 人物認証を制約的に実施できない環境において， 個人性を反映すると考えられる画像特徴を 複数同時取得し， 確率的手法にて統合判断することにより， 人物認証を行う手法の開発 適用例： 親和的情報空間化 研究室等の在室管理 講義における出席管理 コンビニ等における 利便性向上 CDショップの防犯 (株式会社Ｍｉｓｕｍｉ） 「鹿児島TLO情報交換 会」 番号 1 2 3 4 5 6 7 8 9 10 11 名前 古賀 勝間 福添 片山 西 山本 伊藤 下脇 中野 水戸 矢野 1 × × ○ ○ × ○ ○ ○ ○ ○ ○ 8 × × ○ × ○ × ○ ○ ○ × ○ 15 × × ○ ○ ○ × ○ × × × ○ 22 × × ○ ○ ○ × × × × ○ ○ 29 × × ○ ○ ○ ○ × ○ ○ ○ × 分散協調個人認証手法の概要 Aさん?Bさん?Cさん? 体型が細めなら AさんかBさんだろう な 顔が黒いな ら Bさんだろう な たぶんBさんだ！ 身長が高いなら BさんかCさんだろうな 提案手法の流れ 人物領域の取得 頭位置の取得 顔向き判定 人物特徴取得 統合判断 人物領域の取得1 背景画像 入力画像 人物領域の取得2 背景差分 人物領域の取得3 人物領域 頭位置の取得 顔向き判定 後 前 頭部明度ヒストグラム 人物特徴の取得 人物領域の幅と頭の幅 人物領域の高さと頭の幅 人物領域の縦横比 頭領域の明度分布 人物領域の面積と頭の幅 人物領域のエッジ量 体型 頭身 体型 髪・顔 体型 服の着こなし 現時点では，数値（１次元）化可能な特徴のみ利用 人物認証手法 １．ベイズ（ネットワーク）判別： Ｐ 事後 （人物ｘ (k )） 特徴数 Ｐ Ｐ 条件付 （人物ｘ (k ) / 特徴ｉ） （特徴ｉ） 事前 特徴ｉ 1 ２．最大事後確率推定（MAP)法： 各時点tの判別結果 Max(k｛Ｐ ) （人物ｘ (k )）｝ 事後 ３．多数決原理： 動画像系列において最大判別数を持つ人物を当該人物として認証 人物特徴の蓄積情報 2.0 2.1 1.9 2.3 2.2 2.1 2.2 2.1 1.9 人物特徴 時系列観測 人物特徴の蓄積情報 人物認証実験例（プログラム演習室） 最 大 大 事 後 確 率 値 （ 多 数 決 ） を 有 す る 小 人 物 実験結果（判別結果推移例） 50 45 40 35 People01 People02 People03 People04 People05 People06 People07 People08 People09 People10 25 20 15 10 5 0 1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70 73 76 79 82 85 88 91 94 97 100 103 106 109 112 115 Frequency 30 Frame 認証対象者：山本(People02) 10名による認識成功率 （2004.2時点） 実験室（人物特徴６つ） 80% 実験室（人物特徴4つ） 70% 実験室（人物特徴2つ） 50% 処理速度：15FPS，CPU使用率20%前後 動画像処理による 講義自動評価システムの研究 水戸 大輔 学会発表： 水戸，福添，伊藤，田中，堀之内，渡邊， “動画像処理による講義自動評価システムの研究”， H16年電気関係学会九州支部連合大会講演論文集， Vol.？？, pp.- (2004.9) 背景 ～ＦＤと授業評価～ アンケートによる授業評価の問題点 ・当該時間の指導内容を評価していない ・生徒の評価者としての信頼性 理想的なＦＤにはアンケートだけの判断でなく さらに複眼的な講義状況の把握の必要性 研究目的 講義をテーマに受講者の状態 を把握するシステムの開発 遠隔授業や授業評価 システムの発展へ 処理の流れ 座席領域の設定（手動） ターゲットの着席判定 ヒストグラムを用いた「正面顔」パターンの学習 ヒストグラム解析による顔向き判別 時系列変化の解析による動作認識 顔向き判定＋ターゲットのアクティブ判定 による統合判断 ⇒集中度をリアルタイム表示 講義自動評価実験の様子 講義評価時の状態認識 動き 大 小 ACTIVE ACTIVE 顔 前 向 き それ以外 状態未知 Non-ACTIVE 実験環境 鹿児島大学情報工学科棟 72号講義室 実験講義 人工知能基礎(渡邊) 実験対象者 ３年生 １２名(１７名中) 実験場所 PPTによる講義のため消灯する⇒ 居眠りなどが発生 実験の様子－１ 上段： 動き認識結果 下段： 顔向き認識結果 実験の様子－２ 上段： 動き認識結果 下段： 顔向き認識結果 処理速度： ８ＦＰＳ 講義自動評価実験 まとめ 総合結果 ACTIVE Non-ACTIVE 34% 状態未知 17% 34% 54% 26% 12% 55% 40% 28% 自律移動ロボットにおける 人物追跡の研究 中野 広樹 学会発表： 中野，下脇，片山，渡邊， “カルマンフィルタを用いた人物位置予測に基づく 自律移動ロボットの人物追跡システム”， 第22回日本ロボット学会学術講演会論文集， Vol.？？, pp.- (2004.9) 目 的 移動ロボットから送信される動画像を 解析することにより， 人物の足領域を検出・位置特定し、 実時間で追跡を行うシステムの開発 背 景 自律移動型ロボットの用途の広がり 介護・活動支援 （例）盲導犬ロボット，知的車椅子 日常生活支援 （例）掃除機ロボット，スーパー自動買物カート 教育・アミューズメント支援 （例）ペットロボット，自動運転シミュレータ 今回提案するシステム 初回検出時 背景差分による処理領域内への人物の進入を検出 人物追跡時 エッジ検出処理を行い、この結果に対して カルマンフィルタによる一期先予測を行い、人物の場所を推定 （繰り返し） 上記で推定した人物の存在方向にロボットが移動 人物検出（背景差分） 【システム1番目の処理】 背景差分を用いて人物の処理領域内への進入を検知 X・Y軸方向の累積投射のピークを検出することにより， 人物の下端（足元）座標を決定 このエッジ周辺の色相ヒストグラム パターンを学習 人物位置予測・位置特定 【システム２番目の処理】 一期前の画面上での人物の位置・速度 の情報をカルマンフィルタに入力し、 現時点の到達位置を予測 ↓ 上記の予測位置周辺の領域を設定し， この領域に含まれるエッジを探索 ↓ 領域中で最下端位置にあるエッジを 人物の下端（足元）候補として選出 ↓ このエッジ周辺の色相情報を取得し， 最初に学習したヒストグラムパターンと 比較することにより検証 カルマンフィルタ 確からしい予測値を時系列的に求めるためのフィルタ 一期先予測 フィルタリング 人物位置の観測値と予測値との 誤差を比較し、統計学的に現在 位置を修正 ˆ X K Z H Xt X t t t t 1 ˆ K P HR t 1 t t t Pˆ t P H R H T 1 t 1 ˆ X t 1 FX t Pt 1 FPˆ t F T Q t この修正・予測を繰り返す ことで、次第に、予測式は 最適な形に収束 カルマンフィルタの設定 今回は下記のように設定 X t X t T Xt 1 t 1 0 H F 0 1 0 1 X X t t 1 X t t ˆ X ˆ P X P 0 0 0 0 ロボットの移動 【システム３番目の処理】 画面内での座標より，人物の下端までの3次元距離、方向を算出 計算後、下記のように速度を設定し， 人物の存在予測方向に向けて移動制御 移動ロボットによるターゲット追跡時の速度の設定 VR V V VL V V V KV LT V K tT K tDT V Lt Θt 見失った場合の処理 違う状態が続くようであれば 足元周辺の色相ヒストグラム 初回学習パターンとの (正規化済み) ↓ 類似性判定 ロボット停止 ↓ 背景差分処理へ ロボット追跡再開 処理速度： ８～９FPS 実験環境・通信システム ◇ 計算機のスペック CPU / P4-2.6GHz memory / 1G 開発言語/ Microsoft Visual C++ .NET キャプチャ / Matrox METEOR-Ⅱ 映像信号(有線) OS / Windows XP ロボット制御信号 (無線シリアル通信) TELSTAR TR-801C 映像信号(無線) ロボット / Pioneer3-DX8 カメラ / 約25万画素相当のカメラ 実験結果１ 【自律移動型ロボットによる人物追跡】 実験結果２ 【人物追跡時の処理画面】 実験結果３ 【追跡中に別な人物が現れた場合】 内部状態と外部への顕れとの関連付けをどうするか？ ⇒ 脳波解析の利用 今後：人物状態自動認識研究の目標 人物の内面状態を，外部への顕れから 推定する技術を確立することにより， 完全無拘束状態における状態認識システムを実現 内部状態（認識対象候補）： - 集中・居眠り - 快・不快 - 注視・概観 利用可能な画像情報 - 姿勢： 身体伸び・伏せ・・・ - 動作： 手，首，身体全体，・・ - 表情： 顔部品の局所変形，目線，・・ 実験計画中 画像記録 画像記録 脳波波形 モニタリング 呈示・作業内容： ・データ入力 ・語学問題 ・映画・ドラマ ・スポーツ映像 ・ゲーム ～ 特異キャラ出現 ご静聴ありがとうございました
© Copyright 2024 ExpyDoc
