赤外線映像におけるドライバの顔方位判定 07/03/21（水）神戸大学自然科学研究科情報知能工学専攻メディア工学講座井上淳一滝口哲也有木康雄研究背景   車社会の安全に対する意識車のＩＴ化休憩を取ってください！  車がドライバの状態推定し、警告    疲れや運転に対する集中度視線やあくび正確な検出には顔の位置と方位が重要従来研究～顔の方位判定    ステレオカメラを用いた判定法目と鼻の位置を使用した方位判定法etc・・主に室内環境での実験で行われ、実際の車内映像に対して研究されていない実際の走行中の車内映像に対し実現する！本研究における顔方位判定  後段の処理に利用する  視線検出、ドライバの集中度判定  水平方向（左右確認する方向）の判定のみ  求められる顔方位判定方法は   単眼カメラ赤外線カメラ画像昼夜にロバスト提案手法顔検出 AdaBoost 鼻腔検出端点検出円形度連続度方位判定鼻腔検出  顔領域から鼻腔を検出する  段階的に2値化   画素数に関する閾値で打ち切り判定計算速度の向上  円形分離度フィルタ  暗領域の円形らしさ  制約を満たす2点を鼻腔として検出提案手法端点検出  顔の左右の端点を検出する  顔の2倍に拡大した領域  平滑化→エッジ取得 →膨張処理  鼻を基点に横に探索  最も縦に連なっているエッジ提案手法方位算出   両端の中心から端をf 、鼻から中心をn 次式で角度を算出 f n sin   f 1  左右は鼻がどちらにずれているかで判定 n 予備実験  顔、鼻腔、両端点の検出精度を測定する  静止画ＤＢ（角度が明記） 15度ずつ、範囲は180度 10代～60代までの男女300人 1角度300枚×7角度(左半面のみ)    予備実験各検出率 100 90 80 70 60 50 40 30 20 10 0 98.67 98.3 99.33 96.6 97.64 91.21 81.6 顔鼻腔端点 18.5 0度 15度 30度 45度考察   45度以上になると検出率が極端に悪化  背景エッジの誤検出 30度までの正面顔で鼻腔、端点のテンプレートを作成、それ以上はテンプレートマッチングで追跡提案手法流れ検出モード AdaBoost 探索範囲を限定顔検出度鼻腔検出端点検出円形連続度追跡モードマテッンチプンレグートマテッンチプンレグートマテッンチプンレグートテンプレート作成方位算出実験正面方位判定  正面か否かの判定   条件       正面は+-30度とする赤外線カメラ昼、夜走行中男3人、女2人 30fps，2500フレーム正解ラベルは顔の見た目で付与   正面：両目が完全に見える 0～30度正面以外：部分的に隠れる 30～90度結果（顔検出込みの精度）   正面方位判定の再現率は99.2%、適合率94.1％ラベルの付け方   99.6 99.2 97 95 93.72 94.42 94.07 93 再現率適合率テストで正面とされる 91 89 湧き出しが多い検出間違え→追跡  99 98.8 87 85 候補をある程度残し、尤度最大点の選択昼夜計まとめ     車内におけるドライバの顔の水平方向の判定方法  鼻腔と顔の端点の位置関係で判定静止画ＤＢの顔、鼻腔、端点検出率は45度以上になると極端に低下  30度以内の正面顔で鼻腔、端点のテンプレートを作成し、それ以上の角度はＴＭで追跡走行中の車載動画で正面方位の判定実験  走行中の車内の動画の正面方位の判定率は 93.6% 検出で間違えたまま追跡  候補をある程度残し、尤度最大点の選択処理結果（45s）ご清聴有難うございました！