Move B3 rossi 親 takahiro インターネットの高速化によるビデオチャットの誕生 視線不一致問題の発生 Webカメラを使用したビデオ通話の際に発生する、 お互いの視線が一致しない問題(視線不一致問題) を解決する事 マジックミラーの半透過 性を利用する手法 Bodelin technology製 「See Eye 2 Eye」 複数のカメラからの画像 を合成する手法 Ruigang Yang Zhengyou Zhang 「Eye Gaze Correction With StereoVision for VideoTeleconferencing」 問題意識 既存の研究では特別な装置が必要であった. → 普及に至らなかった Lookie の目的 特別な装置なしで視線不一致問題を解決する ▪ 導入コストを低くして普及しやすくする 補正前 補正後 1 顔領域の検出 顔の位置と大きさを検出 2 俯角の判定 俯角(顔の上下方向)を判定 3 映像の補正 目の引き延ばしと写真の台形補正 Lookie system 映像 顔領域の検出 camera 顔領域の座標、大きさ 顔の映像 俯角の判定 俯角情報 monitor 画像の補正 補正後の映像 Lookie system 映像 顔領域の検出 camera 顔領域の座標、大きさ 顔の映像 俯角の判定 俯角情報 monitor 画像の補正 補正後の映像 顔の上下の角度 (見下ろす視線の方向と水平面がなす角度) カメラ 5度 俯角(ふかく) 補正にあたって重要な要素 補正には必ず正確な俯角(上下方向の顔の角度)が 必要 (例) カメラ 5度 静的に15度補正すると・・・ カメラ 10度 5度 Lookie 顔領域認識機能 映像 camera 顔領域の大きさ 距離判定機能 俯角判定機能 ウィンドウ位置 取得機能 画面の情報 ウィンドウの 位置情報 顔までの距離 俯角判定機能 monitor 顔の俯角 補正機構 補正映像 ①ユーザーがカメラの前で上下に頭をふる カメラ ②顔の縦幅(y)が最大になった時の顔を正面顔と判定 ③正面顔の縦幅(y)と変化後の縦幅(y’)を比較 ・同じ場所にいる限り、横幅(x)は変わらないため y 下を向いた顔 y’ 正面顔 (横幅は変わらない) x x openCVの仕様上、正確な縦横比は取得できず ①右のような模様が5cm間隔で 印刷された紙を用意する ① 5cm ② ②右図のように折る ③ camera ③顔と並ぶ位置で持ち、カメラで撮影する 同じ大きさの物体は、見える大きさが 距離に反比例する カメラから見える 大きさ カメラ b a 俯角 θ ウィンドウの位置(相手の目の位置) a=カメラから画面上のウィンドウまでの距離 b=カメラから画面上のユーザーまでの距離 俯角=90-atan(b/a) 本手法による俯角の精度を評価 横から撮影した頭部写真の俯角と比較 俯角の少ない画面上方は2〜7度程の誤差が発生 俯角の多い画面下方は10度程に広がる (平均値) 90 88 86 84 82 rossi kenz 80 78 naoki takahiro techi 76 uemuu 74 average 72 俯角判定アルゴリズムの改良 俯角判定精度の向上 算出した俯角を用いた画像補正の評価 画像補正手法の評価 画像補正の動画対応 視線不一致問題を解決する手法、lookieの提案を 行った 視線補正する上で必要となる、俯角判定の精度に重 点を置いて実装・評価を行った 平均して8度程の誤差が見られた 今後は俯角判定の精度向上と提案した画像補正法の 実装・評価を行う予定である
© Copyright 2024 ExpyDoc