Document

どこでもタッチパネル
ソフトウェア基礎講座
○佐藤智和棚瀬篤史神原誠之
背景
直感的で簡単な入力のインタフェースとし
てタッチパネルが利用されている
• 駅のきっぷ自動販売機
• 博物館の解説端末
• コンビニの情報端末
etc….
・タッチパネルつきモニタは高価である
・既存のモニタをタッチパネル化することは難しい
コンピュータビジョン(CV)による
タッチパネルの実現
目的
安価でかつ任意のモニタで利用可能なタッチパネルの実現
アプローチ
安価なUSB-CCDカメラを二台使用し、CVの手法を用いる
特徴
・USBカメラ二台を利用
・Windows上でマウスの操作が可能
(マウスの移動、左クリック、ドラッグ)
・画像による半自動キャリブレーション
処理の概要
カメラキャリブレーション
左右カメラ画像の入力
指先の検出と位置計算
マウス入力に変換
カメラキャリブレーション
カメラとディスプレイの座標変換パラメータを算出
手順1. ディスプレイ領域の抽出
処理手順
前景の最大領域を抽出し、ディスプレイ領域とする
閾値を変化させながら背景差分処理を行う
黒画像を表示しキャプチャする
白画像を表示しキャプチャする
黒画面取り込み
白画面取り込み
背景差分
最大領域算出
左カメラ画像
右カメラ画像
カメラキャリブレーション
カメラとディスプレイの座標変換パラメータを算出
手順2. スリットパターンの表示による座標変換パラメータの算出
処理手順
スリット画像によるキャリブレーションパターンを表示
縦スリット
横スリット
背景差分
パラメータ決定
左カメラ画像
右カメラ画像
指先の検出
背景差分と肌色領域の検出による指領域の検出
誤差関数Errを設定し、Errが閾値を超えるものを指領域とする
Err = (色差分) - α(1.00 - 肌色らしさ )
肌色らしさ : あらかじめ設定した肌色との相関値 (1.00～-1.00)
色差分 : (入力画像の輝度値) - (背景画像の輝度値)
α : 係数
指先の検出
カメラの撮影方向を利用して指先を検出
撮影方向により決まる、画像端点から最も近い手領域を指先とする
探索範囲を限定することで高速化
指先位置の計算
カメラの投影中心と指先を結ぶ直線と、
ディスプレイ面の交点のディスプレイ座標を算出する
左右カメラから算出されるディスプレイ座標A,Bの中点をマウス
カーソルの位置とし、A,B間の距離が接近した場合にクリック動
作とみなす。
実験
マシン : PC ( Pentium III 1GHz Dual, 512MB )
モニタ : 17.4 inch 液晶モニタ
USBカメラ : Creative WebCam 3, Intel Camera park 3
まとめと今後の展望
まとめ
USBカメラ二台を使用し、コンピュータヒジョンの手法を用いるこ
とで既存のモニタをタッチパネル化するシステムを作成した
実験から、Webブラウジング程度の操作であれば問題なく行え
ることを確認した
今後の展望
・背景差分情報の更新による照明条件の変化への対応
・モニタの無い場所でのタッチパネルの実現

Download Report