肢体不自由児のためのまばたき検出によるコミュニケーション支援アプリ

肢体不自由児のためのまばたき検出による
コミュニケーション支援アプリの開発と研究
人工知能研究
振興財団
愛知工業大学
鳥居一平
瞬き検出による（非接触型値）
コミュニケーション支援ツールの研究と開発
iPad / iPad mini (By Apple Inc. iOS5.0 or later)
高精度な瞬き検出のために
①
自然瞬きを除去
②
あらゆる環境に順応する
③
カスタマイズできる
④
弱い瞬きの検出
⑤
高い汎用性・無料配布
眼部検出
［ Haar-like 検出器］
① 開眼閉眼判定
［螺旋ラベリング］
② 開眼閉眼判定
［明度による判定］
③ 開眼閉眼判定
［彩度による判定］
HSV（Saturation) 0~255
③ 開眼閉眼判定
［彩度による判定］
露出オーバー
光量適正
露出不足
③ 開眼閉眼判定
［彩度による判定］
③ 開眼閉眼判定
［彩度による判定］
彩度による瞬き判定の感度は上がる
• 自然瞬き
• 顔の動き
• 連続する瞬き
• 眼球の動き
• 表情の変化
（感度の抑制）
高精度な判定
「複雑さ」
④ 開眼閉眼判定［彩度＋複雑さ判定］
複雑さを用いた瞬き検出方法
LP=0.75
Threshold of
saturation
Error to sense
unconscious
blinks
Case 1
0.83
0
1
Case 2
0.84
0
1
Case 3
0.85
0
1
Case 4
0.86
0
0
Case 5
0.87
1
0
Case 6
0.88
3
0
Case 7
0.89
3
0
Case 8
0.90
5
0
Case 9
0.91
6
0
Failure to sense
conscious blinks
④ 開眼閉眼判定［彩度＋複雑さ判定］
A< C AND D < F
the複雑さの関連値
correlation value
of complexity
A
B
C
the彩度の関連値
correlation value
of saturation
D
E
F
105 (146/109) 81 (184/119)
threshold
5 to 14
present
現在の
５∼１４
閾値
(0.75)
flames value
flame
フレーム
フレームの平均値
(0.75)
threshold
5 to 14
present
現在の
５∼１４
閾値
flames value (0.86)
flame フレームの平均値
フレーム
(0.86)
残像を用いた瞬き判定
残像を用いた判定のプロセス
• 判定フレーム数の確保：４fps →25fps
（起動時のみcalibration）
• 眼部の黒部分を元画像を残像
現在のフレームと残像との変化をみる
（開眼 →閉眼→開眼までを測定）
• 短い瞬き,長い瞬き,目を閉じ続ける＝「排除」
• 使用者に合わせてカスタマイズ＝「感度調整」
残像による判定手法
フレーム画像
黒色の抽出
残像の設定
眼の閉眼開眼の遷移図
開眼と判定
閉眼と判定
短い瞬き,長い瞬き,目を閉じ続ける＝「排除」
残像のピクセル数
残黒
像色
とピ
重ク
なセ
るル
数
閾値
フレーム数(24fps)
無意識まばたきと判定
目を閉じ続けていると判定
意識的まばたきと判定
(意思表示のための瞬き)
あいとーく
予測変換の組み込み
左右の視線は可能
【上下は判定できない】
視線の横方向検出
上
下
視線の縦方向検出
追従眼球運動（パスート）との関連づけ
①
②
【残像を元にした上部】
右目上と左目上
① 1. 3. ② 5. 7.
【残像を元にした下部】
右目下と左目下
① 2. 4. ② 6. 8.
残像を元に上部と下部
のピクセル数の散布度
を標準偏差で示す．
左右の眼の微細振動の検出
疲労時
毎秒約 30フレームでの解析
平常時
６名３秒間の振動の検出
愛知県立みあい特別支援学校臨床試験者一覧
小学部６年
高等部２年
男子
男子
男子
男子
男子
男子
男子
男子
男子
男子
男子
男子
H15.6.16
ADHD 自閉症
Ａ
H15.10.5
自閉症
Ａ
H15.6.14
自閉症
Ａ
H15.7.27
ダウン症
Ａ
H15.8.5
アールスコグ症候群
Ａ
H15.11.28
知的障害
Ａ
H11.3.8
自閉症
Ａ
H10.5.31
知的障害
Ａ
H10.11.15
ADHD 自閉症
Ａ
H10.5.22
自閉症
Ａ
H10.9.20
自閉症
Ａ
H10.12.11
自閉症
Ａ
知的障害レベル
高等部２年男子自閉症
小学部６年男子自閉症
小学部５年男子健常児
肢体不自由児のためのまばたき検出による
コミュニケーション支援アプリの開発と研究
ご支援ありがとうございました
IPPEI TORII
[email protected]

Download Report