Document

第4回：2015年5月12日
ＩＴ教育ネットワーク論特論Ａ
（視線について：技術編）
小嶋　秀樹
[email protected]
ＩＴ教育ネットワーク論特論Ａ　あくまで予定ですが…
４月１４日　イントロダクション
４月２１日　人間を理解するための心理学
４月２８日　人間を理解するための脳科学
５月１２日　視線について（技術編）
５月１９日　視線について（心理編）
５月２６日　人と物のトラッキング（技術編１）
６月　２日　人と物のトラッキング（技術編２）
６月　９日　人と物のトラッキング（心理編）
６月１６日　言語（音声・テキスト）について６月２３日　グラフィカルユーザインタフェース
６月３０日　スマートフォンのインタフェースデザイン
７月　７日　３次元映像
７月１４日　デジタルサイネージ
７月２１日　まとめ１：人が人を理解するということ７月２８日　まとめ２：人が物・環境を理解するということ
前回の復習
人間を理解するための脳科学
「脳科学」超入門
脳の構造（左から）
中心溝（ローランド溝）
頭頂葉
前
前頭葉
外側溝
（シルヴィウス溝）
側頭葉
後
頭
葉
’
大脳ｃｅｒｅｂｒｕｍ
’
小脳ｃｅｒｅｂｅｌｌｕｍ
「脳科学」超入門
脳の機能局在
一
次
感
覚
野
各身体部位が
『マップ』される
一
次
運
動
野
一次感覚野
一次聴覚野
一
次
視
覚
野
前
ホモンクルス
「脳科学」超入門
左右の交差
左半身・左視野は
右半球に
つながる
脳梁が切断されると
どうなるのか？
右半身・右視野は
左半球に
つながる
左半球
右半球
「脳科学」超入門
言語野は左半球にある
右利きの９９％
左利きの６５％　左半球
「言語脳」
「優位脳」
左半球
右半球
ブローカ
言語
計算
段取り
韻律
音楽
空間認知
脳外傷（剖検）
Ｓｐｌｉｔｂｒａｉｎ手術
脳活動イメージング
脳卒中（梗塞/出血）
（右半身麻痺，右視野無視，・・・）
ウェルニッケ
脳と言語の関係
ブローカ野とウェルニッケ野
ブローカ野ウェルニッケ野
脳卒中など
（運動性言語野）
ブローカ野を損傷すると・・・
発話が困難で非流暢
しかし
運動麻痺（右）を伴う言葉の理解は
文法的逸脱の増加
比較的良好
（感覚性言語野）
発声器官の
運動野一次聴覚野
ウェルニッケ野を損傷すると・・・
理解（聞く・読む）の困難意味不明
運動麻痺（右）は少ない
しかし
発話は錯語が多い
発話は流暢
「脳科学」超入門
脳の大部分は「専門家集団」である → では「私」はどこに？
前頭前野
（注意と行為
の制御）
運動
空間認知
触覚
言語
生成
言語理解
聴覚
物体認知
アフォーダンス
環境　選択
身体　実行ニーズ
GO or
NO-GO
心　視覚
大脳基底核
（衝動の抑制動機づけ・学習）
共感覚とは何か
共感覚（synesthesia)
ある感覚モダリティでの刺激が別の感覚モダリティでの知覚を
不随意的に引き起こす現象 [Ｃｙｔｏｗｉｃ]
楽器音（音色・高さ）　色彩
成人の共感覚者は稀（２００人～１０万人にひとり）
女性に多い（男女比１：３～１：８），左利きに多い
家系内での共起頻度が高い（遺伝的な要因か）
共感覚は一方向的　音　色
字　色
共感覚は随意的に
促進あるいは抑制できない　共感覚とは何か
Ｒａｍａｃｈａｎｄｒａｎの実験１
数字に色をみる共感覚者：５は青，２は赤
共感覚者は隠された三角形をすばやく見つける
共感覚とは何か
Ｃｙｔｏｗｉｃの実験
共感覚のときの
脳血流をPETで測定
皮質
辺縁系など
皮質の血流量が低下
（左半球で１８％低下）
相対的に辺縁系（海馬など）の活動が顕在化　（ｒｅｄｕｃｔｉｖｅ/ａｎａｌｙｔｉｃ）
皮質における分析的知覚が抑制され，
代わりに辺縁系での全体的知覚が自覚される．
（ｈｏｌｉｓｔｉｃ/ｇｅｓｔａｌｔｉｃ）
人間を理解するためのための脳科学　前回のまとめ
脳の表面（皮質）
前頭前野
機能局在
（注意と行為
の制御）
個々のモダリティごとに
バラバラに対象を知覚している
前頭前野は「司令部」？
運動
触覚
空間認知
言語
生成
言語理解
視覚
聴覚
物体認知
大脳基底核
（衝動の抑制動機づけ・学習）
共感覚
音→色　文字→色　など
女性・左利きに多い
脳の奥（皮質下）
モダリティ未分化の知覚（⇒共感覚）
対象のまとまりを知覚している
「ブーバ」　「キキ」
今日のテーマ（１）
視線について
技術編
視線の向こうに何が見えるか
視線の向こうに何が見えるか
人の心を捉えるための要素技術
視線（gaze）を捉える
どの方向を見ているのか（視線方向の計測）
何を見ているのか（注視対象の同定）
アイコンタクト検出
視線方向計測
注視対象
同定
視線計測の歴史
19世紀後半
読字（reading）における
サッカード（saccade）の発見
19世紀末〜20世紀初頭
接触型の眼球運動記録装置（Edmund Huey)
（機械式ピックアップ付きコンタクトレンズ）
その後「接触型」は，磁気式/光学式ピックアップに進化．
視線計測の歴史
20世紀後半から
非接触型の
視線計測装置
電気式（EOG : electro-oculography）
角膜（cornea）側が＋，網膜（retina）側が−に帯電．
課題 : 電気ノイズ，ドリフト，瞬き，顔筋EMGへの対処．
視線計測の歴史
1950年代から
非侵襲的（non-intrusive）へ
⇒ 光学式の視線計測
視線計測の現在
光学式の視線計測
強膜反射（limbus reflection）
黒目 vs 白目
角膜反射（cornea reflection）
赤外スポット ⇒ プルキンエ像の位置
視線計測の現在
光学式の視線計測
現在の主流
角膜反射（cornea reflection）
プルキンエ像と瞳の相対位置
（瞳の位置は「赤目効果」「楕円検出」により推定）
眼球とカメラの位置関係が変化してもOK！
視線計測の現在
頭部固定型
Tobii
一体型
EyeLink 1000
装着型
Tobii
分離型
NAC EMR-9
非装着型
視線計測の現在
最近の研究用装置
（装着型）
装着したまま
自由に動き回れる
マーケティング調査
生活環境評価・・・
視線計測の現在
最近は１万円の装置もある
（非装着型）
視線計測の現在　非装着型の視線計測装置の使用例
デザイン（機器/商品/ウェブ）
自動車（ドライバー状態監視）
教育/療育/医療（診断/介入）
今日のテーマ（２）
視線について
応用例
視線計測の応用例
視線計測を利用した
自閉症診断（介入）
Ami Klin, et al.: Visual Fixation Patterns During
Viewing of Naturalistic Social Situations as
Predictors of Social Competence in Individuals
with Autism, Arch Gen　Psychiatry. Vol. 59, pp.
809-816, 2002.
映画（Who's Afraid of Virginia Woolf?）から
社会的やりとりのシーンを提示
被験者の視線を計測（装着型）
自閉/定型の特徴差を捉える
平均15.4歳の自閉症群（15名）
平均17.9歳の定型発達群（15名）
VIQはほぼ一致
AUT
定型⇒目
Typ
視線計測を利用した
自閉症診断（介入）
Ami Klin, et al.: Visual Fixation Patterns During
Viewing of Naturalistic Social Situations as
Predictors of Social Competence in Individuals
with Autism, Arch Gen　Psychiatry. Vol. 59, pp.
809-816, 2002.
自閉⇒口
視線計測の応用例
視線計測の応用例
視線計測を利用した
自閉症診断（介入）
Ami Klin, et al.: Visual Fixation Patterns During
Viewing of Naturalistic Social Situations as
Predictors of Social Competence in Individuals
with Autism, Arch Gen　Psychiatry. Vol. 59, pp.
809-816, 2002.
Ami Klin,
et al.
視線計測の応用例
視線計測を利用した
自閉症診断（介入）
定型の視線パターンに誘導
小嶋による図
定型発達者の視線パターンに応じて明度を操作
視線計測の応用例
視線計測を利用した
自閉症診断（介入）
Ami Klin, et al.
非装着の視線計測により
乳児（24カ月未満）の「視線診断」も
可能になりつつある
Claes von Hofsten
視線計測の応用例
お客さんの視線を読む？
落合達也, 2010年度卒業研究より
視線計測の応用例
ポスター＝グラフィック＋テキスト
０〜１秒
まずはグラフィック
１〜２秒
近くの小さなテキストへ
２〜３秒
より詳しいテキストへ
芳賀脩高, 2009年度卒業論文より
視線計測の応用例
こんな「漫画ブラウザ」をつくりたい…
西城龍紀「視線に反応するインタラクティブなアニメーション漫画の制作」 2010年度卒業研究
視線計測の応用例
漫画を読むときの視線は「行きつ戻りつ」
視線計測の応用例
視線計測の応用例
視線計測の応用例
ユーザの視線を
実時間センシング
⇒ ユーザの意図・興味の推定
対話的な意図推定
人物検出・頭位置推定
人物検出カメラ×３
３Ｄ形状復元
シルエット生成
左
下
右
頭位置推定
カメラ方向制御
５０インチ
プラズマ
ディスプレイ
上面
視体積
交差
正面
側面
顔方向・視線方向認識
アクティブ
カメラ×２
興味
決定時
２者
２者
比較
比較時
詳細情報
比較情報
注視点移動/滞留
（Ｎ-ｇｒａｍ・ＨＭＭ）
表示内容
更新
興味・嗜好
の推定
読取フェーズ
顔方向・視線方向
認識カメラ×３
（提示速度調整）
入力画像特徴点捕捉
顔方向推定
視線推定
比較フェーズ
形状とテクスチャ　３Ｄ顔モデル
の当てはめ
（ＡＡＭ）
ー
注視点の
位置・動き
興味・迷い
意思決定
視線計測の応用例
ま　と　め
視線（gaze）を捉える
どの方向を見ているのか（視線方向の計測）
何を見ているのか（注視対象の同定）
視線計測の歴史
接触⇒非接触（拘束型・装着型・非装着型）
現在の主流 : 角膜反射（プルキンエ像 vs 瞳の位置）
視線計測の活用例（Ami Klin ら Yale大学グループ）
人は社会的シーンをどのように見るか
自閉症⇒口　vs　定型発達⇒目
その他の応用も・・・
「小レポート」を書いてもらいます
あなたなら視線計測技術を何に使いますか？
数行の文章と絵（図）で説明してください．
番号　氏名　次回は 5月19日
以上です
授業で使ったスライドは
h"p://www.myu.ac.jp/~xkozima/course/in-‐itnet.html からダウンロード（PDF）できます

Download Report