解 説 02 生体情報を用いた 映像評価技術 小峯一晃 映 像の評価は，映像システムの性能評価を目的とした画質評価のほかに， 映像の感性的な側面からの評価，映像視聴時のコンテンツの効果も含め た評価など，さまざまな観点から行われている。画質評価などで主に利用されて いる主観評価は，簡便で有用な評価手法であるが，感性的な側面やコンテンツの 効果など，映像視聴によって生じる複雑な心理状態を評価する際には課題がある。 近年の生体情報を測定する技術の進展も相まって，生体情報を利用して映像評価 を試みる事例が急増しており，従来の画質評価が苦手とする心理状態に関する新 しい成果が得られるなど，今後の発展が期待される。本稿では，種々の映像評 価手法における課題を述べるとともに，生体情報を利用した映像評価技術につい て解説する。併せて，当所で取り組んでいる生体情報による映像評価の事例を紹 介する。 １．はじめに スマートフォンに搭載された高精細ディスプレーや8Kスーパーハイビジョンなどの表示デ バイスの発展や，それらを利用した映像システム，伝送技術の進化により，瞬時に大量 の情報が視聴者に届けられ，高品質な映像を楽しむことができるようになった。それに 伴い，映像による表現の可能性が広がり，コンテンツに対しても，より豊かな視聴体験が 得られるものが望まれている。このような新たに開発された映像システムの性能が従来に 比べてどのような点で優れているか，あるいはシステムによって表現される映像が視聴者 にどのような効果をもたらすかなどについては，システムの開発者，映像の制作者，視聴 者のそれぞれにとって有用な情報であるため，用途に応じてさまざまな観点から映像の評 価が行われている。 評価の結果は，映像システムの改善やシステムパラメーターの調整・決定，コンテンツ 制作技法の改良などに活用されることになるが，評価の対象や手法によっては結果の解 釈が難しく，評価結果に影響を与えた要因が明確にならない場合もある。そのため，評 価の対象や目的に合わせた適切な評価手法の選択が必要である。 映像評価の手法としては，主観評価を基本とする方法が用いられてきたが，例えば， 被写体の光沢感や映像の分かりやすさなどの感性的な側面においては，評定者が主観 NHK技研 R&D ■ No.159 2016.9 13 的な印象を正確に報告することは容易ではなく，信頼性や評定者への負担などの点で課 題がある。そこで，評定者の映像視聴に関わる行動指標や生理指標などの生体情報を計 測し，そのデータの中から意味のある情報を抽出して映像評価に利用しようとする試みが 行われている。 本稿では，まず映像評価の対象について述べた後，映像評価に広く用いられている主 観評価の課題と，生体情報を利用した映像評価の利点について解説する。さらに，当所 で実施した生体情報を利用した映像評価の事例を紹介する。 ２．映像評価の対象 映像システムの性能を評価する際には，一定の手続きに従った画質評価手法が推奨さ れ1），その結果は性能を比較する際の指標として利用されている。例えば，開発した映像 符号化装置の性能を評価する際には，符号化・復号した映像の画質がその元となる原映 像に比べてどの程度劣化しているかを評価することにより，開発装置の性能を測ることが ひずみ できる。この場合，装置の特性上生じやすい歪や劣化に注目し，それらが表出されやす い特徴的な映像を利用するなど，対象の特性に応じて映像を選択することが一般的であ る。このような評価を通じて，開発した装置が所望の性能を満足しているか，従来の装 置に比べてどの程度性能が向上したかなどを判断する。 一方で，新たに開発した映像システムが視聴者にどれだけのメリットをもたらすかを考 慮したとき，画質によるシステムの性能評価だけでなく，映像システムの表現力を最大限 に活用できるコンテンツの特性を探ることも含めて，視聴者への心理的な効果を評価する ことが望ましい。この場合，システムパラメーターの効果を画質の優劣で測るのではなく， 表現される映像の印象といった感性的な側面で評価することも必要となる。例えば，映 像システムのパラメーター （解像度やフレームレートなど）や視聴環境（視距離など）に応じ て，臨場感や実物感などの印象がどのように変化するかを評価することにより，映像シス テムの特長を示すことができる2）3）。 いき 一方，表示解像度の効果を評価する際に，画素密度が視覚の空間的な弁別閾を超え ており，映像によっては表示解像度を起因とする画質劣化（解像度感の違い）は判別でき ないが，立体感などの映像の質感に関する印象には違いが見られるようなケースがある4）。 このような映像の印象といった感性的な側面を評価対象とする場合，従来の画質評価の みではシステムの性能を十分に評価できない可能性があり，定量化可能な感性評価手法 の開発が期待されている５）。 さらに，映像の物理的な品質を対象とした印象だけでなく，映像コンテンツを視聴し た際に生じる分かりやすさや面白さのような，文脈も含めた高度な印象を評価することも， より豊かな視聴体験を視聴者に提供する上で必要であろう。映像制作者はコンテンツを 制作する際に，自らの経験に基づいて構成や演出に工夫を凝らしている。これらの映像 表現を評価して映像中のどのようなシーンが効果的であったかを制作者にフィードバック することは，より質の高い映像制作を行う上で重要なポイントとなる。 ３．生体情報を利用した映像評価 ３． １ 主観評価の課題 ２章で述べたように，画質，印象，コンテンツなどの各レベルにおいて目的に応じた映 像評価が行われているが，これまでに主として利用されてきたのは主観評価を基本とする 評価手法である。主観評価は，総合評価値を得るためには簡便で有用な手法であるが， 14 NHK技研 R&D ■ No.159 2016.9 心理要因 P1 S1 P2 S2 … … Pm Sn 総 合 評 価 映像システム 物理要因 １図 画質の主観評価モデル 印象やコンテンツの効果など，より高度な心理効果を評価する際には，信頼性や時間分 解能の点で課題が存在する。 １図に画質の主観評価モデル6）を示す。映像システムの総合評価は，システムを構成す る複数の物理要因と，総合評価を導く複数の心理要因が介在する系となっている。物理 要因は，画質を変化させる物理的な要因であり，例えば解像度やフレームレートなどがあ る。また心理要因は，画質の変化を知覚する心理的な要因であり，例えば粒状感やぼや け感などがある。臨場感などの感性的な側面の評価においては，画質評価などの場合に 比べて，より多くの心理要因が関係してくることが想定される。このように，複数の心理 要因が関わる主観評価（総合評価）を行う場合，評定者が自らの内観＊１に基づいて一貫 ＊１ 自己の直接的な経験の過程を 観察すること。 性をもって正確に報告することは容易ではなく，必然的に評定者内，評定者間の評価の ばらつきが大きくなる。そのため，評価の方法や着眼点を明確化するための教示を行った り，評定者数を増やすなどの方法により，評価結果の信頼性を確保する必要がある。 また，映像システムの性能を左右するパラメーターと総合評価との関係を求めるために は，１図のモデルに基づき，パラメーターに関連する物理要因と総合評価の構成要素であ る心理要因との関係を明らかにする必要がある。しかしながら，一般的に心理要因の数や 各要因の総合評価への影響度，各要因間の相関など，想定するモデルを構成する要素は 明らかではなく，観測可能な総合評価の結果から推定する必要がある。要因を推定する 7）＊２や多次元尺度構 評価手法としては，従来からSD法（Semantic Differential Method） 成法8）＊３などが利用されている。これらの手法は，各要因の効果を推定するためには有 効な手法であるが，１つの評価対象について複数の尺度や対象の組み合わせごとに回答す る必要があるため，評定者への負担が大きい。また，回答するまでに一定の時間がかかる ため，映像のような時間的に変動する対象について継時的な評価値を得るのは困難である。 ＊３ 複数の評 価対象について，各 対象間の類似度を評 価し，そ の結果を解 析する方法。多次 元空間上に評価対象を配置し， 対象が持っている隠れた構造を 見いだす。 ３． ２ 生体情報の利用 主観評価の課題を考慮し，生体情報を利用した映像評価の試みが行われている。例え ば，脳活動を利用して画質の劣化を検出する例9），立体映像を観視中の視機能を測定して 立体表示方式間の特性の違いを評価した例＊４など，生体情報を画質評価やシステム評価 に利用した例が報告されている。また，映像観視中の重心動揺を利用して臨場感を評価し た例 10）11） ， 光沢感を評価する際の脳活動から光沢感知覚のメカニズムを推定した例12）など， 感性的な側面の評価にも生体情報は利用されている。そのほかに，握力や体温でコンテ ＊２ 複数の基 本的な形容詞対（例 えば「明るい－暗い」など）にお いて，評 価対象がその形容詞 にどの程度当てはまるかを数段 階の尺度で評 価する方法。こ の結果を分析することにより心 理要因を推定する。 ＊４ 詳細については，本特集号の 報告「インテグラル立体映像観 視時における輻輳・調節応答 の静特性」 を参照。 ンツの評価を試みている例13）や，脳活動の時間的な変動や個人間の共通性を利用してコ ンテンツ評価への応用を想定した研究14）15）など，生体情報の適用可能性について，さま ざまな評価のレベルで研究が進められている。 NHK技研 R&D ■ No.159 2016.9 15 それでは，生体情報を利用することには，どのような利点があるのだろうか。利用する 生体情報によって異なるが，映像視聴によって生じる生理的な反応（脳活動，心拍，血圧， 発汗など）や無意識に表出される行動（眼球運動，重心動揺など）を客観的な測定データ として捉えることで，評定者の主観的な経験からは得られない情報を抽出できる可能性が あることは利点の一つと考えられる。 以下では，当所でコンテンツの心理効果を評価する際に主に利用している眼球運動お よび脳活動について特徴を述べる。 （１）眼球運動 人間が情報を受容する際にその対象を取捨選択する機能を「注意」と呼び，特に視野 中の特定の位置にある情報を受容し，それ以外の情報を抑制しようとする注意の機能を ＊５ 「注意」の詳細については，本 特集号の報告「映像に向けられ た注意の位置と負荷が脳活動 に与える影響」 を参照。 「視空間的注意」と呼ぶ＊５。映像視聴中の視線の動きは，視聴者の視空間的注意を反映 しており，映像評価の場面においても評定者の判断に関わる有用な情報を含んでいる。 例えば，評定者は映像の評価を行っている際に提示される映像の全領域を見ているわけ ではなく，同じ映像を評価する場合でも，評定者の眼に入力される像（網膜像）は注視し ている領域によって異なるはずである。評価用映像を視聴しているときの眼球運動を測定 することで，映像中の視線の位置を推定し，注視している領域が特定できれば，評価し た映像の物理要因についてより詳細な分析が可能になる。 さらに，コンテンツの心理効果を評価する際には，制作者へのフィードバックを想定す ると，評価の要因についての情報＊６が含まれていることが期待される。その場合，映像 ＊６ 例えば，どのようなシーンが効 果的であったかなど。 を視聴した結果生じる総合的な印象に関する評価値のほかに，映像中の注視された領域 についての継時的なデータがあることが望ましい。評定者の眼球運動を測定することによ り，映像中の注目されやすい領域について継時的なデータを得ることができ，演出の効 果などを確認することが可能である。 このような眼球運動の測定は，高精細な撮影機器の小型化・低廉化，画像処理装置 の性能向上，画像解析技術の向上により，被測定者への負担も少なく，簡便に行えるよ うになってきており，映像評価に利用される機会も多い。 （２）脳活動 映像の評価に関わる究極の生体情報は，評定判断の源となる脳の活動を捉えることで あろう。評定者の脳では，視覚・聴覚情報の処理をはじめ，映像の受容や評価に関わる あらゆる情報が処理されており，これらの情報を取得することは，評価の要因を推定する 際に有用と考えられる。 脳は処理する内容によって活動する部位が異なること（機能局在）が知られており，活 動部位を把握することで，これまでに蓄積された脳の心理・生理・医学的な先行研究と の関係から，処理されている情報のカテゴリーが推定できる。また，入力情報に反応す る活動部位やその時間的な流れを追うことにより，情報処理のメカニズムをモデル化する ことも可能であろう。したがって，脳活動を計測する際には，目的に適した空間分解能お よび時間分解能を有する手法を選択することが重要となる。 ＊７ 生体を傷つけないこと。 近年，脳活動を非侵襲＊７で計測できる装置の普及により，映像評価に関係する心理実 験においても種々の脳活動計測装置を利用する機会が増えている。１表は非侵襲で測定で きる主な脳活動計測手法を示したものであり，空間分解能，時間分解能，測定時の制約 などにそれぞれ特徴がある。fMRIは，測定できる脳の範囲が広いほかに空間的な分解能 が高く，前述の機能局在の観点から有用な情報が取得できる。一方，fMRIの測定対象は 神経活動に伴う血液の代謝活動であるため，時間的な分解能は低い。また，実験環境や 16 NHK技研 R&D ■ No.159 2016.9 １表 脳活動計測装置の特徴 fMRI※１ fNIRS※２ EEG※３ MEG※４ 計測対象 脳血流量 脳血流量 神経電気活動 神経電気活動 計測範囲 脳全体 脳表面 脳表面付近 脳全体 空間分解能 数mm 数cm 数ｃｍ～十数ｃｍ 数cm 時間分解能 数秒 100ms程度 数ms 数ms 拘束性 大 小 小 大 計測時の音 大 小 小 小 ※１ functional Magnetic Resonance Imaging ： 機能的核磁気画像化法 ※２ functional Near-infrared Spectroscopy ： 機能的近赤外分光法 ※３ Electroencephalography ： 脳波 ※４ Magnetoencephalography ： 脳磁図 被測定者への制約も大きい。そのため，体動を伴う実験では，空間分解能はfMRIに比べ て低いものの測定時の制約が少ないfNIRSを活用したり，時間分解能が必要な際は，神 経細胞の電気的な活動を測定するEEGやMEGを利用するなど，用途に応じて使い分けら れている。 これらの計測手法によって得られる脳活動の中から特定の活動パターンを抽出し，外か らは観測できない心理的な状態を推定する技術（デコーディング）の研究が進められてい る16）17）。近年，この技術は動画にも適用され，脳活動から視聴している映像を再構成する など，脳活動データ解析技術の向上に伴い，幅広い応用への可能性が示されつつある18）。 このような技術を利用して，映像の特徴と視聴後の主観評価値および視聴中の脳活動パ ターンとの関係を機械学習＊８することにより，視聴中の評定者の脳活動パターンから時間 的に変動する評価値を推定できる可能性がある。この場合，脳活動を測定される評定者 は，計測時に装置に応じた制約はあるものの，従来のSD法などとは異なり，映像を視聴 ＊８ 与えられた入力‒出力のデータ 群からその背景にあるパターン やルールを定式化し，新規の入 力に対する出力を予測すること。 するだけで良いため，評定者にとっては評価の負担が少ないことが利点となる。 ４．生体情報による映像評価の事例 ３章で述べたような生体情報を利用した際の利点を考慮し，当所では，コンテンツの 心理効果に関連して，眼球運動および脳活動を利用した映像評価を行っている。従来， 番組の内容についての評価は，主に視聴率や視聴後のアンケートなどで行われてきたが， 視聴率は映像内容の質自体を評価したものではなく，また，アンケートは番組全体の内 容に対する評価ではあるが，評価に寄与したシーンなどの情報は含まれていない。より満 足度の高い番組を制作するためには，どのようなシーンが効果的であったかなどの継時的 な変化に対応した評価指標が望まれる。 そこで，眼球運動や脳活動を計測し，注意の状態や映像視聴によって生じる印象など の時間的な変動を捉えることにより，評価の要因や効果的なシーンの抽出を試みた。本 章では，生体情報を利用したコンテンツの評価について，当所での取り組みを紹介する。 ４． １ 視線分布と内容理解度の関係 映像を視聴しているときの視線からは，視聴者が注意を向けている対象を推定できる ため，視線は視聴者の心理状態を表す指標の１つとなる。視聴者各人の視線は，個々の 知識や興味を反映した動きとなるため個人差が大きく，映像自体の特性を表す指標として は適していないが，多人数の視線データを分布として捉えることにより，注目されやすい NHK技研 R&D ■ No.159 2016.9 17 視線分析 （A） ＜ 各評定者の 注視点 注視点の クラスタリング 小 確率分布の推定 大 エントロピーの算出 番組の流れ …… …… 設問に関連する シーン１ 正答率 70％ …… ：視線分析区間 （３秒） 設問に関連する シーン４ 正答率 56％ 内容に関する 設問の正答率 （内容理解度） 内容に関する設問の分析 （C） 高 （B） 低 相関＝－0.6 小 視線のばらつき （エントロピー） 大 各シーンにおける視線のばらつきと 設問の正答率との関係 ２図 視線分布による映像評価の例19） 領域を表す特徴量として有用であると考えられる。 当所で行った実験では，映像観視時の多人数の眼球運動を測定し，そこから導出される 視線分布が映像の分かりやすさの評価指標となる可能性を示している19）20） 。この実験では， 実験参加者が子供向けのニュース番組を視聴している間の眼球運動を26名分測定し，注視 点の確率分布を推定した（２図（A））。この番組は子供向けであるため，制作時には分か りやすくするための種々の演出上の工夫が施されている。その効果を調べるために，内容 に関する理解の程度を表す指標として内容理解度を利用した。評定者には映像中のいくつ かのシーンで説明されている内容についての設問に回答してもらい，その正答率を各シーン における内容理解度とした（２図（B））。さまざまなシーンの内容理解度と視線分布の広が りを示すエントロピーとを比較した結果，両者に負の相関関係があることが確認され，視線 分布が小さくなるシーンでは正答率が高くなる傾向が見られた（２図（C））。この結果は， 視線分布によって内容理解度を推定できる可能性を示している。 また，視線分布の時間変動を分析したところ，音声内容が注目領域や視線分布に影響 を与えており，発話の数秒後に音声で言及している対象に視線が集まっていることが確認 できた。これにより，音声による説明は適切なタイミングに行うことで視線を誘導できるこ とが分かった20）。 このように，多人数の視線分布を利用することで映像の演出上の工夫や効果が確認で きるほか，時間的な変動に対応した評価指標が得られた。この事例はニュースを対象とし ており，その他のコンテンツについては別途検討が必要になるが，ニュースのような情報 を伝えることを目的とするコンテンツにおいては，多人数の視線分布が，演出効果を評価 する有用な指標として期待される。 一方で，眼球運動を利用する際の課題もある。視線を移動する際の眼球運動は評定者 の意志によって行う運動成分（トップダウン成分）と映像中の目立つ特徴によって誘導され る成分（ボトムアップ成分）があり，測定される眼球運動はこの両者を含んだものとなる。 視聴者のコンテンツへの興味などはトップダウン成分に反映されるが，ボトムアップ成分を 意思により抑制することは難しいため，トップダウン成分をいかに抽出するかの検討が必 要である。また，視線の位置からは興味を持っている対象（位置）は計測できるが，その 18 NHK技研 R&D ■ No.159 2016.9 強度は測定できない。そのため，眼球運動から映像視聴時の心理状態を推定する際には， 次節で述べるように，強度を表象している指標と組み合わせて利用することが望ましい。 ４． ２ 脳活動と注意状態との関係 前節の事例のように，眼球運動を測定することにより視空間的注意を向けている位置 は推定可能であるが，対象にどの程度の注意を向けているかなど，その強度を計測する ことは難しい。 一方，脳活動は注意の強度に応じて，関連する情報を処理する部位での活動強度が変化 することが知られており21），映像視聴中の眼球運動と脳活動から，どこにどれだけの注意 を向けているかを推定できる可能性がある。その基礎的な検討を行うために，fNIRSを用 いて脳活動と注意の状態との関係を調べる実験を行った。注意の状態は，実験参加者に 提示した視覚刺激の大まかな位置（視野の上下左右）と強度（課題の難しさによる認知的負 荷の大きさ）を変化させて操作した。その結果，注意の強度が大きくなると脳活動も大きく なる傾向であることが確認できた。一方，視野上の位置については左右の視野で非対称性 があり，脳活動のみからでは注意を向けている位置と強度の両方を推定することは困難で あることが分かった。これらの結果は，注意を向けている視野内の大まかな位置が分かれ ば，注意の強度が推定可能であることを意味しており，眼球運動と併用して利用することに より視聴者の注意の状態が類推できることを示唆している。詳細については，本特集号の 報告 「映像に向けられた注意の位置と負荷が脳活動に与える影響」を参照していただきたい。 ４． ３ 脳活動と視聴効果（ユーモア）との関係 映像視聴中に感じる特定の印象（視聴効果）と視聴中の脳活動から，その印象に関わ るシーンを抽出することを目指して，評価手法や脳活動データ解析手法の研究を行ってい る。印象の一例として「ユーモア」を取り上げ，脳活動データからユーモアに関する心理 状態の推定を試みた。 ユーモアは笑いを誘発するような映像の視聴によって生じる印象であり，複雑な要因か ら構成されていると考えられる。例えば，漫才や落語でオチを理解した際に感じる「うま い」や「ばかばかしい」などの印象は，同じように笑いを誘発する結果となってもその要因 は多様である。このような複雑な要因を推定する際には，SD法のように１つのコンテンツ を多数の尺度（「美しい－醜い」などの形容詞対）について主観評価し，その結果を因子 分析＊９することで，評価の要因となる因子の抽出および評価対象への各因子の重み（因 ＊９ 観測される多変量データの相関 関係から，少数の潜在的な変量 （因子） を抽出する分析方法。 子得点＊10）という形で印象を定量化することが一般的である。しかしながら，主観評価 の回数が多くなるため評定者には負担が大きく，評価に時間を要することから，印象の時 間的な変動を捉えたい場合には適用が難しい。そこで，コンテンツを視聴している際の脳 ＊10 各因子が評価対象（漫才・コン ト）の印象に与える影響の大き さ。 活動を測定し，その活動部位，活動強度から印象の因子および重みに相当する指標を抽 出する方法について検討した。 ３図（A）は，仮説として想定している印象評価のモデルを示している。脳にはユーモア の因子に相当する情報を処理する脳部位があり，その部位でユーモアの因子得点と相関 の高い脳活動が得られれば，評定者が感じている印象やその時間的な変動を脳活動から 推定できる可能性がある。このようなユーモアの印象評価のモデルについて，その可能性 を検討するための実験を行った。 まず，ユーモアの因子に相当する脳活動が存在する可能性について調べた19）。３図（B） は分析方法の概要を示したものである。評定者は５分程度のコンテンツ（漫才・コント）を NHK技研 R&D ■ No.159 2016.9 19 各因子の 重み付き 合成 笑いの印象 笑いの因子に関連する部位 （A）印象評価のモデル 因子2 1 因子１ 因子 ２ 派手な 湿った 簡単な しゃれた 賢い 新しい 鋭い 穏やか －1 因子 分析 0 0 コンテンツ 楽しい 1 －1 因子１ SD法 -2 番組 033 -2 008 -1 番組 番組 007 番組 033 番組 010 番組 008 番組 020 番組 007 番組 032 番組 010 番組 002 番組 020 番組 006 番組 032 番組 023 番組 002 番組 003 番組 006 番組 013 番組 023 番組 027 番組 003 番組 020 番組 013 番組 015 番組 027 番組 017 番組 020 番組 012 番組 015 番組 001 番組 017 番組 018 番組 012 番組 028 番組 001 番組 004 番組 018 番組 016 番組 028 番組 011 番組 004 番組 031 番組 016 番組 022 番組 011 番組 014 番組 031 番組 022 番組 014 因子負荷量 -1 0 0 1 1 2 2 3 3 脳活動を比較 因子得点 （B）ユーモアの印象評価 因子１（洗練性） 因子２（力強さ） 右 左 前 後 前 後 （C）因子に関連する脳活動 ３図 脳活動によるユーモアの評価 25種類視聴し，その間の脳活動をfMRIで計測した。併せて，各コンテンツを視聴後に 24対の形容詞対を用いたSD法による印象評価を行い（３図（B）左），その結果を因子分 析して主要な因子を抽出した（３図（B）中）。抽出された２つの主要な因子はおおむね各 ＊11 因子と評価尺度（「美しい－醜 い」などの形容詞対）との相関 を表す。各因子の各評価尺度 に対する因子負荷量を見ること により，因子の意味を推定する。 評定者で共通しており，各因子の各評価尺度に与える因子負荷量＊11は，因子１では「しゃ れた－やぼったい」 「新しい－古い」などの形容詞対が高く，因子２では「生き生きとした－ 生気のない」 「乗りのいい－乗りが悪い」などの形容詞対が高くなった。このことから，因 子１は「洗練性」，因子２は「力強さ」を表す因子と推定される。さらに，各コンテンツの 因子得点を算出し（３図（B）右），各因子において因子得点が上位のコンテンツと下位の コンテンツで，ユーモアの印象が生じやすいオチ付近の脳活動を比較した。その結果， 因子１については３図（C）の青い部分に，因子２については赤い部分に，因子得点の差と 相関の高い脳活動が見られた。これらの因子の意味合いを考慮すると，従来の心理・生 理学的な知見から推定される該当部位の情報処理内容と矛盾はなく，また，漫才やコン トのオチから得られる印象が「洗練性」や「力強さ」で構成されていることには妥当性が あることから，ユーモアの因子が脳活動によって表現されている可能性が示唆されている。 一方，時間的に変動するユーモアの印象について，印象が生じたタイミングを脳活動か ら推定する技術の可能性についても検討した。脳情報デコーディング技術を前述のコンテ ンツ視聴中に得られた脳活動に適用し，ユーモアを感じているタイミングの抽出を試みた。 評定者はコンテンツ視聴中に面白さに関する連続主観評価を行い，同時に評定中の脳活 動をfMRIにより計測した。主観評価の結果と脳活動計測データの関係を機械学習するこ とにより，ユーモアを感じているときの脳活動パターンを抽出し，それに基づきユーモア 20 NHK技研 R&D ■ No.159 2016.9 を感じているタイミングを推定した。その結果，脳活動から統計的に有意に高い精度で主 観的な反応を予測でき，ユーモアを感じているタイミングを脳活動から抽出できることを示 した。さらに，評定者が主観的に感じるタイミングよりも前に生じる「ユーモアの期待」と も言える心理状態の推定に成功した。これは，ユーモアに対して期待している状態が存 在することを示唆しており，心理学的なモデルとしても興味深い結果である。デコーディン グ技術を用いた心理状態推定については，本特集号の報告「脳情報デコーディング技術 による映像視聴中の心理状態推定」を参照していただきたい。 一連の実験結果から，ユーモアの印象に関する心理状態は時間的な変動も含めて脳活動 によって推定可能であることが示された。今回はコンテンツ視聴の効果として「ユーモア」 を対象としたが，本手法は汎用性が高く，他の視聴効果についても適応可能であることが 利点である。さらに，脳内には主観として意識される以外のさまざまな情報が処理されてい ることを考慮すると，映像視聴によって生じる複数の印象を同時に抽出できる可能性もあり， 今後は脳活動データからこれらの有用な情報を抽出する解析技術の開発が期待されている。 ５．あとがき 本稿では，主観評価の課題と映像評価の際に利用する生体情報の特徴について述べ， 当所で行っている生体情報を利用した映像評価の事例を紹介した。 生体情報を利用した映像評価は，生体情報の測定技術・分析技術の向上に伴って利用 される機会が増えつつある。しかしながら現時点では，生体情報と映像の物理要因，主 観の心理要因との関係は明確でなく，生体情報のみによる評価はその解釈が困難な場合 が多い。したがって，主観評価や心理実験と併用して，映像評価と脳活動との関係をモ デル化し，検証の手続きを経て利用することが望ましい。その後，時系列評価へ適用す ることにより，信頼性の高い評価が可能となる。 一方，映像を評価している際の生体情報には，映像評価に関わる有用な情報も含めて 豊富な情報が含まれているが，それ故に評価とは無関係の雑音も多く含まれる。今後は， 効率的に目的の情報を抽出するための生体情報解析技術の開発が期待される。 １） ITU-R Rec. BT.500，“Methodology for the Subjective Assessment of the Quality of 参考文献 Television Pictures” （2012） ２） 江本，正岡，菅原，野尻：“広視野静止画像による臨場感の提示視角依存性と評価指標間の関係， ” 映情 学誌，Vol.60，No.8，pp.1288-1295（2006） ３） K. Masaoka, Y. Nishida, M. Sugawara, E. Nakasu and Y. Nojiri：“Sensation of Realness from High-Resolution Images of Real Objects， ” IEEE Trans. Broadcast.，Vol.59，pp.7283 （2013） ４） Y. Tsushima, K. Komine, Y. Sawahata and N. Hiruma：“Higher-resolution Stimulus Facilitates Depth Perception：MT+ Plays a Significant Role in Monocular Depth Perception，” Scientific Reports，Vol.4，No.6687，DOI:10.1038/srep06687 （2014） ５） 会津, 堀田：“ １．映像，画像メディアの評価：像メディア評価学の勧め（＜小特集＞ 像メディア評価学の 手ほどきと最新動向），” 信学誌，Vol.96，No.4，pp.222-227 （2013） ６） 鎧沢：“テレビジョン画像の評価技術（第５回）：テレビ画像の主観評価とデータ処理（II）， ” テレビ誌， Vol.38，No.1，pp.76-82 （1984） NHK技研 R&D ■ No.159 2016.9 21 ７） C.E. Osgood：“The Nature and Measurement of Meaning，” Psychological Bulletin， Vol.49，No.3，pp.197-237 （1952） ８） R. N. Shepard, et al.（ed.）：Multidimensional Scaling，I. Theory，Seminar Press（1972）－ 岡太，渡辺（訳） ：多次元尺度構成法 I，理論編，共立出版 （1972） ９） S. Scholler, S. Bosse, M. S. Treder, B. Blankertz, G. Curio, K. R. Müller and T. Wiegand： “Toward a Direct Measure of Video Quality Perception Using EEG，” IEEE Trans. Image Process.，Vol.21，No.5，pp.2619-2629 （2012） 10） 清水，矢野，三橋：“広視野立体画像観察時における重心動揺に関する一考察，” テレビ誌，Vol.45， No.1，pp.108-110 （1991） 11） 江本，正岡，菅原，野尻：“広視野静止画像による臨場感の提示視角依存性と評価指標間の関係， ” 映情 学誌，Vol.60，No.8，pp.1288-1295 （2006） 12） 坂野，和田，安藤：“ ２．光沢知覚の脳内処理：質感の客観的評価に向けて（＜特集A＞ 脳科学と映像），” 映情学誌，Vol.69，No.6，pp.502-505（2015） 13） 佐藤，間峠，森，鈴木，春日：“体感センサを利用した映像コンテンツの印象計測の検討，” 映情学誌， Vol.60，No.3，pp.425-430 （2006） 14） U. Hasson, O. Landesman, B. Knappmeyer, I. Vallines, N. Rubin and D. J. Heeger： “Neurocinematics：the Neuroscience of Film，” Projections，Vol.2，No.1，pp.1-26， DOI:10:3167/proj.2008.020102 （2008） 15） J. P. Dmochowski, M. A. Bezdek, B. P. Abelson, J. S. Johnson, E. H. Schumacher and L. C. Parra：“Audience Preferences Are Predicted by Temporal Reliabilit y of Neural Processing，” Nat. Commun.，Vol.5，No.4567，DOI:10.1038/ncomms5567 （2014） 16） Y. Kamitani and F. Tong：“Decoding the Visual and Subjective Contents of the Human Brain，” Nat. Neurosci.，Vol.8，pp.679-685 （2005） 17） J. D. Haynes：“Decoding Visual Consciousness from Human Brain Signals，” Trends in Cognitive Sciences，Vol.13，Issue 5，pp.194-202，DOI:10.1016/j.tics.2009.02.004 （2009） 18） S. Nishimoto, A. T. Vu, T. Naselaris, Y. Benjamini, B. Yu and J. L. Gallant：“Reconstructing Visual Experiences from Brain Activity Evoked by Natural Movies， ” Curr. Biol.，Vol.21， No.19，pp.641-646 （2011） 19） 小峯：“番組視聴時の視聴者心理状態推定技術，” NHK技研R&D，No.116，pp.21-27（2009） 20） 澤畠，小峯，比留間，伊藤，渡辺，鈴木，原，一色：“番組視聴時の視線分布と番組内容理解度の関係， ” 映情学誌，Vol.62，No.4，pp.587-594 （2008） 21） M. Corbetta and G. L. Shulman：“Control of Goal-directed and Stimulus-driven Attention in the Brain，” Nature Reviews Neuroscience，Vol.3，No.3，pp.201-215 （2002） こ みね かずてる 小峯 一晃 1992年入局。放送技術局を経て，1994年から 放送技術研究所において， 文字画像の受容特性， 立体映像視聴時の疲労，テレビ用ユーザーイン ターフェース，視線や脳活動による心理状態推 定技術の研究に従事。現在，放送技術研究所 立体映像研究部上級研究員。博士（工学）。 22 NHK技研 R&D ■ No.159 2016.9
© Copyright 2024 ExpyDoc
