脳波特徴解析に基づくリラクゼーションサウンド生成システムに関する研究福井大学大学院工学研究科知能システム工学専攻進化ロボット研究室一井亮介指導教員前田陽一郎、高橋泰岳緒言近年、現代人の多くがストレスを感じているといわれ、癒しを求めるニーズが社会的にも高まっている。それに伴い、ユーザの生体信号などからリラクゼーションの度合いを判定し、それによってリラクゼーション効果を促すような画像またはサウンドなどの提示を行い、よりユーザのリラクゼーション効果を得るように誘導するシステムの研究開発が盛んに行われている。実際の研究例としては、脈拍などの生体信号を用いて癒しの映像・音楽を生成するというバイオフィードバック効果を与えるようなシステムなどがある。これ以外にも生体信号である心拍や呼吸、発汗量、脳波などを用いてユーザのリラックス傾向を推定する研究が多数行なわれている。例えば、らはリラックス指標として脳波の波と波のパワーの増減を用いている。しかし、この手法では大まかなリラックス傾向を掴むことは可能であるが定式化されていないため定量的な判定はできない。一方、本研究室では、サウンド生成にカオス理論を用いた研究を行ってきた。同期性や非同期性を制御できる大規模カオスを用いることによって、音高、音長、音量を制御してサウンド生成を行うインタラクティブ・カオティック・アミューズメントシステムをすでに開発している。本研究では、このの応用研究として、生成したサウンドを人間にとってよりリラックスできるサウンドへと自動でチューニングするシステムの構築を目指す。まず始めに波、波、波の周波数帯域の脳波とリラックスの関係に関する仮説に基づき次元状態図でリラクゼーション傾向を把握し、被験者がリラクゼーション状態であるということを定量的に評価できる指標を構築する。次に事前実験により構築した指標と、を組み合わせることでリラクゼーションサウンド生成システムを構築する。実際に被験者に本システムを使用してもらい、生成されたサウンドを聴いた時の被験者のアンケート結果と本研究で提案するリラックス度推定結果の比較を行うことで有用性の検証を行う。生成に重要な音高、音長、音量の制御を独立に行っている。は、カオス要素を多数並べ、全ての要素を相互作用させることによって状態を同期または非同期に遷移させることができるモデルである。ここで用いたは式のカオス要素ロジスティック写像を式で結合している。は、サウンドを生成するカオス要素を大規模カオスを用いてネットワーク状に複数結合し、人間がたったつの大規模カオスのパラメータ非同期性同期性を調整することにより、様々な特徴の異なる音を生成することが可能なインタラクティブサウンド生成システムである。では大規模カオスの中でも大域的な制御が可能な大域結合写像を用いてサウンドここで、は全カオス要素数、が状態、がロジスティック写像、範囲からとった一様な乱数が雑音を示す。の制御パラメータは、個々のカオス要素の非線形性を高めると、全要素間の結合力を高めるのつである。とを調整することで、非同期相と同期相だけでなく秩序相や部分秩序相などの複雑な様相も示す。では音高、音長、音量に対して、それぞれ独立にを割り当て、複数のカオス要素本研究の場合つに相当するサウンドを同期・非同期に制御することが可能である。生成されるサウンドはつあり同時に出力される。は人間にとってより心地よいサウンドを生成するために音楽要素として、小節、調性、休符、テンポ、エコー、音色を自在に設定できるようになっている。リラクゼーション効果を推定するための脳波特徴解析手法脳波は人間の精神活動や意識状態の変化に伴い、異なるパターンを示す。例として、人間がリラックスしている状態においてθ波やα波など特定の脳波の割合が増加するという研究報告がある。以下に本研究でも用いる様々な脳波を列挙する。表本研究で用いた脳波 … 入眠期では、波の振幅、周波数、睡眠時脳波連続性が低下し、次いで徐波である波 ∼!"# 付近が表れる。リラックス状態や安静閉眼状態で表れ安静時脳波る脳波であり、波 ! ∼ "# 付近と呼ばれる。覚醒状態である意識集中やストレスを覚醒時脳波感じているときに表れる脳波であり、波 ∼$"# 付近と呼ばれる。 5RGEVTWO2QYGT ǩ ǰ GǪ Ǫ Gǩ Gǰ (TGSWGPE[=*\? 図脳波のパワースペクトル周波数帯域 ǰᵄૐ޿ ǩᵄૐ޿ 㜞޿ ǰᵄ㜞޿ 㜞޿ ǩᵄ㜞޿ Ǫᵄ㜞޿ 㜞޿ Ǫᵄૐ޿ GǪ GǪ 脳波パワー含有率の定義本研究では、まず計測した脳波に対し図のように波、波、波の各周波数帯 "# 単位のパワースペクトルをフーリエ変換により求める。脳波の原波形にパワースペクトル解析を行い、波 "# ＜ !"#、波 !"# ＜ "#、波 "# ＜ $"# の各帯域波形を取り出し、各パワーの総和を求め、全体のパワー合計に含まれる割合ここではパワー含有率と呼ぶを相対的な数値として表す。各周波数帯で帯域幅が異なるため、本手法ではパワーの平均値ここではパワー平均と呼ぶをとることにより、この値を各周波数帯での代表値とする。 μ% を周波数 "# における脳波のパワー、を波 & のパワー平均とすると、は式によって求められる。ここで、は波の最小、最大周波数を示し、本実験では整数周波数のみを扱っている。パワー含有率は全体のパワー平均総和に対する波パワーの比率であり、式によって求められる。 Gǩ Gǩ Gǰ ࡝࡜ࠢ࠯࡯࡚ࠪࡦ ࡝࡜ࠢ࠯࡯࡚ࠪࡦ௑ะ Gǰ ࠬ࠻࡟ࠬ௑ะ 図パワー含有率分布による次元状態図リラクゼーションサウンド生成システム本システムは図のように、脳波解析用 ( とサウンド生成用 ( から構成されている。脳波解析には簡易脳波計脳力開発研究所製：) )*+ を用いて、計測した脳波データをリアルタイムに周波数解析処理を行えるシステムを新たに開発した。 ࡙࡯ࠩ のときのときのとき ࡋ࠶࠼ࡎࡦ /+&+ߦࠃࠆ ࡝࡜ࠢ࠯࡯࡚ࠪࡦ ࠨ࠙ࡦ࠼ߩឭ␜ ⣖ᵄ⸘ ࠨ࠙ࡦ࠼↢ᚑ +%#5↪2% 次元状態図を用いたリラックス度の定義本研究では脳波情報からリラクゼーション効果の推定を行う指標としてリラックス度を用いる。リラックス度はリラックス状態に近づいたときのパワー含有率の分布変化の傾向を推定して、評価値が高くなるように設定する。まず脳波全体の挙動をマクロに解析するため、軸に波、軸に波、軸に波を対応させ、それぞれのパワー含有率を図のような次元状態図次元バブル散布図で表現する。ここで ' ' & の関係から、脳波のプロット点は必ず図中の三角形平面上にのる性質をもつ。分布の傾向については、身体的または精神的に安定している状態リラックス状態で多く観測される傾向にある波、波の割合が多く、反対にストレス傾向では、覚醒状態で多く観測される傾向にある波の割合が低くなると考えられる。これを次元状態図で表現すると、脳波がより低い位置にあり、三角形平面の右手前中央付近に分布するほどリラックス傾向が高くなり、逆により高い位置で左奥付近に分布するほどストレス傾向非リラックス状態が高くなると考えられる。これらの関係より、リラックス度を式により定義して、このが増加するほどリラックスの度合いが高まっているものと仮定する。 ⣖ᵄ࠺࡯࠲ࠍ 75$ߢ౉ജ ⣖ᵄ⸃ᨆ↪2% )%/ࡄ࡜ࡔ࡯࠲ ࠴ࡘ࡯࠾ࡦࠣ ((6ಣℂ ࡝࡜࠶ࠢࠬᐲR ߩขᓧ ࡝࡜࠶ࠢࠬᐲR ߩ▚಴ 7&2ㅢାߦࠃࠅ ࡝࡜࠶ࠢࠬᐲ4ㅍା 図リラクゼーションサウンド生成システム構成図本システムでは脳波解析とサウンド生成が並行して処理が行われる。図より、指定した ,ヵ所のパラメータとにおいて生成したサウンドを被験者に提示する。パラメータのチューニングは相図を用いて行う。これらのサウンドの中でリラックス度の平均値が最も高くなったパラメータに移動する大域探索。移動後のパラメータを基点として周辺 ! 近傍でサウンド生成を行う。! 近傍の中でリラックス度の平均値が最も高くなったパラメータへ移動する局所探索。局所探索の収束条件はとともに同一のパラメータを回繰り返した場合、そのパラメータに固定するように設定した。 0.4 หᦼ⋧ ㇱಽ⒎ᐨ⋧ 0.3 ⒎ᐨ⋧ ⒎ᐨ⋧ e 0.2 ㇱಽ⒎ᐨ⋧ 0.1 㕖หᦼ⋧ ዪᚲត⚝ 0 1.4 1.5 1.6 1.7 1.8 1.9 2.0 a ᄢၞត⚝ 図パラメータのチューニング方法脳波計測によるリラクゼーション効果検証実験実験実験のシステム概観を図に示す。本実験は外部からの刺激を排除するために、被験者の周辺四方をパーティションで仕切った状態で行った。計測データより提案した解析手法を用いてつの状態間通常、意識集中、音楽聴取のリラックス度を調べ、被験者が音楽によりどの程度リラクゼーション効果を得ているかについての検証と考察を行う。 ᗧ⼂㓸ਛ ᗧ⼂㓸ਛ ㅢᏱ =㧑? 㖸ᭉ⡬ข 㖸ᭉ⡬ข Ǫ Ǫ =㧑? =㧑? ǰ ǩ ǰ ǩ =㧑? =㧑? 被験者 ⸘᷹᧦ઙ ㅢᏱ =㧑? 被験者㖸ᭉ⡬ข 図実験：実験結果被験者別脳波パワー含有率 ㅢᏱ ⣖ᵄ⸘᷹ ᗧ⼂㓸ਛ ⵍ㛎⠪ ◲ᤃ⣖ᵄ⸘ ࠬࡇ࡯ࠞ࡯ 2% 図実験のシステム構成実験方法この実験は $ 代前半の男子学生 - 名被験者 ∼.、本研究室学生に協力してもらい、通常時、意識集中ストレス時、音楽聴取リラックス時の種類の状態での脳波を計測した。本実験は以下の条件で行った。脳波計測条件被験者には椅子に座った安静開眼状態で通常時、意識集中及び音楽聴取の脳波計測を各回行った。各計測は $ 分間の休憩を挟んで実施した。それぞれ計測時間は分間と設定した。解析データは回の実験の平均したものを用いた。提示内容意識集中は、被験者にはプリントに書かれた桁同士の足し算を計算してもらった。音楽聴取は、リラクゼーション効果を高めるため、市販されているヒーリングミュージック / を聴いてもらった。通常に関しては刺激を与えない状態での計測とした。アンケート方法実験後に被験者に対して、どれだけリラックスできたかを 0 段階 ∼0 のうち 0 が最もリラックスで評価してもらうアンケートを行った。実験結果被験者 - 名の各状態でのリラックス度を表に示す。図 - は被験者、) の通常時、意識集中時及び音楽聴取時のつの異なる状態での脳波パワー含有率の比較を次元状態図に示した。表各状態でのリラックス度被験者意識集中通常音楽聴取 $1- $10 ! $1! 0 ) $1- $10 $10! $1-- $10 $1!$ / $1-! $1-0$ $10$ 2 $1-$$ $1-- $10$ . $1-, $1-0 $100 各状態の脳波パワー含有率を比較すると、通常時を基準としてと音楽聴取リラックス時では波は各被験者で平均 10 ％増加、波は平均 1$ ％減少し、同じく通常時を基準として意識集中ストレス時では波は各被験者で平均 -1! ％減少、波は平均 -1 ％増加する結果となった。しかし、全被験者ともに波は各状態で共通して変化が小さく、本実験ではリラックス傾向との関連性は低い結果となった。脳波分布に基づいたリラックス度も通常時の値を基準として音楽聴取では平均で ,1 ％増加し、意識集中では平均 $1, ％減少した。よって実験結果は次元状態図において、波の影響が小さく仮定とは一部異なる結果となったが、波と波の増減によるリラックス度を人間のリラクゼーション状態の指標として用いることができることが分かった。音楽聴取と意識集中のアンケート結果を有意差検定にかけたところ、アンケート結果に有意差が確認できた。この結果から、実験においてヒーリングミュージックと計算問題が被験者のリラックス度に影響を与える条件として適切であったと言える。また通常時を基準としたリラックス度の多重比較検定においても音楽聴取と意識集中で有意差があり、リラックス傾向が変化することでリラックス度も有意な差において増減することが分かった。リラクゼーションサウンド生成システムの有用性検証実験実験実験のシステム概観を図 0 に示す。また実験と同様に外部からの刺激を除去するために、被験者の周辺四方をパーティションで仕切った状態で実験を行った。 ⣖ᵄ⸘᷹ ⵍ㛎⠪ ◲ᤃ⣖ᵄ⸘ ࡋ࠶࠼ࡎࡦ ࠨ࠙ࡦ࠼↢ᚑ ICAS 図実験のシステム構成 ⣖ᵄ⸃ᨆ 実験方法今回提案したシステムの有効性を検証するため、サウンド生成実験と並行して被験者に対するサウンド評価を行った。実験は $ 代前半の男子学生 - 名被験者 ∼.、本研究室学生に協力してもらい実施した。実験内容被験者はリクライニングチェアーに座り、安静開眼状態にて実験を行う。リラクゼーションサウンド生成システムによって図の番号順にパラメータのチューニングを行い、生成したサウンドを被験者に提示する。このサウンドに対して被験者はリラックス効果があるかアンケート評価を行う。アンケート方法サウンド聴取中の被験者に、各パラメータにより生成されたサウンドに関してリラックス評価を回答してもらうことにより、より細かな精神状態の変化を抽出した。本実験では押しボタンスイッチを用いて、押した回数 ∼0 回の 0 段階回数が多いほどリラックス評価が高いにより評価を行なってもらった。実験結果以下に本研究で構築したリラクゼーションサウンド生成システムを使用した被験者のアンケート評価とリラックス度の比較結果及び、アンケート評価とチューニング結果の比較を図 ! 示す。また全被験者のアンケート評価とリラックス度の相関係数を表に示す。㪎㪈㪇㪅㪐㪇㪅㪏㪇㪅㪎㪌㪇㪅㪍㪋㪇㪅㪌㪇㪅㪋㪊䊥䊤䉾䉪䉴ᐲ㪩䉝䊮䉬䊷䊃⹏ଔ୯ 㪍䉝䊮䉬䊷䊃⹏ଔ 䊥䊤䉾䉪䉴ᐲ㪩㪇㪅㪊㪇㪅㪉㪉㪇㪅㪈㪈リラクゼーションサウンド生成システムの有用性検証実験において、被験者のアンケート評価と脳波解析により算出したリラックス度の比較を行った。その結果、被験者 - 名中名の被験者でアンケート評価が最も高くなったサウンドとリラックス度が最も高くなったサウンドが一致する結果となった。また表より、アンケート評価とリラックス度の相関係数は、平均で $1!0 となり高い相関を持っていることが確認できた。サウンド聴取中の脳波パワー含有率を観察した結果では、アンケート評価が最も高いサウンドと最も低いサウンドの脳波パワー含有率を比較すると、平均で波が 1! ％増加、波が $1, ％減少することが確認できた。この結果より本システムにより生成されたサウンドにより被験者の主観評価であるアンケート評価と強い相関で脳波も変化していることが分かり、脳波によるリラックス度評価の信頼性が立証された。結言本研究では脳波情報からリアルタイムに人間のリラックス度の推定を行ない、よりリラックス度が高まるようにチューニングを行うサウンド生成システムの構築および検証実験を行った。被験者に生成されたサウンド聴いてもらい、その時のアンケート評価と脳波特徴解析によるリラックス度の算出結果の比較を行った。この結果、アンケート評価とリラックス度は高い相関関係を持っていることが確認できた。今後の課題としては、リラックス度の算出に関しては波の取り扱いについて追加検討する必要があること、被験者のアンケート結果に対するリラックス度の変化が小さいため推定式の感度を上げることなどがあげられる。さらに、より正確に被験者の精神状態を把握するために、今後は脳波だけでなく心拍や発汗などの複数の生体信号を用いることで推定精度が高い手法の確立を目指していきたい。㪇㪈㪉㪊㪋㪌㪍㪞㪚㪤䊌䊤䊜䊷䉺㪎㪏㪐アンケート評価とリラックス度 0.4 หᦼ⋧ ㇱಽ⒎ᐨ⋧ 0.3 ㇱಽ⒎ᐨ⋧ 0.1 Ê の比較 ࠕࡦࠤ࡯࠻⹏ଔ߇ᦨ߽㜞޿ ࡄ࡜ࡔ࡯࠲ ࡝࡜࠶ࠢࠬᐲ4߇ᦨ߽㜞޿ ࡄ࡜ࡔ࡯࠲ ⒎ᐨ⋧ ⒎ᐨ⋧ e 0.2 参考文献 ࠕࡦࠤ࡯࠻⹏ଔߣ࡝࡜࠶ࠢࠬᐲ4 ߩᦨᄢ୯߇৻⥌ߔࠆࡄ࡜ࡔ࡯࠲ 551-030 $$ ෼᧤ߒߚࡄ࡜ࡔ࡯࠲ CG 㕖หᦼ⋧ 0 1.4 1.5 1.6 1.7 1.8 1.9 1/1 アンケート評価とチューニング結果の比較表アンケート評価とリラックス度の相関係数 $1, ) $1! $1! / $1! 0 2 $1, . $1!0 平均値 $1!0 ∼1$$$：高い正の相関 ∼$1,,：中位の正の相関 $1$$∼$1 ,,：低い正の相関 3$1,,∼$1,,：無相関 3$1 ,,∼3$1$$：低い負の相関 3$1,,∼3$1$$：中位の負の相関 31$$$∼3$1-$$：高い負の相関 + 71.+ 422 5* * 8 7*9 :;4 55*+ (3 5*< 図実験：実験結果被験者相関係数長谷川貴之横山清子 4コンピュータと心拍情報との対話機能によるリラクゼーションバイオフィードバックシステム 4 電子情報通信学会技術研究報告 %*1$ 610$ 551 3 ! $$ 2.0 a 被験者水野雅紀岩田享加藤昇平伊藤英則粥川裕平寺島正義 4個人生体信号からのマイサウンド生成システムについて4 情報処理学会研究報告 %*1 + )8+= %*1, 61 5513 $$ $1-$$ $1$$ 前田陽一郎丹羽俊明山本昌幸 4大域結合写像によるインタラクティブサウンドシステム及び音楽的要素の導入4 日本知能情報ファジィ学会誌 %*1! 61 551$03! $$- 一井亮介前田陽一郎高橋泰岳 4脳波特徴抽出を用いたリラクゼーション効果測定手法4 第回ファジィシステムシンポジウム 5513 $$