Color による作曲支援システムの提案 Color Based Computer Aided Composition System 認知支援システム学講座 0312002046 金箱 淳一 指導教員：藤田ハミド 羽倉淳 榑松理樹 １．はじめに 本研究は人間の感情表現媒体として，絵画，音楽，演劇 といった芸術に着目し，単一の感情表現媒体を通じて表現 された感情をほかの媒体にマッピングする方法論の構築 を試みるものである．人間は感情表現を試みる際に，自ら が最も得意とする媒体を用いることが一般的であると考 えられる．したがって，一つの感情表現媒体と他の表現媒 体との関連について考えることで，その応用として表現方 法間の自由な変換が可能になり，結果として受け手の範囲 が広がると考えられる．本研究では表現方法間の関連性に ついて，特に色と音に着目して議論をする． 色と音の対応関係の構築やその応用方法については 様々な研究がされており，これらの例として共感覚を用い た色と音の直接対応１)，vOICe２)，作曲システムの「ドレ ミキャンバス」３)などが挙げられる．ここで用いられてい る色と音の対応関係はいずれも一対一対応であり，この対 応関係を用いて利用者の感情を複数の媒体を通じて表現 することは非常に困難だと考えられる． この問題を解決するため，感情と各媒体の関係を抽出し 「感情」という中間媒体を介することで，一つの媒体から 複数の媒体へのマッピングを構築する．ここでは特に色と 音の関係に注目し，絵画を用いた作曲支援システムを上記 の応用例として捉える．本研究での感情表現媒体間の対応 付けの枠組みと作曲支援システムとしての利用方法を図 １に示す． こんにちは 身振り ① 絵画 ② 言葉 作曲支援システム としての利用方法 表情 音楽 図１ 感情表現媒体間の対応付け ２．絵画による作曲システムの構築 本研究では感情を介した表現方法の変換の例として，特 に絵画と音楽の対応関係に焦点を当てて議論を進める． ここでは絵画中の配色の割合に利用者の感情が反映さ れていると仮定する．以上の仮定の下に，絵画の配色から 利用者の感情を抽出し(図２①)，それを基に感情との関連 性が深いと思われる楽器であるドラムのフレーズを生成 する(図２②)ことで，感情を介した絵画と音楽のマッピン グ方法(図１破線部)を構築する．以下に図１の①，および ②で示した対応関係の構築方法を詳述する． フィルタリング 入力：色 各色の領域抽出 感情を表す抽象画 ① 配色比率計算 音楽 利用者 ４感情の尤度計算 出力：音 参照 テンプレート ドラムのテンポ 全体音量計算 ② ドラムフレーズ生成 ドラム音生成 図２ システム構成図 ２．１ 色と感情との対応関係の構築 色と感情の対応付けについては，システムに与えられた 色相とその配色比率に注目して感情との対応付けを行う アプローチをとる． 色相と感情との対応関係の構築方法には，本研究におい て行った色と感情との対応付けに関する調査の結果を利 用する．この調査は学生 510 人に対して特定の色を見た時 に抱く感情を記入してもらった．本研究では色相として基 本色の「赤(以降 R)」 「青(以降 B)」 「黄(以降 Y)」 「緑(以降 G)」を用いる．調査記入欄にある感情の軸には２．２節で 述べる感情との対応関係についての研究結果を応用する ために「喜び(以降 j)」 「怒り(以降 a)」 「悲しみ(以降 s)」 「恐 れ(以降 f)」の４要素を使うことにした． 本研究では入力された絵画から利用者の感情をより詳 細に抽出するため，絵画の配色比率を各感情における配色 比率のテンプレートと比較することよってそれぞれの感 情のもっともらしさ(以降尤度)を算出する．テンプレート の構築には，各感情 j，a，s，f を表す絵を被験者 30 名に 描いてもらい，その配色の比率を利用した． 尤度の算出にはベクトルの内積の原理を応用したもの を用いる．各感情の尤度をそれぞれγjγaγsγf とし，新規 配色比率(R，B，Y，G)＝(a1，a2，a3，a4)とテンプレート の値(R，B，Y，G)＝(b1，b2，b3，b4)を比較した時，式１ によって尤度が算出される． i＝｛j，a，s，f｝としたとき i cos a 1b1 a b ab a 12 a 22 a 2b2 a 32 a 3 b3 a 42 b12 (１) a 4 b4 b22 b32 b 42 ３．２ 実験結果 大きい 10 怒り 喜び 7 遅い 51 69 恐れ 悲しい 無感情 118 ：赤色 140 ：青色 速い ：黄色 ：緑色 3.5 図３ 被験者の描いた絵 表１ 実験②③の結果 1.5 X軸：テンポ(BPM) Y軸：全体音量 小さい 図２ 感情とドラム音との関係 ２．２ 感情と音との対応関係の構築 感情と音とのマッピングには，片岡智嗣らの研究成果２) を応用する．本研究では，この論文中に述べられている感 情とドラム音との関連性(図２)を参考にして各感情の尤度 に基づきドラム音量 Dr 及びテンポ Dt を以下のように定 める． ここで Α ， B は図２から得られた係数であり， ( a Aa )＋( j Aj )＋( f Af )＋( s As ) (２) Dr a＋ j＋ f＋ s ( a Ba )＋( j B j )＋( f B f )＋( s Bs ) (３) Dt a＋ j＋ f ＋ s Α ( Aa , Aj , Af , As ) としたとき Α (10,7,3.5,1.5) B ( Ba , B j , B f , Bs ) としたとき B (140,118,69,51) となる．この式では各感情の尤度が重みとなり，図２で示 されている各感情を示す代表的なドラム音量及びテンポ を係数として両者を掛け合わせることにより各ドラム要 素のうちの Dr と Dt が算出される． この係数を用いて実験的に各ドラム要素を算出したと ころ，出力された数値のふり幅が小さく，各感情の尤度が 効果的に働かなかった．この問題を回避するため，図２を 参考にしながら係数を実験的に変更し，以下のように係数 を定めた． Α B ( 25,15, 5, 15) (４) (500,200, 50, 150 ) ３．評価実験 本システムの有効性を評価するために４章で説明した 考え方に基づいたプロトタイプを作成し，実験を行った． 本プロトタイプは OS として WindowsXP©，開発言語とし て MAX/MSP/Jitter©５)を用いた． ３．１ 実験概要 本研究の最後に，作成したプロトタイプの絵画によるド ラムフレーズ生成システムが利用者の感情を反映してい るかを評価するために以下の実験を行った． ①被験者 A(１名)にある感情を表す絵を描いてもらう② その絵から生成されたドラムフレーズを被験者 B(10 名)に 聴いてもらい，ドラムフレーズから感じる感情を聴取する ことで，絵を描いた被験者 A の表したい感情がドラム音と して被験者 B に正しく伝わっているかを調査した．③最後 にドラムフレーズを聴いてもらった被験者 B に①の絵を 見せ，どのような感情を感じるかを聴取した． データID １ ２ ３ 実験②結果 j a 実験③結果 j a ４ ５ ６ a j a j j a a a ７ ８ ９ j j a j f a a s 10 ①の実験の結果，被験者は「怒りの感情」を表す図３の ような絵を描き，この画像から２章で述べたシステムを元 にドラムのフレーズを生成したところ，ドラムテンポ 165BPM， ドラム音量 7.6 のドラムフレーズが生成された． 実験②，実験③の結果は表１に示すとおりである． ３．３ 考察 実験②の結果より， 「怒り」を表した絵画から生成され たドラムフレーズを聴いた４人が「怒り」を表しているも のだと答え，本論文で述べた感情を介した絵画と音楽のマ ッピング方法がある程度有効であることが示された．それ 以外の６人も図２で近い位置にある「喜び」を表している と答えた．これは式２，３における係数の値を調整すれば 改善できると考えられる．また実験②と実験③を比較した 結果，絵が表している感情はドラムフレーズの感情におお よそ一致していることが分かった． ４． 終わりに 本研究では感情を介した表現方法の変換の例として特に 絵画と音楽の対応関係に注目し， 「絵画による作曲システ ム」を構築した．プロトタイプを用いた評価実験の結果， 本論文で述べた方法による感情を介した絵画と音楽のマ ッピングがある程度有効であることが示された． 色と感情との対応関係について，絵画中に描画されたも のの形も感情と密接な関係を持っていると考えられるこ とから，それらを考慮に入れたより詳細な対応関係の構築 が今後の課題である． 参考文献 １) 岩井 大輔， 他共著 : “音と色のノンバーバルマッピン グ : 色聴保持者のマッピング抽出とその応用”， 情報処理 学会研究報告 ， MUS[音楽情報科学]， Vol．47， pp． 97-104， 2002． ２) 片岡智嗣， 他共著 : “打楽器演奏における感情の表現 と伝達”，ヒューマンインタフェースシンポジウム'03 論文 集， pp．449-452， 2003． ３) vOICe，http://www.seeingwithsound.com/voice.htm ４) 東京書籍 :「ドレミキャンバス」 ， http://ten.tokyo-shoseki.co.jp/kyozai2006/shochu/56955. htm ５) Cycling ’74 :「Max/MSP/Jitter」 ， http://www.cycling74.com/
© Copyright 2024 ExpyDoc
![[課題5] 岩石の密度をρ（kg/m3），重力加速度をg（m/s2）としたとき，圧力](http://s3.expydoc.com/store/data/007435229_1-da182934107e8f406705bf3c5dcfbb32-250x500.png)
