奥乃研究室「チーム音楽」テーマ：音楽情景分析／音楽情報処理音楽情景分析とは・・・音楽を理解するとは・・・ • • 音楽情景分析とは，音楽を理解できる計算機システムを構築しようという研究 • 1980年頃から研究がスタートしかし，いまだ実用に至らず • なぜ音楽を扱うのか? ① 学術的関心あいまい性の高いコンテンツを扱う情報処理（やわらかな情報処理）の実現は，21世紀の計算機科学の最大のテーマであり，音楽は絶好の対象である ② 応用上の意義音楽制作現場（プロモーションビデオ作成，カラオケデータ作成など）でニーズがきわめて高いエンターテインメントの分野でも高いニーズ人間の音楽理解の不思議： ① 人間は，メロディの音名がわからなくても，口ずさむことができる ② 人間は，正確なコード名が分からなくても，コードの違いを感じ取ることができる ③ 音楽の優劣の判断は，本来聴取者の好みに依存するにもかかわらず，複数の聴取者が同じ判断をする場合がある • これらの現象を説明できる理論はない → 人間が音楽をどのように理解しているのか，いまだ解明されていない • 「感性」や「主観」が関連 → 「感性情報処理」など多くの分野と密接な連携が必要（学際的）奥乃研究室「チーム音楽」テーマ：音楽情景分析／音楽情報処理音声 vs 音楽音楽情報処理は学際的・・・ • 録音技術などは，主な対象を音声から音楽へとシフト • • 音声認識が部分的に実用化されつつあるいま，認識の研究も音楽を・・・ • 音楽に対する考え方や立場によってさまざまな研究テーマ ① 自動採譜（しろうとにはできない音楽理解） ② しろうとの音楽理解音楽情報処理の研究は，さまざまな分野の教養が必要特に，音楽に対する強い好奇心が重要計算機科学人工知能認知科学信号処理 • 音楽には未解決の問題がたくさんある感性情報処理 • 音楽は「感性情報処理」の対象としても手頃である音楽情報処理音響心理学脳科学音楽学奥乃研究室「チーム音楽」音高による音色変化に着目した音源同定（北原）音源同定とは・・・ • • 音高による音色変化に着目した音源同定楽器音の同定（入力された音は piano? flute? …） • パターン認識の一分野（音声はあまりさまざまな音高で発音しないが，楽器はさまざまな音高で演奏する） • 特徴量を音高（基本周波数）の関数とみなし，区分的線形関数で近似 • 4カテゴリー問題で，約85％の認識率 • パターン認識において，このような入力の属性による特徴変動の利用は，あまり議論されていないその他実際には・・・ piano 音高による音色変化は，楽器音特有様々な要因により特徴量が変動するため，同定が困難 x2 flute x1 特徴変動の要因として音高に着目 • 階層的な音源同定 • 未知楽器の問題参考文献北原他：音高による音色変化に着目した音源同定手法，情処研報，2001-MUS-40, pp.7-14, 2001. 奥乃研究室「チーム音楽」定位情報と音色情報を用いた自動採譜（桜庭）自動採譜とは音楽の様々な情報の利用 – 入力：ステレオ音響信号 – 出力：パートごとの楽譜 • スペクトログラム ↓ 知覚的な音の抽出＜自動採譜の問題点＞例：オクターブの関係の音の区別 • (Hz) X.4 X.3Y.2 X.3Y.2 X.2 Y.1 X.1 X.2 Z.1 Y.1 X.1 ドソ音色情報（楽器ごとの波形）定位情報（楽器の位置）に着目 • (Hz) X.4 (time) 採譜精度約75％今後の自動採譜 ☆実用レベルは90％以上☆ Z.2 ドソド人間は様々な手がかりを総合的に用いて音楽を理解する • (time) 確率的統合 – 音色＋定位 – コード進行 – メロディライン – ・・・