music5

本日の内容（11/13）
• 第２回レポート課題について
• ようやく準備は整ったのですが、ドキュメントが
まだ未整備。改めて出題し直します。
• 音楽情報科学について（導入）
• 関連文献については授業ページの「関連資料・
文献」の bit 別冊記事などを参照。
1
音楽情報処理（音楽情報科学）
• 音楽を情報として扱い、コンピュータなどによって処理す
る研究の全般を言う。
• 処理の方向
• 「作る側」（音響合成、作曲、編曲、演奏）
• 「聞く側」（聴取、採譜、分析、検索）
• 対象とするデータ
• 音響、記号表現、その他
• 処理の形態
• リアルタイム、逐次的、全参照的
• 使用できるデータ
2
＊情報・処理の流れによる分類
• 「聴く側」
情動、感動
音楽情報
分析、理解、
解釈、記憶
相互関係
• 「作る側」
イメージ、解釈
楽譜情報
音楽情報
（作曲、演奏等）
3
研究事例紹介（１）（敬称略）
• 片寄晴弘（関西学院大）：ビデオ（約１０分）
「IT が拓く音楽の世界～感性情報処理の最前線」
• 音楽情報科学・感性情報処理の全般的紹介
• （片寄研の Web ページからストリーム表示可能）
4
基礎・共通事項（研究のインフラ？）
•
•
•
•
•
音楽データ表現形式
音楽記述言語
音楽データ通信プロトコル（MIDI もその一種）
音楽データベース、音楽情報検索
各種のツール、サポートシステム
• 再生・録音システム
• ネットワーク
• 対人インタフェース
• 統合型音楽システム（DTM 等）
• マルチメディア対応、音楽データの可視化等
5
＊「聴く側」
• 音響信号解析
・音符同定
・音源識別
・声部分離
• 拍節認識・調性認識
• 自動採譜・（楽譜認識）
↑ まで
楽譜レベル
• 構造分析・楽曲解釈
・グループ化
・旋律分析
・和声解析
・階層的構造
・類似性の照合・検索
↓ から
• 感性情報処理
・情動、好み、芸術性
6
＊「作る側」
• 自動演奏
• 自動伴奏・合奏
• 即興演奏（ジャムセッション等）
• 楽譜の有無、リアルタイム応答
• 自動作曲
• 「創造性」、ランダム生成、テンプレート（タネ）
• 自動編曲
7
（
相
互
の
関
連
・
依
存
性
が
高
い
）
8
＊「楽譜レベル」
• 楽譜まで：楽譜に記される情報の抽出
• 音符情報
• 調、拍節（拍、小節、拍子）
• その他
• 楽譜が規範となる。 →評価が明確
＊人間は「楽譜レベル」を認識しているか？
• 楽譜から：より「高次」の音楽構造
• 表層では見えない：「理論」の世界
音楽理論、認知理論、．．．
＊「行き止まり」（消費型）の認知
9
＊処理の形態
• 時間的制約
• リアルタイム処理
• 逐次的（順次的）処理
• 時間制約なし
• 使用できるデータ
• 進行時点までのデータのみ
• 一部は進行時点までのみ（演奏情報等）
• すべて利用可能
10
＊処理の形態（続）
• リアルタイム処理
• 逐次型（順次的）処理
• 認知モデル
• 局所的解析
• 楽曲分析（大域的）
• 自動演奏、（自動作曲）
制
約
→
• 全参照型処理（無制約）
←
• 自動伴奏・合奏
• リアルタイム解析
• 他のメディアとの同期
厳
緩
＊扱う対象、概念自体が変わってくる。11
＊処理の形態（続）
• リアルタイム処理の場合：
• 一定時間内に結果を返さなければいけない。
• 平均的には速くても、最悪の場合が予測不能
な処理は使いにくい。
• どの時点で打ち切っても何らかの結果を返せ
る必要がある。
12
＊処理の形態（続）
• 逐次型処理の場合：
• 不確実・不完全な情報のもとで判断しなけれ
ばならない。
• 予測的な処理が必要。
• 以前の結果を修正・変更しなければならない
場合がある。
• 可能な候補を複数保持してそこから最善のも
のを選択する方式などがとられる。
13
＊処理の形態（続）
• 全参照型処理の場合：
• 全体を見回せる分、精度の高い結果が得られ
る（はず）。
• 統計的手法などが（も）使える。
• 全体を見るまで結果が出せない。
⇒ 認知的観点からは問題
14
＊「聴く側」
• 音響信号解析
・音符同定
・音源識別
・声部分離
• 拍節認識・調性認識
• 自動採譜・（楽譜認識）
• 構造分析・楽曲解釈
・グループ化
・旋律分析
・和声解析
・階層的構造
・類似性の照合・検索
• 感性情報処理
・情動、好み、芸術性
15
拍節認識・調性認識
• 直接的には、また採譜（楽譜作成）のためには：
音部記号
調号
小節線
拍子記号
• しかし曲の分析・理解の観点からはもっと複雑
16
原体験から
• その昔、パソコン（N-88 Basic の MML？）で曲デー
タの打ち込みをやっていたところ、
• 全然聞いたことがないメロディ！？
音列
グループ化（拍節・調性）
17
原体験から（２）
• 音に表情（アゴーギグ・アクセント）をつけてみる。
• 原曲－ハイドン：交響曲第94番ト長調「驚愕」
第１楽章第１主題
18
原体験から（２）
• 音に表情（アゴーギグ・アクセント）をつけてみる。
• 原曲－ハイドン：交響曲第94番ト長調「驚愕」
第１楽章第１主題
19
何が問題か
•
•
•
•
•
なぜ ¾ 拍子のほうに聞こえたのか
なぜ「聞き覚えがない」と思ったのか
なぜ表情付けにより聞こえが変わるか
最初のように聞こえなくなるのはなぜか
２つはどのように記憶されるのか、
相互に行き来は可能か
• そもそも普通の状況でこのような問題があること
に気づくか
20
なぜわかりにくいか
• ¾ 拍子のほうが自然なグルーピング
• 6/8 拍子：
• アウフタクト（アップビート：強拍が中途にある）
• ８分音符の４音下行を途中で切る
• 調性的に不安定
• 繰り返しのパターンはどちらも同じ
• 伴奏、先行する序奏の影響
21
「自然なグルーピング」
•
•
•
上行・跳躍進行
下行・順次進行・８分音符
同一パターンの反復
⇒
22
表情付けがあると：
• 音の相対的な重要度が変化する？
23
調性感が不安定
• ドレミ唱法で「ミーラソファミレーソファミレ」
• もっと簡単なケースに比べて調性感がつかみにく
い。
24
＊「聴く側」
• 音響信号解析
・音符同定
・音源識別
・声部分離
• 拍節認識・調性認識
• 自動採譜・（楽譜認識）
• 構造分析・楽曲解釈
・グループ化
・旋律分析
・和声解析
・階層的構造
・類似性の照合・検索
• 感性情報処理
・情動、好み、芸術性
25
拍節認識
• 何をするのか？
• 音長の量子化
音の時間的な長さを「音価」で表す。
• 拍・小節などの区切りと階層的なまとまりの認識
⇒ 拍節階層
cf. リズム認識：各音のリズムパターンの認識
• 時間（時間的な枠構造）の認識
26
音長の量子化
(ビートトラッキング： beat-tracking）
• 実演奏では、各音は楽譜上の長さ（音価）の通り
には演奏されず、微妙な長短がつけられる。
agogics: 演奏表現としての音符の伸縮
• 音長の量子化：音長を簡単な整数比で表す。
• ビートトラッキング：音楽を構成する拍（ビート）、
小節などの単位の認識
• cf. 後藤真孝：「拍節認識（ビートトラッキング）」、
bit 別冊「コンピュータと音楽の世界」、3.3 節
27
拍節階層の認識
• 音価情報は所与として、その上位の拍節階層の
認識
• 手がかりは？
• 音長の頻度分布
（全参照型）
• 音長の進行パターン
• 音高の進行パターン（順次／跳躍、順行／逆行）
• 各種のアクセント、アゴーギグ
• グルーピング
• 繰り返し、類似パターンの照合
28
29
30
拍節階層の認識（続）
• やり方は？
• 全参照型、逐次型、リアルタイム
• 手がかりが多様（多次元的）：
⇒ 協調的・競合的処理
• 何ができるか？
• 簡単なものは簡単
• ．．だが量子化・拍節化とも、難しい点も多い。
• 大きな問題：限定された候補からの選択。
「２等分・３等分の原理」など。
31
２等分・３等分の原理
• 時間長は、２ないし３等分（２ないし３倍）の長さで
階層的に構成される。
• 3/4 と 6/8
32
Longuet-Higgins & Lee のアルゴリズム
• 音価情報だけを元に、逐次的に拍節階層を認識
していくアルゴリズム
• 基本演算
• conflate
• stretch
• update
• (longtone)
33
34
実行例
35
アルゴリズムの問題点
• 等拍リズムに対応できない。
その他、拍情報だけでは対処できないケースは
多数ある。
• ２分割優先 (conflate)：３分割は副次的にしか得
られない。
• 人間にとって「顕著な(salient)」レベルの拍構造を
特定できない。
• Agogic 付きの実演奏情報への応用が困難
36
＊「聴く側」
• 音響信号解析
・音符同定
・音源識別
・声部分離
• 拍節認識・調性認識
• 自動採譜・（楽譜認識）
• 構造分析・楽曲解釈
・グループ化
・旋律分析
・和声解析
・階層的構造
・類似性の照合・検索
• 感性情報処理
・情動、好み、芸術性
37
＊調性認識
• 何をするのか？
• 調（旋法、主音等々）の決定
• 各音への調的な機能の付与
．．．だけ？
• 調感（調性感）：音楽認知の中核的問題
• 大域調、局所調 →転調
⇔移調
• 協和性
• 進行（プロセス）と終止
（阿部他：終止音導出）
38
調性認識
• 調性感が得にくい曲
• バッハ：平均律クラヴィア曲集第１巻
第２４曲フーガ
• 調性は曲認識にどこまで関係する？
• アメリカ国歌（？）
• 君が代バージョン
39
＊調性認識の手がかり
•
•
•
•
•
•
•
特定位置の音高、音程
カデンツなどの和声パターン（循環的）
音高の頻度分布 (Krumhansl: Tonal Hierarchy)
（音長、拍節中の位置などによる重みづけ）
音程の頻度分布
音程のパターン
(rare interval)
．．．
40
＊調性認識の手法
• やり方、問題点などの大枠は拍節認識の
場合と同じ。
• ただしこちらのほうが多様性が高く、複雑。
• 「限定された候補からの選択」はやはり問題（長短
２４の調）。
• 調の競合、曖昧性、．．．
41
統計的な手法
• 音高頻度分布 (Krumhansl, Knopoff & Hutchinson,
Longuet-Higgins & Steedman, etc.)
• 音程頻度分布・「特異音程」 (Butler & Brown)
• より複雑な関係性（Connectionist Model など)
• 基本は全参照型だが、曲データに順次適用して
いくことで、逐次的な処理も可能。
42
Krumhansl: Tonal Hierarchy
43
Krumhansl: Tonal Hierarchy
デモ
44
30
25
20
平井
槙原
桜井
長調
15
10
5
0
C
C#
D
D#
E
F
F#
G
G#
A
A#
B
45
Tonal Pitch Space （音高関係の幾何的表現）
46
特定位置の音高
• 曲の最後の音・和音
• 最後の和音は主和音（ドミソ）
• 旋律の最後の音は主音（ド）、ないし主和音の構成音
• 曲の最初の音・和音・音程
• 最初の和音は主和音
• 最初の音は主音、ないし属音（ソ）、ないし第３音（ミ）
• 最初の音程が５度ならソド、...
47
＊自動採譜
• 「楽譜まで」の処理の総合
• 実用的価値が高い
• 楽譜（五線譜）印刷は（実用的には）完成の域に
近い
• 精度を上げるには高度の音楽的知識・
処理が必要
• 楽譜はどの程度規範になっているか
48

Download Report