日本音響学会2013年春季研究発表会 Specmurtを利用した調波構造行列による混合楽音解析の検討 1-P-11 西村大樹･中鹿亘･滝口哲也･有木康雄（神戸大）従来手法概要 Specmurt法 [S. Saito, 2008] 和音情報u(x)と楽器情報h(x)の畳み込みで観測情報v(x)を表現できる混合音解析とは 同時刻に様々な楽器が存在する信号の解析 v( x)  h( x)  u( x) より、・・・ V ( y) U ( y)  と計算でき、 H ( y) h(x) が既知であるならば .. . Wav data 1 u( x)  h ( x)  v( x) で和音情報は求められる u (x) 、h(x) 、v(x) をフーリエ変換したものを U ( y )、 H ( y)、V ( y )とすると Score Spectrum u( x)  F[U ( y)] 研究背景 耳による楽曲の解析は非常に困難単一楽器の多重音のみ解析可能人手でも不可能ではないが、かなりの経験、労力、時間を要する 楽音解析による解析結果の応用例同時刻に存在する各楽器に対応する基本周波数分布を求められない音楽検索、著作権違反の盗作楽曲検出 Wav data Score 提案手法 v(x) v1 ( x) v2 ( x )  h1 ( x) 0 V (1)   0 V (2) P     0 0  u1 ( x) * + x2 vn (x)  h1 ( x) u2 ( x) * + . . . +  0    0        V (Y )  観測スペクトル行列  hn (x) un (x) * 0  H (1)  H (2)  0 Q     0 0  観測スペクトルを各楽器の観測スペクトルの和と表現 v( x) v1 ( x)  v2 ( x)    vn ( x)  0    0       H (Y )  0 U (1)  U (2)  0 R     0 0  調波構造行列各楽器はその基本周波数分布と調波構造の畳み込みで表現  0    0       U (Y )  基本周波数行列ただし H ( y)  H1 ( y) H 2 ( y)  H n ( y) T U ( y)  U1 ( y) U2 ( y)  Un ( y) v( x) h1 ( x)  u1 ( x)  h2 ( x)  u2 ( x)   hn ( x)  un ( x) 両辺をフーリエ変換 V ( y) H1 ( y) U1 ( y)  H 2 ( y) U 2 ( y)   H n ( y) U n ( y) P  QR ( y 1,2,, Y ) 疑似逆行列でRについて解いて各楽器の基本周波数分布U1 ( y),U 2 ( y),,U n ( y) は全て未知  R Q P 各楽器の基本周波数分布を得る Ui ( y)  Ri,1 Rni,2  RYn ni,Y  未知部分をまとめて行列表現評価実験実験結果今後の課題 エンベロープの違いが原因と思われる誤りピアノとバイオリンを同時に鳴らした約1.0秒の混合楽音 (ピアノ、バイオリンの調波構造はそれぞれ既知) A7 A7 A7 A6 A6 A6 A5 A5 A5 A4 A4 A4 A3 A3 A3 0.0 0.2 (時間による変化を考慮した特徴量の導入) バイオリンの基本周波数 (E4) 0.4 0.6 0.8 Time [sec] Observed spectrum 1.0 0.0 0.2 0.4 0.6 Time [sec] 0.8 Analysis result (violin) 1.0 0.0 調波構造が既知 (調波構造が未知でも対応できる解析手法の検討) Power ピアノの基本周波数 (A3) 0.2 0.4 0.6 Time [sec] 0.8 Analysis result (piano) ① ②③ 1.0 (①: attack level, ②: attack time, ③: decay time, ④: sustain level, ⑤: sustain time, ⑥: release time) ④ ⑤ ⑥ Time Envelope 2013 Spring Meeting of ASJ. (C) CS17, Kobe University.