音響的類似性を反映した楽器の階層表現の獲得とそれに基づく未知楽器のカテゴリーレベルの音源同定北原鉄朗京都大学大学院情報学研究科１．研究の背景・目的楽器音の音源同定（音からの楽器名の同定） ∥ 自動採譜・音楽アーカイブ構築などにおいて重要な課題音楽認識関連の研究の多くは，音高推定を指向しており，音源同定は少数 Feature Extraction (e.g. Decay speed, p(X|wpiano) Spectral centroid) p(X|wflute) w = argmax p(w|X) = argmax p(X|w) p(w) <inst>piano</inst> 音源同定の一般的なアプローチ：あらかじめ用意した各楽器の音響信号（学習データ）と比較 →学習データにない楽器（未知楽器）の入力は考慮されずこの問題を考慮する音源同定手法について検討２．未知楽器の問題  未知楽器の問題とは学習データに含まれない楽器（未知楽器）をどう扱うかという問題  未知楽器の問題が重要な理由 ① 世の中には，オーケストラ楽器から民族楽器まで無数の楽器が存在 ② 近年のディジタルオーディオ技術の発展により，多種多様な楽音を自由自在に作れるようになった  未知楽器の問題は，これまで扱われてこなかった  本研究の解決策＝カテゴリーレベルで同定する．たとえば，バイオリンとビオラをシンセサイザー上で合成して作った音に対して，「楽器名はわからないが，弦楽器系の音」と判断３．未知楽器のカテゴリー同定のための楽器カテゴリー  未知楽器のカテゴリー同定に適した楽器カテゴリー ∥ 楽器の音響的類似性を反映した楽器カテゴリー表1 楽器の発音機構に基づく楽器カテゴリー大分類中分類弦楽器 ── 小分類属する楽器打弦楽器 PF 撥弦楽器 CG, UK, AG 擦弦楽器 VN, VL, VC 無簧楽器木管楽器単簧楽器管楽器複簧楽器 ── 金管楽器打楽器（省略）（省略） PC, FL, RC SS, AS, TS, BS, CL OB, FG TR, TB （省略）  楽器の発音機構に基づくカテゴリー（右図）は，上記の条件を満たさない．また，物理的発音機構を持たない電子楽器音には  具体的には，適用できない特徴空間上で各楽器間の距離を求め，階層的クラスタリング*を行う  楽器の音響的類似性を反映した楽器カテゴリーを *距離の短いペアを順に1つのクラスタにまとめ上げる処理自動作成 3.1 音響的類似性を反映した楽器カテゴリー作成の課題と解決策課題1 どの特徴空間を使用するか ⇒音源同定で用いるものと同じ特徴空間を使用課題2 特徴空間上の各楽器間の距離をどのように測るか ⇒各楽器多数の音響信号から多次元正規分布をつくり，分布間の距離をマハラノビス汎距離で求める． 3.2 カテゴリー作成条件  使用データ：右表  特徴空間：音源同定と同じもの（表3の129個の特徴量をPCA, LDAで18次元に圧縮）表2 使用データ楽器数オーケストラでよく用いられる 19種類（打楽器を除く）楽器個体 2～3種類/楽器音の強さ強・中・弱の3種類ずつ奏法通常の奏法のみデータ数 153～696個/楽器（総数：6,247 個）表3 129個の特徴量の概要 1. スペクトルに関する特徴（周波数重心他） 2. パワーの時間変化に関する特徴（パワー包絡線の近似直線の傾き他） 3. 各種変調（周波数変調，振幅変調他） 4. 発音開始直後の非調波成分の特徴 3.3 カテゴリー作成結果  部分的に発音機構に基づくものとは異なる結果に  従来研究*が人手で与えたものと部分的に一致 *ただし，既知楽器のみを扱うクラスタリング結果  人間対象の聴取実験結果とも一部一致ただし，実楽器音を使った大規模な聴取実験は少ない大分類中分類大規模な楽器音データベースから楽器カテゴリーを自動的に作る研究はこれまで行われてなかった ── サックスクラリネット持続系楽器管楽器リコーダー低音系＋α 表4 提案手法により得られた楽器カテゴリー減衰系楽器 ── 小分類属する楽器ウクレレ以外 PF, CG, AG UK ウクレレ弦楽器高音系 VN, VL, VC SS, AS, TS CL RC TR, TB, BS, FG OB, PC, FL ４．未知楽器のカテゴリーレベルの音源同定 4.1 処理の流れ 1. 楽器名レベルで同定 2. 1.の結果wと入力信号xとの距離D(x,w)を計算 3. D(x,w)がしきい値以下なら wを出力 4. D(x,w)がしきい値以上ならカテゴリーレベルで再同定既知・未知判定の精度（表2の19楽器6,247音のうち，ランダムに半分を選択） 既知楽器の評価データ：自然楽器音（上記の残り半分） 未知楽器の評価データ：電子楽器音（ヤマハ製MU2000に収録されている Elec.Piano, Synth Strings, Synth Brass） 4.3 実験結果  約77%の未知楽器音を正確に同定 100% 80% Accuracy 4.2 使用データ 学習データ：自然楽器音 60% 楽器名レベルで正解カテゴリーレベルで正解不正解 40% 既知楽器未知楽器 20% 0% Threshold: 50 Feat. Space: 既知楽器未知楽器 40 30 PCA (23dim.) 25 40 30 25 PCA (18dim.) 40 30 25 PCA+LDA (18dim.) 0% 20% 40% 60% 80% 100% ５．まとめ  音源同定＝自動採譜・音楽アーカイブ構築において重要な課題  音源同定における問題＝「未知楽器の問題」  学習データに含まれない楽器（未知楽器）を適切に扱うことの重要性を指摘  未知楽器をカテゴリーレベルで同定することを提案  「楽器名まではわからないけど，弦楽器系の音」という理解  自然楽器音のみの学習で，約77%の電子楽器音を正しく同定  上記実現のために適した楽器カテゴリーを自動作成  楽器の発音機構に基づく従来の楽器カテゴリーと部分的に異なる楽器カテゴリー  人間が感じる音色類似性と部分的に一致付録Ａ本研究で用いた音源同定手法 1st step: 特徴抽出先行研究・楽器音響学の知見に基づいて定めた 129個の特徴量を抽出 e.g. 周波数重心 Piano Flute パワー包絡線の近似直線の傾き Piano decayed Flute not decayed 2nd step: 次元圧縮 ① 主成分分析（累積寄与率＝99%） 129次元a79次元 ② 線形判別分析 79次元a18次元（∵19楽器対象） 3rd step: パラメータ推定 F0依存多次元正規分布のパラメータ： - 代表値関数 - F0正規化共分散行列を18次元空間上で推定 Final step: ベイズ決定規則次式を満たす楽器wを出力： w = argmax [log p(X|w; f) + log p(w; f)]