独立行政法人科学技術振興機構戦略的創造研究推進事業 CREST 研究領域「デジタルメディア作品の制作を支援する基盤技術」 2005年度採択テーマ「時系列メディアのデザイン転写技術の開発」研究代表者片寄晴弘（関西学院大学理工学部教授）関西学院大学理工学部／産業技術総合研究所／和歌山大学システム工学部／東京大学情報理工学系研究科／京都大学情報科学研究科 http://www.crestmuse.jp/sympo2006/ MIDIデータを楽譜に変換する武田晴登† 山本遼西本卓也小野順貴嵯峨山茂樹 †関西学院大学（東京大学） MIDI演奏の自動採譜とは？ ■ 楽譜 MIDI演奏の自動採譜 ●用途：シーケンサデータ（カラオケ、着メロ）の作成，楽譜浄書、音楽検索演奏採譜 ●対象：演奏を記録したMIDI信号・音高と発音時刻が既知なので、音符が分かれば楽譜に変換できる ■ リズム認識では何が問題か？ ● (c) tempo [bpm] ● 0.25 秒の音長の音符は？ 0.25 (秒) = beat beat ??? （拍） - 典型的なリズムパターン - 滑らかなテンポ tempo [bpm] (b) note onset beat 音楽演奏を確率的にモデル化 ●リズム語彙と文法 ??? (秒/拍) × 手掛かりとなるのは (d) time ♪ の長さは？ =120bpmのとき、 0.25 (秒) = 0.5 (秒/拍） × 0.5（拍） (a) tempo [bpm] 演奏MIDI Rhythm Word Network for N-gram Model (N=2) ・既存の楽曲の楽譜から統計的に学習 ●リズム演奏の隠れマルコフモデル・音長の変化、和音の発音時刻のずれを確率的に扱う音長の演奏をモデル化実演奏の音長の変動 0.16 0.14 ・確率文法（N-gramモデル）によりリズムパターンの出現確率を学習 0.12 0.1 4/4 meter rhythm words 0.08 0.06 0.04 0.02 start end 0 0 ●テンポの変動をモデル化 3/4 meter rhythm words テンポ曲線＋ 0.4 0.6 0.8 1 1.2 1.4 1.6 時間［秒］テンポをモデル化リズムパターンをモデル化 0.2 確率的＝変動観測瞬時テンポリズム認識を用いた演奏の楽譜変換 ■ 最も尤もらしいリズムとテンポを推定演奏者の意図したテンポとリズム確率的変動推定演奏された音長 ●事後確率を単調増加させる反復推定による収束解 [リズム推定] テンポを固定してリズムを最適化 HMM の Viterbi 探索 [テンポ推定] リズムを固定してテンポを最適化テンポ曲線をセグメンタルｋ平均法で最適化 ●リズム正解率による評価・１００曲の楽曲から学習し622のリズム単語からなるリズム語彙を用いて81.9%のリズム正解率 ■ 自動採譜システムによる出力結果例～演奏者が用いた楽譜ＨＭＭを用いたリズム認識による楽譜変換の結果市販ソフト (Ｆｉｎａｌｅ) による量子化の結果～ 1.8 2