チェロ演奏の音響信号を対象とした熟達度推定手法の検討 Proficiency estimation for audio of violoncello performance 山﨑瑞己 1，三浦雅展 2 Mizuki Yamasaki1 and Masanobu Miura2 1 龍谷大学大学院理工学研究科，2 龍谷大学理工学部 1 Graduate school of Science and Technology，Ryukoku University 2 概要 Faculty of Science and Technology，Ryukoku University 楽器演奏の熟達度を推定する研究が近年盛んに行なわれているが，それらの多くは MIDI データや，ピアノのような減衰音による演奏音に特化したものであり，ヴァイオリンやチェロのような持続音による演奏の音響信号から熟達度を推定する手法は未だ確立されていない．この研究では,チェロ演奏の音響信号を対象とした熟達度推定手法の確立を目指している．チェロ演奏の音響信号を基に，楽器の特性を考慮した音響パラメタの検討を行ない，それらを用いて線形回帰により熟達度を推定している．チェロ専門家による主観評価の結果との比較により，熟達度推定に有効なパラメタセットの検討を行なっている．その結果，「音のなめらかさ」「相対的な音の明るさ」「スペクトル変動」を考慮したパラメタが熟達度推定に有効であることが示唆されている． Keyword : チェロ，音響信号，熟達度評価，スペクトル重心，スペクトル変動 1 はじめに評価するだけでなく，奏者の芸術的な要素を考慮近年，楽器演奏における熟達度を推定する研究した研究が行なわれている．ピアノを使用した熟が盛んに行なわれている．特にピアノの熟達度推達度推定手法には，課題曲として 1 オクターヴの定においては，音階演奏や練習曲など様々な課題上下行長音階[1]，CZERNY から抜粋したフレーズ曲を用いて推定が行なわれてきた[1,2]．しかしこ [2]を対象とし，MIDI データや音響信号からの推れらの研究は，MIDI 信号を対象としたものやピア定が行なわれている．入力されたピアノ演奏からノのような打鍵楽器にみられる音響信号から推定打鍵時刻，打鍵強度，押鍵時間長，瞬時テンポのを行なうものであるため，扱うデータや楽器が限演奏情報に対して評価モデルすなわち傾向曲線に定されている．そのため，他の楽器による音響信対するパラメタを算出している．先行研究で用い号，特にヴァイオリンやチェロのような持続音にた各評価パラメタの算出式を式(2.1)～(2.5)に示す．よる演奏に対応した熟達度推定手法が未だ確立さ  れていない．そこで本研究では，音響信号から楽 ∑(𝑥𝑛 − 𝑥̅ )2 𝑃𝜉0 = √ 𝑁−1 器の演奏に対する熟達度推定を行なう手法の確立を目指す．先行研究[2]でのピアノ演奏を対象とした推定法を拡張するため，今回は擦弦楽器の１つ  としてチェロ（Violoncello）による演奏の推定手法 𝑁  2 先行研究での熟達度推定手法 2.1 ピアノによる熟達度推定先行研究では，単に基準値からの誤差を用いて傾向曲線の最大値と最小値の差 𝑃𝜉2 = max(𝑥̂′) − min(𝑥̂′) 価スコアを比較することで提案するパラメタの有効性を確認する． (2.2) 𝑛=1 の特性を考慮した音響パラメタを算出し，その後，された評価スコアと評価実験から得られた主観評 (2.1) 傾向曲線と実演奏との誤差の二乗和平方根 𝑃𝜉1 = √ ∑(𝑥" )2 を検討する．録音した演奏データからチェロ演奏線形回帰により熟達度推定を行なう．そして推定標準偏差  (2.3) 傾向曲線の隣接 2 音間の階差の二乗和平方根 𝑁 𝑃𝜉3 = √ ∑(𝑥̂′𝑛 − 𝑥̂′𝑛−1 )2 𝑛=2 (2.4)  基準値と傾向曲線との誤差の和度推定はこれら全てのことを考慮する必要がある 𝑁 𝑃𝜉4 = ∑ 𝑥̂′𝑛 が，いずれの特徴も音響信号に大きく影響すると (2.5) 𝑛=1 ここで, 𝑥𝑛 は第 n 番目の音の値，n は音 ID，𝑥′は実演奏と基準演奏との誤差，𝑥̂′は評価モデルの値， 𝑥"は実演奏と評価モデルとの誤差，𝑥̅ は実演奏の平均値，𝑁は入力された音の総数を表しており，𝑃𝜉𝑖 内の添え字𝜉は打鍵時刻(𝜉 = 𝑜)，打鍵強度(𝜉 = 𝑣)，押鍵時間長(𝜉 = 𝑑)，瞬時テンポ(𝜉 = 𝑡)のいずれかを表している．これにより得られた評価パラメタはいえるため，ここでは音響信号のみを対象として熟達度を推定する．チェロでの熟達度推定手法が確立できれば，ピアノ以外の楽器（弦楽器や管楽器など）においても推定が可能になると期待される．特に今回は，先行研究で使用されているパラメタ以外にチェロの特性を考慮した音響パラメタを提案し，提案したパラメタの熟達度推定における有効性を確認する．主成分分析を行ない圧縮され，k-NN 法を用いて記録済みデータから近傍の演奏データを 5 個抽出する．そして抽出した演奏データに付与されているピアノ熟達者による主観評価スコアの平均値を算出し，その値を入力された演奏に対する熟達度の推定値とする．ピアノを対象とした先行研究[1,2] では，奏者の演奏傾向を表す評価モデルとしてスプライン曲線が用いられ，運指の交差や折り返しによりスプライン曲線の代表点を決定し，評価モデルの算出を行なっている． 2.2 先行研究の問題点ピアノによる熟達度推定は盛んに行なわれているが，弦楽器を対象とした熟達度推定はこれまで図 1 記録実験における 3 つの演奏課題の譜例検討されていない．そこで本研究では，熟達度推定に使用する楽器をチェロとし，弦楽器に対する推定を試みる．評価対象とする演奏課題の譜面を図 1 に示す．約 65Hz から始まる 1 オクターヴの上下行長音階を「1octC2」，その 1 オクターヴ上の約 130Hz から始まる場合を「1octC3」とラベリングする．また，ウェルナー・チェロ教則本から抜粋したフレーズを「Werner」とする．図 1 内の各音符の上部に示す数字は左手のフィンガリングを表わす．これらの課題はチェロ演奏における基礎練習としても頻繁に用いられるため，音響信号からの熟達度推定手法を検討する初歩段階として適していると考えることができる． 3 提案する熟達度推定手法 3.1 チェロの特性図 2 ピアノとチェロの波形の違い（1octC3 の場合） 3.2 チェロの演奏に関する実験本研究ではチェロ演奏の記録済み演奏データとそれに対する専門家による熟達度評価スコアを用いて熟達度推定を行なうため，まずは演奏記録実本研究では，熟達度推定を行なう演奏に使用す験を行なった．今回のチェロの録音実験におけるる楽器としてチェロ（Violoncello）を用いた．擦弦録音環境を表 1 に示す．被験者の熟達度以外に関楽器でヴァイオリン属であるチェロは，弓と弦をする演奏環境の差が最小限となるよう録音には同摩擦させることによって音を発生させる．そのたじ場所（龍谷大学内防音室），同じ楽器（Georgeta め，弦に対する弓からの圧力や摩擦させる箇所に MOGA）を用いた．課題曲は各奏者につきそれぞより得られる音響信号が異なる．さらに，奏者にれ 1octC2，1octC3 を 10 回ずつ，Werner を 5 回のよっても演奏の際の姿勢，腕の使い方，演奏方法計 25 パタンを録音した．被験者は計 7 名で，年齢に違いがあることから，一般にチェロ演奏の熟達は 19～28 歳（平均 23 歳），男性 3 名女性 4 名で演奏歴は 2～10 年（平均 5.7 年）であった．演奏のかつ熟達した演奏と評価される傾向にある．そこ際，被験者が演奏し直しや実験中断を希望した場で，発音時刻付近の波形からエンベロープを求め，合には，再録音や実験の中断などの対応を行なっエンベロープの谷とその前後 300ms（Werner の場た．すべての被験者はヘルシンキ宣言に基づいた合は 150ms）の 2 つのピークを算出する．求めた参加同意書に同意した．録音の結果，弾き間違い値から，2 つのピーク間の時間長（以後，P2P），や雑音のない演奏データ計 175 通り（7 人×25 パピーク同士の振幅の差分（以後，Diff_peak），2 つタン）が得られた．次に，記録済み演奏データにの内値の高いピーク値と谷の値との振幅の差分付与する評価スコアを得るため，記録実験で得ら（以後，Diff_bottom）をパラメタとして取り入れれた演奏データに対して主観評価を行なった．こた．音がなめらかであるためには，先行音と後続こで用いたのは，表 1 内の接近用マイクとアンビ音に見られる P2P が短く，かつ Diff_peak とエント用マイクの音を足し合わせた音とした（3.3 Diff_bottom が小さいことが望ましいと考えられる．で述べる音響分析では接近用マイクのみの音を使  相対的な音の明るさを表す指標用した）．演奏課題ごとにランダムに提示した演奏音の明るさを表わす音響パラメタとして，スペデータを，1~10 の 10 段階（10 が最も良い）で評クトル重心が挙げられる．スペクトル重心𝐶の算出価し，プロのチェロ専門家計 4 名による主観評価式を式(3.1)に示す．スコアを得た．これらの専門家はいずれもチェロ 𝑁 2 log (𝑓)∙𝑆[𝑓] ∑𝑓=1 2 を専攻した音楽大学卒であり，現在チェロの演奏 𝑁 2 𝑆[𝑓] ∑𝑓=1 または指導を主な活動としている者である．評価 𝐶=2 の基準に関しては，「音色や響きについては評価しここで，𝑆[𝑓]は周波数 f におけるパワー値，N は周ない」，「発音のタイミングが完全に均一でなくて波数解析に用いるサンプル点数である．スペクトも熟練した演奏だと感じられれば高い評価を，逆ル重心を各音高の周波数(以後，𝑓sheet．ここでは譜にタイミングが均一であっても熟練していない演面と 12 音平均律による)で除算した「相対スペク奏だと感じられれば低い評価を行なう」という基トル重心（以後，Relative_SC）」を新たに提案し，準のみを設けた．評価者はこの評価基準と自らの熟達度推定に用いる音響パラメタに取り入れる．基準に従い，評価を行なった．得られた評価者 4 名による正規化スコアの平均を各演奏データの主 𝑅𝑒𝑙𝑎𝑡𝑖𝑣𝑒_𝑆𝐶 = 観評価スコアとして用いる． 𝐶 𝑓sheet (3.1) (3.2) これにより，単一の音に対する相対的な音の明る表 1 録音実験での録音環境サンプリングレートビット数チャンネル 44100Hz 24bit さを算出することができ，演奏音の明るさの傾向を示すことが出来る．  音のばらつきを表す指標音の変動量を表す音響パラメタとして，スペク 2ch トル変動（Spectral flux）が挙げられる．スペクト録音機 DR-680（TASCAM 社製）ル変動 U の算出式を式(3.3)に示す．マイク接近用:C414B（AKG 社製）アンビエント用:SM58（Shure 社製） 3.3 提案する音響パラメタ 𝑈=∑ 𝑁 2 |𝑆𝑖 [𝑓] − 𝑆𝑖−1 [𝑓]| 𝑓=1 (3.3) i は音響信号に対して周波数解析を行なう際の分図 2 と 3.1 で述べたチェロの特性から，本研究析フレームの ID を表している．今回は各音に対しで有効だと考えられる音響パラメタの検討を行なてのスペクトル重心を算出するため，1 音内のスった．以下にそれらを述べる．なお，発音時刻（以ペクトル変動の総和をシグマ flux （以後，後，Onset）については非専門家 3 人によるハンド Sigma_flux）という新たなパラメタとして提案する．ラベリングの平均時刻とした． Sigma_flux を求める事ができれば，単一音におけ  るスペクトルのばらつき，すなわち音の安定性が音のなめらかさを示す指標発音時刻付近の音響信号より，発音時刻が谷と評価できると考えられる．なるような形が確認できる．一般にチェロに限ら以上の提案した音響パラメタと先行研究で使用ず弦楽器の演奏において，音が切れ目なく繋がっされた打鍵時刻，打鍵強度，押鍵時間長に対応すているように演奏することが，なめらかに聞こえる発音時刻，発音強度，発音時間長と瞬時テンポを用いる．また，統計量としては先行研究で使用された式(2.1)～(2.5)を用いる．先行研究[1]ではピアノの運指を考慮するため評価モデルにスプライン曲線が用いられたが，今回は代表点決定のための明確な基準を持たせずに，n 次多項式による傾向曲線を用いる．ここでは暫定的に次数が 4 の傾向曲線を用い，そこから式(2.2)～(2.5)に記された方法によってパラメタの算出を行なった． 4 提案手法の熟達度推定結果と考察表 2 使用したパラメタリスト Ave SD 𝑃𝜉1 𝑃𝜉2 Onset ✓ ✓ ✓ Duration ✓ ✓ ✓ ✓ dB ✓ ✓ ✓ ✓ Tempo ✓ ✓ ✓ ✓ P2P ✓ ✓ ✓ ✓ Diff_peak ✓ ✓ ✓ ✓ Diff_bottom ✓ ✓ ✓ ✓ Relative_SC ✓ ✓ ✓ ✓ Sigma_flux ✓ ✓ 𝑃𝜉3 ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ 𝑃𝜉4 ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ 算出したパラメタを主成分分析により圧縮し，線形回帰を用いて推定値を求めた．提案手法の有効性を確認するために，いくつかのパラメタセットを用いて熟達度推定を行なった．使用したパラメタリストを表 2 に，パラメタセットの詳細を表 3 に示す．先行研究[2]で使用された単純手法のパラメタセット（Nonogaki2011），全ての音響特徴量について統計量を平均と標準偏差のみ用いたもの（17para），全てのパラメタを用いたもの（49para）を，相関係数および自由度調整済み決定係数で比較する．ここでは，提案するパラメタの有効性を確認するため，学習セットをそのままテストセットとして用いる，いわゆるクローズドテストを行表 3 パラメタセットの詳細名称内容 Nonogaki2011 先行研究でも用いられた発音時刻，発音強度，発音時間長，発音時刻より算出する瞬時テンポに対して平均，SD，𝑃𝜉1 ～𝑃𝜉4 を算出した計 23 個のパラメタを使用 17para 発音時刻，発音強度，発音時間長，瞬時テンポに加え，提案した音響パラメタから平均，SD を算出した計 17 個のパラメタを使用 49para 上記すべての要素に対して平均， SD，𝑃𝜉1 ～𝑃𝜉4を算出した計 49 個のパラメタを使用なった．結果を図 3 に示す．Nonogaki2011 の自由度調整済み決定係数が 0.56 であるのに対し， 49para 条件は 0.78 とより高い数値を示している．よって，本研究で提案した音響パラメタの有効性が確認できた．また，17para 条件より 49para 条件の自由度調整済み決定係数が高いため，傾向曲線（今回は 4 次の傾向曲線）の有効性も確認できた． 5 おわりに本研究では，チェロ演奏における熟達度推定手法を検討し，提案した新たなパラメタの有効性を確認した．先行研究で述べられた推定手法を単純手法として，発音時刻，発音強度，発音時間長および瞬時テンポを用いたパラメタセットに対し，図 3 全 3 課題に対するパラメタセットごとの推定結果謝辞本研究の一部は，科研費(25580050)の援助提案したパラメタの有効性，傾向曲線（今回は 4 を受けた．次の傾向曲線のみ）の有効性を確認するためのパ参考文献ラメタを算出し検討を行なった．その結果，提案したパラメタの有効性が確認された．今後，今回使用した傾向曲線は 4 次の傾向曲線と限定しているため，次数の違いによる推定結果の考察が必要である．また，主観評価スコアと評価に使用したパラメタの相関から有効なパラメタセットを検討する必要もある．最後に，基礎練習曲でのチェロの熟達度推定手法を確立し，かつ汎用性の高い楽曲に対する熟達度推定の開発を目指す． [1]三浦ら，“ピアノによる 1 オクターブの上下行長音階に対する熟達度の自動評価”，日本音響学会誌，66，5， pp203-212(2010)． [2]Asami,N. ，et al ．，“ Use of spline curve to evaluate performance proficiency of a Czerny piano piece”，Proc.of International Symposium on Performance Science ， pp68-74(2011)．