修士論文オンライン手書き楽譜認識システムに関する研究信州大学大学院工学系研究科情報工学専攻丸山･宮尾研究室 07TA538D 笹原清悟概要本研究では、オンライン手書き楽譜認識システムの、音楽記号統合部分の改良を目的とした。音楽記号は、本システム上では、一筆で書ける記号片を単独、もしくは複数を組み合わせることで表現している。各音楽記号に必要となる記号片を定義し、入力と順次照らし合わせながら、どの音楽記号が入力されているのかを判断する。単独の記号片で成立する音楽記号であれば問題はないが、複数の記号片で構成される音楽記号の場合、どの記号片を組み合わせるかの基準が必要となるが、現状では、何らかの音楽記号として確定しておらず、水平距離に近く入力された記号片を対象として統合を試す形になっている。この統合部分に対し、以下のような問題点があり、本研究ではその解決を図った。これまで未対応だった複旋律機能付加のために、記号の相対位置を考慮したルール導入した。音楽記号を構成する各記号片間に、相対位置を定義し、位置関係を満たさない記号片の排除を行った。相対位置は、記号片のバウンディングボックスを基準とし、その重心座標でそれぞれの位置関係を、また重なりを検出することで、記号片同士の接触判定を行なった。実験では、入力する音楽記号を限定し、適切と思われる入力、また不適切と考えられる入力を各 100 例入力し、統合するか排除するかの確認を行った。その結果、適切なものとして入力 8 例を排除してしまったものの、不適切な入力に関しては、全ての例において排除することを確認した。また、現状システムにおいて、統合結果を変更することが出来ない、といった制限に対して、未決定の記号片群の分離･統合機能を付加した。保留されている記号片群に対し、新規の入力を加えることによって、それまでとは違った統合結果を得ることが出来るのかの確認を行うこのことにより、より柔軟に入力の意図を反映できるシステムの実現を図った。統合パターンは、記号片間を区切る、区切らないで表現することが出来る。実装では、全てのパターンを試し、記号片が余らないような統合パターンがあれば、新しい統合方法として採用する形を取っている。この機能に対し、テストパターンを用意し、順次入力される記号片に対し、統合結果が正しく変更されるかの確認を行い、正しく動作していることを確認した。目次第１章序論..................................................................................................................... 5 第２章システムの概要 ................................................................................................... 7 第１節はじめに .......................................................................................................... 7 第２節ストローク情報 ............................................................................................... 7 第３節本システムで使用する記号 ............................................................................. 7 第４節システムの流れ ............................................................................................... 8 第５節おわりに .......................................................................................................... 8 第３章 DP マッチングによる記号片識別 ....................................................................... 9 第１節はじめに .......................................................................................................... 9 第２節特徴量抽出 ...................................................................................................... 9 第３節特徴量算出 .................................................................................................... 10 第４節おわりに ........................................................................................................ 10 第４章 SVM による記号片識別 .................................................................................... 11 第１節はじめに ........................................................................................................ 11 第２節特徴量抽出 .................................................................................................... 11 第３節識別 ............................................................................................................... 13 第４節おわりに ........................................................................................................ 14 第５章統合処理 ........................................................................................................... 15 第１節はじめに ........................................................................................................ 15 第２節音楽記号のタイプ.......................................................................................... 15 第３節音楽記号の統合処理 ...................................................................................... 16 第４節おわりに ........................................................................................................ 18 第６章現状の問題点・解決法 ...................................................................................... 19 第１節はじめに ........................................................................................................ 19 第２節現状のシステムの問題点 ............................................................................... 19 第３節相対位置を利用した組み合わせ .................................................................... 19 第４節保留記号の分離・統合機能 ........................................................................... 24 第５節おわりに ........................................................................................................ 26 第７章実験結果・考察 ................................................................................................. 27 第１節はじめに ........................................................................................................ 27 第２節実験内容第３節実験結果 ........................................................................................................ 27 第４節考察 ............................................................................................................... 28 第５節実験内容第６節実験結果 ........................................................................................................ 28 相対位置を利用した組み合わせ .................................................. 27 保留記号の分離・統合機能 ......................................................... 28 第７節考察 ............................................................................................................... 30 第８節おわりに ........................................................................................................ 30 第８章結論................................................................................................................... 31 第１節結論 ............................................................................................................... 31 第２節今後の課題 .................................................................................................... 31 謝辞 .................................................................................................................................... 32 参考文献 ............................................................................................................................. 33 第１章序論昨今、コンピュータ技術の発展には目覚しいものがある。古くは、文書作成の際に使用されているワードや、表計算を行なうために使用されるエクセルなどがあげられるが、この様に、以前は紙ベースで行なわれていた作業がコンピュータベースへと移り、編集、保管、その他の業務に関しても非常に便利となっている。これを音楽の分野、特に作曲、編曲の際に利用される楽譜についても、コンピュータを利用して作業が行なえれば有用であることは間違いない。しかし、そのためには、楽譜情報の電子化を行なう必要がある。ワード、エクセルなどで扱う文字、数字情報とは違い、音楽の情報は、テンポ情報、または、ドレミ表記においても音の高さの情報など、コンピュータのキーボードで対応が行なえない情報で構成されている。それを解決するために、オフラインで楽譜を作成するための手法がいくつか考案されたが、それぞれについて、いくつか問題点を抱えている。大まかに分類を行なえば、オフラインでの作曲・楽譜作成の手法は、専用のソフトでの作曲、楽譜をスキャナなどで取り込んでの電子化、楽器からの直接入力による電子化、の 3 つに分けられる。以降に、それぞれについて問題点をあげていく。専用システムを用いての作曲に関しては、システム熟練者でなければ、まともに作曲が行なえず、また、習熟するまでに長い期間を要する。また、作曲の規模によっては、熟練者であっても楽譜に書き込んでの作曲よりも遥かに時間がかかってしまう。[1] これは、ワードなどとは違い、直感的な操作によっての作曲ではなく、おおよそ音楽とはかけ離れた形でしか作曲が行なえないためであると考えられる。次に、楽譜をコンピュータに取り込んでの電子化に関しては、これは、研究などによって、ある程度の認識率は得ている[2,3,4,5]が、Yadid-Pecht[4]によると、音楽記号の識別率は 80 から 90％程度で、高いとはいえない状態である。これでは修正に時間がかかり過ぎてしまい、実用的とはいえない。最後に、楽器から直接入力しての電子化に関しては、これは、1 つ目の手法と比べると、遥かに直感的に入力が行なうことができ、また、採譜率、これは 2 つ目の手法における認識率に当たるが、これも決して悪くない。しかし、テンポのずれ、入力ミスなどがそのまま出力されてしまう結果となり、その部分のみの修正ということも困難である。[3]それらをなくすためには、まるで機械のような正確な演奏が必要であるが、人間である以上、それは難しいのは言うまでもないことである。これらの問題点があるため、現在使われている手法は、実用的ではないといえる。これらを改善するために、宮尾らはオンラインの楽譜記号認識システムを構築し、オフラインでは得られない時系列の筆記情報を加味することにより、より直感的に操作が行なえ、認識率の高い、また修正も容易であるシステムを作成することに成功している[1]。しかし、拡張を考えた場合、不便、不十分な部分が音楽記号の統合部分で存在しているため、本研究ではその部分の改善を目的とし、新たなルール、機能を付加し、正常な動作をするかの確認を行った。第２章第１節システムの概要はじめにこの章では、オンライン手書き楽譜認識システムについて、簡単に説明をする。どういった記号がシステムで使用できるのか、またそれらをどういった流れで認識、統合を行っているのかの説明をする。第２節ストローク情報本システムで、入力されるストローク情報は、システムの入力画面上での座標の集合として取得し、取得した座標間を、１画素ずつ方向を探索しながら黒線で結んだ形でストローク情報を表現している。第３節本システムで使用する記号本システムで使用できる記号は、以下の図に示す 20 記号である。図 2.2.1 本システムで使用する記号本システムでは、これらの記号を単独、もしくは組み合わせることで、音楽記号を表現する。これからは、これらの記号を記号片と呼称する。記号片を使用して音楽記号を構成することになるが、音楽記号に関しては５章で扱う。上記の記号片は、全て１ストロークで描かれることが条件とされている。第４節システムの流れ下図にシステムの流れを示す。図 2.3.1 システムの流れまず、緑枠で囲まれた部分で、記号片を決定する。入力されたストロークから、それぞれ識別器に合わせた特徴量を抽出し、各識別器の結果を合わせて結果とする。そして、赤枠で囲まれた部分で、得られた結果をそれまでに保留していたものと統合を試し、最終的な音楽記号の決定をする。以降の章で、この中身を詳しく説明していく。第５節おわりにこの章では、大まかなシステムの流れを述べた。以下の章でシステムの各部分を詳しく述べていく。第３章第１節 DP マッチングによる記号片識別はじめにこの章では、第 2 章 2 節で紹介した、記号片の認識での、DP マッチングについて述べる。 DP マッチングでは、入力されたストロークから、フリーマンチェインコードを生成し、予め用意しておいたテンプレートとの比較をし、結果を得る。第２節特徴量抽出入力ストロークを 8 方向に分解し、チェインコードを生成する。生成ルールは下図に従う。図 3.2.1 チェインコード入力ストロークは 1 画素ずつ探索を行い、詳細なコードを生成する。以下に例を示す。図 3.2.2 フリーマンコード例第３節特徴量算出特徴量の算出には、予め同様の形式でコード化した各記号片のテンプレートとの比較を用いる。比較の際に、DP マッチングを使って、入力コードと、テンプレートとの距離を測る。その距離を特徴量としている。入力ストロークのコードを { a1 , a 2, , L, a I } 、 k 番目のテンプレートのコードを { b1 , b2 , L , bJ }としたとき、入力の i 番目のコードと、テンプレートの j 番目のコードとの k k k 距離、 g k (i, j ) は以下の式から求める。初期値 (1) 繰り返し部分 (2) 上の式における d (i, j ) は、入力のコードとテンプレートが一致すれば 0、そうでなければ 2 を出力する。この距離の総和を、入力とテンプレートとの距離とする。入力開始位置を限定しないために、入力と逆方向のコードの生成を行い、同様に距離を算出する。第４節おわりにこの章では、DP マッチングを利用したストロークの識別について述べた。これにより、時系列情報を利用した識別を行うことが出来た。第４章第１節 SVM による記号片識別はじめにこの章では、第 2 章 2 節で触れた SVM を利用したストロークの識別について述べる。画像特徴量を利用して、SVM による識別を行う。第２節特徴量抽出特徴量を抽出するために、入力画像の正規化を行う。これは入力ストロークの画像サイズが、人の手による入力である以上、一定のサイズにはならず、そのことによって特徴量が大きく変化してしまうことを防ぐために行う。ストローク画像は、サンプル点の連なりを直線で結んだものでできている。これを利用して、正規化を行なう際、単純にサンプル点の座標変換を行い、それを直線で結んでいくと言う手法が考えられるが、これを行なった場合、本来つながっている黒画素が、拡大によって途切れてしまう可能性がある。そのため、本システムでは、正規化画像へのマッピングという形で正規化を行なっている。イメージと擬似コードを以降に示す。図 4.2.1 画像サイズの正規化イメージ for(正規化後の画像のＹ座標を 0 から; 正規化の画像サイズまで; １ずつ){ for(正規化後の画像のＸ座標を 0 から; 正規化の画像サイズまで; 1 ずつ){ 元の画像のＸ座標 = (正規化後のＸ座標 * 元の画像の横幅 / 正規化のサイズ + 0.5(ずれ修正用)); ストローク画像領域に納める。元の画像のＹ座標 = (正規化後のＹ座標 * 元の画像の縦幅 / 正規化のサイズ + 0.5(ずれ修正用)); ストローク画像領域に納める正規化後の画像の画素値[座標Ｘ][座標Ｙ] = 元の画像の画素値[座標Ｘ][座標Ｙ]; } } 上記のような処理を行い、画像の正規化を行なう。本システムでは、画像を 64×64 サイズに正規化を行なった。続いて、正規化したストローク画像から、方向性特徴を取り出す。方向性特徴は 2 次元画像から 2×2 という極小領域における画素の並び方を特徴とするもので、今回は、水平、垂直、右斜め、左斜めの 4 方向とした。図 4.2.1 4 つの方向性特徴これらの特徴がいくつ画像中に含まれているかを取得し、その総数を特徴量としている。取得方法は、正規化を行った 64×64 の画像を更に 8×8 の大きさで分割を行い、その中を重なりを持たせて、2×2 のフィルタで探索を行い、各分割枠内に方向性特徴が含まれている数をカウントしている。以下に、イメージ図を示す。図 4.2.2 方向性特徴取得のイメージこうして得られた特徴量を利用して、識別を行っていく。第３節識別識別は SVM で行う。SVM とは Support Vector Machine の略称で、学習データを元に、未知のデータを 2 つのクラスに分類する識別手法である。このような識別手法は多々あるが、SVM では特にマージンの最大化といった部分に重きを置いている。マージンの最大化とは、クラスを分ける際に使われる識別超平面に最も近いそれぞれのベクトルから、その超平面までの距離が最大になるように、識別超平面を引くことを指す。この際に使われるベクトルをサポートベクトルと呼ぶことから、SVM と呼ばれている。 SVM は入力されたデータを、2 クラスに識別するものである。しかし、本システムでは、全 20 種類の記号片に対する識別を行うため、そのままでは使用することができない。そこで、本システムでは、各記号片用に SVM を構築し、ストローク情報を入力した場合、最も大きな値を出力した SVM を識別結果とする方式を取っている。これは 1-v-r 方式と一般的に呼ばれている方法である。以下にイメージ図を示す。図 4.3.1 1－v－r 方式のイメージ図こうして得られた SVM の値と、先の章で得られた DP マッチングで得られた特徴量とを合わせ、SVM を使用して最終的な記号片の識別を行う。第４節おわりにこの章では、SVM による記号片の識別について述べた。次章では、識別した記号片をどのように統合して、音楽記号を識別していくのかを述べる。第５章第１節統合処理はじめにこの章では、識別された記号片群を組み合わせて、音楽記号を構築する方法を述べる。入力された記号片は、予め用意してある音楽記号に必要な記号片のテーブルをチェックしながら、保留、出力を決める。保留された記号片は次の入力を待ち、テーブルとの照らし合わせと、音楽記号を決定するルールに従って組み合わせられ、音楽記号として出力される。第２節音楽記号のタイプまず、本システムで使用する音楽記号には、2 つのタイプが存在する。一定の記号片が入力された段階で出力できる、決定可能記号と、記号片を入力している最中では決定できない決定不可記号の 2 種類である。以下に、本システムで使用できる音楽記号と、そのタイプ、必要な記号片をテーブルの形で示す。なお、記号片は、2 章で示した図に記された名称を使用する。表 5.2.1 音楽記号テーブル音楽記号名タイプ必要な記号片群ヘ音記号決定可 2Dot, 1FClefArc シャープ決定可２HLine, 2VLine 決定可 2Slash, 2VLine 決定可 1HLine, 1SLash, 2VLine 決定可 2UHook, 2VLine 決定可 1HLine, 1UHook, 2VLine 決定可 1Slash, ト音記号決定可 1GClef ナチュラル決定可 1LCheck, 1NaturalRt フラット決定可 1Flat 全音符決定不可 0～Dot, 1～Whead 2 分音符決定不可 0～Dot, 1VLines, 1～WHead 黒符頭音符決定不可 1～BHead, 0～Dot, 0～Uhook, 1VLine 決定不可 1～BHead, 0～Dot, 0～Lhook, 0～Slash, 1VLine 決定不可 1～BHead, 0～Dot, 1StUHook, 0～Uhook 決定不可 1～BHead, 0～Dot, 0～LHook, 0～Slash, 1StLHook 決定不可 1～BHead, 0～Dot, 1LCheck, 0～LHook, 0～Slash 全休符決定不可 0～Dot, 1WRest 2 分休符決定不可 0～Dot, 1HRest 8～分休符決定不可 1 8Rest, 0～Dot, 0～RestArc 4 分休符決定不可 0～Dot, 1QRest 1UHook, 2VLine このテーブルに従って、音楽記号の統合を行う。記号片の左側についている数字が、その記号片の必要な数であり、～がついているのは、それ以上あっても構わないということを指している。第３節音楽記号の統合処理先の節でのテーブルを使って、音楽記号の統合処理を行う。まず、1 つの音楽記号に必要な記号片は、時間的に連続して、また、水平距離に十分に近く書かれる、という前提条件がある。この前提条件の下に、以下に示すフローチャートに従って記号片の統合が行われる。図 5.3.1 音楽記号統合のフローチャートフローチャートにおける P とは、それまでシステム内に保留されていた記号片群であり、 C は新しく入力された記号片である。以下にイメージ図を示す。図 5.3.2 P と C イメージ図上記のフローチャートに従って、入力した記号片を処理し、統合を行っていく。第４節おわりにこの章では、音楽記号の統合処理について述べた。ここまでで、既存のシステムに関する説明は終わる。続いて、現状の問題点と、その解決法の提案について述べていく。第６章第１節現状の問題点・解決法はじめにこの章では、現状のシステムの問題点と、問題点に対する解決法の提案をする。現状のシステムを複旋律に対応させるために、相対位置を利用した組み合わせを導入し、また、保留記号の組み合わせを変更できるように、分離･統合機能を付加する。第２節現状のシステムの問題点現状のシステムには幾つか問題点が存在している。現状のシステムは、単旋律を対象としているが、これを複旋律に拡張しようとした場合、音楽記号の統合処理での基準が水平距離だけでは不十分である点が挙げられる。また、水平距離に詰めて幾つかの音楽記号を入力した場合、本来の意図とは違った統合が行われてしまっても、現状のシステムでは一度行われた統合は変更できない。これら 2 つの問題点を解消するために、前者には相対位置を利用した組み合わせを、後者には保留記号に対する分離･統合機能の付加を提案する。詳しい内容は、次節にて述べていく。第３節相対位置を利用した組み合わせシステムの複旋律への拡張時の問題点解消の手法となる、相対位置を利用した組み合わせについて述べる。まず、どういった場合に水平距離のみの基準で問題が起きるかの例を下図に示す。図 6.3.1 複旋律入力時の問題点の例入力例を左とした場合、右の様に出力されてしまう。なお、左側に書かれている数字はその隣接記号片の入力順を示している。本来は左図の様に出力されるのが望ましいが、現状のシステムでの出力は右図の様になってしまう。このような問題点を解決するために、音楽記号を構成する記号片間に、1 対 1 の相対位置関係を定義することを提案する。各記号片の相対位置を定義し、確認を行うことで、入力として有り得ない記号片の統合を防ぎ、より正確な記号片統合を行う。記号片間の中には、相対位置を定義できないものも存在するため、それらを除いて、相対位置を定義できるものに対して、定義を行う。下図に 8 分音符の黒符頭とその他の記号片との関係例を示す。図 6.4.1 8 分音符における黒符頭とその他の記号片の相対位置関係相対位置の確認は、現行のシステムで、一つの音楽記号として統合を行うと判断された記号片群に対して行う。接触判定はバウンディングボックスの重なりの検知で、位置関係の定義はバウンディングボックスの重心を使用して、互いの記号片がどこにあるかを判定している。以下に今回用意し、実装を行った相対位置ルールを示す。黒符頭音符決定不可 1～BHead, 0～Dot, 0～Uhook, 1VLine 上表における相対位置ルール図 6.4.2 BHead-Bhead の関係上図は、黒符頭同士は、概ね同じサイズで、左右に黒符頭一つ分のずれをもつか、上下に並んでいる、ということを示している。図 6.4.3 BHead-Vline の関係上図は、Vline は BHead の左右に接しているという関係を示している。図.6.4.4 BHead-UHook の関係上図は、UHook は BHead に対し、一つ分右にずらした上か、その真上にある、という関係を示している。図 6.4.5 Vline-UHook の関係上図は、UHook は、VLine の右に接している、という関係を示している。図 6.4.6 UHook-UHook の関係上図は、UHook 同士は、垂直方向に同じ位置にある、という関係を示している。以上の他、数種類の音楽記号における相対位置を考案したが、まだ実装には至っていない。第４節保留記号の分離・統合機能システムの利便性向上のために、保留記号の分離･統合機能を付加する。現状のシステムでは一度統合を試みて、統合を行った記号群に関しては、変更を加えることが出来ない。その場合、間を詰めて書かれた記号片群に対して、意図したものとは違う統合を行ってしまい、修正を加えることが困難である状況が生まれてしまう。下図に例を示す。図 6.4.1 保留記号の分離･統合の必要例上図における、客観的に正しい統合は、下の統合方法である。しかし、現状のシステムでは、時系列順に次々に統合を行っていくため、上のような統合になってしまい、4 番の記号片が別の音楽記号の入力として扱われてしまう。また、この例に続けてまた記号片が入力された場合、再び正しい統合方法が変わってしまうことも考えられる。これらの問題点を解決するために、保留記号の分離･統合機能を付加し、新しい記号片が入力され、それが保留記号と統合される場合において、それまでの保留記号の統合を見直すことを行う。記号片の統合は、各記号片間のどの部分を繋げ、どの部分を区切るかで表現することが出来る。これを、音楽記号として成立する最小単位を見つけ出した後、その他の各記号片間において全パターンを試し、記号片が一つも余らない状況を作り出せればそれを新たな統合方法とする方法を取っている。以下にイメージを示す。図 6.4.2 分離･統合のイメージこの機能を現行のシステムに組み込んだ場合のフローチャートを以下に示す。図 6.4.3 分離･統合機能を組み込んだフローチャートこのフローチャートに従って、記号片統合処理を行っていく。第５節おわりにこの章では、現状のシステムの問題点とその解決法について述べた。次章で解決法の検証を行っていく。第７章第１節実験結果・考察はじめにこの章では、前章で述べた手法に対する検証を行う。各手法について、検証実験を行ない、その効果を確認する。第２節実験内容相対位置を利用した組み合わせ相対位置を利用した組み合わせに関する検証実験を行なう。入力する音楽記号を 8 分音符に限定し、適切なものとして入力した記号片群を正しく統合するか、また、不適切なものとして入力した記号片群を正しく排除するかを検証する。下図に適切な入力例と、不適切な入力例を示す。図 7.2.1 適切な入力例と不適切な入力例左に示しているのが、適切な入力例、右に示している 2 例が不適切な入力例になる。これらをそれぞれ 100 個入力を行い、実験を行なった。なお、上記の例は、現状のシステムではそのまま統合を行ってしまうような例となっている。そのため、現状システムに入力しての比較実験は行なっていない。第３節実験結果実験結果を以下に示す。実験環境: CPU:Intel® Pentium® M processor 1.40 GHz メモリ:512MB RAM OS:Microsoft Windows XP Tablet PC Edition 2005 プログラミング環境:Visual Studio 2005,2008 表 7.3.1 実験結果入力／結果統合した統合しなかった適切な入力 92 個 8個不適切な入力 0個 100 個第４節考察適切なものとして入力したものを 8 個統合しなかった。また、不適切な入力に対しては全て排除を行うことが出来た。適切なものを統合しなかった理由としては、相対位置のチェックの際の閾値の設定が厳しすぎたことが挙げられる。閾値を実験を繰り返して調整を行うことで、統合しない例を減らすことが出来ると考えられる。しかし、この問題点の最大の焦点は、不適切な例を排除することであるため、この手法に対しては良い結果が得られたと言える。第５節実験内容保留記号の分離・統合機能保留記号の分離･統合機能の検証実験を行なう。今回は、テストパターンを入力した場合に、正しく分離統合が行われるかを検証する。テストパターンは以下の様なものを使用した。図 7.5.1 テストパターン記号片に隣接している数字は入力順を示し、入力に従って、順次統合方法が変わっていくかを観察した。第６節実験結果実験結果を以下に示す。左図の入力に対し、右図のような分離･統合を行っていった。図 7.6.1 実験結果なお、これらテストパターンは連続して入力され、その都度統合の変更を試みている。第７節考察テストパターンに限定した状態ではあるが、意図したような分離･統合が行われていることを確認できた。区切り位置の探査は現在では全ての区切り位置に対して行っているため、やや処理に時間がかかっているように感じられた。これを高速化するのが今後の課題と言えるだろう。第８節おわりにこの章では、前章での手法の検証実験を行なった。おおむね良好な結果を得ることができた。第８章第１節結論結論本研究は、オンライン手書き楽譜認識システムの音楽記号統合の改良を目的として行った。現状のシステムの改良点、問題点に対し、相対位置関係を利用した組み合わせ、保留記号の分離･統合機能を付加し、検証実験を行なった結果、前者では、不適切な入力を全て排除することに成功し、後者では新規の入力を得るごとに、尤もらしい統合に変更することを確認した。第２節今後の課題今回の検証実験は、環境を限定して行なったものであり、実システムでの使用、実践には至っていない。今後の課題として、実使用に耐えるものであるのかの検証が必要であると考えられる。また、相対位置関係を利用した組み合わせに関しては、相対位置のルールが一部音楽記号のみに留まっており、他の音楽記号への適用も課題となっている。保留記号の分離･統合機能に関しては、区切り位置の探査の高速化、効率化が課題として挙げられる。また、統合の見直し方法として、分離･統合以外の方法に関しても検討する必要がある。例としては、入力記号片で構成できる音楽記号をユーザに提示し、選択させる、などの手法である。その他、有用である手法を模索していく努力を続けていきたいと考えている。謝辞本研究を進める上で、システムの構築、実験など多岐に渡ってご協力いただいた、宮尾秀俊准教授に深く感謝する。また、研究を進める上で鋭い指摘、助言をいただいた、丸山稔准教授に感謝する。最後に、日々研究に関して助言、助力をいただいた、研究室の同級生、後輩に感謝する。参考文献 [1]Music Strudio Producer 作者ページ http://www.frieve.com/ [2] A. Bulis, R. Almog, M. Gerner and U. Shimony, “Computerized Recognition of Hand-Written Musical Notes", Proc. of International Computer Music Conference, pp.110-112, 1992. [3] K. Ng, D. Cooper, E. Stefani, R. Boyle and N. Bailey, “Embracing the Composer: Optical Recognition of Handwritten Manuscripts", Proc. of International Computer Music Conference, pp.500-503, 1999. [4] G. Watkins, “A Fuzzy Syntactic Approach to Recognising Hand-Written Music", Proc. of International Computer Music Conference, pp.297-302, 1994. [5] O. Yadid-Pecht, M. Gerner, L Dvir, E Brutman and U. Shimony, “Recognition of handwritten musical notes by a modi_ed Neocognitron", Machine Vision and Applications 9 (2), pp.65-72, 1996. [6]採譜の達人 [7] 作者ページ http//www.pluto.dti.ne.jp/~araki/soft/ H. Miyao and M. Maruyama, "An Online Handwritten Music Symbol Recognition System", International Journal on Document Analysis and Recognition (IJDAR), 2006. [8] 宮澤亜希良, "オンライン手書き楽譜認識システムに関する研究", 信州大学工学部卒業論文, 2006 年 3 月 [9] SVMlight SVM-Light HomePage http://svmlight.joachims.org/