早稲田大学大学院 先進理工学研究科 博士論文審査報告書 論 文 題 目 Study on Perception-Action Scheme for Human-Robot Musical Interaction in Wind Instrumental Play 人間とロボットとの吹鳴楽器演奏の インタラクションにおける知覚・行動 スキームに関する研究 申 請 者 Klaus Petersen クラウス ペーターセン 生命理工学専攻 バイオ・ロボティクス研究 2 0 1 1 年 2 月 近年，サービスロボットなどへ応用を目的として，人間と直接接触するよ うな状況で利用できるロボットの研究が数多くおこなわれている．このよう な 人 間 と ロ ボ ッ ト の イ ン タ ラ ク シ ョ ン （ HRI: Human Robot Interaction） に 関 する研究の結果，ロボットは限られた状況や定義されたタスクにおいては人 間との共同作業などのインタラクションが可能となっている．しかし，人間 の意図を解釈するシステムは十分に研究されておらず，人間の側でロボット に合わせた技術習得を必要とする場合も多い．ロボットの活用のためには， 人間のスキルレベルによらず，ロボットと自然で直感的なインタラクション が で き る シ ス テ ム が 必 要 で あ る ． さ ら に ， ヒ ュ ー マ ノ イ ド ロ ボ ッ ト で は , 人 間の動作・意図を正確に認識できる能力に加えて，人間と同様な運動能力と を連携させることは音楽演奏に代表される複雑な共同タスクには重要な要素 で あ る が ， こ れ ま で に こ の 双 方 を 高 度 に 再 現 し ， 連 携 さ せ た 研 究 は 少 な い ． 本研究では，管楽器を演奏可能なヒューマノイドロボットの動作を，学習 アルゴリズムを用いて動的に調整する新しい知覚・行動スキームの導入を行 った．これは，ロボットによって人間（パートナー演奏者）との自然で直感 的な音楽インタラクション環境を実現し，優れた演奏を行うことを目的とし ている．人間形フルート演奏ロボットにおいてこのスキームを実現するため に 音 楽 イ ン タ ラ ク シ ョ ン シ ス テ ム MbIS（ Musical-based Interaction System） を開発し，人間の演奏者との合奏を行うことで、このシステムの性能評価を 行った．その結果では，視覚情報と聴覚情報といった複数のチャンネルによ って知覚した情報から，パートナーの意思とアドリブなどを認識し，その結 果に基づいてロボットが動的に演奏を変化させることができることを確認し た．また，このシステムは，パートナーのレベルによって，主に初心者を対 象とする「基本レベル」と，十分に高度な演奏スキルを有するパートナーを 対象とする「拡張レベル」の 2 段階に分かれて構築されている．このシステ ムによって，これまでの事前に定義された動作に基づく受動的インタラクシ ョンに比べてロボットはパートナーと自在で自然な音楽インタラクションを 行うことができることを確認した．本論文では，新しいインタラクションス キームおよび人間形フルート演奏ロボットへの導入についての詳細を説明し て い る ． 本 論 文 は ， 以 下 に 示 す 7 章 か ら 構 成 さ れ て い る ． まず，第 1 章では，研究背景および研究目的について関連する先行研究を 含めて述べ，第 2 章では，人間の運動制御を工学的視点から明らかにするこ と を 目 的 と し て 開 発 さ れ た 人 間 形 フ ル ー ト 演 奏 ロ ボ ッ ト W F - 4 R V ( W a s e d a Flutist Robot No.4 Refined V)の ハ ー ド ウ ェ ア ・ ソ フ ト ウ ェ ア の 詳 細 お よ び 改 良 に つ い て ，M b I S の 概 要 と 共 に 述 べ て い る ．W F - 4 R V に お い て は フ ル ー ト 吹 鳴音のエンベロープパターンの正確な制御を目的として新たな空気流制御シ ス テ ム を 構 築 し ，ま た , こ の シ ス テ ム に よ り 演 奏 中 の ダ イ ナ ミ ッ ク な 単 音 遷 移 が 可 能 に な っ て い る こ と が 確 認 さ れ て い る ． 次 の 第 3 章 で は ，M b I S に お け る 視 覚 情 報 処 理 モ ジ ュ ー ル の 詳 細 に つ い て 述 べている．このモジュールは，基本レベルでは，一般的な動作追跡アルゴリ ズムを用いることで，楽器の直感的な動作とスタジオコントローラにおける フェーダとボタンの操作を仮想的に実現できるようになっている．拡張レベ ルでは，楽器の動きを粒子追跡アルゴリズムにより追跡し，演奏者の身振り を典型的な演奏中動作のパターンの中から認識し，ロボットの演奏に必要な パ ラ メ ー タ を 直 接 制 御 す る こ と が 可 能 で あ る ． 第 ４ 章 で は MbIS に お け る 聴 覚 モ ジ ュ ー ル に つ い て 述 べ て い る ． 基 本 レ ベ ルにおいては，ヒストグラムを基準としたパターンライブラリを用いてマッ チングさせることによりパートナーの演奏したリズムを認識し，ロボットは そ の リ ズ ム に 合 わ せ て 演 奏 す る こ と が で き る ．ま た ，拡 張 レ ベ ル に お い て は ， リズムパターンだけでなく，メロディのパターンについても認識を行い，ロ ボ ッ ト の 演 奏 に 反 映 さ せ る こ と が で き る ． 第 5 章 で は MbIS の マ ッ ピ ン グ ・ モ ジ ュ ー ル に つ い て 詳 し く 述 べ て い る ． このマッピング・モジュールは視覚及び聴覚モジュールからの出力をロボッ トの動作パラメータにマッピングし，演奏に反映させている．この際，肺の 空気残量などのロボットの物理的制約をシステムが認識し，ロボットが演奏 可能な範囲でマッピングを修正している．基本レベルでは，バーチャル・フ ェーダ入力と，肺の空気残量を踏まえて演奏テンポを調整するマッピングア ルゴリズムが構築されている．そして拡張レベルは，練習フェーズとパフォ ーマンスフェーズに分かれている．練習フェーズにおいては，システムによ る 視 覚 ，聴 覚 の 認 識 結 果 を 状 態 空 間 表 現（ State-Space Representation）に よ っ て表示し，パートナー演奏者が自らの意図と認識結果とのマッピングを（物 理的制約を踏まえて）対話的に構築する．パフォーマンスフェーズにおいて は視覚情報よりパートナーの動作を認識し，構築された状態空間マッピング と比較し動的に演奏を調整するシステムとなっている．演奏者の意図をパフ ォーマンスに反映させる方法に関してそれぞれ複数の関数やパラメータを用 いたパターンを生成し，プロ演奏者による聴覚印象をふまえて最適なものを 選 択 し て い る ． 第 6 章 で は 提 案 し た MbIS の 機 能 を 評 価 す る た め の 実 験 に つ い て 説 明 し て いる．まず，これまでの受動的なシステムと今回提案したシステムによる演 奏を比較した．その際，パートナーの意図・行動とロボットの演奏の変化の 関係を解析するために，楽器の動作と音楽のピッチやテンポなどの変化との 間の相関関係を調べ，パフォーマンスインデックスとして定義している． MbIS の 各 レ ベ ル に つ い て パ フ ォ ー マ ン ス イ ン デ ッ ク ス と 定 性 的 な 聴 覚 印 象 評価を用いて，インタラクション能力を評価する実験を行った．また，動作 認識による仮想的フェーダ入力を用いて，パートナーが楽器の動作によりロ ボットの演奏のスタートとストップをコントロールする実験を行い，パート ナーの意図との同期具合について評価を行った．さらに，初心者とプロ演奏 者 が そ れ ぞ れ WF-4RV と イ ン タ ラ ク シ ョ ン を 行 い ， そ の 際 の ロ ボ ッ ト の 演 奏 について評価してもらった．これらの実験から，実験室環境（光量や背景が 変 化 し な い 条 件 ）に お い て ，M b I S が イ ン タ ラ ク シ ョ ン の 向 上 に 有 効 に 働 く こ と を 確 認 し て い る ． 最後に，第 7 章では，結論として以上の成果をまとめ，今後の展望として パターンライブラリにおける認識可能パターン数の拡大やステージにおける 観客とのインタラクティブな演奏，および音楽インタラクションにおける知 覚 ・ 行 動 ス キ ー ム の 他 分 野 へ の 応 用 の 可 能 性 な ど に つ い て 述 べ て い る ． 以 上 の よ う に ， 本 論 文 で は ， 2 章 で WF-4RV の ソ フ ト ウ ェ ア ・ ハ ー ド ウ ェ ア の 改 良 を 評 価 し ，3 章 か ら 5 章 で 提 案 し た M b I S の 各 要 素 の 詳 細 と そ れ ら の 有 効 性 の 確 認 を 行 っ た ．さ ら に ，6 章 で M b I S の イ ン タ ラ ク シ ョ ン の 効 果 お よ び直感的なインタラクションが可能であるかを評価するために一連の実験を 行 っ た ．こ の 結 果 ，限 定 さ れ た 状 況 で は あ る も の の イ ン タ ラ ク シ ョ ン に よ り ， ロボット演奏のパラメータを動的に調整することが可能であり，基本・拡張 の両方のレベルにおいてこれまでのシステムと比べてインタラクションのレ ベ ル が 向 上 し た こ と を 確 認 し た ． 本研究は，ロボット工学における人間とロボットのインタラクション技術 やマルチモーダル統合センシング技術など，音楽工学におけるフルート吹鳴 音の生成のモデリングを融合することにより，音楽ロボットのプラットフォ ームにおいて，人間が直感的にインタラクションをおこなえる知覚・行動ス キームを提案し，このスキームの有用性だけでなく，人間とロボット間の音 楽的インタラクションを高めるための基礎的な条件についての理解に寄与し た．将来的には，プロ演奏者の演奏における多様なメロディー・パターンと 楽器動作の関係を記憶モデルとして構築し，これをロボットの学習モデルに 組み込むことで，ロボットがステージ上の演奏者レベルのアドリブを含む音 楽演奏を実現することが大いに期待される．また，今後の展開として，提案 した知覚・行動スキームを異なる種類のエンターテイメントロボットへ応用 することが見込まれる．このように，本研究は，人間とロボットが自然なイ ンタラクションを実現するための重要なステップと見なすことができ，上記 分野のみならず，エンターテイメントロボット分野や，感性工学，行動科学 な ど の 関 連 分 野 に 大 き く 寄 与 す る も の で あ り ， 博 士 (工 学 )の 学 位 論 文 と し て 価 値 あ る も の と 認 め ら れ る ． 2011 年 2 月 （主査） 早稲田大学教授 工学博士（早稲田大学） 高西淳夫 早稲田大学教授 工学博士（早稲田大学） 橋本周司 早稲田大学教授 工学博士（早稲田大学） 梅津光生 医学博士 早稲田大学教授 博 士 （ 工 学 ）（ 早 稲 田 大 学 ） 藤江正克
© Copyright 2024 ExpyDoc
