社団法人 人工知能学会 人工知能学会研究会資料 Japanese Society for JSAI Technical Report Artificial Intelligence SIG-Challenge-B303-03 耳珠のある 能動耳介シ ス テム と そ の動作について Active pinnae with tragus and their motion 公文誠, 尾堂航, 木元大輔 Makoto KUMON, Wataru ODO, Daisuke KIMOTO 熊本大学大学院自然科学研究科 Graduate School of Science and Technology, Kumamoto University [email protected] こ のよ う な機能を 実現する 機序の一つに, 頭部など 身体を Abstract 動かすこ と が指摘さ れて いる (Blauert[Blauert 96] な ど ). 本研究では二つのマ イ ク ロ ホン を 用いて 音源定 さ ら に, ネ コ など 一部の動物では, 耳介そのも のを 随意筋 位を 行う ロ ボッ ト シ ス テ ム と し て , マ イ ク ロ ホ によ っ て 能動的に動作さ せる こ と が可能である が, こ の耳 ン の周囲に 可動式の反射板であ る 能動耳介を 利 介動作に よ っ て も 音源定位能が改善さ れる こ と が知ら れ 用する も のを 考え る . 耳介の姿勢に 伴っ て 伝達 て いる (Populin[Populin 98],Heffner[Heffner 82] な ど ). 特性が変化する こ と を 活用する こ と で, 音源定 こ のよ う な生物に倣っ て , 二つある いは少数のマ イ ク ロ 位性能の向上を 目指すが, こ のた めに は伝達特 ホン を 用いたロ ボッ ト システムで高性能の音源定位を 実現 性の変化が顕著であ る こ と が重要であ る . 動物 し よ う と する 試みがある . 例え ば Kim ら [Kim 13] は頭部 では耳珠が耳介の効果を 強調する こ と が知ら れ 動作を 利用する こ と で音源方向の推定性能が向上する こ て いる た め, 本研究では音源定位に 向け た 能動 と を 示し て いる . ま た, マ イ ク ロ ホン が二つに限ら れる と 耳介の効果改善のた め耳珠に 相当する 部位を 導 正中面内の方向が認識でき な いこ と が指摘さ れて いる が, 入する こ と を 提案する . 実際に 耳珠を 備え た 能 著者ら [Kumon 05] や Hörnstein[Hörnstein 06] な ど は耳 動耳介シ ス テ ム を 開発し , 音源定位のた めの動 介を 利用する こ と で音源の上下を 区別する 方法を 提案し 作に 反映する た めの基礎性能を 調べた のでこ れ て いる . あ る いは, 動く 耳介を 活用する 先行研究と し て , を 報告する . 1 著者ら [Kumon 11] や 金ら [金 12] の研究が挙げら れる . こ れら の動作する 耳介を 用いた ロ ボッ ト シス テ ム では, はじ めに 耳介の動作に伴っ て 音源から マ イ ク ロ ホン ま での音信号の ロ ボッ ト が自律的に動作する には, 判断のためにロ ボッ ト 伝達特性が変化する が, こ の伝達特性の変化が既知であれ 周囲の環境を 適切に認識する こ と が不可欠である . 環境認 ば, 例えば音信号の到来方向を 認識する などが可能と なる . 識の代表的な 方法はカ メ ラ やレ ーザ距離計な ど を 用いた ま た , 著者ら の音源の上下を 区別する 手法 ([Kumon 05]) 光学的な 方法が数多く 提案さ れて いる が, 人間の住環境 では, 耳介に よ る 伝達要素の周波数特性を 利用する も の のよ う に 壁面な ど 障害物に よ る オク ルージョ ン の問題や, だっ たので, よ り 望ま し い特性を 呈する 耳介の姿勢を 求め カメ ラ の視野外は認識でき ないなど 課題も ある . 一方, 音 ら れれば, 音源定位能が改善さ れる こ と が期待さ れる . 一 信号を 用いる こ と が出来れば, 対象が障害物の隠れる よ う 方, こ のこ と が機能する ためには, 耳介の姿勢変化によ っ な 場合でも , こ れを 見つけ る こ と が可能であ る と 同時に , て 十分に 伝達特性の変化が明瞭であ る こ と が必要であ る . 自動車のク ラ ク ショ ン や電話の呼び出し 音のよ う な 音記 こ れま での著者ら の結果 [Kumon 11] では, 主に高周波数 号の理解を 通じ た 環境理解も 可能と な る . 音を 通じ た 環 帯域のパワ ーが姿勢変化に 伴っ て な だ ら かに 変化する こ 境理解の重要な 基礎能力に , 音源の位置や方向を 推定す と が示さ れて いた が, こ の変化を 顕著に する こ と が定位 る 音源定位があり , ロ ボッ ト に向けて はマ イ ク ロ ホン アレ 性能に 貢献する こ と が考え れる . イ と 音響信号処理に よ る 方法が種々 提案さ れて いる . と こ ろ で, 動物の外耳に は耳介以外に も 様々 な 部位が さ て , 生物の場合の音源定位を 考え る と , 多く は実用 あり , 耳珠と 呼ばれる も のが存在する . 耳珠と は動物など 的な範囲を 二つの耳で実現し て いる . 二つに限ら れた受聴 の耳に 見ら れる 耳孔前方に あ る 小突起で, 耳介の効果を 点の信号から 音源定位を 実現する 生物の能力は興味深く , 強調する と の指摘があ る [本田 85]. そ こ で本研究では能 14 反射板・ 上 2.2 耳珠の効果: 周波数特性 耳介の姿勢の変化で周波数特性がど のよ う に 変化する か を 確認する た め耳珠を 取り 付け た 場合と 取り 付け て いな モータ い場合での伝達特性を 検証し た . 音源は頭部の正面方向 反射板・ 下 1.5m の距離に 設置する も のと し , 頭部の正面高さ を 基準 位置と し て 仰伏角方向に −20◦ ∼ 20◦ ま で 10◦ 刻みで計 5 点から 白色雑音を 試験信号と し て 用いた . ま た , そ れぞ 台 れの音源位置ごと に耳介の姿勢を 右耳 6 パタ ーン , 左耳 6 パタ ーン の計 36 パタ ーン で収録し た . な お, 音信号はサ (a) 機構 ン プリ ン グ周波数 44.1kHz で録音し て お り , 再生装置の 制限で呈示さ れる 白色信号は 16kHz ま での帯域に制限さ れて いる . 音源の方位角について は , IPD を 用いて 比較的良好に推 定ができ る と 想定でき る ので, こ こ では特に 二つのマ イ (b) 能動耳介全景 ク ロ ホン で難し いと 考え ら れる 音源の仰角方向に ついて (c) 片側の拡大図 検証する こ と と し , ILD に 相当する パワ ース ペク ト ルに 図 1: 耳珠を 持つ能動耳介シス テ ム 着目する . 図 2 に収録し た白色信号のスペク ト ロ グラ ムを 示す. 図 の列は, 左から 順に 耳珠を 取り 付け な かっ た 場合, 小型 動耳介に合わせて 耳珠を 耳介開口部に設け, 姿勢によ る 周 (30mm 四方) の耳珠を 取り 付けた場合, 大型 (40mm 四方) の耳珠を 取り 付けた場合の結果を 示し て おり , 図の行は音 波数特性の変化を 強調する こ と を 考え る . ま ず, こ れま で に 提案し た 能動耳介のシ ス テ ム に 耳珠に 相当する 構造を 源の仰角に対応する . 各図の横軸は時間, 縦軸が周波数を 取り 付け た 耳介シ ス テ ム を 開発し , こ の特性を 調べる こ 表わし , 図中の色に よ っ て パワ ーを 示し て いる . と と し た. ま た, 得ら れた特性の評価と し て , いく つかの いずれの場合も 縞状のパタ ーン が見ら れ, 安定し た ス 耳介の姿勢で音収録を 行い音源の方向を 推定する こ と で ペク ト ル構造が得ら れて いる . ま た, 耳珠を 取り 付け る こ 行っ た . と でパタ ーン が変化し て いる こ と も 確認さ れる . 特に耳介 の効果は高周波数帯域 (10kHz 以上) で顕著であ り , 耳珠 能動耳介と 耳珠 2 も 同じ 帯域で影響が際立っ て いる ( 黒枠) . 具体的な 変化 を 挙げる と , 音源方向が −20◦ ∼ −10◦ のと き 耳珠のな い 2.1 実験装置 場合では周波数特性が酷似し て いる 一方, 耳珠を 取り 付け た 場合, 13kHz 付近のパワ ーが小さ く な っ て お り , こ れ ま ず本研究で用いる 能動耳介装置について 説明する . 図 1 ら の別が明瞭である こ と , ま た, 音源方向が 0◦ ∼ 20◦ の は装置に ついて ま と めた も のであ る . と き に は 14 ∼ 16 kHz に ノ ッ チがはっ き り する な ど があ 図 1(a) に 示すよ う に 耳介は基礎を 成す台の上に 取り 付 る . 音源方向の推定法では, こ の周波数特性の違いを 手が けら れて おり , アルミ 板の反射板を 組み合わせたテン ト 型 かり に 定位を 行う ので, こ のよ う に 特性の変化が顕著に の構造になっ て いる . 反射板は上下に分かれて おり , 上部 なる こ と は重要である . こ の観点から する と , 逆に耳珠の はモータ に よ っ て 姿勢を 前後に 動かすこ と が出来, 下部 大き な も のでは, −10◦ ∼ 0◦ の方向での周波数特性の変 は台に 固定さ れて いる . 本研究では用いな いが, 耳介を 化が乏し く , 耳珠の小さ な も のに 比べ適当と は言い難い. 取り 付け て いる 台も モータ に よ っ て 動かすこ と が可能で, こ のこ と から , 単に 耳珠を 取り 付け れば良いと いう わけ 耳介の左右方向の自由度に 対応する . 下部の台の中央に ではなく , 適当な大き さ のも のを 選択する 必要がある こ と はマ イ ク ロ ホン が上向き( 耳介の上部方向) に取り 付けら が示唆さ れる . れて いる . こ のよ う な能動耳介を 二つ組み合わせ, マ ネ キ 先の条件に 替え て , 耳介を 前方に 傾斜さ せた 姿勢 (ρ2 ) ン 頭部に 搭載し た 状態で実験に 供し た (図 1(b)). でも 同様の試験を 行っ た. こ の結果を 図 3 に示すが, 先と 同様に耳珠の影響が確認さ れる . 例え ば音源方向が −20◦ 本研究の中心と な る 耳珠 [本田 85]. は, 図 1(c) に 示さ れる 写真の白い部分であり , 上述する 耳介の開口部の下半 お よ び −10◦ ∼ 0◦ のと き , 分ほど を 覆う 正方形の板で模擬し た. 各耳珠は 4mm 厚の プラ ス チッ ク 板で, 以下では 30mm 四方のも のと 40mm 1.5 ∼ 1.6kHz に ノ ッ チが見ら れる こ と が挙げら れる . 特 に 重要な のは, 同じ 音源方向であっ て も 耳介の姿勢が ρ1 四方のも のの二種類を 検討し て いる . から ρ2 に変化する こ と で周波数特性がはっ き り 変化する 15 そ れぞれ 10 ∼ 16kHz と 耳珠無し 耳珠 (小) 耳珠 (大) 耳珠無し 耳珠 (小) 耳珠 (大) θ = −20° θ = −20° θ = −10° θ = −10° θ = 0° θ = 0° θ = 10° θ = 10° θ = 20° θ = 20° 図 2: ス ペク ト ロ グラ ム ( 耳珠の影響: 姿勢 ρ1 ) 図 3: ス ペク ト ロ グラ ム ( 耳珠の影響: 姿勢 ρ2 ) 3.1 こ と であ る . 例え ば θ = −20◦ の場合, 図 2, 3 を 比較す 推定方法 二つのマ イ ク ロ ホン によ る 音源方向の推定に用いる 特徴量 れば, 耳珠を 取り 付け な い場合では周波数特性はほと ん と し て 両耳間レ ベル差 (Interaural Level Difference; ILD) ど 変化し な いが, 耳珠 (小) を 取り 付け た 場合, 耳介を 傾 と 位相差 (Interaural Phase Difference; IPD) が良く 知ら け る (ρ2 , 図 3) と 10kHz 付近に ピ ーク が出現する と いっ れて いる [Blauert 96]. こ こ では, ILD, IPD を 周波数領 た 明瞭な 変化があ る . 音源方向を 識別する 上で耳介の方 域上の N 個の周波数点上で表現し た特徴量ベク ト ルと し 向を 能動的に 操作する 効果が生じ る こ と に な る ので, 能 て 扱う こ と と し , こ れら の量を z ILD , z IPD と 表す. 動耳介と 耳珠の組み合わせが有用であ る と 言え る . 定位を 行う た め に , 音源方向と 対応づけ て , こ れら の 音響特徴量を 事前に 測定し た デ ー タ ベー ス を 作成し 3 て お く . こ れら の特徴量のこ と を 以下では規範の特徴量 音源方向の推定 と 呼び, (θ, φ) 方向の規範の ILD, IPD を z dILD (θ, φ, ρ), z dIPD (θ, φ, ρ) のよ う に 添字 d を 付し て 表すも のと する . 耳介の姿勢 ρ に あ っ て 測定さ れた ILD, IPD の特徴量 前節に 説明し た 耳珠を 有する 能動耳介シ ス テ ム を 用いて 音源方向の推定を 行う . 本研究では頭部正面を 基準と する z ILD , z IPD から 音源方向を 推定する ため, ILD, IPD につ 座標系から 見た音源の方向を 仰角, 方位角で考え , それぞ いて 次のよ う な 尤度を 考え る . れを θ, φ と 表すこ と に する . ま た , 左右の耳介の姿勢を ρ := (ρl , ρr ) で表すも のと する . lILD (θ, φ|ρ, z ILD ) N n X 2 o d = exp − zILD,i − zILD,i (θ, φ, ρ) , 以下ではま ず定位の方法を 説明し , そ の後, 実際の定 位結果を 示す. i=1 16 (1) (2) 1 d exp cos zIPD,i − zIPD,i (θ, φ, ρ) − 1 . 20 Elevation (deg) i=1 こ こ で i は各特徴量の i 番目の要素を 示す. 次に , こ れ ら の尤度を ま と めて 結合尤度を 0.8 10 0.6 0 0.4 −10 −20 −10 0 10 Azimuth (deg) (3) 0.6 0 0.4 −10 0.2 −20 0 20 0.8 10 −20 −10 0 10 Azimuth (deg) S1: 両耳固定 (直立) = lILD (θ, φ|ρ, z ILD )lIPD (θ, φ|ρ, z IPD ). 20 20 Elevation (deg) 今, k 回の観測の後, 音源方向について事前分布 pk (θ, φ) が与え ら れた と し , k + 1 回目の観測に よ っ て (3) の結合 尤度が得ら れた と する と , 繰り 返し ベイ ズ推定に よ る 音 源定位法 [Kumon 13] に 従っ て 事後分布を pk+1 (θ, φ) = R l(θ, φ|ρ, z ILD , z IPD )pk (θ, φ) l(θ, φ|ρ, z ILD , z IPD )pk (θ, φ)dθdφ 1 20 0.8 10 0.6 0 0.4 −10 0.2 −20 −20 −10 0 10 Azimuth (deg) (4) 0.6 0 0.4 −10 定位実験 0.2 −20 0 20 0.8 10 S3: 両耳固定 ( 左耳前傾・ 大) のよ う に 更新する . −20 −10 0 10 Azimuth (deg) 20 A: 片耳動作 図 5: 音源方向の推定結果 こ こ では, 音源を 仰角方向に 5 通り , 方位角方向に 5 通 適当な 時間区間の信号に 対する 定位結果と し て , 各条 り の計 25 点を 対象に 音源方向の推定( 音源定位) を 行う 件での6 回目の事後分布 p6 を 図 5 に 示す. 各図は 25 個 こ と と し , データ ベース に は先と 同じ 白色雑音に よ る 規 のセ ルから な っ て おり , 各セ ルが仰角・ 方位角に 対応し , 範データ を 作成し , 試験信号に は図 4 に 示す音楽信号を そ のセ ルの色が音源の事後分布の値を 示し て いる . 図中 用いる こ と と し た . の赤丸が音源の正解方向を 示し て お り , S1,S2,S3,A のい ずれの場合も 音源の方向に 対応する セ ルの値だ け が大き く なっ て いる . こ の例では耳介の姿勢や動作に依ら ず, 音 源方向が正し く 定位さ れて いる と も 見え る が, ρ3 では推 定さ れた 値がやや小さ いな ど の違いがあ る . 紙面の都合 で割愛し た が, 他の音源方向では推定結果に ばら つき が あ る な ど , 図 5 のよ う な 事後分布だ け では性能を 測る こ と が出来な いた め, 定位性能を 評価する 系統的な 指標を 導入する こ と と し た . 収録さ れた 音信号に 独立な 白色雑音を 混合し , 騒音下 での音源定位を 模擬し た 場合を 考え る . な お , 各試行毎 に S/N 比 (SNR) が一定と な る よ う 収録音の各時間区間 のパワ ー に 合わせて 白色信号のパワ ー を 調整し て いる . 図 4: 定位実験に 用いた 信号 ま た , 音源定位性能に つ いて は以下で 定義さ れる F 値 [Chinchor 92] を 用いる こ と と し た . ま ず, 音源を (θ, φ) = (−10 , 20 ) に置いた時, 耳介を ◦ ◦ S1: 両方の耳を 直立さ せた 場合 (姿勢 ρ1 と する ), S2:右 耳を 直立, 左耳を 前方に 小さ く 傾斜さ せた 場合( 同 ρ2 ), F = S3:右耳を 直立, 左耳を 前方に 大き く 傾斜さ せた 場合( 同 ρ3 ), A: 右耳を 直立さ せた状態, 左耳を 観測毎に直立さ せ 2RP , R+P (5) ここで P た 状態から 前方に 6 段階に 傾斜さ せた 場合の 4 つの条件 で推定を 行っ た . 観測の回数は S1, S2, S3, A のいずれの = R = 場合も 6 回であ り , 初期の事前分布に は一様分布を 用い # of estimated sound sources # of estimated sound source candidates # of estimated sound sources . Total # of sound sources た . こ こ で A は片耳が取る 全て の場合で一度ずつ音信号 で, を 取得する も ので, 基本的な 耳介動作の一つであ る . 良いこ と を 示す指標であ る . 17 0 S2: 両耳固定 ( 左耳前傾・ 小) 1 と する . 3.2 0.2 −20 l(θ, φ|ρ, z ILD , z IPD ) 1 20 Elevation (deg) = N X Elevation (deg) lIPD (θ, φ|ρ, z IPD ) F 値は [0, 1] の範囲を 取り , 大き いほど 定位性能が 0 ずつ前方に 傾斜さ せる 動作を 考え , こ の動作の下で音源 1 定位を 行っ た 場合の定位性能を 調べた 所, 雑音下でロ バ ス ト 性を 改善出来る こ と が示さ れ, 耳介動作が音源定位 F measure 0.8 0.6 性能の向上に 繋がる 例を 挙げる こ と が出来た . ρ2 Active 今回は最も 基本的な 動作と し て 前方に 傾斜し 続け る 動 ρ3 作を 考え た が, 実際に は定位情報に あ た る 事後分布を 用 いて 次に 取る べき 姿勢を 計算する こ と が効果的だ と 考え 0.4 ら れる . こ の音源定位の観点から ど のよ う な 姿勢を 良い と する かは今後の検討が必要であ る . 0.2 ρ1 ま た , SNR が著し く 低下し た 場合では定位性能が悪く なる が, 耳介姿勢を 適切に選ぶこ と で改善が可能か, 可能 0 5 10 15 20 25 SNR[dB] 30 であ ればど のよ う に すれば良いかに ついて も 今後の課題 35 であ る . 参考文献 図 6: 音源定位のロ バス ト 性 [Blauert 96] Blauert, J.: Spatial Hearing - Revised Edition: The Psychophysics of Human Sound Localization, The MIT Press, rev sub edition (1996) SNR の変化の下での定位性能を 図 6 に 示す. 図の横軸 が SNR, 縦軸に F 値を 示し て おり , 先の S1 と S2, S3, A の各条件での性能を ま と めて 表示し て いる . 収録環境が良好な 場合 (SNR が大き い場合), ど の場合 [Chinchor 92] Chinchor, N.: MUC-4 EVALUATION METRICS, in Proceedings of Fourth Message Understanding Conference (MUC-4), pp. 22–29 (1992) でも 同じ 程度の定位性能が得ら れて いる . 20dB 以上の領 [Heffner 82] Heffner, R., Heffner, H., and Stichman, N.: Role of the elephant pinna in sound localization, Animal Behaviour, Vol. 30, No. 2, pp. 628–629 (1982) 域では, 両耳を 直立さ せた ρ1 が最良の結果を 示し て お り , 次いで動作さ せた 場合 (A), 片方の耳介を 前に 傾斜さ [Hörnstein 06] Hörnstein, J., Lopes, M., Santos-Victor, J., and Lacerda, F.: Sound localization for humanoid robots - building audio-motor maps based on the HRTF, in IEEE, ed., Proceedings of 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 1170– 1176 (2006) せた 場合 (ρ2 , ρ3 ) の順に な っ て いる . こ れは, 音信号が 正確に 得ら れる 場合は, 耳介を 立て 開口部を 広く 保つ ρ1 が有効であ る ので, 自然な 結果と も 言え る . 一方, SNR が 15dB 付近の悪条件では状況が異な り , ρ1 は SNR の 低下と と も に急激に定位性能が劣化し , 逆に耳介を 伏せた [Kim 13] Kim, U.-H., Nakadai, K., and Okuno, H. G.: Improved Sound Source Localization and Front-Back Disambiguation for Humanoid Robots with Two Ears, in IEA/AIE, pp. 282–291 (2013) ρ2 や ρ3 の方が F 値の点ではやや良い結果と な っ た. こ こ で, 耳介を 観測毎に前方へ傾斜さ せた場合 (A の場合), ρ1 と ρ2 や ρ3 の中間的な 性質を 示し て おり , SNR が高 [Kumon 05] Kumon, M., Shimoda, T., Kohzawa, R., Mizumoto, I., and Iwai, Z.: Audio Servo for Robotic Systems with Pinnae, in Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 885– 890 (2005) いと こ ろ では ρ1 に 近い性能を 呈する と と も に , SNR の 低下時は ρ2 や ρ3 に近い性能であっ た. こ のこ と は, 耳 介の姿勢を 変化さ せる こ と で, 音源の方向や雑音の程度 に 応じ て 伝達特性を 変化さ せる こ と で, そ れぞれに 適し [Kumon 11] Kumon, M. and Noda, Y.: Active Soft Pinnae for Robots, in Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 112–117 (2011) た 観測を 活用し , ロ バス ト な 音源定位を 実現でき る 可能 性を 示唆し て いる . な お, SNR が 12dB 以下に な る と F 値は 0.5 以下と 定位性能は悪く , こ こ での F 値の大小を [Kumon 13] Kumon, M., Kimoto, D., Takami, K., and Furukawa, T.: Bayesian Non-Field-of-View Target Estimation Incorporating an Acoustic Sensor, in Proceedings of 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 3425–3432 (2013) 論じ る こ と は意味のあ る こ と と は言え な い. 4 おわり に 本研究では動物な ど を ヒ ン ト に 耳介を 能動的に 動作さ せ [Populin 98] Populin, L. and Yin, T.: Pinna movements of the cat during sound localization, Journal of Neuroscience, Vol. 18, No. 11, pp. 4233–4243 (1998) る こ と で, 音源定位性能を 改善する こ と を 目的と し , 耳 珠の導入を 提案する と と も に , 実際の音源定位に お いて [金 12] 金 天海, 中臺 一博, 辻野 広司: ウ ェ ア ラ ブル人工可動 耳介-音追従動作に よ る 音源定位能力の向上-, 第 30 回日本ロ ボッ ト 学会学術講演会, 日本ロ ボッ ト 学会 (2012) そ の効果を 調べた . そ の結果, 耳珠を 取り 付け る こ と で, 単に伝達特性が変化する だけでなく , 特に仰角方向の音源 方向の推定に 重要な 耳介ノ ッ チ が明瞭に な る こ と , ま た [本田 85] 本田 学: 耳珠のはた ら き , 耳鼻咽喉科臨床, Vol. 78, (1985) 耳介動作に よ る 伝達特性の変化が明ら かに な る こ と を 実 際の装置によ っ て 確認し た. ま た, 耳介を 観測の度に少し 18
© Copyright 2024 ExpyDoc