視覚障害者のための歩行ガイドロボット清弘智昭 • ロボットとは • • • • 産業用ロボットアミューズメントロボット、エンターテインメントロボット福祉ロボット教育体制 • 視覚障害者と盲導犬、従来の補助具、電子補助具 • 盲導犬、白杖 • MOWAT Sensor, Sonic Guide, Lase Cane, Trisensor • 歩行支援システム • 各研究 • 歩行ガイドロボット晴信 • 移動戦略 • 画像処理 • マンマシンインターフェース産業用ロボット山梨県世界最大の FAとロボットの FANUC（ファナック）株式会社アーク溶接スポット溶接自動車や二輪自動車、加工機械の製作の自動化搬送組み立てレーザーばり取りアミューズメントロボット SONYのAIBO 単なるペット型ロボットではなく、エンターテインメントロボットへ HONDAのP３（ロボカップチャレンジ） – 世界初の二足歩行ロボット – ５０年後にワールドカップ優勝チームと対決して、勝利を目標に世界の研究者が、研究・開発しているプロジェクト山梨大学傘回しロボット – 日本の古典芸能を古典制御、現代制御理論で解析、実現福祉ロボット日本の視覚障害者の数 34万人全盲 12万人盲導犬がいれば、自律した生活が送れる人１万人盲導犬の数８００頭各種センサ、ナビゲーションシステムを搭載した歩行ガイドロボットの研究・開発研究の背景（１）現状把握 • 視覚障害者の人数と盲導犬の数日本 340,000 人ヨーロッパ 2,000,000 人合衆国 3,000,000人 800 頭英国 4,000 頭独国 1,100 頭 10,000 頭 • 盲導犬の定義国または自治体が認めた公益法人において、５年以上の経験を持つ歩行指導員により十分訓練された犬が、使用を希望する盲人とともに法人の定める、４週間以上の歩行指導を終了した後、ハーネスをつけ、使用者証を所持した使用者本人と歩行する場合のみ盲導犬という。盲導犬育成の歴史 1819年ウイーン神父 1916年独国盲導犬育成学校 1938年日本米国からの旅行者 1957年日本国産盲導犬第１号研究の背景（２）従来の補助具 • 盲導犬（The Guide Dog) http://www.eyemate.org/) 日本で初めて盲導犬を育成した協会のウェブサイトです。アイメイト(盲導犬)というパートナーと共に、視覚障害者がいかに自立しているかを伝える『読み物』。アイメイトとの二人五脚を自ら発信するサイトへの『リンク』。盲導犬や活動内容についての『Ｑ＆Ａ』。歴史を振り返る『モノクロ写真館』。職員の素顔を紹介する『スタッフの部屋』。30冊を超える『関連図書案内』などがあります。 •盲導犬訓練センター http://web.kyoto-inet.or.jp/org/kgdba/guide_htm/c01_home.html 盲導犬ビデオ白杖ビデオ •白杖（Long Canes) http://buri.sfc.keio.ac.jp/access/tebiki/32-1.html 塩化ビニール製凸地図で、全て点字の説明書付き。東京案内図東京付近図、２３区行政図、２３区交通図、中心部地下鉄図 •盲人用地図(Braille Map) http://buri.sfc.keio.ac.jp/access/tebiki/47-2.html 研究の背景（３）従来の電子補助具 • MOWAT Sensor: Sonar, US$1,000 • Sonic Guide: Sonar • Kay 1985 • Laser Cane: Laser • Nye 1973, • Japan 1996 • Trisensor: Sonar, US$1,500 • Kay 1994 http://www.uitec.ac.jp/rehb/cane_e.html 従来の歩行ガイドの研究 • MELDOG (盲導犬ロボット）プロジェクト http://www.aist.go.jp/MEL/mainlab/pr/pr31-40/pr.38.html 1977 ～1983 通産省工業技術院 • Mobic プロジェクト Mobility of Blind and Elderly People Interacting with Computers http://simsrv.cs.uni-magdeburg.de/~mobic/mobicuk.html • The ASMONC プロジェクト Autonomous System for Mobility, Orientation, Navigation and Communication 視覚障害者の移動戦略視覚障害者はあらかじめ経路情報を記憶している Aから出発し，B地点まで移動 A B 5. 2. 3. 4. 門を出て右を向き，「右再び，「右手壁に沿っ 1. 「5歩」歩いて道路を渡り，歩行者は，玄関を出て手壁に沿って」「10歩」て」「15歩」歩き，右手壁「壁を確認」し，左を向くて」「5歩」歩き，そこに存「3歩」歩き，家の前にあ歩き，そこにある「電の終わり「壁の角」を「白在する「郵便ポスト（ランる右手の「門柱」を「白柱」を「白杖を用いて確杖を用いて確認」するドマーク）」を「白杖を用認」するいて確認」する視覚障害者の移動戦略を用いたナビゲーションを行なう移動戦略のまとめ • Moving-Along：何かに沿って移動例えば、白線、点字ブロック、縁石 • Moving-Toward：何かに向かって移動例えば、ポストや横断歩道、看板、押しボタン • Moving-Around：何かの周りを移動例えば、停車中の自動車、工事現場 • Following-Person：人に従って移動例えば、歩行者の多い歩道 • Map-Matching：マップマッチング例えば、目立つ建物、看板などのランドマーク必要とされる機能 • • • • • 地図情報を内部に持つランドマークを検出し位置修正壁や歩道の段差に沿って移動障害物の回避センサ情報と地図情報の照合どのように移動戦略を実現するのか必要な機能と装置地図を持ち照合するロボット全体の制御頭脳に相当コンピュータ壁などの検出目，触覚等に相当センサ画像処理超音波距離計赤外線距離計接触センサ遠方の物体検出に有効広い範囲の物体検出近い距離の検出最後の手段・・・画像処理画像処理はＰＣクラスのコンピュータでも可能だが処理時間に問題がある計算量が多いため：ＴＶ程度の画像でも８万画素になる画像処理装置は専用のコンピュータ高価テンプレートマッチング，エッジ検出，フィルタリング正規化相関，画像のアフィン変換（平行移動，回転など）超音波距離計基本原理はＴＯＦ(Time Of Flight)法音波を発射してから戻ってくるまでの時間より距離を測定特長安価，検出範囲が広い，外光の影響を受けない短所騒音に弱い，鏡面反射である，複数のセンサを同時には使えない（混信する），形状の識別が難しい歩行ガイドロボットの装備距離測定用超音波センサ • 壁や障害物などを検出 • 相関演算を用いて多数のセンサを同時に使用可能ランドマークセンサ • 超音波により形状識別点字ブロックセンサ • 超音波を用いて点字ブロックを検出ハーネス • 直感的に車速を制御 • ハーネスにかかっている力を測定し走行、停止を行う光ファイバジャイロｰ車体の回転角度を測定ロータリエンコーダ超音波レンジセンサ相関を用いた超音波センサを使用する・形状認識には複数のセンサが必要複数同時動作可能なセンサが必要・屋外で使用するため，雑音に強いものが必要超音波レンジセンサの仕様超音波センサの仕様 • 実用化しやすい • センサにインテリジェンス性 • 汎用性・柔軟性・測定周波数：40ｋHz ・最大測定距離：レンジ① 0.5～5m レンジ② 0.3～2.5m ・分解能：1cm ・最小測定周期：50ms ・測定出力：8ビットPWM波・電源電圧：＋12V ± 10% ・消費電力：50mA ± 20% センサユニットで相関演算を計算しモジュール化して，ユニットとコントローラを分離可能にする。センサユニット単体での動作を可能にする。センサの構成 carrier T(k) Amp Amp + - R(k) threshold 40kHzのキャリア信号と送信信号の論理積をとり送信受信信号を増幅，検波し閾値により二値化相関演算送信信号と受信信号の相関値を求めたとき，1周期中に唯一のピークを持つような送信パターンが必要複数のセンサを使用する場合，各センサの送信信号をT1，T2 とすると相互相関値は以下の式を満たす必要がある Nd 1  T (i)T (i  j)  m i 1 1 2 センサ毎に異なるパターンを送信することで他のセンサとの相互相関値を低くでき，混信することなく動作させることができる送信パターン dnm d12 全てのdnmにおける複数のセンサでの相関値が低くなるようなパターンを生成高速相関演算 C (l )  Nd 1  T ( k ) R( k  l ) k 0 差分をとる C (1)  C (0)  Nd 1  T (k ){R(k  1)  R(k )} k 0 ・・・ C (l )  C (l  1)  Nd 1  T (k ){R(k  1)  R(k  l 1)} k 0 距離測定実験 1m離れた位置で壁沿いを移動 50cmの障害物の前を通り過ぎる 120 測定距離[cm] 100 80 60 40 20 距離測定結果 0 0 0.5 1 1.5 移動距離[m] 2 2.5 3 ランドマークの特徴抽出上から見た図 50cm 距離0cm ランドマーク進行方向距離150cm 90 ° 0° 実験結果直方体 70 60 50 40 30 20 10 90 60 30 角度（°） 150 110 90 130 距離（cm） 70 50 30 0 10 物体までの距離（cm） 80 超音波は鏡面反射する 0° 0 指向性±30° 90 ° 円柱（直径6cm）物体までの距離（cm） 120 100 80 60 40 20 90 60 30 角度（°）微小範囲では平面 150 110 130 距離（cm） 90 70 50 30 10 0 0° 90 ° 0 角度の変化によらず反射波を検出角の丸い四角柱直方体 180 160 180 140 120 160 80 60 40 20 90 60 150 130 90 30 110 70 50 10 30 0 0 250 200 物体までの距離（cm） 100 140 120 100 80 60 40 20 150 90 60 30 角度（°） 150 130 平面と円柱の特徴を併せ持つ 130 110 距離（cm） 150 90 110 70 50 10 30 円柱（太） 30 0 90 90 60 0 70 50 10 50 30 0 100 0 人間測定する高さは歩行ガイドロボットに搭載する高さに合わせてある 60 50 40 30 20 0° 10 90 60 30 150 110 90 130 距離（cm） 70 50 30 0 10 物体までの距離（cm） 70 0 角度（°）反射波にあまり一貫性がない 90 ° 得られた特徴ダンボール箱，円柱，角の丸い角柱にははっきりと特徴が現れた物体の太さが違う場合も特徴は現れる静止している人は取得データを増やすことである程度の類似性を見出すことができるが，実際には人は常に動いているので，認識は非常に難しいこれらの情報量で効率的に認識を行えるようなニューラルネットワークアルゴリズムが必要ニューラルネットワーク生物の脳神経系をモデルにした情報処理システム教師あり学習（正解を教えておく）パーセプトロン，バックプロパゲーション etc 教師なし学習（自律的に学習）自己組織化マップ etc バックプロパゲーション（BP）を用いて認識を試みるバックプロパゲーション（誤差伝播学習）ユニット誤差が最小となるように学習していく方法入力Xi 中間層の結合荷重Wji 中間層での出力Hn 出力層の結合荷重Wkj 出力層での出力On 出力層入力層中間層前向き演算後向き演算「前向き演算」ニューロン中間層での出力 n T j   X iW ji i 0 H j  f (Tj ) ニューロン出力層での出力 n U k   H jWkj j 0 Ok  f (U k ) f にはシグモイド関数を用いたシグモイド関数「後向き演算」出力と教師信号との誤差Eを求める 1 n E   (ti  Oi )2 2 i 1 最小二乗平均誤差法出力層での結合荷重の修正量ΔWkj E Wkj   Wkj  {(tk  Ok )Ok (1  Ok )H j } η：学習係数中間層での結合荷重の修正量ΔWji E W ji   W ji n   H j (1  H j ) X i Wkj (tk  Ok )Ok (1  Ok ) k 1 アルゴリズムデータクレンジング ① センサから得られたデータを移動距離で積分し角度と物体までの距離で表す ② 0から1までとなるよう値を正規化する x  ' x  xmin xmax  xmin ③ 認識したいパターンに教師信号を与え，学習を行わせる学習プロセス複数の入力信号を順番に処理出力層を5つ用意教師信号を与える学習に用いるパラメータニューラルネットワークで用いるパラメータ例入力層中間層出力層 1～20 5 学習率シグモイド関数の係数終了判定 0.1～1.0 0.8 0.01 層数 3 10 中間層の数や学習率，シグモイド関数のパラメータは使用者の経験によるところが大きい学習終了後の出力教師信号出力層 1 2 3 出力信号 4 5 1 2 3 4 5 1ダンボール 0.95 0.05 0.05 0.05 0.05 0.918 0.226 0.045 0.001 0.051 2円柱（細） 0.05 0.95 0.05 0.05 0.05 0.021 0.470 0.280 0.056 0.040 3円柱（太） 0.05 0.05 0.95 0.05 0.05 0.001 0.187 0.853 0.107 0.045 4四角柱 0.05 0.05 0.05 0.95 0.05 0.000 0.115 0.064 0.981 0.061 5人間 0.05 0.05 0.05 0.05 0.95 0.001 0.000 0.000 0.024 0.967 2の細い円柱の出力が教師信号と大幅にずれているシステム構成 • 制御用コンピュータ • ＡＴ互換機 • Celeron 533MHz • OS • Linux（2.2.17） • インターフェイスボード • 多チャンネルシリアル通信ボード • インターフェイスボード（A/D，D/A，エンコーダカウント用）制御システム（ソフトウェア）ナビゲーションモジュール地図情報に基づき，現状において最適な走行モードを選択歩行ガイドロボットを目的地まで安全に誘導 •推測航法モード •沿壁走行モード •障害物回避モード •点字ブロック追跡モード適宜切り替え地図情報の構造 s8 Path0: p x0 y0 L θ s0 lx0 lx4 d0 line s4 lx1 lx2 d1 line s8 lx3 d2 cylinder Path1: p x1 y1 ・・・・・・・・自己位置の計測 •下位プロセス（走行距離計測プロセス）から走行距離を取得し差分(dl,dr)を計算する． •dx,dyを計算し，X-Y座標に変換する．推測航法モジュール目標直線に対する，目標突入角度（Ref_Angle)を計算する． Ref_Angle = φ ｰ 30×e φ 目標突入角度と，現在の角度の差分から，制御量（左右の車輪の速度）を求め，モータをコントロールする． e_Angle = ref_Angle ｰθ θ u_vr = v ｰ e_Angle×k u_vl = v + e_Angle×k 沿壁走行モジュール • 壁との距離の誤差が０になるように制御 • 壁までの距離に変化 →地図情報と照合し目標距離を変更走行実験 0 0 2 4 6 8 -1 -2 -3 障害物回避推測航法 10 12 ティーチングについて経路のティーチングの例 •あらかじめ地図情報を保存しておき，使用時に目的地を与え，現在地から目的地までの経路をコンピュータが計算する利点： •万が一ナビゲーションが失敗しても，そこか •地図情報を保存しておき，その地図に，実際に走行したいら再びナビゲーションを再開できる経路を書き込む欠点： •あらかじめ地図を記憶しておかなければな利点： •マップ全体を把握した上で人が経路を作成いするので，分かりやすく手間があまりない •経路として走行したい経路をあらかじめロボットと共に走行経路として走行したい経路をあらかじめロボットと共に走行 •経路計算のために高性能な制御器が必要し，その軌跡を経路とする欠点：となる •あらかじめ地図を記憶しておかなければな利点： •実際に一度走行するので確実に走行できるい •地図を記憶しておく必要が特にない •実際に走行するときに，その経路を予定通欠点： •経路作成に手間がかかるりに走行できるかどうか分からないティーチングについてティーチングで最低限取得する必要のある情報ナビゲーションにおいて最低限必要となる情報 •直進するのか，曲るのか？ •直進する場合，右側方に壁が存在するか？ •曲る場合，左折か，右折か？ •現在の走行を終了する条件は何か？ •右側方の壁が途切れる，再び検出する etc. •規定距離走行する •目的地か？ロボットの外観ロボット車体サイズ幅:30cm×奥行き:30cm×高さ:53cm ハーネスの高さ:地上高90cm 90cm センサの高さ:地上高45cm 53cm タイヤの直径:99mm 45cm ロボット重量:約17kg（ノートPC含む） 30cm 30cm 従来機より大幅に小型化ロボットのシステム構成開発用PC 双方向Serial通信 8bit A/Dコンバータモータドライバ前方障害物検出用赤外線測距センサ ×2 デバッガ Flash ROM書き込みデータ通信 PWM波赤外線測距センサ ×３制御用マイコン M32C/83 イベントカウンタ壁検出用 8bit A/Dコンバータ 8bit A/Dコンバータ制御電圧モータロータリーエンコーダハーネス画像処理（１）きれいな画像が取れれば、処理は高速にできる。 •白線候補の検出（明るさの絶対値利用） •点字ブロック候補の検出（色利用） •直線候補の検出（Hough 変換利用）白線の検出（縦横方向の明るさの変化利用）点字ブロックの検出（縦方向の明るさの変化利用）画像処理（２）条件を重ねて対象の検出 • 信号機のある交差点を渡るタイミングの検出 • 画像から赤領域の検出（青は自然界に多 • • • • い）形大きさ動かない赤がなくなった際に、下部分が変化動きに関して時間間隔をおいて、撮像した２枚の画像から各対象物の流れ（オプティカルフロー）を求める。 •ロロボットが移動、対象が静止： O.K. •ロロボットが静止、対象が移動： O.K. •ロロボットが移動、対象も移動： N.G. 「コンピュータビジョン」、福村晃夫、日本コンピュータ協会、Ｐ２５０図７．３ Daryl Lawton 動きに関して（２）小領域毎のフレーム間差分エンコーダ情報、ジャイロ情報を利用してロボットの位置推定 t-1 から t への移動量と移動方向を算出予測した位置との画素の値とのフレーム間差分を取る。高さのある障害物の検出例