自律ロボットソフトウェアの経路学習 H207004 伊藤謙研究背景多くの環境で対応できるエージェントの作成。適応するため知的能力を持たせる。知的能力として学習能力に着目。環境に適応するため、環境と実行者の相互作用の学習として機械学習の強化学習を導入する。研究概要環境に適したエージェントにするため、仮想空間を形成するK4を対象にする。 K4エージェントにたいして強化学習を導入する。実験として単純な命令に対する学習結果を評価する。参考として既存のK4エージェントの比較も行う。Ｋ４ＣＧ処理と言語処理から構成されたソフトウェア。仮想空間とエージェントの相互作用から言語の理解を目的に開発。操作としてはエージェントの空間操作によるユーザの目標達成を行う。 K4画面 K4エージェント目標：ユーザの命令実行。 BehaviorManager 動作：命令を分析 DiscourceManager ↓ Planner プランニング ↓ ActionManager 実行改変Ｋ４目標とするＫ４の知的エージェント・ユーザの命令を効率良く達成できる学習能力を持つ知的エージェント。・学習として強化学習のＱ学習を実装。・行動生成にε‐greedy方策を行う。強化学習：方策 ε-greedy方策：確率εでランダムに行動選択を行い、確率1-ε でgreedy方策を行う。 greedy方策: 最も良い行動（最も高い評価値）を選択。実装時の確率：0.1 学習が行なわれた後、頻繁にランダムな選択を行わせないため。強化学習-手法 1stepQ学習： Q( st , at )  Q( st , at )   [rt   max Q( st 1 , at 1 )  Q( st , at )] Q : 行動評価関数s : 状態 r : 利益  : ステップサイズ・パラ at a : 行動 t : time メータ  : 割引率 α：0.6 γ：0.9（学習促進）ｒ：目標達成 10 オブジェクト -1 その他 0 ターム・目標達成。・一定の行動生成以上の条件を満たした時、エピソードを終了。次エピソードに移行。改変K4の状態・行動表現状態表現： s  S 仮想空間のx座標とz座標の2次元座標。行動表現： a  A K4エージェントに実装されている動作。 Walk , Hold , Put , LookAt , Turn z y x 改変Ｋ４学習フローチャート起動仮想世界の初期化エージェント動作エージェントの行動選択選択評価値更新 NO 目標の達成 YES 全体の流れメインクラスMain内で処理。常に目標条件を達成しているかの監視。達成時には、の初期化を行う。環境の初期化初期化内容・オブジェクトの位置：エージェントを含む全てのオブジェクトを起動時の位置へと再配置する。・エージェントの初期化：エージェントの受け取っている命令の情報、スケジューラの予定を消去する。実験対象:K4、改変K4 （改変K4は2種類の状態表現。）内容：命令の実行の観察。命令：「青いボールを取って」試行回数：70回（K4_1の問題のため）実験結果改変K4_1 改変K4_2 ・K4_1 状態表現：座標を0.1単位で分割 141*141*5の状態表現ターム：行動回数を1000回成功回数：11回・K4_2 状態表現：座標を1.0単位で分割 15*15*5の状態表現ターム：行動回数を500回成功回数：35回改変 K4_1 K4_2 達成数 7 6 5 4 K4_1 3 K4_2 2 1 0 ～10 ～20 ～30 ～40 ～50 ～60 ～70 改変K4_1 評価値 2.5 2 2-2.5 1.5 1.5-2 1 1-1.5 z13 0.5 z9 z5 z1 x15 x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 x11 x12 x13 x14 0 0.5-1 0-0.5 改変K4_2 評価値 10 8 8-10 6 6-8 4 4-6 z13 2 z9 z5 z1 x15 x14 x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 x11 x12 x13 0 2-4 0-2 実験結果Ｋ４実行回数：10回経路決定によるポテンシャルの確認。結果：動作時間 20秒ポテンシャルの変動はなし。考察状態表現が大きすぎて学習が進まない。空間の座標のずれが大きい。やはり、既存のK4の性能にはかなわない。対象の位置や初期地等の少しの変更に対しても再学習の必要性がある。まとめ静的環境のみに対応。状態と仮想空間の座標の差がある。メモリの問題上、状態が大きいと対応できない。展望改変K4_1の状態で可能にする。より複雑な状況に対応するため、状態表現を改良。 ↓ 他のオブジェクトの座標、命令等の情報も使用。状態削減方法：自己増殖型ニューラルネットありがとうございました。自己増殖型ニューラルネット入力パターン整合度 < r ニューロン作成 Stem neuron 整合度 => r 内部ポテンシャル > g ニューロン分割