第11回 学 習 1 機械学習 知識学習(Knowledge-level learning): 過去に与えられた情報に基づき，問題解決を実 現するために必要な知識を獲得 記号レベル学習(symbol-level learning), スピードアップ学習(speed-up learning): 獲得した知識を，より効率よく利用できるように 洗練化 人工知能における最も挑戦的な分野 知識獲得ボトルネック(1980-)に触発 2 機械学習の諸概念 1. 2. 1. 2. 学習データの与え方 教師有り学習 ～ 例からの学習（概念学習） 教師無し学習 ～ 観察による学習 データの種類 数値(1950 -) ～ ニューラルネット、パターン認識 記号(1960 -) 3 機械学習の視点 学習の目的？ ～ 法則 ｖｓ スキル 教示の程度？ ～ 概念（個々）/評価報酬（一連）/自発（無し） 先験的な知識の質・量？ 学習エージェントに与えるデータ量？ ノイズの有無？ 計算機構？ 時間・データ量制約？ 誤った学習の際のダメージ？ 4 機械学習の分類 帰納的学習(inductive learning) 教師または与えられた概念の例を基に一般化 ～ 概念学習 ：－記号による学習，ニューラルネットワーク学習 演繹的学習(deductive learning) 既に持っている知識からの演繹による概念獲得 ～ スピードアップ学習 類推学習 (analogical learning) 既存の概念の中から関連・類似したものを修正 5 学習方式の比較 6 推論方式の比較（再） 7 機械学習の分類：その他 発見的学習 (learning by discovery) 数値例を含む多数データから概念・法則を導出 強化学習 学習エージェントが環境に行う行為への報酬により 行為の決定法を獲得 事例に基づく学習(IBL: Instance-Based Learning) 過去の具体的な経験則で現状に最も適したものを抽出， 問題解決を実施 概念形成 属性・属性値からなる例の系列より自動分類 8 機械学習研究の沿革 9 帰納的学習 与えられた例題・事例より、帰納推論を用いて 一般的な概念を獲得 - 例題からの学習： 学習させたい概念（目標概念）に属する正の例 題と、その概念に属さない負の例題を与え、 一般的な知識を生成 ・完全性条件 ・無矛盾性条件 v.s. 大量例題要、膨大な空間探索、正当性無保証 10 帰納的学習の具体例： 「アーチ」の概念 離れて立つ２つのブロックと、それに支えら れた１つのブロックから成るもの 11 バージョン空間法(T.M.Mitchel,1977) 知識表現を限定せずに、例題からの学習の 一般的枠組みを与えたもの 訓練例 12 バージョン空間法のアルゴリズム 1. 2. 3. バージョン空間Ｈを初期化： Ｓ：最初に入力された正の例題そのもの Ｇ：あらゆる例題を満足する記述 入力された例題ｘに対し、以下を実行 - ｘが正の例題の場合： ｘを満足しない記述をＧから削除、Ｓがｘを満足するよ うにＳ内の記述を最小限一般化 - ｘが負の例題の場合： ｘを満足する記述をＧから削除、Ｓがｘを排除するよう にＳ内の記述を最小限特殊化 ＳとＧが一致するまで、２を反復実行 両者が一致した時点のＨが目標概念の記述となる 13 バージョン空間法の具体例： 「鳥類」の学習 食性（肉食・草食）、発生形態（卵生・胎生）、 体温（恒温・変温） → 「ペンギン」（肉食，卵生，恒温） S=｛（肉食，卵生， 恒温）｝ G=｛＊，＊，＊｝ ペンギン 14 バージョン空間法の具体例： 「鳥類」の学習 →「ライオン」（肉食，胎生，恒温）：負の例 ライオン S=｛（肉食，卵生， 恒温）｝：そのまま G=｛＊，卵生，＊｝ →「ブンチョウ」 （草食，卵生，恒温） →「トカゲ」 （肉食，卵生，変 温） ？ 15 「オッカムの剃刀」原理 Ｈ（Ｓ）＝ －Σｐ（ｃ）Log ｐ（ｃ） ｐ（ｃ）: カテゴリｃに分類されるデータの割合 ＩＤ３(J.R.Quinlan, 1979) エキスパートシステムの知識獲得部で利用 決定木(decision tree)の学習 1. 例題の集合を、予め定められた幾つかの属性 に対する属性値の集合としてクラスに分類して 入力 2. 分類結果が正例・負例いずれか一方のみしか 含まないように、ある評価基準に従って分類 3. それぞれのクラスを定義する記述を決定木の 形式で出力 ・評価基準：情報量の期待値～最も多くの情報量を 減少させる属性を優先して選択 16 ＩＤ３の具体例 「鳥類」の学習 正負のみならず，複数のクラスを 同時指定した取り扱いが可能 17 概念クラスタリング 観測された事実を含意し背景知識と整合す る仮説を生成 ～ 予め定義された概念記述用言語を用 いて観測の一般化された記述を作成 例）中古車情報を特徴付ける概念の生成 属性：年式，排気量，色，走行距離，車検残り月数，価格 18 演繹的学習 獲得済みの既存の知識を組み合わせ、演繹 推論により導くことにより、より利用効率の 高い知識を生成 ルーツ：STRIPS （Stanford Univ. 1971: ロボットの行動計画立案） 19 説明に基づく一般化(T.M.Mitchel,1986) 与えられる一つの事例が学習しようとする概念の 実例になっていることを論理的に説明し，予め与 えた概念定義に用いられている記述要素より優 れた記述要素によって概念を再定義する 入力： ・目標概念： 学習すべき概念の定義～機能的記述 ・訓練例： 目標概念を満たす単一の例題 ・領域理論： 問題領域で成立する背景知識 ・操作性規範： 学習の結果得られる記述が 満足すべき条件 学習過程： ・説明 (explanation) ・一般化 (generalization) 20 説明に基づく一般化の例（入力） 事物cup(obj-1)より一般的なcup(obj)の記述獲得 ・目標概念 cup(x) ← liftable(x), stable(x), open-vessel(x) ・訓練例 part-of(obj-1, handle-1), is(obj-1, light), is(obj-1, color, red) ・領域理論 is(x,light), part-of(x,y), isa(y,handle) → liftable(x) part-of(x,y), isa(y,bottom),is(y,flat) → stable(x) part-of(x,y), isa(y,concavity), is(y,upward-pointing) → open-vessel(x) ・操作性規範 概念定義は訓練例を構造的要素で記述すること ～ 例えばliftableでなくlight, handle,flatなどで記述 21 学習の遂行 ・is(obj,light), part-of(obj,hndl-1), isa(hndl-1,handle) → liftable(obj) ・part-of(obj,btm-1), isa(btm-1,bottom),is(btm-1,flat) → stable(obj) ・ part-of(obj,concavity), isa(cncv-1,concavity), isa(upw1,upward-pointing) → open-vessel(obj) 学習結果 ・is(obj,light), part-of(obj, hndl-1), isa(hndl-1,handle), part-of(obj, btm-1), isa(btm-1, bottom), is(btm-1,flat), part-of(obj, concavity), isa(cmcv-1, comcavity), isa(upw-1, upward-pointing) → cup(obj) 22 類推学習 問題解決の対象である状況において、知識 が不足しているなどの理由により直接推論 結果が得られない場合に、類似した他の 状況を利用し両者の類似性を見出すこと により（類推）、新たな結論を導出 23 類推学習の具体例(T.G.Evans, 1968) A→Ｂ Ｃ→？ 24 知識獲得と学習 エキスパートシステムの知識ベース構成のため、 ・問題解決のための知識を専門家から抽出 ・推論に適した形式に変換 ・知識の修正・追加の際の整合性チェック、冗長性 除去 知識獲得ボトルネック 対話型知識獲得支援システム インタビューエキスパートシステム 25 知識獲得支援ツールと開発過程の関連 26 知識抽出ツール 知識が無い状態からの知識収集・獲得を支援 （未だ少数） - COLAB: 知的な電子白板として開発 少人数で行われる会議を 生産的、協調的にガイドするグループウェアツール - CONSIST: ＫＪ法（ボトムアップな知識整理法）に“関係の階層”という 概念を導入し、適切な抽象度や視点の模索を支援 - EPSILON: 専門家の問題解決過程を整理し、利用者とのインタ ビューをサポート 27 強化学習 未知の環境におかれた知的エージェントが環境と の相互作用を通して，目標達成のための適切な 行動規則を学習 エージェントは環境の状態遷移確率 Pa(s,s') や 報酬の与えられ方 Ra(s,s') についての知識を予 め持たない エージェントは環境との試行錯誤的な相互作用 を繰り返して，最適な政策を学習する． 28 強化学習（Ｑ学習）のアルゴリズム 29 最大のＱ値を持つ行動が最適な戦略 Ｑ学習 Q学習： 状態ｓ, 行動a, 行動価値関数Q(s,a),行動の集合A Q(st,at)←(1-α）Qt(st,at)+α(r(st,at)+ γmax Qt(st+1,a)) a α: 学習率～[0.0, 1.0] γ：減衰率～[0.0,1.0] ：現在の行動の将来への影響 r(s,a): 報酬関数 Ｑ(s,a)： 状態sで行動aを選択し,以降ずっと最適 戦略をとり続ける時の報酬の期待値 30 31 強化学習の例 ロボカップ（サッカー）におけるシュート行動の学習（阪大・浅 田ら） 32
© Copyright 2024 ExpyDoc
