A Regularization Approach to Learning Task Relationships in M ltit k L Multitask Learning i 担当 白井(Oct. 19, 2015) 白井(Oct 19 2015) 1 Introduction 1.Introduction • タスク間の関連を考慮したマルチタスク学習 ‐タスク:y=ax+b ‐タスク間の関連 タスク間の関連 ‐ネガティブな相関・ポジティブな相関・無関係 • 正則化アプローチに基づくMultitask Relationship Learning(MTRL)を提案 ‐モデルパラメータの事前分布に行列変量正規分布を使用 モデル ラメ タの事前分布に行列変量正規分布を使用 ‐凸状の目的関数・最適化・カーネル拡張 ‐Multidomain Sentiment Application ‐Examination Score Prediction マルチタスク学習 • タスクの学習過程 ‐人の顔を認識→他の物体を認識 ‐あるタスクから学習された情報が他のタスクの学習に役立つ ‐コーヒーと紅茶の評判分析でまとめて分析すると精度が向上 ‐新たなタスクの分析に事前のタスクの情報を使用 • マルチタスク学習の課題 ‐正確なタスク間の関係の学習 ‐何のタスク関係か ‐タスク間の関係をどうやって得るか（仮定 or 自動化） タスク間の関係 • ポジティブな関係 ‐似たタスクは似たモデルパラメータを所有 • ネガティブな関係 ‐モデルパラメータの検索区間の削減に有効 デ • 無関係(外れ値タスク) ‐性能の悪化を防止 マルチタスク学習の設定 • Symmetric setting S ti tti ‐すべてのタスクの性能を同時に改善 • Asymmetric setting ‐情報源となるタスクから対象のタスクの性能を改善 ‐情報源となるタスクはSymmetric Settingにより学習 ‐transfer learningでは情報源タスクを独立に学習 関連研究 • タスク間の関連を捉える様々な研究が存在 ‐ローカルアプローチ ‐グローバルアプローチ グ バ プ チ • Multilayered feedforward neural networks Multilayered feedforward neural networks ‐負の相関を非考慮・外れ値タスクに頑強ではない • Multitask learning method based on GP ‐タスク共分散行列の形でモデル化とタスク関係を学習 ‐非凸最適化問題が発生 ‐GPの計算時間の問題 MTRL • タスク間の３種類の関係を学習可能 ‐モデルのパラメータの事前分布に行列変量正規分布を使用 ‐凸状の目的関数 凸状 目的関数 ‐パラメータの制約(共分散、非負定置、Ωij > Ωpq) • 目的関数(正規分布・行列変量正規分布と制約下のパラメータ推定) • 最適化(Semidefinite programmingに対する効率的なアルゴリズム) • カーネル拡張(非線形への拡張) 行列変量正規分布 • 正規分布 • 多変量正規分布 • 行列変量正規分布 P ( X) N ( X; u , ) P ( X) N ( X; u, Σ) P ( X) N ( X; M , A B) M:平均, A: 行の共分散行列, B列の共分散行列 • クロネッカー積による性質 P (vec( X)) N (vec( X); vec(M ), A B) • 多変量正規分布は1つの共分散行列 • 行列変量正規分布では特徴の共分散行列、タスクの共分散行列を持ち個々に表現可能 Multitask Relationship Learning Multitask Relationship Learning Wは行列変数 行列変量正規分布 • Ｉdは行の共分散行列（feature間の関係） • Ωは列の共分散行列（task間の関係） 確率密度 Wの事後分布 WはMAP推定、b,Ωは最尤推定 パラメータ推定 Ωは事前情報による制約を付与可能 は事前情報による制約を付与可能 Ωij > Ωpq • New Taskへの対応 • Multitask Kernelを用いることで非線形に拡張 4 Experiments 4. Experiments • STL, MTFL, MTGPと比較 と比較 • Toy Problem • Robot Inverse Dynamics • Multidomain Sentiment Application • Examination Score Prediction • Experiments on One Variant Based on Matrix‐Variate t Distribution • Experiments on Asymmetric Multitask Learning 4 3 Multidomain Sentiment Application 4.3 Multidomain Sentiment Application • Books,DVD,electronics,kitchen B k DVD l i ki h appliancesのレビュー li のレビ ‐positive,negativeに分類 • 提案手法のエラー率が最も低い タスクの相関 エラー率 4 6 Experiments on Asymmetric Multitask Learning 4.6 Experiments on Asymmetric Multitask Learning
© Copyright 2024 ExpyDoc
![防災士パンフレット[PDF 188KB]](http://s1.expydoc.com/store/data/005926544_1-bd0b3429d73dc654f8f86c9a70b1cf51-250x500.png)
