Document

Overview of
Supervised Learning
近山・田浦研 M1
斎藤大
Supervised Learningとは？

入力から出力を予測したい
–
–


いくつかの入力⇒出力(= 訓練データ)が与えられる
新しい入力が与えられた時、出力はどうなる？
入力から出力を求めるモデルを立てて
訓練データからモデルを修正していく
例）スパムフィルタ
手書き文字認識
株価予測
Supervised Learningとは？
出力の分類
 数量 Quantitative
–
–

性質 Qualitative
–
–

Ex) 株価
数量を予測すること＝ “回帰”
Ex) spam or not
性質を予測すること＝ “分類”
（順序付性質：Low, Mid, High）
例：スパムフィルタ

訓練：メール本文中の特定単語の出現確率
george
you
your
hp
spam
0.00
2.26
1.38
0.02
email
1.27
1.27
0.44
0.90

出力：スパムかどうかの判断
If (%george < 0.6) & (%you > 1.5) then spam
If (0.2×%your – 0.3×%hp) > 0 then spam
例：手書き文字認識



様々な人が書いた数字から
共通の特徴を見つける
訓練：16×16 pixel
256grayscaleのデータ
＋それがどの数字を表すか
出力：どの数字か？
–
“どの数字にも属さない”の回答もあり得る
→分類ミスを減らす
発表の流れ
1.
2.
Supervised Learningの概要
基礎的な手法
–
–
3.
4.
5.
6.
最小二乗法
k-nearest neighbor
高次元問題
一般的な統計モデル
様々な手法
まとめ
最小二乗法



二乗誤差が最小となる直線を求める
線形モデルを想定（＝強い仮定）
特徴
–
–
–
ある程度不正確
柔軟でない
安定している
最小二乗法の数式表現

線形モデルを想定

二乗誤差：下の式を最小にする
を求める
機械学習への適用


訓練データから入力⇒出力直線を求める
入力データに対し
–
–


回帰：直線から出力値を求める
分類：直線のどちら側に
いるかで分類する
少ない訓練データでも適応
例：２次元平面で２値の分類
座標→色(Red or Green)
k-nearest neighbor



k個の近傍点から出力を予測する
“近傍”はユークリッド距離で測定
特徴
–
–
–
–
ある程度正確
柔軟
あまり安定しない
特定のモデルを定めず
k個の近傍を選ぶ
k=3
k-nearest neighborの数式表現


k個の近傍点の平均
はxのk個の近傍
 仮定１：出力は他の出力の平均で予測出来る

仮定２：ある点の出力は近隣の点に類似する
機械学習への適用


訓練データを入力空間に配置する
入力データに対し、そのk個の近傍点を集めて
–
–

数量の予測：出力を平均
性質の予測：出力を多数決
例：先と同じ例(k=15)
–
最小二乗法より良さそう
最適な近傍数k

例：1-nearest neighbor
–
–
訓練データの誤分類無し
これがいい分類？
訓練データ自体の
誤差も考える必要がある
 トレーニングの誤分類率
≠実際の誤分類率
⇒最適なkを求めるために二乗誤差が使えない

２つの手法の比較：偏りと分散

最小二乗法
–
–

訓練データが少ない場合
k-nearest neighbor
–
–

強い偏り
低い分散
弱い偏り
高い分散
訓練データが多い場合
どちらもデータを平均している点は同じ
k-nearest neighborの問題点


訓練データが十分存在する場合
→k-nearest neighborは一般に
様々な種類の問題に対し良い性能を示す
問題点
–
十分なサンプル数が無いケースでは不安定
近傍の探索
–
高次元での性能低下
–
高次元の問題

“curse of dimensionality”
–


あらゆる学習アルゴリズムに影響を及ぼす
「高次元では、あらゆるものが遠くに見える」
例：ユークリッド距離
次元が増えるほど、距離が増える
高次元の問題

p次元の
hypercubeで
全体のrだけの
断片が欲しい

hypercube全体の内10%を取得したい
→10次元では1辺が最大の長さの80％
高次元の問題

k-nearest neighborで近傍が遠くなる
–
–

多くのエラーを含む
他の近傍点を使う手法でも同様のことが言える
低次元の場合と同等の精度を得るためには
→訓練データ数もexponentialに増加
統計モデル

Supervised Learningの一般モデル構築
特に数量予測（＝回帰）の場合について
出力Y＝入力Xをある関数に通し誤差を加える

誤差

Xに依存しない
ex)測定誤差
統計モデル

訓練中
を計測しを修正

訓練完了時
–
–

理想は全てのに対し
として実際ありえそうなものを一通り選んでいる
として適切なモデル（関数）を仮定し
Supervised Learningを関数近似として扱う
関数近似


関数近似にはいくつかパラメータが存在し
一般にで表す（線形モデルでは
）
Linear basis expansion
は様々な関数(x, cos(x), x^2)

この関数を最小化する、単純な最小化問題へ
様々な手法




最尤推定
Roughness Penalty
Kernel Method
Basis function
最尤推定

最小二乗法よりも広い範囲に適用できる
観測データの出現確率から関数を推定する

この式を最大化するようにθを定める

Roughness Penalty


によりRoughness Penaltyを与える
Cubic smoothing spline
–
–
Penaltyはつかない
線形モデルしか認めない
Kernel Method



高次元空間へ写像し、データを扱いやすくする
カーネル関数
ガウスカーネル
ユークリッド距離から類似度を求める

Basis function

線形関数、多項式を組み合わせる

Neural Network
–
ただし
まとめ

Supervised Learningとは
–
–


最小二乗法
k-nearest neighbor
–


訓練データを用いて、モデルを推測する
モデルの構築に様々な手法
高次元の問題
モデルの一般化
様々な手法の紹介

Download Report