x - 統計数理研究所学術研究リポジトリ[RISM]

2015年6月19日統計数理研究所オープンハウス
カーネル法によるノンパラメトリックなベイズ推論とその応用
福水健次
数理・推論研究系教授／統計的機械学習研究センター長
■カーネル法による粒子フィルタ
■ カーネル法
観測モデルの密度関数（尤度）が書けない場合の粒子フィルタ
サンプリングは可能とする．
正定値カーネルを用いた，データの非線形性，高次モーメントを
取り込むための新しい方法論．効率的な計算を重視．
例） a-stable Stochstic Volatility model
𝑥𝑡 = 𝜙𝑥𝑡−1 + 𝑣𝑡 ,
𝑣𝑡 ∼ 𝑁(0, 𝜎𝑠2 )
𝑦𝑡 = 𝑒 𝑥𝑡 /2 𝑤𝑡 ,
𝑤𝑡 ∼ 𝑆(𝛼, 0, 𝜎𝑜 )
 定義：正定値カーネル Ω ：集合．k : W  W  R が正定値であると
は，𝑘 が対称で任意の n  N, x1 , xn  W に対し，
グラム行列
 k ( x1 , x1 )  k ( x1 , xn ) 







 k(x , x )  k(x , x )
n
1
n
n 

例：ガウスカーネル
𝑦1 , … , 𝑦𝑡 ：観測系列
• 事後確率𝑝 𝑋𝑡 𝑦1 … , 𝑦𝑡 のパーティクル表現：
が半正定値．
exp −||𝑥 − 𝑦||2 /(2𝜎 2 )
1
𝑁
 再生核ヒルベルト空間（RKHS）
•
•
•
正定値カーネルに対しヒルベルト空間が一意に定まる．
Ω 上の関数からなる関数空間．一般に無限次元．
特殊な内積を持つ．
k ( , x), f
 f ( x) f  H , x  W. （再生性）
W
•
H
Φ 𝑥𝑖
Φ 𝑥𝑗
特徴空間（関数空間)
•
x  F ( x ) : k (  , x ).
•
■ カーネル平均による分布の表現
 カーネル平均：特徴ベクトル Φ(𝑋) の期待値
𝑚𝑃 = 𝐸𝑋~𝑃 Φ 𝑋 = ∫ 𝑘 ⋅, 𝑥 𝑑𝑃(𝑥)
𝑁
一様重み
𝑝 𝑋𝑡 𝑦1 , … , 𝑦𝑡
1
𝑁
𝑡
𝑁
𝑗=1 𝑘(⋅, 𝑍𝑗 )
𝑝 𝑋𝑡+1 𝑦1 , … , 𝑦𝑡
𝑝 𝑋𝑡+1 𝑦1 , … , 𝑦𝑡+1
1
𝑁
𝑡+1
𝑁
𝑘
𝑗=1 𝑤𝑗
𝑡+1
𝑁
)
𝑗=1 𝑘(⋅, 𝑋𝑗
Sampling 𝑝(𝑋𝑡+1 |𝑋𝑡 )
𝑍𝑗𝑡
1
𝑁
⋅, 𝑋𝑗𝑡+1
Resampling
Conditional kernel mean
Kernel herding
𝑋𝑗𝑡+1
𝑋𝑗𝑡+1
𝑡+1
𝑁
)
𝑗=1 𝑘(⋅, 𝑍𝑗
𝑍𝑗𝑡+1
Sampling
𝑞(𝑌𝑡+1 |𝑋𝑡+1 )
 特性的なカーネル
𝑌𝑗𝑡+1
𝑚𝑃 により 𝑃 を一意に決める（例：ガウスカーネル）
Positive weight
Negative weight
 カーネル平均によるノンパラメトリック推論
𝑦𝑡+1
原理：特性的なカーネルを用いると，
分布に関する推論  カーネル平均に関する推論
２標本問題 𝑚𝑋 = 𝑚𝑌 ? (Gretton et al. NIPS’06),
独立性検定 𝑚(𝑋,𝑌) = 𝑚𝑋 ⊗ 𝑚𝑌 ? (Gretton et al. NIPS’07)
 重み付サンプルによる推論
サンプルによる表現
SV （𝛼 = 1.5）
 多変量Stochastic Vloatility
model への応用
𝛼 = 1.5, 2.0 (Gauss)
ABC filter (Calvet&Czeller 2014),
標準的 Seq. MC (SIR) との比較
SV （𝛼 = 1.5）
𝑁
𝑚𝑋 =
𝑝 𝑋𝑡+1 𝑦1 , … , 𝑦𝑡+1
Correction
Prediction
𝑃 の積分変換
例：
𝑋𝑖𝑡+1
• Resampling step: Kernel herding による「リサンプリング」
1 𝑁
𝑡+1
𝑡+1
𝑡+1
𝑁
𝑤
Φ
𝑋
⇒
Φ
𝑍
で近似
𝑖=1 𝑖
𝑖=1
𝑖
𝑖
Φ 𝑥 , Φ(𝑦) = 𝑘 ⋅, 𝑥 , 𝑘(⋅, 𝑦) = 𝑘 𝑥, 𝑦 .
特徴空間上で線形の解析手法を適用
（注：多くの手法は内積計算が本質的）
→ カーネルPCA，サポートベクターマシン etc
非線形カーネル  非線形／高次情報の抽出
𝑡+1
𝑁
𝑤
Φ
𝑖=1 𝑖
(𝑋𝑖 , 𝑤𝑖 )
カーネルトリック：容易な内積計算
•
（𝑖 = 1, … , 𝑁）
カーネル版
𝑋1 , … , 𝑋𝑁 ∼ 𝜋
𝑌1 , … , 𝑌𝑁 ∼ 𝑞(𝑦|𝑋𝑖 )
𝑤 = 𝐺𝑌 + 𝜆𝐼𝑁 −1 𝐤 𝑦𝑜
IW： 𝑤𝑖 = 𝑞(𝑦𝑜 |𝑋𝑖 )
特徴写像と特徴ベクトル
F : W  H,
𝑖=1
IW
𝑋1 , … , 𝑋𝑁 ∼ 𝑍𝜋
xｊ
データの空間
Φ 𝑍𝑖𝑡
• Correction step:
Importance weightingのカーネル化（線形演算）
𝜋: prior, 𝑞(𝑦|𝑥): likelihood ⇒ posterior ∝ 𝑞 𝑦𝑜 𝑥 𝜋(𝑥)
𝑦𝑜 ：観測値
 正定値カーネルとＲＫＨＳを用いたデータ解析
xi
𝑁
• Prediction step:
サンプリング 𝑋𝑖𝑡+1 ∼ 𝑝(𝑥𝑡+1 |𝑥𝑡 = 𝑍𝑖𝑡 )
𝑌𝑖𝑡+1 ∼ 𝑝(𝑦𝑡+1 |𝑥𝑡+1 = 𝑋𝑖𝑡+1 )
H
F
特徴写像
𝑥𝑡 : log volatility
𝑦𝑡 : return
𝑤𝑖 Φ 𝑋𝑖
𝑖=1
重み付サンプル 𝑋𝑖 , 𝑤𝑖 による表現とみなせる
重みは負も現れる．
SV （𝛼 =2.0, Gauss）

Download Report