極大ﾉｲｽﾞを除去する情報量最小化
学習ｱﾙｺﾞﾘｽﾞﾑ
塩谷浩之
室蘭工業大学 工学部 情報工学科
WINGS研究会
推定・学習におけるノイズ
１．ガウスノイズと最小自乗法
システムと観測ノイズ
２．ノイズ混入確率モデル
確率モデル上でのノイズ混合
３．EDαを用いた極大ノイズ除去
α-divergence からの発展
WINGS研究会
観測データへのノイズ混入
入力 X
出
力
シ
ス
テ
ム
Y
f( )
？
観測 ノイズδ
WINGS研究会
Y = f (X)+δ
ガウスノイズ
データ出現頻度
入力 X
シ
ス
テ
ム
出
力
Y
f(θ)
分散
観測 ノイズδ
Y*
y  f ( x; )    * ,Var 
θ*：真値
入力X
WINGS研究会
ガウスノイズ
ノイズ混入モデル y  f ( x; )  
入出力事例
D

*

 ,Var 

*
x
,
y
i i
i 1 N
2
1
 1
入出力確率モデル p f ,  y | x   exp   y  f  x,   
C
 2

確率密度 ～ノイズが影響を与える度合い
WINGS研究会
ガウスノイズ
最尤法
L  P, D 
DN 


*
x
,
y
i i
i 1 N
 zi*
i 1 N
log Pr  D   log P ( z ,
*
1
 log  P  zi
N
i 1
*
, zN )
   log P  y
N
*
i 1

i
*
2
1 N 1 *
 N log    yi  f ( xi ,  ) 
C i 1 2
WINGS研究会

, xi 
学習規準と結果
学習基準
arg max L( P, D)
 Θ
Θ  Rm
 arg min   yi  f ( xi ,  ) 
N
*
 Θ
Θ R
m
i 1
 D = arg min   yi  f ( xi ,  ) 
N
^
期待される学習結果
2
*
N
 Θ
Θ  Rm
WINGS研究会
i 1
2
ノイズ混入確率モデル
ノイズ混入確率モデル
Pt , f ,  y, x   1  t  Pf , *  y, x   t Pf ,   y, x 
where Pf , *  y, x  Q  x  Pf , *  y | x 
Xに対する真のシステム出力 :
f  x,  * 
Xに対するノイズ値
:
f  x,  
ノイズデータの割合
:
t
WINGS研究会
混合モデルにおける学習
最尤法と分布間情報量
ノイズ混入データ ：
Pft ,, )
DN (
 =arg max L  Pf , , D N 
^
 Θ

arg min DKL Pf, * | Pf ,
 Θ

分布間情報量 ： D  p | q 
KL
WINGS研究会
勾配法による学習
アルゴリズム

X
p  x
p  x  log
dx
q  x
学習手続き


DKL




DKL Pf, * | Pf , k




Pf , * | Pf , k  1  t 
DKL Pf , * | Pf , k  t
DKL Pf , | Pf , k


 k 1   k  




P |  
P *
P k
Pˆ
P 
WINGS研究会

極大ノイズの影響
*
f (x |  )
f ( x |  z )
f ( x |   )  lim f ( x |  z )

z 
DKL Pf , * | Pf ,
z
 P
f , *
 Pf ,
推定値と
θ*との差
z
θ*
WINGS研究会
δz
EＤαの導入
α-divergence ：


1
1

D  P | Q  :
1   P  x  Q  x  dx 
 1     X

ED  P | Q 
1

1

P
x
P
x

P
x
Q






 x  dx


 (1   ) X
P, Q  G,  [0,1]
[系]
ただし，Gは，Var=1のガウス密度の全体
lim ED  P | Q   DKL  P | Q 
 0
塩谷，伊達 : α-ダイバージェンスを利用した一般化された2乗誤差最小学習
信学論 (DII) Vol. J84-DII, No.12, pp. 2690-2695, 2001
WINGS研究会
EＤαによる極大ﾉｲｽﾞ除去
塩谷，伊達 : α-ダイバージェンスを利用した一般化された2乗誤差最小学習
信学論 (DII) Vol. J84-DII, No.12, pp. 2690-2695, 2001
WINGS研究会
NNを用いた例題
WINGS研究会
NNを用いた例題
極大ﾉｲｽﾞ除去
WINGS研究会
参考
[1] Beran. R. : An efficent and robust adaptive estimator of location,
Ann. Statist. 5, pp.292-313, 1978.
[2] Jureckova, J., Sen, P. K. : Robust Statistical Procedures Asymptotic
and Interrelations, Wiley Inter Science,1995.
[3] 塩谷，伊達 : α-ダイバージェンスを利用した一般化された2乗誤差最小学習
信学論 (DII) Vol. J84-DII, No.12, pp. 2690-2695, 2001.
[4] 内田，塩谷 : 不定性を用いた分布間情報量の拡張形式に関する検討,
信学論, A(基礎・境界) No. 4, 2004.
WINGS研究会

電気電子工学序論 第3回(情報）

ポッツスピン型隠れ変数による 画像領域分割