VB_for_FIRM

VB for Frequency-based
Infinite Relational Model
中川研究室
藤田稔
1
参考文献


Kurihara K., Kameya Y. and Sato T. :
Discovering Concepts from Word Cooccurrences with a Relation Model,
人工知能学会論文誌, 2007.
Kemp C., Tenenbaum J. B., Griffiths T. L.,
Yamada T. and Ueda N. : Learning
systems of concepts with an infinite
relational model, Proc. 21st AAAI, 2006.
2
outline





Infinite Relational Model (IRM)
Frequency-based Infinite Relational
Model (FIRM)
Inference based on Gibbs Sampling
Inference based on Variational DP
experiments
3
Infinite Relational Model
0,1の行列が、ブロックごとに独立に潜在変数に
より決定されているモデル。ブロックの分け方は
DP(CRP)に従うため、クラスタ数は可変。
4
Hidden Variables
0.01
0.99
Beta(β,β)
η
Bernoulli(η)
5
Likelihood
属するブロックのηに近い値ほど、大
きくなる。
6
Frequency-based Infinite
Relational Model
非負整数からなる行列が、ブロックごとに独立
に潜在変数により決定されているモデル。
7
Hidden Variables
0.01
0.99
Beta(β,β)
η
Bernoulli(η)
8
Likelihood
行ごと、列ごとに、重みを変化
させている。ηが1に近いところ
でuが高くなっていると、尤度は
大きくなる。
※IRM
9
Inference based on Gibbs
Sampling



事後確率を最大化させるクラスタ分割
(z^R,z^C)を、Gibbs samplingにより見つ
ける。
最大値を見つけたいので、Hill Climbingで
十分。
Gibbs samplingの対象を狭めることで効
率を高める手法がある。(split-merge)
10
Inference based on
Variational DP


事後確率を最大化させるクラスタ分割
(z^R,z^C)を、変分EMにより見つける。
Gibbs samplingよりも精度は悪いが、高速
に求めることができる。
11
preparation(row only)
DPの
stickbreaking
12
factorization
を最大化
各qは積分すると1、という制約のもとで、ラグランジュの未定
13
乗数法を適用して、最適なqを求めることができる。
algorithm
1.
2.
行列D,ハイパーパラメータ
α,β,γ,T^R,T^Cと初期値
q(Z^R),q(Z^C)を決める。
F(q)が収束するまで、次を繰り返す。
1.
2.
3.
q(v^R),q(v^C),q(η),q(u^R),q(u^C)を更
新する。
q(Z^R),q(Z^C)を更新する。
q(Z^R)とq(Z^C)を出力する。
14
approximate posterior q(v)
15
approximate posterior q(η)
16
approximate posterior q(u)
この値は、初期値のみで決まっている
ので、q(u)は更新されない。
17
approximate posterior q(z_a^A)
ψはダイガンマ関数。
18
experiments



毎日新聞8年分をCaboChaで解析し、
[形容詞→名詞]の組を210,605個抽出。
1291×3705の共起行列を作成し、これに
対し、IRM_VBとFIRM_VBを行う。
精度測定の指標として、Semantic
Aggregate Modelを使用する。
19
20
21
result (purity)
各ブロック
での、それ
をcoverし
ている
SAMクラス
タの頻度
の割合。
iは上位i個
という意味
らしい。
22
result (coverage)
各ブロック内
の頻度を、
SAMのクラス
タに照らし合
わせて、合計
頻度が一番大
きいSAMのク
ラスタが、その
ブロックを
coverする。
SAM:50個
IRM:43個
FIRM:50個
23
conclusion



FIRM_VBは、IRM_VBより良い。
実行時間は5分程度(MATLAB,Opteron
254)
精度測定の仕方が怪しいのでそれ以外の
アルゴリズムと比較してどれほどいいのか
は謎。
24

Download Report