第７章マルコフモデル XIAO LIYING 7.1 マルコフ性とマルコフモデル • サイコロは𝑤1 , 𝑤2 , … , 𝑤𝑐 のc種あり、m種の目𝑣1 , 𝑣2 , … , 𝑣𝑚 を持つ。 • 𝑥𝑡 ∈ 𝑣1 , 𝑣2 , … , 𝑣𝑚 𝑠𝑡 ∈ 𝑤1 , 𝑤2 , … , 𝑤𝑚 𝑡 = 1,2, … , 𝑛 • 𝑎 𝑤𝑖 , 𝑤𝑗 = 𝑃 𝑠𝑡 = 𝑤𝑗 𝑠𝑡−1 = 𝑤𝑖 (i,j=1,2,…,c) 𝑎𝑖𝑗 = 𝑎 𝑤𝑖 , 𝑤𝑗 𝑐 𝑗=1 𝑎𝑖𝑗 =1 (i=1,2,…,c) 𝒃 𝒔𝒕 , 𝒙𝒕 t回目にサイコロstを投げてxtが観測される確率 • 𝑏 𝑤𝑗 , 𝑣𝑘 = 𝑃 𝑥𝑡 = 𝑣𝑘 𝑠𝑡 = 𝑤𝑗 = 𝑏𝑗𝑘  𝑚 𝑘=1 𝑏𝑗𝑘 =1 (j=1,2,…,c) マルコフモデル (j=1,2,…,c) (k=1,2,…,m) 7.1 マルコフ性とマルコフモデル 𝑃 𝑥𝑠 = 𝑃 𝑥1 𝑥2 … 𝑥𝑛 𝑠1 𝑠2 … 𝑠𝑛 = 𝑃 𝑥1 𝑠1 𝑃 𝑥2 𝑠2 … 𝑃 𝑥𝑛 𝑠𝑛 独立性が成り立つ 7.1 マルコフ性とマルコフモデル • 𝑎𝑖𝑗 及び𝑏𝑗𝑘 は、それぞれ行列A,Bとして表記できる.以下３種(c=3)のサイコロ𝑤1 , 𝑤2 , 𝑤3 を投げて出た目を観測する場合を例にとって説明する。ここではサイコロの目として奇数(𝑣1 )と偶数(𝑣2 )の2種(m=2)を考える。 0.8 0.2 0.1 0.4 0.5 • A= 0.2 0.1 0.7 B= 0.6 0.4 0.3 0.7 0.3 0.1 0.6 • 𝑎𝑖𝑗 を反映した状態遷移系列が得られる。 7.2 マルコフモデルのパラメータ推定 • 例題7.1 箱の中にc種のサイコロw1,w2,…wcがあり、その何れかを取り出し、サイコロの種類を確認した上でそのサイコロを投げ、出た目を観測した後、サイコロを元の箱に戻すと言う操作をｎ回繰り返す、ここで１最初にサイコロwiを取り出す確率は𝜌𝑖である２サイコロwiを取り出した後にサイコロwjを取り出す確率はaijである。３サイコロwjを投げて出た目が𝑣𝑘 となる確率𝑏𝑗𝑘 であるとする。ただし、i,j=1,2,…,c, k=1,2,…,mである。その結果、サイコロの目の系列としてx=x1x2…xt…xnが得られ、サイコロの種類の系列としてs=s1s2…st…sn が得られた。この時、観測結果からA,B,𝜌を最尤推定により推定せよ。本例題で示されるような結果が得られる確率P(x,s)は、  P(x,s)=P(s)P(x|s)  P(x|s)= 𝑃 𝑥1 𝑥2 … 𝑥𝑛 𝑠1 𝑠2 … 𝑠𝑛 = 𝑃 𝑥1 𝑠1 𝑃 𝑥2 𝑠2 … 𝑃 𝑥𝑛 𝑠𝑛 b(𝑠𝑡 ,𝑥𝑡 )=𝑃(𝑥𝑡 |𝑠𝑡 ) (t=1,2,…,n) 𝑃 𝑥 𝑠 = 𝑛𝑡=1 𝑏(𝑠𝑡 , 𝑥𝑡 )  𝑃 𝑠 = 𝑃 𝑠1 𝑠2 … 𝑠𝑛 = 𝑛𝑡=1 𝑎 𝑠𝑡−1 , 𝑠𝑡 𝑃 𝑥, 𝑠 = 𝑛𝑡=1 𝑎 𝑠𝑡−1 , 𝑠𝑡 𝑏(𝑠𝑡 , 𝑥𝑡 ) 7.2 マルコフモデルのパラメータ推定 • 本例題を解くには最尤推定に従い、logP(x,s)を最大にするパラメータA,B,𝜌を求めれば良い。 • log 𝑃(𝑥, 𝑠) = 𝑛 log 𝑃 𝑠1 + 𝑛−1 log 𝑎(𝑠 , 𝑠 ) + 𝑡 𝑡+1 𝑡=1 𝑡=1 log 𝑏(𝑠𝑡 , 𝑥𝑡 ) =𝐿𝜌 + 𝐿𝑎 +𝐿𝑏 LogP(x,s)を最大化するには𝐿𝜌 , 𝐿𝑎 , 𝐿𝑏 を、これらのパラメータに関してそれぞれ独立に最大化すればよい。 7.2 マルコフモデルのパラメータ推定 • 「１」 𝐿𝑎 の最大化 • 𝑚𝑖𝑗 サイコロwi,wjと連続して取り出した回数 • 𝐿𝑎 = 𝑐 𝑖=1 𝑛−1 𝑡=1 log 𝑎(𝑠𝑡 , 𝑠𝑡+1 ) = 𝑐 𝑗=1 𝑚𝑖𝑗 log 𝑎𝑖𝑗 最大にすればよい 𝑐 𝑗=1 𝑎𝑖𝑗 𝑐 𝑗=1 𝑚𝑖𝑗 • 𝑚𝑖𝑗 𝑛𝑖 =1 定理５．１依り 𝑎𝑖𝑗 = = 𝑛𝑖 𝑚𝑖𝑗 𝑐 ℎ=1 𝑚𝑖ℎ (niはサイコロwiを取り出した回数) = 7.2 マルコフモデルのパラメータ推定 • 「𝐿𝑏 」の最大化 • サイコロwjを投げ手出た目がvkであった回数を𝑛𝑗𝑘 とする • 𝐿𝑏 = 𝑐 𝑚 𝑛 log 𝑏(𝑠 , 𝑥 ) = ( 𝑡 𝑡 𝑡=1 𝑘=1 𝑛𝑗𝑘 𝑗=1 𝑛𝑗𝑘 𝑛𝑗𝑘 • 𝑏𝑗𝑘 = 𝑚 𝑛 𝑡=1 𝑗𝑙 = 𝑛𝑗 log 𝑏𝑗𝑘 ) 7.2 マルコフモデルのパラメータ推定 • 「𝐿𝜌 」の最大化 • 𝐿𝜌 =logP(𝑠1 = 𝑤𝑖 )=log𝜌𝑖 𝜌𝑖 = 1 • 𝜌𝑗 = 0