パターン認識と機械学習２．４．1 最尤推定と十分統計量松本良太 ηの推定指数型分布族の一般系(2.194)のパラメータベクトルηを推定する。 ηについて（2.195)の両辺の勾配を求めると、 g ( η)  h ( x ) expη u( x )dx T  g ( η)  h ( x ) expηT u( x )u( x )dx　0 先ほどの式を変形し、再び(2.195)を適用 1  g ( η)  g ( η)  h( x ) expηT u( x )u( x )dx g ( η)  Ε[u( x )] すると、次の結果が得られる。   ln g ( η)  E[u( x )] なお、u(x)の共分散はｇ（η）の２次微分で表せる。独立に同分布に従うデータ集合 X＝｛ｘ１,….,xN}を考える。この集合に対する尤度関数は、 N    N  N T p( X | η)    h( xn )  g ( η) expη  u( xn )   n 1   n 1  lnp(X|η)のηについての勾配を０とおくと、最尤推定量ηMLが満たすべき条件を得る。 1 N   ln g ( ηML )   u( xn ) N n 1 この式から、最尤推定の解は、データに n u( xn ) を通じてのみ依存することがわかる。よって、この量を分布の十分統計量という。このため、データ集合全部を保持する必要はなく、十分統計量だけ保持すればいい。例：ベルヌーイ分布…u(x)=x だから、｛ｘN｝の和ガウス分布…u(x)=(x,x^2)だから、｛ｘN｝と｛ｘN＾２｝の和 N→∞を考えると、ηMLの式の右辺は E[u(x)]となる。よって、この極限では、 ηMLはηの真の値に等しい。