九州大学工学部地球環境工学科船舶海洋システム工学コースシステム設計工学（担当：木村）「検定と最ユウ推定」 2006.05.25 木曜1限（8：40～10：10) 集中講義のため時間変更場所：船１講義室【演習問題】 2006.05.18 学籍番号氏名同一な正規分布の独立な試行で得られた n 個のデータ x1 , x2, L , xn , L について、データ数 n =２のとき、もとの正規分布の期待値と分散を信頼係数９０％で区間推定せよ。データ数 n =２のとき、自由度１ t分布表より、自由度 1 のｔが -6.314 と +6.314 の間の値をとる確率は 90％つまり ⎧ 2 χ カイ２乗分布表より、自由度 1 のが ⎫ x−μ ⎪ ⎪ Pr ⎨− 6.314 < < 6.314⎬ = 0.9 σˆ ⎪ ⎪ 2 ⎭ ⎩ σˆ σˆ ⎫ ⎧ Pr ⎨ x − 6.314 < μ < x + 6.314 ⎬ = 0.9 2 2⎭ ⎩ 0.003 と 3.84 の間の値をとる確率は 90％つまり ⎧ ⎫ (n − 1)σˆ 2 Pr ⎨0.003 < < 3 . 84 ⎬ = 0.9 2 σ ⎩ ⎭ Pr 0.003 σ 2 < σˆ 2 < 3.84 σ 2 = 0.9 { 期待値の信頼区間 } ⎧ σˆ 2 σˆ 2 ⎫ 2 Pr ⎨ <σ < ⎬ = 0.9 0.003 ⎭ ⎩ 3.84 分散の信頼区間標本から母数に関する情報を得る（復習）同一な正規分布の独立な試行で得られた n 個のデータ x + x 2 + L + xn 平均値 x = 1 n 統計量 t = x1 , x2, L , xn , L について、 1 n ( xi − x ) 2 を計算すると分散の推定値 σˆ = ∑ n − 1 i =1 2 x−μ が自由度 n-1 のｔ分布になる σˆ n ことを利用することで、データ数 n に対して n-１であることに注意未知母数μについて区間推定 2 ˆ − x x ( 1 ) n − σ ⎛ ⎞ χ 2 = ∑⎜ i ⎟ = 2 σ σ ⎝ ⎠ i =1 n 2 は自由度 n-1 のカイ２乗分布であることを利用することで、未知母数 σ 2 について区間推定これらの知見を利用して統計的検定を行う t 分布表自由度（Degree of freedom） (n-1) 検定（統計的検定：statistical test）とは？ある標本を調査した結果から、全体の様子についてある仮説を立てた時、この仮説がどの程度信頼できるかを調べること。例１）２種類のダイレクトメールＡ、Ｂを用いて注文をとるとき、ＡとＢの効果には差があるか？【仮説】ＡとＢの効果に差が無い → ＡとＢの標本分布の期待値は同じ【仮説】ＡはＢよりも５％ほど効果が上である → Ａの標本分布の期待値はＢの標本分布の期待値より５％大きい例２）２種類の機械ＡおよびＢによって、ある決まった長さの製品を生産するとき、機械ＡとＢとの間で、製品の長さのばらつき具合に差があるか？【仮説】ＡとＢでは、ばらつきに差が無い → 標本分布の分散がＡとＢで同じこれら仮説が正しいかどうかを確率で定量的に表す平均値の検定ｔ検定母集団が正規分布に従うとき【仮説】母集団の平均値はμ ← この仮説を検定する正規分布 N ( μ , σ 2 ) に従う母集団から n 個の標本 x1 , x2, L , xn を得るとき、 1 n 2 母集団の分散 σ が未知のためその推定値として σˆ = を用いる場合、 ( x − x ) ∑ i n − 1 i =1 x−μ x + x 2 + L + xn 統計量 t = ˆ は自由度 n-1 のｔ分布に従うただし平均値 x = 1 σ n n 2 実際に得られた標本からｔを計算した結果、その値が棄却域にある場合、仮説が正しければほとんどあり得ないことが起こったことになるよって仮説を棄却する 2 実際に得られた標本と仮説からｔを計算した結果、その値がこの採択域にあれば有意水準αで仮説が採択される。２つの母集団間での平均値の差の検定２つの母集団がそれぞれ正規分布に従うとき（ただし分散は同じ）【仮説】母集団の平均値の差は０ ← この仮説を検定する２つの母集団がそれぞれ期待値 μ1 , μ 2 それぞれの母集団から n1 個の標本 2 2 2 分散 σ の正規分布 N ( μ1 , σ ), N ( μ 2 , σ ) に従い、 x1 , x2, L , xn1 および n2 個の標本 x1 , x2, L , xn2 を得るとき、母集団の分散 σ が未知のためその推定値として 2 (n1 − 1)σˆ1 + (n2 − 1)σˆ 2 ˆ σ = n1 − n2 − 2 2 2 統計量 t= 2 平均値の差を用いる場合、 x1 − x2 − ( μ1 − μ 2 ) 1 1 ˆ + σ n1 n2 は自由度 n1 + n2 − 2 のｔ分布に従う実際に得られた標本と仮説からｔを計算した結果、その値がこの採択域にあれば有意水準αで仮説が採択される。分散の検定母集団が正規分布に従うとき 2 σ 母集団の分散は 0 【仮説】正規分布 N ( μ , σ 母集団の分散統計量 σ 2 2 ← この仮説を検定する ) に従う母集団から n 個の標本 x1 , x2, L , xn 1 n 2 が未知のためその推定値として σˆ = を用いる場合、 ( x − x ) ∑ i 2 n − 1 i =1 2 n 2 ⎛ xi − x ⎞ (n − 1)σˆ χ = ∑⎜ ⎟ = 2 σ σ ⎝ ⎠ i =1 ただし平均値を得るとき、 2 x= x1 + x2 + L + xn n 実際に得られた標本と仮説からカイ２乗を計算した結果、その値が採択域にあれば有意水準αで仮説が採択される。は自由度 n-1 のカイ２乗分布に従う分布の適合度の検定カイ２乗分布の応用：「あてはまり」の検定観察された標本分布がある特定の分布に一致しているといえるかどうか？【仮説】標本分布が特定の分布に一致している → 度数分布が一致標本分布および仮説による分布が度数分布で表されているとする。 * それぞれの第ｋクラスの度数を f k および f k ただし k = 1, 2, L , m このとき、仮説が正しいならば統計量度数（人数） ( ⎛ f −f* χ 2 = ∑ ⎜ k *k ⎜ fk k =1 ⎝ m 度数分布の例体重 ) ⎞⎟ 2 ⎟ ⎠ は自由度 m-1 のカイ２乗分布に従う標本と仮説からカイ２乗を計算した結果、その値が採択域にあれば有意水準α で仮説が採択される。データが一致しないなら分子は大きくなりカイ２乗の値は大きくなるとする。確率モデルの推定（パラメトリック推定）真の確率モデル（母関数）例：正規分布環境 P( x) = N ( μ , σ 2 ) P(x) x 観測者は真のモデルが正規分布であることは知っている観測者母平均（期待値）および母分散などのパラメータは観測者にとって未知観測データ標本(sample) x1 , x2 , L , xn 標本を用いて、未知パラメータを推定する：推定値単一のパラメータ推定値を求める μˆ , σˆ → 点推定（最尤推定法など）未知パラメータが存在する区間を求める → 区間推定最尤推定法(maximum likelihood method)とは？ ˆ ( x) から観測データ x1 , x2 , L , xn 推定モデル P 生成される確率（尤度）が最大となるように推定パラメータ L(θ ) = Pˆ ( x1 ) Pˆ ( x2 ) L Pˆ ( xn ) が θ を決定するこの関数を最大化するパラメータを見つければ良いが、乗算なので解析しにくい対数をとる ln L(θ ) = ln Pˆ ( x1 ) + ln Pˆ ( x2 ) + L + ln Pˆ ( xn ) 対数尤度線形になっているので、解析しやすい尤度を最大化する θ と対数尤度を最大化する θ の値は同じになる対数尤度を最大化するパラメータθを探索するのが一般的例） Bernoulli分布の最尤推定真の確率分布モデル（母関数）：確率 p で x=1, 確率 1-p で x=0 となる分布 F(x) 母関数からの標本： x1=0, x2=1, x3=1, x4=0,…,xn=1 サンプルnコのうち、x=0 となる場合がk回このとき、未知パラメータpを最尤推定する対数尤度を計算すると、 ln L(θ ) = ln F ( x1 ) + ln F ( x2 ) + L ln F ( xn ) = k (ln(1 − p ) ) + (n − k )(ln( p ) ) ⎛ −1 ⎞ ∂ 1 ⎜ ⎟ + (n − k ) ln L(θ ) = k ⎜ ⎟ ∂p p ⎝1− p ⎠ ⎛ −1 ⎞ 1 ⎟⎟ + (n − k ) = 0 k ⎜⎜ p ⎝1− p ⎠ n−k p= n これを最大化するpを求めるためpで微分 ⎧ln(1 − p) where x = 0 ln F ( x) = ⎨ where x = 1 ⎩ ln(p) ⎧ −1 ⎪⎪1 − p where x = 0 ∂ ln F ( x) = ⎨ 1 ∂p ⎪ where x = 1 ⎪⎩ p 最大点では傾きゼロこれを解くと、 p=（x=1となる場合の数）／（全標本数）という常識的な式を得る例）マルコフ過程の最尤推定観測される状態遷移の履歴を x0 x1 L xT と表し、状態 i から j への推移回数を nij と表す。マルコフモデルにおける状態 i から j へ遷移確率を Pij と表す。すると観測された履歴が発生する確率（尤度）は S S i =1 j =1 L = Px0 x1 Px1x2 L PxT −1xT = ∏∏ Pij nij で与えられる。これを最大にする Pij を求める Pij ≥ 0, i, j = 1,2,L , S ただし、Pij は条件として S ∑ Pij = 1, j =1 i, j = 1,2, L, S を満たしていなければならない制約条件付き最大値問題ラグランジュ未定乗数法を使って解く（参考）ラグランジュ未定乗数法とは？ N 個の変数 X = [θ1 , θ 2 , Lθ N ] について、M 個の制約条件 g i ( X) = 0 (i = 1,2, L M ) が与えられている。この制約のもとで、ある関数 f (X) が極値をとるような変数 X を求める。 M 個の別の未知変数 λ = [λ1 , λ2 , L λM ] を使って、以下の関数 F ( X, λ ) を考える： M F ( X, λ ) = f ( X) + ∑ λi g i ( X) （式１） i =1 最大化・最小化したい値制約条件この関数 F ( X, λ ) の極値条件は、 ∂ ∂ ∂ F ( X, λ ) = f ( X) + ∂θ k ∂θ k ∂θ k ∂ F = g i ( X) = 0 ∂λi M ∑ λ g ( X) = 0 i =1 i i (k = 1,2, L N ) (i = 1,2, L M ) これらを満たす解の中に、求める解が存在する。ここで式（１）をラグランジュ関数、 λ = [λ1 , λ2 , L λM ] をラグランジュの未定乗数という。マルコフ過程の最尤推定 ⎛⎛ S ⎞ ⎞ F = log L + ∑ λi ⎜ ⎜⎜ ∑ Pij ⎟⎟ − 1⎟ ⎜ j =1 ⎟ i =1 ⎠ ⎠ ⎝⎝ S ラグランジュ関数と置いて、極値条件から連立方程式を解くと、状態 i からj へ遷移した回数 Pij = nij S ∑n k =1 を得る。 ik 状態 i を訪問した回数複雑な確率モデルの推定（パラメトリック推定）真の確率モデル：混合正規分布 2 P ( x) = k1 N ( μ1 , σ 1 ) + k 2 N ( μ 2 , σ 22 ) + K 環境 P ( x) 複数の正規分布の重ね合わせになっているパラメータは観測者にとって未知 x 観測データ標本(sample) 観測者 x1 , x2 , L , xn 標本を用いて、未知パラメータを推定する尤度最大化の数値最適化問題になる P ( x) ？一般に最適解が得られるとは限らない x クラスタリング（領域分け）と呼ぶ場合もある混合正規分布の推定：単に数値最適化として解くのではなく、「クラスタリング」の特徴を生かした方法がある例）推定の結果、要素となる正規分布同士の重なりが大きい箇所は１つの正規分布にまとめ、要素となる正規分布にあてはまらないデータが多い箇所（データの生成確率が低い）では要素となる正規分布を２つに分割する N.Ueda, R.Nakano, Z.Ghahramani and G.E.Hinton: SMEM Algorithm for Mixture Models, Neural Information Processing Systems 11 (NIPS11), pp.599--605 (1999). 【演習問題】正規分布の最尤推定 2006.05.25 氏名学籍番号真の確率モデル：正規分布 ⎛ ( x − μ )2 ⎞ 1 ⎟⎟ exp⎜⎜ − P( x) = N ( μ , σ ) = 2 2 σ σ 2π ⎝ ⎠ これから得られる観測データ 2 P ( x) 標本(sample) x 標本を用いて、未知パラメータ右式のように標本平均と標本分散より推定値が得られることを示せ。（ヒント）微分公式 ∂ 1 ∂ ln f (θ ) = f (θ ) ∂θ f (θ ) ∂θ μˆ , σˆ x1 , x2 , L , xn のとき、を最尤推定した場合、 x + x + L xn μˆ = 1 2 , n ( x1 − μˆ ) 2 + ( x2 − μˆ ) 2 + L + ( xn − μˆ ) 2 2 σˆ = n