最尤推定法について

最尤推定法について
経営学研究科 M1年
学籍番号 speedster
最尤推定法（MLE)
• 2項分布の最尤推定
• 正規母集団の平均μのMLE
• 正規回帰モデルにおける母数のMLE
• 最尤法と積率推定法（MLE対MME)
• 最尤推定とベイジアン推定
2項分布の最尤推定法
• コインを10回投げて4回表が出た時の表が出る
確率πのMLEを求める。
• π＝0.1を仮定してみる
P(s)=(ns)πs(1－π)n－s ＝
(104)×(0,1)4×(0,9)6=0,011・・・(1)
• 仮定が正しいものだとすると、観測された標本が
得られる確立は1％に過ぎないことが判明する。
2項分布の最尤推定法(2)
• 同様にπ＝0.0～0.8までを仮定して計算した結
果、π＝0.4が尤もらしいといえる（テキスト
P374 表18－1）
• ちなみに(1)式は10と4が固定されてるためπが
唯一の変数である。
⇒尤度関数とする。
L(π)＝(104) π4（1－π）6・・・(2)
• 一般には
L(π)＝（ns）πs（1－π）n－s・・・(3)
2項分布の最尤推定法(3)
• 最尤推定値
⇒(2)式の尤度関数を最大にするπの値 (この場合
π＝0.4）
• 一般に2項分布のπのMLEは(3)式を微分すること
で常に標本比率Pであることが証明される。
• 微分についてはホワイトボードで。
正規母集団の平均μのMLE
• 母集団N(μ,σ2）から標本（X1,X2,X3)を抽出。
⇒未知のμを見つける
• 母集団は正規分布⇒Xを観測する確立は
(18‐7）式になる。
• X1,X2,X3が独立であると仮定
⇒同時確立は (18‐11）式に、尤度関数は
(18‐12）式になる。
• μのMLEは(18‐12）を微分することでXであるこ
とが求められる（微分はホワイトボードで）
正規回帰モデルにおける母数のMLE
• Xによってμを推定する⇒最小2乗の単純な特殊
ケース
• また、XはMLEである
⇒最小2乗推定量は回帰モデルに適用してもMLE
であるか？
• （12-3）式においてMLEを用いてα、βを推定するこ
とは観測された標本を生成する可能性がいかなる
値より大きいα、βを求めることを意味する。
正規回帰モデルにおける母数のMLE（2）
• 一般に大きさnの標本を得ると仮定すると、観測
標本の確立を知る事が目的となる
P(Y1,Y2,・・・,Yn/α,β)
• それは母数α、βの可能な値の関数として表され
ている。
• Yの値は独立⇒それぞれの確立の積を求めれ
ばよい。⇒（18-15,16,17）式が得られる。
正規回帰モデルにおける母数のMLE（3）
• （18-17）式において、α、βは指数関数において
のみ見られる。
• 負の指数を含む関数を最大にするには、指数の
大きさを最小にすればよい。
• 最尤推定値は
Σ[Yi-α-βxi]2
を最小にするα、βを選択すればよい。
• これは最小2乗推定値a,bを選ぶ事に等しい
＝正規回帰モデルでは最尤推定値は最小2乗推
定値と等しいといえる。
任意の母集団からの任意の母数の最尤推定法
• 標本（X1,X2,・・・,Xn）が確立分布p(X/θ)の母集団から
抽出される。
• Xiは独立に確率分布p(Xi/θ)をもつ。
同時確立は
P(X1,X2,・・・,Xn/θ)＝p(X1/θ)p(X2/θ)・・・P(Xn/θ)
n
＝  p ( Xi /θ)
i 1
n
これをθについての尤度関数
p ( Xi /θ)

L(θ)＝ i 1
という。最尤推定値はこれを最大にするθの値である。
最尤法と積率推定法（MLE対MME)
• 任意の母集団比率を対応する標本比率で推定する
方法
⇒積率推定法（標本比率、平均に基づいて母数比
率、平均を求める方法）
• 両者はしばしば一致するが、時に異なる時もある。
⇒この時はMLEの方がMMEよりも優れている。（特
に大標本の場合）
• 三つの漸近的性質（テキスト P384)
• ただし、小標本に関してはMLEが必ずしも最良とは
いえない。
最尤推定とベイジアン推定
• (a)単純なケース
• 二つの値しかとらないという母数θの最尤推定値を
見つける。
• 最尤推定法
L(θ0)＞ L(θ1) すなわち、
P(X/θ0)＞ P(X/θ1) となる時
推定値としてθ1よりθ0を選択する。
最尤推定とベイジアン推定(2)
• ベイジアン推定
• リグレットが等しく、事前確立が等しいとすれば、
P(X/θ1)/ P(X/θ0)＜1 すなわち、
P(X/θ1)＜P(X/θ0) となる時
θ0を採択する、という事に帰着する。
• これはMLE基準と同一の解答が得られる。
リグレットとは・・・
• 例：二種類のカブトムシ（a0：無害 a1：有害)
新しい地方でカブトムシが見つかったとき、このカブトムシ
は害虫か？無害か？
⇒殺虫剤をまくか、まかないかを決定。
• 殺虫剤をまかない時の損失・費用
⇒無害の時＝5 有害の時＝100
• 殺虫剤をまく時の損失・費用
⇒無害の時＝15 有害の時＝15
カブトムシが無害の時のリグレット 15－5＝10
カブトムシが有害の時のリグレット 100－15＝85
事前確立とは・・・
• ある地方での晴れと雨の確立が60％、40％であ
ると想定する。（事前確立）
天気予報機の導入
⇒10％の確立で雨の時「晴れ」と予想
⇒20％の確立で晴れの時「雨」と予想
• 機械が「雨」と予想した時の天気の確立は？
.4×.9＝.36（雨の確立）
.6×.1＝.12（晴れの確立）
100％に換算すると、雨＝75％晴れ＝25％（事
後確立）
最尤推定とベイジアン推定(3)
• (b)拡張：連続なθ
• θは連続な値域を動く。θについての事前知識が全く
無いときは等確率
p(θ)＝c （一定）を用いる。
• さらに、0‐1型損失関数を選択するものとすれば、事
後分布は最頻値によって推定される。
⇒テキスト P385,(18‐27,28）式
※0‐1型損失関数に関してはテキスト P315~316
を参照
最尤推定とベイジアン推定(4)
• (18‐28)式において最頻値を見つけるためのθを捜
す。式の[]内はθに依存しない
⇒p(X/θ)を最大にするθの値を求める。
＝古典的な最尤法の定義
• 0-1型損失関数と「等確率」事前分布を用いるベイ
ジアンと同じ結果を得ると結論。
• 両者とも容易に正当化することはできない
⇒最尤法をあまり褒めたことにはならない。
ちなみに・・・
• p(X/θ)が単峰で対象なら、平均、最頻値、中央値
が一致して最尤法は3つの損失関数のいずれかを
用いたベイジアン推定法と一致する。
• 最尤推定法は大標本では魅力ある特性（テキスト
P384）を持つが、小標本では時に奇妙な結果を残
すことがあるため、注意が必要である。
終わり

Download Report