PowerPoint プレゼンテーション

小暮研究会２
第１章ベイジアンアルゴリズム
•
•
•
•
•
•
２値選択
ベルヌーイ試行
尤度原理
同一性
交換可能性
尤度についてのまとめ
環境情報学部３年渡邊洋一
1
尤度：p(y|θ)に関する例、その３：２値選択
• ２値：経済が成長する、あるいは衰退する
• このような２値（y）が他の変数（x）に依存
する
• Xが大きいときy=1（経済が成長）
• ２値変量はy=1である確率を述べることで
分布が特定できる
2
尤度：p(y|θ)に関する例、その３：２値選択
• Xが大きいとき,よりyが１になる経済モデル
P(Y=1|x)=p(x)
• Xを与えた上でのyの確率分布
PY |X (y | x)  p(x)y (1 p(x))1y , y  {0,1} (1.10)
3
尤度：p(y|θ)に関する例、その３：
２値選択
• 計量経済学的には(P(Y=1|x)=)p(x)=Φ（βx)
(Φ（.)は標準正規密度関数）
• したがってYはxの非線形回帰
• Φ（βx)はxの非線形関数であるからこれは非
線形回帰モデルとなる
• xとyにn個の観測値が独立していると仮定し
たとき尤度は確率の積として
l(;y, x)  
n
i1
(x i ) yi (1 (x i ))1yi
(1.11)
4
尤度:p(y|θ)とシミュレーション
（３）２値データの生成とプロット
• １、nとβを選択する
• ２、xの値をシミュレーションする
• ３、yの値をシミュレーションする
>n <- 50; beta <-0)
>x <- runif(n,10,20))
>y <- rbinom(n,1,pnorm(beta*x)))
5
Rでのプロット
6
Rでのプロット
２種類の尤度のプロット
7
ベルヌーイ試行
• 数学的には単純、変数間の関係を含まない
• ベイズの考えを説明するのに便利
• N回の実験を繰り返して成功と失敗の確率を知
る状況
• 条件１：試行の回数nが指定されている
• 条件２：n回の試行を通して期待値yが一定
• 条件３：各々の試行が独立
8

ベルヌーイ試行
• N回の試行である実験が成功する（ここで
は”１”）期待値が分かっているとき(0    1, y  {0,1})
s
ns
(1.12)
p(y
|

,n)


(1

)
• 条件付き確率は

• Y∈{0,1}はベクトル（y
1,y2,..yn）
n
• s  i1 y i はn回試行中に成功した（１だっ
た）総数

• Yが既知のときθに関する尤度関数は
l(;y)   (1 ) ,0   1
s
ns
(1.13)
9
ベルヌーイ試行による確率分布
• ベルヌーイ試行は二項分布としても知られ
ている
• まずベルヌーイ試行による確率分布をRで
プロットしてみる(n=100,θ=0.5)
> plot(dbinom(0:100,100,0.5),type="l")
10
ベルヌーイ分布（二項分布）の例
11
ベルヌーイ試行の尤度関数
>thetaval <- seq(0,1,length=100)
>n <- 51
>y <- rbinom(n,1,thetaval)
>s <- sum(y)
>plot(thetaval,dbeta(thetaval,s+1,ns+1),type=“l”)
12
ベルヌーイ試行による尤度関数の例
13
興味のあるパラメータ
• ベルヌーイ試行では尤度を構成するあらゆるパ
ラメータに対して興味のある多くの異なったパラ
メータを主張するのに向いている
• ある人がn回のベルヌーイ試行を両者が確率０．
５で行いs=7回成功したとする、しかし何回行っ
たかというnを教えてくれなかったとする
• したがってnが興味のあるパラメータ、θがデータ
になる
14
興味のあるパラメータ
• N回の試行においてs回成功するベール
ヌーイ試行は２項式で
P(S  s | n,)  
n
s
 (1 )
s
ns
(1.14)
s  0,1,2,..,n
0   1
• ここで既知のデータs=7,θ=1/2を用い、パ
ラメータnについての尤度を求める

n
n! 1 
l(n;s, ) 
 
(n  7)!2 
n7
15
興味のあるパラメータ：プロット
• N=7,8,..,30においてプロット
• Nが１４付近が尤度が大きい（s/7=7/0.5は
多くの人が推測する試行回数）
図１．５:Nについての尤度
16
尤度原理
• 比例する２つの尤度は（同じ事前分布が与えら
れた下で）同じ推論結果を導かねばならない
• 事後のカーネルがあれば異なる尤度が同じ事後
分布を導き、そして同じ推論を導く
カーネル：パラメータを含まないかけ算の項を省いた確率密度を
書いたときの残ったものを分布のカーネル(kernel)という
• 事後のカーネルを得た後は、事後確率を積分す
ると１になることを確実にする基準化係数を求め
るために積分 p(y | )p()d を行う

17
尤度原理：ベイズ推定が尤度原
理をみたいしている実例
θに関して同様の信念を持つA,B
A:n=20回の試行でs=7回の成功
B:s=7まで試行、n=20まで試行したときにs=7となった
Aの尤度は２０回のベルヌーイ試行を行った時の成功する回数の分布
l1(;n  20,s  7)  
20
7

7
(1 )
13
(1.15)
７回目成功するのに必要な全試行回数nの確率分布（負の２項分布）
s
ys
p(n | s,)  n1

(1

)
, y  s,s 1,S  2,...
s1 
(1.16)
従ってBの尤度は
7
13
l2 (;n  20,s  7)  19

(1

)
6 
(1.17)
18
尤度原理：ベイズ推定が尤度原
理を満たしている実例
l1( | n  20,s  7)  l2 ( | n  20,s  7)   7 (1  )13
• 何回試行して何回成功したという情報があ
れば、比例関係にある尤度関数からは同
じ結論が導きだされる
19
尤度原理：同一性
y(y  )
において
p(y |  )  p(y |  )
が成立する場合
パラメータθは同一でなくてはいけない
20
尤度原理：交換可能性
• N回のベルヌーイ試行において成功する
確率sが等しければ成功、失敗の順番に関
らず確率p(y)は同じである
• ドゥフィネッティの定理：n回の試行にたいし
て成功するかどうかの確率p(y1,y2,…,yn)
がp( y ,..,y )    (1   ) p( )d
1
1
n
0
y  {0,1}, y  
かつ
lim
n 
y
 p( )
n
n s
s
n
i1
yi
21
尤度原理：交換可能性
• 交換可能性の性質の証明から尤度と事前
情報が存在することが示された
• このことから古典統計学のように独立でラ
ンダムな変数を集めたと言い張る必要が
なくなった！
22
尤度についてのまとめ
• 尤度はモデルパラメータθについてのベイ
ズ統計使用者の信念を表している
• 尤度をどう決めるかは自由だが、それは合
理的で一貫した経済モデルと適切な確率
構造を持たなければいけない
23

Download Report