P{X ≤ x − a}

2.1
群分布族(TPE
1.4)
•
合成変換と逆変換に関して閉じた変換の集合
変換群
G を変換群という．つまり (i)g1 , g2 ∈ G ⇒ g1 · g2 ∈ G およ
∈ G ⇒ g −1 ∈ G ただし g −1 はg の逆変換．（変換群は群の定義： (i) 積が定義 s れている (ii) 推移律を満た
す(iii)単位元の存在(iv)逆元の存在，をを満たしている．
）
び (ii)g
•
群分布族
•
例
ある確率分布に従う確率変数X に変換g
∈ G をほどこした確率変数gX が従う確率分布の全体を群分布族という．
位置分布族：確率変数X の分布関数がF であるとき，ga
· X = X + a, a ∈ Rの分布関数は，
P {ga · X ≤ x} = P {X ≤ x − a} = F (x − a).
尺度分布族：確率変数X の分布関数がF であるとき，gb
· X = bX, b ∈ R+ の分布関数は，
P {gb · X ≤ x} = P {X ≤ x/b} = F (x/b).
· X = bX + a, (a, b) ∈ R × R+ の分布関数は，
µ
¶
(x − a)
(x − a)
P {ga,b · X ≤ x} = P {X ≤
}=F
.
b
b
位置尺度分布族：確率変数X の分布関数がF であるとき，ga,b
p− 次元正規分布： X ∼ N (0, Ip ) のとき， ga,BX = a + BX, a ∈ Rp , B ∈ {C : det C 6=
0 であるp × p 行列}の分布は，N(a, BB0 ).
U ∼ N(0, Ip )のとき，変換 U 7→ a + bU ただし， b ∈ R+ で， a ∈ MD = {Dβ : β ∈
R }, Dはp × sの定まった行列でrank(D) = s, s < pとする．このとき，a + bU ∼ N(a, b2).
線型モデル：
p
nonparametric： X1 , · · · , Xn をN (0, 1)に従うi.i.d.標本とする．変換群G を
g(−∞) = −∞,
g(∞) = ∞
を満たすすべての狭義単調増加な連続関数
gの集合とする．このとき，
gXiの分布関数は，
Fg
となり，{Fg
: g ∈ G}はRを台に持つ狭義単調増加な連続分布関数全体の集合となる．
対称分布：先の例で，g としてg(−u)
変換をg(U )
= P {gXi ≤ x} = F (g −1 (x))
= −g(u)を満たすものに変換を制限すると，原点に関して対称な分布族となる．
+ a, a ∈ Rとすれば，一般の対称分布族となる．
nonparametric続き：正規分布のかわりにU (0, 1)とし，変換としてg(0) = 0, g(1) = 1 であるような狭義単調増
加な連続関数と位置尺度変換を考える．つまりU 7→ a + bg(U ), a ∈ R, b ∈ R+ . この変換による分布族は，台が区
間であるような狭義単調増加な連続分布関数の族となる．
2.2
•
指数型分布族(TPE
1.5)
定義
Pθ ∈ P = {Pθ }の共通の測度µに関する密度が，
" s
#
X
pθ (x) = exp
ηi (θ)Ti (x) − β(θ) h(x)
i=1
1
と書けるとき，P はs次元指数型分布族を形成するという．
•
正準型
p(x|η) = exp
を正準型という．
•
自然パラメータ空間
Ξ = {η :
•
Z
exp
"
"
#
s
X
ηi Ti (x) − A(θ) h(x)
i=1
s
X
i=1
#
ηi Ti (x) h(x)µ(dx) < ∞}.
識別不可能性
X ∼ Pθ のとき，Pθ1 = Pθ2 となるようなθ1 6= θ2が存在するとき，パラメータθはX に基づいたとき「識別不可能で
ある」という．
•
例
多項分布
曲がった指数型分布族：たとえばN (ξ, ξ 2 ). ロジット・モデル．Xi
ηi = log(pi/(1 − pi ) = α + βzi where zi’s are fixed.
∼ b(ni , pi ), i = 1, · · · , s independent,
• X とY が独立な指数型分布に従うとき，
(X, Y ) もまた指数型分布に従う．例：X1 , · · · , Xn ∼ i.i.d. N (ξ, σ 2 ).
• TPE定理1.5.8（便利）
ηがΞの内点であるとき，任意のµ可積分なf について，
Z
hX
i
f (x) exp
ηi Ti (x) − A(η) h(x)µ(dx)
はη に関して連続かつ何階でも連続微分可能であり，積分と微分の順序を交換してよい．
•
モーメントの計算
E[Tj ] =
∂A(η)
,
∂ηj
∂ 2 A(η)
∂ηj ∂ηk
Cov[Tj , Tk ] =
αr1 ,···,rs = E[T1r1 · · · Tsrs ]
µr1,···,rs = E[(T1 − ET1 )r1 · · · (Ts − ETs)rs ]
とする．籍率母関数とキュムラント母関数は，
M (u1 , · · · , us ) =
X αr ,···,r ur1 · · · urs
s 1
1
s
r
!
·
·
·
r
!
1
s
r ,···,r
s
1
K(u1 , · · · , us ) = log M (u1 , · · · , us) =
1次元の場合は，
X κr ,···,r ur1 · · · urs
s 1
1
s
r
!
·
·
·
r
!
1
s
r ,···,r
1
s
κ1 = α1 , κ2 = α2 − α21 , κ3 = α3 − 3α1 α2 + 2α31
2
κ4 = α4 − 4α3 α1 − 3α22 + 12α21 α2 − 6α41
µ1 = 0, µ2 = κ2 , µ3 = κ3 , µ4 = κ4 + 3κ22 .
• TPE定理1.5.10
指数型分布族の場合，
M (u) = exp [A(η + u) − A(η)] ,
K(u) = A(η + u) − A(η).
•
一般い，X1 , · · · , Xn が独立で，EXi
= ξi, V ar(Xi ) = σi2 のとき，KP Xi (u) =
X
X
V ar(
Xi ) =
σi2 ,
P
KXi (u)だから，
X
X
E( (Xi − ξi))3 =
E(Xi − ξi)3
X
X
X
E( (Xi − ξi ))4 =
E(Xi − ξi)4 + 3
σi2 σj2 .
i6=j
•
例
Poisoon(λ)とN(ξ, σ 2 )のキュムラント母関数．
• Steinの等式（TPE1.5.15）
X が指数型分布に従うものとする．微分可能な関数gが，Eg 0 (X) < ∞を満たすとき，X の台が (−∞, ∞)であるな
らば，
("
#
)
h0 (X) X
E
+
ηi Ti0 (X) g(X) = E[g 0 (X)]
h(X)
i
が成り立つ．
N(ξ, σ 2 )にあてはめると，
E[g(X)(X − ξ)] = σ 2 E[g(X)]
を得る．g(x)
= (x − ξ)2r+1 とすると，
E(X − ξ)2r+2 = (2r + 1)σ 2E(X − ξ)2r = (2r + 1)(2r − 1) · · · 3 · σ 2r+2 .
3

Download Report