A ′ t

2016 年 5 月 23 日
第 12 回多変量正規分布（7.3–7.4）
村澤康友
前回のキーワード
同時 cdf，周辺 cdf，同時 pdf，周辺 pdf，期待値の線形性，共
分散，確率変数の線形結合の分散，相関係数，条件つき cdf，
条件つき pdf，条件つき期待値，条件つき分散，確率変数の
独立性，独立と無相関
1
目次
1
pdf
3
2
mgf
15
3
多変量正規分布の性質
19
線形変換 . . . . . . . . . . . . . . . . . . . . 19
独立と無相関 . . . . . . . . . . . . . . . . . . 22
条件つき分布 . . . . . . . . . . . . . . . . . . 24
3.1
3.2
3.3
4
たたみ込み（p. 150）
2
26
1 pdf
n 変量正規分布（p. 147）
定義 1. n 変量正規分布の同時 pdf は
f (x) := (2π)−n/2 det(Σ)−1/2
)
(
1
exp − (x − µ)′ Σ−1 (x − µ)
2
ただし Σ は対称行列．
注：N(µ, Σ) と書く．
3
例：n = 2 なら
( )
µ1
µ :=
,
µ2
[
Σ :=
σ12
σ21
σ12
σ22
]
行列式と逆行列は
2
det(Σ) = σ12 σ22 − σ12
−1
Σ
[
σ22
1
= 2 2
2
−σ12
σ1 σ2 − σ12
4
−σ12
σ12
]
n 変量標準正規分布
定義 2. N(0, In ) を n 変量標準正規分布という．
注：Z ∼ N(0, In ) なら
(
′
)
zz
fZ (z) := (2π)
exp −
2
( 2
)
2
z1 + · · · + zn
−n/2
= (2π)
exp −
2
−n/2
5
2 変量正規分布の pdf（無相関）
y
z
x
6
−4
−2
0
2
4
pdf の等高線図（無相関）
−4
−2
0
7
2
4
0
−1
−2
−3
y
1
2
3
2 変量正規乱数の散布図（無相関）
−2
−1
0
x
8
1
2
2 変量正規分布の pdf（正の相関）
y
z
x
9
−4
−2
0
2
4
pdf の等高線図（正の相関）
−4
−2
0
10
2
4
0
−2
−4
y
2
4
2 変量正規乱数の散布図（正の相関）
−2
−1
0
x
11
1
2
2 変量正規分布の pdf（負の相関）
y
z
x
12
−4
−2
0
2
4
pdf の等高線図（負の相関）
−4
−2
0
13
2
4
−2
0
y
2
4
2 変量正規乱数の散布図（負の相関）
−2
−1
0
1
x
14
2
2 mgf
定理 1. N(µ, Σ) の mgf は
(
′
)
2 2
)
t Σt
M (t) = exp µ t +
2
′
注：1 変量なら
(
σ t
M (t) = exp µt +
2
15
平均と分散共分散行列
定理 2. X ∼ N(µ, Σ) なら
E(X) = µ
var(X) = Σ
注：確率ベクトル X の分散共分散行列は
var(X) := E((X − E(X))(X − E(X))′ )
16
証明：mgf の 1 階導関数は
(
)
′
t Σt
′
′
MX (t) = (µ + Σt) exp µ t +
2
2 階導関数は
(
)
′
t Σt
′′
′
MX (t) = Σ exp µ t +
2
(
)
′
t Σt
′
′
+ (µ + Σt)(µ + Σt) exp µ t +
2
17
平均は
′
E(X) = MX
(0)
=µ
分散共分散行列は
var(X) = E(XX ′ ) − E(X) E(X)′
′′
= MX
(0) − µµ′
= Σ + µµ′ − µµ′
18
3 多変量正規分布の性質
3.1 線形変換
定理 3. X ∼ N(µ, Σ) なら
AX + b ∼ N(Aµ + b, AΣA′ )
19
証明：
(
)
′
MAX+b (t) := E et (AX+b)
( ′ ) ′
= E et AX et b
′
b′ t
= MX (A t)e
)
(
′ ′
′
(A t) Σ(A t) b′ t
′
′
e
= exp µ (A t) +
2
(
)
′
′
t (AΣA )t
′
= exp (Aµ + b) t +
2
20
周辺分布
系 1. X ∼ N(µ, Σ) なら
Xi ∼ N
(
µi , σi2
)
証明：前定理において
A := (1, 0, . . . , 0)
b := 0
などとすればよい．
21
3.2 独立と無相関
定理 4. X ∼ N(µ, Σ) なら
X1 , . . . , Xn は独立 ⇐⇒ X1 , . . . , Xn は無相関
証明：“=⇒” 正規分布でなくても成立．
“⇐=” Σ は対角だから
det(Σ) = σ12 · · · σn2

1/σ12

−1
..
Σ =
.
0
22
0
1/σn2



したがって
fX (x)
(
)
1
−n/2
−1/2
:= (2π)
det(Σ)
exp − (x − µ)′ Σ−1 (x − µ)
2
(
)
n
∑ (xi − µi )2
(
)
1
−1/2
= (2π)−n/2 σ12 · · · σn2
exp −
2 i=1
σi2
(
)
n
2
∏
( 2 )−1/2
(xi − µi )
−1/2
(2π)
σi
exp −
=
2
2σ
i
i=1
= fX1 (x1 ) · · · fXn (xn )
23
3.3 条件つき分布
定理 5. (X1′ , X2′ )′ ∼ N(µ, Σ) なら
(
X1 |X2 ∼ N µ1|2 , Σ11|2
)
ただし
µ1|2 := µ1 + Σ12 Σ−1
22 (X2 − µ2 )
Σ11|2 := Σ11 − Σ12 Σ−1
22 Σ21
24
証明：条件つき pdf の定義より
f1,2 (x1 , x2 )
f1|2 (x1 |x2 ) :=
f2 (x2 )
これをひたすら計算する（かなり面倒）．
25
4 たたみ込み（p. 150）
定義 3. 独立な確率変数の和の分布を求めることをたたみ込
みという．
注：mgf を用いるのが簡単．X と Y が独立なら
(
)
MX+Y (t) := E et(X+Y )
( tX ) ( tY )
=E e
E e
= MX (t)MY (t)
26
再生性（p. 151）
定義 4. たたみ込んでも分布の型が変わらない性質を再生
性という．
例：2 項分布，ポアソン分布，正規分布．
27
2 項分布の再生性（p. 150）
成功確率 p の独立なベルヌーイ試行における成功回数は
• m 回の試行では X ∼ Bin(m, p)，
• n 回の試行では Y ∼ Bin(n, p)，
• m + n 回の試行では X + Y ∼ Bin(m + n, p)．
28
ポアソン分布の mgf（p. 130）
定理 6. X ∼ Poi(λ) の mgf は
λ(et −1)
MX (t) = e
29
証明：
(
tX
MX (t) := E e
)
∞
∑
x −λ
λ
e
tx
=
e
x!
x=0
=
∞
∑
(λet )x e−λ
x!
x=0
=e
λet −λ
∞
t x −λet
∑
(λe ) e
x=0
30
x!
ポアソン分布の再生性（p. 150）
定理 7. X ∼ Poi(λX )，Y ∼ Poi(λY ) が独立なら
X + Y ∼ Poi(λX + λY )
証明：
MX+Y (t) = MX (t)MY (t)
=e
=e
λX (et −1) λY (et −1)
e
(λX +λY )(et −1)
31
正規分布の再生性（p. 151）
定理 8. X ∼ N
(
2
µX , σX
(
)
2
，Y ∼ N µY , σY が独立なら
)
(
X + Y ∼ N µX +
2
µY , σX
+
σY2
)
証明：
MX+Y (t) = MX (t)MY (t)
(
)
(
)
2 2
2 2
σX t
σY t
= exp µX t +
exp µY t +
2
2
(
)
( 2
)
σX + σY2 t2
= exp (µX + µY )t +
2
32
今日のキーワード
n 変量正規分布，n 変量標準正規分布，正規分布の性質（線
形変換，周辺分布，独立と無相関，条件つき分布），たたみ
込み，再生性（2 項分布，ポアソン分布，正規分布）
33
次回までの準備
復習教科書第 7 章 3–4 節
予習教科書第 8 章
34

Download Report