第 12 回多変量正規分布

第 12 回多変量正規分布
村澤康友
2016 年 5 月 23 日
目次
多変量正規分布
1
1.1
密度関数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
1.2
積率母関数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
多変量正規分布の性質
4
2.1
線形変換 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
2.2
独立と無相関 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
2.3
条件つき分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
たたみ込み
5
1
2
3
1 多変量正規分布
1.1 密度関数
定義 1. n 変量正規分布の同時 pdf は，任意の x ∈ Rn について
(
)
1
f (x) := (2π)−n/2 det(Σ)−1/2 exp − (x − µ)′ Σ−1 (x − µ)
2
ただし Σ は対称行列．
注 1. N(µ, Σ) と書く．
例 1. n = 2 なら
(
µ :=
)
µ1
,
µ2
[
Σ :=
1
σ12
σ21
σ12
σ22
]
ρ := σ12 /(σ1 σ2 ) とすると
2
det(Σ) = σ12 σ22 − σ12
(
)
σ2
= σ12 σ22 1 − 2122
σ1 σ2
(
)
2 2
= σ1 σ2 1 − ρ2 ,
(
)′ [ 2
]−1 (
)
x1 − µ1
σ1 σ12
x1 − µ1
(x − µ)′ Σ−1 (x − µ) =
x2 − µ2
σ12 σ22
x2 − µ2
[ 2
](
)
(
)′
1
σ2
−σ12 x1 − µ1
x1 − µ1
=
2
−σ12
σ12
x2 − µ2
x2 − µ2 σ12 σ22 − σ12
[
]
1
(x1 − µ1 )2 σ22 − 2(x1 − µ1 )(x2 − µ2 )σ12 + (x2 − µ2 )2 σ12
= 2 2
2
σ1 σ2 − σ12
[
]
1
(x1 − µ1 )2
2(x1 − µ1 )(x2 − µ2 )σ12
(x2 − µ2 )2
=
−
+
2 /(σ 2 σ 2 )
1 − σ12
σ12
σ12 σ22
σ22
[( 1 2
)2
(
)(
) (
)2 ]
1
x1 − µ1
x1 − µ1
x2 − µ2
x2 − µ2
=
− 2ρ
+
1 − ρ2
σ1
σ1
σ2
σ2
2 変量正規分布の同時密度関数（3D グラフ・等高線）と 2 変量正規乱数の散布図は図 1 の通り．
定義 2. N(0, In ) を n 変量標準正規分布という．
1.2 積率母関数
定理 1. N(µ, Σ) の mgf は，任意の t ∈ Rn について
(
)
t′ Σt
M (t) = exp µ′ t +
2
証明. X ∼ N(µ, Σ) とすると
( ′ )
M (t) := E et X
(
)
∫ ∞
∫ ∞
′
1
=
···
et x (2π)−n/2 det(Σ)−1/2 exp − (x − µ)′ Σ−1 (x − µ) dx1 . . . dxn
2
−∞
−∞
(
)
∫ ∞
∫ ∞
1
=
···
(2π)−n/2 det(Σ)−1/2 exp t′ x − (x − µ)′ Σ−1 (x − µ) dx1 . . . dxn
2
−∞
−∞
ここで
1
t′ x − (x − µ)′ Σ−1 (x − µ)
2
)
1 ( ′ −1
′
=tx−
x Σ x − 2µ′ Σ−1 x + µ′ Σ−1 µ
2
)
]
(
1 [ ′ −1
= − x Σ x − 2 µ′ Σ−1/2 + t′ Σ1/2 Σ−1/2 x + µ′ Σ−1 µ
2
(
)]′ [
(
)]
1[
t′ Σt
= − Σ−1/2 x − Σ−1/2 µ + Σ1/2 t
Σ−1/2 x − Σ−1/2 µ + Σ1/2 t + µ′ t +
2
2
′
1
t
Σt
= − [x − (µ + Σt)]′ Σ−1 [x − (µ + Σt)] + µ′ t +
2
2
N(µ + Σt, Σ) の同時密度関数の n 重積分は 1．
2
f3)
−2
0
2
4
2
0
−2
−4
−2
0
2
4
x
−4
−4
−2
0
2
4
x
4
−4
−2
0
2
4
−4
−2
0
2
4
−3
−2
−1
0
1
1
y3
−3
−2
−1
x
図1
0
−2
−3
−4
−3
−3
−2
−2
−1
y2
−1
0
−1
y1
0
1
1
2
2
2
3
3
3
−4
y
y
y
outer(x, y,
f2)
f1)
outer(x, y,
outer(x, y,
x
0
1
x
−3
−2
−1
0
1
x
2 変量正規分布の同時密度関数（3D グラフ・等高線）と 2 変量正規乱数の散布図
定理 2. X ∼ N(µ, Σ) なら
E(X) = µ
var(X) = Σ
証明. X の mgf は
(
)
t′ Σt
MX (t) = exp µ′ t +
2
微分すると
)
t′ Σt
= (µ + Σt) exp µ t +
2
(
)
(
)
′
t
Σt
t′ Σt
′′
′
′
′
MX (t) = Σ exp µ t +
+ (µ + Σt)(µ + Σt) exp µ t +
2
2
′
MX
(t)
(
′
3
したがって
′
E(X) = MX
(0)
=µ
var(X) = E(XX ′ ) − E(X) E(X)′
′′
= MX
(0) − µµ′
= Σ + µµ′ − µµ′
2 多変量正規分布の性質
2.1 線形変換
定理 3. X ∼ N(µ, Σ) なら
AX + b ∼ N(Aµ + b, AΣA′ )
証明. AX + b の mgf は
( ′
)
MAX+b (t) := E et (AX+b)
( ′ ) ′
= E et AX et b
′
= MX (A′ t)eb t
)
(
(A′ t)′ Σ(A′ t) b′ t
e
= exp µ′ (A′ t) +
2
(
)
t′ (AΣA′ )t
= exp (Aµ + b)′ t +
2
これは N(Aµ + b, AΣA′ ) の mgf．
系 1. X ∼ N(µ, Σ) なら
(
)
Xi ∼ N µi , σi2
証明. 前定理において
A := (1, 0, . . . , 0)
b := 0
などとすればよい．
2.2 独立と無相関
定理 4. X ∼ N(µ, Σ) なら
X1 , . . . , Xn は独立 ⇐⇒ X1 , . . . , Xn は無相関
4
証明. “=⇒” すでに見た（正規分布でなくても成立）．“⇐=” 無相関なので Σ は対角．したがって
det(Σ) = σ12 · · · σn2

1/σ12

−1
..
Σ =
.
0
0



1/σn2
同時密度関数に代入すると，任意の x ∈ Rn について
(
)
1
f (x) := (2π)−n/2 det(Σ)−1/2 exp − (x − µ)′ Σ−1 (x − µ)
2
(
)
n
( 2
)
1 ∑ (xi − µi )2
−n/2
2 −1/2
= (2π)
σ1 · · · σn
exp −
2 i=1
σi2
(
)
n
∏
( )−1/2
(xi − µi )2
=
(2π)−1/2 σi2
exp −
2σi2
i=1
= f1 (x1 ) · · · fn (xn )
ただし fi (.) は Xi の周辺密度関数．
2.3 条件つき分布
定理 5. (X1′ , X2′ )′ ∼ N(µ, Σ) なら
(
)
X1 |X2 ∼ N µ1|2 , Σ11|2
ただし
µ1|2 := µ1 + Σ12 Σ−1
22 (X2 − µ2 )
Σ11|2 := Σ11 − Σ12 Σ−1
22 Σ21
証明. 条件つき pdf の定義より
f1|2 (x1 |x2 ) :=
f1,2 (x1 , x2 )
f2 (x2 )
これをひたすら計算する（かなり面倒）．
3 たたみ込み
定義 3. 独立な確率変数の和の分布をたたみ込みという．
注 2. Z := X + Y とする．ただし X と Y は独立．
5
1.（離散）Z の確率関数は，任意の z について
pZ (z) := Pr[Z = z]
= Pr[X + Y = z]
∑
=
Pr[X = x, Y = z − x]
x
=
∑
Pr[Y = z − x|X = x] Pr[X = x]
x
=
∑
Pr[Y = z − x] Pr[X = x]
x
=
∑
pY (z − x)pX (x)
x
2.（連続）Z の cdf は，任意の z について
FZ (z) := Pr[Z ≤ z]
= Pr[X + Y ≤ z]
∫ ∞
=
Pr[Y ≤ z − x|X = x]fX (x) dx
−∞
∫ ∞
=
FY |X (z − x|x)fX (x) dx
−∞
∫ ∞
=
FY (z − x)fX (x) dx
−∞
密度関数は，任意の z について
∫
fZ (z) =
∞
−∞
fY (z − x)fX (x) dx
注 3. mgf なら簡単．X と Y が独立なら
(
)
MX+Y (t) := E et(X+Y )
(
) ( )
= E etX E etY
= MX (t)MY (t)
定義 4. たたみ込んでも分布の型が変わらない性質を再生性という．
例 2. 成功確率が等しい 2 項分布，ポアソン分布，正規分布．
(
)
(
2
定理 6. X ∼ N µX , σX
，Y ∼ N µY , σY2
)
が独立なら
(
)
2
X + Y ∼ N µX + µY , σX
+ σY2
証明. X + Y の mgf は
MX+Y (t) = MX (t)MY (t)
)
(
)
(
σ 2 t2
σ 2 t2
exp µY t + Y
= exp µX t + X
2
2
(
( 2
) 2)
2
σ + σY t
= exp (µX + µY )t + X
2
(
)
2
これは N µX + µY , σX
+ σY2 の mgf．
6

Download Report