第 3 回多変量分布

第 3 回多変量分布
村澤康友
2014 年 4 月 23 日
目次
同時分布と周辺分布
1
1.1
累積分布関数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
1.2
確率密度関数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
積率
4
2.1
期待値 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
2.2
共分散と相関係数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
条件つき分布と確率変数の独立性
5
3.1
条件つき分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
3.2
確率変数の独立性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
1
2
3
1 同時分布と周辺分布
1.1 累積分布関数
(X, Y ) を確率ベクトルとする．
定義 1. (X, Y ) の同時（結合）累積分布関数は，任意の (x, y) について
FX,Y (x, y) := Pr[X ≤ x, Y ≤ y]
例 1. FX,Y (., .) のグラフの例（図 1）．
定義 2. X の周辺累積分布関数は，任意の x について
FX (x) := Pr[X ≤ x]
注 1. 同時 cdf と周辺 cdf の関係は
FX (x) := Pr[X ≤ x]
= Pr[X ≤ x, Y < ∞]
= FX,Y (x, ∞)
1
y
z
x
図 1 2 変量同時 cdf のグラフ
1.2 確率密度関数
■離散分布 (X, Y ) を離散確率ベクトルとする．
定義 3. (X, Y ) の同時（結合）確率関数は，任意の (x, y) について
pX,Y (x, y) := Pr[X = x, Y = y]
定義 4. X の周辺確率関数は，任意の x について
pX (x) := Pr[X = x]
注 2. 同時確率と周辺確率の関係は
pX (x) =
∑
pX,Y (x, y)
y
例 2. 2 つのサイコロを投げたときの大きい目（X ）と小さい目（Y ）の同時分布（表 1）．
■連続分布 (X, Y ) を連続確率ベクトルとする．
定義 5. 任意の (x, y) について
∫
FX,Y (x, y) =
x
−∞
∫
y
−∞
fX,Y (s, t) ds dt
となる fX,Y (., .) を (X, Y ) の同時（結合）密度関数という．
注 3. 任意の a, b, c, d について
∫
b
∫
d
Pr[a < X ≤ b, c < Y ≤ d] =
fX,Y (x, y) dx dy
a
2
c
表 1 2 つのサイコロの大きい目（X ）と小さい目（Y ）の同時分布
X\Y
1
2
3
4
5
6
計
1
1/36
0
0
0
0
0
1/36
2
2/36
1/36
0
0
0
0
3/36
3
2/36
2/36
1/36
0
0
0
5/36
4
2/36
2/36
2/36
1/36
0
0
7/36
5
2/36
2/36
2/36
2/36
1/36
0
9/36
6
2/36
2/36
2/36
2/36
2/36
1/36
11/36
計
11/36
9/36
7/36
5/36
3/36
1/36
1
y
z
x
図2
2 変量同時密度関数のグラフ
注 4. FX,Y (., .) が微分可能なら
∂ 2 FX,Y
(x, y)
∂x∂y
fX,Y (x, y) =
例 3. fX,Y (., .) のグラフの例（図 2）．
定義 6. X の周辺密度関数は，任意の x について
∫
fX (x) :=
∞
−∞
3
fX,Y (x, y) dy
2 積率
2.1 期待値
定義 7. g(X, Y ) の期待値は
{∑ ∑
（離散）
y g(x, y)pX,Y (x, y)
E(g(X, Y )) := ∫ ∞x ∫ ∞
g(x, y)fX,Y (x, y) dx dy （連続）
−∞ −∞
定理 1.
E(aX + bY ) = a E(X) + b E(Y )
証明. (X, Y ) が連続なら
∫
∞
∫
E(aX + bY ) :=
∞
(ax + by)fX,Y (x, y) dx dy
∫ ∞∫
xfX,Y (x, y) dx dy + b
−∞ −∞
∫ ∞∫ ∞
=a
−∞
−∞
−∞
∞
−∞
yfX,Y (x, y) dx dy
= a E(X) + b E(Y )
離散の場合も同様．
2.2 共分散と相関係数
定義 8. X と Y の共分散は
cov(X, Y ) := E((X − E(X))(Y − E(Y )))
注 5. σXY と表す．
注 6. X が大きいと Y も大きいなら共分散は正，X が大きいと Y は小さいなら共分散は負．
定理 2.
cov(X, Y ) = E(XY ) − E(X) E(Y )
証明.
cov(X, Y ) := E((X − E(X))(Y − E(Y )))
= E(XY − X E(Y ) − E(X)Y + E(X) E(Y ))
= E(XY ) − E(X) E(Y ) − E(X) E(Y ) + E(X) E(Y )
定理 3.
var(aX + bY ) = a2 var(X) + 2ab cov(X, Y ) + b2 var(Y )
4
証明.
(
)
var(aX + bY ) := E (aX + bY − E(aX + bY ))2
(
)
= E [a(X − E(X)) + b(Y − E(Y ))]2
(
)
(
)
= E a2 (X − E(X))2 + 2 E(a(X − E(X))b(Y − E(Y ))) + E b2 (Y − E(Y ))2
(
)
(
)
= a2 E (X − E(X))2 + 2ab E((X − E(X))(Y − E(Y ))) + b2 E (Y − E(Y ))2
定義 9. 標準化した確率変数の共分散を相関係数という．
注 7. X と Y の関係の強さを表す．
注 8. ρXY と表す．すなわち
(
)
X − µX Y − µY
ρXY := cov
,
σX
σY
(
)
X − µX Y − µY
=E
σX
σY
E((X − µX )(Y − µY ))
=
σX σY
σXY
=
σX σY
定義 10. ρXY = 0 なら X と Y は無相関という．
定理 4 (コーシー＝シュワルツの不等式).
| cov(X, Y )| ≤ var(X)1/2 var(Y )1/2
証明. 次の 2 次関数 f (.) を考える．
f (t) := var(Xt + Y )
(
)
= E [(Xt + Y ) − E(Xt + Y )]2
= var(X)t2 + 2 cov(X, Y )t + var(Y )
f (.) は非負なので，f (t) = 0 の判別式より
cov(X, Y )2 − var(X) var(Y ) ≤ 0
系 1.
|ρXY | ≤ 1
3 条件つき分布と確率変数の独立性
3.1 条件つき分布
定義 11. Y ≤ y が与えられたときの X の条件つき累積分布関数は，任意の x について
FX|Y (x|Y ≤ y) :=
5
FX,Y (x, y)
FY (y)
注 9. 条件つき確率で定義する．
定義 12. Y = y が与えられたときの X の条件つき確率関数は，任意の x について
pX|Y (x|Y = y) :=
pX,Y (x, y)
pY (y)
定義 13. Y = y が与えられたときの X の条件つき密度関数は，任意の x について
fX|Y (x|Y = y) :=
fX,Y (x, y)
fY (y)
注 10. 条件つき確率と同様に定義する．
定義 14. Y = y が与えられたときの X の条件つき期待値は
{∑
xpX|Y (x|Y = y)
（離散）
E(X|Y = y) := ∫ ∞x
xfX|Y (x|Y = y) dx （連続）
−∞
定義 15. Y = y が与えられたときの X の条件つき分散は
(
)
var(X|Y = y) := E (X − E(X|Y = y))2 |Y = y
定理 5 (繰り返し期待値の法則).
E(E(X|Y )) = E(X)
証明.
∫
∞
∫
∞
E(E(X|Y )) :=
∫
−∞ −∞
∞ ∫ ∞
=
xfX|Y (x|y) dxfY (y) dy
x
−∞
∞
∫
∫
−∞
∞
=
−∞
−∞
fX,Y (x, y)
dxfY (y) dy
fY (y)
xfX,Y (x, y) dx dy
3.2 確率変数の独立性
定義 16. 任意の (x, y) について
fX|Y (x|Y = y) = fX (x)
なら X と Y は独立という．
注 11. 条件つき pdf の定義より
fX|Y (x|Y = y) = fX (x) ⇐⇒ fX,Y (x, y) = fX (x)fY (y)
定義 17. 任意の (x1 , . . . , xn ) について
fX1 ,...,Xn (x1 , . . . , xn ) = fX1 (x1 ) · · · fXn (xn )
なら X1 , . . . , Xn は独立という．
6
注 12. cdf で定義してもよい．
定理 6. X と Y が独立なら，任意の f (.) と g(.) について
E(f (X)g(Y )) = E(f (X)) E(g(Y ))
証明. (X, Y ) が連続なら
∫
∞
∫
∞
E(f (X)g(Y )) :=
∫
−∞ −∞
∞ ∫ ∞
=
−∞
∞
∫
=
−∞
f (x)g(y)fX,Y (x, y) dx dy
f (x)g(y)fX (x)fY (y) dx dy
∫ ∞
f (x)fX (x) dx
g(y)fY (y) dy
−∞
−∞
= E(f (X)) E(g(Y ))
離散の場合も同様．
系 2. X と Y が独立なら
cov(X, Y ) = 0
注 13. すなわち独立なら無相関．逆は必ずしも成立しない．
7

Download Report