2014 年 4 月 23 日
第 3 回多変量分布（1.1, A.4.2）
村澤康友
目次
1
同時分布と周辺分布
2
積率
11
3
条件つき分布
17
4
確率変数の独立性
22
2
1
1 同時分布と周辺分布
同時 cdf
(X, Y ) を確率ベクトルとする．
定義 1. (X, Y ) の同時 cdf は
FX,Y (x, y) := Pr[X ≤ x, Y ≤ y]
2
2 変量同時 cdf のグラフ
y
z
x
3
周辺 cdf
定義 2. X の周辺 cdf は
FX (x) := Pr[X ≤ x]
注：同時 cdf と周辺 cdf の関係は
FX (x) := Pr[X ≤ x]
= Pr[X ≤ x, Y < ∞]
= FX,Y (x, ∞)
4
同時確率関数
(X, Y ) を離散確率ベクトルとする．
定義 3. (X, Y ) の同時確率関数は
pX,Y (x, y) := Pr[X = x, Y = y]
5
周辺確率関数
定義 4. X の周辺確率関数は
pX (x) := Pr[X = x]
注：同時確率関数と周辺確率関数の関係は
pX (x) := Pr[X = x]
∑
=
Pr[X = x, Y = y]
y
=
∑
pX,Y (x, y)
y
6
同時密度関数
(X, Y ) を連続確率ベクトルとする．
定義 5. 任意の (x, y) について
∫
FX,Y (x, y) =
y
−∞
∫
x
−∞
fX,Y (s, t) ds dt
となる fX,Y (., .) を (X, Y ) の同時密度関数という．
7
注：任意の a, b, c, d について
∫
d
∫
Pr[a < X ≤ b, c < Y ≤ d] =
b
fX,Y (x, y) dx dy
c
a
注：FX,Y (., .) が微分可能なら
∂ 2 FX,Y
fX,Y (x, y) :=
(x, y)
∂x∂y
8
2 変量同時密度関数のグラフ
y
z
x
9
周辺密度関数
定義 6. X の周辺密度関数は
∫
fX (x) :=
∞
−∞
fX,Y (x, y) dy
10
2 積率
期待値（p. 292）
定義 7. g(X, Y ) の期待値は
E(g(X, Y ))
{∑ ∑
g(x, y)pX,Y (x, y)
x
y
:= ∫ ∞ ∫ ∞
g(x, y)fX,Y (x, y) dx dy
−∞ −∞
11
（離散）
（連続）
期待値の線形性（p. 293）
定理 1.
E(aX + bY ) = a E(X) + b E(Y )
証明：
∫
∞
∫
E(aX + bY ) :=
∞
(ax + by)fX,Y (x, y) dx dy
−∞ −∞
∫ ∞∫ ∞
xfX,Y (x, y) dx dy
=a
−∞ −∞
∫ ∞∫ ∞
+b
−∞
−∞
12
yfX,Y (x, y) dx dy
共分散（p. 293）
定義 8. X と Y の共分散は
cov(X, Y ) := E((X − E(X))(Y − E(Y )))
注：σXY と表す．
注：X が大きいと Y も大きいなら共分散は正，X が大きい
と Y は小さいなら共分散は負．
13
共分散のもう 1 つの表現（p. 293）
定理 2.
cov(X, Y ) = E(XY ) − E(X) E(Y )
証明：
cov(X, Y ) := E((X − E(X))(Y − E(Y )))
= E(XY − X E(Y ) − E(X)Y + E(X) E(Y ))
= E(XY ) − E(X) E(Y )
− E(X) E(Y ) + E(X) E(Y )
14
確率変数の線形結合の分散（p. 293）
定理 3.
var(aX + bY ) = a2 var(X) + 2ab cov(X, Y ) + b2 var(Y )
証明：
(
)
var(aX + bY ) := E (aX + bY − E(aX + bY ))
(
)
2
= E [a(X − E(X)) + b(Y − E(Y ))]
( 2
)
2
= E a (X − E(X))
2
+ 2 E(ab(X − E(X))(Y − E(Y )))
)
( 2
2
+ E b (Y − E(Y ))
15
相関係数（p. 293）
定義 9. 標準化した確率変数の共分散を相関係数という．
注：X と Y の関係の強さを表す．
注：ρXY と表す．すなわち
(
ρXY
X − µX Y − µY
:= cov
,
σX
σY
)
(
X − µX Y − µY
=E
σX
σY
E((X − µX )(Y − µY ))
=
σX σY
σXY
=
σX σY
16
)
3 条件つき分布
条件つき pdf
定義 10. Y = y が与えられたときの X の条件つき確率関
数は，
pX,Y (x, y)
pX|Y (x|Y = y) :=
pY (y)
17
定義 11. Y = y が与えられたときの X の条件つき密度関
数は，
fX,Y (x, y)
fX|Y (x|Y = y) :=
fY (y)
注：条件つき確率と同様に定義する．
18
条件つき期待値（p. 291）
定義 12. Y = y が与えられたときの X の条件つき期待値は
{∑
xpX|Y (x|Y = y)
x
E(X|Y = y) := ∫ ∞
xfX|Y (x|Y = y) dx
−∞
19
（離散）
（連続）
条件つき分散
定義 13. Y = y が与えられたときの X の条件つき分散は
(
var(X|Y = y) := E (X − E(X|Y = y)) |Y = y
2
20
)
繰り返し期待値の法則
定理 4.
E(E(X|Y )) = E(X)
証明：
∫
∞
∫
∞
E(E(X|Y )) :=
∫
−∞ −∞
∞ ∫ ∞
xfX|Y (x|y) dxfY (y) dy
fX,Y (x, y)
dxfY (y) dy
=
x
fY (y)
−∞ −∞
∫ ∞∫ ∞
=
xfX,Y (x, y) dx dy
−∞
−∞
21
4 確率変数の独立性
2 つの確率変数の独立性
定義 14. 任意の (x, y) について
fX|Y (x|Y = y) = fX (x)
なら X と Y は独立という．
注：条件つき pdf の定義より
fX|Y (x|Y = y) = fX (x) ⇐⇒ fX,Y (x, y) = fX (x)fY (y)
22
n 個の確率変数の独立性
定義 15. 任意の (x1 , . . . , xn ) について
fX1 ,...,Xn (x1 , . . . , xn ) = fX1 (x1 ) · · · fXn (xn )
なら X1 , . . . , Xn は独立という．
注：cdf で定義してもよい．
23
定理 5. X と Y が独立なら，任意の f (.) と g(.) について
E(f (X)g(Y )) = E(f (X)) E(g(Y ))
証明：
∫
∞
∫
∞
E(f (X)g(Y )) :=
∫
−∞ −∞
∞ ∫ ∞
f (x)g(y)fX,Y (x, y) dx dy
f (x)g(y)fX (x)fY (y) dx dy
−∞ −∞
∫ ∞
∫ ∞
=
f (x)fX (x) dx
g(y)fY (y) dy
=
−∞
−∞
24
独立と無相関
系 1. X と Y が独立なら
cov(X, Y ) = 0
注：すなわち独立なら無相関．逆は必ずしも成立しない．
25
今日のキーワード
同時 cdf，周辺 cdf，同時 pdf，周辺 pdf，期待値の線形性，共
分散，確率変数の線形結合の分散，相関係数，条件つき cdf，
条件つき pdf，条件つき期待値，条件つき分散，繰り返し期
待値の法則，確率変数の独立性，独立と無相関
26

Download Report