LEC12 2変量分布ノート

統計 II LEC12
NOTE1
同時分布、周辺分布、条件付き分布
離散的ケース
Xi: Xのとるｉ番目の値、i =1,..,I
(I通り)
Yj:Yのとるｊ番目の値、j =1,..,J
(J通り)
同時分布
Pij ：母集団で X = Xi かつ Y = Yj となる確率。ij Pij = 1
周辺分布（無条件分布）
PXi: X = Xi となる割合、PXi = j Pij,
i PXi. = 1
PYj: Y = Yj となる割合、PYj = i Pij,
j PYj = 1
同時分布
X1
X2
Xi
X
XI
Y 周辺分布
平均
Y1
P11
P21
Pi1
Y
Y2 ..
P12
P22
Pi2
PI1
PY1
PI2
PY2 … PYj
Yj .... YJ
P1J
P2J
Pij
PiJ
PIJ
PYJ
X周辺分布
PX1
PX2
PXi
PXI
E(X) = X = i Xi PXi. = i Xi j Pij = i j Xi Pij
E(Y) = Y = j Yj PYj = j YjΣiPij = i j Yj Pij
分散
Var(X) = X2 = i(Xi  E(X))2 PXi.
Var(Y) = Y2 = j(Yj  E(Y))2 PYj
Var(X) = E[(XE(X))2] = E[X22XE(X)+E(X)2] = E(X2)2E(X)2+E(X)2
= E(X2)E(X)2
共分散 Covariance
Cov(X,Y) = XY = ij(XiE(X))(YjE(Y))Pij
Cov(X,Y) = E[(XE(X))(YE(Y))]= E[XYE(X)YXE(Y)+E(X)E(Y)]
= E(XY)E(X)E(Y)E(X)E(Y)+E(X)E(Y)
= E(XY)E(X)E(Y)
条件付き分布
P(X=Xi |Y=Yj ) = PXi|Yj,
P(Y=Yj |X=Xi ) = PYj|Xi
PXi|Yj : (Y=Yj )の時(X=Xi )となる割合、 PXi|Yj = Pij/PYj , i PXi|Yj = 1
PYj|Xi : (X=Xi )の時(Y=Yj )となる割合、 PYj|Xi = Pij/PXi. , j PYj|Xi = 1
1/8
統計 II LEC12
乗法定理
Pij = PXi|Yj x PYj = PYj|Xi x PXi.
P(X=Xi,Y=Yj) = P(X=Xi|Y=Yj ) x P(Y=Yj ) = P(Y=Yj |X=Xi ) x P(X=Xi )
独立性
定義：
PXi|Yj = PXi, PYj|Xi = PYj
P(X=Xi |Y=Yj ) = P(Xi ) が全ての(i,j)につき成立。
全ての条件付分布が周辺分布と一致する時、(X,Y)は統計的に独立と呼ばれる。この時、次の関
係が成立する。
Pij = PXi x PYj ;
P(X=Xi ,Y=Yj ) = P(X=Xi ) x P(Y=Yj );
P(X,Y) = P(X)P(Y)
・独立でない時には条件付分布は条件とともに変化する。
・(X,Y)が独立なら共分散は必ずゼロとなる（逆は成立しない）。
条件付期待値
E(Y|Xi ): (X=Xi )の時のYの期待値
E(Y|Xi ) = Y|Xi = j Yj PYj|Xi
E(X|Yj ): (Y=Yj )の時のXの期待値
E(X|Yj ) = X|Yj = i Xi PXi|Yj
条件付分散
Var(Y|Xi ) : (X=Xi )の時のYの分散
Var(Y|Xi ) = Y2|Xi = j(Yj -Y|Xi)2PYj|Xi
Var(X|Yj ) : (Y=Yj )の時のXの分散
Var(X|Yj ) = X2|Yj = i(Xi -X|Yj)2PXi|Yj
2/8
統計 II LEC12
数値例・練習問題
・与えられた同時分布から周辺分布(赤字)を導出。
同時分布
10
X 20
所得 30
40
50
周辺分布
(P.j )
5
.05
.02
.00
.00
.00
.07
10
.03
.10
.02
.00
.00
.15
消費
20
.00
.02
.05
.10
.05
.22
Y
15
.00
.04
.10
.07
.01
.22
25
.00
.00
.03
.06
.12
.21
30
.00
.00
.00
.03
.10
.13
周辺分布(Pi)
.08
.18
.20
.26
.28
・条件付分布P(Yj |Xi )（青字）を導出し、そこから条件付期待値（赤字）を計算。
[練習問題］
条件付期待値E(Y|Xi)を計算し、影部分の？にはいるべき数値を記入
せよ。
条件付分布
P(Yj |Xi ) = PYj|Xi
Y
消費
5
10
15
20
25
30
10
5/8
3/8
0
0
0
0
X
20
2/18 10/18 4/18 2/18
0
0
55/8≒6.9
?
所得
30
0
0
?
40
0
0
7/26 10/26 6/26 3/26
?
50
0
0
1/28 5/28 12/28 10/28
?
[練習問題]
2/20 10/20 5/20 3/20
条件付分布P(Xi|Yj )と条件付期待値E(X|Yj)を計算し、影部分の？にはいる
べき数値を記入せよ。
条件付分布
P(Xi |Yj )
Y
消費
5
10
15
20
25
10
?
?
?
?
?
?
X
20
?
?
?
?
?
?
所得
30
?
?
?
?
?
?
40
?
?
?
?
?
?
50
?
?
?
?
?
?
?
?
?
?
?
?
E(X|Yj)
E(Y|Xi )
3/8
30
統計 II LEC12
NOTE2
期待値、分散、共分散
期待値をとる操作
期待値(Expectation)
X = E(X) = iXiP(Xi)
Y = E(Y) = jYiP(Yj)
分散(Variance)・共分散(Covariance)の定義
X2 = Var(X) = i(Xi-E(X))2P(Xi)
Y2 = Var(Y) = j(Yj-E(Y))2P(Yj)
XY = Cov(X,Y) = ij(Xi-E(X))(Yj-E(Y))Pij
Pij: X,Yの同時分布 P(X=Xi,Y=Yj) = P(Xi,Yj)
Ｅオペレータ
１確率変数(X)
(1) E[a] = a, a:定数
(2) E[aG(X)] = aE[G(X)]
(3) E[G(X)+H(X)] = E[G(X)]+E[H(X)]
２確率変数(X,Y)
(1) E[a] = a, a:定数
(2) E[aG(X,Y)] = aE[G(X,Y)]
(3) E[G(X,Y)+H(X,Y)] = E[G(X,Y)]+E[H(X,Y)]
特に、 E(X+Y) = E[X]+E[Y]
期待値をとる操作（オペレーション）は線形性を満たす。(2),(3)を参照
Ｅオペレータは線形オペレータである。
X,Yが独立なら E[XY] = E[X]E[Y] が成立。しかし、一般にはE[XY]≠E[X]E[Y]。
[証明]
独立なら Pij=P(Xi)P(Yj)が全ての(i,j)につき成立。
E(XY)=ijXiYjPij =ijXiYjP(Xi)P(Yj) =j(iXiP(Xi) )YjP(Yj) = E(X)jYjP(Yj) = E(X)E(Y)
4/8
統計 II LEC12
分散(Variance)
Var(X) = E[(X-E(X))2] = E[X2+2XE(X)+E(X)2] = E(X2)-2E(X)E(X) + E(X)2 = E(X2) - E(X)2
Var(Y) = E[(Y-E(Y))2] = E(Y2) - E(Y)2
共分散(Covariance)
Cov(X,Y) = E[(X-E(X))(Y-E(Y)) = E[XY-XE(Y)-E(X)Y + E(X)E(Y)] = E(XY) - E(X)E(Y)
これより以下の２つの関係は明らか。
Cov(X,Y) = Cov(Y,X)
Cov(X,X) = E(X2)-E(X)2 = Var(X)
X,Yが独立ならCov(X,Y) = 0。しかし逆は成立しない。
反復期待値 (Law of Iterated Expectations, LIE)
無条件の期待値は条件付期待値の期待値
E(Y) = EXE(Y|X)
ここで記号EXはXの分布関数を使って期待値をとる操作を表す。
[証明]
EXE(Y|X) = iE(Y|Xi)PXi. = i(jYjPYj|Xi)PXi = i(jYjPij/PXi)PXi = ijYjPij = jYjPYj = E(Y)
一般のX,Yの関数についても反復期待値は成立する。
E(G(X,Y)) = EXE(G(X,Y)|X)
E(G(X,Y)) = ijG(Xi,Yj)Pij = i(jG(Xi,Yj)PYj|Xi)PXi = i((G(X,Y)|Xi)PXi= EXE(G(X,Y)|X)
無条件期待値 = 条件付き期待値の期待値
条件付き分散と（無条件）分散
Var(Y) = E[(YE(Y))2] = E[(Y E(Y|X) + E(Y|X)  E(Y))2]
= E[(Y E(Y|X))2] + E[(E(Y|X)  E(Y))2] + 2E[(Y E(Y|X))(E(Y|X) E(Y))]
上式の最後の項は反復期待値をとればゼロとなることがわかる。
E[(Y- E(Y|X))(E(Y|X) E(Y))]
= EX[E[(Y E(Y|X))(E(Y|X)  E(Y))]|X]
= EX[(E(Y|X)  E(Y))E[(Y E(Y|X))|X]
= EX[(E(Y|X)  E(Y))(E(Y|X)  E(Y|X))|X]
=0
5/8
統計 II LEC12
従って、無条件分散は「条件付分散の期待値」と「条件付期待値の分散」に分解される。
Var(Y) = EX[E(Y E(Y|X))2|X] + E[(E(Y|X)  E(Y))2]
分散 = 条件付分散の期待値 + 条件付期待値の分散
下図には条件付分布と無条件分布の例がある。図から
「無条件の期待値は条件付期待値の期待値」、
「無条件分散 = 条件付分散の期待値 + 条件付期待値の分散」
となることが直感的に読み取れる（だろう）。
条件付分布と周辺分布
Y
条件付分布
x:条件付期待値 ,E
周辺分布
* : 期待値、 E(Y)
x
*
x
条件付分布
x
周辺分布
X
[練習問題]
１． X,Yが独立ならG(X)とYも無相関。
２． X,Yが独立ならG(X)とH(Y)も無相関。
３． X,Yは非独立であるが無相関となる同時分布の数値例を挙げよ。
6/8
統計 II LEC12
NOTE3
ケース１
確率変数の線形関数の期待値、分散、共分散
X：1個の確率変数
線形関数
Y = a + bX (a,bは定数)
期待値
E(Y) = a + bE(X)
分散
Var(Y) = b2Var(X)
ケース２
X,Y：2個の確率変数
和、差
期待値
E(X±Y)=E(X)±E(Y)
分散
Var(X±Y)=Var(X)±2Cov(X,Y)+Var(Y)
X,Yが無相関なら和(差)の分散＝分散の和
Var(X±Y)=Var(X) +Var(Y)
線形関数１
Z = a + bX + cY (a,b,cは定数)
期待値
E(Z) = a+bE(X)+cE(Y)
分散
Var(Z) = b2Var(X)+2bcCov(X,Y)+ c2Var(Y)
X,Yが無相関なら
Var(a+bX+cY) = b2Var(X)+ c2Var(Y)
線形関数２（２つの線形関数）
Z 1 = a1+b1X+c1Y
(ai,bi,ci, i=1,2は定数)
Z 2 = a2+b2X+c2Y
共分散
Cov(Z1,Z2) = b1b2Var(X) + (b1c1+b2c1)Cov(X,Y) + c1c2Var(Y)
共分散オペレータ
Cov(X,Y) = E[(X-E(X))(Y-E(Y))]
線形関数同士の共分散
Cov(a1+b1X+c1Y, a2+b2X+c2Y) = E[{b1(XE(X))+c1(YE(Y))}{b2(XE(X))+c2(YE(Y))}]
7/8
統計 II LEC12
= E[b1b2(XE(X)) (XE(X))] + E[c1b2(YE(Y))(XE(X))]
+ E[b1c2(XE(X)) (YE(Y))] + E[c1c2(YE(Y))(YE(Y))]
= b1b2Cov(X,X) + c1b2Cov(Y,X) + b1c2Cov(X,Y) + c1c2Cov(Y,Y)
共分散の便利な計算ルール
・定数項は無視
・多項式同士の掛け算をつくり、
・係数をくくり出し、
・確率変数の「掛け算」に対応する項につき共分散をとる。
例
定数との共分散はゼロ
Cov(X,a) = 0
Cov(X, a+bY) = Cov(X,a)+Cov(X,bY) = bCov(X,Y)
Cov(X, a+bX+cY) = Cov(X,a) + Cov(X,bX) + Cov(X,cY)
= 0 + bCov(X,X) + cCov(X,Y)
= bVar(X) + cCov(X,Y)
Cov(a1+b1X+c1Y, a2+b2X+c2Y) = Cov(a1,
a2+b2X+c2Y)
+ Cov(b1X, a2+b2X+c2Y)
+ Cov(c1Y, a2+b2X+c2Y)
=0
+ Cov(b1X, a2) + Cov(b1X, b2X) + Cov(b1X, c2Y)
+ Cov(c1Y, a2) + Cov(c1Y, b2X) + Cov(c1Y, c2Y)
= b1b2Cov(X,X) + b1c2Cov(X, Y)
c1b2Cov(Y,X) + c1c2Cov(Y, Y)
影部分はゼロ。
ケース３
n個の確率変数
X1,X2,..,Xn
和の期待値
E(X1+X2+..+Xn) = E(X1) + E(X2) +..+ E(Xn)
和の分散（独立なケース）
X1,..Xnが独立なら（和の分散は分散の和）
Var(X1 + X2 +..+ Xn) = Var(X1) + Var(X2) +. .+ Var(Xn)
均一分散、あるいは同一分布からの無作為標本
Var(Xi) = Var(X) = 2, i=1,..n
Var(X1+X2+..+Xn) = nVar(X) = n2
Var( X ) = Var((iXi)/n) = (1/n)2 Var(iXi ) = (1/n)2n2 = 2/n
Var(iaiXi) = (iai2) 2
ai, i=1,..,n は定数。
8/8

Download Report