第 15 回 大数の法則と中心極限定理
村澤 康友
2014 年 12 月 1 日
目次
1
標本平均
1
2
大数の法則
2
2.1
チェビシェフの不等式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
2.2
確率変数の収束
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
2.3
大数の弱法則 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
中心極限定理
4
3
3.1
確率分布の収束
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
3.2
中心極限定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
1 標本平均
X1 , . . . , Xn の標本平均は
¯ n := X1 + · · · + Xn
X
n
定理 1. X1 , . . . , Xn が平均 µ の同一な分布をもつなら
( )
¯n = µ
E X
証明.
(
)
X1 + · · · + Xn
n
E(X1 ) + · · · + E(Xn )
=
n
µ + ··· + µ
=
n
=µ
( )
¯n = E
E X
定理 2. X1 , . . . , Xn が分散 σ 2 の独立かつ同一な分布をもつなら
( ) σ2
¯n =
var X
n
1
証明. X1 , . . . , Xn は独立なので
)
X1 + · · · + Xn
n
var(X1 + · · · + Xn )
n2
var(X1 ) + · · · + var(Xn )
n2
2
σ + · · · + σ2
n2
2
σ
n
( )
¯ n = var
var X
=
=
=
=
(
2 大数の法則
2.1 チェビシェフの不等式
確率変数 X の分布の裾の確率を求めたい．分布が既知なら cdf・pdf から Pr[|X| ≥ c] が正確に求まる．分
布が未知でも積率から Pr[|X| ≥ c] の上限が求まる．
補題 1 (マルコフの不等式). E(|X|) < ∞ なら任意の c > 0 について
Pr[|X| ≥ c] ≤
E(|X|)
c
証明. X が連続なら
∫
c Pr[|X| ≥ c] = c
fX (x) dx
|x|≥c
∫
=
cfX (x) dx
|x|≥c
∫
≤
|x|fX (x) dx
|x|≥c
∞
∫
≤
−∞
|x|fX (x) dx
= E(|X|)
離散の場合も同様．
2
定理 3 (チェビシェフの不等式). σX
< ∞ なら任意の c > 0 について
Pr[|X − µX | ≥ c] ≤
2
2
σX
c2
証明. マルコフの不等式より
[
]
Pr[|X − µX | ≥ c] = Pr |X − µX |2 ≥ c2
(
)
E |X − µX |2
≤
c2
var(X)
=
c2
注 1. c が大きいときマルコフの不等式よりシャープな上限を与える．また大数の法則の証明に用いる．
例 1. 標準化変量を Z とすると偏差値は 10Z + 50．例えば
|Z| ≥ 2 ⇐⇒ 偏差値 30 以下か 70 以上
|Z| ≥ 3 ⇐⇒ 偏差値 20 以下か 80 以上
チェビシェフの不等式より
1
4
1
Pr[|Z| ≥ 3] ≤
9
Pr[|Z| ≥ 2] ≤
2.2 確率変数の収束
{Xn } を確率変数列とする．
定義 1. 任意の ϵ > 0 について
lim Pr[|Xn − c| < ϵ] = 1
n→∞
なら {Xn } は c に確率収束するという．
p
注 2. plimn→∞ Xn = c または Xn −→ c と書く．
注 3. 確率変数の収束の概念は他にもいろいろある．
2.3 大数の弱法則
定理 4 (チェビシェフの大数の弱法則). X1 , . . . , Xn が平均 µ，分散 σ 2 の独立かつ同一な分布をもつなら
¯n = µ
plim X
n→∞
証明. チェビシェフの不等式より，任意の ϵ > 0 について
[
(
¯n
¯n − E X
Pr X
すなわち
)
( )
¯n
] var X
≥ϵ ≤
2
ϵ
2
[
]
¯ n − µ ≥ ϵ ≤ σ /n
Pr X
ϵ2
3
1.0
0.8
0.6
0.0
0.2
0.4
vx/vn
0
20
40
60
80
100
Index
図1
余事象の確率は
n → ∞ の極限をとると
n 回のコイントスにおける表の割合
2
[
]
¯ n − µ < ϵ > 1 − σ /n
Pr X
ϵ2
[
]
¯n − µ < ϵ ≥ 1
lim Pr X
n→∞
確率は 1 以下なので等号が成立．
例 2. コインを 10 回，100 回，1000 回と投げ続けると表の出る割合は 1/2 に近づく（図 1）．
3 中心極限定理
3.1 確率分布の収束
{Xn } に対応する cdf の列を {Fn (.)} とする．
定義 2. F (.) の任意の連続点 x で
lim Fn (x) = F (x)
n→∞
なら {Xn } は F (.) に分布（法則）収束するという．
d
注 4. Xn −→ F (.) と書く．
4
3.2 中心極限定理
定理 5 (リンドバーグ＝レヴィの中心極限定理). {Xi } が平均 µ，分散 σ 2 の独立かつ同一な分布をもつなら
1 ∑ Xi − µ d
√
−→ N(0, 1)
σ
n i=1
n
証明. 左辺を Y とする．すなわち
1 ∑
Zi
Y := √
n i=1
n
ただし
Zi :=
Xi − µ
σ
Z1 , . . . , Zn は独立なので，Y の mgf は，任意の t について
( )
MY (t) := E etY
(
(
))
n
t ∑
Zi
= E exp √
n i=1
( n
(
))
∏
t
exp √ Zi
=E
n
i=1
(
(
))
n
∏
t
=
E exp √ Zi
n
i=1
(
)n
t
= MZ √
n
MZ′ (0) = 0，MZ′′ (0) = 1 なので，マクローリン展開より
(
MZ
t
√
n
)
t
M ′′ (0)
= MZ (0) + MZ′ (0) √ + Z
2
n
t2
=1+
+ ···
2n
(
t
√
n
)2
したがって
(
lim MZ
n→∞
t
√
n
)n
(
= lim
n→∞
= et
2
t2
+ ···
1+
2n
/2
これは N(0, 1) の mgf．
注 5. 定理を書き換えると
¯ −µ d
X
√n
−→ N(0, 1)
σ 2 /n
定義 3. n が大きいときの Xn の近似分布を漸近分布という．
5
)n
+ ···
n = 10
150
50
100
Frequency
200
150
Frequency
100
300
200
0
1
2
3
4
5
6
0
0
0
50
100
Frequency
n = 100
250
400
n = 1
0.5
1.0
x
1.5
2.0
x
図2
注 6. 中心極限定理より
指数乱数の標本平均の分布
(
)
σ2
a
¯
Xn ∼ N µ,
n
a
ただし ∼ は漸近分布であることを表す．
例 3. 指数乱数の標本平均の分布（図 2）．
6
0.8
1.0
1.2
x
1.4
© Copyright 2024 ExpyDoc
