第 13 回大数の法則と中心極限定理

第 13 回大数の法則と中心極限定理
村澤康友
2015 年 6 月 15 日
目次
1
標本平均
1
2
大数の法則
2
2.1
確率変数の収束
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
2.2
大数の弱法則 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
中心極限定理
3
3
3.1
確率分布の収束
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
3.2
中心極限定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
3.3
正規乱数の生成
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
1 標本平均
{Xi } を確率変数列とする．
定義 1. (X1 , . . . , Xn ) の標本平均は
X̄n :=
X1 + · · · + Xn
n
注 1. 確率変数の平均（期待値）とは異なる．
定理 1. X1 , . . . , Xn が平均 µ の同一な分布をもつなら
( )
E X̄n = µ
証明. 期待値の線形性より
(
)
X1 + · · · + Xn
n
E(X1 ) + · · · + E(Xn )
=
n
µ + ··· + µ
=
n
=µ
( )
E X̄n = E
1
定理 2. X1 , . . . , Xn が分散 σ 2 の独立かつ同一な分布をもつなら
( ) σ2
var X̄n =
n
証明. X1 , . . . , Xn は独立なので
)
X1 + · · · + Xn
n
var(X1 + · · · + Xn )
n2
var(X1 ) + · · · + var(Xn )
n2
2
σ + · · · + σ2
n2
2
σ
n
( )
var X̄n = var
=
=
=
=
(
2 大数の法則
2.1 確率変数の収束
{Xn } を確率変数列とする．
定義 2. 任意の ϵ > 0 について
lim Pr[|Xn − c| < ϵ] = 1
n→∞
なら {Xn } は c に確率収束するという．
p
注 2. plimn→∞ Xn = c または Xn −→ c と書く．
注 3. 確率変数の収束の概念は他にもいろいろある．
2.2 大数の弱法則
定理 3 (チェビシェフの大数の弱法則). {Xi } が平均 µ，分散 σ 2 の独立かつ同一な分布をもつなら
plim X̄n = µ
n→∞
証明. チェビシェフの不等式より，任意の ϵ > 0 について
( )
] var X̄n
[
( )
Pr X̄n − E X̄n ≥ ϵ ≤
ϵ2
すなわち
[
] σ 2 /n
Pr X̄n − µ ≥ ϵ ≤ 2
ϵ
2
1.0
0.8
0.6
0.0
0.2
0.4
x
0
50
100
150
200
Index
図1
余事象の確率は
n → ∞ の極限をとると
n 回のコイントスにおける表の割合
[
]
σ 2 /n
Pr X̄n − µ < ϵ > 1 − 2
ϵ
[
]
lim Pr X̄n − µ < ϵ ≥ 1
n→∞
確率は 1 以下なので等号が成立．
例 1. コインを 10 回，100 回，1000 回と投げ続けると表の出る割合は 1/2 に近づく（図 1）．
3 中心極限定理
3.1 確率分布の収束
{Xn } に対応する cdf の列を {Fn (.)} とする．
定義 3. F (.) の任意の連続点 x で
lim Fn (x) = F (x)
n→∞
なら {Xn } は F (.) に分布（法則）収束するという．
d
注 4. Xn −→ F (.) と書く．
3
3.2 中心極限定理
定理 4 (リンドバーグ＝レヴィの中心極限定理). {Xi } が平均 µ，分散 σ 2 の独立かつ同一な分布をもつなら
1 ∑ Xi − µ d
√
−→ N(0, 1)
σ
n i=1
n
証明. 左辺を Y とする．すなわち
1 ∑
Zi
Y := √
n i=1
n
ただし
Zi :=
Xi − µ
σ
Z1 , . . . , Zn は独立なので，Y の mgf は，任意の t について
( )
MY (t) := E etY
(
(
))
n
t ∑
Zi
= E exp √
n i=1
( n
(
))
∏
t
exp √ Zi
=E
n
i=1
(
(
))
n
∏
t
=
E exp √ Zi
n
i=1
(
)n
t
= MZ √
n
MZ′ (0) = 0，MZ′′ (0) = 1 なので，マクローリン展開より
(
MZ
t
√
n
)
t
M ′′ (0)
= MZ (0) + MZ′ (0) √ + Z
2
n
t2
=1+
+ ···
2n
(
t
√
n
)2
したがって
(
lim MZ
n→∞
t
√
n
)n
(
= lim
n→∞
= et
2
t2
+ ···
1+
2n
/2
これは N(0, 1) の mgf．
注 5. 定理を書き換えると
X̄n − µ d
√
−→ N(0, 1)
σ 2 /n
定義 4. n が大きいときの Xn の近似分布を漸近分布という．
4
)n
+ ···
n = 10
n = 100
2
4
6
8
Frequency
50
0
50
0
0
0.5
1.0
1.5
x
2.0
注 6. 中心極限定理より
指数乱数の標本平均の分布
(
)
σ2
X̄n ∼ N µ,
n
a
a
ただし ∼ は近似分布を表す．
例 2. 指数乱数の標本平均の分布（図 2）．
3.3 正規乱数の生成
{Ui } を [0, 1] 上の一様乱数の列とすると
1
2
1
var(Ui ) =
12
E(Ui ) =
X := U1 + · · · + U12 − 6 とすると
E(X) = 0
var(X) = 1
また中心極限定理より
2.5
x
図2
100
150
200
150
100
Frequency
500
300
0
100
Frequency
200
250
n=1
a
X ∼ N(0, 1)
これを利用して一様乱数から標準正規乱数が生成できる（図 3）．
5
0.6
0.8
1.0
x
1.2
1.0
0.8
0.6
pnorm(x)
0.0
0.2
0.4
0.6
0.4
0.2
0.0
Fn(x)
0.8
1.0
ecdf(x)
−4
−2
0
2
4
−4
x
図3
−2
0
x
標準正規乱数の累積相対度数グラフと N(0, 1) の cdf
6
2
4

Download Report