第12回

専攻科応用数学 II
第 12 回講義資料大数の法則
さいころを N 回投げ, 1 の目が出た回数を R 回とすると, N を大きくしていくと, 1 の目が出た回数
R は 1 に近づいていくということを我々は経験的に知っている. それに対して我々は
の相対度数
N
6
公正なサイコロを繰り返し投げるという試行を考えるとき, Xi を i 回目に 1 が出たら 1, それ以外の
とき 0 となる確率変数とするとき, 各 i において
P (Xi = 1) = 1 , P (Xi = 0) = 5
6
6
というベルヌーイ分布に従うことをあくまで「仮定している」にすぎない. 公正なサイコロを投げて
1
いるから「どの目も同じ割合で出る」と考えられ, 何回も投げれば, 1 の目の出る回数の相対度数は
6
に近づいていくという経験則から来ている. 大数の法則は, この経験則が実際に正しいことを示す事実
である. 本講義では, まず無限個の事象の列に対する Borel-Canntelli の補題を紹介した後, 大数の法
則の説明に必要な確率変数列の収束の概念とチェシェフの不等式を説明し, 大数の法則を紹介する.
Borel-Canntelli の補題
1
1.1
上極限集合, i.o.
(Ω, F, P ) を確率空間とし, A1 , A2 , · · · , An , · · · F を事象の列とする. このとき次の集合
∞ ∪
∞
∩
Ak
n=1 k=n
を {Ai } の上極限集合といい lim sup An という:
n→∞
lim sup An :=
n→∞
∞ ∪
∞
∩
Ak
n=1 k=n
上極限集合の定義から, 次のことがわかる.
(1) lim sup An ∈ F.
n→∞
ω ∈ lim sup An ⇔ 無限個の n に対して ω ∈ An
n→∞
以後, lim sup の n → ∞ は略す. 上の (2) により, lim sup An は無限個の n に対して An が起こるよう
n→∞
な ω の集まりであることがわかる. よって, 無限個の n に対して An が起こることを An i.o. と書く
(i.o. は inﬁnitely often の略である).
1
ボレル · カンテリ (Borel-Cantelli) の補題
1.2
定理 (ボレル · カンテリ (Borel-Cantelli) の補題) (Ω, F, P ) を確率空間とする.
(1) (第 1 定理) A1 , A2 , · · · , An , · · · ∈ F を事象の列とする. このとき
∞
∑
P (An ) < ∞ ならば
n=1
P (lim sup An ) = 0 が成り立つ.
(2) (第 2 定理) A1 , A2 , · · · , An , · · · ∈ F を独立な事象の列とする. このとき
∞
∑
P (An ) = ∞ な
n=1
らば P (lim sup An ) = 1 が成り立つ.
証明
(1) すべての m ∈ N に対して
lim sup An ⊂
∞
∪
Ak
k=m
が成り立つ. 確率測度の劣加法性により
)
( ∞
m−1
∞
∞
∑
∑
∑
∪
P (Ak )
P (Ak ) −
P (Ak ) =
Ak ≤
0≤P
k=1
k=1
k=m
k=m
である. よって任意の m に対して
P (lim sup An ) ≤
∞
∑
m−1
∑
P (Ak ) −
P (Ak )
k=1
k=1
が成り立つ. よって, 右辺で m → ∞ とすれば, 右辺は → 0 となるので, P (lim sup An ) = 0 となる.
(2) まずドモルガンの法則から次のことに注意しよう:
c
(lim sup An ) = lim inf
Acn
=
∞ ∩
∞
∪
Ack
n=1 k=n
これは次のように考えればよい. 「無限個の n に対し ω ∈ An 」の否定は「有限個の n 以外は
ω∈
/ An 」ということである. これは取りも直さず「ある番号 n0 以降すべての n に対して ω ∈
/ An 」
c
であるということになる. そこで P ((lim sup An ) ) = 0 を示せばよい. まず, 任意の m に対して
( ∞
)
∩
P
Ack = 0 を示す. l > m に対して Acm , Acm+1 , · · · , Acl は独立であるから
k=m
(
P
)
l
∩
Ack
=
k=m
l
∏
P (Ack ) =
k=m
l
∏
(1 − P (Ak ))
k=m
ここで, 任意の x ≥ 0 に対して成り立つ不等式 1 − x ≤ e−x を用いると,
l
∏
(1 − P (Ak )) ≤ e
k=m
2
−
l
∑
k=m
P (Ak )
が成り立つ. つまり
(
P
)
l
∩
≤e
Ack
−
l
∑
P (Ak )
k=m
k=m
が成り立つ. ここで l → ∞ とすると,
l
∑
P (Ak ) → ∞ となるから, 上の式の右辺 → 0. また,
(
k=m
l
∪
Ack は l に関して単調なので, 確率測度の連続性により l → ∞ のとき左辺 → P
(
k=m
なる. つまり P
∞
∩
)
Ack
∞
∩
)
Ack
と
k=m
= 0.
k=m
さて, Bm =
∞
∩
Ack とおくと lim sup An =
∞
∪
Bm と書くことができるので, 確率測度の劣加法性
m=1
k=m
により
P (lim inf
Acn )
≤
∞
∑
P (Bm ) = 0
m=1
よって P (lim sup An ) = 1 − P ((lim sup An )c ) = 1 − P (lim inf Acn ) = 1 となる. 例繰り返しサイコロを投げる試行を考える (毎回独立に投げる). Xi を i 回目のサイコロの目が 1 な
らば 1, そうでないときは 0 とすると Xi は
P (Xi = 1) = 1 , P (Xi = 0) = 5
6
6
このとき, 事象の列 {Xi = 1} は独立であり
∞
∑
P (Xi = 1) = ∞ より, ボレル · カンテリの補題から
k=1
P (lim sup{Xi = 1}) = 1. つまり, 1 の目が無限回出る確率は 1 となる.
確率変数列の収束
2
大数の法則とは, 独立で同じ分布に従う確率変数の列 X1 , X2 , · · · , Xn , · · · に対して (つまり E(X1 ) =
E(X2 ) = · · · = E(Xn ) = µ である)
X1 + X2 + · · · + Xn
n
が n → ∞ のとき µ に近づくということである. この「近づく」という概念を明確にするため, 一般
に確率変数の列 X1 , X2 , · · · Xn , · · · が n → ∞ のとき X に「近づく」という概念を明確にしよう.
定義 (確率収束) X と X1 , X2 , · · · , Xn · · · を確率空間 (Ω, F, P ) 上で定義された確率変数と確率
変数の列とする. このとき, 任意の ε > 0 に対して
lim P (|Xn − X| ≥ ε) = 0
n→∞
が成り立つとき, Xn は X に確率収束するという.
3
定義 (2 乗平均収束) X と X1 , X2 , · · · , Xn · · · を確率空間 (Ω, F, P ) 上で定義された確率変数と
確率変数の列とする.
lim E(|Xn − X|2 ) = 0
n→∞
が成り立つとき, Xn は X に 2 乗平均収束するという.
注 p > 1 に対して lim E(|Xn − X| ) → 0 が成り立つとき, p 乗平均収束するという.
p
n→∞
定義 (概収束) X と X1 , X2 , · · · , Xn · · · を確率空間 (Ω, F, P ) 上で定義された確率変数と確率変
数の列とする. P (Ω0 ) = 1 なるある Ω0 ∈ F があって, 任意の ω ∈ Ω0 に対して
lim Xn (ω) = X(ω)
n→∞
となるとき, Xn は X に概収束するという. つまり
P ({ω ∈ Ω| lim Xn (ω) = X(ω)}) = 1
となるときである.
これらの収束についての関係を知ったり, あるいは大数の弱法則を示したりするのに必要な次の不
等式を証明する.
命題 (Chebyshev の不等式) 確率変数 X とする. このとき任意の ε > 0 , p > 0 に対して
P (|X| ≥ ε) ≤ 1p E(|X|p )
ε
が成り立つ.
証明 X が確率密度関数 fX をもつ分布に従う場合にのみ示す. 離散型や他の一般の確率変数でも
成り立つ (後に続く注を参照).
∫
P (|X| ≥ ε) =
∫
−ε
∞
fX (x)dx +
fX (x)dx
−∞
ε
(∫ −ε
)
∫ ∞
1
p
p
ε fX (x)dx +
ε fX (x)dx
= p
ε
−∞
ε
(∫ −ε
)
∫ ∞
1
p
p
≤ p
|x| fX (x)dx +
|x| fX (x)dx
ε
−∞
ε
∫ ∞
1
≤ p
|x|p fX (x)dx = 1p E(|X|p )
ε −∞
ε
4
注ルベーグ式の積分の表記を用いれば一般の場合で証明ができる. 実際
∫
∫
1
P (|X| ≥ ε) =
dP (ω) = p
εp dP (ω)
ε {ω∈Ω:|X(ω)|≥ε}
{ω∈Ω:|X(ω)|≥ε}
∫
∫
1
1
p
≤ p
|X| dP (ω) ≤ p
|X(ω)|p dP (ω)
ε {ω∈Ω:|X(ω)|≥ε}
ε Ω
= 1p E(|X|p )
ε
問確率変数の列 {Xn } が X に 2 乗平均収束しているならば, 確率収束していることを示せ. したがっ
て, 2 乗平均収束は確率収束より強い概念である.
注 Xn が X に概収束すれば, Xn は X に確率収束する (証明は 4 節に付録として載せる). したがっ
て, 概収束は確率収束より強い収束の概念である.
大数の法則
3
3.1
大数の 2 乗平均法則
最も簡単な大数の法則は次の大数の 2 乗平均法則である.
命題 X1 , X2 , · · · , Xn , · · · は独立な確率変数の列で, それぞれの平均は µ, 分散は σ 2 であると
する. このとき
Sn = X1 + X2 + · · · + Xn
とおくと
Sn
は µ に 2 乗平均収束する.
n
証明まず
(
E
)
1 S = 1 E(S ) = 1 E(X + · · · + X ) = E(X1 ) + · · · + E(Xn ) = nµ = µ
n
1
n
n n
n
n
n
n
また, X1 , X2 , · · · , Xn は独立であるから
((
)2 )
(
)
1
E
Sn − µ
= Var 1 Sn = 12 Var(Sn )
n
n
n
2
2
Var(X1 ) + · · · + Var(Xn )
= nσ2 = σ → 0(as n → ∞)
=
2
n
n
n
よって示された. この証明では, X1 , X2 , · · · , Xn , · · · が独立な確率変数であり, それぞれの平均が
µ で分散が σ 2 であることだけを仮定しているが, 本来の大数の法則は確率変数列は独立で同分布にし
たがっていることを仮定する.
3.2
弱法則
定理 (大数の弱法則) X1 , X2 , · · · , Xn , · · · は独立な確率変数の列で, それぞれの平均が µ, 分散
X + · · · + Xn
は µ に確率収束する.
が σ 2 であるとする. このとき, 1
n
5
証明確率変数
Sn
− µ にチェビシェフの不等式を用いると
n
(
2 )
(
)
Sn
Sn
1
P − µ ≥ ε ≤ 2 E − µ
n
n
ε
が成り立つ. ここで,
(as n → ∞). 3.3
Sn
は µ に 2 乗平均収束するので, 右辺 → 0 (as n → ∞). よって, 左辺 → 0
n
強法則
定理 (大数の強法則) X1 , X2 , · · · , Xn , · · · を独立同分布に従う確率変数の列とする. このとき
µ = E(Xk ) が存在すれば
({
})
X1 (ω) + X2 (ω) + · · · + Xn (ω)
P
ω ∈ Ω| lim
=µ
=1
n→∞
n
つまり
X1 + · · · + Xn
は µ に概収束する.
n
確率収束より概収束の方が強い概念であるので, 大数の強法則の方がその名の通り, 強い主張である.
大数の強法則の証明は非常に難しいが, E(Xk4 ) が存在する場合は比較的容易に証明できるので 5 節に
付録として載せる.
4
確率収束と概収束 (付録)
命題 Xn が X に概収束すれば Xn は X に確率収束する.
証明 lim Xn (ω0 ) = X(ω0 ) とは, 任意の ε > 0 に対してある m ∈ N があって n ≥ m なる任意の
n→∞
n ∈ N に対して |Xn (ω) − X(ω)| ≤ ε となることである. これを言い換えると, ω0 が次の集合に入るこ
とと同値である:
∞ ∩
∞
∩ ∪
{ω ∈ Ω : |Xn (ω) − X(ω)| < ε}
ε>0 m=1 n=1
概収束するので上の事象の確率は 1 である. したがって, 任意の ε > 0 に対し, それより広い次の事象
の確率も 1 である
∞ ∩
∞
∪
{ω ∈ Ω : |Xn (ω) − X(ω)| < ε}
m=1 n=m
よって, 余事象の確率は 0 であるから, やはり任意の ε > 0 に対し
( ∞ ∞
)
∩ ∪
P
{ω ∈ Ω : |Xn (ω) − X(ω)| ≥ ε} = 0
m=1 n=m
6
∞
∪
が成り立つ. ところで, 事象の列
{ω ∈ Ω : |Xn (ω) − X(ω)| ≥ ε} は m に関して単調減少な事象列
n=m
であるので, 確率測度の連続性から, 左辺は
lim P ({ω ∈ Ω : |Xn (ω) − X(ω)| ≥ ε})
n→∞
に等しい, つまり, 任意の ε > 0 に対し
lim P ({ω ∈ Ω : |Xn (ω) − X(ω)| ≥ ε}) = 0
n→∞
となる. これは確率収束に他ならない. 5
大数の強法則の証明 (4 次のモーメントが存在する場合のみ)(付録)
ここでは次のことを示す.
定理 (4 次のモーメントが存在する場合の大数の強法則) X1 , X2 , · · · , Xn , · · · を独立な確率変数
列とし, 任意の k = 1, 2, · · · に対して E(Xk ) = µ であり, k に無関係な定数 K > 0 が存在して
E(Xk4 ) ≤ K とする ({Xk } が独立で同分布なら 4 次のモーメントが存在するだけで問題ない). こ
のとき
({
})
X1 (ω) + X2 (ω) + · · · + Xn (ω)
P
ω ∈ Ω| lim
=µ
=1
n→∞
n
証明確率変数を Xn − µ とすることにより, はじめから µ = 0 であるとして差し支えない. つまり,
すべての k = 1, 2, · · · に対して E(Xk ) = 0 と仮定する.
まず次のことに注意しよう:
E((X1 + X2 + · · · + Xn ) ) =
4
n
∑
E(Xj4 ) + 6
∑
j=1
E(Xi2 Xj2 )
i<j
なぜなら (X1 + X2 + · · · + Xn )4 を展開すると次の 4 種類の項が出てくる
Xi4 , Xi2 Xj2 , Xi Xj3 , Xi Xj2 Xk , Xi Xj Xk Xl .
ところが, E(Xk ) = 0 と独立性により E(Xi Xj3 ) = E(Xi )E(Xj3 ) = 0, E(Xi Xj2 Xk ) = E(Xi )E(Xj2 )E(Xk ) =
0, E(Xi Xj Xk Xl ) = E(Xi )E(Xj )E(Xk )E(Xl ) = 0 が成り立つからである. また Xi2 Xj2 の係数は多項
定理
∑
4!
(X1 + · · · + Xn )4 =
X p1 · · · Xnpn
p1 ! · · · pn ! 1
p1 +···+pn =4
を用いると 6 であるとわかる.
さて, シュワルツの不等式から, 任意の i に対して
E(Xi2 ) ≤ E(Xi4 ) ≤ K
\ j ならば
また, 独立性を用いて i =
E(Xi2 Xj2 ) = E(Xi2 )E(Xj2 ) ≤ K
7
であるから, 結局
E(Sn4 ) ≤ nK + 3n(n − 1)K ≤ 3Kn2
よってチェビシェフの不等式を用いると
(
)
E(Sn4 )
Sn 1
P ≤ 3K
≥ 1/8 = P (|Sn | ≥ n7/8 ) ≤
n
n
n7/2
n3/2
ここで,
∑
1
n
3/2
は収束するので
∑
P (|Sn /n| ≥ 1/n1/8 ) < ∞. よって An = {|Sn /n| ≥ 1/n1/8 } とおく
Sn
は
n
0 に収束することをみよう. ω ∈
/ lim sup An とすると, |Sn (ω)/n| ≥ 1/n1/8 となる n は有限個しかない
ことがわかる. つまり, ω ∈
/ lim sup An に対してある番号 N があって n ≥ N ならば |Sn (ω)/n| < 1/n1/8
Sn (ω)
が成り立つ. この ω に対しては lim
= 0 が成り立つ. n→∞
n
とボレル · カンテリの補題により P (lim sup An ) = 0 である. lim sup An の補集合の元に対して,
8

Download Report