確率・統計（電子２年）
第 12 講
• 確率変数列の収束
• 大数の弱法則
16. 確率変数列の収束（参考書４．１章）
Xn → X は，各 ω ∈ Ω 毎の実数列の収束ではなく，
（Ω 上の）関数列の収束．
1. 概収束：Xn →a.s. X （Xn → X w.p.1 とも書く）
Pr[{ω| lim Xn (ω) = X(ω)}] = 1
n→∞
• a.s は almost surely の意味．w.p.1 は with probability one の意味．
• ほとんどの運命 ω に対して（つまり確率 1 で），その（固定した）ω に
おいて，n を大きくしていくと，出現値の差： |Xn (ω) − X(ω)| が 0 に
近づく（0 へ収束）．
• 言換えると，ある運命の集合 A があり，
Pr[A] = 1 かつ ω ∈ A ⇒ lim Xn (ω) = X(ω) が成立．
n→∞
2. 確率収束：Xn →P X
∀ε > 0
lim Pr[{ω||Xn (ω) − X(ω)| > ε}] = 0
n→∞
• 小さな正数 ε を与えても，n を大きくしていくと，出現値の差が ε を越
える確率： Pr[|Xn − X| > ε] が 0 に近づく（0 へ収束）．
• 言換えると，任意の正数 ε と自然数 n に対して運命の集合
def
A(ε)
lim Pr[A(ε)
n = {ω||Xn (ω) − X(ω)| > ε} を定義すると，n→∞
n ] → 0 が
成立．
• この時，運命 ω によっては出現値の差（|Xn (ω) − X(ω)|）が 0 へ収束し
ない場合もある．
3. 法則収束：Xn →D X （F, Fn を，X, Xn の分布関数として）
「点 x で F が連続」ならば「limn→∞ Fn (x) = F (x)」
• 分布 Pr[{ω|X(ω) ≤ x}] が連続である点 x で，n を大きくしていくと，確
率分布値の差： | Pr[Xn ≤ x] − Pr[X ≤ x]| が 0 に近づく（0 へ収束）．
• なお，
（確率変数ではなく）分布の収束と見る場合，
「分布の弱収束」と
呼び，Fn →D F と書く．
1
✞
☎
概収束と確率収束の違いの例 ✆
✝
以前の講義で出てきた例である．コインを独立に繰り返し投げ続ける．ただし，
回を重ねるほど表が出にくくなるとする．
「n 回目に表が出る」という事象を An と
する．n 回目に表の出る確率が
(i) Pr[An ] =
∞
1
，つまり，表が急速に出にくくなる場合：
Pr[An ] = 1 < ∞
2n
n=1
∞
1
(ii) Pr[An ] =
，つまり，表が徐々に出にくくなる場合：
Pr[An ] = ∞
n+1
n=1
1 ω ∈ An
を
0 ω∈
/ An
「n 回目が表なら 1（裏なら 0）を取る」確率変数：Xn (ω) =
定義する．
• (i) の場合は，Borel-Cantelli の第一定理より，
c
Pr limn→∞ An = 0 よって， Pr[ limn→∞ An ] = 1
つまり，
「ある番号から先はずっと連続して裏が出る」確率が 1．これより，
– Xn （n 回目が表なら 1，裏なら 0）は 0 に概収束する（Xn →a.s. 0 ）．
/ limn→∞ An =
（参考）厳密に式を使った証明：ω ∈
⎛
∃n ⎝ω ∈
/
∞
j=n
⎞
∞
n=1
⎛
⎝
∞
j=n
⎞
Aj ⎠ なる ω に対して，
Aj ⎠ ．言い換えると，すべての j = n, n + 1, n + 2, · · · で ω ∈
/ Aj な
def
ので，Xn (ω) = Xn+1 (ω) = · · · = 0．すなわち，D = {ω| lim Xn (ω) = 0} と置く
と， limn→∞ An
c
n→∞
⊂ D ．よって，
c
Pr[D] ≥ Pr[ limn→∞ An ] = 1 − Pr[limn→∞ An ] = 1
より， Xn →a.s. 0．
• (ii) の場合は，A1 , A2 , . . . は独立なので，Borel-Cantelli 第二定理より，
Pr limn→∞ An = 1
つまり，
「どんな大きな番号を取っても，それより後で表が出る」確率が 1 で
ある，これより，どんな大きな番号より先でも時々表が出ることになり，
– Xn（n 回目が表なら 1，裏なら 0）は 0 に概収束しない．
（Xn →a.s. 0）．
– しかし，実は確率収束する（Xn →P 0）．
なぜなら，任意の正数 ε を固定し，{ω|Xn(ω) > ε} = {ω|Xn (ω) = 1} = An より，
Pr[{ω|Xn (ω) > ε}] = Pr[An ] =
2
1
より， Xn →P 0
n+1
確率変数の収束と期待値の収束
• 単調収束定理：X, X1 , X2 , . . . が非負で，X1 (ω) ≤ X2 (ω) ≤ . . . の場合，
Xn →a.s. X
⇒
lim E[Xn ] = E[X]
（ベッポ・レヴィの定理）
n→∞
• 有界収束定理：X, X1 , X2 , . . . が有限な期待値を持つ場合，
– Xn →a.s. X ，かつ
– 有限な期待値を持つある確率変数 Y があって，|Xn | ≤ Y a.s.
の時， lim E[Xn ] = E[X]
n→∞
✞
（ルベーグの収束定理）．
☎
反例 ✆
✝
公平なコインを投げ続け，裏が出たら負ける賞金獲得ゲームを考える．1 回目に
裏が出れば何も貰えず終了，表が出れば，そこで止めて 2.1 円貰うか，貰わずに続
けるかを選択できる．ただし，n 回目まで表が出続けて止めた場合に貰える賞金は
(2.1)n とする．考えられる１つの戦術として，
• ある上限回数 n を事前（賭けを始める前）に決めて，
「表が出る限り，n 回目
まで続けてそこで止める」とする場合
の儲けを調べたい．n 回目まで続けて全部表が出るという事象を Hn と置くと，
Pr[Hn ] = 2−n ．ここで，
「表が出る限り，n 回目まで続けてそこで止める」戦術の
(2.1)n ω ∈ Hn
となる．この時，
儲けを表す確率変数 Xn は，Xn (ω) =
0
ω∈
/ Hn
2.1
2
• 儲けの期待値は，E[Xn ] = (2.1)n × 2−n =
n
なので，n を大きくする
につれて，いくらでも大きくなる．
• 一方，Pr[Xn = 0] = 1 − 2−n なので，大きな n を指定すると，儲けは 0 に概
収束する：Xn →a.s. 0．
なぜなら Hn ⊃ Hn+1 ⊃ . . . より，H =
かつ，Pr[H] = lim Pr[Hn ] = lim 2
n→∞
n→∞
−n
∞
n=1
Hn と置き，H c = {ω| lim Xn (ω) = 0}，
n→∞
c
= 0, Pr[H ] = 1 ．
• もっと正確に言えば，
（確率 1 で）十分大きな n を取る（指定する）と儲けは
0 である．
∞
なぜなら，
「急速に表が出にくくなるコイン」と同様に，
n=1
Pr[Hn ] = 1 < ∞ と
c
Borel-Cantelli の第一定理より，Pr limn→∞ Hn = 0 ，Pr[ limn→∞ Hn ] = 1 ．
• よって， lim E[Xn ] = ∞ = 0 = E[ lim Xn ] ，が成り立つ．
n→∞
n→∞
3
３つの収束の関係：概収束 ⇒ 確率収束 ⇒ 法則収束
（証明は参考）
(1) 概収束 ⇒ 確率収束
def
Xn →a.s. X と仮定し， Ω0 = {ω| lim Xn (ω) = X(ω)} とする．ε > 0 を固定し，
n→∞
def
Aε (n) = {ω||Xn(ω) − X(ω)| > ε},
Zε (n)(ω) =
1 ω ∈ Aε (n) ∩ Ω0
0 otherwise
• ω∈
/ Ω0 なら，定義より，任意の n において，Zε (n)(ω) = 0．
• ω ∈ Ω0 なら，Xn (ω) → X(ω) より，十分大きな n に対して，ω ∈
/ Aε (n) と
なり，よって，Zε (n)(ω) = 0．
よって，任意の ε に対し， lim Zε (n)(ω) = 0 for ∀ω ∈ Ω ．また，0 ≤ Zε (n)(ω) ≤
n→∞
1，そこで，有界収束定理より，
lim E[Zε (n)] = E[ lim Zε (n)] = E[0] = 0
n→∞
n→∞
一方， E[Zε (n)] = Pr[Aε (n) ∩ Ω0 ] ≥ Pr[Aε (n)] − Pr[Ωc0 ] = Pr[Aε (n)] より，
lim Pr[Aε (n)] = 0
n→∞
(2) 確率収束 ⇒ 法則収束
Xn →P X と仮定する．Xn , X の分布関数を Fn , F とし，F の任意の連続点を
x ∈ (−∞, ∞) とすると，∀ε > 0 に対して，
Fn (x) − F (x) = Pr[Xn ≤ x] − Pr[X ≤ x] ≤ Pr[Xn ≤ x ∧ X > x]
≤ Pr[Xn ≤ x ∧ X > x + ε] + Pr[x < X ≤ x + ε]
≤ Pr[|Xn − X| > ε] + F (x + ε) − F (x)
→ 0 (n → ∞, ε → 0)
同様に， n → ∞, ε → 0 の時に，
F (x) − Fn (x) ≤ Pr[|Xn − X| > ε] + F (x) − F (x − ε)
✞
→0
☎
例題 ✆
✝
• 確率変数 X1 , X2 , · · · が互いに独立で，各々は [0, 1] 上の一様分布に従う時に，
– max(X1 , X2 , · · · , Xn ) →P 1 (n → ∞)
つまり，1 への確率収束を示せ．
4
Zn = max(X1 , X2 , · · · , Xn ) と置き，任意の ε > 0 を固定する．
def
B(n) = {ω||Zn(ω) − 1| > ε} = {ω|Zn (ω) < 1 − ε} =
n
{ω|Xi (ω) < 1 − ε} であ
i=1
り，Xi が [0, 1] 上の一様分布であることから， n → ∞ の時，
Pr[B(n)] = Pr[
n
{ω|Xi (ω) < 1 − ε}] =
i=1
n
i=1
Pr[Xi < 1 − ε] = (1 − ε)n → 0
• 注：実は確率収束だけではなく，
– max(X1 , X2 , · · · , Xn ) →a.s. 1 (n → ∞)
という，1 への概収束も成立する．
Zn = max(X1 , X2 , · · · , Xn ) と置き，その n に関する単調増加性に着目すると，
Zn (ω) ≤ Zn+1 (ω), Zn (ω) ≤ 1 for ∀ω, n = 1, 2, . . .
より，各 ω 毎の実数の極限を取れば，確率変数 Z が存在して，
lim Zn (ω) = Z(ω), 0 ≤ Z(ω) ≤ 1 for ∀ω
n→∞
単調収束定理より， lim E[Zn ] = E[Z] ．
一方， Pr[Zn ≤ x] =
E[Zn ] =
∞
0
n→∞
n
i=1
Pr[Xi ≤ x] = xn なので， n → ∞ の時，
(1 − Pr[Zn ≤ x])dx =
1
0
(1 − xn )dx =
n
→1
n+1
より， E[Z] = 1 となり，Z(ω) ≤ 1 ∀ω と合わせると， Pr[Z = 1] = 1 ．これは，
ほとんどの ω で Z(ω) = 1 を意味し，つまり，概収束 Zn →a.s. 1 である．
17. 大数の弱法則（参考書４．２）
Chebyshev の不等式
• 準備（Markov の不等式）
：任意の非負確率変数 Y (ω) ≥ 0 において，どんな
正数 δ に対しても
E[Y ] ≥ δ Pr[{ω|Y (ω) > δ}]
def
なぜなら，Zδ (ω) =
δ
0
{ω|Y (ω) > δ}
と置き，Y (ω) ≥ Zδ (ω) ≥ 0 より，
otherwise
E[Y ] ≥ E[Zδ ] = δ Pr[{ω|Y (ω) > δ}]
5
• Chebyshev の不等式：
X が有限な分散 V [X] を持つならば，どんな正数 ε に対しても
Pr[{ω||X(ω) − E[X]| > ε}] ≤
V [X]
ε2
すなわち，
「確率変数 X がその期待値から（ある値）ε よりも遠くに離れる確
率は，X の分散を ε2 で割ったもの以下である．
」
あるいは以下のようにも表現できる：
Pr[{ω|
|X(ω) − E[X]|
V [X]
> ε}] ≤
1
ε2
def
証明：Y (ω) = |X(ω) − E[X]|2 と置くと，E[Y ] = V [X]，なので，上の「準
備」の δ = ε2 と置き，
V [X] = E[Y ] ≥ ε2 Pr[{ω|Y (ω) > ε2 }] = ε2 Pr[{ω||X(ω) − E[X]| > ε}]
大数の弱法則
✓
✏
X1 , X2 , . . . は（分布は違うかも知れないが）同じ有限な期待値 m を持つ確率
変数の列とする．また，X1 , X2 , . . . の中のどのペア (Xi , Xj ), i = j も互いに
独立とする．次回出てくる「強法則」の場合の独立性より弱い仮定である点に
注意．そのような X1 , X2 , . . . が
1. 同じ有限の分散を持つ場合（基本）
2. 各分散を σi2 と置き，それらが有界（ sup σi2 < ∞ ）な場合
i
などの場合に（他にも成り立つ条件はある），
•
1 n
Xi →P m (n → ∞)
n i=1
が成り立つ．
✒
✑
意味：
「試行 X を無限回繰り返し行う実験」を実施する時，ある運命 ω が選択され，そ
れに基づいて定まる {X1 (ω), X2(ω), . . .} という実数列を観測する．
1 n
Xi (ω) が n を増やして
n i=1
いくと真の期待値 m に近づくかも知れないし，別の運命では，近づかない
かも知れない．
• ある運命（具体例）ω では，Xi (ω) の算術平均
6
• しかし，すべての運命の集合 Ω を調べると，任意の正数 ε を固定し，n を増
1 n
Xi (ω) と m との差が ε を越えるような具体
やしていくと，
「n 回目での
n i=1
例 ω 」が起きる「確率」は，0 に近づく．
λ
• もちろん，X の従う分布がコーシー分布（密度関数が
）の
2
π(λ + (x − μ)2 )
ように有限の期待値を持たない場合は成立しない．
大数の弱法則の証明：
def
最も簡単な，X1 , X2 , . . . が同じ有限の分散を持つ場合の証明． Mn =
• E[Mn ] = m ，V [Mn ] = . . . =
1 n
Xi で，
n i=1
σ2
（この変形でペア毎の独立性が必要）．
n
ここで，Chebyshev の不等式を用いるならば，∀ε > 0 に対して，
Pr[{ω||Mn (ω) − m| > ε}] ≤
V [Mn ]
σ2
=
ε2
nε2
→
0 (n → ∞)
となり，大数の弱法則を意味する．
✞
☎
参考 ✆
：クーポン収集家問題
✝
ある商品を買うとおまけが１個ついてくる．おまけは全部で K 種あり，ランダ
ムについてくる．n 回目に買う商品についているおまけの種類を Xn とする．つま
り，D = {1, 2, . . . , K} 上に値を取る確率変数 X1 , X2 , . . . は，互いに独立で，D 上
に等確率 (1/K) で出現するとする．
初めて全 K 種のおまけが揃うときまでに商品を買う回数（ある運命 ω に従う時
の）を，TK (ω) と置くと，
• E[TK ] = K
K
K−1
1
K −l
, V [TK ] = K
l2
n=1 n
l=1
• K → ∞ の時，E
TK
K log K
→ 1, V
TK
K log K
→ 0,
• よって，Chebyshev の不等式より，K → ∞ の時，
TK
→P 1
K log K
を示す．
• SK,m(ω) を，
「初めて（全 K 種中の）m 種のおまけが揃うときまでに商品を
買う回数」とする．SK,1(ω) = 1 ∀ω ∈ Ω
def
• RK,m (ω) = SK,m(ω) − SK,m−1 (ω) は，
「初めて (m − 1) 種のおまけが揃った時
点から次の１種類を得るまでに商品を買う回数」であるので，RK,1 , RK,2, . . .
は独立．
7
m−1
と置くと，p は，1 個商品を買う時に既に持ってるおまけが付
K
いてくる確率である．そこで，Pr [RK,m = i] = pi−1 (1 − p), i = 1, 2, . . . より，
そこで，p =
E[RK,m ] =
∞
(1 − F (k − 1)) = 1 +
k=1
=
⎝1 −
∞
k−1
⎞
pj−1 (1 − p)⎠ = 1 +
j=1
k=2
1
K
=
1−p
K −m+1
∞
⎛
∞
∞
k=1
2p
(1 − p)2
k=1
k=1
V [RK,m ] = E[RK,m (RK,m − 1)] + E[RK,m ](1 − E[(RK,m ])
−p
p
K
1
m−1
2p
×
=
+
=
=
2
2
(1 − p)
1−p 1−p
(1 − p)
K
K −m+1
E[RK,m (RK,m − 1)] =
2k(1 − F (k)) =
よって，TK = SK,K = SK,1 +
E[TK ] = 1 +
= K
K
m=2
K
l=1
K
K
m=2
E[RK,m ] = 1 +
2kpk =
RK,m = 1 +
K
m=2
K
K
K
1
=K
m=2 K − m + 1
m=1 K − m + 1
K
m−1
K
RK,m] =
V [TK ] = V [
K
K −m+1
m=2
m=2
2
=K
K−1
l=1
∞
K−l
l
2
≤K
2
2
l
l=1 l
TK
の期待値や分散は，K → ∞ の時，
K log K
def
μK = E
2 def
=
σK
RK,m より，
1
l
この時，確率変数
1
TK
=
K log K
log K
K
l=1
1
→ 1
l
1
1
TK
V
= 2
V [TK ] ≤
2
K log K
K (log K)
(log K)2
∞
l
→ 0
2
l=1 l
TK (ω)
TK (ω)
ε
− μK ≥
− 1 − |μK − 1| に注意し，|μK − 1| < と
K log K
K log K
2
TK
なるような十分大きな K に限定して考え，また，
に対してチェビシェフ
K log K
の不等式を当てはめると，
そこで，
Pr {ω|
これは，
TK (ω)
TK (ω)
ε
4σ 2
− 1 > ε} ≤ Pr {ω|
− μK > } ≤ 2K
K log K
K log K
2
ε
TK
→P 1 (K → ∞) を意味する．
K log K
8
pk−1
2
© Copyright 2024 ExpyDoc
