確率・統計(電子2年) 第 12 講 • 確率変数列の収束 • 大数の弱法則 16. 確率変数列の収束(参考書4.1章) Xn → X は,各 ω ∈ Ω 毎の実数列の収束ではなく, (Ω 上の)関数列の収束. 1. 概収束:Xn →a.s. X (Xn → X w.p.1 とも書く) Pr[{ω| lim Xn (ω) = X(ω)}] = 1 n→∞ • a.s は almost surely の意味.w.p.1 は with probability one の意味. • ほとんどの運命 ω に対して(つまり確率 1 で),その(固定した)ω に おいて,n を大きくしていくと,出現値の差: |Xn (ω) − X(ω)| が 0 に 近づく(0 へ収束). • 言換えると,ある運命の集合 A があり, Pr[A] = 1 かつ ω ∈ A ⇒ lim Xn (ω) = X(ω) が成立. n→∞ 2. 確率収束:Xn →P X ∀ε > 0 lim Pr[{ω||Xn (ω) − X(ω)| > ε}] = 0 n→∞ • 小さな正数 ε を与えても,n を大きくしていくと,出現値の差が ε を越 える確率: Pr[|Xn − X| > ε] が 0 に近づく(0 へ収束). • 言換えると,任意の正数 ε と自然数 n に対して運命の集合 def A(ε) lim Pr[A(ε) n = {ω||Xn (ω) − X(ω)| > ε} を定義すると,n→∞ n ] → 0 が 成立. • この時,運命 ω によっては出現値の差(|Xn (ω) − X(ω)|)が 0 へ収束し ない場合もある. 3. 法則収束:Xn →D X (F, Fn を,X, Xn の分布関数として) 「点 x で F が連続」ならば「limn→∞ Fn (x) = F (x)」 • 分布 Pr[{ω|X(ω) ≤ x}] が連続である点 x で,n を大きくしていくと,確 率分布値の差: | Pr[Xn ≤ x] − Pr[X ≤ x]| が 0 に近づく(0 へ収束). • なお, (確率変数ではなく)分布の収束と見る場合, 「分布の弱収束」と 呼び,Fn →D F と書く. 1 ✞ ☎ 概収束と確率収束の違いの例 ✆ ✝ 以前の講義で出てきた例である.コインを独立に繰り返し投げ続ける.ただし, 回を重ねるほど表が出にくくなるとする. 「n 回目に表が出る」という事象を An と する.n 回目に表の出る確率が (i) Pr[An ] = ∞ 1 ,つまり,表が急速に出にくくなる場合: Pr[An ] = 1 < ∞ 2n n=1 ∞ 1 (ii) Pr[An ] = ,つまり,表が徐々に出にくくなる場合: Pr[An ] = ∞ n+1 n=1 1 ω ∈ An を 0 ω∈ / An 「n 回目が表なら 1(裏なら 0)を取る」確率変数:Xn (ω) = 定義する. • (i) の場合は,Borel-Cantelli の第一定理より, c Pr limn→∞ An = 0 よって, Pr[ limn→∞ An ] = 1 つまり, 「ある番号から先はずっと連続して裏が出る」確率が 1.これより, – Xn (n 回目が表なら 1,裏なら 0)は 0 に概収束する(Xn →a.s. 0 ). / limn→∞ An = (参考)厳密に式を使った証明:ω ∈ ⎛ ∃n ⎝ω ∈ / ∞ j=n ⎞ ∞ n=1 ⎛ ⎝ ∞ j=n ⎞ Aj ⎠ なる ω に対して, Aj ⎠ .言い換えると,すべての j = n, n + 1, n + 2, · · · で ω ∈ / Aj な def ので,Xn (ω) = Xn+1 (ω) = · · · = 0.すなわち,D = {ω| lim Xn (ω) = 0} と置く と, limn→∞ An c n→∞ ⊂ D .よって, c Pr[D] ≥ Pr[ limn→∞ An ] = 1 − Pr[limn→∞ An ] = 1 より, Xn →a.s. 0. • (ii) の場合は,A1 , A2 , . . . は独立なので,Borel-Cantelli 第二定理より, Pr limn→∞ An = 1 つまり, 「どんな大きな番号を取っても,それより後で表が出る」確率が 1 で ある,これより,どんな大きな番号より先でも時々表が出ることになり, – Xn(n 回目が表なら 1,裏なら 0)は 0 に概収束しない. (Xn →a.s. 0). – しかし,実は確率収束する(Xn →P 0). なぜなら,任意の正数 ε を固定し,{ω|Xn(ω) > ε} = {ω|Xn (ω) = 1} = An より, Pr[{ω|Xn (ω) > ε}] = Pr[An ] = 2 1 より, Xn →P 0 n+1 確率変数の収束と期待値の収束 • 単調収束定理:X, X1 , X2 , . . . が非負で,X1 (ω) ≤ X2 (ω) ≤ . . . の場合, Xn →a.s. X ⇒ lim E[Xn ] = E[X] (ベッポ・レヴィの定理) n→∞ • 有界収束定理:X, X1 , X2 , . . . が有限な期待値を持つ場合, – Xn →a.s. X ,かつ – 有限な期待値を持つある確率変数 Y があって,|Xn | ≤ Y a.s. の時, lim E[Xn ] = E[X] n→∞ ✞ (ルベーグの収束定理). ☎ 反例 ✆ ✝ 公平なコインを投げ続け,裏が出たら負ける賞金獲得ゲームを考える.1 回目に 裏が出れば何も貰えず終了,表が出れば,そこで止めて 2.1 円貰うか,貰わずに続 けるかを選択できる.ただし,n 回目まで表が出続けて止めた場合に貰える賞金は (2.1)n とする.考えられる1つの戦術として, • ある上限回数 n を事前(賭けを始める前)に決めて, 「表が出る限り,n 回目 まで続けてそこで止める」とする場合 の儲けを調べたい.n 回目まで続けて全部表が出るという事象を Hn と置くと, Pr[Hn ] = 2−n .ここで, 「表が出る限り,n 回目まで続けてそこで止める」戦術の (2.1)n ω ∈ Hn となる.この時, 儲けを表す確率変数 Xn は,Xn (ω) = 0 ω∈ / Hn 2.1 2 • 儲けの期待値は,E[Xn ] = (2.1)n × 2−n = n なので,n を大きくする につれて,いくらでも大きくなる. • 一方,Pr[Xn = 0] = 1 − 2−n なので,大きな n を指定すると,儲けは 0 に概 収束する:Xn →a.s. 0. なぜなら Hn ⊃ Hn+1 ⊃ . . . より,H = かつ,Pr[H] = lim Pr[Hn ] = lim 2 n→∞ n→∞ −n ∞ n=1 Hn と置き,H c = {ω| lim Xn (ω) = 0}, n→∞ c = 0, Pr[H ] = 1 . • もっと正確に言えば, (確率 1 で)十分大きな n を取る(指定する)と儲けは 0 である. ∞ なぜなら, 「急速に表が出にくくなるコイン」と同様に, n=1 Pr[Hn ] = 1 < ∞ と c Borel-Cantelli の第一定理より,Pr limn→∞ Hn = 0 ,Pr[ limn→∞ Hn ] = 1 . • よって, lim E[Xn ] = ∞ = 0 = E[ lim Xn ] ,が成り立つ. n→∞ n→∞ 3 3つの収束の関係:概収束 ⇒ 確率収束 ⇒ 法則収束 (証明は参考) (1) 概収束 ⇒ 確率収束 def Xn →a.s. X と仮定し, Ω0 = {ω| lim Xn (ω) = X(ω)} とする.ε > 0 を固定し, n→∞ def Aε (n) = {ω||Xn(ω) − X(ω)| > ε}, Zε (n)(ω) = 1 ω ∈ Aε (n) ∩ Ω0 0 otherwise • ω∈ / Ω0 なら,定義より,任意の n において,Zε (n)(ω) = 0. • ω ∈ Ω0 なら,Xn (ω) → X(ω) より,十分大きな n に対して,ω ∈ / Aε (n) と なり,よって,Zε (n)(ω) = 0. よって,任意の ε に対し, lim Zε (n)(ω) = 0 for ∀ω ∈ Ω .また,0 ≤ Zε (n)(ω) ≤ n→∞ 1,そこで,有界収束定理より, lim E[Zε (n)] = E[ lim Zε (n)] = E[0] = 0 n→∞ n→∞ 一方, E[Zε (n)] = Pr[Aε (n) ∩ Ω0 ] ≥ Pr[Aε (n)] − Pr[Ωc0 ] = Pr[Aε (n)] より, lim Pr[Aε (n)] = 0 n→∞ (2) 確率収束 ⇒ 法則収束 Xn →P X と仮定する.Xn , X の分布関数を Fn , F とし,F の任意の連続点を x ∈ (−∞, ∞) とすると,∀ε > 0 に対して, Fn (x) − F (x) = Pr[Xn ≤ x] − Pr[X ≤ x] ≤ Pr[Xn ≤ x ∧ X > x] ≤ Pr[Xn ≤ x ∧ X > x + ε] + Pr[x < X ≤ x + ε] ≤ Pr[|Xn − X| > ε] + F (x + ε) − F (x) → 0 (n → ∞, ε → 0) 同様に, n → ∞, ε → 0 の時に, F (x) − Fn (x) ≤ Pr[|Xn − X| > ε] + F (x) − F (x − ε) ✞ →0 ☎ 例題 ✆ ✝ • 確率変数 X1 , X2 , · · · が互いに独立で,各々は [0, 1] 上の一様分布に従う時に, – max(X1 , X2 , · · · , Xn ) →P 1 (n → ∞) つまり,1 への確率収束を示せ. 4 Zn = max(X1 , X2 , · · · , Xn ) と置き,任意の ε > 0 を固定する. def B(n) = {ω||Zn(ω) − 1| > ε} = {ω|Zn (ω) < 1 − ε} = n {ω|Xi (ω) < 1 − ε} であ i=1 り,Xi が [0, 1] 上の一様分布であることから, n → ∞ の時, Pr[B(n)] = Pr[ n {ω|Xi (ω) < 1 − ε}] = i=1 n i=1 Pr[Xi < 1 − ε] = (1 − ε)n → 0 • 注:実は確率収束だけではなく, – max(X1 , X2 , · · · , Xn ) →a.s. 1 (n → ∞) という,1 への概収束も成立する. Zn = max(X1 , X2 , · · · , Xn ) と置き,その n に関する単調増加性に着目すると, Zn (ω) ≤ Zn+1 (ω), Zn (ω) ≤ 1 for ∀ω, n = 1, 2, . . . より,各 ω 毎の実数の極限を取れば,確率変数 Z が存在して, lim Zn (ω) = Z(ω), 0 ≤ Z(ω) ≤ 1 for ∀ω n→∞ 単調収束定理より, lim E[Zn ] = E[Z] . 一方, Pr[Zn ≤ x] = E[Zn ] = ∞ 0 n→∞ n i=1 Pr[Xi ≤ x] = xn なので, n → ∞ の時, (1 − Pr[Zn ≤ x])dx = 1 0 (1 − xn )dx = n →1 n+1 より, E[Z] = 1 となり,Z(ω) ≤ 1 ∀ω と合わせると, Pr[Z = 1] = 1 .これは, ほとんどの ω で Z(ω) = 1 を意味し,つまり,概収束 Zn →a.s. 1 である. 17. 大数の弱法則(参考書4.2) Chebyshev の不等式 • 準備(Markov の不等式) :任意の非負確率変数 Y (ω) ≥ 0 において,どんな 正数 δ に対しても E[Y ] ≥ δ Pr[{ω|Y (ω) > δ}] def なぜなら,Zδ (ω) = δ 0 {ω|Y (ω) > δ} と置き,Y (ω) ≥ Zδ (ω) ≥ 0 より, otherwise E[Y ] ≥ E[Zδ ] = δ Pr[{ω|Y (ω) > δ}] 5 • Chebyshev の不等式: X が有限な分散 V [X] を持つならば,どんな正数 ε に対しても Pr[{ω||X(ω) − E[X]| > ε}] ≤ V [X] ε2 すなわち, 「確率変数 X がその期待値から(ある値)ε よりも遠くに離れる確 率は,X の分散を ε2 で割ったもの以下である. 」 あるいは以下のようにも表現できる: Pr[{ω| |X(ω) − E[X]| V [X] > ε}] ≤ 1 ε2 def 証明:Y (ω) = |X(ω) − E[X]|2 と置くと,E[Y ] = V [X],なので,上の「準 備」の δ = ε2 と置き, V [X] = E[Y ] ≥ ε2 Pr[{ω|Y (ω) > ε2 }] = ε2 Pr[{ω||X(ω) − E[X]| > ε}] 大数の弱法則 ✓ ✏ X1 , X2 , . . . は(分布は違うかも知れないが)同じ有限な期待値 m を持つ確率 変数の列とする.また,X1 , X2 , . . . の中のどのペア (Xi , Xj ), i = j も互いに 独立とする.次回出てくる「強法則」の場合の独立性より弱い仮定である点に 注意.そのような X1 , X2 , . . . が 1. 同じ有限の分散を持つ場合(基本) 2. 各分散を σi2 と置き,それらが有界( sup σi2 < ∞ )な場合 i などの場合に(他にも成り立つ条件はある), • 1 n Xi →P m (n → ∞) n i=1 が成り立つ. ✒ ✑ 意味: 「試行 X を無限回繰り返し行う実験」を実施する時,ある運命 ω が選択され,そ れに基づいて定まる {X1 (ω), X2(ω), . . .} という実数列を観測する. 1 n Xi (ω) が n を増やして n i=1 いくと真の期待値 m に近づくかも知れないし,別の運命では,近づかない かも知れない. • ある運命(具体例)ω では,Xi (ω) の算術平均 6 • しかし,すべての運命の集合 Ω を調べると,任意の正数 ε を固定し,n を増 1 n Xi (ω) と m との差が ε を越えるような具体 やしていくと, 「n 回目での n i=1 例 ω 」が起きる「確率」は,0 に近づく. λ • もちろん,X の従う分布がコーシー分布(密度関数が )の 2 π(λ + (x − μ)2 ) ように有限の期待値を持たない場合は成立しない. 大数の弱法則の証明: def 最も簡単な,X1 , X2 , . . . が同じ有限の分散を持つ場合の証明. Mn = • E[Mn ] = m ,V [Mn ] = . . . = 1 n Xi で, n i=1 σ2 (この変形でペア毎の独立性が必要). n ここで,Chebyshev の不等式を用いるならば,∀ε > 0 に対して, Pr[{ω||Mn (ω) − m| > ε}] ≤ V [Mn ] σ2 = ε2 nε2 → 0 (n → ∞) となり,大数の弱法則を意味する. ✞ ☎ 参考 ✆ :クーポン収集家問題 ✝ ある商品を買うとおまけが1個ついてくる.おまけは全部で K 種あり,ランダ ムについてくる.n 回目に買う商品についているおまけの種類を Xn とする.つま り,D = {1, 2, . . . , K} 上に値を取る確率変数 X1 , X2 , . . . は,互いに独立で,D 上 に等確率 (1/K) で出現するとする. 初めて全 K 種のおまけが揃うときまでに商品を買う回数(ある運命 ω に従う時 の)を,TK (ω) と置くと, • E[TK ] = K K K−1 1 K −l , V [TK ] = K l2 n=1 n l=1 • K → ∞ の時,E TK K log K → 1, V TK K log K → 0, • よって,Chebyshev の不等式より,K → ∞ の時, TK →P 1 K log K を示す. • SK,m(ω) を, 「初めて(全 K 種中の)m 種のおまけが揃うときまでに商品を 買う回数」とする.SK,1(ω) = 1 ∀ω ∈ Ω def • RK,m (ω) = SK,m(ω) − SK,m−1 (ω) は, 「初めて (m − 1) 種のおまけが揃った時 点から次の1種類を得るまでに商品を買う回数」であるので,RK,1 , RK,2, . . . は独立. 7 m−1 と置くと,p は,1 個商品を買う時に既に持ってるおまけが付 K いてくる確率である.そこで,Pr [RK,m = i] = pi−1 (1 − p), i = 1, 2, . . . より, そこで,p = E[RK,m ] = ∞ (1 − F (k − 1)) = 1 + k=1 = ⎝1 − ∞ k−1 ⎞ pj−1 (1 − p)⎠ = 1 + j=1 k=2 1 K = 1−p K −m+1 ∞ ⎛ ∞ ∞ k=1 2p (1 − p)2 k=1 k=1 V [RK,m ] = E[RK,m (RK,m − 1)] + E[RK,m ](1 − E[(RK,m ]) −p p K 1 m−1 2p × = + = = 2 2 (1 − p) 1−p 1−p (1 − p) K K −m+1 E[RK,m (RK,m − 1)] = 2k(1 − F (k)) = よって,TK = SK,K = SK,1 + E[TK ] = 1 + = K K m=2 K l=1 K K m=2 E[RK,m ] = 1 + 2kpk = RK,m = 1 + K m=2 K K K 1 =K m=2 K − m + 1 m=1 K − m + 1 K m−1 K RK,m] = V [TK ] = V [ K K −m+1 m=2 m=2 2 =K K−1 l=1 ∞ K−l l 2 ≤K 2 2 l l=1 l TK の期待値や分散は,K → ∞ の時, K log K def μK = E 2 def = σK RK,m より, 1 l この時,確率変数 1 TK = K log K log K K l=1 1 → 1 l 1 1 TK V = 2 V [TK ] ≤ 2 K log K K (log K) (log K)2 ∞ l → 0 2 l=1 l TK (ω) TK (ω) ε − μK ≥ − 1 − |μK − 1| に注意し,|μK − 1| < と K log K K log K 2 TK なるような十分大きな K に限定して考え,また, に対してチェビシェフ K log K の不等式を当てはめると, そこで, Pr {ω| これは, TK (ω) TK (ω) ε 4σ 2 − 1 > ε} ≤ Pr {ω| − μK > } ≤ 2K K log K K log K 2 ε TK →P 1 (K → ∞) を意味する. K log K 8 pk−1 2
© Copyright 2025 ExpyDoc