確率・統計(電子2年) 第15講 23. 確率過程のさわり

確率・統計(電子2年)
第 15 講
• 期末試験解説
• 確率過程の例(有限マルコフ連鎖,離散時間最適停止,連続時間確率過程)
• まとめ
23. 確率過程のさわり
◎有限マルコフ連鎖の例
有限個の状態とその状態間の遷移確率によって確率的振舞いが規定されるシス
テム(過去(2つ以上前)の状態に依存しない)を有限マルコフ連鎖と呼ぶ.特
に,遷移確率が,時刻(あるいは何回目の遷移か)によらず,遷移前の状態と遷
移後の状態だけで決まるものを斉時型と呼び,以下でその例を示す.この時,任
意の2つの状態間の遷移確率は「定常遷移確率行列」で表すことができる.
以前出てきた確率変数の列であるが,互いに独立ではなく,時間の進行(順番)
に意味があり,
「直前の回の値(状態)」に依存する.本質的には確率過程(後述)
として扱う.マルコフ連鎖は,現実の問題に頻繁に現れる(参考書5.4章参照).
✞
☎
例:単純双六 ✆
✝
最も簡単な例として,場所が3つ(左から S1,S2,S3)しかない双六を考える.
左端 S1 がスタート,右端 S3 がゴールとし,正常なサイコロを振って出た目を歩数
としてコマを進める(よって可能な歩数は1∼6の6通り).コマは一歩で隣の場
所へ移動する.S3 地点でちょうど止ったら「上がり」として終了する.S1 または
S2 地点でサイコロを振った時,まず右に進むが,S3 に達しても歩数が余っていた
らそのまま折り返して左に進む.また,そのように折り返した場合に S1 まで戻っ
てもまだ歩数が余っていたらさらに折り返して再度右に進む.
<1> 上がるまでにサイコロを振る回数 Z の確率関数を求めよ.
<2> Z の期待値と分散を求めよ.
Si に居るコマが次ステップで Sj に進む確率を qij .S3 に進んだらゲームは終わ
り,また,qi3 = 1 − (qi1 + qi2 ) (i = 1, 2) .S1 , S2 間の遷移を調べる.
def
Q = (qij )i,j=1,2 =
1
1/6 1/2
1/6 1/2
を定常遷移確率行列と呼ぶ.S1 から出発したコマが n ステップ目に居る場所(状
態番号)を Xn と置くと,qij = Pr[Xn = j|Xn−1 = i] であるので,
(n) def
πj
= Pr[Xn = j] =
i=1,2
Pr[Xn = j, Xn−1 = i] =
i=1,2
Pr[Xn−1 = i]qij
π (n) = (π1 , π2 ) = π (n−1) Q = π (n−2) Q2 = · · · = π (0) Qn
def
(n)
(n)
1 (n) 1 (n) (n+1) 1 (n) 1 (n)
= π1 + π2 , π2
= π1 + π2 , π (0) = (1, 0).これら
6
6
2
2
1 2 n−1 1 2 n−1
(n)
(n)
の漸化式を解くと,n = 1, 2, . . . で, (π1 , π2 ) = (
,
).
6 3
2 3
n
あるいは,より一般的に言えば,Q を計算して,
(n+1)
つまり, π1
a b
a b
n
= ··· =
a(a + b)n−1 b(a + b)n−1
a(a + b)n−1 b(a + b)n−1
(π1 , π2 ) = π (n) = π (0) Qn = (1, 0)Qn = (
(n)
(n)
1 2
6 3
より,
n−1
,
1 2
2 3
n−1
)
1> 元の問題に戻って,Z = n となる確率は,(n − 1) ステップで S1 に居る場合
と S2 に居る場合に分けられるので,
def
zn = Pr[Z = n] = Pr[Xn = 3, Xn−1 = 1] + Pr[Xn = 3, Xn−1 = 2]
= Pr[Xn−1 = 1] Pr[Xn = 3|Xn−1 = 1] + Pr[Xn−1 = 2] Pr[Xn = 3|Xn−1 = 2]
(n−1)
(n−1)
(1 − q11 − q12 ) + π2
(1 − q21 − q22 )
= π1
n−2
n−2
1 2 n−1
1 2
1 1 2
1
=
· +
· =
6 3
3 2 3
3
3 3
2> よって,期待値と分散は
∞
1 ∞
2
E[Z] =
nzn =
n
3 n=1
3
n=1
∞
E[Z(Z − 1)] =
n=1
n(n − 1)zn =
n−1
1
2
= ··· =
1−
3
3
1 ∞
2
n(n − 1)
3 n=2
3
n−1
−2
=
9
=3
3
= ···
2
2 −3
1
·2
1−
= 12
より,
3
3
3
V [Z] = E[Z(Z − 1)] + E[Z](1 − E[Z]) = 12 + 3(−2) = 6
=
✞
☎
例:進級・留年モデル ✆
✝
ある大学で進級/留年/飛級の確率は毎年変化せずに定常遷移確率行列が以下
のように与えられている.1年次 (1st) で留年する確率が q11 ,2年次 (2nd) に上が
2
る確率が q12 ,
,
.
⎛
⎜
⎜
⎜
⎜
⎜
⎝
Q = (qij )i=1,2,3,4;j=1,2,3,4 =
q11 q12 q13
0 q22 q23
0
0 q33
0
0
0
q14
q24
q34
q44
⎞
⎟
⎟
⎟
⎟
⎟
⎠
つまり,
「卒業/退学状態」
(終了状態)は暗黙的に表現されており,各行において,
終了状態へ遷移する確率は,各行の確率の和を1から引いたものである.また,終
了状態から他の状態へは戻れない.また,最大在籍年数(8年)の制約はない.重
要な性質は下の学年次に戻ることがない点である.
(n)
ある年に k 年次に居た学生が n 年後に在籍している年次(状態番号)を Xk .
(n)
πk,j
def
4
(n)
=
P (Xk
i=1
(n) def
πk
4
(n)
= P (Xk = j) =
(n)
(n)
(n)
(n)
P (Xk
i=1
(n−1)
(n−1)
= j, Xk
(n−1)
= j|Xk
= i)P (Xk
(n)
= i)
4
(n−1)
= i) =
qij πk,i
i=1
(0)
(0)
= (πk,1 , πk,2 , πk,3 , πk,4 ) とおけば,π 1 = (1, 0, 0, 0), π 2 = (0, 1, 0, 0), . . .
(n)
(n−1)
πk = πk
Q = π k Qn = (Qn )i=k;j=1,2,3,4
(0)
<1> 1年次に入学した学生の在籍年数(大学に居る年数)の期待値を求めよ.
ある(1年次入学の)学生の在籍年数を確率変数 Z で表す.
∞
E[Z] =
(1−P (Z ≤ n−1)) =
n=1
∞
∞
P (Z ≥ n) =
n=1
4
n=1 i=1
(n−1)
P (X1
4
∞
= i) =
i=1 n=1
4
※補分布を使わず,P (Z = n) = P (Z ≥ n) − P (Z ≥ n + 1) =
(n−1)
i=1
(π1,i
(n−1)
π1,i
(n)
− π1,i )
より,以下のように直接計算することも可能.
∞
4
E[Z] =
n
n=1
4
i=1
∞
=
i=1
∞
無限級数
n=1
m
n=1
(n−1)
π1
n=1
(n−1)
π1,i
(0)
= π1
m
n=1
(n−1)
(π1,i
(n−1)
π1,i
(n)
− π1,i ) =
∞
+
4
∞
i=1 n=1
(n−1)
(n − 1)π1,i
n=1
(n−1)
n(π1,i
∞
−
n=1
(n)
− π1,i )
(n)
nπ1,i
4
∞
=
i=1 n=1
(n−1)
π1,i
を計算する. π 1 = (π1,1 , π1,2 , π1,3 , π1,4 ) = π 1 Qn より,
(n)
(n)
(n)
(n)
(n)
(0)
Qn−1 = π 1 (I − Qm )(I − Q)−1 = ((I − Qm )R)i=1;j=1,2,3,4
(0)
3
I は,4 × 4 の単位行列,π 1 = (1, 0, 0, 0) ,R = (I − Q)−1 = (rij )i=1,2,3,4;j=1,2,3,4
と置いた(実際はこの R を計算すべきであるが). lim Qm = O なので,m → ∞
m→∞
すると,
def
(0)
∞
n=1
4
(n−1)
π1
= (r11 , r12 , r13 , r14 ),
よって
∞
E[Z] =
i=1 n=1
(n−1)
π1,i
4
=
i=1
r1i
この式の形から予想できるように,rij は,
「i 年次へ入学・編入した学生が j 年
次に滞在する年数の期待値」になる.
<2> 2年次,3年次,4年次からの編入もあり,毎年入学者数/編入学者数は一
定と仮定し,k 年次への入学・編入者数を,uk 人(k = 1, 2, 3, 4),とする.
この時,各学年次の「在籍人数」の期待値(?)を求めよ.
求めるべき各年次の在籍人数の「期待値」をどう解釈するかを決めよう.
学年次間の遷移確率 Q と各学年次へ毎年入学・編入する学生数 (u1 , u2 , u3 , u4) が
時間と共に変らない(定常状態)場合は,どのような初期状態(=各学年次の人
数)から出発しても十分長い時間が経った時点での,各学年次の「在籍人数の期
待値」はある値に収束する.ここではそれを求めることにする.
ある固定した年を考える.その年に k 年次に「入学・編入」した学生(uk 人)の
(n)
うちで n 年後に j 年次に在籍している人数を確率変数 Sk,j で表す.
さらに,その年に k 年次に入学・編入した学生に番号 l = 1, 2, . . . , uk を振り,番
号 l の学生が n 年後に j 年次に居れば 1,そうでなければ 0 であるような確率変数
(n)
(n)
Vk,j,l を考えると(Sk,j が2項分布に従うことを使うならば V は不要だが、、、),
uk
(n)
Sk,j =
l=1
(n)
Vk,j,l
より
uk
(n)
E[Sk,j ] =
(n)
(n)
E[Vk,j,l] = uk P (Xk
l=1
(n)
= j) = uk πk,j
ある年以降に入学・編入した学生だけを対象として,その年から n 年後に(その
(n)
年に入学・編入した学生も含む)j 年次に在籍中の人数を確率変数 Sj で表すと,
(n)
Sj
n
4
(m)
=
m=0 k=1
Sk,j
より
n
(n)
E[Sj ] =
4
m=0 k=1
n
4
(m)
E[Sk,j ] =
k=1
uk
(m)
m=0
πk,j
ここで, lim Qn = O より,長時間経過後の各学年次の「在籍人数の期待値」
n→∞
def
(n)
lim E[Sj ] を,前問同様の流れで計算する.u =
n→∞
(n)
(n)
(n)
4
=
n
4
(n)
(E[S1 ], E[S2 ], E[S3 ], E[S4 ]) =
uk
k=1
(m)
πk
4
=
k=1
(n)
よって, lim E[Sj ] = (u
uR)j =
4
uk rkj
k=1
4
(0)
uk π k
uk ((I − Qn−1 )R)i=k;j=1,2,3,4 = u (I − Qn−1 )R
k=1
n→∞
m=0
(u1 , u2 , u3, u4 ) として,
n
m=0
Qm
◎離散時間最適停止問題の例
離散時間最適停止問題は,賭けをどこで止めるのがよいか,の問題から発生した
と言われるが,ここでは例として,秘書採用問題(Secretary Problem)を考える.
見掛けは以前出てきた確率変数の列である(有限個の場合は確率変数ベクトル
とも言える)が,互いに独立ではなく,時間の進行(順番)と共に一般に知りえ
る情報が増えていく.本質的には確率過程(後述)として扱う.
☎
✞
例:秘書採用,海辺の美女,あるいはお見合い問題 ✆
✝
秘書採用問題とは,n 人の候補者を順次面談して,1 名を選ぶ時に,
「取り消し」
や「後戻り」はできないとして,どういう戦術を取ればよい秘書を採用できるか?
という問題であり,海辺でデートに誘う戦術やお見合いの戦術とも考えられる.
古典的秘書採用問題を正確に記述すると以下のようなものである.
• n 人の応募者に対して 1 名づつ面談をし,必ず 1 名(だけ)採用する.
(n が
既知であることが大きな仮定である).面談の評価値によって順位を付ける
が,評価値が同点の人はいないと仮定する.
• 面談の順番は無作為.つまり,n! 通りの順番の可能性が等確率で出現する.
• ある人を面談したら,その場で採用・不採用を決める.つまり,採用を決め
たら,それ以降の人は面談・採用できないし,逆に一旦不採用にした人を,
それ以降の人を面談した後でやっぱり採用する,というのも禁止.また,採
用したが,相手に断られる,というのもないものと仮定する.
• k 番目の人の面談が終わった時点でその人を採用するかどうかの判定基準(戦
術)には,暫定相対順位(今まで面談が終わった人の中で何位か?),およ
び,k, n だけしか利用できない.もちろん,必ず誰か 1 名を採用する必要が
あるので,n 番目の人まで行ってしまったら(それまでの (n − 1) 人を不採
用にしたら)その人を採用する.
注:面談の「絶対評価」は用いない点に注意.同じ相対順位「1 位」でも,世
間水準的にみて極めて優秀な人と,水準程度のどんぐりの背比べで結果的に
1 位になった人とでは,現実には区別するかも知れない.しかし,ここでは,
そのような「付加的情報」を利用できないモデルで考えている.
この問題での最も単純な(古典的な)目標は,
1. 「採用する人の真の順位(最終順位)が 1 位である確率」を最大にする戦術:
最良選択問題 (best-choice problem)
2. 「採用する人の最終順位の期待値」を最小(順位は小さい方がいいので)に
する戦術:期待順位最小化問題 (rank minimization problem)
5
3. 少し一般化して,順位 x に関する利得関数 U(x) が与えられるとして,採用す
る人の最終順位を確率変数 X とし,U(X) の期待値を最大にする戦術.例えば,
1 x=1
1. の best-choice 問題は,以下の利得関数に対応:U(x) =
.
0 otherwise
などが知られている.上の仮定で,目標の 1 つ目の,best-choice 問題を調べよう.
• Rk を k 番目の応募者の(面談直後の)暫定相対順位,
• Lk を k 番目の応募者の最終順位,
「面談の順番は無作為」という上の仮定より,
と置く(k = 1, 2, . . . , n).
• R1 , R2 , . . . , Rn は独立.
1
• P (Rk = s) = , s = 1, 2, . . . , k
k
1
• P (Lk = s) = , s = 1, 2, . . . , n
n
もちろんこれは「無条件」(面談を行う前)の確率である.
「n 人中でベスト(1 位)の人を採用する」確率を最大化する戦術では,相対順
位が 2 以下の人は(最後以外は)採用しないはずである.しかし,R1 = 1 はいつ
も成り立つので,相対順位が1位なら必ず採用する,というわけにはいかない.そ
こで,r = 1, 2, . . . , n を戦術のパラメタとして(最適な r を後で検討する),
• 戦術 σ(r):
「最初の (r −1) 人は相対順位が 1 位でも採用せず,r 番目以降(残っ
てるのは (n − r + 1) 人)で初めて相対順位が 1 位となった人を採用する.た
だし,r = n の場合は,n 番目の人を無条件に採用する」
を定義する.この戦術で採用される人の面談順序を Z(r) とすると,
• P (LZ(r) = 1) を最大にする r = r ∗
を使った戦術 σ(r ∗ ) が「最適戦術」である.ここで,
• r = 1, = n では,Z(r) = k ⇔ Rr = 1, Rr+1 = 1, · · · , Rk−1 = 1, Rk = 1
• r = 1 では,R1 = 1 より,Z(1) = 1.よって,P (LZ(1) = 1) = P (L1 = 1) =
• r = n では,Z(n) = n.よって,P (LZ(n) = 1) = P (Ln = 1) =
1
n
1
n
def
そこで,r = 1, = n の時の,fn (r) = P (LZ(r) = 1) を計算しよう.
n
fn (r) =
n
P (Lk = 1, Rk = 1, Rk−1 ≥ 2, . . . , Rr ≥ 2)
P (Lk = 1, Z(r) = k) =
k=r
k=r
6
n
=
k=r
n
⎛
⎝
=
k=r
n
=
k=r
=
P (Lk = 1|Rk = 1, Rk−1 ≥ 2, . . . , Rr ≥ 2)P (Rk = 1)
n
⎞
r
P (Ri ≥ 2)⎠ P (Rk = 1)
i=k+1
k+1
n−1
k
·
···
k+1 k+2
n
r
j=k−1
P (Rj ≥ 2)
P (Rj ≥ 2)
j=k−1
1
k
r−1
k−2 k−3
·
···
k−1 k−2
r
1
r−1 n
n k=r k − 1
ただし,3行目の等号の成立には以下を使った.これは,
「k 番目の人の相対順位
が 1 位」という条件下で,
『その人の最終順位も1位になる』確率は,
『それ以降の
k + 1, k + 2, . . . , n 番目の人は全員相対順位が2位以上になる』確率と等しいから.
P (Lk = 1|Rk = 1, Rk−1 ≥ 2, . . . , Rr ≥ 2)
= P (Rk+1 ≥ 2)P (Rk+2 ≥ 2) · · · P (Rn ≥ 2) =
n
P (Ri ≥ 2)
i=k+1
1
1
r−1 n
(r = 1, = n); (r = 1, n) を最大にする r
n k=r k − 1
n
∗
を見つければよい.例えば,n = 3 のときは,r = 2.なぜなら,
最適な r ∗ は,fn (r) =
1
1
1
1
1
f3 (1) = , f3 (2) =
1+
= , f3 (3) =
3
3
2
2
3
n
実は,n が十分大きいときは,最適な r ∗ は,r ∗ ≈ + 1 で近似できる(最初の
e
面談者以降の「応募者数の約 37 %分」をスキップするのがベスト).この時,1
1
位を採用できる確率は,fn (r ∗ ) ≈ ≈ 0.368 . . ..なぜなら,
e
r−1 n 1 1
r−1 n
1
r−1
=
k−1 ≈
n k=r k − 1
n k=r n n
n
1
(r−1)/n
r−1
r−1
1
dx = −
log
x
n
n
ここで,g(x) = −x log x と置くと,g (x) = −(log x + 1) より,g(x) は
• x=
1
1
1
で最大になり,その時,g
= .
e
e
e
r−1
1
r−1
r−1
log
≈ を満たすような r で最大になり,その時
よって,−
は,
n
n
n
e
1
の値は, で近似できる.
e
◎連続時間確率過程の例と時間平均
時刻 t をパラメタに持つ確率変数の集合 {X(t)}t∈T を確率過程と呼ぶ.
7
✓
✏
ただし, X(t, ω) : T × Ω → R で,T は時刻の動く範囲.
• T が離散値(例えば,T = {0, 1, 2, . . .})の場合が離散時間確率過程
✒
• T が連続値(例えば,T = [0, ∞))の場合が離散時間確率過程
✑
ある運命 ω を固定した時の,t の関数 X(·, ω) を標本路 (Sample Path) と呼ぶ.
確率過程というモデル化によって調べたいことは例えば,
• 初期状態(X(0, ω) の値)から出発して確率的に変化(発展)していく現象
の将来(X の値の,ある時点での分布,あるいは複数の時点での結合分布).
• 初期状態から十分時間が経って,
「定常的」になっている確率現象の,任意の
時点での状態(値)の分布.
「定常過程」とは,簡単にいえば,一定時間ずら
しても(結合)分布が変化しない確率過程.
連続時間確率過程 {X(t, ·)} を考える.
• 標本路の時間平均:以下の右辺が確率 1 で定義(有限確定値,∞,または
−∞)できる場合,確率変数:
def
1
t→∞ t
t
X(ω) = lim
X(s, ω)ds
0
を,確率過程 {X(t)}t∈[0,∞) の「時間平均」と呼ぶ.
例:X(t) がある地点の気温の時間変化なら,X は気温の無限長期間平均.
• {X(t)} が「エルゴード的定常過程」と呼ばれる条件を満たす場合,任意の
時刻 t での X(t) の「期待値」E[X(t)] と,
「時間平均」が等しい(確率 1 で).
この事実は実は大数の強法則の一般化になっている.
• 標本路の事象平均:特定の事象の発生に対応する時刻の(昇順の)列を表す確
率変数列 N = {T1 , T2 , . . .} を与えた時 (0 < T1 (ω) < T2 (ω) < · · ·),以下の
右辺が確率 1 で定義(有限確定値,∞,または −∞)できる場合,確率変数:
1 n
X N (ω) = lim
X(Ti (ω), ω)
n→∞ n
i=1
def
を,確率過程 {X(t)}t∈[0,∞) の事象列 N に関する「事象平均」と呼ぶ.
例:X(t) がある地点の気温の時間変化, N がその地点での雷発生という事
象列の時,X N は雷がなった時刻の気温だけに着目した加算無限個の平均.
8
✞
☎
例:バス停での待ち時間のパラドックス ✆
✝
停留所にバスとそれに乗りたい客が次々に到着する状況を想定する.
• Tn (ω):n 台目のバスの到着(=出発)時刻.
バスは到着するとその時に待っていた客を瞬時に全員乗せて出発する.ただ
し,その同時刻にバス停に来た客は待ち時間なしでそのバスに乗るものとす
る.また,T0 (ω) = 0 (∀ω) とする.
• X(t, ω):時刻 t にバス停に来た客がバスに乗るまでに待つ時間.バスの到着
という確率現象に応じて,X(t, ω) が確定する.
X(t, ω) =
0
t=0
Tn (ω) − t Tn−1 (ω) < t ≤ Tn (ω) (n = 1, 2, . . .)
さて,バスの到着に関する確率モデル(分布)を与えて,待ち時間 {X(t)}t∈[0,∞)
の時間平均と,バスの到着(=出発)直後に限定した事象平均を計算してみよう.
ここで,最初のバスの出発 (t = 0)から十分時間が経過した後は,上の確率過程
は「定常過程」で近似できる.さらにエルゴード的と仮定できる場合は,
• 「時間平均」は,定常状態で「無作為(ランダム)な時刻にバス停にやって
来る客」の待ち時間の期待値に等しく,
• 「事象平均」は,定常状態で「バスの出発直後に来てバスの背中を見て悔し
い思いをする客」の待ち時間の期待値に等しい.
簡単のために,バスの到着時間間隔
def
Yn (ω) = Tn (ω) − Tn−1 (ω) (n = 1, 2, . . .)
は互いに独立で期待値/分散が有限な同一分布に従うとし,m1 = E[Yn ], m2 = E[Yn2 ]
と置く.また,A(t, ω) を時刻 t までに到着したバスの台数(時刻 0 に到着したバ
スは除く)とする.
<1> 時間平均は
m2
2m1
一見,
「無作為な時刻にバス停にやって来る客」の待ち時間の時間平均は,バス
m1
の平均到着間隔の半分の
のように思える.しかし,これは直感が「平均」と
2
いう言葉に惑わされた例である.時間平均はバス到着間隔の「平均」だけでなく
「分散」に依存するはず.
例えば,
「平均到着間隔」が同じ 30 分であっても,バスが毎回 59 分 59 秒待つと
2台続けてくる場合(バス到着間隔として 59 分 59 秒と 1 秒を交互に取る)と,正
確に 30 分間隔で来る場合とでは,
「無作為な時刻にバス停にやって来る客」の待ち
9
時間は,後者に比べて前者が長いと考えられる.なぜなら,ほとんどの客は 59 分
59 秒の長い方の到着間隔中のどこかでバス停に来るから.
そこで定義に基づいた厳密な計算による理解が必要になる.以下の計算より,時
間平均 X(ω) は,確率 1 で「バスの平均到着間隔の半分よりは長い」ことがわかる.
1
X = lim
t→∞ t
t
0
⎛
1 A(t)
X(s)ds = lim ⎝
t→∞ t
i=1
1 A(t)
t→∞ t
i=1
Yi
= lim
=
0
1
t→∞ t
(Yi − s)ds + lim
Ti
Ti−1
X(s)ds +
t
TA(t)
V [Yn ] m1
m1
m2 − m21 m1
=
≥
+
+
2m1
2
2m1
2
2
⎞
t
TA(t)
X(s)ds =
X(s)ds⎠
m2
+0
2m1
(a.s.)
• (第2項)= 0 a.s. は,t → ∞ なので,t に比べて, t − TA(t) (ω) や X(s, ω)
が十分小さくなるから.厳密な証明は省くが,直感的には自明な結果.
• (第1項)= m2 /2m1 a.s. は,大数の強法則から導かれる.
1 A(t)
lim
t→∞ t
i=1
Yi
0
A(t) 1 A(t) Yi2
1 m2
m2
(Yi − s)ds = lim
·
=
=
t→∞
t A(t) i=1 2
m1 2
2m1
途中の等式は以下の計算に依る:
1
A(t)
=
• lim
.なぜなら TA(t) (ω) ≤ t < TA(t)+1 (ω) より,
t→∞
t
m1
A(t, ω)
A(t, ω)
A(t, ω)
≥
≥
TA(t) (ω)
t
TA(t)+1 (ω)
A(t, ω)
n
= lim
=
n→∞ T (ω)
t→∞ TA(t) (ω)
n
lim
A(t, ω)
n
= n→∞
lim
=
lim
t→∞ TA(t)+1 (ω)
Tn+1 (ω)
の両側で大数の強法則を使い,
1 n
Yi (ω)
n→∞ n
i=1
lim
−1
=
1
(a.s.)
m1
1 n+1
n+1
·
lim
Yi (ω)
n→∞
n
n + 1 i=1
−1
=
1
(a.s.)
m1
1 A(t) Yi2
1 1 n 2 m2
= lim ·
• lim
Yi =
(大数の強法則より)
n→∞ 2 n
t→∞ A(t)
2
i=1 2
i=1
<2> 「バスが出た直後」という事象に関する事象平均は m1
一方,バスの到着時刻を表す確率変数列 N = {T1 , T2 , . . .} を与えて,
def
X + (t, ω) = lim X(t + ε, ω)
ε→+0
の N に関する事象平均を考える.X + (Ti (ω), ω) は,i 番目のバスの出発直後に来
た客の待ち時間であり,それは Yi (ω) に等しいので,
X+
1 n−1 +
1 n
X (Ti (ω), ω) = lim
Yi (ω) = m1
N (ω) = lim
n→∞ n
n→∞ n
i=0
i=1
10
(a.s.)
• 待ち時間のパラドックス
上の例で, X(ω) =
m2
, X + N (ω) = m1
2m1
X(ω) − X + N (ω) =
(a.s.) なので,
1
1
(m2 − 2m21 ) =
(V [Yn ] − E[Yn ]2 ) (a.s.)
2m1
2m1
よって, V [Yn ] > E[Yn ]2 (つまり, E[Yn2 ] > 2E[Yn ]2 )の場合は,確率 1 で,
「無
作為に到着する客の待ち時間の時間平均」が「バスの出発直後に来る客の待ち時間
の時間平均」より長くなることを意味し,
「待ち時間のパラドックス」と呼ばれる.
しかし,これはよく考えると矛盾ではない.上の条件からバス到着間隔の分散
が大きい(到着時間間隔が大きく変動する)場合を対象としているので,
• 時間平均(X )の計算では,長い到着間隔の発生に対し,その間に沢山の客
が来て,
「(個々の)客の待ち時間」が多重に「平均」へ寄与し,短い到着間
隔の発生に対しては,その間の客数が少ないので「平均」への寄与が少ない.
• 一方,事象平均(X + N )の計算では,到着間隔の長さに依らずに 1 回の到着
が 1 回だけ(その時間間隔の長さ分)「平均」へ寄与する.
• 例えば,バスが必ず3台連続で来る(つまり,到着間隔が約 3m1 , 0, 0 を繰り
3
返す)場合,X ≈ m1 > m1 = X + N .
2
✓
✏
バスの到着時間間隔 Yn に具体的な分布を与えて考えてみると,
m2
= m1 なので,
「無作為に到着する客の平均待ち時
2m1
間」は「バスの出発直後に来る客の平均待ち時間」と等しい(無記憶性).
2m1
m2
< m1 なので,
• (非負の値を取る)一様分布の場合:
<
「無作
2m1
3
為に到着する客の平均待ち時間」は「バスの出発直後に来る客の平均待
ち時間」より短い.
m2
• 非負値を取る分布で
> m1 となるのは,やや特殊な分布である.
2m1
• 指数分布の場合:
✒
20. まとめ
本講義(半期)で学んだことは,大別すると,
• 確率的現象の数学モデルとその計算法の基本
• 確率変数列の収束∼(i) 概収束・確率収束・法則収束,(ii) 大数の法則,(iii)
中心極限定理
11
✑
• 統計的推定・検定∼(i) 標本平均,不偏分散,信頼区間,検定,(ii) 最尤推定,
最小自乗法,(iii) 小標本理論
• 確率過程のさわり
「確率論」がなくてもサイコロは転がる.しかし,
「確率論」なしには,例えば,
「どの目も出やすさが等しいサイコロを振り続けて行くとき,5 という目が出る相
1
対頻度は, に近づく」という現象を「数学的」に説明することができない.
6
• 確率空間 (Ω, F , P ) を使うことで現象を数学的に矛盾なくモデル化できるよ
うにし,その上で積分論(測度論)での極限の性質を解析する手法を用いて
無限回の試行を含む現象を調べた.
✓
✏
実際の問題の記述は,
「確率空間」を持ち出す(構成する)必要はなく,
確率変数とそれが従う分布を与える.この時,どこまでが「実現象に即
した仮定」で,どこからが「論理的帰結(確率論に基づく計算)」かを明
確に意識する必要がある.
「仮定」が現実の問題を正しく捉えていなけれ
ば,計算した確率は現実の問題とマッチしない.
✒
✑
例えば,サイコロで1の目が出る確率は 1/6 だというのは仮定であって確率
論の計算結果ではない.また,無限や連続が絡む領域で確率に関する「仮定」
を置くのは自明でないことは,ベルトランのパラドックスの例でも見た.
• 一方,観測したデータから背景にある確率分布に関する「推定」を行う方法
に関しても,少し触れた.
「確率論」の応用としての「統計的推定」は実用上
も非常に重要であるが,仮定/前提を理解しないで「統計ソフト」などを盲
目的・機械的に使うと,誤った結論を導くこともある.
最後に初回の講義で触れた例題がどのように理解できるようになったかを確認
してみよう.
(他の例題も各自復習してみて,理解を確認して下さい)
✞
☎
第1回講義の例 ✆
:
✝
乱数 X, Y は,互いに「独立」で,どちらも,実数区間 [1, 2] の範囲か
ら無作為に1つの「実数」を出力する.一回の実験で X と Y の値を一
回づつ出力させるものとし,i 回目の実験での出力値を Xi , Yi と置く.
1 n Xi
という値は,n を増やしていくとど
実験を繰り返すとして,
n i=1 Yi
うなるか?
答え:ほとんどの運命で(=確率 1 で)1.5 log 2 = 1.035 . . . に収束する.
12