確率過程

統計学輪講：第7章
確率過程
柗
資料 P.176
確率過程の例～サイコロ


1秒に1回サイコロを振る
以前：確率変数 X を出る目の値としていた



x1  1, x2  2, ..., x6  6
確率変数 X のとる各値の確率は常に一定
（常に1/6、時間に依らない）
確率変数 X を時間に依存する関数とする X=X(t)

1の目の出た回数を確率変数 X とする
X  X (t )
X
8
0.3
0.25
6
0.2
4
0.15
0.1
2
0.05
10
20
30
40
10
50
統計学輪講 7章
20
30
40
50
2
資料 P.176
確率過程の例～サイコロ (cont.)

X (t=1) のとりうる値 x (1) とその確率 p



x(1)  0, p  5 / 6
x(1)  1, p  1 / 6
X (t=2) のとりうる値 x (2) とその確率 p




1の目が出ない
1の目が出る
1の目が0回出る
1の目が1回出る
1の目が2回出る
x(2)  0, p  (5 / 6)  (5 / 6)  25 / 36
x(2)  1, p  2  (1 / 6)  (5 / 6)  10 / 36
x(2)  2, p  (1 / 6)  (1 / 6)
 1 / 36
X (t=3) のとりうる値 x (3) とその確率 p




1の目が0回出る
1の目が1回出る
1の目が2回出る
1の目が3回出る
x(3)  0,
p  (5 / 6)3
x(3)  1,
p  3  (1 / 6)  (5 / 6) 2  75 / 216
x(3)  2,
p  3  (1 / 6) 2  (5 / 6)  15 / 216
x(3)  3,
p  (1 / 6) 3
統計学輪講 7章
 125 / 216
 1 / 216
3
資料 P.177
確率過程の例～サイコロ (cont.)

時刻 t=n における X(n) の確率分布
x
1 5
f  x ( n)  n C x    
6 6

e.g.) t=3で1の目が2回出る確率
n x
n=3, x(3)=2
p  f ( x(3)) 3 C2  (1 / 6) 2  (5 / 6)  15 / 216




確率過程：確率変数 X(t)で表される確率的な現象のこと
時助変数： t
標本関数： X(t)のとりうる値 x(t)
標本関数 X(t)のとる確率が分かっていれば、確率過程は
完全に決定できる
統計学輪講 7章
4
資料 P.178~179
確率過程の例～ランダムウォーク

コインを投げて表なら上へ、裏なら下へ移動という
動作を行う
確率変数 X は時刻 t における位置
4

2
5
10
15
20
25
30
-2

標本関数 x(t)の値
1
x
(
1
)

,



1


-4
2

x ( 2)  0 ,
 2

3
1

x (3)  
 1

 3
x(n) が n=2k (k=0,1,2,…,n) の値を取る確率は

k
1 1
f ( x(n))  n Ck    
2 2
nk
1
 n Ck  
2
統計学輪講 7章
n
5
資料 P.182~183
マルコフ過程

ある時刻の状態が前の時刻の状態と関係し
ているような確率過程をマルコフ過程と呼ぶ


単純マルコフ過程：直前の時刻のみに依存
i 重マルコフ過程：いくつか前(i 個)の時刻に依存


ランダムウォークの場合は
直前の時刻のみに依存する。
つまり単純マルコフモデルである
サイコロの例も同様
※ 以降、単純マルコフ過程のみを考える
統計学輪講 7章
6
マルコフ過程 (cont.)

資料 P.183
(単純)マルコフ過程を条件付確率で表す
P( X (n)  an | X (n  1)  an1 )
この確率を推移確率という

例)

ランダムウォークの場合
時刻 t=n で x=2 の位置にいるとき、上に進む確率は
1
P ( X (n  1)  3 | X (n)  2) 
2

全ての推移確率が時刻に無関係に決まっている
マルコフ過程を時間的に一様なマルコフ過程という
統計学輪講 7章
7
資料 P.185~186
例題1


ある先生は週1度だけ講義を担当している。
・休講した次の週は10%の確率で休講する。
・開講した次の週は30%の確率で休講する。
全ての推移確率を求めよ
[解]
休講する状態を x1,開講する状態を x2 とする。
xi から x j に推移するときの確立を pij とすると
推移確率はそれぞれ
p11  P( X (n)  x1 | X (n  1)  x1 )  0.1
p12  P( X (n)  x2 | X (n  1)  x1 )  1  0.1  0.9
p21  P( X (n)  x1 | X (n  1)  x2 )  0.3
p22  P( X (n)  x2 | X (n  1)  x2 )  1  0.3  0.7
統計学輪講 7章
8
資料 P.186
例題1 (cont.)
p11  P( X (n)  x1 | X (n  1)  x1 )  0.1
p12  P( X (n)  x2 | X (n  1)  x1 )  1  0.1  0.9
p21  P( X (n)  x1 | X (n  1)  x2 )  0.3
p22  P( X (n)  x2 | X (n  1)  x2 )  1  0.3  0.7

各推移確率を行列で表す
 p11 p12   0.1 0.9 


P



p

p
0
.
3
0
.
7


22 
 21

この行列のことを推移行列と呼ぶ
統計学輪講 7章
9
資料 P.186
チャップマン･コルモゴロフの式


1回の推移で状態 xiから x j へ移る確率： pij
(l )
x
l 回の推移で状態 xiから j へ移る確率： pij
---------
xi
pir
l=2 の場合
xr
---------
pij
p rj
( 2)
 pi1 p1 j  pi 2 p2 j    pik pkj
k
xj
時間
  pir prj
r 1
：状態
統計学輪講 7章
10
資料 P.186
チャップマン･コルモゴロフの式 (cont.)

l’ 回推移した状態から l 回後の推移確率を計算する


(l ')
x
x
l’ 回の推移で iから rへ移る確率は pir
( l  l ')
p
x
l - l’ 回の推移で xrから j へ移る確率は rj
チャップマン・コルモゴロフの式
pij
(l )
p
( l ')
i1
k
p1 j
( l l ')
  pir prj
( l ')
 pi 2 p2 j
( l ')
( l l ')
   pik pkj
( l ')
( l l ')
( l l ')
r 1
xi
(l ')
xj
l'
統計学輪講 7章
(l )
l
11
資料 P.187
チャップマン･コルモゴロフの式 (cont.)

l’=1 のとき、
( 2)
p
推移行列を用いて推移確率 ij を求める
 p11 p12  p1k  p11 p12  p1 j  p1k 


( 2)
( 2)
( 2)
p12  p1k 
 p21 p22  p2 k  p21 p22  p2 j  p2 k   p11

( 2)
( 2) 
    ( 2 )
p21  p2 k
   p21

P2  



 pi1 pi 2  pik  :
:
:
:
 
 


( 2)
( 2)
( 2) 






pk 2  pkk 

   pk1
 p p  p  p p  p  p 
kk  k 1
 k1 k 2
k2
kj
kk 
pij
( 2)
 pi1 p1 j  pi 2 p2 j    pik pkj
k
  pir prj
r 1
統計学輪講 7章
12
資料 P.188
例題2

例題1の先生が、ある週に休講して、3週間後にも
休講する確率はいくらか
 0.1 0.9 

P  
 0.3 0.7 

[解]
( 3)
 p11
を求めればよい。まず P 2 を計算し、 P 3 を計算する。
 0.1 0.9  0.1 0.9   0.28 0.72 

  

P  
 0.3 0.7  0.3 0.7   0.24 0.76 
2
 0.1 0.9  0.28 0.72   0.24 0.75 

  

P  
 0.3 0.7  0.24 0.76   0.25 0.75 
3

P
3
の1行1列目の要素が
( 3)
である。
11
p
統計学輪講 7章
答え 24%
13
資料 P.188
推移の極限

(l )
l
P の l をどんどん大きくしていくと、Pの各要素 pij は
ある一定値に近づく
0.8
0.6
0.4
0.2
2
4
6
8
10
p11 と p21 は p1  0.25に近づく
(l )
(l )
p12 と p22 は p2  0.75に近づく
(l )
統計学輪講 7章
(l )
14
資料 P.188~189
推移の極限 (cont.)

l→∞ というのは、長時間経過した後の各状態に
推移する確率を調べている


p1  0.25 ：長い目で見たときの、休講する確率が25％
p2  0.75 ：長い目で見たときの、開講する確率が75％
0.8
0.6
0.4
0.2

（別解方法）
 l→∞ の極限では、もう1度推移してもその状態にある確率は変
化しない
2
よって
4
6
8
10
 0.1 0.9 
  ( p1 , p2 )
( p1 , p2 )
 0.3 0.7 
0.1 p1  0.3 p2  p1
0.9 p1  0.7 p2  p2
統計学輪講 7章
を解けばよい
15
資料 P.176~189
例題3 （まとめ）

２つの壷A,Bがあり、Aには赤球が2個、Bには白球
が2個入っている。それぞれの壷から1個ずつ球を取り
出し、交換して壷に戻す。この操作を繰り返す。
この過程における推移確率と推移の極限を求めよ

確率変数 X(t) はAの壷の中にある赤球の数とする
A
A
A
B
B
統計学輪講 7章
B
16
資料 P.176~189
例題3 （まとめ） cont.


確率変数 X(t) の取り得る値は X(t)=0,1,2
この過程における各推移確率を求める

時刻 n-1 でAに赤球が入ってないときは、
時刻 n で必ず X(n)=1になる
A
B
時刻 n-1 でAに赤球が2個入っているときは、
時刻 n で必ず X(n)=1 になる
A
B
P( X (n)  1 | X (n  1)  0)  1

P( X (n)  1 | X (n  1)  2)  1

時刻 n-1 でAに赤球が1個入っているときは3通りの推移がある



Aから赤球、Bから白球を取り出すとき： X(n)=0
Aから白球、Bから赤球を取り出すとき： X(n)=2
Aから白球、Bから白球を取り出すときか
Aから赤球、Bから赤球を取り出すとき： X(n)=1
統計学輪講 7章
A
B
17
資料 P.176~189
例題3 （まとめ） cont.
A

B
Aから白球、Bから赤球を取り出すとき X(n)=0
P ( X (n)  2 | X (n  1)  1) 

1 1 1
 
2 2 4
B
A
B
A
B or A
Aから赤球、Bから白球を取り出すとき X(n)=2
1 1 1
P ( X (n)  0 | X (n  1)  1)   
2 2 4

A
Aから赤球、Bから赤球を取り出す、または
Aから白球、Bから白球を取り出すとき X(n)=1
P( X (n)  1 | X (n  1)  1) 
B
1 1 1 1 1
   
2 2 2 2 2
統計学輪講 7章
18
資料 P.176~189
例題3 （まとめ） cont.

それぞれの推移確率を推移行列にまとめる
X(n)
0
X(n-1)
1
2


0
1
2
0
1
0
0

1 4
0

1/4 1/2 1/4
0
1
0
1
12
1
0

1 4
0 
この過程は直前の状態のみに依存する。
つまり単純マルコフ過程である
さらに時刻 n においても推移確率が一様である。
つまり時間的に一様なマルコフ過程である
統計学輪講 7章
19
資料 P.176~189
例題3 （まとめ） cont.

球を取り出す操作を何回も繰り返した後の
推移確率を計算する。
つまりこの過程の推移の極限を計算する。

赤球が1個もない確率を p0 、
1個ある確率を p1 、
2個ある確率を p2 とする
1
0 
 0


( p0 , p1 , p2 )1 4 1 2 1 4   ( p0 , p1 , p2 )
 0

1
0


を解く
1
2
1
[答] p0  6 , p1  3 , p2  6
統計学輪講 7章
20

Download Report