4. 連続時間マルコフ連鎖
確率過程論基礎
笠原
連続時間マルコフ連鎖の定義
可算的な状態空間をもつ連続時間型確率過程を考える．最初に系が時刻 t(≥ 0)
で状態 i に遷移したと仮定する．
• 状態 i にはパラメタ qi (≥ 0) をもつ指数分布に従う時間だけ滞在する．
• 滞在終了時点において，確率 pij で新しい状態 j(̸= i) に遷移する．
• 状態 i の滞在時間と新しい状態 j(̸= i) への遷移は i のみに依存し，時刻 t よ
り前のシステムの状態には依存しない．
• 現在の状態が i であるという条件の下で，状態の滞在時間と次の遷移先の状
態とは独立である．
以下では時刻 t における系の状態を X(t) とする．
2
確率過程論基礎
笠原
X(t)
X2
X4
X1
X3
Y1
X0
S0
Y2
S1
Y3
S2
Y4
S3
S4
t
連続時間マルコフ連鎖の標本路
3
確率過程論基礎
笠原
定義 4.1 可算状態空間 S をもつ確率過程 {X(t), t ≥ 0} において，時刻
0 < S1 < S2 < . . . で状態が遷移し，Xn = X(Sn +) (n ≥ 0) および
Yn = Sn − Sn−1 (n ≥ 1) で定義された過程 {X0 , (Xn , Yn ), n ≥ 1} が
P (Xn+1 = j, Yn+1 > y|Xn = i, Yn , Xn−1 , Yn−1 , . . . , X1 , Y1 , X0 ) = pij e−qi y ,
(1)
を満足するとき，{X(t), t ≥ 0} を連続時間マルコフ連鎖 (continuous-time
Markov chain) とよぶ．
定義 4.1 において，特定の時刻で定義された {Xn }n≥0 は遷移確率 pij (i, j ∈ S)
をもつ離散時間マルコフ連鎖となっていることに注意する．このように作成さ
れた過程を特に埋め込まれた確率過程 (embedded process) とよぶ．
関連用語
• 状態 i の滞在時間パラメタ qi が qi = 0 ならば，状態 i を吸収状態
(absorbing state) とよぶ．
• 0 < qi < ∞ ならば，状態 i は安定 (stable) とよばれる．
• qi = ∞ ならば，状態 i は瞬間的 (instantaneous) とよばれる．
4
確率過程論基礎
笠原
例 4.1 稼働中か故障中のどちらか一方の状態を取るような機械を考える．その
機械が稼働中のときは，率 µ の指数分布に従う時間後に故障が発生する．故障
中のときには率 λ の指数分布に従う時間後に修理が完了して再び稼動する．確
率変数 X(t) を次式で定義する．

 0, 時刻 t で機械が故障している,
X(t) =
 1, 時刻 t で機械が稼動している.
このとき q0 = λ, p01 = 1 および q1 = µ, p10 = 1 となり，かつ式 (1) が成立する
ことから，{X(t), t ≥ 0} は連続時間マルコフ連鎖である．
5
確率過程論基礎
笠原
定理 4.1 連続時間マルコフ連鎖 {X(t), t ≥ 0} は任意時点においてマルコフ性
をもっている．すなわちすべての t, s ≥ 0 に対して
P (X(t + s) = j|X(s) = i, X(u) : 0 ≤ u < s) = P (X(t + s) = j|X(s) = i).
また斉時性について次式が成立する．
P (X(t + s) = j|X(s) = i) = P (X(t) = j|X(0) = i).
証明時刻 ν で X(ν) = i であり，かつ s > ν の時刻においてもその状態にとど
まっていると仮定する．定義より，状態 i の滞在時間 Y は率 qi の指数分布に
従っており，Y > s − ν に注意する．これより時刻 s における状態 i の残余滞在
時間は Y − (s − ν) である．指数分布の無記憶性より，Y > s − ν の条件の下で
の Y − (s − ν) の分布は率 qi の指数分布となり，かつ s と ν には独立である．
連続時間マルコフ連鎖の定義より，Y は {X(u), 0 ≤ u ≤ ν} とは X(ν) を通じて
のみ依存している．従って状態 i の残余滞在時間は，状態 i を通じてのみ過去と
依存している．また，次に訪問する状態は X(s) と同様に X(ν) を通じてのみ過
去と依存している．以上より，過程の将来は X(s) = i を通じてのみ依存してい
ることが言える．また qi と pij は，過程が状態 i になった時刻と独立であること
から，斉時性が証明された．
6
確率過程論基礎
笠原
連続時間マルコフ連鎖における遷移確率行列
まず次式を定義する．
pij (t)
P (t)
= P (X(t) = j|X(0) = i),
=
i, j ∈ S
(pij (t))
pij (t) を遷移確率，P (t) を遷移確率行列とよぶ．連続時間マルコフ連鎖の定義
中の pij は pij = P (X(Sn+1 +) = j|X(Sn +) = i) であることに注意する．
また初期分布として次式を定義する．
ai
= P (X(0) = i),
a
= (ai )
i∈S
7
確率過程論基礎
笠原
定理 4.2 連続時間マルコフ連鎖 {X(t), t ≥ 0} は初期分布 a と遷移確率行列
P (t) で完全に決定される．
証明 {X(t), t ≥ 0} のすべての有限次元分布が a と P (t) で決定されることを示
す．0 ≤ t1 ≤ t2 ≤ . . . ≤ tn と i1 , i2 , . . . , in ∈ S に対し，
P (X(t1 ) = i1 , X(t2 ) = i2 , . . . , X(tn ) = in )
∑
=
P (X(t1 ) = i1 , X(t2 ) = i2 , . . . , X(tn ) = in |X(0) = i0 )ai0
i0 ∈S
=
∑
ai0 P (X(t2 ) = i2 , . . . , X(tn ) = in |X(t1 ) = i1 , X(0) = i0 )
i0 ∈S
=
·P (X(t1 ) = i1 |X(0) = i0 )
∑
ai0 P (X(t2 ) = i2 , . . . , X(tn ) = in |X(t1 ) = i1 )pi0 i1 (t1 ) (∵ マルコフ性)
i0 ∈S
=
∑
ai0 pi0 i1 (t1 )P (X(t2 − t1 ) = i2 , . . . , X(tn − t1 ) = in |X(0) = i1 ) (∵ 斉時性)
i0 ∈S
=
··· =
∑
ai0 pi0 i1 (t1 )pi1 i2 (t2 − t1 ) · · · pin−1 in (tn − tn−1 ).
i0 ∈S
8
確率過程論基礎
笠原
連続時間マルコフ連鎖の無限小生成作用素表現
Eij を状態の組 (i, j) (i ̸= j) に関連する事象，Tij を率 qij ≥ 0 をもつ指数分布
に従う時間とする．今時刻 t で系が状態 i になったと仮定する．このとき事象
Eij は時刻 t + Tij で発生するようにスケジュールされる．また確率変数
{Tij , i ̸= j} は互いに独立で時刻 t までの履歴とは独立である．状態 j を
Tij = mink̸=i {Tik } となる状態とすると，Eij は系が状態 i になってから最初に
起こる事象となる．このとき，系は時刻 t + Tij まで状態 i にとどまってから状
態 j に遷移する．状態 j に遷移した時点で新しい事象 Ejk (k ̸= j) がスケジュー
ルされる．以降，系はこれを繰り返して進展していく．
{Tij , j ̸= i} の仮定より
P (Xn+1 = j, Yn+1 > y|Xn = i, Yn , Xn−1 , Yn−1 , . . . , X1 , Y1 , X0 )


 ∑ 
qij
exp −y
= P (Tij = min{Tik }, Tij > y) = ∑
qik .


k̸=i
k̸=i qik
k̸=i
9
確率過程論基礎
笠原
ここで次式を定義する．
qi =
∑
pij = ∑
qij ,
j̸=i qij
j̸=i
注意
∑
j̸=i qij
qij
.
= 0 ならば，状態 i は吸収状態となる．
以上より，{X(t), t ≥ 0} はパラメタ {qi } と {pij } で規定される連続時間マルコ
フ連鎖となる．qij を状態 i から j への遷移率とよぶ．qii は以下の式で定義さ
れる．
∑
qii = −
qij = −qi .
j̸=i
また率行列 Q は次式で定義される．
Q = (qij ),
i, j ∈ S
Q はまた無限小生成作用素 (infinitesimal generator) とよばれる．
連続時間マルコフ連鎖においては状態遷移を状態遷移速度図を用いて書き表す
ことができる．
（以下の例参照）
10
確率過程論基礎
笠原
例 4.2 例 4.1 を考える．状態空間は S = {0, 1} である．状態 0 においては
E01 = { 機械の修理が完了する }，T01 ∼ exp(λ) となり，q01 = λ を得る．また
状態 1 においては E10 = { 機械が故障する }，T10 ∼ exp(µ) となり，q10 = µ を
得る．率行列 Q は


−λ λ


Q=
µ −µ
となり，遷移速度図は下図のようになる．
λ
0
1
µ
2 状態連続時間マルコフ連鎖の状態遷移速度図
11
確率過程論基礎
笠原
遷移確率行列の性質
定理 4.3 連続時間マルコフ連鎖の遷移確率行列 P (t) は以下の性質を持つ．
1. すべての i, j ∈ S と t ≥ 0 に対して pij (t) ≥ 0．
∑
2. すべての i, j ∈ S と t ≥ 0 に対して j∈S pij (t) = 1．
3. すべての i, j ∈ S と t ≥ 0, s ≥ 0 に対して pij (t + s) =
∑
k∈S
pik (t)pkj (s)．
証明
1. 定義より明らか．
2. Sn を連続時間マルコフ連鎖の n 番目の遷移時刻，Xn = X(Sn +)，N (t) を
時刻 t までの遷移回数とすると
12
確率過程論基礎
∑
pij (t)
笠原
=
j∈S
∑
P (X(t) = j|X(0) = i)
j∈S
=
∞
∑∑
P (X(t) = j|X(0) = i, N (t) = n)P (N (t) = n|X(0) = i)
j∈S n=0
=
∞
∑∑
P (Xn = j|X(0) = i, N (t) = n)P (N (t) = n|X(0) = i)
j∈S n=0
=
∞ ∑
∑
P (Xn = j|X(0) = i, N (t) = n)P (N (t) = n|X(0) = i)
n=0 j∈S
=
∞
∑
P (N (t) = n|X(0) = i) = P (N (t) < ∞|X(0) = i) = 1.
n=0
13
確率過程論基礎
笠原
3.
pij (t + s)
= P (X(t + s) = j|X(0) = i)
∑
=
P (X(t + s) = j|X(t) = k, X(0) = i)P (X(t) = k|X(0) = i)
k∈S
=
∑
P (X(t + s) = j|X(t) = k)P (X(t) = k|X(0) = i)
k∈S
=
∑
(∵ マルコフ性)
P (X(s) = j|X(0) = k)P (X(t) = k|X(0) = i)
k∈S
=
∑
(∵ 斉時性)
pik (t)pkj (s).
k∈S
注意定理 4.3 の 3 は連続時間マルコフ連鎖におけるチャップマン-コルモゴロフ
方程式とよばれる．行列表現は次式で与えられる．
P (t + s) = P (t)P (s) = P (s)P (t).
14
確率過程論基礎
笠原
定理 4.4 P (t) を連続時間マルコフ連鎖 {X(t), t ≥ 0} の遷移確率行列，Q を無
限小生成作用素とする．
1.
pii (t) − pii (0)
pii (t) − 1
= lim
= qii = −qi ,
t→0
t→0
t
t
lim
2.
pij (t) − pij (0)
pij (t)
= lim
= qij ,
t→0
t→0
t
t
lim
i ∈ S.
i, j ∈ S, i ̸= j.
(2)
(3)
証明 N (t) を時刻 t までの遷移回数とすると
P (N (t) = 0|X(0) = i) =
=
P (Y1 > t|X(0) = i) = e−qi t
1 − qi t + o(t) = 1 + qii t + o(t).
同様に
P (N (t) ≥ 2|X(0) = i)
= P (Y1 + Y2 ≤ t|X(0) = i)
∑
=
P (Y1 + Y2 ≤ t|X(0) = i, X1 = j)pij . (4)
j∈S
15
確率過程論基礎
笠原
X(0) = i と X1 = j は，Y1 ∼ exp(qi ) かつ Y2 ∼ exp(qj ) を意味することから
P (Y1 + Y2 ≤ t|X0 = i, X1 = j)
qj
qi
e−qi t +
e−qi t
qj − qi
qj − qi
qj
= 1−
{1 − qi t + o(t)}
qj − qi
qi
+
{1 − qj t + o(t)} = o(t).
qj − qi
=
1−
上式を (4) に代入することにより P (N (t) ≥ 2|X(0) = i) = o(t) を得る．
pii (t)
= P (X(t) = i|X(0) = i)
= P (X(t) = i|X(0) = i, N (t) = 0)P (N (t) = 0|X(0) = i)
+P (X(t) = i|X(0) = i, N (t) = 1)P (N (t) = 1|X(0) = i)
+P (X(t) = i|X(0) = i, N (t) ≥ 2)P (N (t) ≥ 2|X(0) = i)
= 1 · (1 + qii t + o(t)) + 0 · P (N (t) = 1|X(0) = i)
+P (X(t) = i|X(0) = i, N (t) ≥ 2) · o(t)
= 1 + qii t + o(t).
16
確率過程論基礎
笠原
よって
pii (t) − 1
o(t)
= qii +
t
t
より (2) が証明された．(3) についても pij (t) = qij t + o(t) を示すことで証明で
きる．
系 4.1 P (t) は t = 0 で連続である．
証明 (2) と (3) から qi < ∞ に注意すると
lim pii (t) =
1 = pii (0),
lim pij (t) =
0 = pij (0),
t→0
t→0
i ̸= j.
よって
lim P (t) = P (0) = I.
t→0
17
確率過程論基礎
笠原
系 4.2 P (t) はすべての t ≥ 0 において連続である．
証明 P (t + h) = P (t)P (h) であり，かつ h → 0 とすると
lim P (t + h) = lim P (t)P (h) = P (t) lim P (h) = P (t)I = P (t).
h→0
h→0
h→0
定理 4.5 率行列 Q をもつ連続時間マルコフ連鎖の遷移確率行列を P (t) とす
る．このとき，P (t) は微分可能で以下の式を満足する．
(
)
d
d
P (t) =
pij (t) = QP (t),
(5)
dt
dt
d
P (t) = P (t)Q.
dt
(6)
注意 (5) 式はコルモゴロフの後進方程式 (backward Kolmogorov equations)，
(6) 式はコルモゴロフの前進方程式 (forward Kolmogorov equations) とよば
れる．
18
確率過程論基礎
笠原
証明
pij (t + h) =
=
P (X(t + h) = j|X(0) = i)
∑
P (X(t + h) = j|X(t) = k, X(0) = i)P (X(t) = k|X(0) = i)
k∈S
=
∑
P (X(t + h) = j|X(t) = k)P (X(t) = k|X(0) = i)
k∈S
=
∑
P (X(h) = j|X(0) = k)pik (t)
k∈S
=
∑
pik (t){qkj h + o(h)} + pij (t){1 + qjj h + o(h)}
k∈S,k̸=j
=
∑
k∈S
よって
pik (t)qkj h +
∑
pik (t)o(h) + pij (t).
k∈S
pij (t + h) − pij (t) ∑
o(h)
=
pik (t)qkj +
.
h
h
k∈S
19
確率過程論基礎
h → 0 とすると
笠原
∑
d
pik (t)qkj ,
pij (t) =
dt
k∈S
すなわち (6) を得る．
(5) は X(h) で条件付けをすることにより，同様に導出できる．
定理 4.6 P (t) は次式の一意の解として与えられる．
d
P (t) = P (t)Q = QP (t).
dt
証明省略．
例 4.3 例 4.1 の連続時間マルコフ連鎖を考える．無限小生成作用素 Q は


−λ λ


Q=
µ −µ
20
確率過程論基礎
笠原
だから，前進方程式は次式で与えられる．
d
p00 (t) = −λp00 (t) + µp01 (t), p00 (0) = 1,
dt
d
p01 (t) = λp00 (t) − µp01 (t), p01 (0) = 0,
dt
d
p10 (t) = −λp10 (t) + µp11 (t), p10 (0) = 0,
dt
d
p11 (t) = λp10 (t) − µp11 (t), p11 (0) = 1.
dt
(7)
(8)
同様に，後進方程式は次式で与えられる．
d
p00 (t)
dt
d
p10 (t)
dt
= −λp00 (t) + λp10 (t),
d
p01 (t)
dt
d
p11 (t)
dt
= −λp01 (t) + λp11 (t),
= µp00 (t) − µp10 (t),
= µp01 (t) − µp11 (t),
p00 (0) = 1,
p10 (0) = 0,
(9)
p01 (0) = 0,
p11 (0) = 1.
(10)
21
確率過程論基礎
笠原
初期状態として機械が稼動している，すなわち P (X(0) = 1) = 1 と仮定する．
最初に (8) に着目する．p10 (t) + p11 (t) = 1 に注意すると，(8) から
d
p10 (t) = −(λ + µ)p10 (t) + µ
dt
を得る．初期条件 p10 (0) = 0 から以下の解を得る．
µ
µ −(λ+µ)t
p10 (t) =
−
e
,
λ+µ λ+µ
λ
µ −(λ+µ)t
p11 (t) =
+
e
.
λ+µ λ+µ
同様に (7) から p00 (t) および p01 (t) が計算でき，結果として次式を得る．


µ
λ
λ
−(λ+µ)t
−(λ+µ)t
e
+
(1
−
e
)
λ+µ
λ+µ
λ+µ


P (t) =
µ
µ
λ
−(λ+µ)t
) λ+µ
+ λ+µ e−(λ+µ)t
λ+µ (1 − e
t → ∞ とすると

P (∞) = 
µ
λ+µ
µ
λ+µ

λ
λ+µ
λ
λ+µ

となることに注意する．
22
確率過程論基礎
笠原
連続時間マルコフ連鎖の極限分布
状態空間 S をもち，かつパラメタ {qi } と pij に従う連続時間マルコフ連鎖
{X(t), t ≥ 0} を考える．このマルコフ連鎖の状態遷移確率行列を
P (t) = (pij (t)) とする．
状態の分類
定義 4.2 状態 i, j ∈ S に対して pij (t) > 0 となる t ≥ 0 が存在するとき，状態 j
は状態 i から到達可能 (accessible) であるといい，i → j で表す．
定義 4.3 i → j かつ j → i ならば，i と j は連結 (communicate) しているとい
い，i ↔ j で表す．
定義 4.4 S の部分集合 C に対して
1. i ∈ C, j ∈ C ⇒ i ↔ j,
2. i ∈ C, i ↔ j ⇒ j ∈ C,
が成立するとき，C を連結クラス (communicating class) という．
23
確率過程論基礎
笠原
定義 4.5 連結クラス C において，任意の状態 i ∈ C から j ̸∈ C に到達できない
とき，連結クラス C は閉じているという．
定義 4.6 (既約性) S 内のすべての状態が単一の閉じた連結クラスに属すると
き，そのマルコフ連鎖は既約 (irreducible ) であるという．
遷移率行列 Q = (qij ) をもつ連続時間マルコフ連鎖 {X(t), t ≥ 0} に対し，以下
の遷移確率を持つ隠れ離散時間マルコフ連鎖 {Xn }n≥0 を考える．


qij /qi qi ̸= 0, i ̸= j,




 0
qi ̸= 0, i = j,
pij =

0
qi = 0, i ̸= j,




 1
qi = 0, i = j.
このとき，以下の定理が成立する．
24
確率過程論基礎
笠原
定理 4.7 連続時間マルコフ連鎖 {X(t), t ≥ 0} と隠れ離散時間マルコフ連鎖
{Xn }n≥0 に対し，以下のことが成立する．
1. {X(t), t ≥ 0} で i → j となる必要十分条件は，{Xn }n≥0 で i → j ．
2. {X(t), t ≥ 0} で i ↔ j となる必要十分条件は，{Xn }n≥0 で i ↔ j ．
3. C が {X(t), t ≥ 0} の（閉じた）連結クラスとなる必要十分条件は，C が
{Xn }n≥0 の（閉じた）連結クラスとなることである．
4. {X(t), t ≥ 0} が既約となる必要十分条件は {Xn }n≥0 が既約であることで
ある．
証明省略．
25
確率過程論基礎
笠原
過渡性と再帰性
状態空間 S をもつ連続時間マルコフ連鎖 {X(t), t ≥ 0} に対し，最初にイベント
が起こった時刻を S1 ，連続時間マルコフ連鎖がはじめて状態 j を訪れる時間を
Tj とおく．このとき Tj は次式で与えられる．
Tj = inf{t ≥ S1 : X(t) = j}.
ここで fij と µij を以下のように定義する．
fij = P (Tj < ∞|X(0) = i),
µij = E[Tj |X(0) = i]
定義 4.7 fii < 1 ならば状態 i は過渡的，fii = 1 ならば再帰的とよばれる．
定義 4.8 fii = 1 かつ µii = ∞ ならば状態 i は零再帰的，fii = 1 かつ µii < ∞
ならば正再帰的とよばれる．
26
確率過程論基礎
笠原
定理 4.8 連続時間マルコフ連鎖 {X(t), t ≥ 0} とその隠れ離散時間マルコフ連
鎖 {Xn }n≥0 を考える．連続時間マルコフ連鎖において状態 i が再帰的（過渡
的）になる必要十分条件は，対応する隠れマルコフ連鎖において i が再帰的（過
渡的）となることである．
証明連続時間マルコフ連鎖では，有限時間内に起こる状態遷移の回数は有限で
あることを仮定していることに注意すると，次の関係を得る．
{ ある t ≥ 0 に対して X(t) = j} ⇔ { ある n ≥ 0 に対して Xn = j}
ここで fii = 1 ⇔ { ある t ≥ 0 に対して X(t) = i} である．したがって連続時間
マルコフ連鎖において状態 i が再帰的となるための必要十分条件は，対応する
離散時間マルコフ連鎖においてもその状態が再帰的となっていることである．
過渡的な場合についても同様の議論により証明される．
27
確率過程論基礎
笠原
定理 4.9 既約な連続時間マルコフ連鎖 {X(t), t ≥ 0} が，遷移確率行列 P をも
つ再帰的な隠れ離散時間マルコフ連鎖 {Xn }n≥0 と対応していると仮定する．ま
た π を方程式
π = πP
(11)
の正の値を持つ解ベクトルとする．このとき連続時間マルコフ連鎖が正再帰と
なる必要十分条件は次式が成立することである．
∑
πi /qi < ∞.
j∈S
28
確率過程論基礎
笠原
証明 S1 を初期状態の滞在時間とする．もし X1 = X(S1 +) = j ならば，
′
Tj = S1 となる．もし X1 = k ̸= j ならば Tj は S1 + Tkj
と同じ分布に従う．こ
′
こで Tkj
は連鎖が状態 k からはじまって状態 j を最初に訪れる時間である．
よって
µij
= E[Tj |X0 = i]
= E[S1 |X0 = i] +
∑
E[Tj |X0 = i, X1 = k]P (X1 = k|X0 = i)
k̸=j
= E[S1 |X0 = i] +
=
∑
1 ∑
pik µkj .
+
qi
pik µkj
k̸=j
k̸=j
この両辺に πi をかけ，すべての i ∈ S に対して足し合わせることにより次式を
29
確率過程論基礎
笠原
得る．
∑
πi µij
∑
=
i∈S
πi /qi +
i∈S
∑
=
=
πi
i∈S
πi /qi +
i∈S
∑
∑
∑
pik µkj
k̸=j
∑∑
πi pik µkj
k̸=j i∈S
πi /qi +
i∈S
∑
πk µkj .
k̸=j
これより
πj µjj =
∑
πi /qi ,
i∈S
すなわち
∑
µjj =
これより µjj < ∞ となるのは
∑
i∈S
i∈S
πi /qi
.
(12)
πi /qi < ∞．
πj
30
確率過程論基礎
笠原
連続時間マルコフ連鎖の極限
定理 4.10 連続時間マルコフ連鎖 {X(t), t ≥ 0} に対し，
1
lim pjj (t) =
,
t→∞
qj µjj
j ∈ S.
ここで µjj = ∞ のとき，1/µjj = 0 である．
証明厳密な証明は再生理論に拠るため，ここでは直感的な証明を与える．連続
時間マルコフ連鎖が状態 j から始まり，かつ時刻 Tj で状態 j に戻ってきたと仮
定する．連鎖は Tj 間のうち S1 だけ状態 j に滞在していることに注意する．マ
ルコフ性により，連続時間マルコフ連鎖の振る舞いは Tj 以降も確率的に同一で
ある．各 Tj 間隔において，状態 j に滞在する時間は S1 である．
E[Tj |X(0) = j] = µjj かつ E[S1 |X(0) = j] = 1/qj であることから，状態 j に
費やされる時間の割合は E[S1 |X(0) = j]/E[Tj |X(0) = j] = 1/(qj µjj ) と等し
い．また連鎖が任意の時刻において状態 j にある時間割合は，系が状態 j に滞
在している時間割合と等しいことから，定理が成立する．
31
確率過程論基礎
笠原
定理 4.11 連続時間マルコフ連鎖 {X(t), t ≥ 0} に対して
fij = P (Tj < ∞|X(0) = i) とするとき，次式が成立する．
fij
lim pij (t) =
.
t→∞
qj µjj
証明省略．
系 4.3 連続時間マルコフ連鎖において状態 j が過渡的，または零再帰的な状態
ならば次式が成立する．
lim pij (t) = 0.
t→∞
32
確率過程論基礎
笠原
既約な連続時間マルコフ連鎖における極限の振る舞いと極限分布
定理 4.12 {X(t), t ≥ 0} を既約で正再帰な連続時間マルコフ連鎖とする．また
{Xn }n≥0 を，(11) を満足するベクトル π をもつ隠れ離散時間マルコフ連鎖とす
る．このとき次式が成立する．
πj /qj
.
k∈S πk /qk
lim pij (t) = ∑
t→∞
(13)
証明 {X(t), t ≥ 0} の既約性から，∀i, j ∈ S に対して fij = 1．また (12) より
1 ∑ πk
µjj =
.
πj
qk
k∈S
これら二式と定理 4.11 より，定理が証明された．
注意正再帰的な連続時間マルコフ連鎖は状態 j を無限回訪れ，j を訪問する時
間間隔は平均 µjj である．一方，状態 j の滞在時間は平均 1/qj となることから，
πj /qj
1/qj
∑
=
.
µjj
π
/q
k∈S k k
よって pij (t) が極限に到達するのであれば，その極限は (13) で与えられる．
33
確率過程論基礎
笠原
正再帰的な連続時間マルコフ連鎖はエルゴード的とよばれる．このとき X(t) の
極限分布
pj = lim P (X(t) = j|X(0) = j),
t→∞
が存在し，初期分布とは独立で完全な (nondefective) 分布となっている．
定理 4.13 {X(t), t ≥ 0} を既約で正再帰な連続時間マルコフ連鎖とし，極限分
布 p = (pj ) をもつと仮定する．このとき，p は時式の一意な解として与えら
れる．
∑
pQ = 0,
pj = 1.
(14)
j∈S
証明 {Xn }n≥0 を {X(t), t ≥ 0} の対応する遷移確率行列 P をもった隠れ離散
時間マルコフ連鎖とする．もし p が (14) をみたすならば，ある正定数 C につい
て πj = Cpj qj が
π = πP
を満足することがわかる．上式より p は 1 で正規化されるとき，一意で決定さ
れ，定理 4.12 よりこの p が極限分布であることが言える．
34
確率過程論基礎
笠原
定理 4.14 {X(t), t ≥ 0} を既約な連続時間マルコフ連鎖とする．もし
∑
pQ = 0,
pj = 1.
j∈S
に対して正の解 p が存在するならば，{X(t), t ≥ 0} は正再帰であり，かつ解は
一意となる．
証明 p を上式の一つの正の解とする．このとき，πj = pj qj が対応する隠れマ
ルコフ連鎖の不変ベクトルとなっていることが容易にわかる．これを式 (12) に
代入することにより，µjj = 1/(pj qj ) < ∞ を得る．よって状態 j は正再帰的で
あることから，連続時間マルコフ連鎖全体もまた正再帰的となる．
注意式 (14) は平衡方程式 (balance equations) とよばれ，下式のように書き下
すことができる．
∑
∑
pi qij =
pj qji ,
i ∈ S.
j∈S
j∈S
上式の左辺は状態 i から出る遷移が起こる率を表し，右辺は状態 i に入る遷移が
起こる率を表している．
35
確率過程論基礎
笠原
例 4.4 例 4.1 の 2 状態連続時間マルコフ連鎖を考える．このとき平衡方程式は
次式で与えられる．
λp0
=
µp1 ,
µp1
=
λp0 .
また正規化条件として
p0 + p1 = 1.
これらを解くことにより，次の解を得る．
p0 =
µ
,
λ+µ
p1 =
λ
.
λ+µ
36
確率過程論基礎
笠原
例 4.5 (出生死滅過程) {X(t), t ≥ 0} を出生率 {λi }i≥0 と死滅率 {µi }i≥1 をも
つ出生死滅過程とする．
λ0
0
λ1
...
1
µ1
λ n-2
µ2
λ n-1
n-1
µ n-1
λn
n
µn
λ n+1
...
n+1
µ n+1
µ n+2
出生死滅過程の状態遷移図
平衡方程式は次式で与えられる．
λp0
(λi + µi )pi
= µ1 p1
= λi−1 pi−1 + µi+1 pi+1 ,
i ≥ 1.
上式より i ≥ 0 に対して λi pi = µi+1 pi+1 が得られ，これを再帰的に用いるこ
とで
λ0 λ1 . . . λi−1
p0 = ρi p0
pi =
µ1 µ2 . . . µi
37
確率過程論基礎
笠原
を得る．ここで
ρ0
ρi
= 1
λ0 λ1 . . . λi−1
,
=
µ1 µ2 . . . µi
i ≥ 1.
pi を正規化条件に代入することにより
∞
∑
ρj p0 = 1.
j=0
これよりもし
∞
∑
ρj < ∞
(15)
j=0
ならば

p0 = 
∞
∑
−1
ρj 
>0
j=0
を得る．したがって (15) は出生死滅過程が正再帰的になるための条件である．
∑∞
このとき定常状態確率は pi = ρi / j=0 ρj (i ≥ 0) で与えられる．
38

Download Report