Aanvullingen Markovketens Alternatief bewijs Stelling 4.21 We

Aanvullingen Markovketens
Alternatief bewijs Stelling 4.21 We hadden gezien dat de uitspraken alleen nog bewezen
hoeven te worden voor i ∈ T en j ∈ ∪k Rk , en voor i, j ∈ Rk . Dat gaat via de volgende stappen:
i) p∗jj =
1
µjj ,
j ∈ Rk .
ii) p∗ij = fij p∗jj , i ∈ T ∪ Rk , j ∈ Rk , i 6= j;
E(V1j | X0 =i)
< ∞, als i positief recurrent
µii
PY1 −1
j
zichzelf, V1 = t=0 1{j} (Xt ) en i, j ∈ Rk .
iii) p∗jj =
is, Y1 de terugkeertijd van een toestand naar
Als dit bewezen is, dan volgen uitspraken 1 en 2 van de stelling. Voorts gelden ook de volgende
uitspraken.
a) Als i positief recurrent is, dan is E(V1j | X0 = i) ≤ E(Y1 | X0 = i) < ∞. Dus is p∗jj > 0, en dus
is µjj < ∞, zodat j positief recurrent is. D.w.z. positief recurrentie is een klasse-eigenschap.
b) P P ∗ = P ∗ . Uit (i,ii) volgt j ∈ Rk
p∗ij

∗


 pjj ,
i ∈ Rk
aki p∗jj ,
=
i∈T


 0,
anders.
Dus geldt voor i ∈ T dat
X
pil p∗lj
=
X
=
X
pil akl p∗jj
l∈T
= (
X
Voor i ∈ Rk krijgen we
∗
l pil plj
=
+
X
pil p∗jj
l∈Rk
pil akl
+
X
pil )p∗jj = aki p∗jj .
l∈Rk
l∈T
P
pil p∗lj
l∈Rk
l∈T
l
X
pil p∗lj +
P
l∈Rk
pil p∗jj = p∗jj . Immers Rk is gesloten. Voor de
overige paren i, j komt er links en rechts 0 te staan.
c)
P
j∈Rk
P
p∗ij = 1, voor i ∈ Rk , als Rk een positief recurrent klasse is. Dat volgt uit (iii), omdat
j∈Rk
V1j = Y1 .
d) P ∗ P = P ∗ . Je kunt weer nagaan dat de enige niet-triviale gevallen zijn wanneer i ∈ T ∪ Rk
en j ∈ Rk , met Rk een positief recurrente klasse. Laat i ∈ Rk . Dan geldt
(t)
t=1 pij
Pn
n
=
X n−1
X
l∈Rk t=0
1
(t)
pil plj .
Dus
p∗ij
= lim inf
n→∞
X
≥
n→∞
X
(t)
pil plj
l∈Rk t=0
lim inf
l∈Rk
=
X n−1
X
n−1
X
(t)
pil plj
t=0
p∗il plj .
l∈Rk
Stel nu, dat er een j ∈ Rk is en > 0 met p∗ij ≥ +
1=
X
X
p∗ij ≥ +
j∈Rk
P
l∈Rk
p∗il plj . Dan geldt
p∗il plj = + 1,
l,j∈Rk
tegenspraak. Dus geldt gelijkheid. Het geval dat i ∈ T en j ∈ Rk volgt hieruit direct.
De gevallen (i) en (iii) volgen uit vernieuwingsargumenten. We bewijzen slechts (ii). Laat i ∈
T ∪ Rk en j ∈ Rk gegeven zijn, met i 6= j. Stel X0 = i. Schrijf Y0 voor de tijdsduur tot j voor
het eerst bereikt wordt. Laat Yn de tijdsduur zijn tussen twee opeenvolgende bezoeken aan j,
¯j (n) voor het aantal bezoeken aan j voor (en het laatst op) tijdstip n, en
n = 1, . . .. Schrijf N
Nj (n) voor het vernieuwingproces geassocieerd met Y1 , Y2 , . . .. N.B. Yi ≥ 1!
Dan geldt
n
X
¯j (n) | X0 = i) =
ptij = E(N
n=1
X
(s)
fij (1 + E Nj (n − s) | X0 = j)
s≤n
Kies > 0 en n zodat
(s)
P
s≤n
fij ≥ fij − (> 0). Dan geldt voor n > n
¯j (n) | X0 = i) =
E(N
X
(s)
fij (1 + E(Nj (n − s) | X0 = j)
s≤n
≥
(s)
X
fij E(Nj (n − s) | X0 = j).
s≤n
Dus voor all > 0 klein geldt
(t)
n=1 pij
Pn
n
= lim inf
n→∞
≥ lim inf
¯j (n) | X0 = i)
E(N
n
P
(s)
s≤n fij E(Nj (n − s) | X0 = j)
n
E(Nj (n − s) | X0 = j) n − s
1
lim inf
≥ (fij − )
= (fij − )p∗jj .
n→∞
n−s
n
µjj
n→∞
≥
X
s≤n
(t)
Pn
Door de limiet ↓ 0 te nemen krijgen we
(t)
n=1 pij
Pn
n
≤
n=1
pij
n
≥ fij p∗jj . Voor een bovengrens krijgen we
fij (1 + E(Nj (n) | X0 = j)
,
n
2
zodat
Pn
lim sup
n→∞
t
n=1 pij
n
≤ lim sup
n→∞
fij (1 + E(Nj (n) | X0 = j)
= fij p∗jj
n
QED
N.B.
P
j
p∗ij =
k
k : Rk pos.rec. ai ,
P
voor i ∈ T . Dit kan mogelijk < 1 zijn!
toepassing op verwachte kosten
3

Download Report