Diskrete Markov-Ketten und Markov

Gerold Alsmeyer
Diskrete Markov-Ketten und
Markov-Sprungprozesse
20. Januar 2016
80
Kapitel II. Diskrete Markov-Ketten
30
M’
20
10
100
200
T 300
400
500
-10
-20
M
Bild 11.1. Realisierungen von M und M " mit Kopplungszeit T für (M, M̂ ).
alle n ≥ 0, und es folgt vermöge der Kopplungsungleichung (11.4)
(11.8)
M̂n
Mn
Mn
− ξ ∗ 7 = 7Pλ,ξ
7Pλ,•
∗ − Pλ,ξ ∗ 7 ≤ Pλ,ξ ∗ (T > n),
wegen Pλ,ξ∗ (T < ∞) = 1 also (11.1).
♦
(n)
= PξM
Da die Post-n-Prozesse M (n) und M̂ (n) für alle n ≥ T übereinstimmen und PξM
∗
∗
Vorlesungsmanuskript
(2015/16) die folgende Verschärfung von (11.1):
für alle
n ≥ 0 gilt, ergibt sich ohne Zusatzargumente
11.2. Korollar.
In der Situation von Satz 11.1 gilt ferner
lim 7PλM
(11.9)
(n)
n→∞
− PξM
∗ 7 = 0
für jede Anfangsverteilung λ.
Beweis: Es genügt der Hinweis, daß anstelle von (11.8) auch
(11.10)
(n)
M
7Pλ,•
(n)
(n)
M̂
M̂
M
− Pλ,ξ
− Pλ,ξ
∗ 7 = 7Pλ,ξ ∗
∗ 7 ≤ Pλ,ξ ∗ (T > n)
$
M̂
M
für alle n ≥ 0 gilt, denn PξM
∗ ,• = Pλ,ξ ∗ = Pλ,ξ ∗ .
♦
Gewidmet meinen Kindern Melanie und
Daniel
Inhaltsverzeichnis
Teil I Diskrete Markov-Ketten
1
Theoretische Grundlagen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1 Definitionen und grundlegende Eigenschaften . . . . . . . . . . . . . . . . . . .
1.2 Das Standardmodell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3 Filtrationen und Stopzeiten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3.1 Filtrationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3.2 Stopzeiten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.4 Die starke Markov-Eigenschaft . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.5 Stationäre Maße und Verteilungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
3
8
11
11
12
18
22
2
Beispiele diskreter Markov-Ketten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.1 Markov-Ketten mit zwei Zuständen . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2 Ein einfaches Bedienungssystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3 Irrfahrten mit reflektierenden Barrieren . . . . . . . . . . . . . . . . . . . . . . . .
2.4 Irrfahrten mit absorbierenden Barrieren . . . . . . . . . . . . . . . . . . . . . . . .
2.5 Einfache Irrfahrten auf einem Graphen . . . . . . . . . . . . . . . . . . . . . . . . .
2.6 Das Ehrenfest-Modell für Wärmeaustausch . . . . . . . . . . . . . . . . . . . . .
2.7 Markov-Ketten in der Genetik: Die Modelle von Wright-Fisher
und Moran . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.7.1 Das Wright-Fisher-Modell . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.7.2 Dasselbe Modell mit Mutationseffekten . . . . . . . . . . . . . . . . .
2.7.3 Dasselbe Modell mit Selektionsdruck . . . . . . . . . . . . . . . . . . .
2.7.4 Das Moran-Modell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.8 Irrfahrten auf Zd . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.9 Eine Variante: Reflektierende Irrfahrten auf N0 . . . . . . . . . . . . . . . . . .
2.10 Diskrete Random Walks in Zd . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.11 Ein Bedienungssystem mit konstanten Bedienungszeiten . . . . . . . . . .
2.12 Ein Lagerhaltungsmodell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.13 Der Galton-Watson-Verzweigungsprozess . . . . . . . . . . . . . . . . . . . . . .
27
27
27
29
29
29
30
31
31
32
33
34
35
37
38
39
40
41
vii
viii
Inhaltsverzeichnis
3
Zustandseigenschaften und Irreduzibilität . . . . . . . . . . . . . . . . . . . . . . . .
3.1 Irreduzibilität . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2 Periodizität . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.3 Zyklische Zerlegung einer DMK . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.4 Rekurrenz und Transienz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.5 Rekurrenz/Transienz von Irrfahrten auf Zd . . . . . . . . . . . . . . . . . . . . .
3.5.1 Der eindimensionale Fall . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.5.2 Der zweidimensionale Fall . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.5.3 Der drei- und mehrdimensionale Fall . . . . . . . . . . . . . . . . . . . .
3.6 Solidaritätseigenschaften . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
43
43
48
50
52
55
56
58
60
61
4
Ergodensätze für positive rekurrente Markov-Ketten . . . . . . . . . . . . . .
4.1 Stationäre Maße via zyklischer Zerlegungen . . . . . . . . . . . . . . . . . . . .
4.2 Die Kopplungsmethode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3 Der Ergodensatz für aperiodische, positiv rekurrente EMK . . . . . . . .
4.4 Die Besuchskette . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.5 Der Ergodensatz im Fall |S | = ∞ . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.6 Der periodische Fall . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.7 Pfadweise Ergodizität . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.8 Das Blackwellsche Erneuerungstheorem für diskrete
Erneuerungsprozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.9 Gleichmäßige und exponentielle Ergodizität . . . . . . . . . . . . . . . . . . . .
69
70
74
76
80
82
84
86
88
91
5
Null-rekurrente Markov-Ketten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.1 Essentielle Eindeutigkeit des stationären Maßes . . . . . . . . . . . . . . . . . 95
5.2 Zeitmittelkonvergenz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
5.3 Und noch zwei Konvergenzsätze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.4 Wie viele stationäre Maße hat eine DMK? . . . . . . . . . . . . . . . . . . . . . . 101
6
Reversibilität: Der Blick zurück . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
6.1 Zeitliche Umkehr von Markov-Ketten . . . . . . . . . . . . . . . . . . . . . . . . . 105
6.2 Reversibilität und detailliertes Gleichgewicht . . . . . . . . . . . . . . . . . . . 107
6.3 Das Kolmogorov-Kriterium für Reversibilität . . . . . . . . . . . . . . . . . . . 109
7
Und nochmals Beispiele – alte und neue . . . . . . . . . . . . . . . . . . . . . . . . . . 117
7.1 Markov-Ketten mit zwei Zuständen . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
Teil II Markov-Sprungprozesse
8
Theoretische Grundlagen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
8.1 Definitionen und grundlegende Eigenschaften . . . . . . . . . . . . . . . . . . . 121
8.2 Analytische Eigenschaften der Übergangsmatrixfunktion . . . . . . . . . 126
8.3 Die Kolmogorovschen Differentialgleichungen . . . . . . . . . . . . . . . . . . 128
8.4 Die Struktur von regulären MSP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
8.5 Interpretation der Q-Matrix: Der Uhrenmechanismus . . . . . . . . . . . . . 135
8.6 Minimale Konstruktion und Explosion von MSP . . . . . . . . . . . . . . . . 138
Inhaltsverzeichnis
ix
Literaturverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
Sachverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
Abkürzungsverzeichnis
CFTP
DMK
d.R.i.
DS-Argument
EMK
EP
FE-Argument
f.s.
FT
g.i.
L-Maß
L-integrierbar
LT
MCMC
MEP
MK
MRW
p.d.
PF
R-integrierbar
RW
SEP
SRW
u.i.v.
u.o.
VEP
VFkt.
VRW
W-Maß
W-Raum
W-Verteilung
Coupling from the past
Diskrete Markov-Kette
direkt Riemann-integrierbar
Dynkin-System-Argument
endliche Markov-Kette
Erneuerungsprozess
Funktions-Erweiterungsargument
fast sicher
Fourier-Transformierte
gleichgradig integrierbar
Lebesgue-Maß
Lebesgue-integrierbar
Laplace-Transformierte
Markov Chain Monte Carlo
Markov-Erneuerungsprozess
Markov-Kette
Markov-Random-Walk
paarweise disjunkt
Perron-Frobenius
Riemann-integrierbar
Random Walk
Standard-Erneuerungsprozess
Standard-Random-Walk
unabhängig, identisch verteilt
unendlich oft
verschobener Erneuerungsprozess
Verteilungsfunktion
verschobener Random Walk
Wahrscheinlichkeitsmaß
Wahrscheinlichkeitsraum
Wahrscheinlichkeitsverteilung
xi
Symbolverzeichnis
N
N0
Z
Q
R
R> , R6
R> , R<
C
Menge der positiven natürlichen Zahlen 1,2,...
Menge der natürlichen Zahlen 0,1,2,...
Menge der ganzen Zahlen 0, ±1, ±2, ...
Menge der rationalen Zahlen
Menge der reellen Zahlen
das Intervall [0, ∞) bzw. (−∞, 0]
das Intervall (0, ∞) bzw. (−∞, 0)
Menge der komplexen Zahlen
B, Bd
λλ = λλ0
λλd
Borelsche σ -Algebra über R bzw. Rd
Lebesgue-Maß auf (R, B)
d-mal das Zählmaß auf dem Gitter dZ, d ∈ (0, ∞)
1A
f+
f−
f ∧g
f ∨g
Indikatorfunktion der Menge A
Positivteil max{ f , 0} einer meßbaren numerischen Funktion f
Negativteil max{− f , 0} einer meßb. numerischen Funktion f
Minimum von f und g
Maximum von f und g
⊗i∈I Ai
µ ⊗ν
µn
f ⊗g
µ ∗ν
µ ∗(n)
f ∗µ
f ∗g
Produkt der σ -Algebren Ai
Produktmaß von µ, ν
n-faches von µ, d.h. µ ⊗ ... ⊗ µ (n-mal)
Tensorprodukt der reellen Funktionen f , g
Faltung der Borel-Maße µ, ν
n-fache Faltung von µ, d.h. µ ∗ ... ∗ µ (n-mal)
Faltung der reellen Funktion f mit dem Maß µ
Faltung der reellen Funktionen f , g
Lp
Raum der reellen, p-fach µ-integrierbaren Funktionen (auf einem Maßraum (Ω , A, µ), wobei p ∈ [1, ∞)
Raum der reellen, µ-fast überall beschränkten Funktionen
L∞
xiii
xiv
Symbolverzeichnis
k f kp
Cb
C0
bS
R
L p -(Pseudo-)Norm für Funktionen f ∈ L p , := ( | f | p dµ)1/p für
p ∈ [1, ∞) und := infN:µ(N)=0 supx∈N c | f (x)| für p = ∞
Raum der beschränkten, stetigen Funktionen von R nach C
Teilraum von Cb der stetigen Funktionen von R nach C mit kompaktem Träger
Raum der beschränkten reellen oder komplexwertigen Funktionen auf (S , S)
P(S )
kP − Qk
kQk
d(Q)
Menge aller W-Maße auf einer Menge S
Variationsabstand von P und Q, := supA |P(A) − Q(A)|
Gesamtmasse des Maßes Q
Spanne eines W-Maßes Q auf (R, B),
:= sup{d ∈ (0, ∞) : Q(dZ) = 1}
x> , A>
|x| p
Transponierte des Vektors x bzw. der Matrix A
1/p
für p ∈ [1, ∞) und
` p -Norm für x ∈ Rr , d.h. := ∑ri=1 |xi | p
:= max1≤ j≤r |x j | für p = ∞
|Ax|
` p -Matrix-Norm, d.h. := supx:|x| p ≤1 |Ax| p = supx |x| pp
A nichtnegative Matrix, d.h. alle Komponenten von A sind ≥ 0
A positive Matrix, d.h. alle Komponenten von A sind > 0
A − B ≥ (>)0
der k-größte Eigenwert von A
der betraglich zweitgrößte Eigenwert von A
kAk p
A≥0
A>0
A ≥ (>)B
λk (A)
ρ(A)
h f , giν
| f |ν
`2 (ν)
EP ( f , g)
v
→
w
→
d
→
P
→
R
f g dν = ∑ri=1 f (i)g(i)νi für ein Maß ν auf S = {1, ..., r}
1/2
1/2
:= h f , f iν = ∑ri=1 f (i)2 νi
der Raum Rr mit Skalarprodukt h·, ·iν
Dirichlet-Form eines reversiblen Paars (P, π), := h(I − P) f , giπ
:=
S
vag konvergent
schwach konvergent
verteilungskonvergent
konvergent in Wahrscheinlichkeit
d
X =Q
d
X =Y
X besitzt Verteilung Q
X ist verteilt wie Y
Symbolverzeichnis
xv
Verteilungen
Bern(θ )
β (a, b)
β ∗ (a, b)
Bin(n, θ )
Cauchy(a, b)
δa
Exp(θ )
Γ (α, β )
Geom(θ )
HGeom(N, n, m)
NBin(n, θ )
Normal(µ, σ 2 )
Poisson(θ )
S (α, b)
S+ (α, b)
Unif {x1 , ..., xn }
Unif (a, b)
Bernoulli-Verteilung mit Parameter θ ∈ (0, 1)
Betaverteilung mit Parametern a, b ∈ R>
Betaverteilung der 2. Art mit Parametern a, b ∈ R>
Binomialverteilung mit Parametern n ∈ N and θ ∈ (0, 1)
Cauchy-Verteilung mit Parametern a ∈ R and b ∈ R>
Dirac-Verteilung in a
Exponentialverteilung mit Parameter θ ∈ R>
Gammaverteilung mit Parametern α, β ∈ R>
Geometrische Verteilung mit mit Parameter θ ∈ (0, 1)
Hypergeometrische Verteilung mit Parametern N, n, m ∈ N
Negative Binomialverteilung mit Parametern n ∈ N and θ ∈ R>
Normalverteilung mit Parametern µ ∈ R and σ 2 ∈ R>
Poisson-Verteilung mit Parameter θ ∈ R>
Symmetrische stabile Verteilung mit Index α ∈ (0, 2] und Skalierungsparameter b ∈ R>
Einseitige stabile Verteilung mit Index α ∈ (0, 1] und Skalierungsparameter b ∈ R>
Diskrete Gleichverteilung auf der Menge {x1 , ..., xn }
Gleichverteilung auf [a, b], a < b
Teil I
Diskrete Markov-Ketten
Diskrete Markov-Ketten gehören unbestreitbar zu den einfachsten stochastischen
Prozessen in diskreter Zeit, zum einen wegen ihrer besonders einfachen Abhängigkeitsstruktur und zum anderen wegen ihres höchstens abzählbaren Zustandsraums.
Zugleich sind sie von großer Bedeutung, weil sich zahllose zeitlich dynamische Zufallsphänomene aus ganz unterschiedlichen Anwendungsbereichen mittels solcher
Prozesse modellieren lassen. Hierzu zählen
•
•
•
•
•
•
•
•
Irrfahrten auf Graphen
Verzweigungsprozesse zur Beschreibung von Populationswachstum
Warteschlangenphänomene
Evolution von Genpopulationen
Koaleszenzphänomene
Lernprozesse
Evolution von zufälligen Bäumen
Evolution von Kartenstapeln unter Anwendung ausgewählter Mischtechniken
Das Ziel dieses ersten Teils bildet die Darstellung der wichtigsten Eigenschaften diskreter Markov-Ketten unter nahezu ausschließlicher Verwendung probabilistischer Techniken. Dabei wollen wir den Einsatz sogenannter Okkupationsmaße
hervorheben, der hier stärker zum Tragen kommt als in vergleichbaren Texten. Eine weitere Besonderheit besteht darin, dass wir uns, nach Bereitstellung der allgemeinen Grundlagen, bei der Herleitung der zentralen Konvergenzaussagen zunächst
auf die Klasse diskreter Markov-Ketten mit endlichem Zustandsraum konzentrieren,
deren Analyse einfacher ist, und erst anschließend den allgemeinen Fall abzählbaren Zustandsraums unter Rückgriff auf die zuvor erzielten Ergebnisse und die
Einführung sogenannter Besuchsketten vollziehen.
Kapitel 1
Theoretische Grundlagen
Wir beginnen mit der allgemeinen Definition und der Zusammenstellung einiger
fundamentaler Eigenschaften diskreter Markov-Ketten. Hierbei spielt die Unterscheidung von endlichem und unendlichem Zustandsraum noch keine Rolle und
wird deshalb auch nicht vorgenommen.
1.1 Definitionen und grundlegende Eigenschaften
Sei M = (Mn )n≥0 eine Folge von Zufallsvariablen auf einem W-Raum (Ω , A, P),
die alle Werte in einer abzählbaren Menge S annehmen. Die Elemente von S
bezeichnen wir als Zustände der Folge und S selbst als ihren Zustandsraum. Den
Folgenindex interpretieren wir als Zeitparameter, so dass Mn den Zustand der Folge
zum Zeitpunkt n angibt. Sei P0 := P M0 die Anfangsverteilung von M und
Pn ((s0 , ..., sn−1 ), ·) := P Mn |(M0 ,...,Mn−1 )=(s0 ,...,sn−1 ) ,
(1.1)
für n ≥ 1 die regulär bedingte Verteilung von Mn gegeben M0 = s0 , ..., Mn−1 = sn−1 ,
in diesem Kontext auch Übergangskern genannt. Offenbar ist die Verteilung von M
durch (Pn )n≥0 eindeutig bestimmt, denn nach dem Satz von der totalen Wahrscheinlichkeit gilt
P(M0 = s0 , M1 = s1 , ..., Mn = sn )
= P(M0 = s0 ) P(M1 = s1 |M0 = s0 ) · ... · P(Mn = sn |Mn−1 = sn−1 , ..., M0 = s0 )
= P0 ({s0 })P1 (s0 , {s1 }) · ... · Pn ((s0 , ..., sn−1 ), {sn })
Formaler lässt sich dies auch durch
PM =
O
Pn .
(1.2)
n≥0
ausdrücken [+ [2, Abschnitt 8.4] zur formalen Definition des Produkts stochastischer Kerne].
3
4
1 Theoretische Grundlagen
Im Folgenden wollen wir uns mit Folgen beschäftigen, die eine besonders einfache Abhängigkeitsstruktur besitzen, die durch die sogenannte Markov-Eigenschaft
beschrieben wird.
Definition 1.1. Eine stochastische Folge M = (Mn )n≥0 mit abzählbarem Zustandsraum S heißt diskrete Markov-Kette (DMK), wenn sie die Markov-Eigenschaft
besitzt, definiert durch
P Mn+1 |Mn =sn ,...,M0 =s0 = P Mn+1 |Mn =sn
(1.3)
P(Mn+1 ∈ A|Mn = sn , ..., Mn = sn ) = P(Mn+1 ∈ A|Mn = sn )
(1.4)
oder auch
für alle n ≥ 0, A ⊂ S und s0 , ..., sn ∈ S mit
P(M0 = s0 , ..., Mn = sn ) > 0.
Hängen die bedingten Verteilungen nicht von n ab, existiert also ein stochastischer
Kern P von S nach S , so dass
P Mn+1 |Mn =s = P(s, ·)
(1.5)
für alle n ≥ 0 und s ∈ S , bezeichnet man die DMK ferner als zeitlich homogen. Eine
Markov-Kette mit endlichem Zustandsraum heißt endliche Markov-Kette (EMK).
Eine Folge M genügt also der Markov-Eigenschaft, wenn die Verteilung ihres Zustands Mn+1 zum Zeitpunkt n + 1 bedingt unter der Vorgeschichte M0 , ..., Mn immer
nur vom gegenwärtigen Zustand Mn abhängt. Sie ist außerdem zeitlich homogen,
wenn diese bedingte Verteilung nicht von n abhängt, wenn also die Wahrscheinlichkeit für den Übergang von einem Zustand s ∈ S in eine Menge A ⊂ S nicht
davon abhängt, wann dieser Übergang stattfindet. Man spricht in diesem Fall auch
von einer Markov-Kette (MK) mit stationären Übergangswahrscheinlichkeiten. Dabei spielt es keine Rolle, ob der Zustandsraum abzählbar ist oder nicht.
Gegeben die Markov-Eigenschaft, folgt in (1.1) offenkundig
Pn+1 ((s0 , ..., sn ), ·) = Pn+1 (sn , ·)
für alle n ≥ 0 und im Falle der zeitlichen Homogenität gemäß (1.3) weiter
P Mn+1 |Mn =s = Pn+1 (s, ·) = P(s, ·)
für alle n ≥ 0 und P Mn -fast alle s ∈ S . Wie der Leser nun leicht erkennt, ist die
Verteilung von M dann vollständig durch ihre Anfangsverteilung P0 = PM0 und ihren
(1-Schritt-)Übergangskern P determiniert, weil nämlich unter Hinweis auf (1.2)
1.1 Definitionen und grundlegende Eigenschaften
P
M
= P0 ⊗
∞
O
5
!
P
n=1
= P0 ⊗ P ∞
gilt, was im hier vorliegenden Fall abzählbaren Zustandsraums auch in der einfacheren Form
P(M0 = s0 , ..., Mn = sn ) = P0 ({s0 })P(s0 , {s1 }) · ... · P(sn−1 , {sn })
für alle n ≥ 0 und s0 , ..., sn ∈ S ausgedrückt werden kann. Ferner ist P bereits durch
die Elementarwahrscheinlichkeiten
i, j ∈ S ,
pij := P(i, { j}),
genannt (1-Schritt-)Übergangswahrscheinlichkeiten, vollständig festgelegt. Sie werden in der sogenannten Übergangsmatrix P := (pij )i, j∈S zusammengefasst (wir benutzen somit dasselbe Symbol für Übergangskern und Übergangsmatrix).
Im Folgenden betrachten wir nur noch zeitlich homogene DMK, ohne dies immer
wieder zu erwähnen.
Lemma 1.2. Gegeben eine DMK M = (Mn )n≥0 mit Zustandsraum S und Übergangskern P, gilt für jedes n ≥ 0, s0 , ..., sn ∈ S und jede P Mn+1 -quasi-integrierbare
Funktion f : S → R (also Folge ( f (s))s∈S )
E( f (Mn+1 )|Mn = sn , ..., M0 = s0 ) = E( f (Mn+1 )|Mn = sn )
(1.6)
und weiter
E( f (Mn+1 )|Mn = sn ) =
∑
psn s f (s).
(1.7)
s∈S
Beweis. Unter Benutzung von [1, Satz 53.6] ergibt sich (1.6) vermöge
E( f (Mn+1 )|Mn = sn , ..., M0 = s0 ) =
=
Z
S
Z
S
f (s) P Mn+1 |Mn =sn ,...,M0 =s0 (ds)
f (s) P Mn+1 |Mn =sn (ds)
= E( f (Mn+1 )|Mn = sn )
woraus unter Benutzung von (1.5) sofort (1.7) folgt.
t
u
Kombiniert man Lemma 1.2 mit einer Induktion über k, so erhält man leicht die
folgenden intuitiv zu erwartenden Verallgemeinerungen der Markov-Eigenschaft
(1.3) sowie von (1.5):
6
1 Theoretische Grundlagen
Satz 1.3. Gegeben eine DMK M = (Mn )n≥0 mit Zustandsraum S und Übergangskern P, gilt
P (Mn ,...,Mn+k )|Mn =sn ,...,M0 =s0 = P (Mn ,...,Mn+k )|Mn =sn = δsn ⊗ P k
(1.8)
und daher insbesondere
P Mn+k |Mn =sn ,...,M0 =s0 = P Mn+k |Mn =sn =: P (k) (sn , ·)
(1.9)
für alle k, n ≥ 0 und s0 , ..., sn ∈ S , wobei offenbar P (0) (s, ·) = δs und P (1) = P gilt.
Beweis. Wir demonstrieren das Vorgehen durch einen exemplarischen Beweis von
(1.8) für k = 2. Zur Abkürzung setzen wir M0:n = (M0 , ..., Mn ). Dann gilt für alle
n ≥ 0, A0 , A1 , A2 ⊂ S sowie alle s0 , ..., sn ∈ S
P(Mn+2 ∈ A2 , Mn+1 ∈ A1 , Mn ∈ A0 |M0:n = (s0 , ..., sn ))
= δsn (A0 )P(Mn+2 ∈ A2 , Mn+1 ∈ A1 |M0:n = (s0 , ..., sn ))
= δsn (A0 )E(1{Mn+1 ∈A1 } P(Mn+2 ∈ A2 |M0:n+1 )|M0:n = (s0 , ..., sn ))
= δsn (A0 )E(1{Mn+1 ∈A1 } P(Mn+2 ∈ A2 |Mn+1 )|M0:n = (s0 , ..., sn ))
= δsn (A0 )E(1{Mn+1 ∈A1 } P(Mn+2 ∈ A2 |Mn+1 )|Mn = sn )
= δsn (A0 )P(Mn+2 ∈ A2 , Mn+1 ∈ A1 |Mn = sn )
= P(Mn+2 ∈ A2 , Mn+1 ∈ A1 , Mn ∈ A0 |Mn = sn )
= δsn ⊗ P 2 (A0 × A1 × A2 ),
wobei die Markov-Eigenschaft in der vierten Zeile und deren Erweiterung (Lemma
1.2) in der fünften Zeile verwendet wurde. Für die letzte Zeile beachte, dass
P (Mn ,Mn+1 ,Mn+2 )|Mn =s = P Mn |Mn =s ⊗ P Mn+1 |Mn =• ⊗ P Mn+2 |(Mn ,Mn+1 )=• = δs ⊗ P 2
für alle s ∈ S gilt.
t
u
Als unmittelbare Folgerung aus dem vorherigen Satz notieren wir:
Korollar 1.4. Gegeben eine DMK M = (Mn )n≥0 mit Zustandsraum S und Übergangskern P, gilt
P (Mk )k≥n |Mn =sn ,...,M0 =s0 = P (Mk )k≥n |Mn =sn = δsn ⊗ P ∞
(1.10)
für alle n ≥ 0 und s0 , ..., sn ∈ S .
Beweis. Es genügt der Hinweis, dass P (Mk )k≥n |Mn =sn ,...,M0 =s0 durch die endlichdimensionalen bedingten Randverteilungen P (Mn ,...,Mn+k )|Mn =sn ,...,M0 =s0 für k ≥ 0 eindeutig bestimmt ist.
t
u
1.1 Definitionen und grundlegende Eigenschaften
7
Der anschließende Satz, in dem auf die Voraussetzung der zeitlichen Homogenität verzichtet werden kann, gibt eine wichtige äquivalente Charakterisierung der
Markov-Eigenschaft.
Satz 1.5. Eine stochastische Folge (Mn )n≥0 mit abzählbarem Zustandsraum S besitzt genau dann die Markov-Eigenschaft, wenn (M0 , ..., Mn ) und (Mk )k≥n bedingt
unter Mn für jedes n ≥ 0 stochastisch unabhängig sind, d.h.
P ((M0 ,...,Mn ),(Mk )k≥n )|Mn =s = P (M0 ,...,Mn )|Mn =s ⊗ P (Mk )k≥n |Mn =s
(1.11)
für alle n ≥ 0 und s ∈ S gilt.
Weniger formal, aber griffig formuliert besagt dieser Satz:
Eine stochastische Folge besitzt genau dann die Markov-Eigenschaft, wenn zu jedem Zeitpunkt Vergangenheit und Zukunft der Folge bedingt unter der Gegenwart
stochastisch unabhängig sind.
Beweis. Zur Abkürzung setzen wir wieder M0:n = (M0 , ..., Mn ) und außerdem M (n) :=
(Mk )k≥n . Sei außerdem S∞ die Produkt-σ -Algebra über dem Folgenraum S ∞ .
“⇒” Gilt die Markov-Eigenschaft, so folgt für alle A ⊂ S n+1 , B ⊂ S und C ∈
S∞
Z
{Mn ∈B}
P (M0:n ,M
(n) )|M
n
(A ×C) dP
= P(M0:n ∈ A, Mn ∈ B, M (n) ∈ C)
=
=
=
=
=
Z
{M0:n ∈A,Mn ∈B}
Z
{M0:n ∈A,Mn ∈B}
Z
{Mn ∈B}
Z
{Mn ∈B}
Z
(n)
{Mn ∈B}
PM
(n) |M
0:n
PM
(n) |M
n
(C) dP
(C) dP
E(1{M0:n ∈A} P M
(n) |M
n
P(M0:n ∈ A|Mn )P M
P M0:n |Mn (A)P M
(C)|Mn ) dP
(n) |M
n
(n) |M
n
(C) dP
(C) dP
(n)
und somit P (M0:n ,M )|Mn = P M0:n |Mn ⊗ P M |Mn P-f.s., d.h. (1.11).
“⇐” Bei Gültigkeit von (1.11) erhalten wir für alle A,C wie oben
Z
{M0:n ∈A}
PM
(n) |M
0:n
(C) dP = P(M0:n ∈ A, M (n) ∈ C)
8
1 Theoretische Grundlagen
=
=
=
=
und folglich P M
(n) |M
0:n
= PM
(n) |M
n
Z
ZΩ
ZΩ
ZΩ
P (M0:n ,M
(n) )|M
n
(A ×C) dP
P M0:n |Mn (A)P M
(n) |M
n
(C) dP
E(1{M0:n ∈A} P M
(n) |M
n
(C)|Mn ) dP
{M0:n ∈A}
PM
(n) |M
n
(C) dP
P-f.s.
t
u
P (k)
Wenden wir uns nun den k-Schritt-Übergangskernen
gemäß (1.9) zu. Genau
wie P = P (1) sind diese durch die einfachen k-Schritt-Übergangswahrscheinlichkeiten
(k)
pij := P (k) (i, { j})
(k)
determiniert, die in der k-Schritt-Übergangsmatrix P (k) := (pij )i, j∈S zusammengefasst werden. Unter Ausnutzung der Abzählbarkeit von S folgt leicht
(k)
pij =
∑
(i1 ,...,ik−1 )∈S k−1
pii1 pi1 i2 · ... · pik−2 ik−1 pik−1 j ,
was nichts anderes bedeutet als
P (k) = P k = P
... · P}
| · {z
k-mal
für alle k ≥ 0, wobei P (0) = I := (δij )i, j∈S die Einheitsmatrix bezeichnet. Die somit
gezeigte Halbgruppeneigenschaft notieren wir abschließend in
Satz 1.6. [Chapman-Kolmogorov-Gleichungen] Gegeben eine DMK (Mn )n≥0
(k)
mit Zustandsraum S und Übergangsmatrizen P (k) = (pij )i, j∈S = P k , k ≥ 0, gilt
P (m+n) = P (m) P (n) ,
d.h.
(m+n)
pij
=
∑
(m) (n)
pik pk j
k∈S
für alle m, n ≥ 0 und i, j ∈ S .
1.2 Das Standardmodell
Wir haben im vorherigen Abschnitt bereits festgestellt, dass die Verteilung einer
zeitlich homogenen DMK M = (Mn )n≥0 mit Zustandsraum S durch ihre Anfangsverteilung λ = P M0 und ihre Übergangsmatrix P vollständig determiniert ist. Eine
1.2 Das Standardmodell
9
Analyse dieser Verteilung ist somit gleichbedeutend mit einer Analyse des Paares
(λ , P) und hängt im Ergebnis von der expliziten Definition des Prozesses M gar
nicht ab. Wir dürfen uns deshalb ohne weiteres ein geeignetes Modell auf der Basis von (λ , P) wählen, in dem Rechnungen besonders angenehm durchführbar sind.
Dabei erweist es sich als sinnvoll, wie wir bald einsehen werden, beliebige Anfangsverteilungen λ zu berücksichtigen und nur den Übergangskern P als festen
Parameter zugrundezulegen.
Wir beschreiben als nächstes ein Standardmodell, was diesen Anforderungen
genügt: Gegeben eine Übergangsmatrix P auf S , seien (Ω , A) = (S ∞ , S∞ ) und
M = (Mn )n≥0 die Identität auf Ω , genannt kanonischer Prozess oder auch Koordinatenprozess (+ [1, Bemerkung 54.2(c)]). Mn (ω) bezeichnet demnach die Projektion
von ω ∈ Ω auf die n-te Komponente. Für jede Verteilung λ auf S definieren wir
nun weiter auf (Ω , A) das nach dem Satz von Ionescu Tulcea eindeutig bestimmte
W-Maß
Pλ = λ ⊗ P ∞
mit der Eigenschaft (+ (54.1) in [1])
!
n
Pλ
×A ×S
k
∞
k=0
= Pλ (M0 ∈ A0 , ..., Mn ∈ An )
=
Z
Z
A0 A1
...
Z
An
(1.12)
P(sn−1 , dsn ) ... P(s0 , ds1 ) λ (ds0 )
für alle A0 , ..., An ∈ S und n ≥ 0, was sich vermöge der Abzählbarkeit von S zu
!
n
Pλ
×A ×S
k
k=0
∞
=
∑
i0 ∈A0 ,...,in ∈An
λi0 pi0 i1 · ... · pin−1 in
vereinfacht mit pij = P(i, { j}) und λ = (λi )i∈S , wobei λi := λ ({i}). Insbesondere
gilt dann
n
Pλ (M0 = i0 , M1 = i1 , ..., Mn = in ) = λi0 ∏ pik−1 ik
(1.13)
k=1
für alle (i0 , ..., in ) ∈ S n+1 und n ≥ 0. (Mn )n≥0 bildet also unter Pλ eine DMK mit
Anfangsverteilung λ und Übergangsmatrix P = (pij )i, j∈S . Ferner gilt offenbar
Pλ (Mn = j) = (λ P n ) j =
∑ λi pij
i∈S
für alle n ≥ 0 und j ∈ S .
Definition 1.7. Gegeben eine Übergangsmatrix P auf S , nennen wir das zuvor spezifizierte Modell
(S ∞ , S∞ , (Mn )n≥0 , (Pλ )λ ∈P(S ) ),
10
1 Theoretische Grundlagen
P(S ) die Menge der Verteilungen auf S , das zu P gehörende kanonische Modell.
Ferner heißt jedes Modell
(Ω , A, (Mn )n≥0 , (Pλ )λ ∈P(S ) ),
so dass Mn : (Ω , A) → S , n ≥ 0, unter Pλ eine DMK mit Startverteilung λ und
Übergangsmatrix P definiert, ein Standardmodell zu P.
In einem Standardmodell haben wir es somit nur mit einem Prozess zu tun, wobei sich verschiedene Anfangsverteilungen durch Zugrundelegung verschiedener
Pλ ergeben. Dies erweist sich bei den nachfolgenden Untersuchungen als wesentlich zweckmäßiger als bei jedem Wechsel der Anfangsverteilung immer auch den
Prozess wechseln zu müssen.
Startet (Mn )n≥0 in einem Punkt s ∈ S , gilt also λ = δs , so schreiben wir auch Ps
für Pδs . Offensichtlich gilt dann für beliebiges λ = (λs )s∈S ∈ P(S )
Pλ (·) =
Z
S
Ps (·) λ (ds) =
∑ λs Ps (·).
(1.14)
s∈S
Jedes Pλ ergibt sich somit als endliche oder abzählbar unendliche konvexe Kombination der Ps , s ∈ S . (1.14) bleibt auch für σ -endliche λ sinnvoll. Wir erhalten dann
ein σ -endliches Maß Pλ auf (Ω , A), das weiter durch (1.12) und (1.13) charaktersisiert ist. Diese Erweiterung benötigen wir später bei der Betrachtung sogenannter
stationärer Maße, die im Allgemeinen lediglich σ -endlich sind (+ Abschnitt 1.5).
Markov-Eigenschaft und zeitliche Homogenität lassen sich in einem Standardmodell wie folgt formulieren:
Satz 1.8. Gegeben eine Übergangsmatrix P auf S samt eines zugehörigen Standardmodells (Ω , A, M, (Pλ )λ ∈P(S ) ) mit M = (Mn )n≥0 , gilt für alle λ ∈ P(S ),
n ∈ N0 und s0 , ..., sn ∈ S
(Mk )k≥n |Mn =sn ,...,M0 =s0
Pλ
(Mk )k≥n |Mn =sn
= Pλ
= PsM
,
n
(1.15)
oder expliziter
(Mk )k≥n |Mn =sn ,...,M0 =s0
Pλ
(Mk )k≥n |Mn =sn
(A) = Pλ
(A) = PsM
(A)
n
(1.16)
für A ∈ S∞ .
Beweis. Die Aussage ergibt sich sofort, denn unter Hinweis auf Korollar 1.4 gilt
ungeachtet der Anfangsverteilung λ
(Mk )k≥n |Mn =sn ,...,M0 =s0
Pλ
(Mk )k≥n |Mn =sn
= Pλ
= δsn ⊗ P ∞ = PsM
n
1.3 Filtrationen und Stopzeiten
11
für alle n ∈ N0 und s0 , ..., sn ∈ S .
t
u
Da die bedingte Verteilung von (Mk )k≥n gegeben Mn unter Pλ gar nicht von λ
(M ) |M
abhängt, schreiben wir in Folgenden einfach P (Mk )k≥n |Mn statt Pλ k k≥n n . Entsprechend bedeute “ P-f.s.” in einem Standardmodell, dass die betreffende Aussage Pλ f.s. für alle λ ∈ P(S ) Gültigkeit hat. Abschließend sei noch notiert, dass Es und
Eλ die Erwartungswertoperatoren unter Ps bzw. Pλ bezeichnen. Es gilt dann
E( f (Mn , Mn+1 , ...)|Mn = s) = Es f (M0 , M1 , ...)
für P Mn -fast alle s ∈ S und jede P Mn -quasi-integrierbare Funktion f : S ∞ → R.
1.3 Filtrationen und Stopzeiten
Auf dem Weg zu einer wichtigen Verschärfung der Markov-Eigenschaft im nächsten
Abschnitt bedarf es zunächst der kurzen Einführung der Begriffe “Filtration” und
“Stopzeit”, denen in der Theorie stochastischer Prozesse auch allgemein große Bedeutung zukommt. Da hierfür der zuvor gesteckte, sehr spezielle Rahmen bedeutungslos ist, begeben wir uns für einen Moment in die generische Situation eines
gegebenen stochastischen Prozesses in diskreter Zeit.
1.3.1 Filtrationen
Sei (Ω , A) ein beliebiger messbarer Raum. Obgleich wir dabei im Grunde einen WRaum (Ω , A, P) im Auge haben, spielt das W-Maß P zunächst keine Rolle. Dennoch
werden wir uns aus Interpretationsgründen die Freiheit nehmen, messbare Mengen
auch Ereignisse zu nennen.
Definition 1.9. Eine aufsteigende Folge (Fn )n≥0 von Unter-σ -Algebren von A
heißt Filtration des Raums (Ω , A).
Stellen wir uns n als Zeitparameter vor, so können wir Fn als das System der bis
zum Zeitpunkt n beobachtbaren Ereignisse interpretieren. Mit anderen Worten, Fn
bildet die Gesamtheit aller Ereignisse, von denen ein Beobachter zum Zeitpunkt n
entscheiden kann, ob sie eingetreten sind oder nicht. Man nennt Fn deshalb manchmal etwas vager auch die zum Zeitpunkt n für den Beobachter verfügbare Information. Die σ -Algebra
!
F∞ := σ
∞
[
n=0
Fn
12
1 Theoretische Grundlagen
beinhaltet offenkundig alle jemals vom betreffenden Beobachter entscheidbaren Ereignisse, seine asymptotische Gesamtinformation also.
Verschiedene Beobachter können natürlich verschiedene Informationen erhalten.
Ihnen sind dann verschiedene Filtrationen (Fn )n≥0 und (Gn )n≥0 zugeordnet. Wir
schreiben (Gn )n≥0 ⊂ (Fn )n≥0 , falls Gn ⊂ Fn für alle n ≥ 0. In diesem Fall hat also
der “G -Beobachter” zu jedem Zeitpunkt n höchstens genausoviel Information wie
der “F -Beobachter”.
Betrachten wir als nächstes eine Folge (Xn )n≥0 messbarer Abbildungen auf
(Ω , A), die also bei zusätzlich gegebenem W-Maß P einen stochastischen Prozess
in diskreter Zeit bildet.
Definition 1.10. Eine Folge (Xn )n≥0 messbarer Abbildungen auf (Ω , A) heißt adaptiert bzgl. der Filtration (Fn )n≥0 oder einfach (Fn )n≥0 -adaptiert, wenn Xn Fn messbar ist für jedes n ≥ 0.
Offensichtlich ist (Xn )n≥0 genau dann adaptiert bezüglich (Fn )n≥0 , wenn
Gn := σ (X0 , ..., Xn ) ⊂ Fn
für alle n ≥ 0 gilt. (Gn )n≥0 bildet offenkundig selbst eine Filtration, und zwar gerade
die kleinste, bezüglich der (Xn )n≥0 adaptiert ist. Sie heißt kanonische Filtration von
(Xn )n≥0 . Erwähnen wollen wir noch, dass eine bezüglich (Fn )n≥0 adaptierte Folge
(Xn )n≥0 als Vektor F∞ -messbar ist, was im Falle reellwertiger oder numerischer Xn
insbesondere die F∞ -Messbarkeit der Abbildungen
inf Xn ,
n≥0
sup Xn ,
n≥0
lim inf Xn
n→∞
und
lim sup Xn
n→∞
impliziert.
1.3.2 Stopzeiten
Bei der Untersuchung stochastischer Prozesse (Xn )n≥0 spielen häufig Zufallszeiten
der Form
τ = inf{n ≥ 0 : (X0 , ..., Xn ) ∈ An }
(1.17)
für geeignete messbare Mengen An eine wichtige Rolle. Wir setzen dabei immer
τ = ∞, falls das Infimum über die leere Menge gebildet wird. Stellen wir uns vor,
τ bezeichnet den Zeitpunkt, zu dem ein Beobachter aufhört, den Prozess (Xn )n≥0
zu verfolgen. Das typische an τ ist, dass es nicht auf Information über die Folge
zurückgreift, die erst in der Zukunft verfügbar würde. Mit anderen Worten, das Ereignis, zum Zeitpunkt n zu stoppen, hängt nur von den Werten X0 , ..., Xn ab für jedes
n ≥ 0. Man sagt auch, τ ist nicht antizipierend. Ein Beispiel einer antizipierenden
Zufallszeit im Fall reellwertiger Xn bildet etwa
1.3 Filtrationen und Stopzeiten
13
ν = sup{n ≥ 0 : Xn ≤ 0}
[ sup 0/ := 0],
Unter ν bedarf es nämlich zur Entscheidung darüber, zum Zeitpunkt n zu stoppen,
der vollständigen Realisierung von (Xn )n≥0 .
Wie zuvor bemerkt, lässt sich verfügbare Information zu sukzessiven Zeitpunkten formal mittels Filtrationen beschreiben, was zu folgender allgemeinen Definition
nicht antizipierender Zufallszeiten führt:
Definition 1.11. Sei (Fn )n≥0 eine Filtration des messbaren Raums (Ω , A). Dann
heißt eine messbare Abbildung τ : Ω → N0 ∪ {∞} Stopzeit bezüglich (Fn )n≥0 oder
auch (Fn )n≥0 -Zeit, wenn
{τ = n} ∈ Fn
(1.18)
für alle n ∈ N0 gilt. Im Fall Fn = σ (X0 , ..., Xn ) für eine Folge (Xn )n≥0 messbarer
Abbildungen nennt man τ auch Stopzeit bezüglich (Xn )n≥0 . Die σ -Algebra
o
n
(1.19)
Fτ := A ∈ A : A ∩ {τ = n} ∈ Fn für alle n ∈ N0
bezeichnet man als σ -Algebra der τ-Vergangenheit (gegeben (Fn )n≥0 ).
Anmerkung 1.12. Jede konstante Abbildung τ ≡ n, n ∈ N0 , ist selbstverständlich
Stopzeit bezüglich jeder Filtration (Fn )n≥0 des zugrundeliegenden messbaren Raumes, und es gilt dann Fτ = Fn .
Anmerkung 1.13. Bedingung (1.18) gilt auch für n = ∞, denn

c

{τ = ∞} = 
∑
n∈N0

{τ = n} ∈ F∞ .
| {z }
∈Fn ⊂F∞
Anmerkung 1.14. Äquivalent zur Bedingung (1.18) ist offensichtlich sowohl
{τ ≤ n} ∈ Fn
(1.20)
für alle n ∈ N0 als auch (Komplementbildung)
{τ > n} ∈ Fn
für alle n ∈ N0 .
Anmerkung 1.15. Jede Stopzeit τ bezüglich einer Folge (Xn )n≥0 hat die Form (1.17).
Dazu beachte man, dass Fn = σ (X0 , ..., Xn ) gerade aus den Urbildern messbarer
Mengen unter (X0 , ..., Xn ) besteht. Für jedes n ≥ 0 impliziert demnach {τ ≤ n} ∈ Fn
die Existenz einer messbaren Menge An , so dass {τ ≤ n} = {(X0 , ..., Xn ) ∈ An }, was
offenbar (1.17) für diese An liefert.
14
1 Theoretische Grundlagen
Anmerkung 1.16. Dass Fτ tatsächlich eine σ -Algebra bildet, wie in der obigen Definition einfach konstatiert wird, und dass sich dieselbe σ -Algebra ergibt, wenn man
dort die Mengen {τ = n}, n ∈ N0 , durch {τ ≤ n} ersetzt, kann der Leser mühelos
selbst nachweisen.
Die grundlegenden Fakten über Stopzeiten und die zugehörigen σ -Algebren fassen wir in folgendem Satz zusammen.
Satz 1.17. Gegeben eine Filtration (Fn )n≥0 des messbaren Raums (Ω , A), messbare Abbildungen X, X0 , X1 , ... auf diesem sowie Stopzeiten σ , τ, τ1 , τ2 , ... bezüglich
(Fn )n≥0 , gelten folgende Aussagen:
(a)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
σ ∧ τ, σ ∨ τ, σ + τ sind Stopzeiten bezüglich (Fn )n≥0 .
infn≥1 τn , supn≥1 τn , lim infn→∞ τn , lim supn→∞ τn und limn→∞ τn (falls existent) sind Stopzeiten bezüglich (Fn )n≥0 .
{σ = τ}, {σ ≤ τ} ∈ Fσ ∩ Fτ .
σ ≤ τ impliziert Fσ ⊂ Fτ . Insbesondere folgt Fσ ⊂ Fσ +1 ⊂ ... ⊂ F∞ , und
τ − σ bildet eine (Fσ +n )n≥0 -Zeit, sofern σ < ∞.
Fσ ∧τ = Fσ ∩ Fτ und Fσ ∨τ = σ (Fσ ∪ Fτ ).
Aus Fn = σ (X0 , ..., Xn ) und τ < ∞ folgt Fτ = σ (τ, X0 , ..., Xτ ).
Aus (Fn )n≥0 ⊂ (Gn )n≥0 folgt Fτ ⊂ Gτ .
Eine Zufallsgröße X ist genau dann Fτ -messbar, wenn X1{τ=n} Fn -messbar
ist für alle n ∈ N0 .
Beweis. (a) Dass σ ∧ τ, σ ∨ τ und σ + τ wieder Stopzeiten bilden, folgt unter Hinweis auf (1.18), (1.20) und (1.14), denn
{σ ∧ τ > n} = {σ > n} ∩ {τ > n} ∈ Fn ,
{σ ∨ τ ≤ n} = {σ ≤ n} ∩ {τ ≤ n} ∈ Fn ,
n
und
{σ + τ = n} =
∑ {σ = k} ∩ {τ = n − k}
k=0
∈ Fn
für jedes n ≥ 0.
(b) Hier betrachten wir nur lim infn→∞ τn und notieren, dass
n
o
lim inf τn > m = {ω : ∃ k = k(ω) : ∀n ≥ k : τn (ω) > m}
n→∞
=
[ \
k≥0 n≥k
für alle m ∈ N0 .
(c) überlassen wir dem Leser.
{τn > m} ∈ Fm
1.3 Filtrationen und Stopzeiten
15
(d) σ ≤ τ und A ∈ Fσ implizieren
A ∩ {τ = n} =
∑
0≤k≤n
(A ∩ {σ = k}) ∩{τ = n} ∈ Fn
|
{z
}
∈Fk ⊂Fn
für alle n ∈ N0 und somit auch A ∈ Fτ . Falls σ < ∞, so gilt für jedes n ∈ N0 , dass
{τ − σ = n} ∩ {σ + n = k} = {σ = k − n} ∩ {τ = n} ∈ Fk
für alle k ≥ n und folglich {τ − σ = n} ∈ Fσ +n . Also ist τ − σ wie behauptet eine
Stopzeit bezüglich (Fσ +n )n≥0 .
(e) Hier notieren wir lediglich als Hinweis für die zweite Aussage, dass sich jedes
A ∈ Fσ ∨τ in die Mengen A ∩ {σ ≤ τ} ∈ Fτ und A ∩ {σ > τ} ∈ Fσ zerlegen lässt.
Den vollständigen Beweis empfehlen wir dem Leser als Übung.
(f) Falls Xn : (Ω , A) → (Ωn , An ) und τ < ∞, folgt
(τ, X0 , ..., Xτ ) : (Ω , A) → (Ω 0 , A0 )
mit
Ω 0 :=
∑ {n} × Ω0 × ... × Ωn ,
A0 := σ (E0 ),
n≥0
o
n
E := {n} × An : n ∈ N0 , An ∈ A0 ⊗ ... ⊗ An .
(1.21)
0
Also ist σ (τ, X0 , ..., Xτ ) = (τ, X0 , ..., Xτ )−1 (A0 ) = σ ((τ, X0 , ..., Xτ )−1 (E0 )) unter Hinweis auf Lemma 6.1 in [1]. Wie man sofort sieht, gilt (τ, X0 , ..., Xτ )−1 (E0 ) ⊂ Fτ
und damit σ (τ, X0 , ..., Xτ ) ⊂ Fτ . Umgekehrt impliziert Fn = σ (X0 , ..., Xn ) für jedes A ∈ Fτ die Existenz eines An ∈ A0 ⊗ ... ⊗ An , so dass
A ∩ {τ = n} = {(X0 , ..., Xn ) ∈ An } = {(τ, X0 , ..., Xτ ) ∈ {n} × An }.
Summation über alle n ≥ 0 liefert dann
(
A =
∑ A ∩ {τ = n}
n≥0
=
(τ, X0 , ..., Xτ ) ∈
∑ {n} × An
n≥0
)
∈ σ (τ, X0 , ..., Xτ ),
d.h. die umgekehrte Inklusion Fτ ⊂ σ (τ, X0 , ..., Xτ ).
(g) kann der Leser wiederum leicht selbst nachweisen.
(h) “⇒” Nach Definition von Fτ ist 1A genau dann messbar bezüglich dieser
σ -Algebra, wenn 1A∩{τ=n} = 1A 1{τ=n} Fn -meßbar ist für alle n ∈ N0 . Damit erhält
man sofort, dass jede Fτ -messbare Elementarfunktion X die Behauptung erfüllt,
was schließlich mittels eines Funktions-Erweiterungsarguments auf alle Zufallsgrößen ausgedehnt werden kann.
16
1 Theoretische Grundlagen
“⇐” Ist X1{τ=n} Fn -messbar für alle n ∈ N0 , so folgt für alle x ∈ R und n ∈ N0
{X ≤ x} ∩ {τ = n} = {X1{τ=n} ≤ x} ∩ {τ = n} ∈ Fn ,
also {X ≤ x} ∈ Fτ für alle x ∈ R, was die Fτ -Messbarkeit von X impliziert.
t
u
Wenn {τ = ∞} 6= 0,
/ so sind (τ, X0 , ..., Xτ ) und die Post-τ-Folge X (τ) := (Xτ+n )n≥0
nur auf der Spur (Ω ∩ {τ < ∞}, A ∩ {τ < ∞}) wohldefiniert. Um mit diesem Umstand formal sauber umzugehen, treffen wir folgende Definition der Vektoren auf
der Menge {τ = ∞}:
(τ, X0 , ..., Xτ ) := (∞, (Xn )n≥0 ) und
X (τ) = X (∞) := (∆ , ∆ , ...)
für ein nicht weiter spezifiziertes Element ∆ . Gegeben Xn : (Ω , A) → (Ωn , An ) für
n ≥ 0, folgt dann X (τ) : (Ω , A) → (Ω 00 , A00 ) mit (vgl. (1.21))
!
Ω 00 :=
00
E :=
∑
(
n≥0
{n} ×
×Ω
∪ {(∞, ∆ , ∆ , ...)},
k
k≥n
{n} × An : n ∈ N0 , An ∈
O
k≥n
Ak
)
A00 := σ (E00 ),
n
o
∪ {(∞, ∆ , ∆ , ...)} .
Als triviale Konsequenz der Teile (e) und (h) des vorherigen Satzes notieren wir
ohne Beweis:
Korollar 1.18. In der Situation von Satz 1.17 sei ferner angenommen, dass (Xn )n≥0
adaptiert ist bezüglich (Fn )n≥0 . Dann gilt:
(a)
(b)
τ und (τ, X0 , ..., Xτ ) sind Fτ -messbar.
X (τ) ist adaptiert bezüglich der Filtration (Fτ+n )n≥0 .
Dass bedingte Erwartunsgwerte und Verteilungen bezüglich Fτ sich letztendlich
wieder aus solchen bezüglich Fn für n ∈ N0 , also zu festen Zeitpunkten, berechnen
lassen, zeigt der nächste Satz.
Satz 1.19. Sei (Fn )n≥0 eine Filtration des W-Raums (Ω , A, P), X eine Zufallsvariable auf diesem mit Werten in (Ω 0 , A0 ) sowie τ eine Stopzeit bezüglich (Fn )n≥0 .
(a)
Existieren regulär bedingte Verteilungen P X|Fn für alle n ∈ N0 , so existiert
auch P X|Fτ , und zwar gilt
P X|Fτ =
∑
n∈N0
1{τ=n} P X|Fn
P-f.s.
1.3 Filtrationen und Stopzeiten
(b)
17
Ist X eine quasi-integrierbare Zufallsgröße, folgt
E(X|Fτ ) =
∑
n∈N0
1{τ=n} E(X|Fn ) P-f.s.
Beweis. (a) Gemäß Satz 1.17(h) ist Q(·, A0 ) := ∑n∈N0 ∪{∞} 1{τ=n} P X|Fn (·, A0 ) für jedes A0 ∈ A0 Fτ -messbar. Da außerdem
Z
B
Q(ω, A0 ) P(dω) =
∑
n∈N0
=
∑
n∈N0
Z
B∩{τ=n}
Z
B∩{τ=n}
P X|Fn (ω, A0 ) P(dω)
1A0 (X(ω)) P(dω)
= P(B ∩ {X ∈ A0 })
für alle B ∈ Fτ und A0 ∈ A0 gilt, folgt die Behauptung.
(b) Hier geht man analog zu (a) vor. Wir verzichten deshalb auf die nochmalige
Angabe der Details.
t
u
Beachtet man, dass für alle n ≥ 0
1{τ=n} P(X (τ) ∈ ·|Fn ) = E(1{τ=n,X (τ) ∈·} |Fn )
= E(1{τ=n,X (n) ∈·} |Fn )
= 1{τ=n} P(X (n) ∈ ·|Fn ) P-f.s.
und damit
PX
(τ) |F
n
= PX
(n) |F
n
P-f.s. auf {τ = n}
gilt, so ergibt sich bei Anwendung des vorherigen Satzes auf die Post-τ-Folge X (τ) :
Korollar 1.20. Gegeben eine Filtration (Fn )n≥0 des W-Raums (Ω , A, P), eine Folge (Xn )n≥0 von Zufallsvariablen auf diesem und eine Stopzeit τ bezüglich (Fn )n≥0 ,
gilt
(τ)
(n)
P X |Fτ = ∑ P X |Fn 1{τ=n} + δ(∆ ,∆ ,...) 1{τ=∞} P-f.s.,
n≥0
vorausgesetzt, die regulär bedingten Verteilungen P X
(n) |F
n
, n ≥ 0, existieren.
Wir haben somit die a priori keineswegs selbstverständliche Einsetzungsregel
PX
für P-fast alle ω ∈ Ω .
(τ) |F
τ
(ω, ·) = P X
(τ(ω)) |F
τ(ω)
(ω, ·)
18
1 Theoretische Grundlagen
1.4 Die starke Markov-Eigenschaft
Wir kehren zurück zur Theorie der Markov-Ketten. Die Markov-Eigenschaft lässt
sich in Kürze auch wie folgt formulieren: “Bedingt unter der Vergangenheit zu einem beliebigen, aber fest gewählten Zeitpunkt n, hängt das zukünftige Verhalten
der betreffenden Folge nur von ihrem gegenwärtigen Zustand ab.” Eine wichtige
Verschärfung dieser Eigenschaft besteht darin, dass sie auch bei Bedingen unter
der Vergangenheit zu einer Stopzeit Gültigkeit behält. Dabei wollen wir in Folgenden die Vergangenheit bis zu einem Zeitpunkt allgemeiner fassen als bisher. Auf
dem Weg zu der besagten Verschärfung der Markov-Eigenschaft geben wir deshalb
zunächst eine Erweiterung der Definition 1.1. Sei dazu (Fn )n≥0 eine Filtration des
zugrundeliegenden messbaren Raums und (Mn )n≥0 adaptiert bezüglich (Fn )n≥0 ,
d.h. Mn ist Fn -messbar für jedes n ≥ 0. Die kanonische Filtration von (Mn )n≥0 bezeichnen wir mit (Gn )n≥0 , also Gn = σ (M0 , ..., Mn ) ⊂ Fn für alle n ≥ 0.
Definition 1.21. Sei (Mn )n≥0 eine Folge von Zufallsvariablen auf einem W-Raum
(Ω , A, P) mit abzählbarem/endlichem Zustandsraum S sowie (Fn )n≥0 eine Filtration, bzgl. der (Mn )n≥0 adaptiert ist. Dann heißt (Mn )n≥0 diskrete/endliche MarkovKette bzgl. (Fn )n≥0 , wenn
P Mn+1 |Fn = P Mn+1 |Mn =
∑ 1{Mn =s} P Mn+1 |Mn =s
P-f.s.
(1.22)
s∈S
für alle n ≥ 0. Wir schreiben dann auch, dass (Mn , Fn )n≥0 eine (diskrete/endliche)
MK bildet.
Anmerkung 1.22. Die in Abschnitt 1.1 gegebene Definition einer MK entspricht offensichtlich der obigen, wenn man dort Fn = Gn wählt, also die kanonische Filtration zugrundelegt. Aufgrund der Iterationsregel für bedingte Erwartungswerte und
Verteilungen (+ [1], (51.21) in Satz 51.6) folgt sofort, dass jede MK bezüglich
(Fn )n≥0 auch eine solche bezüglich ihrer kanonischen Filtration (Gn )n≥0 bildet,
denn σ (Mn ) ⊂ Gn ⊂ Fn für alle n ≥ 0. Entsprechendes gilt für jede Filtration
(Fn0 )n≥0 mit Gn ⊂ Fn0 ⊂ Fn für alle n ≥ 0. Eine typische Situation, in der eine
MK (Mn )n≥0 die Markov-Eigenschaft bezüglich einer größeren als der kanonischen
Filtration erfüllt, liegt vor im Fall Fn = σ (M0 , ..., Mn , M00 , ..., Mn0 ) für eine beliebige,
von (Mn )n≥0 unabhängige Folge (Mn0 )n≥0 .
Anmerkung 1.23. Mittels der gleichen Argumente wie in Abschnitt 1.1 erhält man
die Äquivalenz von (1.22) und
P (Mk )k≥n |Fn = P (Mk )k≥n |Mn
P-f.s.
für alle n ≥ 0.
Anmerkung 1.24. Die Definition der zeitlichen Homogenität bleibt von der obigen
Verallgemeinerung unberührt.
1.4 Die starke Markov-Eigenschaft
19
Anmerkung 1.25. Unter Rückgriff auf die im vorherigen Abschnitt gegebene anschauliche Interpretation einer Filtration (Fn )n≥0 als eine aufsteigende Folge der
zu den sukzessiven Zeitpunkten von einem Beobachter entscheidbaren Ereignissysteme bedeutet die Beziehung
P (Mk )k≥n |Fn = P (Mk )k≥n |Gn = P (Mk )k≥n |Mn
P-f.s.,
dass ein “F -Beobachter” gegenüber einem “ G -Beobachter” zu keinem Zeitpunkt
zusätzliche Information über das zukünftige Verhalten der MK (Mn )n≥0 besitzt und
dass dasselbe auch gegenüber dem “gedächtnislosen Beobachter” gilt, der zu jedem
Zeitpunkt nur den augenblicklichen Zustand der Kette kennt.
Gegeben eine – nun wieder zeitlich homogene – DMK (Mn , Fn )n≥0 mit Übergangskern P, d.h. P Mn |Fn−1 = P(Mn−1 , ·) P-f.s. für alle n ≥ 1, wollen wir nun zeigen, dass das zukünftige Verhalten der Kette bedingt unter der Vergangenheit bis zu
einer Stopzeit τ bezüglich (Fn )n≥0 wiederum nur vom gegenwärtigen Zustand Mτ
abhängt. Häufig auftretende Beispiele von Stopzeiten für (Mn )n≥0 bilden
τ(i) = inf{n ≥ 1 : Mn = i}
(1.23)
für irgendeinen Zustand i ∈ S , genannt Rückkehr- oder Rekurrenzzeit in den Zustand i, oder auch allgemeiner
τ(A) = inf{n ≥ 1 : Mn ∈ A}
(1.24)
für ein A ⊂ S , genannt Rückkehr- oder Rekurrenzzeit in die Menge A, wobei stets
inf 0/ := ∞ vereinbart sei. Wie im vorherigen Abschnitt eingeführt, sei
M (n) := (Mn+k )k≥0
die Post-n-Folge(Kette) für n ∈ N0 und für n = ∞
M (∞) := (∆ , ∆ , ...),
insbesondere M∞ := ∆
gesetzt, wobei ∆ irgendein Element bezeichne, das im Unterschied zu dort jedoch
nicht zu S gehöre. Wir können uns ∆ als einen zusätzlichen absorbierenden Zustand der Kette vorstellen, der deshalb manchmal auch Friedhof genannt wird. Formal gesehen haben wir eine Modellerweiterung durchgeführt, indem wir (Mn )n≥0
nun als MK auf dem erweiterten Zustandsraum
S∆ := S ∪ {∆ }
mit Übergangskern
P(∆ ) (x, ·) :=
(
P(x, ·), falls x ∈ S ,
δ∆ , falls x = ∆
20
1 Theoretische Grundlagen
auffassen. Da dies aber nur aus Definitheitsgründen relevant ist, werden wir darauf
auch nur, wenn notwendig, zurückgreifen.
Gegeben eine Stopzeit τ bezüglich (Fn )n≥0 , erinnern wir daran, dass die σ -Algebra der τ-Vergangenheit durch
o
n
(1.25)
Fτ = A ∈ A : A ∩ {τ = n} ∈ Fn für alle n ∈ N0
definiert ist. Sie enthält alle Ereignisse, die beim Stoppen zum Zeitpunkt τ entscheidbar sind. Für weitere Informationen verweisen wir auf den vorherigen Abschnitt.
Satz 1.26. Sei (Fn )n≥0 eine Filtration des W-Raums (Ω , A, P) und (Mn , Fn )n≥0
eine DMK mit Übergangskern P. Dann besitzt (Mn , Fn )n≥0 die starke MarkovEigenschaft: Für jede (Fn )n≥0 -Zeit τ gilt P-f.s.
(
δMτ ⊗ P ∞ , falls τ < ∞,
M (τ) |Fτ
M (τ) |Mτ
P-f.s.
(1.26)
P
= P
=
δ(∆ ,∆ ,...) , falls τ = ∞
Beweis. Mit S∞
∆ bezeichnen wir im Folgenden die Produkt-σ -Algebra über dem
erweiterten Folgenraum S∆ . Mittels Korollar 1.20 und der gewöhnlichen MarkovEigenschaft ergibt sich
PM
(τ) |F
τ
(A) =
∑
n∈N0
1{τ=n} P M
(n) |F
n
(A) =
∑
n∈N0
1{τ=n} P M
(n) |M
n
= 1{τ<∞} δMτ ⊗ P ∞ (A) + 1{τ=∞} δ(∆ ,∆ ,...) (A)
=
(A)
∑ 1{Mτ =s} δs ⊗ P ∞ (A) + 1{Mτ =∆ } δ(∆ ,∆ ,...) (A)
P-f.s.
s∈S
für jedes A ∈ S∞
∆ , und da der letzte Ausdruck offenkundig σ (Mτ )-messbar ist sowie
σ (Mτ ) ⊂ Fτ gilt, folgt (1.26).
t
u
Aus (1.26) folgt direkt
E( f (M (τ) )|Fτ ) = E( f (M (τ) )|Mτ ) P-f.s.
(τ)
für jede P M -quasi-integrierbare numerische Funktion f : (S∆∞ , S∞
∆ ) → (R, B).
In Analogie zu Satz 1.5 zeigt der anschließende Satz, dass Vergangenheit und
Zukunft bedingt stochastisch unabhängig sind, wenn man unter einem durch eine
(Fn )n≥0 -Zeit bestimmten Zeitpunkt bedingt.
1.4 Die starke Markov-Eigenschaft
21
Satz 1.27. Sei (Mn , Fn )n≥0 eine DMK mit Zustandsraum S . Dann gilt für jede
(Fn )n≥0 -Zeit τ, dass die σ -Algebra Fτ und M (τ) bedingt unter Mτ stochastisch
unabhängig sind, d.h.
P(A ∩ {M (τ) ∈ C}|Mτ = s) = P(A|Mτ = s) P(M (τ) ∈ C|Mτ = s)
(1.27)
für alle A ∈ Fτ , C ∈ S∞
∆ und s ∈ S .
Beweis. Der Beweis bildet im wesentlichen eine Adaption des Beweises von Satz
1.5 und bleibt dem Leser als Übung überlassen.
t
u
Anmerkung 1.28. Bezeichnet (Fn )n≥0 im vorherigen Satz die kanonische Filtration
von M = (Mn )n≥0 und beachtet man, dass dann Fτ = σ (τ, M0:τ ) gemäß Satz 1.17(f)
gilt, so liefert Satz 1.27, dass (τ, M0:τ ) und M (τ) für jede (Fn )n≥0 -Zeit τ bedingt
unter Mτ stochastisch unabhängig sind, d.h.
P ((τ,M0:τ ),M
(τ) )|M =s
τ
für alle s ∈ S , wobei ferner P M
= P (τ,M0:τ )|Mτ =s ⊗ P M
τ |M =s
τ
τ |M =s
τ
(1.28)
= PM
s .
Betrachten wir zum Abschluss noch einmal eine DMK M = (Mn )n≥0 in einem
Standardmodell (Ω , A, M, (Pλ )λ ∈P(S ) ). In diesem Fall erhalten wir mit (1.26),
dass für alle λ ∈ P(S ) und alle (Fn )n≥0 -Zeiten τ
M (τ) |Fτ
Pλ
M (τ) |Mτ
= Pλ
M
= PM
τ
Pλ -f.s.
(1.29)
oder ausführlicher
M (τ) |Fτ
Pλ
M (τ) |Mτ
(ω, A) = Pλ
M
(ω, A) = PM
(A)
τ(ω)
für Pλ -fast alle ω ∈ Ω und A ∈ S∞
∆ gilt.
Beispiel 1.29. Sei τ(i) die Ersteintrittszeit in einen Zustand i ∈ S (+ (1.24)), folglich eine Stopzeit bezüglich der kanonischen Filtration (Gn )n≥0 . Dann gilt aufgrund
der starken Markov-Eigenschaft, genauer gemäß (1.29),
M (τ(i)) |Gτ(i)
Pλ
= PiM
Pλ -f.s. auf {τ(i) < ∞}
für jede Anfangsverteilung λ , d.h., die MK verhält sich in Verteilung nach erstmaligem Erreichen des Zustands i unabhängig vom vorherigen Verlauf anschließend
(n)
genauso als wäre sie in i gestartet. Setzen wir fij = Pi (τ( j) = n) für i, j ∈ S und
n ≥ 1, so ergibt sich als Anwendung folgende nützliche Beziehung zwischen den
(n)
(n)
fij und den n-Schritt-Übergangswahrscheinlichkeiten pij :
(n)
pij
n
=
(k) (n−k)
p jj
∑ fij
k=1
(1.30)
22
1 Theoretische Grundlagen
für alle n ≥ 1. Zum Beweis notieren wir:
(n)
pij = Pi (Mn = j)
n
=
∑ Pi (τ( j) = k, Mτ( j)+n−k = j)
=
k=1
n Z
∑
P(Mτ( j)+n−k = j|Gτ( j) ) dPi
∑
Pj (Mn−k = j) dPi
=
=
k=1 {τ( j)=k}
n Z
k=1 {τ( j)=k}
n
∑ Pi (τ( j) = k)Pj (Mn−k = j)
k=1
n
=
(k) (n−k)
p jj ,
∑ fij
k=1
wobei die starke Markov-Eigenschaft offenbar beim Übergang von der dritten zur
vierten Zeile verwendet wurde.
1.5 Stationäre Maße und Verteilungen
Im Folgenden sei M = (Mn )n≥0 stets eine zeitlich homogene DMK in einem Standardmodell (Ω , A, (Mn )n≥0 , (Pλ )λ ∈P(S ) ) mit Zustandsraum S und Übergangsmatrix P. Eine Frage, die allgemein bei stochastischen Prozessen sehr häufig von zentralem Interesse ist, lautet:
Wie verhält sich die Verteilung der Prozessvariablen oder auch des Post-t-Prozesses
bei gegen unendlich strebender Zeit t?
Auf M bezogen bedeutet dies:
Welche Aussagen lassen sich über PλMn und PλM
(n)
für n → ∞ machen?
In diesem Zusammenhang spielen die Begriffe “stationäres Maß” und “stationäre
Verteilung” eine große Rolle und werden deshalb als nächstes präzisiert:
Definition 1.30. Ein σ -endliches Maß π = (πi )i∈S auf S heißt stationäres oder
invariantes Maß der DMK M, wenn π 6≡ 0 und
1.5 Stationäre Maße und Verteilungen
23
PπM1 = πP = π
(1.31)
gilt, also
Pπ (M1 = j) =
∑ πi pij
i∈S
für alle j ∈ S . Hat π Gesamtmasse 1, nennt man π auch stationäre oder invariante
Verteilung von M.
Zu gegebener Übergangsmatrix P = (pij )i, j∈S erhält man demnach ein stationäres Maß durch Lösen des durch (1.31) gegebenen linearen Gleichungssystems
πj =
∑ πi pij ,
i∈S
j∈S.
M
Beachtet man, dass stets Pπ 0 = π gilt, so bedeutet (1.31) nichts anderes als, dass
M0 und M1 unter Pπ dieselben Bildmaße/Verteilungen besitzen (Invarianz). Unter
Benutzung von
PπMn = πP (n) = πP n = (πP)P n−1 = πP n−1
für alle n ≥ 1 folgt sofort per Induktion über n:
Lemma 1.31. Ein Maß π ist genau dann ein stationäres Maß der MK M, wenn
π 6≡ 0 und
PπMn = πP n = π
(1.32)
für alle n ≥ 0 gilt, also
Pπ (Mn = j) =
(n)
∑ πi pij
= πj
i∈S
für alle j ∈ S .
Unter Pπ stimmen die Bildmaße aller Mn folglich überein, was im Fall einer
Verteilung π auch wie folgt formuliert werden kann:
Besitzt M eine stationäre Verteilung π, so hat Mn unter Pπ , d.h. bei Anfangsverteilung π, für jedes n ≥ 0 genau diese Verteilung π.
Wir haben es hier mit einer besonders starken Form von Stabilität oder Gleichgewicht zu tun, die sich aufgrund der zeitlichen Homogenität auch auf die Post-nProzesse überträgt:
24
1 Theoretische Grundlagen
Satz 1.32. Ein Maß π ist genau dann ein stationäres Maß der DMK M, wenn π 6≡ 0
und
(n)
(1.33)
PπM = PπM = π ⊗ P ∞
für alle n ≥ 0 gilt.
Beweis. Zu zeigen ist nur die erste Gleichung in (1.33). Gemäß (1.15) in Satz 1.8
gilt für alle n ≥ 0 und i, j ∈ S
M (n) |Mn = j
Pi
= PM
j ,
so dass unter Benutzung von (1.32)
(n)
PπM (·) =
∑ πi PiM
(n)
(·)
i∈S
=
M (n) |Mn = j
(n)
Pi
(n)
PM
j (·)
∑ ∑ πi pij
(·)
i∈S j∈S
=
∑ ∑ πi pij
j∈S i∈S
=
∑ Pπ (Mn = j) P Mj (·)
j∈S
= PπM (·)
für alle n ≥ 0, d.h. die Behauptung folgt.
t
u
Eine Folge M mit der Eigenschaft (1.33) für alle n ≥ 0 heißt stationär unter Pπ ,
was die Namensgebung für π erklärt.
Stationäre Maße und Verteilungen spielen in der Theorie der MK eine wichtige Rolle, müssen aber weder existieren noch eindeutig bestimmt sein (+ hierzu
Abschnitt 5.4). Die Eindeutigkeit betreffend notieren wir, dass die Menge Ξ aller
stationären Maße einer MK M einen positiven Halbraum bildet, d.h. π1 , π2 ∈ Ξ impliziert c1 π1 + c2 π2 ∈ Ξ für alle c1 , c2 > 0. Stationäre Maße sind also im günstigsten
Fall bis auf ein skalares Vielfaches eindeutig bestimmt, was bedeutet, dass Ξ eindimensional ist. Die Menge Ξ ∗ der stationären Verteilungen von M bildet eine konvexe, möglicherweise leere Teilmenge von Ξ . Sie enthält offenbar genau ein Element,
wenn Ξ eindimensional ist und aus lauter endlichen Maßen besteht. Die Bedeutung
stationärer Verteilungen im Zusammenhang mit dem asymptotischen Verhalten von
MK verdeutlicht das folgende einfache Lemma.
Lemma 1.33. Sei M = (Mn )n≥0 eine DMK, für die λ , ν ∈ P(S ) existieren, so dass
lim Pλ (Mn = j) = lim
n→∞
n→∞
(n)
∑ λi pij
i∈S
= νj
(1.34)
1.5 Stationäre Maße und Verteilungen
25
für alle j ∈ S . Dann ist ν eine stationäre Verteilung der Kette, d.h. ν ∈ Ξ ∗ .
Beweis. Per Funktions-Erweiterungsargument folgt aus (1.34)
lim Eλ f (Mn ) =
n→∞
Z
S
f (s) ν(ds)
für alle f ∈ bS , dem Raum der beschränkten Funktionen f : S → R. Damit erhalten wir aber unter Benutzung der Markov-Eigenschaft (setze f (k) := pkj )
ν j = lim Pλ (Mn+1 = j)
n→∞
= lim
n→∞
= lim
n→∞
= lim
n→∞
=
(n+1)
∑ λi pij
i∈S
(n)
∑ ∑ λi pik
pkj
i∈S k∈S
∑ Pλ (Mn = k) pk j
k∈S
∑ νk pkj
k∈S
für alle j ∈ S , d.h. ν ∈ Ξ ∗ .
t
u
Der Verteilungslimes von Mn unter irgendeinem Pλ definiert also stets eine stationäre Verteilung. Diese ist außerdem eindeutig bestimmt, wenn (1.34) für jede
Anfangsverteilung λ gilt, da dann speziell für µ ∈ Ξ ∗ und alle j ∈ S
n→∞
µ j = Pµ (Mn = j) −→ ν j ,
d.h. µ = ν folgt.
Ist der Zustandsraum S endlich, d.h. M eine EMK, so ist jedes stationäre Maß
π notwendigerweise endlich mit Gesamtmasse kπk = ∑i∈S πi und dessen Normierung π ∗ = π/kπk eine stationäre Verteilung. Man beachte ferner, dass π in diesem
Fall genau dann ein stationäres Maß definiert, wenn π einen nichtnegativen linken Eigenvektor zum Eigenwert 1 der endlichen Matrix P bildet. Wir werden im
nächsten Kapitel zeigen, dass eine EMK stets mindestens eine stationäre Verteilung
besitzt.
Kapitel 2
Beispiele diskreter Markov-Ketten
Dieses Kapitel widmet sich einer Auswahl von Beispielen diskreter MK und dient
nicht zuletzt der Absicht, deren Bedeutung in nahezu allen Bereichen, in denen stochastische Modellierung eine Rolle spielt, aufzuzeigen. Mühelos ließe sich ein eigenes Buch mit interessanten Beispielen füllen, und die folgende Auswahl kann und
soll lediglich einen ersten Einblick vermitteln.
2.1 Markov-Ketten mit zwei Zuständen
Betrachten wir einen Telefonanschluss, dessen Leitung zum Zeitpunkt n frei bzw.
besetzt ist, was wir durch Mn = 0 bzw. Mn = 1 codieren. Wir nehmen an, dass die
Wahrscheinlichkeit für einen Anruf während eines Zeitintervalls p > 0 beträgt und
dass ferner höchstens ein Anruf pro Zeitintervall eingeht. Ist die Leitung besetzt,
geht der Anruf nicht durch und wird folglich nicht registriert. Wir nehmen weiter
an, dass sie in diesem Fall mit einer Wahrscheinlichkeit q > 0 im nächsten Intervall
wieder frei ist. Wir erhalten so eine EMK (Mn )n≥0 mit Zustandsraum S = {0, 1}
und Übergangsmatrix
1− p p
P =
.
q 1−q
Offenkundig hat jede Übergangsmatrix einer EMK mit zwei Zuständen diese Form,
und es bedarf zu ihrer Spezifikation lediglich der Angabe der Werte p und q.
2.2 Ein einfaches Bedienungssystem
Wir greifen auf das vorherige Beispiel zurück und nehmen nun an, dass der Anschluss einen Anrufer auf Abruf halten kann. Die Anzahl der Anrufer im System ist
folglich ein Element der Menge S = {0, 1, 2}. Wie bisher betrage die Wahrschein27
28
2 Beispiele diskreter Markov-Ketten
lichkeit q dafür, dass ein Anruf während eines Zeitintervalls beendet wird, und p
dafür, dass ein neuer Anruf eingeht, sofern das System nicht bereits voll ist. Zur
Modellierung setzen wir
p00 = 1 − p,
p01 = p
p02 = 0,
und
denn ein neuer Anruf kommt mit Wahrscheinlichkeit p an (wobei wir weiterhin
höchstens einen eingehenden Anruf pro Zeitintervall annehmen). Analog erhalten
wir
p20 = 0, p21 = q und p22 = 1 − q,
denn kein neuer Anruf wird registriert, wenn bereits zwei in der Leitung sind, und
p(1 − q)
p
1− p
0
1
q(1 − p)
2
1−q
q
β p,q
Abb. 2.1 Markov-Kette mit 3 Zuständen und den obigen Übergangswahrscheinlichkeiten, wobei
β p,q = 1 − q(1 − p) − p(1 − q).
höchstens einer der beiden Anrufe kann während des Intervalls beendet werden. Befindet sich genau ein Gespräch in der Leitung, ist die Situation etwas komplizierter.
Das System geht von 1 in 0 über, wenn das aktuelle Gespräch während des Intervalls
beendet wird und kein neuer Anruf eingeht, also p10 = q(1− p) (unter der vernünftigen Annahme, dass sich Gesprächsdauern und Gesprächseingänge unabhängig voneinander verhalten). Ähnlich ergibt sich p12 = p(1 − q), weil das System von 1 in
2 übergeht, wenn das aktuelle Gespräch während des Intervalls nicht beendet wird
und zugleich ein neuer Anruf eingeht, der auf Abruf gestellt wird. Da sich Zeilen
einer Übergangsmatrix stets zu 1 addieren, folgt p11 = 1 − q(1 − p) − p(1 − q) und
somit insgesamt


1− p
p
0
P = q(1 − p) 1 − q(1 − p) − p(1 − q) p(1 − q) .
0
q
1−q
Übergangswahrscheinlichkeiten werden oft mittels gerichteter Graphen dargestellt,
wobei die Knoten die Zustände und die gerichteten Kanten (Pfeile) die Übergänge
beschreiben. Für die obige Matrix zeigt dies Abb. 2.1.
2.5 Einfache Irrfahrten auf einem Graphen
29
2.3 Irrfahrten mit reflektierenden Barrieren
Stellen wir uns vor, ein Teilchen springt auf den Gitterpunkten {0, 1, ..., N}. Zu jedem Zeitpunkt springt es eine Einheit nach rechts bzw. links mit den Wahrscheinlichkeiten p ∈ (0, 1) bzw. 1 − p. Befindet es sich in einem der Randpunkte (Barrieren) 0 oder N, wird es mit Wahrscheinlichkeit 1 reflektiert, wandert also wieder in
Richtung des Intervalls. Die Übergangsmatrix dieser EMK lautet


0 10
0
1 − p 0 p





.
..
P = 
.



1 − p 0 p
0
0 10
Im Fall p = 21 sprechen wir von einer symmetrischen, andernfalls von einer asymmetrischen Irrfahrt auf {0, 1, ..., N} mit reflektierenden Barrieren. Es ist manchmal
sinnvoll, lediglich teilweise reflektierende Barrieren zu betrachten, was bedeuten
soll, dass das Teilchen mit der Wahrscheinlichkeit p eine Zeiteinheit in den Randpunkten 0 und N verharren kann. Es gilt dann also
p00 = 1 − p01 = p
und
pNN = 1 − pN,N−1 = p.
2.4 Irrfahrten mit absorbierenden Barrieren
Diese EMK verhält sich genauso wie die in 2.3, außer für den Fall, dass das Teilchen
einen der Randpunkte 0 oder N erreicht, wo es nun absorbiert wird. Die Übergangsmatrix lautet dann


1 00
0

1 − p 0 p




.
..
P = 
.



1 − p 0 p
0
0 01
2.5 Einfache Irrfahrten auf einem Graphen
Betrachten wir einen (endlichen, einfachen und ungerichteten) Graphen G = (V, E),
V die Menge der Knoten und E ⊂ P(V ) die Menge der Kanten. Dann verbindet
jede Kante zwei verschiedene Knoten, und je zwei Knoten sind durch höchstens
30
2 Beispiele diskreter Markov-Ketten
eine Kante verbunden. Wir schreiben v ∼ w, wenn zwei Knoten v, w benachbart,
d.h. durch eine Kante verbunden sind.
Abb. 2.2 Der Tutte-Coxeter-Graph, auch Tutte-8-Käfig genannt, als Beispiel eines endlichen, einfachen und ungerichteten Graphen. Dieser Graph hat 30 Knoten, 45 Kanten und ist ferner regulär
von der Ordnung 3, d.h., jeder Knoten hat genau 3 Nachbarn.
Eine einfache Irrfahrt auf G ist eine EMK mit Zustandsraum V , die zu jedem
Zeitpunkt vom gegenwärtigen Aufenthaltsknoten mit gleicher Wahrscheinlichkeit in
einen der Nachbarknoten springt. Sie hat demnach die Übergangswahrscheinlichkei1
ten pvw = d(v)
, v ∼ w, wobei d(v) die Anzahl benachbarter Knoten von v angibt (im
Fall d(v) = 0 setzen wir pvv = 1). Die in 2.3 vorgestellte symmetrische Irrfahrt
mit reflektierenden Barrieren bildet ein spezielles Beispiel einer solchen einfachen
Irrfahrt. Für den in Abb. 2.2 dargestellten Tutte-Coxeter-Graphen beträgt die Übergangswahrscheinlichkeit stets 31 , in einen der Nachbarkonoten zu springen.
2.6 Das Ehrenfest-Modell für Wärmeaustausch
Das Ehrenfest-Modell bildet eine klassische mathematische Beschreibung sowohl
für den Wärmeaustausch zwischen zwei nach außen isolierten, sich berührenden
Körpern als auch für die Diffusion durch eine Membran. Stellen wir uns dazu zwei
Urnen A und B vor, die insgesamt 2N Kugeln enthalten, von denen sich zu Beginn
k in Urne A und 2N − k in Urne B befinden. Es wird nun immer eine Kugel zufällig
ausgewählt (jede also mit der gleichen Wahrscheinlichkeit) und von der Urne, in
der sie sich gerade befindet, in die jeweils andere gelegt. Im Zeitablauf wandern
die Kugeln also zwischen beiden Urnen hin und her, wobei stets eine mittlere Drift
2.7 Markov-Ketten in der Genetik: Die Modelle von Wright-Fisher und Moran
31
in Richtung derjenigen mit der geringeren Zahl von Kugeln besteht. Die Anzahl der
Kugeln in den beiden Urnen interpretiert man beim Wärmeaustausch als Temperatur
der sie repräsentierenden Körper. Sei Xn die Anzahl der Kugeln in Urne A nach der
n-ten Ziehung und Mn = Xn − N. Dann bildet (Mn )n≥0 eine EMK mit Zustandsraum
S = {−N, −N + 1, . . . , −1, 0, 1, . . . , N − 1, N} und Übergangswahrscheinlichkeiten

N−i

 2N , falls j = i + 1,
pij = N+i
2N , falls j = i − 1,


0,
sonst.
2.7 Markov-Ketten in der Genetik: Die Modelle von
Wright-Fisher und Moran
Das folgende idealisierte genetische Modell wurde von S. W RIGHT [22] vorgeschlagen, um die Fluktuationen von Genfrequenzen unter dem Einfluss von Mutation und Selektion zu untersuchen.
2.7.1 Das Wright-Fisher-Modell
Wir beginnen mit der Beschreibung eines Grundmodells zufälliger Reproduktion
ohne Mutation und Selektion und betrachten eine endliche Population von N Individuen (Zellen), die jeweils zwei gleichartige (homologe) Chromosomensätze besitzen (Diploidie). Auf jedem Chromosomensatz befindet sich jeweils eine Kopie
eines bestimmten Gens, das entweder vom Typ a oder A ist. Diese Typen, genannt
Allele, bilden die beiden möglichen Zustandsformen des Gens und befinden sich
in homologen Chromosomen an gleichen Loci (Genorten). Wir richten nun unser
Augenmerk ausschließlich auf die 2N Gene der N Individuen, die wir als gegebene
Genpopulation auffassen, wobei die nachfolgenden Überlegungen gleichermaßen
gelten, wenn diese 2N Gene von 2N Individuen einer haploiden Population stammen. Man spricht von Haploidie bei Populationen (z.B. von Keimzellen), deren Individuen nur einen Chromosomensatz und daher das Gen immer nur in einer seiner
Varianten besitzen.
Ausgehend von einer Elternpopulation (Generation 0) mit i Typ-a-Allelen und
2N − i Typ-A-Allelen, ergibt sich die nächste Generation wie durch 2N-maliges
Ziehen mit Zurücklegen aus einer Urne mit 2N Kugeln, von denen i rot und 2N − i
schwarz sind. Liefert die k-te Ziehung eine rote Kugel, ist das k-te Gen der Tochterpopulation vom Typ a, andernfalls vom Typ A (Bernoulli-Experiment). Die Ziehungen sind offenbar unabhängig und die Wahrscheinlichkeiten für ein Typ-a bzw.
Typ-A-Allel gegeben durch
32
2 Beispiele diskreter Markov-Ketten
αi =
i
2N
bzw. βi = 1 −
i
.
2N
Die Evolution der Population unter diesem ad infinitum fortgesetzten Mechanismus
lässt sich durch
2N
Mn =
∑ Xn,k ,
k=1
n≥1
(2.1)
beschreiben, wobei Mn die Anzahl der Typ-a-Allele der n-ten Generation bezeichnet
und Xn,k das Ergebnis des k-ten Bernoulli-Experiments zur Erzeugung dieser Generation angibt. Die Xn,k , 1 ≤ k ≤ 2N, sind bedingt unter M0 , ..., Mn−1 stochastisch
unabhängig und identisch Bern(αMn−1 )-verteilt, d.h.
P(Xn,1 ,...,Xn,2N )|M0 =i0 ,...,Mn−1 =in−1 = P(Xn,1 ,...,Xn,2N )|Mn−1 =in−1 = Bern(αin−1 )2N . (2.2)
Die Xn,k hängen also von M0 , ..., Mn−1 nur über Mn−1 ab, und vermöge (2.2) folgt
weiter
PMn |M0 =i0 ,...,Mn−1 =in−1 = PMn |Mn−1 =in−1 = Bin(2N, αin−1 ).
(Mn )n≥0 bildet demnach eine EMK mit Zustandsraum {0, ..., 2N} und Übergangswahrscheinlichkeiten
2N
pij =
αij βi2N− j , i, j = 0, ..., 2N.
(2.3)
j
Auf eine Diskussion der biologischen Rechtfertigung der hier gemachten Voraussetzungen verzichten wir und verweisen auf F ISHER [7]. Beachte, dass die Zustände 0
und 2N, in denen die Population nur noch Gene vom Typ A bzw. a enthält, absorbierend sind. Man spricht in diesem Fall von Fixierung. Eine Frage von beträchtlichem Interesse lautet: Mit welcher Wahrscheinlichkeit tritt bedingt unter M0 = k,
1 ≤ k ≤ 2N − 1, Fixierung ein? Darüber hinaus stellt sich im positiven Fall die Frage
nach der Rate, mit der dieses geschieht.
2.7.2 Dasselbe Modell mit Mutationseffekten
Ein verallgemeinertes Modell berücksichtigt Mutationseffekte, etwa durch folgende
Modellierung: Vor Bildung einer neuen Generation hat jedes Allel die Chance zu
mutieren, d.h. hier, sich in ein Allel der anderen Art zu verwandeln. Wir nehmen an,
dass eine Mutation a → A mit Wahrscheinlichkeit γ1 und eine Mutation A → a mit
Wahrscheinlichkeit γ2 geschieht. Es gelten dann weiter (2.1) – (2.3), jedoch mit den
neuen Ziehungswahrscheinlichkeiten
i
i
(1 − γ1 ) + 1 −
γ2 ,
(2.4)
αi =
2N
2N
2.7 Markov-Ketten in der Genetik: Die Modelle von Wright-Fisher und Moran
βi =
33
i
i
γ1 + 1 −
(1 − γ2 ).
2N
2N
Zur genaueren Erläuterung schlüsseln wir den Mechanismus weiter auf: Wir nehmen an, dass Mutation der Ziehung nachgeschaltet ist. Sei Yn,k = 1 bzw. = 0, falls
das k-te aus der (n − 1)-ten Generation selektierte Gen vor Auftreten einer möglichen Mutation vom Typ a bzw. A ist. Die Yn,1 , ...,Yn,2N erfüllen dann (2.2), sind
also bedingt unter Mn−1 unabhängig und jeweils Bern(Mn−1 /2N)-verteilt. Seien
weiter In,k , Jn,k unabhängige (auch von Mn−1 und den Yn,k ) Bernoulli-Variablen,
d
d
In,k = Bern(γ1 ), Jn,k = Bern(γ2 ), und setze
Xn,k = Yn,k (1 − In,k ) + (1 −Yn,k )Jn,k .
In,k = 1 bedeutet demnach eine Mutation a → A des k-ten gezogenen Gens der
(n − 1)-ten Generation und Jn,k = 1 eine Mutation A → a. Wie man sofort einsieht,
erfüllen auch hier die Xn,k (2.2), jedoch mit den αi aus (2.4). Es gilt nämlich unter
Beachtung der Unabhängigkeitsannahmen
P(Xn,k = 1|Mn−1 = i)
= P(In,k = 0,Yn,k = 1|Mn−1 = i) + P(Jn,k = 1,Yn,k = 0|Mn−1 = i)
= P(Yn,k = 1|Mn−1 = i) P(In,k = 0) + P(Yn,k = 0|Mn−1 = i) P(Jn,k = 1)
i
i
(1 − γ1 ) + 1 −
γ2 = αi
=
2N
2N
für alle k = 1, ..., 2N.
Sofern γ1 γ2 > 0, tritt offenbar in keinem Zustand Fixierung ein. Stattdessen strebt
Mn in diesem Fall für n → ∞ in Verteilung gegen einen stationären Limes π, den wir
als Genfrequenz im Gleichgewicht bezeichnen.
2.7.3 Dasselbe Modell mit Selektionsdruck
Wir kehren zurück zum Grundmodell und wollen für dieses als weitere Variante
das Konzept eines Selektionsdrucks zugunsten von, sagen wir, Typ-a-Allelen diskutieren. Es sei zunächst bemerkt, dass im Grundmodell (neutrale Selektion) unter
Benutzung von (2.3)
E(Mn |Mn−1 = i) = 2N ·
i
= i
2N
für alle i = 0, ..., 2N folgt, die mittleren Reproduktionsraten rn =
E(2N−Mn |Mn−1 )
2N−Mn−1
(2.5)
E(Mn |Mn−1 )
Mn−1
und
Rn =
für beide Alleltypen also stets 1 betragen. Stellen wir uns nun
vor, dass der Ziehungsmechanismus Allelen vom Typ a gegenüber denen vom Typ A
einen mittleren selektiven Vorteil gibt, präzisiert durch rn = (1 + s)Rn für alle n ≥ 1
34
2 Beispiele diskreter Markov-Ketten
und ein s > 0 (klein). Gesucht sind also Selektionswahrscheinlichkeiten αk , βk , die
dieses gewährleisten. Da weiterhin E(Mn |Mn−1 = i) = 2Nαi für alle i = 0, ..., 2N
gilt, ergeben sich αi , βi = 1 − αi vermöge
rn =
2NαMn−1
2N(1 − αMn−1 )
= (1 + s)
= (1 + s)Rn ,
Mn−1
2N − Mn−1
n ≥ 1,
eindeutig zu
2N − i
(1 + s)i
und βi =
.
(2.6)
2N + si
2N + si
Der Quotient der erwarteten Populationsgrößen von Typ-a- und Typ-A-Allelen in
der n-ten Generation (bedingt unter Mn−1 ) ergibt sich zu
αi =
αMn−1
E(Mn |Mn−1 )
(1 + s)Mn−1
=
=
E(2N − Mn |Mn−1 )
βMn−1
2N − Mn−1
1+s
Anzahl von Typ-a-Genen in der (n − 1)-ten Generation
=
1
Anzahl von Typ-A-Genen in der (n − 1)-ten Generation
und verdeutlicht auf alternative Weise die Bedeutung von Selektion. Beachte, dass
Zustände 0 und 2N auch unter Selektionsdruck absorbierend sind. Eine wichtige
Frage lautet demnach auch hier, mit welcher Wahrscheinlichkeit bedingt unter M0 =
k Fixierung eintritt.
2.7.4 Das Moran-Modell
Wir betrachten wieder eine Population von 2N Genen, die entweder vom Typ a oder
A seien, wobei sich jedoch Generationen anders als beim Wright-Fisher-Modell
hier überlappen. Der im Anschluss beschriebene Reproduktionsmechanismus, der
in jedem Zeitschritt immer nur ein Element der Population betrifft, wurde von M O RAN [17] vorgeschlagen. Wir beschränken uns auf die einfache Modellvariante ohne Mutations- und Selektionseffekte, weisen aber darauf hin, dass auch diese problemlos bei der Modellierung berücksichtigt werden können. Stellen wir uns die
2N Gene wieder als rote (Typ a) und schwarze (Typ A) Kugeln einer Urne vor.
Die Zusammensetzung der Urne nach n-facher Anwendung des folgenden zweistufigen Mechanismus’ beschreibt die Population nach n Zeitschritten, wobei wir
der Einfachheit wiederum von der n-ten Generation sprechen. Wir ziehen zufällig
eine Kugel mit Zurücklegen und “duplizieren” diese (Reproduktionsschritt), wobei
das Duplikat zunächst beiseite gelegt wird. Anschließend ziehen wir nochmals eine Kugel aus der Urne, legen diese aber nicht zurück, sondern ersetzen sie durch
das beiseite gelegte Duplikat (Austauschschritt). Seien wieder Mn die Anzahl der
Typ-a-Allele (roter Kugeln) der n-ten Generation (nach n Doppelziehungen) und
k
αk = 2N
, βk = 1 − αk = 2N−k
2N , d.h., αMn , βMn bezeichnen die relativen Häufigkeiten
der beiden Allele in der n-ten Generation. Nach der obigen Beschreibung bildet
2.8 Irrfahrten auf Zd
35
(Mn )n≥0 offenkundig eine EMK mit Zustandsraum {0, ..., 2N} und Übergangswahrscheinlichkeiten

 αi βi , falls j = i ± 1
pij = αi2 + βi2 falls i = j
.

0, sonst
Die Zustände 0 und 2N sind erneut absorbierend, und es gilt wieder (2.5), d.h.
E(Mn |Mn−1 = i) = i für alle i = 0, ..., 2N.
Für eine ausführlichere Diskussion der zuvor beschriebenen Modelle lese man
etwa in der Monographie von G ALE [8].
War der Zustandsraum bisher stets endlich, so ist oder kann dieser in den nachfolgenden Beispielen abzählbar unendlich sein.
2.8 Irrfahrten auf Zd
Wir betrachten das Gitter Zd , versehen mit der gewöhnlichen Nachbarschaftsrelation, die durch die `1 -Norm |i|1 := ∑dk=1 |ik | determiniert ist, d.h., zwei Punkte in Zd
sind genau dann durch eine Kante verbunden, wenn ihr `1 -Abstand 1 beträgt. Stellen wir uns vor, ein Teilchen auf diesem Gitter springt pro Zeiteinheit unabhängig
vom gegenwärtigen Aufenthaltsort i mit Wahrscheinlichkeit je 1/2d in einen der 2d
Nachbarpunkte i ± ek , k = 1, ..., d, wobei ek den k-ten kanonischen Einheitsvektor
im Rd bezeichnet. Abb. 6.3 veranschaulicht die Situation für den Fall “d = 2”. Bezeichnet M0 den Startpunkt und Mn die Position des Teilchens zum Zeitpunkt n an,
so gilt
P(Mn+1 = in ± ek |Mn = in , ..., M0 = i0 ) = P(Mn+1 = in ± ek |Mn = in ) =
1
2d
für alle n ≥ 0, k = 1, ..., d und (i0 , .., in ) ∈ Z(n+1)d mit P(M0 = i0 , ..., Mn = in ) > 0.
Es liegt also eine DMK mit Zustandsraum Zd vor, wobei es sich im Rückblick auf
2.5 offenbar um eine einfache Irrfahrt auf dem unendlichen Graphen G mit Zd als
Knotenmenge und der `1 -Nachbarschaftsrelation handelt. Wir spechen in diesem
Fall auch von einer symmetrischen Irrfahrt auf (Zd , | · |1 ). Allgemeiner bezeichnen
wir (Mn )n≥0 als Irrfahrt auf (Zd , | · |1 ) mit Parametern p−d , ..., pd , falls
P(Mn+1 = i|Mn = i) = p0
und
P(Mn+1 = i ± ek |Mn = i) = p±k
für alle i ∈ Zd und k = 1, ..., d gilt.
Eine andere Nachbarschaftsrelation auf Zd , für d = 2 in Abb. 2.4 dargestellt,
ergibt sich bei Zugrundelegung der Maximums(`∞ -)norm |i|∞ := max1≤k≤d |ik |. In
diesem Fall sind zwei Punkte genau dann durch eine Kante verbunden, wenn ihr
`∞ -Abstand 1 beträgt. Eine DMK (Mn )n≥0 auf Zd heißt Irrfahrt auf (Zd , | · |∞ ) mit
Parametern pα , α ∈ {−1, 0, 1}d , wenn
+1 -Nachbarschaftsrelation handelt. Wir spechen in diesem Fall auch von einer symmetrischen
Irrfahrt auf (Zd , | · |1 ). Allgemeiner bezeichnen wir (Mn )n≥0 als Irrfahrt auf (Zd , | · |1 ) mit
Parametern p−d , ..., pd , falls
(6.17)
P (Mn+1 = i|Mn = i) = p0
und P (Mn+1 = i ± ek |Mn = i) = p±k
für alle i ∈ Zd und k = 1, ..., d gilt.
36
1/4
2 Beispiele diskreter Markov-Ketten
1/4
1/4
0
1/4
Bildauf
6.3.
Abb. 2.3 Symmetrische Irrfahrt
Z2 .Symmetrische Irrfahrt auf Z2 .
Eine andere Nachbarschaftsrelation auf Zd , für d = 2 in Bild 6.4 dargestellt, ergibt sich
def
P(Mn+1 ∞
=-)norm
i + α|M
=1≤k≤d
pα |ik |. In diesem Fall sind zwei
bei Zugrundelegung der Maximums(+
|i|∞
=i)max
n=
Punkte genau dann durch eine Kante verbunden, wenn ihr +∞ -Abstand 1 beträgt. Eine DMK
für )alle α
∈ d{−1, 0, 1}d . Sie heißt
d ferner symmetrisch, wenn p0 = 0 dund pα =
(M
n n≥0 auf Z heißt Irrfahrt auf (Z , | · |∞ ) mit Parametern pα , α ∈ {−1, 0, 1} , wenn
1/(3d − 1) für alle anderen α. Jede Irrfahrt auf (Zd , | · |1 ) ist offenkundig ebenfalls
eine solche auf (Zd , | · |∞ ). P (Mn+1 = i + α|Mn = i) = pα
(6.18)
6. Beispiele diskreter Markov-Ketten
d
33
d
für alle α ∈ {−1, 0, 1} . Sie heißt ferner symmetrisch, wenn p0 = 0 und pα = 1/(3 − 1) für
alle anderen α. Jede Irrfahrt auf (Zd , | · |1 ) ist offenkundig ebenfalls eine solche auf (Zd , | · |∞ ).
Eine interessante Frage für Irrfahrten auf Zd lautet: Für welche Parameterkombinationen
kehrt diese, ausgehend von einem Gitterpunkt i, mit Wahrscheinlichkeit 1 in endlicher Zeit nach
i zurück? Man nennt den Zustand i dann rekurrent. Bild 6.3 (rechts) zeigt einen rekurrenten
Pfad für den Zustand i = 0. Die Frage wird in Abschnitt 8 eingehend untersucht.
Abb.
2.4 Nachbarschaftsstruktur
von Z2 untervon
der Maximumsnorm
| · |∞ .
| · |∞ .
Bild
6.4. Nachbarschaftsstruktur
Z2 unter der Maximumsnorm
... seien
stochastisch
unabhängige
6.9.Eine
Diskrete
Random
in ZZd . aufMZ0d, X
1 , X2 ,Für
interessante
FrageWalks
für Irrfahrten
lautet:
welche
Parameterkomd
Xn ferner
alle dieselbe
Verteilung (pk )k∈Zd beZufallsvariablen
in Z , wobei
binationen mit
kehrtWerten
diese, ausgehend
vondie
einem
Gitterpunkt
i, mit Wahrscheinlichkeit
in endlicher Zeit nach i zurück? Man nennt den Zustand i dann rekurrent. Abb.
sitzen,1d.h.
2.3 (rechts) zeigt einen rekurrenten
Pfad=für
k) den
= pkZustand i = 0. Die Frage wird in
P (X
n
Abschnitt 3.5 eingehend untersucht.
für alle k ∈ Zd . Dann heißt
(6.19)
def
Mn = M0 +
n
*
Xk
k=1
diskreter Random Walk auf Zd mit Zuwachsverteilung (pk )k∈Zd und definiert eine DMK mit
Zustandsraum Zd und Übergangswahrscheinlichkeiten
(6.20)
pij = P (Mn+1 = j|Mn = i) = P (Xn+1 = j − i|Mn = i) = P (Xn+1 = j − i) = pj−i
für alle i, j ∈ Zd . Einen Spezialfall bilden offensichtlich die zuvor vorgestellten Irrfahrten auf
Zd , für die die Verschiebung pro Zeiteinheit, gemessen in | · |1 oder | · |∞ , höchstens 1 beträgt.
Die formale Bedingung hierfür lautet bezüglich der | · |∞ -Norm
2.9 Eine Variante: Reflektierende Irrfahrten auf N0
37
2.9 Eine Variante: Reflektierende Irrfahrten auf N0
Das folgende Beispiel ist nicht zuletzt deswegen interessant, weil bei diesem das
Vorliegen der Markov-Eigenschaft nicht unbedingt sofort klar ist. Sei (Sn )n≥0 eine
einfache, im Ursprung startende Irrfahrt auf Z mit Parametern p, q ∈ (0, 1), p + q =
1, d.h.
p = P(Sn+1 = i + 1|Sn = i) und
q = P(Sn+1 = i − 1|Sn = i)
für alle n ∈ N0 und i ∈ Z. Dann heißt
Mn := |Sn |,
n≥0
reflektierende Irrfahrt auf Z und bildet eine zeitlich homogene MK auf N0 , wie wir
im Anschluss zeigen werden.
Wir berechnen zunächst die bedingte Wahrscheinlichkeit
P(Sn = i|Mn = i, Mn−1 = in−1 , ..., M1 = i1 )
für beliebige i1 , ..., in−1 , i ∈ N0 mit P(Mn = i, Mn−1 = in−1 , ..., M1 = i1 ) > 0. Sei dazu
m := max{0 ≤ k ≤ n : ik = 0}. Dann sieht man leicht ein, dass
P(Sn = i|Mn = i, Mn−1 = in−1 , ..., M1 = i1 )
= P(Sn = i|Mn = i, Mn−1 = in−1 , ..., Mm+1 = im+1 , Mm = 0)
und dass es nur zwei Pfade für (Sm , ..., Sn ) gibt, die zu Mn = i, Mn−1 = in−1 , ..., Mm =
0 führen, nämlich (0, i1 , ..., in−1 , i) sowie (0, −i1 , ..., −in−1 , −i) mit den Wahrscheinlichkeiten
p(n−m+i)/2 q(n−m−i)/2 bzw. p(n−m−i)/2 q(n−m+i)/2 .
Dies liefert
P(Sn = i|Mn = i, Mn−1 = in−1 , ..., Mm+1 = im+1 , Mm = 0)
=
=
=
P(Sn = i, Sn−1 = in−1 , ..., Sm+1 = im+1 , Sm = 0)
P(Sn | = i, Mn−1 = in−1 , ..., Mm+1 = im+1 , Mm = 0)
p(n−m+i)/2 q(n−m−i)/2
p(n−m+i)/2 q(n−m−i)/2 + p(n−m−i)/2 q(n−m+i)/2
pi
pi + qi
.
Für i ≥ 1 erhalten wir nun
P(Mn+1 = i + 1|Mn = i, Mn−1 = in−1 , ..., M1 = i1 )
= P(Sn+1 = i + 1, Sn = i|Mn = i, Mn−1 = in−1 , ..., M1 = i1 )
+ P(Sn+1 = −i − 1, Sn = −i|Mn = i, Mn−1 = in−1 , ..., M1 = i1 )
38
2 Beispiele diskreter Markov-Ketten
= P(Sn+1 = i + 1|Sn = i) P(Sn = i|Mn = i, Mn−1 = in−1 , ..., M1 = i1 )
+ P(Sn+1 = −i − 1|Sn = −i) P(Sn = −i|Mn = i, Mn−1 = in−1 , ..., M1 = i1 )
= p·
=
pi
pi + qi
+ q·
qi
pi + qi
pi+1 + qi+1
,
pi + qi
und da diese Übergangswahrscheinlichkeiten nicht von in−1 , ..., i1 abhängen, folgt
pi,i+1 =
pi+1 + qi+1
= 1 − pi,i−1 .
pi + qi
Für den verbleibenden Fall i = 0 genügt der Hinweis, dass offenbar
P(Mn+1 = 1|Mn = 0, Mn−1 = in−1 , ..., M0 = i0 ) = P(Mn+1 = 1|Mn = 0) = 1
gilt, also p01 = 1.
Unterstellt man statt S0 = 0 lediglich, dass S0 symmetrisch verteilt ist, so bildet (Mn )n≥0 weiterhin eine zeitlich homogene MK mit denselben Übergangswahrscheinlichkeiten. Verzichtet man jedoch auch auf die Symmetrie von PS0 , so ist die
Aussage im Fall 0 < p, q < 1 mit p 6= q falsch, wie der Leser zur Übung überprüfen
mag.
2.10 Diskrete Random Walks in Zd
M0 , X1 , X2 , ... seien stochastisch unabhängige Zufallsvariablen mit Werten in Zd ,
wobei die Xn ferner alle dieselbe Verteilung (pk )k∈Zd besitzen, d.h.
P(Xn = k) = pk
für alle k ∈ Zd . Dann heißt
n
Mn := M0 + ∑ Xk
k=1
diskreter Random Walk auf Zd mit Zuwachsverteilung (pk )k∈Zd und definiert eine
DMK mit Zustandsraum Zd und Übergangswahrscheinlichkeiten
pij = P(Mn+1 = j|Mn = i)
= P(Xn+1 = j − i|Mn = i) = P(Xn+1 = j − i) = p j−i
für alle i, j ∈ Zd . Einen Spezialfall bilden offensichtlich die zuvor vorgestellten Irrfahrten auf Zd , für die die Verschiebung pro Zeiteinheit, gemessen in | · |1 oder | · |∞ ,
2.11 Ein Bedienungssystem mit konstanten Bedienungszeiten
39
höchstens 1 beträgt. Die formale Bedingung hierfür lautet bezüglich der | · |∞ -Norm
pj = 0
für alle j 6∈ {−1, 0, 1}d .
(2.7)
Man spricht dann auch von einem sprungfreien (engl. “skip-free”) oder auch Nächste-Nachbarn- (engl. “nearest neighbour”) Random Walk.
2.11 Ein Bedienungssystem mit konstanten Bedienungszeiten
Kunden betreten ein Bedienungssystem und reihen sich in die Warteschlange ein,
wenn der Bedienungsschalter besetzt ist. In jeder Bedienungsperiode (eine Zeiteineinheit) wird genau ein Kunde bedient, sofern sich ein solcher überhaupt im System befindet; andernfalls wird in der Periode niemand bedient. Der Arbeitsmodus
(Schlangendisziplin) sei FIFO (“first in first out”), d.h. die Kunden werden in der
Reihenfolge ihres Erscheinens abgefertigt. Für n ≥ 1 bezeichne Mn die Anzahl wartender Kunden am Ende und Xn die Anzahl ankommender Kunden während der
n-ten Bedienungsperiode. Wir nehmen an, dass (Xn )n≥1 eine unabhängige Folge
identisch gemäß (pk )k≥0 verteilter Zufallsgrößen bildet und außerdem unabhängig
ist von M0 , dem Anfansgzustand des Systems. Aufgrund dieser Beschreibung besitzt
die Folge (Mn )n≥0 die folgende rekursive Struktur: Für jedes n ≥ 0 ist
(
Xn+1 , falls Mn = 0,
Mn+1 =
= (Mn − 1)+ + Xn+1 .
(2.8)
(Mn − 1) + Xn+1 , falls Mn ≥ 1
Induktiv folgt die Unabhängigkeit von (M0 , ...Mn ) und Xn+1 und daraus schließlich,
dass (Mn )n≥0 eine DMK bildet mit Zustandsraum N0 und Übergangswahrscheinlichkeiten
pij = P(Mn+1 = j|Mn = i) = P(Xn+1 = j − (i − 1)+ ) = p j−(i−1)+
für alle j + 1 ≥ i ≥ 0. Die Übergangsmatrix hat demnach die Form


p0 p1 p2 p3 p4 . . .
 p0 p1 p2 p3 p4 . . .




P =  0 p0 p1 p2 p3 . . . .
 0 0 p0 p1 p2 . . .


.. .. .. .. ..
. . . . .
Es ist intuitiv klar, dass die Warteschlange über alle Schranken wächst, wenn
die mittlere Anzahl der pro Bedienungsperiode im System erscheinenden Kunden
∑k≥1 kpk größer als 1 ist, der Server also langsamer arbeitet als die Ankunftsrate
des Systems gebietet. Gilt dagegen ∑k≥1 kpk < 1, strebt die Schlangenlänge Mn für
n → ∞ gegen eine stationäre Verteilung, d.h.
6. Beispiele diskreter Markov-Ketten
35
Ende einer Periode auf einen Wert echt kleiner als s, wird dieser sofort auf den Bestand S
aufgestockt. Liegt der Bestand dagegen zwischen s und S, geschieht nichts bis zur nächsten
Überprüfung. Sei Mn der Lagerbestand am Ende der n-ten Periode unmittelbar vor einer
40
2 Beispiele diskreter Markov-Ketten
eventuellen Aufstockung. Dann hat diese Folge den Zustandsraum
lim P(Mn = j|M0 = i) = π j
n→∞
S = {S, S − 1, ..., 1, 0, −1, −2, ...},
für alle j ≥ 0 (unabhängig von i), wobei ∑ j≥0 π j = 1. Von besonderem Interesse sind
dann Größen
der Nachfrageüberschuß
mittlere Zeitanteil, den der
Server unbeschäftigt
ist,Aufstockung
gegeben
wobei ein negativer
Wert wie
einen
bedeutet,
der mittels
sofort
durch π0 , oder auch die mittlere Wartezeit eines Kunden im Gleichgewicht, gegebefriedigt wird.benAufgrund
Lagerhaltungspolitik
besteht
durch ∑ j≥0der
( j +beschriebenen
1)π j . Nähere Erläuterungen
bedürfen allerdings
nochfolgende
weiterer Beziehung
Überlegungen,
: wir auf ?? verweisen.
zwischen Mn , M
n+1 und Xfür
n+1die
(6.24)
Mn+1 =
6
Mn − Xn+1 , falls s ≤ Mn ≤ S
2.12 Ein Lagerhaltungsmodell
S − Xn+1 , falls Mn < s
.
... stochastisch
unabhängig sind,
soeinbildet
Nehmen wir weiter
an, wir
daßalsM
0 , X1 , X
Betrachten
nächstes
die2 ,Situation
eines Auslieferungslagers,
in dem
be- (Mn )n≥0
stimmtes,
laufend
nachgefragtes
Gut
gelagert
wird.
Wir
nehmen
an,
dass
der
Lagereine DMK mit Übergangswahrscheinlichkeiten
bestand immer am Ende der Lagerperioden, numeriert mit n = 0, 1, 2, ..., überprüft
6
und gegebenenfalls aufgefüllt wird. Die
denpeinzelnen
Perioden
P Gesamtnachfrage
(Xn+1 = i − j)in =
s ≤ Mn ≤ S
i−j , falls
Folge
,
X
,
...
identisch
verteilter
Zufallsgrößen
mit
Verteilung
(pk )k≥0 .
(Mn+1
= Xj|M
=
i)
=
(6.25) pij =seiP eine
1 2n
P (XParameter
= pS−j , Fällt
falls
Die Lagerhaltungspolitik ist durch zwei
< j)
S determiniert:
derMLan+1 = Ss −
n <s
gerbestand bis zum Ende einer Periode auf einen Wert echt kleiner als s, wird dieser
für i, j ∈ S. Wichtige
Fragen
fürS Modelle
dieses
bilden
der mittlere
sofort auf den
Bestand
aufgestockt.
Liegt Typs
der Bestand
dagegen
zwischen Anteil
s und der PeriS,
geschieht
nichts
bis
zur
nächsten
Überprüfung
[
+
Abb.
2.5].
Sei
M
der
Lagern
Lagerbestand im
oden n mit Nachfrageüberhang (Mn < 0) und auch der durchschnittliche
bestand am Ende der n-ten Periode unmittelbar vor einer eventuellen Aufstockung. 8
(n)
Zeitablauf. Diese
sich, den
wieZustandsraum
wir noch sehen werden (☞ 14.6), zu limn→∞ j<0 pj
Dannergeben
hat diese Folge
8
(n)
(n) def
bzw. limn→∞ j>0 jpj , wobei pj = P (Mn = j).
1
3
2
Periode
S
X
M
s
M
X
X
M
M
Abb. 2.5 Der Lagerbestandsprozess.
Bild 6.5. Der
Lagerbestandsprozeß.
S = {S, S − 1, ..., 1, 0, −1, −2, ...},
6.12. Der Galton-Watson-Verzweigungsprozeß.
Im folgenden stellen wir ein einfaches Modell für
Populationswachstum
Zu Beginn (0-tebedeutet,
Generation)
bestehe
wobei
ein negativer Wert einenvor.
Nachfrageüberschuss
der mittels
Auf-die Populasofort
befriedigt
wird. Aufgrund
der beschriebenen
Lagerhaltungspolitik
die Anzahl
der Individuen der n-ten
tion aus einemstockung
Mitglied,
genannt
Urahne.
Mn bezeichne
besteht folgende Beziehung zwischen Mn , Mn+1 und Xn+1 :
Generation, d.h. M0 = 1. Jedes Individuum habe eine Lebenszeit von einer Zeiteinheit und
produziere am Lebensende eine zufällige Anzahl von Nachkommen. Wir machen zwei weitere
Annahmen über den Reproduktionsprozeß der Population:
(1) Die Anzahl der Nachkommen sei für jedes Individuum identisch verteilt gemäß (pk )k≥0 ,
genannt Reproduktionsverteilung.
2.13 Der Galton-Watson-Verzweigungsprozess
Mn+1
41
(
Mn − Xn+1 , falls s ≤ Mn ≤ S,
=
S − Xn+1 , falls Mn < s.
Nehmen wir weiter an, dass M0 , X1 , X2 , ... stochastisch unabhängig sind, so bildet
(Mn )n≥0 eine DMK mit den Übergangswahrscheinlichkeiten
(
P(Xn+1 = i − j) = pi− j , falls s ≤ Mn ≤ S,
pij =
P(Xn+1 = S − j) = pS− j , falls Mn < s
für i, j ∈ S . Wichtige Fragen für Modelle dieses Typs bilden der mittlere Anteil
der Perioden n mit Nachfrageüberhang (Mn < 0) und auch der durchschnittliche
Lagerbestand im Zeitablauf. Diese ergeben sich, wie wir noch sehen werden (+
(n)
(n)
(n)
??), zu limn→∞ ∑ j<0 p j bzw. limn→∞ ∑ j>0 j p j , wobei p j := P(Mn = j).
2.13 Der Galton-Watson-Verzweigungsprozess
Im Folgenden stellen wir ein einfaches Modell für Populationswachstum vor. Zu Beginn (0-te Generation) bestehe die Population aus einem Mitglied, genannt Urahne.
Mn bezeichne die Anzahl der Individuen der n-ten Generation, d.h. M0 = 1. Jedes
Individuum habe eine Lebenszeit von einer Zeiteinheit und produziere am Lebensende eine zufällige Anzahl von Nachkommen. Wir machen zwei weitere Annahmen
über den Reproduktionsprozess der Population:
(1)
(2)
Die Anzahl der Nachkommen sei für jedes Individuum identisch verteilt
gemäß (pk )k≥0 , genannt Reproduktionsverteilung.
Individuen reproduzieren unabhängig voneinander und von der Anzahl der
Mitglieder der eigenen und aller vorhergehenden Generationen.
Denken wir uns die Mitglieder der n-ten Generation durchnumeriert mit 1, ..., Mn ,
und bezeichnet Xn,k dann die Anzahl der Nachkommen des k-ten Mitglieds, so gilt
offenbar
Mn
Mn+1 =
∑ Xn,k ,
k=1
n ≥ 0,
und aufgrund der obigen Voraussetzungen bildet (Mn )n≥0 eine DMK mit Zustandsraum N0 und Übergangsverteilungen
∗(i)
PMn+1 |Mn =i = (pk )k≥0 ,
i ≥ 0,
∗(i)
wobei (pk )k≥0 die i-fache Faltung der Reproduktionsverteilung (pk )k≥0 bezeich∗(0)
net, (pk )k≥0 := (δ0k )k≥0 (das Dirac-Maß in 0). (Mn )n≥0 heißt (einfacher) GaltonWatson-(Verzweigungs-)Prozess. Der Zustand 0 ist offensichtlich absorbierend und
bedeutet, dass die Population ausstirbt. Zwei Fragen drängen sich damit unmittelbar
42
2 Beispiele diskreter Markov-Ketten
auf: Wie groß ist die Aussterbewahrscheinlichkeit q in Abhängigkeit von (pk )k≥0 ?
Wie verhält sich der Prozess auf dem Ereignis E = {Mn 6= 0 für alle n ≥ 0}? Es
zeigt sich, dass die Population, sieht man von dem uninteressanten Fall “p1 = 1”
(⇒ Mn = 1 für alle n ≥ 0) einmal ab, nur aussterben oder explodieren kann. Letzteres bedeutet natürlich limn→∞ Mn = ∞ auf E. Wir werden dies in ?? eingehender
untersuchen. Dem interessierten Leser sei außerdem die historische Einführung über
Verzweigungsprozesse in der Monographie von JAGERS [12] ans Herz gelegt, wo
er insbesondere Informationen, teilweise amüsanter Art, zur Entstehungsgeschichte
des Galton-Watson-Prozesses einschließlich seiner Namensgebung findet.
Kapitel 3
Zustandseigenschaften und Irreduzibilität
3.1 Irreduzibilität
Gegeben sei fortan stets eine DMK M = (Mn )n≥0 mit Zustandsraum S und Übergangsmatrix P = (pij )i, j∈S in einem Standardmodell (Ω , A, M, (Pλ )λ ∈P(S ) ). Für
i ∈ S und A ⊂ S seien ferner τ 0 (i) und τ 0 (A) die Ersteintrittszeiten in den Zustand
i bzw. die Menge A, und zwar
τ 0 (i) = inf{n ≥ 0 : Mn = i}
und τ 0 (A) = inf{n ≥ 0 : Mn ∈ A},
(3.1)
wobei inf 0/ := ∞. Diese unterscheiden sich von den in (1.23) bzw. (1.24) definierten
Rückkehrzeiten τ(i) bzw. τ(A) nur dann, wenn sie den Wert 0 haben.
Um die zeitliche Evolution einer DMK zu analysieren, muss man sich zunächst
klarmachen, welche Pfade (Realisierungen) durch den Zustandsraum überhaupt
möglich sind, was möglicherweise zu einer Zerlegung des Zustandsraums führt.
Grundlegend für die Beantwortung der hiermit verknüpften Frage, welche Zustände
von einem beliebigen Ausgangszustand i ∈ S erreicht werden können, ist die folgende Definition.
Definition 3.1. Gegeben i, j ∈ S , heißt j erreichbar von i, kurz i → j, wenn
Pi (τ 0 ( j) < ∞) > 0.
Mit anderen Worten: j ist erreichbar von i, wenn die Kette, in i startend, den Zustand
j mit positiver Wahrscheinlichkeit irgendwann erreicht.
Da n = 0 in (3.1) zugelassen ist, folgt i → i für alle i ∈ S , denn
Pi (τ 0 (i) < ∞) ≥ Pi (τ 0 (i) = 0) = 1.
Das wohl nützlichste Kriterium für Erreichbarkeit lautet:
43
44
3 Zustandseigenschaften und Irreduzibilität
Lemma 3.2. Für alle i, j ∈ S gilt:
i→ j
(n)
⇔
pij > 0
für ein n ≥ 0.
Beweis. “⇒” Aus der Inklusion
{τ 0 ( j) < ∞} =
∑ {τ 0 ( j) = n}
n≥0
⊂
[
{Mn = j}
n≥0
folgt in Kombination mit der Voraussetzung
0 < Pi (τ ( j) < ∞) ≤ Pi
0
[
n≥0
!
{Mn = j}
≤
(n)
∑ pij
n≥0
(n)
und somit pij > 0 für mindestens ein n ≥ 0.
(n)
“⇐” Umgekehrt liefert pij > 0 zusammen mit der Inklusion
{Mn = j} ⊂ {τ 0 ( j) ≤ n} ⊂ {τ 0 ( j) < ∞}
offenkundig
(n)
0 < pij
≤ Pi (τ 0 ( j) < ∞).
t
u
Während Erreichbarkeit für jedes i ∈ S all diejenigen Zustände j ∈ S beschreibt, die von i aus irgendwann mit positiver Wahrscheinlichkeit erreicht werden,
richtet sich der nachfolgende Begriff an die Frage, für welche Zustände j auch ein
Rückkehrpfad positiver Wahrscheinlichkeit nach i existiert.
Definition 3.3. Zwei Zustände i, j ∈ S heißen kommunizierend oder verbunden,
kurz i ↔ j, wenn i → j und j → i gilt.
Mit Hilfe der Verbundenheit erhalten wir eine Zerlegung des Zustandsraums,
denn:
Lemma 3.4. Verbundenheit (↔) bildet eine Äquivalenzrelation.
Beweis. Reflexivität (i ↔ i) und Symmetrie (i ↔ j ⇔ j ↔ i) sind offensichtlich. Für
den Nachweis der Transitivität seien i ↔ j und j ↔ k für i, j, k ∈ S angenommen.
(m)
(n)
Nach Lemma 3.2 existieren m, n ≥ 0, so dass pij > 0 und p jk > 0. Vermöge der
Chapman-Kolmogorov-Gleichungen (Satz 1.6) folgt dann aber
3.1 Irreduzibilität
45
(m+n)
pik
=
(m) (n)
plk
∑ pil
l∈S
(m) (n)
≥ pij p jk > 0
und somit i → k. Analog zeigt man k → i, so dass insgesamt i ↔ k gilt.
t
u
Die Äquivalenklassen bezüglich “↔”, im Folgenden nur Klassen genannt, zerlegen den Zustandsraum S in disjunkte Teilmengen kommunizierender Zustände,
bilden also eine Partition von S . Die zu i ∈ S gehörende Klasse bezeichnen wir
mit Ci , d.h.
Ci := { j ∈ S : i ↔ j}.
Im einfachsten Fall gibt es nur eine Klasse, was zu folgender Definition führt:
Definition 3.5. Eine DMK M heißt irreduzibel, wenn alle Zustände kommunizieren, d.h., wenn i ↔ j oder, was äquivalent ist, Ci = C j für alle i, j ∈ S gilt.
Da Irreduzibilität im Grunde genommen eine Eigenschaft der Übergangsmatrix
(n)
P darstellt, nämlich supn≥0 pij > 0 für alle i, j ∈ S , spricht man auch von einem
irreduziblen P. Dies ist offensichtlich insbesondere dann der Fall, wenn P n für ein
n ≥ 1 eine positive Matrix bildet (P n > 0), d.h. aus lauter positiven Komponenten
besteht.
Beispiel 3.6. [+ Abschnitt 2.1] Aus 0 < p, q < 1 folgt hier offenkundig P > 0 und
damit Irreduzibilität. Falls p = 0 oder q = 0, ist der Zustand 0 oder 1 absorbierend
und somit nur mit sich selbst verbunden. Es folgt in beiden Fällen C0 = {0} und
C1 = {1}. Es bleiben die Fälle p = 1, q > 0 und q = 1, p > 0, wobei es aus Symmetriegründen reicht, den ersten zu betrachten: Falls p = 1 und q > 0, so springt
die Kette stets von 0 sofort nach 1 verharrt dort eine geometrisch verteilte Zeit T
(P1 (T = n) = q(1 − q)n für alle n ≥ 0) und springt dann zurück nach 0. Es liegt
somit erneut Irreduzibilität vor.
Beispiel 3.7. [+ Abschnitt 2.3] Irrfahrten mit reflektierenden Barrieren 0 und N
sind stets irreduzibel, denn unter der Voraussetzung p ∈ (0, 1) folgt für alle j > i ≥ 0
( j−i)
pij
j−i
≥
∏ pi+k−1,i+k =
k=1
p j−i ,
p j−i−1 ,
falls i ≥ 1
falls i = 0
>0
(3.2)
(3.3)
und analog
( j−i)
p ji
j−i
≥
∏ pi+k,i+k−1 =
k=1
(1 − p) j−i ,
(1 − p) j−i−1 ,
falls j ≤ N − 1
falls j = N
> 0,
d.h. i ↔ j. Dasselbe gilt auch für den Fall partiell reflektierender Barrieren, d.h. p00
oder pNN ∈ (0, 1).
46
3 Zustandseigenschaften und Irreduzibilität
Beispiel 3.8. [+ Abschnitt 2.4] Liegen absorbierende Barrieren vor, so sind diese
nur mit sich selbst verbunden, während alle anderen Zustände, also 1, ..., N − 1, weiter kommunizieren, da für diese (3.2) und (3.3) gültig bleiben. Die Klassen lauten
demnach {0}, {1, ..., N − 1} und {N}.
Beispiel 3.9. [+ Abschnitt 2.8] Symmetrische Irrfahrten auf (Zd , | · |r ), r = 1 oder
r = ∞, sind stets irreduzibel, denn jeder Pfad auf dem Gitter von einem Punkt x zu
einem anderen Punkt y hat die positive Wahrscheinlichkeit (2d)−n bzw. (3d − 1)−n ,
wenn n die Anzahl der Kanten des Pfades (Pfadlänge in der ` 1 - bzw. ` ∞ -Norm)
bezeichnet.
Beispiel 3.10. [+ Abschnitt 2.9] Für allgemeine diskrete Random Walks auf Zd mit
Zuwachsverteilung (pk )k∈Zd ist die Frage der Irreduzibilität schwerer, und vor allem
nicht einheitlich zu beantworten. Wir machen hier keinen Versuch einer vollständigen Klassifikation und betrachten zudem nur den eindimensionalen Fall (d = 1).
Falls pk = 0 für alle k < 0, so hat der Random Walk Mn = M0 + ∑nj=1 X j nichtnegative Zuwächse und ist entweder Pi -f.s. konstant (p0 = 1) oder driftet Pi -f.s.
monoton nach +∞ (p0 < 1) für alle i ∈ Z. Jeder Zustand ist folglich nur mit sich
selbst verbunden, d.h. Ci = {i} für alle i ∈ Z. Dasselbe gilt aus Symmetriegründen,
wenn pk = 0 für alle k > 0.
Aufgrund der additiven Struktur von Mn folgt weiter, dass, wenn die X j f.s. nur
Werte in einer Untergruppe mZ, m > 1, annehmen, wenn also pk = 0 für alle k 6∈
mZ gilt, Mn unter Pi f.s. nur Werte in i + mZ annimmt für alle n ≥ 0. Die Kette
ist also wiederum reduzibel mit Cr+mn ⊂ r + mZ für alle 0 ≤ r < m und n ∈ Z.
Die tatsächliche Form der einzelnen Klassen hängt von der weiteren Struktur der
Zuwachsverteilung (pk )k∈Z ab.
Betrachten wir abschließend die Situation p1 > 0 und pk0 > 0 für ein k0 ≤ −1.
In diesem Fall ist (Mn )n≥0 irreduzibel, denn für beliebige i, j ∈ Z, i < j, folgt
!
( j−i)
pij
j−i
= Pi
∑ Xk = j − i
k=1
≥ Pi (X1 = 1, ..., X j−i = 1) = p1j−i > 0,
d.h. i → j, sowie umgekehrt, falls j + lk0 ≤ i < j + (l − 1)k0 ,
(l(1−k0 )+i− j)
p ji
=
−lk +i− j
plk0 p1 0
≥ P j (X1 = ... = Xl = k0 , Xl+1 = ... = Xl(1−k0 )+i− j = 1)
> 0,
also j → i. Entsprechend ergibt sich die Irreduzibilität im Fall p−1 > 0 und pk0 > 0
für ein k0 ≥ 1.
Als nächstes wollen wir uns anschauen, welche Teilmengen von Zuständen von
anderen Teilmengen des Zustandsraums aus erreichbar sind.
3.1 Irreduzibilität
47
Definition 3.11. Eine Teilmenge C ⊂ S heißt abgeschlossen, wenn
Pi (τ 0 (C c ) = ∞) = 1
für alle i ∈ C . Ist speziell C = {i} abgeschlossen, nennen wir i (wie bereits geschehen) absorbierend.
Eine abgeschlossene Teilmenge von Zuständen wird demnach bei Erreichen niemals mehr verlassen. Als nützliches Kriterium notieren wir:
Lemma 3.12.
(a)
(b)
C ⊂ S ist genau dann abgeschlossen, wenn pij = 0 für alle i ∈ C und j ∈ C c
gilt.
Ein Zustand i ∈ S ist genau dann absorbierend, wenn pii = 1.
Beweis. Wir brauchen nur Teil (a) zu zeigen, da dieser (b) als Spezialfall enthält.
Ist C abgeschlossen, folgt wegen τ 0 ( j) ≥ τ 0 (C c ) für alle j ∈ C c
0 = Pi (τ 0 (C c ) < ∞) ≥ Pi (τ 0 ( j) < ∞)
(n)
≥ Pi (τ 0 ( j) ≤ n) ≥ Pi (Mn = j) = pij
(3.4)
für alle n ≥ 0 und i ∈ C , insbesondere pij = 0.
Ist umgekehrt pij = 0 für alle i ∈ C und j ∈ C c , folgt zuerst
Pi (τ 0 (C c ) = 1) =
∑
pij = 0
j∈C c
für alle i ∈ C . Analog ergibt sich für n ≥ 2
Pi (τ 0 (C c ) = n) = Pi (M1 ∈ C , ..., Mn−1 ∈ C , Mn ∈ C c )
=
∑ ... ∑ ∑ c pii1 pi1 i2 · ... · p jn−2 jn−1 |pi{z
n−1 j
}
i1 ∈C
in−1 ∈C j∈C
und deshalb insgesamt Pi (τ 0 (C c ) < ∞) = 0.
= 0
=0
t
u
Die Abschätzung (3.4) hat gezeigt, dass für eine abgeschlossene Menge C sogar
(n)
pij = 0 für alle i ∈ C , j ∈ C c und alle n ≥ 0 gilt. Ist S endlich, so ergibt sich aus
Lemma 3.12(a) für die Übergangsmatrix P der DMK die Blockgestalt
PC 0
P =
, PC := (pij )i, j∈C ,
∗ ∗
48
3 Zustandseigenschaften und Irreduzibilität
sofern man die Elemente der abgeschlossenen Menge C mit 1, ..., |C | und die übrigen mit |C | + 1, ..., |S | durchnumeriert. Zerfällt S gar in lauter abgeschlossene
Mengen C1 , ..., Ck , folgt bei entsprechender Numerierung der Zustände


PC1 0 . . . 0
 0 PC . . . 0 
2


.
P =  .
. . .. 
 ..
. . 
0 0 . . . PCk
Generell kann man eine abgeschlossene Menge C als absorbierenden Makrozustand
interpretieren, der zwar nie mehr verlassen, i.A. aber von Zuständen außerhalb von
C erreicht werden kann. Beachte, dass die zuvor eingeführten Irreduzibilitätsklassen (bzgl. ↔) nicht abgeschlossen zu sein brauchen. Man denke etwa an die Klasse
{1, ..., N − 1} einer Irrfahrt auf {0, ..., N} mit absorbierenden Barrieren.
3.2 Periodizität
Um das evolutionäre Verhalten einer DMK zu verstehen, benötigt man den Begriff der Periodizität eines Zustands. Es ist nämlich durchaus möglich, dass gewisse
Zustände nur zu bestimmten Zeitpunkten erreicht werden können. Um die richtige
Anschauung zu bekommen, bemühen wir das Beispiel der symmetrischen Irrfahrt
auf (Z2 , | · |1 ). Startet diese im Ursprung, so kann der Zustand 0 offenbar nur zu
geraden Zeitpunkten 2, 4, 6, ... wieder erreicht werden, weil jeder Vorwärtsschritt in
die x- oder y-Richtung eines kompensierenden Rückwärtsschritts bedarf.
Die anschließende Definition präzisiert, wie sämtliche Zustände des Zustandsraums als periodisch oder aperiodisch klassifiziert werden können:
Definition 3.13. Ein Zustand i ∈ S heißt periodisch mit Periode d oder kurz dperiodisch, falls
(n)
(3.5)
d = d(i) := ggT{n ≥ 1 : pii > 0},
wobei “ggT” den größten gemeinsamen Teiler bezeichnet. Ein Zustand mit Periode
1 heißt auch aperiodisch.
Für das Beispiel der symmetrischen Irrfahrt auf (Z2 , |·|1 ) hat der Zustand 0 somit
(2n+1)
die Periode 2, denn p00
= 0 für alle n ≥ 0 impliziert zunächst d(0) ≥ 2, und die
(2)
Gleichheit folgt dann aus p00 =
1
2
> 0.
(n)
Dieselbe Argumentation liefert allgemein: Gilt pii = 0 für alle n 6∈ dN sowie
(d)
pii > 0, so ist i d-periodisch. Insbesondere ist jeder Zustand i mit pii > 0 aperiodisch. Für ein weiteres Kriterium benötigen wir das folgende elementare Ergebnis
aus der Zahlentheorie:
3.2 Periodizität
49
Lemma. Sei H ⊂ N eine Halbgruppe bezüglich der Addition mit ggT d. Dann ist dN\H
endlich, d.h., H enthält bis auf endlich viele Ausnahmen alle Zahlen d, 2d, 3d, ....
Beweis. Zuerst überlegt man sich leicht, dass ein k ≥ 2 und teilerfremde n1 , ..., nk ∈ N
mit n1 d, ..., nk d ∈ H existieren. Aus der Teilerfremdheit folgt weiter n1 Z ⊕ ... ⊕ nk Z = Z
(andernfalls ergäbe sich cZ für ein c ≥ 2 und dann mit n1 + ... + nk = mc für ein m ∈ N ein
Widerspruch) und folglich die Existenz ganzer Zahlen m1 , ..., mk mit Σ kj=1 m j n j = 1. Setze
n = Σ kj=1 n j , und wähle m ∈ N so groß, dass m + (n − 1)m j ≥ 0 für j = 1, ..., k und mn ∈ H.
Aus der Halbgruppeneigenschaft von H ergibt sich dann
mn, (mn + 1)d = Σ kj=1 (m + m j )n j d, ..., (mn + n − 1)d
= Σ kj=1 (m + (n − 1)m j )n j d ∈ H
und daraus bei nochmaliger Verwendung ld ∈ H für alle l ≥ mn.
t
u
(n)
Lemma 3.14. Ein Zustand i ∈ S ist genau dann d-periodisch, wenn pii = 0 für
(md)
alle n 6∈ dN und pii > 0 für alle hinreichend großen m ≥ m0 gilt.
Beweis. Offensichtlich reicht es, die Notwendigkeit der Charakterisierung nachzu(n)
weisen. Da aber die Menge H = {n ∈ N : pii > 0} eine Halbgruppe bildet (wegen
(m)
(n)
(m+n)
(m) (n)
pii > 0, pii > 0 ⇒ pii
≥ pii pii > 0), ergibt sich das Gewünschte unmittelbar
als Konsequenz des obigen zahlentheoretischen Lemmas.
t
u
Zum Abschluss zeigen wir, dass die Periode eines Zustands i auch über die Verteilung der Rückkehrzeit τ(i) gemäß (1.23) [nicht τ 0 (i)] unter Pi charakterisiert
(n)
werden kann, wobei an fij = Pi (τ( j) = n) für n ≥ 0 erinnert sei.
(n)
Lemma 3.15. Ist i ∈ S d-periodisch und d 0 := ggT{n ≥ 1 : fii > 0}, so gilt d = d 0 .
(n)
(n)
Beweis. Aus fii ≤ pii für alle n ≥ 1 folgt d 0 ≥ d. Für die umgekehrte Unglei(md)
(kd) ((m−k)d)
chung notieren wir als erstes, dass pii = ∑m
pii
für alle m ≥ 1 gilt
k=1 f ii
(d)
(d)
0
(+ (1.30)). Aus pii > 0 folgt nun fii > 0 und somit d = d. Nehmen wir also
(d)
pii = 0 und d 0 > d an. Nach Lemma 3.14 existiert ein m ≥ 2, so dass md 6∈ d 0 N
(md)
(k d)
((m−k1 )d)
und pii > 0. Die obige Formel sichert dann fii 1 > 0 und pii
> 0 für
0
0
ein 1 ≤ k1 < m, was (m − k1 )d 6∈ d N wegen k1 d ∈ d N nach sich zieht. Im Fall
(d)
m − k1 = 1, d.h. pii > 0, steht dies im Widerspruch zur Annahme. Falls m − k1 ≥ 2,
((m−k1 )d)
finden wir aber durch Anwendung desselben Schlusses wie zuvor auf pii
ein
(k d)
((m−k2 )d)
k1 < k2 < m, so dass fii 2 > 0 und pii
> 0, also (m − k2 )d 6∈ d 0 N. Nach
einer endlichen Wiederholung dieses Vorgehens gelangen wir schließlich zu einem
((m−kl )d)
(d)
kl mit m − kl = 1 und pii
= pii > 0, d.h. ebenfalls zu einem Widerspruch
zur Annahme.
t
u
50
3 Zustandseigenschaften und Irreduzibilität
3.3 Zyklische Zerlegung einer DMK
Betrachten wir eine DMK, für die ein Zustand i existiert, den sie unter Pi mit
Wahrscheinlichkeit 1 unendlich oft aufsucht. Es ist aufgrund der (starken) MarkovEigenschaft und der zeitlichen Homogenität intuitiv klar, dass die Kette mit jedem
Besuch des Zustands i einen Neuanfang macht, d.h., danach unabhängig von ihrer
Vergangenheit weiterläuft, und zwar genauso, als wäre sie gerade in diesem Zustand
gestartet. Mit anderen Worten: Die Kette zerfällt in unabhängige, identisch verteilte
Zyklen zufälliger Länge, an deren Anfang und Ende ein Besuch in i steht. Diese anschauliche Begründung gilt es im Folgenden mathematisch zu beweisen, wobei wir
auch die Möglichkeit einschließen wollen, dass der betrachtete Zustand nur endlich
oft aufgesucht wird.
Es bezeichne (σn (i))n≥1 die Folge der sukzessiven Rückkehrzeiten in den Zustand i, d.h.
σn (i) := inf{k ≥ σn−1 (i) + 1 : Mk = i},
für n ≥ 1, wobei σ0 (i) ≡ 0. Beachte, dass σ1 (i) = τ(i) gemäß (1.23) gilt. Aus σn (i) =
∞ für ein n folgt natürlich σm (i) = ∞ für alle m > n. Die Zuwächse dieser Folge
bezeichnen wir mit τn (i), d.h.
τn (i) = σn (i) − σn−1 (i),
n ≥ 1,
wobei τn (i) := ∞ auf {σn (i) = ∞}. Offensichtlich gilt dann
{σn (i) < ∞} = {τ1 (i) < ∞, ..., τn (i) < ∞}
(3.6)
für alle n ≥ 1. Schließlich setzen wir für n ≥ 0
(
(τn+1 (i), Mσn (i) , ..., Mσn+1 (i)−1 ), falls σn (i) < ∞,
Zn :=
(∞, ∆ , ∆ , ...), falls σn (i) = ∞,
wobei ∆ irgendeinen Friedhof der Kette bezeichnet (+ Abschnitt 1.4). Die Zn bilden die bereits erwähnten Zyklen (Segmente, Exkursionen) der Kette zwischen den
Aufenthalten im Zustand i, wobei die Festlegung auf {σn (i) = ∞} lediglich der Definitheit auf dem gesamten zugrundeliegenden W-Raum dient. Wir interessieren uns
im folgenden für die gemeinsame Verteilung von Z0 , ..., Zn−1 unter der Bedingung,
dass M den Zustand i überhaupt n-mal aufsucht, d.h., bedingt unter dem Ereignis {σn (i) < ∞}. Dazu bedarf es allerdings der Voraussetzung Pi (σn (i) < ∞) > 0.
Zum besseren Verständnis der anschließenden Rechnungen notieren wir, dass τ(i) =
τ1 (i) = ρ(M) und Z0 = θ (M) für geeignete meßbare Abbildungen ρ, θ gilt und allgemein für n ≥ 0
τn+1 (i) = ρ(M (σn (i)) ),
Zn = θ (M (σn (i)) )
(3.7)
wobei wie bisher M (n) = (Mk )k≥n . Aus (3.6), (3.7) und der starken Markov-Eigenschaft
folgt
3.3 Zyklische Zerlegung einer DMK
51
Pi (σn (i) < ∞) = Pi (τ1 (i) < ∞, ..., τn (i) < ∞)
=
=
Z
{τ1 (i)<∞,...,τn−1 (i)<∞}
Z
{τ1 (i)<∞,...,τn−1 (i)<∞}
P(ρ(M (σn−1 (i)) ) < ∞|Mσn−1 (i) ) dPi
PMσ
n−1 (i)
(ρ(M) < ∞) dPi
= Pi (τ1 (i) < ∞, ..., τn−1 (i) < ∞) Pi (τ(i) < ∞)
und dann induktiv
Pi (σn (i) < ∞) = Pi (τ1 (i) < ∞, ..., τn (i) < ∞) = Pi (τ(i) < ∞)n .
(3.8)
Kehrt die Kette also mindestens einmal mit positiver Wahrscheinlichkeit bzw. fast
sicher nach i zurück, so auch n-mal für jedes n ≥ 2. Dies führt nun zu dem wichtigen
Satz 3.16. Gegeben sei ein i ∈ S mit Pi (τ(i) < ∞) > 0. Für n ≥ 1 definieren wir
b(n) := Pi (·|σn (i) < ∞).
P
i
b(n) stochastisch unabhängig und identisch verteilt mit
Dann sind Z0 , ..., Zn−1 unter P
i
b(n) (Z0 ∈ ·) = Pi (Z0 ∈ ·|τ(i) < ∞).
P
i
(n)
b = Pi für jedes n ≥ 1, so bildet (Zn )n≥0 unter
Ist τ(i) sogar Pi -f.s. endlich, d.h. P
i
Pi eine unabhängige Folge identisch verteilter Zufallsvariablen.
Beweis. Zur Abkürzung schreiben wir im Folgenden σn , τn für σn (i), τn (i). Es
genügt,
n−1
Pi (Zk ∈ Ak , τk+1 < ∞, 0 ≤ k < n) =
∏ Pi (Z0 ∈ Ak , τ(i) < ∞)
(3.9)
k=0
für alle n ≥ 1 und messbaren A0 , ..., An−1 zu zeigen, weil dann mit (3.5) und (3.7)
b(n) (Z0 ∈ A0 , ..., Zn−1 ∈ An−1 )
P
i
=
Pi (Z0 ∈ A0 , ..., Zn−1 ∈ An−1 , τ1 < ∞, ..., τn < ∞)
Pi (τ1 < ∞, ..., τn < ∞)
Pi (Z0 ∈ Ak , τ(i) < ∞)
Pi (τ(i) < ∞)
k=0
n−1
=
∏
n−1
=
∏ Pi (Z0 ∈ Ak |τ(i) < ∞).
k=0
Für den Beweis von (3.9) führt man eine Induktion über n durch, wobei im Fall n = 1
nichts zu zeigen ist. Für den Induktionsschritt n − 1 → n seien A0 , ..., An messbare
52
3 Zustandseigenschaften und Irreduzibilität
Mengen aus der auf dem Bildraum der Zk zu wählenden σ -Algebra (+ hierzu den
Beweis von Satz 1.17(f)). Dann folgt unter Hinweis auf (3.7)
Pi (Z0 ∈ A0 , ..., Zn ∈ An , τ1 < ∞, ..., τn+1 < ∞)
=
Z
{Zk ∈Ak ,τk+1 <∞,0≤k<n}
P(θ (M (σn ) ) ∈ An , ρ(M (σn ) ) < ∞|Mσn ) dPi
= Pi (Zk ∈ Ak , τk+1 < ∞, 0 ≤ k < n) Pi (θ (M) ∈ An , ρ(M) < ∞),
= Pi (Zk ∈ Ak , τk+1 < ∞, 0 ≤ k < n) Pi (Z0 ∈ An , τ(i) < ∞),
wobei die starke Markov-Eigenschaft für die zweite sowie die zeitliche Homogenität
in Verbindung mit Mσn = i auf {σn < ∞} für die dritte Zeile verwendet wurden. t
u
Als direkte Folgerung, die insbesondere (3.8) verallgemeinert, notieren wir:
b(n) sind
Korollar 3.17. In der Situation von Satz 3.16 gilt für jedes n ≥ 1: Unter P
i
τ1 (i), ..., τn (i) unabhängige, identisch verteilte Zufallsgrößen mit Werten in N, also
b(n) (τ1 (i) = k1 , ..., τn (i) = kn ) =
P
i
n
(n)
∏ Pbi
n
(τ(i) = k j ) =
j=1
Pi (τ(i) = k j )
∏ Pi (τ(i) < ∞)
j=1
für alle (k1 , ..., kn ) ∈ Nn . Falls Pi (τ(i) < ∞) = 1, so bildet (τn (i))n≥1 unter Pi eine
unabhängige Folge identisch verteilter Zufallsgrößen.
Es gibt eine ziemlich offensichtliche Verallgemeinerung von Satz 3.16 für den
Fall, wenn die Kette nicht im Zustand i startet. Wir beschränken uns auf die Angabe
des Resultats, überlassen den Beweis jedoch dem Leser zur Übung:
Satz 3.18. Seien i ∈ S , λ ∈ P(S ) mit Pi (τ(i) < ∞) > 0 und Pλ (τ(i) < ∞) > 0.
b(n) := Pλ (·|σn (i) < ∞) sind Z0 , ..., Zn−1 stochaDann gilt für jedes n ≥ 1: Unter P
λi
stisch unabhängig und Z1 , ..., Zn−1 ferner identisch verteilt mit
b(n) (Z1 ∈ ·) = Pi (Z0 ∈ ·|τ(i) < ∞).
P
λi
(3.10)
b(n) = Pλ für jedes
Ist τ(i) sogar sowohl unter Pi als auch unter Pλ f.s. endlich, d.h. P
λi
n ≥ 1, so bildet (Zn )n≥0 unter Pλ eine unabhängige Folge von Zufallsvariablen, die
für n ≥ 1 ferner identisch verteilt sind.
3.4 Rekurrenz und Transienz
Wir kommen als nächstes zu wichtigen Klassifikationen der Zustände im Hinblick
auf die Frage, wie häufig diese von der Kette aufgesucht werden. Für i ∈ S seien
3.4 Rekurrenz und Transienz
53
(σn (i))n≥0 und τ(i) = σ1 (i) wie im vorherigen Teilabschnitt definiert. Wir erinnern
(n)
(n)
außerdem an fij = Pi (τ( j) = n) und setzen fij∗ := ∑n≥1 fij = Pi (τ( j) < ∞) und
µij = Ei τ( j) für i, j ∈ S .
Definition 3.19. Ein Zustand i ∈ S heißt
• rekurrent bzw. transient, falls fii∗ = 1 bzw. < 1.
• positiv rekurrent, falls fii∗ = 1 und µii < ∞.
• null-rekurrent, falls fii∗ = 1 und µii = ∞.
Ausgehend von einem rekurrenten Zustand i, kehrt die Kette also fast sicher irgendwann in diesen zurück, während dies für einen transienten Zustand gerade nicht
der Fall ist. Unter Verwendung von (3.8) folgt sofort
Lemma 3.20. Ein Zustand i ∈ S ist genau dann rekurrent, wenn
Pi (Mn = i u.o.) = 1.
(3.11)
Beweis. Unter Hinweis auf (3.8) gilt fii∗ = 1 genau dann, wenn alle σn (i) Pi -f.s.
endlich sind, was wiederum zu (3.11) äquivalent ist, weil offenkundig
Pi (Mn = i u.o.) = Pi (σn (i) < ∞ für alle n ≥ 1).
t
u
Wir können also festhalten: Ein rekurrenter Zustand i wird unter Pi immer schon
fast sicher unendlich oft aufgesucht, ein transienter Zustand dagegen höchstens endlich oft, wiederum unter Hinweis auf (3.8).
Die weitere Unterscheidung in positive und Null-Rekurrenz erfolgt für einen Zustand i anhand seiner mittleren Rekurrenzzeit µii , die angibt, wie lange die Kette
im Mittel braucht, um nach i zurückzukehren. Sie spielt für die Stabilität der MK
(Langzeitverhalten) eine entscheidende Rolle, wie wir schon bald sehen werden (+
Abschnitt 2.5).
Es liegt auf der Hand, dass wir uns ein möglichst einfaches Kriterium wünschen,
mit dem sich Zustände hinsichtlich Rekurrenz oder Transienz klassifizieren lassen.
Auf dem Weg dorthin (Satz 3.22) benötigen wir zunächst ein anderes, auch sonst
nützliches Ergebnis: Wir führen erzeugende Funktionen ein, indem wir für i, j ∈ S
Pij (s) :=
(n) n
∑ pij
s
und
Fij (s) :=
n≥0
(0)
setzen, wobei an pij = δij erinnert sei.
(n) n
∑ fij
n≥1
s ,
s ∈ (−1, 1),
54
3 Zustandseigenschaften und Irreduzibilität
Lemma 3.21. Für alle i, j ∈ S gilt
Pij (s) = δij + Fij (s)Pjj (s),
s ∈ (−1, 1),
(3.12)
und speziell für i = j
Pii (s) =
1
,
1 − Fii (s)
s ∈ (−1, 1).
(n)
(3.13)
(k) (n−k)
Beweis. Gemäß (1.30) in Beispiel 1.29 gilt pij = ∑nk=1 fij p jj
(n)
was bei Einsetzen in Pij (s) = δij + ∑n≥1 pij
duktformel für Reihen (3.12) liefert.
für alle n ≥ 1,
und Verwendung der Cauchyschen Prot
u
Das angekündigte Rekurrenzkriterium ergibt sich nun als einfache Folgerung:
Satz 3.22. Ein Zustand i ∈ S ist genau dann rekurrent, wenn
(n)
∑ pii
= ∞.
n≥0
(n)
Er ist somit transient genau dann, wenn ∑n≥0 pii < ∞, wobei in diesem Fall sogar
(n)
∑n≥0 p ji < ∞ für alle j ∈ S gilt.
Beweis. Aufgrund monotoner Konvergenz und (3.13) gilt
(n)
∑ pii
= lim Pii (s) = lim
s↑1
n≥0
s↑1
1
1
,
=
1 − Fii (s)
1 − fii∗
woraus offenkundig die behauptete Äquivalenz folgt. Ist i transient, ergibt sich in
(3.12) unter Verwendung des zuvor Gezeigten
(n)
∑ p ji
n≥0
= lim Pji (s) = lim Fji (s)Pii (s) = f ji∗
s↑1
s↑1
(n)
∑ pii
< ∞
n≥0
für alle j 6= i.
t
u
Das erhaltene Kriterium besitzt die folgende, sehr einleuchtende Interpretation:
Definiere für i ∈ S die Zählvariable
N(i) =
∑ 1{Mn =i} ,
n≥1
die die Gesamtzahl der Aufenthalte der Kette in i nach dem Zeitpunkt 0 angibt. Es
folgt für alle i, j ∈ S
3.5 Rekurrenz/Transienz von Irrfahrten auf Zd
E j N(i) = E j
∑ 1{Mn =i}
n≥1
!
55
∑ P j (Mn = i)
=
n≥1
=
(n)
∑ p ji
.
n≥1
Wählen wir i = j, besagt das obige Kriterium gerade, dass ein Zustand i genau
dann rekurrent ist, wenn, in i startend, die erwartete Anzahl von Aufenthalten in i
unendlich beträgt. Kombinieren wir dies mit (3.11), können wir also festhalten:
i rekurrent
⇔
N(i) = ∞
Pi -f.s.
⇔
Ei N(i) = ∞.
Für die Zählvariable N(i) haben wir demnach die (i.A. natürlich ungültige!) Aussage, dass sie genau dann unendlichen Erwartungswert besitzt, wenn sie selbst schon
f.s. unendlich ist.
Zum Abschluss notieren wir noch einen Satz, der die Beziehung zwischen
Rekurrenz/Transienz und der Anzahl von Aufenthalten eines Zustands weiter beleuchtet. Seinen Beweis, der die Ergebnisse des vorherigen Teilabschnitts über die
zyklische Zerlegung einer DMK verwendet, überlassen wir dem Leser zur Übung:
Satz 3.23. Für alle i, j ∈ S und k ∈ N0 gilt
1 − f ji∗ ,
P j (N(i) = k) =
f ji∗ fii∗ k−1 (1 − fii∗ )
falls k = 0
.
falls k ≥ 1
Für transientes i folgen deshalb P j (N(i) < ∞) = 1 und
E j N(i) =
f ji∗
1 − fii∗
=
(n)
∑ p ji
< ∞
n≥1
für alle j ∈ S . Außerdem besitzt N(i) unter Pi eine geometrische Verteilung mit
Parameter 1 − fii∗ , d.h. Pi (N(i) = k) = (1 − fii∗ ) fii∗ k für alle k ∈ N0 . Ist i rekurrent,
gilt dagegen Pi (N(i) = ∞) = 1 und P j (N(i) = ∞) = f ji∗ für alle j ∈ S .
3.5 Rekurrenz/Transienz von Irrfahrten auf Zd
Wir verlassen einen Abschnitt lang die allgemeine Theorie diskreter Markov-Ketten
und beantworten unter Benutzung des zuvor entwickelten Rekurrenzkriteriums 3.22
die spannende Frage, wann eine Irrfahrt (Sn )n≥0 auf Zd mit Wahrscheinlichkeit 1
in ihren Anfangspunkt S0 zurückkehrt, wobei wir aus Symmetriegründen S0 = 0
wählen dürfen. Es gilt nämlich
n
Sn = S0 + ∑ Xk
k=1
56
3 Zustandseigenschaften und Irreduzibilität
mit unter jedem Pi , i ∈ Zd , unabhängigen (auch von S0 ), identisch verteilten Xk ,
deren Verteilung unter Pi ferner nicht von i abhängt. Damit folgt aber für jedes
i ∈ Zd
!
!
n
n
Pi (Sn = i u.o.) = Pi i + ∑ Xk = i u.o.
k=1
n
= P0
∑ Xk = 0 u.o.
k=1
!
= Pi
∑ Xk = 0 u.o.
k=1
= P0 (Sn = 0 u.o.).
Wir sehen also: Entweder sind alle Zustände i ∈ Zd rekurrent oder gar keiner. Der
nächste Abschnitt wird zeigen, dass diese Solidarität hinsichtlich Rekurrenz ganz
allgemein für Zustände derselben Irredubilitätsklasse gilt.
3.5.1 Der eindimensionale Fall
Sei also Sn = ∑nk=1 Xk mit (unter P0 ) unabhängigen, identisch verteilten Xk , wobei
P0 (X1 = 1) = 1 − P0 (X1 = −1) = p ∈ (0, 1).
(2n+1)
Der Zustand 0 hat die Periode 2, wie bereits früher bemerkt, d.h. p00
= 0 für
alle n ≥ 0. Da sämtliche Pfade der Länge 2n mit Anfangs- und Endpunkt 0 dieselbe
Wahrscheinlichkeit
pn (1 − p)n besitzen (n Schritte nach links und n Schritte nach
2n
rechts) und es n solche Pfade gibt, folgt
2n n
(2n)
p00 =
p (1 − p)n
(3.14)
n
für alle n ≥ 0. Falls p 6= 21 , liefert das starke Gesetz der großen Zahlen n−1 Sn =
n−1 ∑nk=1 Xk → E0 X1 = 2p − 1 6= 0 P0 -f.s. und somit |Sn | → ∞ P0 -f.s. Der Zustand
0 wird demnach fast sicher nur endlich oft aufgesucht und ist deshalb transient.
Im symmetrischen Fall p = 21 benutzen wir die Stirlingsche Formel
n! '
√
2πe−n nn+1/2
(n → ∞).
Mit ihrer Hilfe ergibt sich
2n
4n
' √
n
nπ
und damit
(2n)
p00
1
' √
nπ
(n → ∞)
(n → ∞),
(3.15)
3.5 Rekurrenz/Transienz von Irrfahrten auf Zd
57
(n)
was schließlich ∑n≥0 p00 = ∞, d.h. die Rekurrenz von 0 impliziert.
(n)
Statt die Stirlingsche Formel zu benutzen, kann man P00 (s) = ∑n≥0 p00 sn aber
auch in geschlossener Form berechnen und anschließend einen Grenzübergang s ↑ 1
durchführen. Unterstellen wir hierfür zunächst ein beliebiges
2n−2k p ∈ (0, 1). Dann gilt
aufgrund von (3.14), der Beziehung 4n = ∑nk=0 2k
und der Cauchyschen
n−k
k
Produktformel
!2
2n
2
2 n
P00 (s) = ∑
(p(1 − p)s )
n≥0 n
n 2k 2n − 2k
2 n
= ∑ (p(1 − p)s ) ∑
n−k
n≥0
k=0 k
∑ (4p(1 − p)s2 )n
=
n≥0
d.h.
(n)
∑ p00
1
,
1 − 4p(1 − p)s2
1
P00 (s) = p
.
1 − 4p(1 − p)s2
(3.16)
1
2
und < 1 für p 6= 12 , erhalten wir schließlich
(
∞, falls p = 21 ,
= lim P00 (s) =
s↑1
(1 − 4p(1 − p))−1/2 < ∞, falls p 6= 12 ,
Da 4p(1 − p) = 1 für p =
n≥0
=
also die Bestätigung der Rekurrenz des Zustands 0 im symmetrischen Fall und die
Transienz sonst.
Um die Klasse der Irrfahrten auf Z vollständig zu klassifizieren, müssen wir noch
den Fall
P0 (X1 = 1) = p,
P0 (X1 = −1) = q
und P0 (X1 = 0) = 1 − p − q
für p, q ∈ (0, 1) mit p + q < 1 untersuchen. Der Unterschied besteht hier darin, dass
die Irrfahrt mit der positiven Wahrscheinlichkeit 1 − p − q in einem Zustand verweilen kann. Falls p 6= q, liefert wiederum das starke Gesetz der großen Zahlen wegen
E0 X1 = p − q 6= 0 die Transienz des Zustands 0 (und damit aller i ∈ Z). Im symmetrischen Fall “p = q” dürfen wir dagegen wiederum Rekurrenz erwarten, was sich
vermöge eines einfachen Einbettungsarguments zeigen lässt: Betrachte, zunächst für
beliebige p, q, die Folge (τn )n≥1 der sukzessiven Sprungzeiten der Irrfahrt, rekursiv
gegeben durch
τn = inf{k > τn−1 : Sk 6= Sτn−1 },
(3.17)
wobei τ0 = 0. Wir überlassen es dem Leser zu zeigen, dass die τn − τn−1 unabhängige, jeweils geometrisch verteilte Stopzeiten bilden (P0 (τn − τn−1 = k) =
(p + q)(1 − p − q)k für k ∈ N0 ) und dass Sτn = ∑nk=0 Xbk gilt mit ebenfalls unabhängigen, identisch verteilten Zufallsgrößen Xbk , wobei
58
3 Zustandseigenschaften und Irreduzibilität
P0 (Xb1 = 1) = 1 − P0 (Xb1 = −1) =
p
.
p+q
(Sτn )n≥0 definiert somit ebenfalls eine Irrfahrt auf Z, und zwar der zuvor betrachp
= 21 , erhalten für diese folglich Rekurrenz des
teten Form. Falls p = q, d.h. p+q
Zustands 0 und damit natürlich auch für (Mn )n≥0 selbst.
(2n)
Zum Abschluss wollen wir kurz skizzieren, dass die p00 auch im zuletzt betrachteten symmetrischen Fall mit Verharrung mindestens von der Größenordnung
n−1/2 für n → ∞ sind. Dies wollen wir uns nämlich im mehrdimensionalen Fall
(2n)
zunutze machen. Bezeichnet pb00 die entsprechende Wahrscheinlichkeit ohne Ver −n
harrungsmöglichkeit, gemäß (3.14) gegeben durch 2n
n 4 , so gilt die Beziehung
(2n)
p00
2n
(2n−2k)
= ∑
,
(1 − 2p)2k (2p)2n−2k pb00
2k
k=0
n
(3.18)
die man erhält, wenn man die Menge der Pfade der Länge 2n mit Anfangs- und
Endpunkt 0 unterscheidet nach der Anzahl der Verharrungsschritte, notwendig eine
gerade Zahl 2k, und deren Wahrscheinlichkeiten (konstant in k) dann jeweils unter
den möglichen Verharrungszeitpunkten bedingt. Die Details kann sich der Leser
(2n+2)
(2n)
leicht selbst überlegen. Durch Berechnung der Quotienten pb00
/ pb00 erhält man
(2n)
ferner die strenge Monotonie der pb00 , so dass in (3.18)
(2n)
p00
(2n)
> pb00
2n
(2n)
∑ 2k (1 − 2p)2k (2p)2n−2k = pb00 Bin(2n, 1 − 2p)(2N0 )
k=0
n
gilt. Da außerdem c(p) := infn≥0 Bin(2n, 1 − 2p)(2N0 ) > 0, ergibt sich schließlich
mit (3.15)
c(p)
(2n)
(2n)
(n → ∞).
(3.19)
p00 > c(p) pb00 ' √
nπ
3.5.2 Der zweidimensionale Fall
Wir schreiben Sn = (Sn,1 , Sn,2 ) und Xn = (Xn,1 , Xn,2 ), so dass Sn,k = ∑nj=1 X j,k unter
P0 (k = 1, 2). Beachte, dass (Sn,k )n≥0 , k = 1, 2, eine eindimensionale Irrfahrt bildet.
Falls E0 Xn = (E0 Xn,1 , E0 Xn,2 ) 6= 0, liefert einmal mehr das starke Gesetz der
großen Zahlen |Sn,1 | → ∞ oder |Sn,2 | → ∞ P0 -f.s. und folglich die Transienz des Zustands 0. Zu untersuchen bleibt also lediglich der Fall “E0 X1 = 0”. Wir beschränken
uns dabei auf die symmetrischen Fälle, weil eine vollständige Behandlung mit den
uns zur Verfügung stehenden Mitteln zu aufwendig wäre.
Der einfachste Fall liegt vor, wenn
P0 (X1 = (±1, ±1)) =
1
,
4
3.5 Rekurrenz/Transienz von Irrfahrten auf Zd
59
weil die Xn dann offensichtlich unabhängige, jeweils auf {−1, 1} gleichverteilte
Komponenten Xn,1 und Xn,2 besitzen, (Sn,1 )n≥0 und (Sn,2 )n≥0 also unabhängige,
symmetrische Irrfahrten auf Z bilden. Für (Mn )n≥0 ergibt dies
(2n)
p00
= P0 (S2n = 0) = P0 (S2n,1 = 0)2
2
1
2n
1
'
=
(n → ∞)
2n
n
4
nπ
(3.20)
(2n)
unter Hinweis auf (3.15). Da weiterhin ∑n≥0 p00 = ∞ gilt, ist 0 = (0, 0) rekurrent.
Als nächstes wenden wir uns der symmetrischen Irrfahrt auf (Z2 , | · |1 ) mit
1
P0 (X1 = (1, 0)) = P0 (X1 = (0, 1)) = P0 (X1 = (−1, 0)) = P0 (X1 = (0, −1)) = .
4
zu (+ Abb. 6.3). Ein einfacher Trick, der leider nur für die Dimension 2 funktioniert, liefert uns hier ohne weitere Rechnung die Antwort. Durch Drehen des
Gitters in 0 um 45◦ wird diese Irrfahrt nämlich offenkundig in die zuvor betrachtete überführt (+ Abb. 3.1), so dass weiterhin (3.20) und folglich Rekurrenz des
Zustands 0 gilt.
8. Rekurrenz/Transienz von Irrfahrten auf Zd
8. Rekurrenz/Transienz von Irrfahrten auf Zd
51
51
2Drehung
◦ . Gitters
, | ·2 ,|1|)· um
45◦ .45◦ .
8.1.
Drehung
des45
Gitters
(Z2(Z
|1 ) um
Bild
8.1.
des
Abb. 3.1 DrehungBild
des
Gitters
(Z
, | · |1 ) um
ergibt
dies
auf
)n≥0
ergibt
dies
aufZZbilden.
bilden.Für
Für(M(M
n )n
n≥0
Unabhängige und identisch verteilte Komponentenfolgen
n,1 )n≥0 und (Sn,2 )n≥0
= > (S
2
2 , | · | ) mit 2n= 2 >
1
besitzt(2n)
auch
die
Irrfahrt
(M
)
auf
(Z
2n
1= 1 1(n → ∞)
∞2 =
(2n)
==
0) n0)=n≥0
= 0)
(8.7)
p00
2n 2n
2n,12n,1
(n → ∞)
=P0 (M
P0 (M
= 0)2 = n
=
(8.7)
p00 = =P0P(M
0 (M
2n 2n nπ
4
4
nπ
n
1
8
P08
(X1 =
x)
=
(2n)
(2n) 9gilt, ist 0=(0,0) rekurrent.
unter
weiterhin
= ∞ gilt, ist 0=(0,0) rekurrent.
unterHinweis
Hinweisauf
auf(8.2).
(8.2).DaDa
weiterhin n≥0 p00p = ∞
n≥0
00
7 2·7, 71 )·7mit
Als
wenden
wir unsuns
derder
symmetrischen
Irrfahrt auf auf
(Z2 ,(Z
Alsnächstes
nächstes
wenden
symmetrischen
1 ) mit
für
alle
x ∈ {−1,
0, 1}2wir
. (Sn,k )n≥0
bildet
in diesem Irrfahrt
Fall eine symmetrische
Irrfahrt
auf Z mit Verharrung, wobei P0 (X1,k = i) = 31 für i = −1, 0, 1. Wir erhalten des1 1
(1,(1,
0))0))= =P0P
(X(X
(0,(0,
1))1))
= =
P0 (X
= (−1,
0)) 0))
= P
(X
=(2n)
(0, −1))
= =
.
PP
0 (X
1 ==
1 ==
P01(X
= (−1,
=0dass
P01(X
(0, −1))
.
0 (X1vermöge
1derselben
1 wie
1 = für
4
halb
(3.19) 0und
Rechnung
in (3.20),
p00
n→∞
4
zu (☞ Bild 6.3). Ein einfacher Trick, der leider nur für die Dimension 2 funktioniert, liefert
zu (☞ Bild 6.3). Ein einfacher Trick, der leider nur für die Dimension 2 funktioniert, liefert
uns hier ohne weitere Rechnung die Antwort. Durch Drehen des Gitters in 0 um 45◦ wird
diese
uns hier ohne weitere Rechnung die Antwort. Durch Drehen des Gitters in 0 um 45◦ wird diese
Irrfahrt nämlich offenkundig in die zuvor betrachtete überführt (☞ Bild 8.1), so daß weiterhin
Irrfahrt nämlich offenkundig in die zuvor betrachtete überführt (☞ Bild 8.1), so daß weiterhin
(8.7) und folglich Rekurrenz des Zustands 0 gilt.
(8.7) und folglich Rekurrenz des Zustands 0 gilt.
Unabhängige und identisch verteilte Komponentenfolgen (Mn,1 )n≥0 und (Mn,2 )n≥0 beUnabhängige und identisch verteilte Komponentenfolgen (Mn,1 )n≥0 und (Mn,2 )n≥0 besitzt auch die Irrfahrt (Mn )n≥0 auf (Z2 , 7 ·7 ∞ ) mit
sitzt auch die Irrfahrt (Mn )n≥0 auf (Z2 , 7 ·7 ∞ ) mit
1
P0 (X1 = x) =
9 1
P0 (X1 = x) =
9
für alle x ∈ {−1, 0, 1}2 . (Mn,k )n≥0 bildet in diesem Fall eine symmetrische Irrfahrt auf Z mit
2
)n≥0
für alle x ∈wobei
{−1, 0,
1 bildet in diesem Fall eine symmetrische Irrfahrt auf Z mit
Verharrung,
P 1}
(X . (M
= n,k
i) =
für i = −1, 0, 1. Wir erhalten deshalb vermöge (8.6) und
60
3 Zustandseigenschaften und Irreduzibilität
mindestens von der Größenordnung c( 13 )2 (nπ)−1 ist, was erneut die Rekurrenz des
Zustands 0 zeigt.
Betrachten wir zuletzt die symmetrische Irrfahrt auf (Z2 , | · |∞ ) ohne Verharrung,
d.h.
1
P0 (X1 = x) =
8
für alle x ∈ {−1, 0, 1}2 \{(0, 0)}. Sie ergibt sich gerade aus der vorherigen als Teilfolge zu den Sprungzeiten τn gemäß (3.17). Da jene den Zustand 0 mit Wahrscheinlichkeit 1 nicht nur unendlich oft aufsucht, sondern auch unendlich oft verlässt (Verharrungszeiten sind geometrisch verteilt, also f.s. endlich), ist 0 auch rekurrent für
die eingebettete Irrfahrt ohne Verharrung.
3.5.3 Der drei- und mehrdimensionale Fall
Hier wollen wir uns kürzer fassen. Seien Sn,k , Xn,k , k = 1, ..., d, die Komponenten von
Sn bzw. Xn . Dasselbe Argument wie im zweidimensionalen Fall ergibt die Transienz
des Zustands 0, falls E0 Xn,k 6= 0 für mindestens ein k = 1, ..., d. Wir dürfen also
gleich wieder EXn = 0 voraussetzen. Unabhängige, identisch verteilte Komponenten
(Sn,k )n≥0 besitzt (Mn )n≥0 , falls
P0 (X1 = x) =
1
2d
oder
=
1
3d
für alle x ∈ {−1, 1}d bzw. {−1, 0, 1}d . Jedes (Sn,k )n≥0 definiert eine symmetrische
Irrfahrt auf Z ohne bzw. mit Verharrung, woraus vermöge derselben Rechnung wie
in (3.20) unter Benutzung von (3.15) bzw. (3.18) nun
(2n)
p00
= O(n−d/2 ) (n → ∞)
(3.21)
(2n)
folgt und daraus ∑n≥0 p00 < ∞ wegen d ≥ 3. Bei positiver Verharrungswahrschein(2n+1)
lichkeit ist p00
zwar nicht 0, aber immer noch beschränkt durch eine Konstante
mal n−d/2 , wie man sich weiter überlegen kann, so dass in jedem Fall
(n)
∑n≥0 p00 < ∞
und damit die Transienz des Zustands 0 folgt.
Werfen wir abschließend einen Blick auf die symmetrische Irrfahrt in (Zd , | · |1 )
(ohne Verharrung), d.h.
1
P0 (X1 = ±ek ) =
2d
für alle k = 1, ..., d, ek der k-te kanonische Einheitsvektor des Rd . Dann gilt wieder
(2n+1)
p00
= 0 für alle n ∈ N0 , während
3.6 Solidaritätseigenschaften
(2n)
p00
=
61
n n−k1
1
...
∑
(2d)2n k =0 k∑
=0
1
2
n−k1 −...−kd−1
∑
kd =0
(2n)!
,
k1 !k1 ! · ... · kd !kd !
(2n)!
Pfade der Länge 2n mit Anfangs- und Endpunkt
denn es gibt genau k1 !k1 !·...·k
d !kd !
0, die aus je ki Vorwärts- und Rückwärtsschritten in die i-te Koordinatenrichtung
bestehen. Eine einfache Umformung liefert unter Benutzung von Multinomialkoeffizienten
2
n
1
1 2n
(2n)
.
p00 = n
∑
k1 k2 ...kd d n
n k ,...,k
4
1
d
Aus ∑k1 ,...,kd k1 k2n...k d1n = 1 (Multinomialwahrscheinlichkeiten) und (3.15) folgt
d
dann
n
1
1 2n
1
n
1
(2n)
√
max
p00 ≤ n
'
,
max
4
n k1 ,...,kd k1 k2 ...kd d n
nπ k1 ,...,kd k1 k2 ...kd d n
wobei das auftretende Maximum für k1 ≈ ... ≈ kd ≈ dn angenommen wird und von
der Größenordnung n−(d−1)/2 ist, wie eine Anwendung der Stirlingschen Formel
zeigt. Es folgt schließlich erneut (3.21) und damit die Transienz des Zustands 0.
Der allgemeine Satz hinter den zuvor dargestellten Ergebnissen, den wir nur für
den eindimensionalen Fall vollständig gezeigt haben, lautet:
Satz 3.24. Eine Irrfahrt Sn = S0 + ∑nk=1 Xk in Zd ist genau dann rekurrent (d.h. alle
Zustände i ∈ Zd sind rekurrent), wenn d ≤ 2 und E0 X1 = 0.
Der Satz bleibt übrigens richtig, wenn (Sn )n≥0 einen integrierbaren diskreten
Random Walk in Zd (+ Abschnitt 2.10) bildet.
Zum Abschluss sei eine scherzhafte Bemerkung von K AKUTANI während eines Kolloquiumsvortrags an der U.C.L.A. zitiert, die das Ergebnis in einprägsamer
Weise zusammenfasst:
“A drunk man will find his way home but a drunk bird may get lost forever.”
3.6 Solidaritätseigenschaften
Eine Zustandseigenschaft, die, wenn gültig für ein i ∈ S , immer schon für jeden
Zustand aus Ci = { j ∈ S : j ↔ i} gilt, nennt man Solidaritäts- oder auch Klasseneigenschaft. Die gute Nachricht diesbetreffend lautet:
62
3 Zustandseigenschaften und Irreduzibilität
Satz 3.25. Rekurrenz, Transienz, positive Rekurrenz, Null-Rekurrenz sowie die Periode eines Zustands bilden Solidaritätseigenschaften.
Die praktische Konsequenz des Satzes besteht darin, dass die genannten Eigenschaften immer nur für einen Vertreter statt für jedes Element einer Klasse überprüft
werden müssen. So gilt beispielsweise: Aus i ↔ j folgt d(i) = d( j). Im Fall einer
irreduziblen MK, für die Ci = S für alle i ∈ S gilt, bedeutet dies, dass jede der im
Satz genannten Solidaritätseigenschaften entweder für alle oder gar keinen Zustand
vorliegt, was folgende Definition rechtfertigt:
Definition 3.26. Eine DMK mit Zustandsraum S heißt
rekurrent/transient,
positiv rekurrent/null-rekurrent,
aperiodisch/d-periodisch,
wenn sie irreduzibel ist und die jeweilige Eigenschaft für einen und somit alle i ∈ S
gilt.
Beweis (von Satz 3.25). Seien i, j ∈ S zwei verschiedene kommunizierende Zustän(m)
(m0 )
de und i rekurrent. Dann existieren m, m0 ≥ 1, so dass pij > 0 und p ji > 0. Wir
geben im Folgenden zwei Beweise dafür, dass auch j rekurrent sein muss. Der erste
ist kurz und elegant, aber weniger intuitiv als der zweite.
(n)
(n)
(m0 ) (n−m−m0 ) (m)
pij
1. Beweis: Nach Satz 3.22 ist ∑n≥1 pii = ∞. Da ferner p jj ≥ p ji pii
gilt für alle n > m + m0 , liefert dies
!
(m0 )
(n)
≥ p ji
∑ p jj
n≥1
(n)
∑ pii
(m)
pij
= ∞
n≥1
und somit wiederum gemäß Satz 3.22 die Rekurrenz von j.
2. Beweis: Wir zeigen zuerst fij∗ = Pi (τ( j) < ∞) = 1. Betrachte die Rekurrenzzeiten
σn = σn (i), n ≥ 1, die gemäß Satz 3.16 unter Pi f.s. endliche, unabhängige und
identisch verteilte Zuwächse τn besitzen, wobei τ1 = σ1 = τ(i) Pi -f.s. Wie schon
früher bezeichne (Gn )n≥0 die kanonische Filtration von M. Unter Benutzung der
starken Markov-Eigenschaft folgt für jedes n ≥ 1
Pi (τ( j) > σn ) =
=
=
Z
{τ( j)>σn−1 }
Z
{τ( j)>σn−1 }
Z
{τ( j)>σn−1 }
P(τ( j) − σn−1 > τn |Gσn−1 ) dPi
P(τ( j) − σn−1 > τn |Mσn−1 ) dPi
PMσn−1 (τ( j) > τ(i)) dPi
= Pi (τ( j) > σn−1 ) Pi (τ( j) > τ(i))
3.6 Solidaritätseigenschaften
63
wenn man beachtet, dass auf dem Ereignis {τ( j) > σn−1 } offenbar
Pτ( j)−σn−1 |Gσn−1 = Pτ( j)−σn−1 |Mσn−1 = Pi
τ( j)
Pi -f.s.
gilt. Induktiv erhalten wir damit
Pi (τ( j) > σn ) = Pi (τ( j) > τ(i))n
(3.22)
und folglich wie behauptet
1 − fij∗ = lim Pi (τ( j) > σn ) = lim Pi (τ( j) > τ(i))n = 0,
n→∞
n→∞
denn
(m)
lim Pi (τ( j) > σn ) = Pi (τ( j) = ∞) ≤ 1 − pij
n→∞
< 1
impliziert Pi (τ( j) > τ(i)) < 1. Wir haben folglich nicht nur fij∗ = 1 nachgewiesen,
sondern auch, dass j in jedem der durch die σn markierten Zyklen mit positiver
Wahrscheinlichkeit besucht wird. Da die Zyklen unabhängig und identisch verteilt
sind (Satz 3.16), folgern wir weiter, dass die Anzahl ν von Zyklen vor demjenigen,
in dem j tatsächlich erstmals besucht wird, unter Pi geometrisch verteilt ist. Dasselbe Argument, genannt “geometric trials argument”, liefert dann aber auch, dass
j unendlich oft aufgesucht wird und somit rekurrent ist. Ein formaleres Argument
ist das folgende: Sei τb(i) := inf{n ≥ 1 : Mτ( j)+n = i} und τb( j) analog definiert mit
vertauschten Rollen für i, j. Dann ergibt sich unter erneuter Verwendung der starken
Markov-Eigenschaft und Beachtung von σν+1 = τ( j) + τb(i) Pi -f.s.
1 = Pi (σν+1 < ∞) = Pi (τ( j) < ∞, τb(i) < ∞)
=
Z
{τ( j)<∞}
P(τb(i) < ∞|Mτ( j) ) dPi
= Pi (τ( j) < ∞) P j (τ(i) < ∞)
= fij∗ f ji∗
sowie anschließend in ähnlicher Weise
f jj∗ = P j (τ( j) < ∞)
≥ P j (τ(i) < ∞, τb( j) < ∞)
= P j (τ(i) < ∞) Pi (τ( j) < ∞)
= f ji∗ fij∗ = 1.
Mit i ist also auch j rekurrent (bzw. transient als Komplementäreigenschaft).
Nehmen wir als nächstes an, dass i positiv rekurrent ist, also µii = Ei τ(i) < ∞
gilt, so impliziert zunächst τ( j) ≤ τ(i) + τb( j)
µ jj = E j τ( j) ≤ E j τ(i) + Ei τb( j) = µ ji + µij ,
64
3 Zustandseigenschaften und Irreduzibilität
denn E j τb( j) = E j E(τb( j)|Mτ(i) ) = Ei τ( j) = µij . Es genügt also µij , µ ji < ∞ nachzuweisen. Sei ν die, wie oben erläutert, unter Pi geometrisch verteilte Anzahl von
Zyklen (markiert durch die σn ) vor dem ersten Zyklus, in dem die Kette j besucht. Es folgt µij < ∞ vermöge der folgenden Rechnung unter Beachtung von
−1 sowie der Unabhängigkeit
τ( j) ≤ σν+1 = ∑ν+1
k=1 τk , Ei (ν + 1) = Pi (τ( j) < τ(i))
von τk und {ν ≥ k − 1} ∈ Gσk−1 für alle k ≥ 1:
!
µij ≤ Ei σν+1 = Ei
= Ei
ν+1
∑ τk
k=1
∑ τk 1{ν+1≥k}
k≥1
= Ei τ(i) Ei (ν + 1) =
!
=
∑ Ei τk Pi (ν ≥ k − 1)
k≥1
µii
< ∞.
Pi (τ( j) < τ(i))
Beachtet man nun noch, dass σν+1 die erste Rückkehr nach i nach τ( j) bezeichnet
und dass folglich
σ
−τ( j)
τ(i)
Pi ν+1
= Pj
vermöge der starken Markov-Eigenschaft gilt, so erhalten wir auch µ ji < ∞, denn
µ ji = Ei (σν+1 − τ( j)) = Ei σν+1 − µij < ∞.
Rekurrente kommunizierende Zustände sind somit stets vom gleichen Typ: positiv
oder null-rekurrent.
Es bleibt noch zu zeigen, dass kommunizierende Zustände immer dieselbe Peri(m)
(n)
ode besitzen. Gegeben i ↔ j, i 6= j und m, n ∈ N derart, dass pij > 0 und p ji > 0,
gilt
(m) (k) (n)
(m+n+k)
≥ pij p jj p ji > 0
pii
(l)
(m+n)
für alle k ∈ D( j) := {l ≥ 1 : p jj > 0} und k = 0. pii
> 0 impliziert aber m +
(m+n+k)
pii
n = v0 d(i) für ein v0 ≥ 1, und
> 0 für alle k ∈ D( j) liefert die Existenz
von vk ∈ N mit m + n + k = vk d(i). Es folgt k = (vk − v0 ) d(i), was D( j) ⊂ d(i)N,
d.h. d( j) ≥ d(i) beweist. Die umgekehrte Ungleichung ergibt sich analog durch
Vertauschen der Rollen von i und j.
t
u
Der obige Beweis hat zur Rekurrenz sogar etwas mehr hervorgebracht als im Satz
behauptet wird.
Satz 3.27. Gegeben i, j ∈ S , i 6= j, i rekurrent und i → j folgt:
(a)
i ↔ j.
(b)
j ist rekurrent.
(c)
fij∗ = f ji∗ = 1.
Jeder von einem rekurrenten Zustand i erreichbare Zustand ist also bereits mit
diesem verbunden und aus Solidarität ebenfalls rekurrent. Dies hat zur Konsequenz,
3.6 Solidaritätseigenschaften
65
dass die zugehörige Klasse Ci abgeschlossen ist, nach Erreichen also nie mehr verlassen wird.
Beweis. Offenbar reicht es, Aussage (a) und hierfür j → i zu zeigen. Wie im vorherigen Beweis gesehen, impliziert i → j, dass nach einer geometrisch verteilten
Anzahl ν von durch Besuchen in i markierten Zyklen der Zustand j aufgesucht
wird, d.h. σν < τ( j) ≤ σν+1 in den dortigen Bezeichnungen. Wählt man m, n ∈ N
mit Pi (τ( j) = m, σν+1 = n) > 0, liefert dies aber
(m) (n−m)
0 < Pi (τ( j) = m, σν+1 = n) = Pi (τ( j) = m) P j (τ(i) = n − m) = fij f ji
(n−m)
vermöge der starken Markov-Eigenschaft und daher p ji
(n−m)
≥ f ji
> 0.
t
u
Mit Hilfe von Satz 3.27 (+ auch Lemma 3.12 und danach) erhalten wir schließlich ohne weitere Mühe den folgenden Zerlegungssatz:
Satz 3.28. Der Zustandsraum S einer DMK besitzt eine eindeutig bestimmte disjunkte Zerlegung
S = T + ∑ Rα
(3.23)
α
in eine Menge T transienter Zustände (nicht notwendig eine Klasse) und endlich
oder abzählbar unendlich viele abgeschlossene Klassen Rα rekurrenter Zustände
(Rekurrenzklassen), wobei, falls i ∈ Rα ,
(
1, falls j ∈ Rα ,
∗
fij = Pi (τ( j) < ∞) =
0, falls j 6∈ Rα .
Bei geeigneter Numerierung der Zustände besitzt die Übergangsmatrix P außerdem
die Form


Q0 Q1 Q2 Q3 Q4 . . .
 0 P1 0 0 0 . . .




P =  0 0 P2 0 0 . . . ,
 0 0 0 P3 0 . . .


.. .. .. .. . .
.
. . . .
wobei Pα und Q0 die Übergangsmatrizen der Kette bei Einschränkung auf Rα bzw.
T bilden und Qα die Übergangswahrscheinlichkeiten pij von i ∈ T nach j ∈ Rα
enthält.
Eine DMK mit abzählbar unendlichem Zustandsraum kann durchaus überhaupt
keine rekurrenten Zustände besitzen, wie das triviale Beispiel der deterministischen
Kette 0 → 1 → 2 → ... verdeutlicht. Der Anteil ∑α Rα von S in (3.23) tritt demnach
möglichwerweise gar nicht auf. Für eine EMK ergibt sich dagegen das Folgende:
66
3 Zustandseigenschaften und Irreduzibilität
Satz 3.29. Jede EMK besitzt mindestens einen positiv rekurrenten Zustand. Außerdem ist jeder rekurrente Zustand bereits positiv rekurrent. Mit anderen Worten, eine
EMK besitzt keine null-rekurrenten Zustände.
Beweis. Zunächst überlegen wir uns, dass (Mn )n≥0 mindestens einen rekurrenten
Zustand besitzt. Wären nämlich alle Zustände transient, so folgte vermöge Satz 3.23
!
∞ >
(n)
∑ pi j
= Ei N( j) = Ei
∑ 1{Mn = j}
n≥0
n≥0
für alle i, j ∈ S und folglich wegen |S | < ∞ der Widerspruch
!
∞ >
(n)
∑ ∑ pi j
=
j∈S n≥0
= Ei
∑ Ei ∑ 1{Mn = j}
j∈S
∑ ∑ 1{Mn = j}
n≥0 j∈S
!
n≥0
= Ei
∑ 1{Mn ∈S }
n≥0
!
= ∞.
Sei nun i ein rekurrenter Zustand. Zum Nachweis der positiven Rekurrenz von
i bemühen wir ein weiteres Mal ein “geometric trials argument”. Für jedes j ∈ Ci
(φ ( j))
existiert ein φ ( j) ∈ N derart, dass p ji
> 0. Wegen |S | < ∞ folgt dann
m := max φ ( j) < ∞
j∈Ci
(φ ( j))
und β := min p ji
j∈Ci
> 0.
Setzen wir nun ν1 := φ (i) und rekursiv
νn := νn−1 + φ (Mνn−1 )
für n ≥ 2, so bilden diese offenbar Stopzeiten für (Mk )k≥0 mit νn ≤ nm. Vermöge
der starken Markov-Eigenschaft erhalten wir daher
Pi (τ(i) > nm) ≤ Pi (τ(i) > νn )
≤ Pi (Mν1 6= i, ..., Mνn 6= i)
=
∑
Pi (Mν1 6= i, ...Mνn−2 6= i, , Mνn−1 = j, Mνn−1 +φ ( j) 6= i)
∑
Pi (Mν1 6= i, ..., Mνn−2 6= i, Mνn−1 = j) (1 − p ji
j∈Ci \{i}
=
j∈Ci \{i}
≤ (1 − β )Pi (Mν1 6= i, ..., Mνn−1 6= i)
≤ ... ≤ (1 − β )n
für alle n ≥ 1, was schließlich
(φ ( j))
)
3.6 Solidaritätseigenschaften
67
Ei τ(i)
≤
m
∑ (1 − β )n
< ∞
n≥0
und somit die positive Rekurrenz von i impliziert.
t
u
Kapitel 4
Ergodensätze für positive rekurrente
Markov-Ketten
Wir sind nun hinreichend präpariert, um die zentrale Frage nach dem Langzeitverhalten diskreter MK anzugehen, wobei wir uns zuerst auf den einfacheren Fall endlichen Zustandsraums konzentrieren und den Ergodensatz für positive rekurrente,
aperiodische EMK herleiten. Generell werden hiernach zwei unterschiedlich starke
Konvergenzarten betrachtet:
(1)
(2)
Gleichmäßige Konvergenz im Zeitmittel (Césaro-Mittel):
1 n
Pλ (Mk ∈ A) − π(A) = 0.
lim sup ∑
n→∞ A⊂S n + 1
k=0
Gleichmäßige Verteilungskonvergenz (Konvergenz in Totalvariation):
lim sup |Pλ (Mn ∈ A) − π(A)| = 0.
n→∞ A⊂S
Es ist klar, dass aus (2) stets (1) folgt, da jede konvergente Folge auch im CésaroLimes konvergiert. Bezeichnet k · k die Totalvariation auf dem Raum signierter Maße λ − µ auf S (λ , µ endliche Maße), d.h.
kλ − µk = sup |λ (A) − µ(A)|,
A⊂S
so bildet diese eine Norm, und es gilt offenkundig
1 n
Mk
(1) ⇔ lim Pλ − π = 0,
∑
n→∞ n + 1
k=0
(2)
⇔
n
lim kPM
λ − πk = 0.
n→∞
69
70
4 Ergodensätze für positive rekurrente Markov-Ketten
Zur Abkürzung schreiben wir für Césaro-Limiten im Folgenden auch C- limn→∞ ,
d.h.
1 n
C- lim an :=
∑ ak .
n→∞
n + 1 k=0
Der Hauptgrund für ihre Verwendung besteht darin, dass sich mit diesen auch der
Fall periodischer DMK abdecken lässt.
Zum Abschluss erinnern wir daran, dass für abzählbares S (wie hier der Fall)
und beliebige Wahrscheinlichkeitsmaße λ , µ auf S
kλ − µk =
1
∑ |λi − µi |
2 i∈S
(4.1)
gilt. Dies wurde in [1, Abschnitt 29] über Poisson-Approximation gezeigt (Lemma
29.5).
4.1 Stationäre Maße via zyklischer Zerlegungen
Der kanonische Weg, stationäre Maße und Verteilungen einer DMK M = (Mn )n≥0
zu bestimmen, besteht gemäß Lemma 1.31 in der Lösung des Gleichungssystems
π j = ∑i∈S πi pij , j ∈ S , kurz π = πP, was auf eine Analyse der Übergangsmatrix P hinsichtlich des Eigenwerts 1 hinausläuft. Im Folgenden bevorzugen wir aber
einen anderen, probabilistischen Zugang gegenüber dieser matrixanalytischen Betrachtungsweise, weil er im Hinblick auf das Langzeitverhalten der Kette zum einen
ein besseres Verständnis vermittelt und zum anderen für die späteren Konvergenzbeweise nützlicher ist. Wir betonen jedoch, dass nichtsdestotrotz der kanonische Weg
in vielen Beispielen, in denen eine eindeutig bestimmte stationäre Verteilung existiert, für deren explizite Berechnung der sinnvollste ist und daher als Alternative
immer in der Hinterhand bleibt.
Mit Hilfe der in Abschnitt 3.3 kennengelernten zyklischen Zerlegung einer DMK
mittels der Rückkehrzeiten in einen rekurrenten Zustand werden wir nun zeigen, wie
sich in kanonischer Weise ein stationäres Maß für M ergibt: Seien dazu i ∈ S rekurrent und σn = σn (i) die zugehörigen Pi -f.s. endlichen sukzessiven Rückkehrzeiten.
Setzen wir
Zn = (Mσn , ..., Mσn+1 −1 ), n ≥ 0,
so bilden diese gemäß Satz 3.16 unter Pi eine unabhängige Folge identisch verteilter
Zufallsvariablen, und es folgt wegen M = (Z0 , Z1 , ...)
PM
i =
O Z
n
Pi
Z
= (Pi 0 )∞ .
n≥0
Die Verteilung der Kette unter Pi ist somit vollständig durch die Verteilung des
ersten Zyklus’ Z0 determiniert. Mit anderen Worten: Alle Information über die Verteilung von M steckt bereits in der von Z0 (unter Pi ). Für jeden weiteren Zustand
4.1 Stationäre Maße via zyklischer Zerlegungen
71
j ∈ S mit i ↔ j sind die σn (i) unter P j ebenfalls f.s. endlich (Satz 3.27) und die
Z
Zn deshalb nach Satz 3.18 weiterhin unabhängig und für n ≥ 1 identisch gemäß Pi 0
verteilt, was
Z0
Z0 ∞
PM
(4.2)
j = P j ⊗ (Pi )
impliziert. Schreiben wir nun (1) mit λ = δ j in der Form
!
1 n
lim sup E j
1A (Mk ) − π ∗ (A) = 0,
∑
n→∞ A⊂S n + 1 k=0
(4.3)
so wird deutlich, dass es sich um eine gleichmäßige Konvergenz von mittleren relativen Häufigkeiten handelt. Andererseits ist mit Blick auf (4.2) klar, dass die mittlere
Anzahl von Aufenthalten in einer Menge A innerhalb eines Zyklus’, also
!
Ej
σn+1 −1
∑
1A (Mk )
k=σn
für n ≥ 1 konstant ist, und zwar gleich
τ(i)−1
(i)
π(A) := Ei
∑
!
1A (Mk ) .
k=0
(4.4)
Somit bildet (i) π ∗ (A), definiert durch
(i) ∗
π (A) :=
(i) π(A)
µii
1
=
Ei
Ei τ(i)
τ(i)−1
∑
k=0
!
1A (Mk ) ,
(4.5)
die in jedem (bis auf den ersten) Zyklus (eventuell ≡ 0) mittlere Anzahl von Aufenthalten in A relativ zur mittleren Zykluslänge. (i) π ∗ (A) ist deshalb auch ein natürlicher Kandidat für den Limes π ∗ (A) in (4.3), der gerade die asymptotische relative
Häufigkeit von Aufenthalten über die ganze Zeitachse angibt. Dass (i) π und, sofern i
positiv rekurrent ist, (i) π ∗ ein Maß bzw. eine Verteilung auf S definieren, ist offensichtlich. Die Stationarität jedoch, die bei Gültigkeit von (4.3) ja notwendig gelten
muss, bedarf einiger Arbeit:
Satz 4.1. Gegeben einen rekurrenten Zustand i, bildet das Okkupationsmaß (i) π
gemäß (4.4) ein stationäres Maß der DMK M und folglich (i) π ∗ gemäß (4.5) eine stationäre Verteilung, sofern i positiv rekurrent ist.
Beweis. Es bezeichne (Gn )n≥0 wieder die zu M gehörende kanonische Filtration.
Da i im Folgenden nicht variiert, schreiben wir kurz π für (i) π. Wir zeigen zunächst
die σ -Endlichkeit von π, d.h. π j = π({ j}) < ∞ für alle j ∈ S . Da πi = 1, sei gleich
j 6= i vorausgesetzt. Offensichtlich gilt dann
72
4 Ergodensätze für positive rekurrente Markov-Ketten
πj =
∑ n Pi (σn ( j) < τ(i) < σn+1 ( j))
n≥1
≤
∑ n Pi (σn ( j) < τ(i))
n≥1
Mittels der starken Markov-Eigenschaft sowie (3.22) erhalten wir weiter
Pi (σn ( j) < τ(i)) = Pi (τ( j) < τ(i), σn ( j) < τ(i))
=
Z
{τ( j)<τ(i)}
P(σn ( j) < τ(i)|Mτ( j) ) dPi
= Pi (τ( j) < τ(i)) P j (σn−1 ( j) < τ(i))
= Pi (τ( j) < τ(i)) P j (τ( j) < τ(i))n−1
für alle n ≥ 1. Wegen Pi (σn ( j) < τ(i)) → 0 muss Pi (τ( j) < τ(i)) = 0 oder P j (τ( j) <
τ(i)) < 1 sein, was schließlich π j = 0 oder
πj ≤
=
∑ n Pi (τ( j) < τ(i)) P j (τ( j) < τ(i))n−1
n≥1
Pi (τ( j) < τ(i))
< ∞
P j (τ( j) ≥ τ(i))2
liefert.
Zu zeigen bleibt die Invarianz, d.h. π j = ∑k∈S πk pk j für alle j ∈ S . Unter Beachtung von M0 = Mτ(i) = i Pi -f.s. gilt
τ(i)
π j = Ei
∑ 1{Mn = j}
n=1
!
τ(i)−1
= Ei
∑
n=0
1{Mn+1 = j}
!
τ(i)−1
=
∑ Ei
k∈S
=
∑
n=0
1{Mn =k, Mn+1 = j}
!
∑ ∑ Pi (τ(i) > n, Mn = k, Mn+1 = j)
k∈S n≥0
=
∑ ∑ Pi (τ(i) > n, Mn = k)pk j
k∈S n≥0
τ(i)−1
=
∑ Ei
k∈S
=
∑
n=0
1{Mn =k}
!
pk j
∑ πk pk j ,
k∈S
wobei in der vorletzten Zeile einmal mehr die starke Markov-Eigenschaft benutzt
wurde.
t
u
Satz 4.1 beschert uns also bei Vorliegen mindestens eines (positiv) rekurrenten
Zustands i – für eine EMK gemäß Satz 3.29 immer der Fall – automatisch die Exi-
4.1 Stationäre Maße via zyklischer Zerlegungen
73
stenz eines stationären Maßes (einer stationären Verteilung), das außerdem auf die
zugehörige Klasse Ci kommunizierender Zustände konzentriert ist, wie das folgende
Korollar lehrt:
Korollar 4.2. In der Situation von Satz 4.1 gilt ferner
π(Cic ) = 0
sowie π j > 0 für alle j ∈ Ci .
Beweis. Da i rekurrent ist, gilt Pi (τ(i) < ∞) = 1. Wir hatten mittels Satz 3.27 festgestellt, dass Ci abgeschlossen ist, also nach Erreichen nicht mehr verlassen wird.
(n)
Dies bedeutet aber fij = 0 für j ∈ Cic und n ≥ 0, d.h. Pi (τ( j) = ∞) = 1. Insgesamt
folgt Pi (τ( j) < τ(i)) = 0 und daraus π j = 0 für alle j ∈ Cic .
Sei nun j ∈ Ci , also i ↔ j. Dann folgt Pi (τ( j) < τ(i)) > 0, wie wir im Anschluss
an (3.22) eingesehen hatten, und somit wie behauptet
!
τ(i)−1
π j = Ei
∑
n=0
1{Mn = j}
≥ Ei 1{τ( j)<τ(i)} > 0.
t
u
Eine DMK besitzt somit auf jeder Klasse rekurrenter Zustände mindestens ein
stationäres Maß. Wir werden später sehen, dass für rekurrente Zustände i, j derselben Klasse die zugehörigen stationären Maße (i) π bzw. ( j) π bis auf ein skalares
Vielfaches gleich sind, was im positiv rekurrenten Fall die folgende interessante
Konsequenz hat:
Satz 4.3. Sei C eine Klasse positiv rekurrenter Zustände derart, dass die normierten
Okkupationsmaße (i) π ∗ für alle i ∈ C übereinstimmen, also (i) π ∗ = π ∗ für alle i ∈ C .
Dann folgt
1
µii
πi∗ =
und (i) π j =
(4.6)
µii
µ jj
für alle i, j ∈ C .
Beweis. Die erste Identität in (4.6) folgt direkt aus π ∗ =
während sich die zweite vermöge der Gleichung
π ∗j =
ergibt.
(i) π
µii
j
=
( j) π
µ jj
j
=
(i) π/µ
ii
und
(i) π
i
= 1,
1
µ jj
t
u
Wir können also festhalten, dass für eine positiv rekurrente DMK mit eindeutiger
stationärer Verteilung π ∗ , was sich im Anschluss als generell zutreffend herausstellen wird, stets
74
4 Ergodensätze für positive rekurrente Markov-Ketten
πi∗ =
1
µii
für alle i ∈ S gilt.
Wir beschließen den Abschnitt mit einer interessanten Verallgemeinerung von
Satz 4.1.
Satz 4.4. Sei M = (Mn )n≥0 eine irreduzible DMK bzgl. einer Filtration (Fn )n≥0
mit Übergangsmatrix P = (pij )i, j∈S . Sei ferner τ eine (Fn )n≥0 -Zeit, für die ein
τ
λ ∈ P(S ) existiert derart, dass Pλ (τ < ∞) = 1 und PM
λ = λ . Dann ist das Präτ-Okkupationsmaß
!
ξi := Eλ
τ−1
∑ 1{Mn =i}
n=0
,
i∈S,
stationär für M, sofern es mindestens ein j ∈ S gibt mit 0 < ξ j < ∞.
M
τ
0
Beweis. Unter Benutzung von PM
λ = λ = Pλ ergibt sich wie im Beweis von Satz
(i)
4.1 für π
!
!
R> 3 ξ j = Eλ
τ
∑ 1{Mn = j}
n=1
τ
=
∑ Eλ ∑ 1{Mn =i}
i∈S
n=1
pij =
∑ ξi pij
i∈S
was ξ 6= 0 und 0 ≤ ξi < ∞ für alle i ∈ S beweist. Da die Rechnung aber auch für
jedes andere j ∈ S gilt, folgt π = πP.
t
u
4.2 Die Kopplungsmethode
Die Methode, mit der wir den Ergodensatz für EMK beweisen werden, basiert auf
einer wunderbaren Idee von W OLFGANG D OEBLIN (Sohn des bekannten Schriftstellers Alfred Döblin), publiziert im Jahre 1938 in einer Arbeit mit dem Titel
“Exposé de la theorie des chaines simples constantes de Markov à un nombre fini d’états”. Doeblins früher Tod1 und die schwere Zugänglichkeit der Zeitschrift, in
der die genannte Arbeit erschien, waren vermutlich die Ursache, dass seine Idee der
Kopplung von Markov-Ketten mehr als 30 Jahre unbeachtet blieb und erst in den
siebziger Jahren durch Arbeiten u.a. von P ITMAN [18], G RIFFEATH [10, 11] und
1
Er beging am 26. Juni 1940, vier Tage vor der Kapitulation Frankreichs, im Alter von 25 Jahren
Selbstmord, nachdem er seine von Deutschen umzingelte frz. Truppeneinheit verlassen hatte und
nur noch die Alternativen sah, zu sterben oder sich den Deutschen auszuliefern [+ L INDVALL
[15] für eine ausführlichere Biographie Wolfgang Doeblins].
4.2 Die Kopplungsmethode
75
L INDVALL [14] eine Renaissance erfuhr, diesmal allerdings mit nachhaltiger Wirkung bis zum heutigen Tag. Die Kopplungsmethode als ureigenes Instrument der WTheorie hat sich nämlich mittlerweile weit über die Theorie der Markov-Ketten hinaus als äußerst wirkungsvolles und elegantes Instrument erwiesen, Grenzwertsätze
für stochastische Prozesse zu beweisen, die vorher mit anderen, meist analytischen
Methoden weitaus schwerer, wenn überhaupt erzielt werden konnten. Die Monographien von L INDVALL [16] und T HORISSON [21] geben einen Einblick in diese Entwicklungen. Das Faszinierende an der Methode ist ihre Anschaulichkeit, die selbst
in äußerst komplexen Modellen immer erkennbar bleibt. Im Folgenden stellen wir
kurz die für unsere Zwecke notwendigen Grundlagen bereit:
Q und Q0 seien zwei W-Maße auf einem messbaren Raum (E, E). Ein Paar
(X, X 0 ) von Zufallsvariablen auf demselben W-Raum (Ω , A, P) mit Werten in (E, E)
heißt Kopplung von (Q, Q0 ), wenn
PX = Q
und
0
PX = Q0 .
Die Nützlichkeit der Kopplung zum Vergleich von W-Maßen manifestiert sich in
der sogenannten Kopplungsungleichung
kQ − Q0 k ≤ P(X 6= X 0 ),
(4.7)
die sich sofort aus der Abschätzung
kQ − Q0 k = sup |P(X ∈ A) − P(X 0 ∈ A)|
A∈E
= sup |P(X ∈ A, X = X 0 ) + P(X ∈ A, X 6= X 0 )
A∈E
− P(X 0 ∈ A, X = X 0 ) − P(X 0 ∈ A, X 6= X 0 )|
= sup |P(X ∈ A, X 6= X 0 ) − P(X 0 ∈ A, X 6= X 0 )|
A∈E
≤ P(X 6= X 0 )
ergibt. Der Variationsabstand zwischen Q und Q0 lässt sich also durch die wesentlich handlichere Wahrscheinlichkeit P(X 6= X 0 ) abschätzen und ist dementsprechend
klein, wenn die gekoppelten Variablen X und X 0 mit nur kleiner Wahrscheinlichkeit
verschieden sind. Das Problem besteht nun natürlich darin, solche möglichst stark
gekoppelten Variablen zu konstruieren, was allerdings vom Einzelfall abhängig ist.
Nach dieser sehr allgemeinen Kurzeinführung richten wir unseren Blick auf die
folgende, für unsere Zwecke relevante Situation: Gegeben einen messbaren Raum
(S , S), seien Q und Q0 W-Maße auf (S ∞ , S∞ ), üblicherweise Verteilungen irgendwelcher Folgen Y = (Yn )n≥0 und Y 0 = (Yn0 )n≥0 von Zufallsvariablen mit Wertebereich (S , S). Im weiteren Verlauf werden Q und Q0 die Verteilungen derselben
DMK unter verschiedenen Anfangsverteilungen sein. Die eindimensionalen Randverteilungen (Verteilungen der Yn bzw. Yn0 ) bezeichnen wir mit Qn bzw. Q0n , n ≥ 0.
Nehmen wir an, unser Ziel ist der Vergleich von Qn und Q0n für n → ∞, etwa der
Nachweis von kQn − Q0n k → 0. In diesem Fall wird man i.A. nicht für jedes (Qn , Q0n )
76
4 Ergodensätze für positive rekurrente Markov-Ketten
eine Kopplung konstruieren, sondern vielmehr für (Q, Q0 ), und zwar in folgender
Weise: Seien X = (Xn )n≥0 und X 0 = (Xn0 )n≥0 Folgen von Zufallsvariablen auf demselben W-Raum (Ω , A, P) (dies muss für Y und Y 0 keineswegs gelten) derart, dass
(X, X 0 ) eine Kopplung von (Q, Q0 ) bildet. Dann heißt
T := inf{n ≥ 0 : Xk = Xk0 für alle k ≥ n}
(4.8)
die zu (X, X 0 ) gehörende Kopplungszeit, und es gilt unter Verwendung von (4.7) die
ebenfalls Kopplungsungleichung genannte Abschätzung
kQn − Q0n k ≤ P(Xn 6= Xn0 ) ≤ P(T > n).
(4.9)
Aus P(T < ∞) = 1 folgt offenbar kQn − Q0n k → 0, so dass das Problem nun darin
besteht, die Prozesse X und X 0 so zu konstruieren, dass sie sich f.s. irgendwann
treffen und danach übereinstimmen. Es bleibt erneut offen, wie dies bewerkstelligt
werden kann, aber wir werden bald sehen, dass positiv rekurrente DMK hierfür ideal
geeignete Objekte bilden.
4.3 Der Ergodensatz für aperiodische, positiv rekurrente EMK
Wir kommen nun zu der zentralen Frage, wann eine positiv rekurrente EMK M in
Totalvariation konvergiert, d.h., wann
n
lim kPM
λ − πk = lim sup |Pλ (Mn ∈ A) − π(A)| = 0
n→∞
n→∞ A⊂S
(4.10)
für alle λ ∈ P(S ) gilt, wobei π die eindeutig bestimmte stationäre Verteilung von
M bezeichnet. Die folgende einfache Überlegung zeigt, dass dies nur im aperiodischen Fall möglich ist. Hat M nämlich die Periode d ≥ 2, so folgt unter Hinweis auf
πi > 0 für alle i ∈ S (+ Korollar 4.2)
(nd+r)
lim Pi (Mnd+r = i) = lim pii
n→∞
n→∞
= 0 6= πi
für jedes 0 < r < d. Wir können uns somit bei der Untersuchung der Gültigkeit von
(4.10) auf die aperiodischen, positiv rekurrenten DMK beschränken.
Der nachfolgende Satz, der in der Literatur oft Ergodensatz für positiv rekurrente
EMK oder einfach Ergodensatz für EMK genannt wird, darf als eine Perle der Theorie angesehen werden und beinhaltet das eingangs angekündigte Konvergenzresultat
für aperiodische, positiv rekurrente EMK. Seine Erweiterung auf den Fall, wenn S
abzählbar unendlich ist, geben wir in Abschnitt 4.5.
Satz 4.5. (Ergodensatz für EMK) Sei M = (Mn )n≥0 eine aperiodische, positiv rekurrente EMK mit Übergangsmatrix P = (pij )i, j∈S . Dann besitzt M eine eindeutig
4.3 Der Ergodensatz für aperiodische, positiv rekurrente EMK
77
bestimmte stationäre Verteilung π, nämlich π = (µii−1 )i∈S , und es gilt (4.10), also
n
limn→∞ kPM
λ − πk = 0 für jede Anfangsverteilung λ sowie insbesondere
(n)
lim p
n→∞ ij
= πj =
1
µ jj
(4.11)
für alle i, j ∈ S .
Beweis. Sei π irgendeine stationäre Verteilung von M, etwa das normierte Prä-τ(i)Okkupationsmaß π =(i) π ∗ für ein beliebig gewähltes i ∈ S . Sofern wir (4.10) für
alle λ ∈ P(S ) zeigen können, folgt leicht die Eindeutigkeit von π vermöge
n→∞
n
(4.12)
kπ 0 − πk = PM
π 0 − π −→ 0
für jede andere stationäre Verteilung π 0 . Gemäß Satz 4.3 erhalten wir dann außerdem π = (µii−1 )i∈S . Folglich können wir uns nun dem Kopplungsbeweis der Konvergenzaussage (4.10) zuwenden.
Sei M ⊗ M 0 := (Mn , Mn0 )n≥0 eine EMK mit Zustandsraum S 2 , kanonischer Filtration (Fn )n≥0 und Übergangswahrscheinlichkeiten
p(i1 ,i2 ),( j1 , j2 ) = pi1 j1 pi2 j2 ,
für die wir ein Standardmodell
(Ω , A, M ⊗ M 0 , (Pν )ν∈P(S 2 ) )
zugrundelegen. Im Fall ν = λ ⊗ µ schreiben wir Pλ ,µ für Pλ ⊗µ , im Fall ν =
δ(i, j) = δi ⊗ δ j entsprechend Pi, j für Pδ(i, j) . Elementare Rechnungen zeigen, dass
M = (Mn )n≥0 und M 0 = (Mn0 )n≥0 jeweils EMK bezüglich (Fn )n≥0 mit Übergangsmatrix P bilden, die unter jedem Pν mit ν = λ ⊗ µ stochastisch unabhängig sind.
Da unter Pλ ,µ Wahrscheinlichkeiten von Ereignissen, die nur die Kette M bzw. M 0
betreffen, nicht von µ bzw. λ abhängen, schreiben wir in einem solchen Fall zur
Kennzeichnung Pλ ,• bzw. P•,µ . Schließlich notieren wir noch, dass
0
0
M
M
M
PM
λ ,• = Pλ ,µ = Pµ,λ = P•,λ
(4.13)
für alle λ , µ ∈ P(S ) gilt.
(n)
Da M aperiodisch ist, gilt nach Lemma 3.14 p jj > 0 für alle j ∈ S und n ≥ n0 ( j)
(m)
geeignet. i ↔ j impliziert ferner pij > 0 für ein m ≥ 1, so dass auch
(n)
pij
(m) (n−m)
≥ pij p jj
> 0
78
4 Ergodensätze für positive rekurrente Markov-Ketten
für alle hinreichend großen n. Dies liefert schließlich, dass auch M ⊗ M 0 irreduzibel
und aperiodisch ist, denn, gegeben beliebige i1 , i2 , j1 , j2 ∈ S , folgt nun
(n)
1 ,i2 ),( j1 , j2 )
p(i
(n)
(n)
= pi1 j1 pi2 j2 > 0
für alle hinreichend großen n. Aus Satz 3.29 folgt schließlich die positive Rekurrenz
von M ⊗ M 0 2 .
Damit sind alle Vorbereitungen für die Kopplung getroffen. Sei
T = inf{n ≥ 0 : Mn = Mn0 } = inf{n ≥ 0 : (Mn , Mn0 ) ∈ {(i, i) : i ∈ S }}.
Aus der Rekurrenz aller (i, i), i ∈ S , folgt Pν (T < ∞) = 1 für alle ν ∈ P(S 2 ).
b = (M
bn )n≥0 durch
Wir definieren den zugehörigen Kopplungsprozess M
(
0
bn = Mn , falls n ≤ T .
(4.14)
M
Mn , falls n ≥ T
b folgt demnach dem Pfad der Kette M 0 , bis diese erstmals gemeinsam mit M denM
selben Zustand erreicht, und wechselt dann auf den Pfad von M. Beachte, dass T
eine Stopzeit für M ⊗ M 0 bildet. Der Leser sollte sich an dieser Stelle zunächst anb und M 0 unter jedem Pν dieselbe Verteilung besitschaulich klar machen, dass M
zen. Aufgrund der starken Markov-Eigenschaft hängen nämlich die Post-T -Folgen
M (T ) = (Mn )n≥T und M 0 (T ) von der Vergangenheit nur über MT bzw. MT0 ab und
b macht es daher keinen
stimmen folglich überein. Für die Verteilung der Kette M
Unterschied, welchem Pfad sie nach T folgt. Hier ist die formale Begründung: Für
alle ν ∈ P(S 2 ) und A0 , A1 , ... ⊂ S gilt unter Hinweis auf (4.13)
bk ∈ Ak , k ≥ 0) =
Pν (M
=
=
=
=
=
=
Z
∑ Pν (T = n, M00 ∈ A0 , ..., Mn0 ∈ An , Mn+1 ∈ An+1 , ...)
n≥0
P(Mn+1 ∈ An+1 , ...|Fn ) dPν
0
0
0
n≥0 i∈An {T =n,M0 ∈A0 ,...,Mn−1 ∈An−1 ,Mn =Mn =i}
0
Pν (T = n, M00 ∈ A0 , ..., Mn−1
∈ An−1 , Mn = Mn0 = i) Pi,• (M1 ∈ An+1 , ...)
n≥0 i∈An
0
Pν (T = n, M00 ∈ A0 , ..., Mn−1
∈ An−1 , Mn0 = i) P•,i (M10 ∈ An+1 , ...)
n≥0 i∈An
∑∑
∑∑
∑∑
∑∑
Z
0
P(Mn+1
∈ An+1 , ...|Fn ) dPν
0
0
0
n≥0 i∈An {T =n,M0 ∈A0 ,...,Mn−1 ∈An−1 ,Mn =i}
0
Pν (T = n, M00 ∈ A0 , ..., Mn0 ∈ An , Mn+1
n≥0
Pν (Mk0 ∈ Ak , k ≥ 0).
∑
∈ An+1 , ...)
2 Dies ist übrigens die einzige Stelle, an der wir die Endlichkeit von S benötigen, ohne die Satz
3.29 nicht anwendbar wäre.
4.3 Der Ergodensatz für aperiodische, positiv rekurrente EMK
80
79
Kapitel II. Diskrete Markov-Ketten
30
M’
20
10
100
200
T 300
400
500
-10
-20
M
Bild 11.1. Realisierungen von M und M " mit Kopplungszeit T für (M, M̂ ).
Abb. 4.1 Realisierungen von M und M 0 mit Kopplungszeit T für (M, M 0 ).
alle n ≥ 0, und es folgt vermöge der Kopplungsungleichung (11.4)
R ESNICK
(11.8)
lungsidee:
M̂
M gibt
M
[20, S. 130])
der Kopp− ξ ∗ 7 folgende
= 7Pλ,ξ
−amüsante
Pλ,ξ
7 ≤ Veranschaulichung
Pλ,ξ (T > n),
7Pλ,•
n
n
∗
n
∗
∗
wegen Pλ,ξ∗ (T < ∞) = 1 also (11.1).
♦
Stellen wir uns vor, zwei Frösche, Sam und Suzie, hüpfen von Stein zu Stein, wobei M die
Sprünge von Sam und M 0 zunächst die Sprünge von Suzie beschreibt. Allerdings gibt
es
(n)
(n)
(n)
und M̂Stein
für
alle nso
≥hüpft
T übereinstimmen
und
PξM
= PξM
die Post-n-Prozesse
∗
∗
einen Da
Haken.
Wenn beide auf M
demselben
landen,
Suzie auf Sams
Rücken
und
von
diesem
an sich
(der ohne
Kopplungszeit)
mit ihmdiegemeinsam
von Stein zuvon
Stein.
Da
für alle
n ≥ Zeitpunkt
0 gilt, ergibt
Zusatzargumente
folgende Verschärfung
(11.1):
jedoch beide gemäß derselben Übergangsmatrix springen, ändert es nichts an der Verteilung von Suzies Wanderung, ob sie sich nun auf Sams Rücken weiter bewegt oder davon
11.2. Korollar. In der0 Situation von Satz 11.1 gilt ferner
unabhängig
gemäß der Kette M mit gelegentlichen Treffen auf demselben Stein.
M (n)
b mitn→∞
− Pξ 7 =
(11.9)
lim
λ
Gegeben
das Paar (M, M)
den7PEigenschaften
M
∗
0
bn für alle n ≥λ.T , T die Kopplungszeit,
(1) für M
M
n=
jede
Anfangsverteilung
d
b = M 0 unter jedem Pλ ,µ (sogar unter jedem Pν ),
(2) M
Beweis: Es genügt der Hinweis, daß anstelle von (11.8) auch
b
b unter jedem Pλ ,π stationär, insbesondere PMn =
wählen wir nun µ = π. Dann ist M
λ ,π
M̂
M̂
M
M
− Pvermöge
− Pλ,ξ
7 ≤ Pλ,ξ (T > n)
(11.10)
λ,ξ 7 = 7P
λ,• folgt
λ,ξ Kopplungsungleichung
π für
alle n ≥ 0, und7Pes
der
(4.9)
(n)
∗
$
(n)
(n)
∗
∗
M̂
M
b
für alle n ≥ 0 gilt, denn
Mn PξM
MnPλ,ξ
∗ ,• = Pλ,ξ ∗ =
∗ . Mn
∗
kPλ ,• − πk = kPλ ,π − Pλ ,π k ≤ Pλ ,π (T > n),
(4.15)♦
weitere zu (11.1) bzw. (11.10) äquivalente Aussagen hinsichtlich sogenannter Funkwegen PAls
λ ,π (T < ∞) = 1 also (4.10).
tionale Eλ f (Mn ) bzw. Eλ f (M (n) ) = Eλ f (Mn , Mn+1 , ...) der Kette können wir festhalten (vgl.
Bemerkung 10.5(b)):
(n)
M (n)
b (n)
Da die Post-n-Prozesse M und M für alle n ≥ T übereinstimmen und Pπ =
PM
π für alle n ≥ 0 gilt, ergibt sich ohne Zusatzargumente die folgende Verschärfung
von (4.10):
80
4 Ergodensätze für positive rekurrente Markov-Ketten
Korollar 4.6. In der Situation von Satz 4.5 gilt ferner
lim kPM
λ
n→∞
(n)
− PM
πk = 0
für jede Anfangsverteilung λ .
Beweis. Es genügt der Hinweis, dass anstelle von (4.15) auch
b
(n)
(n)
b (n)
M
M
M
kPM
λ ,• − Pλ ,π k = kPλ ,π − Pλ ,π k ≤ Pλ ,π (T > n)
0
b
M
M
für alle n ≥ 0 gilt, denn PM
π,• = Pλ ,π = Pλ ,π .
(4.16)
t
u
Als weitere zu (4.10) bzw. (4.16) äquivalente Aussagen hinsichtlich sogenannter
Funktionale Eλ f (Mn ) bzw. Eλ f (M (n) ) = Eλ f (Mn , Mn+1 , ...) der Kette können wir
festhalten:
Korollar 4.7. In der Situation von Satz 4.5 gelten ferner
Z
f (s) π(ds) = 0,
lim
sup
Eλ f (Mn ) −
n→∞ f ∈bS ,k f k ≤1
∞
lim
sup
n→∞ f ∈bS ∞ ,k f k ≤1
∞
für jede Anfangsverteilung λ .
S
Eλ f (M (n) ) − Eπ f (M) = 0
Zum Abschluss dieses Teilabschnitts noch ein wenig Terminologie: Eine aperiodische, positiv rekurrente EMK (und später auch DMK) nennt man aufgrund
der soeben gezeigten Resultate kurz ergodisch, wobei dasselbe Attribut auch für
n
Zustände verwendet wird. Die gleichmäßige Konvergenz der PM
λ gegen die stationäre Verteilung bezeichnet man als starke Ergodizität, dieselbe im Zeitmittel dagegen als schwache Ergodizität. Mit Satz 4.5 haben wir also gezeigt, dass eine ergodische EMK stets stark ergodisch ist. Um dieses Ergebnis auf ergodische MK mit
abzählbarem Zustandsraum auszudehnen, bedienen wir uns der sogenannten Besuchskette (engl. “hit chain”), welcher der folgende kurze Abschnitt gewidmet ist
und die auch im null-rekurrenten Fall von Nutzen sein wird (+ Abschnitt 5.1).
4.4 Die Besuchskette
Nicht zuletzt zum besseren Verständnis des Verhaltens null-rekurrenter DMK stellen wir als nächstes die sogenannte Besuchskette ein. Der anschließende Satz be-
4.4 Die Besuchskette
81
sagt in Kürze, dass jede DMK nach Ausdünnung hinsichtlich ihrer Aufenthalte außerhalb einer beliebigen Rekurrenzmenge R des Zustandsraums immer noch eine zeitlich homogene DMK bildet. Dabei heißt R Rekurrenzmenge (für M), wenn
Pi (τ(R) < ∞) = 1 für alle i ∈ R. Sie kann also durchaus transiente Zustände enthalten, ja sogar nur aus transienten Zuständen bestehen (R = S ist schließlich immer
rekurrent) und sollte daher nicht mit einer Rekurrenzklasse oder einer Menge rekurrenter Zustände verwechselt werden!
Satz 4.8. Sei M = (Mn )n≥0 eine DMK mit kanonischer Filtration (Gn )n≥0 und R
eine Rekurrenzmenge. Bezeichnet (σn (R))n≥1 die zugehörige Folge der sukzessiven
Eintritte in R, d.h.
σn (R) := inf{k > σn−1 (R) : Mk ∈ R},
n ≥ 1,
[σ0 (R) := 0]
und MnR := Mσn (R) , so bildet die Besuchskette M R = (MnR )n≥0 unter jedem Pλ
mit λ (R c ) = 0 eine DMK bezüglich (Gσn (R) )n≥0 mit Zustandsraum R, die genau
dann irreduzibel ist, wenn alle Zustände in R miteinander kommunizieren. Besitzt
M einen rekurrenten Zustand i ∈ R, so bildet (i) π R = (i) π(· ∩ R), also die Einschränkung von (i) π auf R, ein stationäres Maß für M R .
Im Englischen nennt man M R auch die zu R gehörende “hit chain”.
Beweis. Zur Abkürzung schreiben wir σn anstelle von σn (R) und setzen wieder
τn = σn − σn−1 für n ≥ 1. Aus der Rekurrenz von R folgt die f.s. Endlichkeit der σn
unter jedem λ ∈ P(R). Dass M R bezüglich (Gσn )n≥0 adaptiert ist, bedarf keines
Beweises. Die starke Markov-Eigenschaft für M impliziert dann sofort die gewöhnliche Markov-Eigenschaft für M R sowie für alle i, j ∈ R und n ≥ 0
R
= j|MnR = i) = P(Mσn+1 = j|Mσn = i)
P(Mn+1
= P(Mσn +τn+1 = j|Mσn = i)
= Pi (Mτ(R) = j).
M R hat also die Übergangsmatrix PR = (pR
ij )i, j∈R mit
pR
ij = Pi (Mτ(R) = j) =
∑ Pi (Mk = j, Ml 6∈ R, 1 ≤ l < k).
k≥1
Die Irreduzibilitätsbehauptung kann der Leser leicht selbst verifizieren, so dass wir
uns gleich der letzten Behauptung zuwenden und annehmen, dass R einen rekurrenten Zustand i enthält. Sei τ R ( j) = inf{n ≥ 1 : MnR = j} für j ∈ R. Dann definiert
(i) R
π
τ R (i)−1
:= Ei (
∑
n=0
1{MnR ∈·} ),
i ∈ R,
gemäß Satz 4.1 ein stationäres Maß für M R . Außerdem gilt aber
82
4 Ergodensätze für positive rekurrente Markov-Ketten
τ R (i)−1
τ(i)−1
∑
n=0
1{Mn = j} =
∑
n=0
1{MnR = j}
für alle j ∈ R, denn M und M R unterscheiden sich bis zum ersten Erreichen von
i höchstens durch zusätzliche Aufenthalte von M in R c . Durch Übergang zum Erwartungswert unter Pi folgt (i) π = (i) π R auf R, also das Gewünschte.
t
u
Für endliches R erhalten wir direkt das folgende Korollar.
Korollar 4.9. Ist R in der Situation von Satz 4.8 eine endliche Rekurrenzklasse
und π irgendein stationäres Maß für M, das auf R nicht verschwindet, so bildet die
Besuchskette M R eine positiv rekurrente EMK und π(· ∩ R)/π(R) ihre eindeutig
bestimmte stationäre Verteilung. Mit anderen Worten, π(· ∩ R)/π(R) hängt von
der speziellen Wahl von π gar nicht ab, was insbesondere
(i) π(· ∩ R)
(i) π(R)
=
( j) π(· ∩ R)
( j) π(R)
für alle i, j ∈ R garantiert.
Anmerkung 4.10. Unter Hinweis auf Satz 4.4 können wir die folgende Randnotiz
festhalten: Bezeichnet π in der Situation von Satz 4.8 ein stationäres Maß von M
mit π(ℜ) > 0, so ist auch das Prä-τ(R)-Okkupationsmaß
!
τ(ℜ)−1
ξ := Eπ(·∩ℜ)
∑
n=0
1{Mn ∈·}
stationär für M.
4.5 Der Ergodensatz im Fall |S | = ∞
Im Folgenden wollen wir die Ergebnisse aus Abschnitt 4.3, wie angekündigt, auf
den Fall, wenn S abzählbar unendlich ist, ausdehnen. Dabei lautet die gute Nachricht, dass dies ohne irgendwelche Einschränkungen möglich ist.
Satz 4.11. (Ergodensatz für DMK) Sei M = (Mn )n≥0 eine aperiodische, positiv
rekurrente DMK mit Übergangsmatrix P = (pij )i, j∈S . Dann besitzt M eine eindeutig bestimmte stationäre Verteilung π, nämlich π = (µii−1 )i∈S , und es gelten weiterhin die Konvergenzaussagen aus Satz 4.5, insbesondere (4.11) für alle i, j ∈ S
(gleichmäßig in j), sowie die Korollare 4.6 und 4.7,
4.5 Der Ergodensatz im Fall |S | = ∞
83
Beweis. Seien o.E. S = N, Sm = {1, ..., m} für m ≥ 1 und π, π 0 zwei stationäre
Verteilungen für M. Dann ist die Besuchskette M Sm für jedes m eine positiv rekurrente EMK mit eindeutig bestimmter stationärer Verteilung π (m) , wobei gemäß
Korollar 4.9
π 0 (· ∩ Sm )
π(· ∩ Sm )
=
π (m) =
π(Sm )
π 0 (Sm )
gilt. Ein Grenzübergang m → ∞ unter Beachtung von π(Sm ) → 1 und π 0 (Sm ) → 1
liefert nun π = π 0 . Die stationäre Verteilung von M is folglich eindeutig und daher
durch π = (µii−1 )i∈S gegeben. Der Leser beachte, dass dieses Argument auch im
periodischen Fall Gültigkeit behält.
Für den Kopplungsbeweis der Konvergenzaussage (4.10) können wir auf Satz 4.5
verweisen, sofern wir noch zeigen, dass in den dortigen Bezeichnungen die bivariate
Kette M ⊗ M 0 – mit der offensichtlich stationären Verteilung π ⊗ π – rekurrent und
damit die Kopplungszeit f.s. endlich ist. Aufgrund der Irreduzibilität, die weiterhin
erfüllt ist (+ Fußnote im dortigen Beweis), reicht es hierfür, die Rekurrenz von
(1, 1) nachzuweisen, und für diese wiederum unter Hinweis auf Satz 3.22
!
(n) 2
E1,1 ∑ 1{Mn =1,Mn0 =1} = ∑ p11
= ∞.
(4.17)
n≥1
n≥1
Mit τ := inf{n ≥ 1 : Mn = Mn0 = 1} erhalten wir aber unter Benutzung des Lemmas
von Fatou
0 < π12 = lim Pπ,π (Mn = 1, Mn0 = 1) = lim
n
∑ Pπ (τ = k)
n→∞
n→∞
≤ Pπ (τ < ∞) lim sup
n→∞
(n)
(n) 2
p11 ,
k=1
(n−k) 2
p11
folglich lim supn→∞ p11 > 0 sowie auch (4.17).
(4.18)
t
u
Wir sind nun in der Lage, das folgende fundamentale Ergebnis über die Existenz
und Eindeutigkeit einer stationären Verteilung zu zeigen.
Satz 4.12. Sei M eine DMK und R die Menge ihrer positiv rekurrenten Zustände.
Dann gilt:
(a)
(b)
M besitzt genau dann eine stationäre Verteilung π, wenn R 6= 0.
/
π ist in diesem Fall genau dann eindeutig, wenn R eine Klasse bildet.
Beweis. Sei o.E. S = N oder = {1, ..., N} für ein N ∈ N und Sm = {1, ..., m} ∩ S
für m ∈ N.
(a) Falls R 6= 0,
/ so definiert µii−1 (i) π gemäß Satz 4.1 für jedes i ∈ R eine stationäre Verteilung von M. Besitzt umgekehrt M eine stationäre Verteilung π, wobei
o.E. π1 > 0 gelte, so folgt in Analogie zu (4.18)
84
4 Ergodensätze für positive rekurrente Markov-Ketten
(n)
0 < π1 = lim Pπ (Mn = 1) ≤ Pπ (τ(1) < ∞) lim sup p11 ,
n→∞
n→∞
(n)
was ∑n≥1 p11 = ∞ und somit die Rekurrenz von 1 unter Hinweis auf Satz 3.22 zeigt.
Als Konsequenz ist das Okkupationsmaß (1) π gemäß Satz 4.1 ebenfalls stationär für
M, verschwindet außerhalb von C1 und stimmt nach Normierung vermöge Korollar
4.9 auf jedem Sm ∩ C1 mit π überein, genauer
π1
=
π(Sm ∩ C1 )
(1) π
1
(1) π(S ∩ C )
m
1
=
1
(1) π(S ∩ C )
m
1
für alle m ≥ 1. Es folgt schließlich per Grenzübergang m → ∞
0 <
π1
=
π(C1 )
1
(1) π(C )
1
=
1
,
µ11
also
µ11 < ∞,
was die positive Rekurrenz des Zustands 1 beweist, also R 6= 0.
/
(b) überlassen wir dem Leser zur Übung, geben aber den Hinweis, dass der Beweis von Teil (a) bereits π(R c ) = 0 gezeigt hat.
t
u
Die nachfolgende Erweiterung von Satz 4.11, die zusätzlich eine Klasse transienter Zustände zulässt, von der aus die Kette f.s. irgendwann in einen rekurrenten
Zustand eintritt, kann der Leser ebenfalls leicht selbst verifizieren.
Satz 4.13. Sei M = (Mn )n≥0 eine DMK mit Zustandsraum S , der in eine Menge
(nicht notwendig Klasse) T transienter und eine Klasse R aperiodischer, positiv
rekurrenter Zustände zerfällt, wobei ferner Pi (τ(R) < ∞) = 1 für alle i ∈ T . Dann
gelten weiterhin die Aussagen von Satz 4.5, Korollar 4.6 und Korollar 4.7 sowie
insbesondere π = (µii−1 )i∈S , sofern man wie üblich ∞−1 := 0 vereinbart, was πi = 0
für alle i ∈ T bedeutet.
4.6 Der periodische Fall
Im Folgenden betrachten wir eine d-periodische DMK M = (Mn )n≥0 , d ≥ 2, und gehen der Frage nach, in welcher Form der Ergodensatz 4.5 in dieser Situation Gültigkeit behält. Zunächst notieren wir, dass M als irreduzible Kette unter Hinweis auf
Satz 3.29 weiterhin positiv rekurrent ist.
Satz 4.14. Gegeben eine d-periodische DMK M = (Mn )n≥0 , existiert eine Zerlegung S = ∑d−1
r=0 Sr des Zustandsraums in paarweise disjunkte, nichtleere Teilmengen S0 , ..., Sd−1 , eindeutig bis auf zyklische Vertauschung, so dass
4.6 Der periodische Fall
85
Pi (M1 ∈ Sr+1 ) = 1
für alle i ∈ Sr und 0 ≤ r < d,
wobei Sd = S0 . Die Sr heißen zyklische Klassen, weil sie von M in zyklischer
Weise durchlaufen werden (... → S0 → ... → Sd−1 → Sd = S0 → S1 → ...).
Beweis. Wähle irgendein i0 ∈ S und setze
o
n
(nd+r)
Sr := j ∈ S : pi0 j
> 0 für ein n ∈ N0
sowie Snd+r = Sr für alle 0 ≤ r < d und n ≥ 1. Sr 6= 0/ für alle r ist ebenso wie S0 ∪
...∪Sd−1 = S offensichtlich, letzteres wegen der Irreduzibilität von M. Sei nun j ∈
(md+q)
Sq ∩ Sr angenommen und o.E. q > r. Dann existieren m, n ≥ 0, so dass pi0 j
>0
(nd+r)
und pi0 j
(k)
(md+q+k)
> 0. Wähle ein k ≥ 1 mit p ji0 > 0. Es folgt pi0 i0
(nd+r+k)
pi0 i0
(md+q) (k)
p ji0
≥ pi0 j
>0
und analog
> 0. md +q+k und nd +r +k müssen folglich beide Vielfache
von d sein, was q − r ∈ dN0 und dann Sq = Sr impliziert. S0 , ..., Sd−1 sind also
paarweise disjunkt. Zum Nachweis von Pi (M1 ∈ Sr+1 ) = 1 für i ∈ Sr notieren wir
zuerst, dass aus i ∈ Sr offensichtlich { j ∈ S : pij > 0} ⊂ Sr+1 folgt. Wir erhalten
deshalb wegen
1 =
∑
j:pij >0
pij ≤
∑
j∈Sr+1
pij = Pi (M1 ∈ Sr+1 )
das Gewünschte. Wir notieren, dass natürlich analog Pi (Mn ∈ Sr+n ) = 1 für alle
0 ≤ r < d und n ≥ 2 folgt.
0
Gegeben irgendeine weitere zyklische Zerlegung S00 , ..., Sd−1
des Zustands0
0
raums, wobei wiederum Snd+r = Sr für n ≥ 1 und 0 ≤ r < d gelte, sei 0 ≤ q < d
derart gewählt, dass i0 ∈ S0 ∩ Sq0 . Für jedes j ∈ Sr , 0 < r < d, existiert dann ein
(nd+r)
0 , wegen q + r 6≡ q mod d also
n ≥ 1, so dass pi0 j
> 0. Damit folgt aber j ∈ Sq+r
0
0
j 6∈ Sq , was Sr ∩ Sq = 0/ für alle 0 < r < d zeigt, d.h. S0 = Sq0 . Letzteres ist aber
0
gleichbedeutend mit Sr = Sq+r
für alle 0 ≤ r < d.
t
u
Das Verhalten periodischer DMK beschreibt nun der folgende Satz.
Satz 4.15. Sei M eine d-periodische, positiv rekurrente DMK M mit zyklischer Zerlegung S0 , ..., Sd−1 des Zustandsraums (d ≥ 2). Dann gilt:
(a)
(b)
Das d-Skelett (Mnd )n≥0 bildet auf jeder zyklischen Klasse Sr , 0 ≤ r < d, eine
ergodische DMK mit eindeutiger stationärer Verteilung π (r) .
M besitzt die eindeutig bestimmte stationäre Verteilung
π =
1 d (r)
∑ π = µii−1 i∈S ,
d k=1
86
(c)
4 Ergodensätze für positive rekurrente Markov-Ketten
1
folglich π (r) = d π(·∩Sr ) und P
π (Mn ∈ Sr ) = d für
alle 0 ≤ r < d und n ≥ 0.
1 n
Mk
Zeitmittelkonvergenz: limn→∞ n+1 ∑k=0 Pλ − π für alle λ ∈ P(S ), insbesondere
1
(n)
C- lim pij = π j =
(4.19)
n→∞
µ jj
für alle i, j ∈ S (gleichmäßig in j).
Im d-periodischen Fall besitzt somit jede zyklische Klasse unter der weiterhin
eindeutigen stationären Verteilung dieselbe Wahrscheinlichkeit 1/d, und M verhält
sich bei Einschränkung der Zeitachse auf Vielfache von d, d.h. bei Betrachtung des
d-Skeletts (Mnd )n≥0 , sowie einer auf nur eine zyklische Klasse konzentrierten Anfangsverteilung wie eine ergodische DMK, auf die die Ergebisse des vorherigen
Teilabschnitts hinsichtlich ihres Langzeitverhaltens angewendet werden können.
Darüber hinaus konvergiert M immer noch im Zeitmittel gegen π.
Beweis. (a) ergibt sich leicht aus der Definition der zyklischen Klassen sowie dem
Ergodensatz 4.5, was die Eindeutigkeit von π (r) betrifft.
M
Für Teil (c) setzen wir λ (k) := Pλ k für k = 0, ..., d − 1. Dann folgt
1 m−1 d−1
1 n
Mkd+r
Mk
Pλ − π = lim Pλ
− π
lim ∑
∑
∑
m→∞ md
n→∞ n + 1
k=0
k=0 r=0
!
1 d−1 m−1
Mkd+r
(r) = lim Pλ
−π
∑
∑
m→∞ md
r=0 k=0
1 d−1 m−1 Mkd
≤ lim
∑ ∑ Pλ (r) − π (r) = 0,
m→∞ md
r=0 k=0
und daraus mittels eines ähnlichen Arguments wie in (4.12) auch die Eindeutigkeit
von π sowie anschließend π = (µii−1 )i∈S unter Hinweis auf Satz 4.3. Die übrigen
Behauptungen in Teil (b) kann der Leser leicht selbst nachprüfen.
t
u
4.7 Pfadweise Ergodizität
Aus statistischer Sicht stellt sich die Frage, ob die Übergangswahrscheinlichkeiten
pij einer positiv rekurrenten DMK mittels der kanonischen empirischen Schätzer
pbij (n) :=
∑nk=0 1{Mk =i,Mk+1 = j}
∑nk=0 1{Mk =i}
asymptotisch konsistent geschätzt werden können, ob also
4.7 Pfadweise Ergodizität
87
lim pbij (n) = pij
n→∞
Pλ -f.s.
für alle i, j ∈ S und λ ∈ P(S ) gilt. Die positive Antwort ergibt sich aus dem
nachfolgenden pfadweisen Ergodensatz für positiv rekurrente DMK.
Satz 4.16. (Pfadweiser Ergodensatz für DMK) Sei M = (Mn )n≥0 eine positiv rekurrente DMK mit stationärer Verteilung π. Dann konvergieren die empirischen
1
Verteilungen n+1
∑n+1
k=0 δMk Pλ -f.s. punktweise gegen π, d.h.
1 n
∑ 1A (Mk ) = π(A) Pλ -f.s.
n→∞ n + 1
k=0
lim
(4.20)
für jedes A ⊂ S und jede Anfangsverteilung λ .
Anmerkung 4.17. Geht man in (5.1) zum Erwartungswert über, erhält man die schon
gezeigte Zeitmittelkonvergenz
!
n
1
1 n+1
lim
E ∑ 1A (Mk ) = π(A)
lim
∑ Pλ (Mk ∈ A) = n→∞
n→∞ n + 1
n+1
k=0
k=0
für alle A ⊂ S und λ ∈ P(S ).
Zum Beweis des Satzes benötigen wir das folgende einfache Lemma.
Lemma 4.18. Sei (Sn )n≥0 ein RW auf R mit unabhängigen (auch von S0 ) und identisch verteilten Zuwächsen X1 , X2 , ... mit Erwartungswert µ ∈ (0, ∞]. Sei ferner
ν(t) = inf{n ≥ 0 : Sn > t} für t ≥ 0. Dann gilt
lim
t→∞
ν(t)
1
=
t
µ
f.s.,
sofern wieder ∞−1 := 0 vereinbart wird.
Beweis. Unter Benutzung von limt→∞ ν(t) = ∞ f.s., folglich
lim
t→∞
Sν(t)−1
Sν(t)
= lim
= µ
t→∞ ν(t)
ν(t)
f.s.
nach dem starken Gesetz der großen Zahlen (auch im Fall µ = ∞), und der Ungleichung Sν(t)−1 ≤ t < Sν(t) ergibt sich die Behauptung leicht vermöge
Sν(t)−1
Sν(t)
t
≤
≤
ν(t)
ν(t)
ν(t)
f.s.
88
4 Ergodensätze für positive rekurrente Markov-Ketten
und einem Grenzübergang t → ∞.
t
u
Beweis (von Satz 4.16). Wir definieren zur Abkürzung
n
Nn (A) :=
∑ 1A (Mk )
k=0
für A ⊂ S und n ≥ 0. Offenbar reicht es, die Behauptung (5.1) unter Pi für beliebiges i ∈ S nachzuweisen. Zu diesem Zweck sei, für beliebig fixiertes i, (σn )n≥0 die
Folge der sukzessiven Rückkehrzeiten in den Zustand i, insbesondere also σ1 = τ(i).
Diese hat gemäß Korollar 3.17 unter Pi die unabhängigen, identisch verteilten
Zuwächse τn (i) mit Erwartungswert µii . Setzen wir nun ν(n) := inf{k ≥ 0 : σk > n}
für n ≥ 0, so erhalten wir wegen Nσν(n)−1 (A) ≤ Nn (A) ≤ Nσν(n) (A) die Ungleichung
Nσν(n) (A) ν(n)
Nσν(n)−1 (A) ν(n)
Nn (A)
·
≤
≤
·
ν(n)
n+1
n+1
ν(n)
n+1
für alle n ≥ 0. Ferner gilt
n
Nσn −1 (A) =
∑
k=1
σk −1
∑
l=σk−1
f.s.
(4.21)
!
1A (Ml ) ,
d.h. Nσn −1 (A) besitzt gemäß Satz 3.16 unter Pi unabhängige, identisch verteilte
Zuwächse. Das starke Gesetz der großen Zahlen liefert deshalb
!
τ(i)−1
Nσn −1 (A)
lim
= Ei ∑ 1A (Mk ) = µii π(A) f.s.,
n→∞
n
k=0
und dieselbe Aussage natürlich auch für n−1 Nσn (A). Kombinieren wir dies mit
n−1 ν(n) → µii−1 Pi -f.s. gemäß Lemma 4.18, so folgt die Behauptung per Grenzübergang n → ∞ in (4.21).
t
u
4.8 Das Blackwellsche Erneuerungstheorem für diskrete
Erneuerungsprozesse
Eng verbunden mit dem Ergodensatz für DMK ist das Blackwellsche Erneuerungstheorem für diskrete aperiodische Random Walks auf Z (Satz 4.20), wie wir in
diesem Abschnitt kurz zeigen werden. Genauer gesagt lässt sich jedes der beiden
Resultate aus dem jeweils anderen folgern.
Sei (Xn )n≥1 eine Folge unabhängiger, identisch Zufallsgrößen mit Werten in N,
aperiodischer 3 Verteilung (pn )n≥1 , d.h.
Im Kontext beliebiger Verteilungen auf R nennt man eine derartige Verteilung auch 1-arithmetisch (+ [1, Def. 41.14])
3
4.8 Das Blackwellsche Erneuerungstheorem für diskrete Erneuerungsprozesse
89
ggT{n ∈ N : pn > 0} = 1,
und Erwartungswert µ = ∑n≥1 npn . Sei außerdem S0 eine von (Xn )n≥1 unabhängige
Zufallsgröße mit beliebiger Verteilung auf N. Dann bildet der zugehörige Summenprozess
n
Sn := S0 + ∑ Xk
k=1
für n ≥ 1
einen diskreten Random Walk auf Z [+ Abschnitt 2.10], der auch als diskreter
Erneuerungsprozess bezeichnet wird. Der Grund hierfür besteht in der Interpretation der Sn als Zeitpunkte, zu denen einen wiederkehrendes Ereignis, beispielsweise
der Ausfall einer technischen Komponente, auftritt und zu einem Neustart führt, die
auch als Erneuerung bezeichnet wird.
Für n ≥ 0 sei
T (n) := inf{k ≥ 0 : Sk > n}
der erste Zeitpunkt, zu dem der Erneuerungsprozess das Niveau n überschreitet.
Definiere die Folge der Vorwärts-Rekurrenzzeiten
Mn := ST (n) − n,
n ≥ 0,
(4.22)
die offenbar eine DMK auf N mit M0 = S0 und den Übergangswahrscheinlichkeiten


 p j , falls i = 1,
pij = 1, falls i ≥ 2 und j = i − 1,


0, sonst
bildet.
Lemma 4.19. Die DMK (Mn )n≥0 is rekurrent und aperiodisch auf
S := {n ∈ N : P(X ≥ n) > 0},
und es gilt positive Rekurrenz genau dann, wenn µ endlich ist. In diesem Fall besitzt
die Kette die eindeutige stationäre Verteilung π = (π j ) j≥1 , gegeben durch
πj =
P(X1 ≥ j)
,
µ
(4.23)
wobei π j = 0 für j ∈ S c .
Beweis. Die Irreduzibilität auf S überprüft der Leser leicht selbst. Für die Aperiodizität notieren wir, dass
(n)
p11 ≥ P1 (M1 = n, Mn−1 = n − 1, ..., Mn = 1) = pn
90
4 Ergodensätze für positive rekurrente Markov-Ketten
für alle n ≥ 1 gilt und (pn )n≥1 aperiodisch ist. Da der Zustand 1 von (Mn )n≥0 offenkundig unendlich oft besucht wird, ist die Kette rekurrent. Aus P1 (τ(1) = X1 ) = 1
folgt schließlich µ11 = EX1 = µ und somit die positive Rekurrenz genau dann, wenn
µ < ∞.
Für j ≥ 2 impliziert
πj =
∑ πi pij
also π j − π j+1 = π1 p j
= π1 p j + π j+1 ,
i≥1
die Beziehung
πj =
∑ (πk − πk+1 )
k≥ j
= π1 ∑ pk = π1 P(X1 ≥ j),
k≥ j
die offenbar auch für j = 1 richtig bleibt, was unter Benutzung von ∑i≥1 πi = 1
1 = π1 ∑ P(X1 ≥ i) = π1 µ,
also π1 =
i≥1
1
µ
und schließlich π gemäß (4.23) als eindeutige Verteilung von (Mn )n≥0 liefert.
t
u
Mithilfe des Ergodensatzes für DMK können wir nun leicht das Blackwellsche
Erneuerungstheorem für diskrete Erneuerungsprozesse (Sn )n≥0 mit aperiodischer
und integrierbarer Zuwachsverteilung auf N herleiten, welches die asymptotische
Wahrscheinlichkeit limn→∞ un für das Auftreten einer Erneuerung angibt, wobei
!
un := P(Sk = n für ein k ≥ 0) = E
∑ 1{Sk =n}
k≥0
=
∑ P(Sk = n)
k≥0
die sogenannte diskrete Erneuerungsdichte von (Sn )n≥0 bezeichnet. Bedenkt man,
dass im Mittel alle µ Zeiteinheiten eine Erneuerung stattfindet, so steht zu erwarten,
dass un → µ −1 gilt. Genau dies bestätigt der angekündigte Satz, die diskrete Version
des Blackwellschen Erneuerungstheorems, das von E RD ÖS , F ELLER & P OLLARD
[6] stammt.4
Satz 4.20. Sei (Sn )n≥0 ein diskreter aperiodischer Erneuerungsprozess wie zu Beginn des Abschnitts spezifiziert. Dann gilt
lim un =
n→∞
1
µ
(4.24)
für die zugehörige Erneuerungsdichte (un )n≥0 , und das Ergebnis bleibt im Fall µ =
∞ gültig, sofern man die übliche Vereinbarung ∞−1 := 0 trifft.
4
Es ist jedoch nach DAVID B LACKWELL benannt, auf den das Resultat im schwierigeren nichtarithmetischen Fall zurückgeht [4, 5].
4.9 Gleichmäßige und exponentielle Ergodizität
91
Beweis. Für die positiv rekurrente DMK (Mn )n≥0 der Vorwärts-Rekurrenzzeiten
liefert der Ergodensatz 4.11
lim Pλ (Mk = 1) = π1 =
k→∞
1
.
µ
für alle λ ∈ P(S ). Beachtet man nun noch, dass
{Sk = n für ein k ≥ 0} = {Sτ(n−1) − n − 1 = 1} = {Mn−1 = 1}
für alle n ≥ 1 gilt, so folgt offenkundig (4.24) aus
un = Pλ (Mn−1 = 1),
λ = (pk )k≥1 .
Im Fall µ = ∞ ist (Mn )n≥0 gemäß Lemma 4.19 null-rekurrent, und deshalb folgt
un = Pλ (Mn−1 = 1) → 0 unter Vorgriff auf Satz 5.7 in Abschnitt 5.3.
t
u
Anmerkung 4.21. Das nachfolgende Argument zeigt, wie man umgekehrt mithilfe
von Satz 4.20 sehr leicht den Ergodensatz 4.11 für DMK folgern kann, genauer die
Aussage
1
(n)
lim p =
n→∞ ij
µ jj
für alle i, j ∈ S . Bezeichnet (σn ( j))n≥1 wie bisher die Folge der sukzessiven Rückkehrzeiten in den Zustand j, so bildet dieser gemäß Korollar 3.17 unter jedem Pi
einen diskreten aperiodischen Erneuerungsprozess mit µ = µ jj < ∞. Außerdem gilt
die Beziehung
(n)
pij
= Pi (σk ( j) = n für ein k ≥ 1) =
∑ P j (σk ( j) = n)
k≥1
für alle i, j ∈ S und n ∈ N. Damit liefert Satz 4.20 offenbar die obige Konvergenz(n)
aussage für pij .
4.9 Gleichmäßige und exponentielle Ergodizität
Eine weitere Stärke der Kopplungsmethode besteht darin, auf elegante Weise schärfere Aussagen über die Konvergenz in (4.10) gewinnen zu können, im hier gegebenen
Kontext vermöge einer genaueren Abschätzung der Überlebensfunktion Pλ ,π (T >
n) der Kopplungszeit T in der entscheidenden Ungleichung (4.15). Natürlich bedarf es dazu geeigneter Zusatzvoraussetzungen an die betreffende Markov-Kette.
Verschärfungen der angedeuteten Art besitzen zwei Stoßrichtungen, die zudem
kombinierbar sind:
(1)
Eine Abschätzung von Pλ ,π (T > n) durch eine nicht mehr von der Anfangsverteilung λ abhängigen Schranke mit dem Ziel des Nachweises von
92
4 Ergodensätze für positive rekurrente Markov-Ketten
lim
n
sup kPM
λ − πk = 0.
(4.25)
n→∞ λ ∈P(S )
In diesem Fall heißt M gleichmäßig ergodisch.
(2)
Eine Abschätzung von Pλ ,π (T > n) durch C(λ ) f (n) für alle λ ∈ P0 (S ) ⊂
P(S ), n ≥ 0 und eine geeignete Konstante C(λ ) > 0, wobei f : N0 → [0, ∞)
eine für n → ∞ gegen 0 konvergente Funktion bezeichnet, typischerweise
f (n) = n−β oder f (n) = e−β n für ein β > 0. Dies liefert eine Aussage über
die Konvergenzrate in (4.10), nämlich
n
kPM
λ − πk ≤ C(λ ) f (n)
(4.26)
für alle λ ∈ P0 (S ) und n ≥ 0. In aller Regel betrachtet man P0 (S ) = {δi :
i ∈ S }. Im Fall dieser Klasse von Anfangsverteilungen und f (n) = e−β n
heißt M exponentiell oder auch geometrisch ergodisch, denn
n
lim eγn kPM
i − πk = 0
n→∞
für alle i ∈ S und γ < β .
Eine Kombination von (4.25) mit (4.26) für f (n) = e−β n und P0 (S ) = P(S )
führt zur besonders starken gleichmäßig exponentiellen Ergodizität:
−β n
n
sup kPM
λ − πk ≤ Ce
(4.27)
λ ∈P(S )
für alle n ≥ 0 und damit
lim eγn
n→∞
n
sup kPM
λ − πk = 0
λ ∈P(S )
für alle γ < β . Diese wollen wir im Folgenden unter der sogenannten
Doeblin-Bedingung:
(n )
∃ i0 ∈ S , n0 ≥ 1 : α(i0 , n0 ) := inf pii00 > 0.
i∈S
beweisen, die insbesondere für jede ergodische EMK M erfüllt ist, weil dann offenbar
(n)
lim min pij = π j > 0
n→∞ i∈S
für alle j ∈ S gilt. Eine DMK, welche der Doeblin-Bedingung genügt, wird manchmal auch Doeblin-Kette genannt., und die vorherige Feststellung zeigt, dass jede
ergodische EMK von diesem Typ ist.
Satz 4.22. Sei M eine ergodische DMK, die die obige Doeblin-Bedingung für ein
i0 ∈ S und n0 ≥ 1 erfüllt (α = α(i0 , n0 )). Dann ist M gleichmäßig exponentiell ergodisch, und zwar gilt (4.27) mit C = (1−α 2 )−(n0 −1)/n0 und β = − log(1−α 2 )1/n0 ,
4.9 Gleichmäßige und exponentielle Ergodizität
93
d.h.
2 (n−n0 +1)/n0
n
sup kPM
λ − πk ≤ (1 − α )
(4.28)
λ ∈P(S )
für alle n ≥ 0.
Den Schlüssel zum Beweis des Satzes geben wir mit einem Lemma:
Lemma 4.23. Gegeben eine DMK M, die die obige Doeblin-Bedingung für ein i0 ∈
S und n0 ≥ 1 erfüllt, gilt mit α = α(i0 , n0 )
Pλ (τ(i0 ) > kn0 ) ≤ (1 − α)k
(4.29)
für alle k ≥ 0 und λ ∈ P(S ).
Beweis. Es genügt offensichtlich, die Behauptung für jedes λ = δi , i ∈ S , zu zeigen. Dann ergibt sich mit Hilfe der Markov-Eigenschaft für alle k ≥ 1 die rekursive
Abschätzung
Pi (τ(i0 ) > kn0 ) ≤ Pi (τ(i0 ) > (k − 1)n0 , Mkn0 6= i0 )
=
∑ Pi (τ(i0 ) > (k − 1)n0 , M(k−1)n0 = j, Mkn0 6= i0 )
j6=i0
=
(n )
∑ Pi (τ(i0 ) > (k − 1)n0 , M(k−1)n0 = j)(1 − p ji00 )
j6=i0
≤ (1 − α) Pi (τ(i0 ) > (k − 1)n0 )
und daraus die Behauptung per Induktion über k.
t
u
Beweis (von Satz 4.22). Wir betrachten wieder das im Beweis von Satz 4.5 eingeführte Kopplungsmodell (Ω , A, M ⊗ M 0 , (Pν )ν∈P(S 2 ) ) und notieren als erstes,
dass auch die bivariate Kette M ⊗ M 0 die Doeblin-Bedingung erfüllt, und zwar mit
demselben n0 wie M und (i0 , i0 ) anstelle von i0 . Es gilt nämlich vermöge der Unabhängigkeit von M und M 0
(n )
inf p(i,0j),(i
i, j∈S
0 ,i0 )
(n ) (n )
= inf pii00 p ji00 ≥ α 2 .
i, j∈S
(4.30)
Beachten wir nun, dass die Kopplungszeit T = inf{n ≥ 0 : Mn = Mn0 } durch die
0
Ersteintrittszeit τ M⊗M (i0 , i0 ) = inf{n ≥ 1 : (Mn , Mn0 ) = (i0 , i0 )} der bivariaten Kette
0
M ⊗ M in den Zustand (i0 , i0 ) beschränkt ist, so folgt aus (4.30) und Lemma 4.23
für alle λ ∈ P(S ) und n ≥ 0, wobei n = kn0 + r mit k ≥ 0 und 0 ≤ r < n0 ,
0
Pλ ,π (T > n) ≤ Pλ ,π (τ M⊗M (i0 , i0 ) > n)
94
4 Ergodensätze für positive rekurrente Markov-Ketten
0
≤ Pλ ,π (τ M⊗M (i0 , i0 ) > kn0 )
≤ (1 − α 2 )k = e−β kn0 ≤ Ce−β n ,
was zusammen mit (4.15) die Behauptung des Satzes beweist.
t
u
Gilt die Doeblin-Bedingung, bei festem n0 , für mehr als einen Zustand i0 , so läßt
sich die obere Schranke in (4.28)) leicht verbessern. Der Leser beweise als Übung,
dass generell gilt:
sup
λ ∈P(S )
n
kPM
λ
− πk ≤
1−
∑
j∈S
α 2j
!(n−n0 +1)/n0
(4.31)
für alle n ≥ 0 und n0 ≥ 1, wobei α j = α( j, n0 ). Ist die Doeblin-Bedingung verletzt,
d.h. α( j, n0 ) = 0 für alle j, n0 , so hat die obere Schranke offenkundig stets den
bedeutungslosen Wert 1. Ferner erwähnen wir, dass die erzielten Abschätzungen
(n)
wiederum auch für die Post-n-Folgen M (n) gültig bleiben, d.h. für kPM
− PM
πk
λ
Mn
anstelle von kPλ − πk (vgl. Korollar 4.6).
Kapitel 5
Null-rekurrente Markov-Ketten
In diesem Kapitel wollen wir die wesentlichen Eigenschaften null-rekurrenter MK
zusammentragen, deren Zustandsraum gemäß Satz 3.29 immer unendlich ist und
zu denen etwa die symmetrischen Irrfahrten auf Z und Z2 gehören. Wie im positiv
rekurrenten Fall, stehen auch hier die Frage nach der Existenz und Eindeutigkeit
eines stationären Maßes sowie die des Langzeitverhaltens im Vordergrund.
5.1 Essentielle Eindeutigkeit des stationären Maßes
Wir hatten in Satz 4.1 bereits festgestellt, dass null-rekurrente DMK mindestens ein,
potentiell sogar unendlich viele stationäre Maße besitzen, nämlich die Okkupationsmaße
!
τ(i)−1
(i)
π = Ei
∑
n=0
1{Mn ∈·}
für beliebiges i ∈ S . Wir werden als erstes zeigen, dass sich die Menge aller stationären Maße und somit insbesondere die Klasse {(i) π : i ∈ S } modulo skalares
Vielfaches auf ein Maß reduziert, was wir als essentielle Eindeutigkeit bezeichnen.
Satz 5.1. Sei M = (Mn )n≥0 eine null-rekurrente DMK mit Zustandsraum S . Dann
besitzt M ein essentiell eindeutig bestimmtes stationäres Maß π, das stets unendliche Masse hat, also π(S ) = ∞, und überall positiv ist, d.h. πi > 0 für alle i ∈ S .
Beweis. Wir müssen nur noch die Eindeutigkeit bis auf skalares Vielfaches zeigen
und bedienen uns hierfür einmal mehr der Besuchskette. Seien dazu π, π 0 zwei stationäre Maße von M und R eine beliebige endliche Teilmenge von S . Gemäß Satz
4.8 definiert dann die entsprechende Besuchskette M R eine positiv rekurrente EMK,
und ihre eindeutige stationäre Verteilung ergibt sich als normierte Einschränkung
von sowohl π als auch π 0 auf R, d.h.
95
96
5 Null-rekurrente Markov-Ketten
π(· ∩ R) =
π(R) 0
π (· ∩ R).
π 0 (R)
Sofern wir noch zeigen können, dass c := ππ(R)
0 (R) gar nicht von der Wahl von R abhängt, stimmen π und π 0 also auf jeder endlichen Teilmenge von S und dann auch
auf ganz S bis auf den Faktor c überein.
Sei dazu R 0 eine weitere endliche Teilmenge von S und U := R ∪ R 0 . Dann
folgt
π(R) = π(R ∩ U ) =
π(U ) 0
π(U ) 0
π (R ∩ U ) = 0
π (R)
π 0 (U )
π (U )
und analog
π(R 0 ) = π(R 0 ∩ U ) =
π(U ) 0 0
π(U ) 0 0
π (R ∩ U ) = 0
π (R ),
0
π (U )
π (U )
also insgesamt
π(R)
π(U )
π(R 0 )
=
=
,
π 0 (R)
π 0 (U )
π 0 (R 0 )
was π = cπ 0 beweist und somit auch π = ci (i) π für alle i ∈ S und geeignete ci > 0.
Aus der letzten Feststellung ergibt sich außerdem π(S ) = (i) π(S ) = µii = ∞ sowie
πi = ci (i) πi = ci > 0.
t
u
5.2 Zeitmittelkonvergenz
Sei im Folgenden M = (Mn )n≥0 eine null-rekurrente DMK mit Übergangsmatrix
P = (pij )i, j∈S und essentiell eindeutigem stationären Maß π. Es bezeichne
Sπ := {A ⊂ S : π(S ) < ∞}
die Klasse der π-endlichen Mengen. Der nachfolgende Satz über die Zeitmittelkonvergenz für null-rekurrente DMK lässt sich nunmehr leicht aus den bisher erzielten
Ergebnissen folgern.
Satz 5.2. In der zuvor beschriebenen Situation gelten folgenden Aussagen:
(a)
Die empirischen Verteilungen
punktweise gegen 0, d.h.
1
n+1
∑nk=0 δMk konvergieren auf Sπ Pλ -f.s.
1 n
∑ δMk (A) = 0
n→∞ n + 1
k=0
lim
für jedes A ∈ Sπ und jede Anfangsverteilung λ .
Pλ -f.s.
(5.1)
5.2 Zeitmittelkonvergenz
(b)
97
Die Césaro-Mittel
gegen 0, also
1
n+1
M
∑nk=0 Pλ k konvergieren auf Sπ ebenfalls punktweise
1 n Mk
∑ Pλ (A) = 0
n→∞ n + 1
k=0
(5.2)
lim
für jedes A ∈ Sπ und jede Anfangsverteilung λ sowie insbesondere
(n)
C- lim pij
n→∞
= 0
(5.3)
für alle i, j ∈ S .
Anmerkung 5.3. Wie man leicht sieht, bildet das System
Sπ = {A ⊂ S : π(A) < ∞ oder π(Ac ) < ∞}
der π-endlichen und π-ko-endlichen Mengen eine σ -Algebra über S , und für A ∈
Sπ gilt das 0-1-Gesetz
1 n Mk
1 n
δMk (A) = lim
∑
∑ Pλ (A) ∈ {0, 1}
n→∞ n + 1
n→∞ n + 1
k=0
k=0
lim
Pλ -f.s.
für alle λ ∈ P(S ).
1
Anmerkung 5.4. Offensichtlich besagt (5.1) gerade n+1
∑nk=0 1A (Mk ) → 0 Pλ -f.s. für
jedes A ∈ Sπ ., und (5.2) bildet nichts anderes als die L1 -Version dieser Aussage,
denn
!
1 n Mk
1 n
(5.4)
∑ Pλ (A) = Eλ n + 1 ∑ 1A (Mk ) .
n + 1 k=0
k=0
Anmerkung 5.5. Per Funktions-Erweiterungsargument erhält man die folgende Verallgemeinerung von Satz 5.2: Bezeichnet bSπ den Raum aller beschränkten Funktionen f : S → R mit Träger in Sπ , d.h. f |Ac ≡ 0 für ein A ∈ Sπ , so implizieren
(5.1) und (5.2)
1 n
∑ f (Mk ) = 0
n→∞ n + 1
k=0
lim
Pλ f.s.
(5.5)
beziehungsweise
1 n
∑ Eλ f (Mk ) = 0
n→∞ n + 1
k=0
lim
(5.6)
für alle f ∈ bSπ und λ ∈ P(S ).
Anmerkung 5.6. Kombiniert man (5.3) mit (4.19) aus Satz 4.15, so gilt nunmehr
allgemein im Fall einer rekurrenten DMK
98
5 Null-rekurrente Markov-Ketten
(n)
C- lim pij
n→∞
=
1
µ jj
für alle i, j ∈ S .
Beweis (von Satz 5.2). (a) Sei i ∈ S ein beliebig gewählter Zustand und (σn )n≥1
einmal mehr die Folge der sukzessiven Rekurrenzzeiten in diesen Zustand, insbesondere also σ1 = τ(i). Da alle Zustände rekurrent und verbunden sind, folgt σn < ∞
P j -f.s. für alle n ≥ 1 und j ∈ S . Unter Pi sind die Zyklen
n≥0
Zn = (τn+1 , Mσn , ..., Mσn+1 −1 ),
[ σ0 := 0 ]
unabhängig und identisch verteilt (+ Satz 3.16), wobei insbesondere σn aus den
unabhängigen, identisch verteilten Summanden τ1 = τ(i), τ2 , ..., τn mit Erwartungswert µii = ∞ besteht. Wie im Beweis von Satz 4.16 sei Nn (A) = ∑nk=0 1A (Mk ) für
A ⊂ S und n ≥ 0, folglich
Nσn −1 (A) =
σn −1
∑
n
1A (Mk ) =
k=0
∑ fA (Zk−1 ),
k=1
wobei
n−1
fA (n, s0 , ..., sn−1 ) :=
∑ 1A (sk )
k=0
ν(m) := inf{n ≥ 1 : σn > m}
für A ⊂ S , m ∈ N0 , n ∈ N und (s0 , ..., sn−1 ) ∈ S n . Dann gilt
n
Nσν(n) −1 (A) ≤
und somit (+ (4.21))
!
Nσν(n) −1 (A)
σν(n) − 1
ν(n) − 1
n+1
∑ 1A (Mk )
k=0
≤ Nσν(n) (A)
Nσν(n) (A)
≤ Nn (A) ≤
ν(n)
!
ν(n)
.
n+1
(5.7)
Mit Hilfe des starken Gesetzes der großen Zahlen sowie von Lemma 4.18 erhalten
wir
lim
n→∞
Nσν(n) (A)
ν(n)
= Ei fA (Z0 ) bzw.
lim
n→∞
ν(n)
1
=
= 0
n
µii
wobei außerdem
τ(i)−1
Ei fA (Z0 ) = Ei
∑
k=0
!
1A (Mk )
=
(i)
π(A).
Pi -f.s.,
(5.8)
5.3 Und noch zwei Konvergenzsätze
99
Beachtet man noch, dass (i) π gemäß Satz 5.1 das essentiell eindeutige stationäre
Maß von M ist, so ergibt sich in (5.7) für jedes A ⊂ Sπ offenbar (5.1) für λ = δi
und damit aber auch für jedes λ ∈ P(S ).
(b) (5.2) folgt unter Hinweis auf (5.4) und dem Satz von der majorisierten Konvergenz direkt aus (5.1).
t
u
5.3 Und noch zwei Konvergenzsätze
Satz 5.2 lässt offen, ob nicht schon Pλ (Mn ∈ A) für jedes A ∈ Sπ und λ ∈ P(S )
gegen 0 konvergiert, falls n → ∞. Wir bestätigen dies für endliche A ⊂ S mit dem
folgenden Konvergenzsatz, der nochmals das Kopplungsmodell aus dem Beweis
von Satz 4.5 bemüht. Im Anschluss sind wir in der Lage, ganz allgemein das Ver(n)
halten der Übergangswahrscheinlichkeiten pij für n → ∞ zu beschreiben (Satz 5.9).
Satz 5.7. Gegeben eine null-rekurrente DMK M mit stationärem Maß π, gilt
lim Pλ (Mn ∈ A) = 0
(5.9)
n→∞
für alle endlichen A ⊂ S und Anfangsverteilungen λ , also insbesondere
(n)
lim p
n→∞ ij
= 0
(5.10)
für alle i, j ∈ S .
Beweis. Angenommen, es gibt ein endliches A ⊂ S , ein λ ∈ P(S ) und eine Teilfolge (n(k))k≥1 , so dass
lim Pλ (Mn(k) ∈ A) = lim
k→∞
(n(k))
k→∞
∑ ∑ λi pij
> 0.
i∈S j∈A
Ein einfaches Kompaktheitsargument (analog zu dem im Auswahlsatz von Helly)
(n0 (k))
zeigt die Existenz einer weiteren Teilfolge (n0 (k))k≥1 von (n(k))k≥1 , so dass pij
für alle i, j ∈ S konvergiert, kurz
0
lim P n (k) = Q
k→∞
(n0 (k))
für eine Matrix Q = (qij )i, j∈S . Da ∑ j∈A pij
≤ |A| < ∞ für alle i ∈ S und k ≥ 1,
folgt dann aufgrund majorisierter Konvergenz weiter
(n0 (k))
0 < c = lim
∑ ∑ λi pij
k→∞
i∈S j∈A
=
∑ ∑ λi qij
i∈S j∈A
100
5 Null-rekurrente Markov-Ketten
und damit qi0 j0 > 0 für mindestes ein Paar (i0 , j0 ) ∈ S × A, d.h. Q 6= 0. Beachte
ferner, dass sich unter Verwendung des Fatouschen Lemmas
1 = lim
∑
k→∞
(n0 (k))
pij
j∈S
≥
(5.11)
∑ qij
j∈S
für alle i ∈ S ergibt. Alle Zeilensummen in Q sind demnach ≤ 1 (substochastische
Matrix).
Betrachte nun die bivariate Kette M ⊗ M 0 aus dem Beweis von Satz 4.5, die be(n0 (k))
kanntlich wiederum irreduzibel ist. Aus pi0 j0 → qi0 j0 > 0 folgt
(n)
∑ p(i0 ,i0 ),( j0 , j0 )
=
(n)
pi0 j0
∑
n≥1
n≥1
2
= ∞,
gemäß Satz 3.22, also die Rekurrenz von ( j0 , j0 ) für M ⊗ M 0 und damit aus Solidarität die Rekurrenz der Kette selbst. M und M 0 lassen sich folglich in endlicher Zeit
b der
T erfolgreich koppeln, und es ergibt sich mittels der Kopplungsungleichung (M
Kopplungsprozess)
(n)
(n) bn = j)
pi1 j − pi2 j = Pi1 ,i2 (Mn = j) − Pi1 ,i2 (M
n→∞
≤ Pi1 ,i2 (T > n) −→ 0
für alle i1 , i2 , j ∈ S . Somit hängt qij = q• j gar nicht von i ab, was insbesondere
bedeutet, dass jede Spalte von Q konstante Komponenten besitzt. Multipliziert man
nun Q von links mit der stochastischen Matrix P (alle Zeilensummen = 1), folgt
PQ = Q und daraus weiter mit dem Satz von der majorisierten Konvergenz
0
0
k→∞
P n (k)+1 = PP n (k) −→ PQ = Q.
Schließlich liefert das Fatousche Lemma für alle j ∈ S
(n0 (k)+1)
q• j = lim pij
k→∞
= lim
k→∞
∑
(n0 (k))
pil
l∈S
pl j ≥
∑ q•l pl j ,
l∈S
so dass aus
0 ≤
∑
j∈S
q• j −
∑ q•l pl j
l∈S
!
=
∑ q• j
j∈S
−
∑ q•l ∑
l∈S
pl j = 0
j∈S
| {z }
=1
q• j = ∑l∈S q•l pl j , d.h. die Invarianz des gemäß (5.11) endlichen Maßes (q• j ) j∈S
für M folgt. Da M andererseits als null-rekurrent vorausgesetzt wurde, besitzt M
gemäß Satz 5.1 nur stationäre Maße unendlicher Gesamtmasse, die sich zudem nur
durch ein skalares Vielfaches unterscheiden. Wir haben demnach einen Widerspruch
produziert.
t
u
5.4 Wie viele stationäre Maße hat eine DMK?
101
Kombiniert man (5.10) mit dem Rekurrenzkriterium in Satz 3.22, so ergibt sich
direkt das folgende Korollar.
Korollar 5.8. Ein Zustand i ∈ S ist genau dann null-rekurrent, wenn
(n)
∑ pii
(n)
lim p
n→∞ ii
= ∞ und
n≥0
=0
(n)
gilt. In diesem Fall folgt ferner limn→∞ p ji = 0 für alle j ∈ S .
Eine Kombination der Sätze 3.22, 4.5, 4.15 und 5.7 erlaubt uns nun auch
eine Antwort auf die Frage nach dem asymptotischen Verhalten der n-Schritt(n)
Übergangswahrscheinlichkeiten pij einer beliebigen DMK.
Satz 5.9. Gegeben eine DMK M = (Mn )n≥0 mit Zustandsraum S , gilt
(nd( j)+r)
lim p
n→∞ ij
=
d( j) Pi (τ( j) ∈ d( j)N0 + r)
µ jj
für alle i, j ∈ S und 0 ≤ r < d( j).
Beweis. Zunächst notieren wir, dass
(nd( j)+r)
pij
nd( j)+r
=
∑
(k) (nd( j)+r−k)
fij p jj
k=0
n
=
(kd( j)+r) ((n−k)d( j))
p jj
∑ fij
k=0
(k)
wegen p jj = 0 für k 6∈ d( j)N0 gilt. Nun gilt aber nach den oben genannten Resultaten (Satz 3.22, falls j transient, Satz 5.7, falls j null-rekurrent, Satz 4.5,
falls j ergodisch, und Satz 4.15, falls j positiv rekurrent und periodisch ist) stets
((n−k)d( j))
= d( j)/µ jj und folglich aufgrund majorisierter Konvergenz
limn→∞ p jj
(nd( j)+r)
lim p
n→∞ ij
=
(kd( j)+r)
∑ fij
k≥0
(kd( j)+r)
was wegen ∑k≥0 fij
((n−k)d( j))
lim p jj
n→∞
=
d( j)
(kd( j)+r)
,
∑ fij
µ jj k≥0
= Pi (τ( j) ∈ d( j)N0 + r) den Beweis abschließt.
t
u
5.4 Wie viele stationäre Maße hat eine DMK?
Gemäß Satz 4.12 ist jede irreduzible DMK M = (Mn )n≥0 , die eine stationäre Verteilung π besitzt, bereits positiv rekurrent und π eindeutig. Lässt sich dies auf den
102
5 Null-rekurrente Markov-Ketten
null-rekurrenten Fall übertragen? Mit anderen Worten: Ist eine irreduzible DMK mit
essentiell eindeutigem stationären Maß unendlicher Masse bereits null-rekurrent?
Offenbar führt uns dies zu der allgemeineren Frage, wie viele stationäre Maße eine
DMK haben kann, mit der wir uns zum Ende dieses Kapitels kurz auseinandersetzen wollen. Als erstes notieren wir, dass eine reduzible DMK M, deren Zustandsraum in (notwendig abgeschlossene) Rekurrenzklassen Rα zerfällt, gleich unendlich viele stationäre Maße besitzt, die sich nicht bloß durch ein skalares Vielfaches
unterscheiden. M ist nämlich auf jedem Rα eine irreduzible rekurrente DMK mit
einem bis auf skalares Vielfaches eindeutig bestimmten stationären Maß π α , d.h.
πiα ∈ (0, ∞) für i ∈ Rα und = 0 sonst. Dann bildet aber, wie schon in Abschnitt 1.5
bemerkt, auch jede Linearkombination ∑α cα π α mit cα ≥ 0 und ∑α cα > 0 wieder
ein stationäres Maß. Da im übrigen jede DMK M mit mindestens einem rekurrenten Zustand i immer ein stationäres Maß besitzt, nämlich (i) π, bleibt für weitere
Betrachtungen nur noch der transiente Fall, in dem tatsächlich alles möglich ist,
insbesondere auch, dass überhaupt kein stationäres Maß existiert. Zur Illustration
geben wir drei Beispiele:
Beispiel 5.10. (Irrfahrten auf Z) Sei M = (Mn )n≥0 eine Irrfahrt auf Z mit Parametern
p, q ∈ (0, 1), d.h. Mn = M0 + ∑nk=1 Xk mit unter jedem Pi unabhängigen, identisch
verteilten Xk ,
Pi (X1 = 1) = p
und Pi (X1 = −1) = q = 1 − p.
Wie in Abschnitt 3.5 gezeigt wurde, ist M genau dann rekurrent, wenn p = q = 21 .
Jedes stationäre Maß π von M ist eine (nichttriviale) Lösung des Gleichungssystems
π j = ∑i∈Z πi pij , j ∈ Z, d.h. hier
j ∈ Z.
π j = pπ j−1 + qπ j+1 ,
Schreiben wir dieses in der Form
π j+1 − π j =
p
(π j − π j−1 ),
q
j ∈ Z,
ergeben sich offenkundig
π
(1)
= Zählmaß auf Z
und π
(2)
=
p i
q
i∈Z
als linear unabhängige Lösungen, die nur im symmetrischen Fall p = q = 12 – in
dem es nach Satz 5.2(a) ja auch nur ein stationäres Maß bis auf skalares Vielfaches
geben kann – zusammenfallen.
Beispiel 5.11. (Geburtsprozesse) Eine DMK M = (Mn )n≥0 mit Zustandsraum Z
heißt Geburtsprozess auf Z, wenn ihre Übergangswahrscheinlichkeiten pij die Form
5.4 Wie viele stationäre Maße hat eine DMK?

 αi ,
βi ,
pij =

0,
falls j = i + 1
falls j = i
sonst
103
(αi > 0, βi ≥ 0, αi + βi = 1),
haben. Da M nur Übergänge i → i und i → i+1 erlaubt und alle αi positiv sind, strebt
Mn unter jedem Pi f.s. gegen unendlich, wobei die Verweildauer in einem beliebigen Zustand j geometrisch verteilt ist mit Parameter α j . M hat also nur transiente
Zustände. Zur Bestimmung des oder der stationären Maße lösen wir das zugehörige
Gleichungssystem, das hier die besonders einfache Form
π j = α j−1 π j−1 + β j π j ,
das heißt
πj =
α j−1
π j−1 ,
αj
j∈Z
besitzt mit der bis auf skalares Vielfaches eindeutigen Lösung
π0 = 1
und π j =
α0
αj
für j 6= 0.
Als letztes geben wir ein Beispiel, für das überhaupt kein stationäres Maß existiert.
Beispiel 5.12 (Die “Strähnen”-Kette). Sei M = (Mn )n≥0 eine DMK mit Zustandsraum N0 und Übergangsmatrix


q0 p0 0 0 0 . . .
q1 0 p1 0 0 . . .


P = q2 0 0 p2 0 . . . ,


..
..
.
.
wobei pi ∈ (0, 1) für alle i ∈ N0 . Zur Rechtfertigung des Namens “Strähnen”-Kette
betrachtet man am besten den Fall p0 = p1 = ... = p und interpretiert p als Wahrscheinlichkeit, mit der ein Spieler in einem bestimmten unbegrenzt andauernden
Spiel pro Runde gewinnt. Mn = i bedeutet dann offenbar, dass er i aufeinanderfolgende Runden nach einer Niederlage oder nach Spielbeginn für sich entscheidet,
was bekanntlich, zumindest für hinreichend große i, als Lauf oder Glückssträhne
bezeichnet wird (engl. “run” oder “success run”). Gegeben eine unabhängige Folge
(Xn )n≥1 Bern(p)-verteilter Zufallsgrößen, wobei Xn = 1, falls der Spieler die n-te
Runde gewinnt, ergibt sich (Mn )n≥0 zu
Mn = (Mn−1 + 1)1{Xn =1} .
Zurückkehrend zur allgemeinen Situation variabler pi ist intuitiv klar, dass M nur
dann transient ist, d.h. nur endlich oft in den Zustand 0 zurückkehrt (M irreduzibel),
wenn die pi für i → ∞ hinreichend schnell gegen 1 streben, was bedeutet, dass mit
zunehmender Länge einer Glückssträhne eine gegen 1 wachsende Wahrscheinlich-
104
5 Null-rekurrente Markov-Ketten
keit besteht, auch die nächste Runde zu gewinnen. Hier ist die formale Begründung:
Es gilt offenbar für jedes n ≥ 1
(n)
f00 = P0 (M1 = 1, ..., Mn−1 = n − 1, Mn = 0)
= p0 p1 · ... · pn−2 qn−1
!
!
n−2
−
∏ pi
P0 (τ(0) ≤ n) =
∑ f00
=
(5.12)
n−1
∏ pi
i=0
i=0
und folglich
n
0 ist genau dann rekurrent, wenn
∗
f00
(k)
k=1
n−1
= 1 − ∏ pi .
i=0
= P0 (τ(0) < ∞) = 1, also, wenn
n−1
lim
n→∞
∏ pi
= 0.
i=0
Durch Logarithmieren und Benutzung von log(1 − x) ' −x für x → 1 erweist sich
dies wiederum als äquivalent zu
∑ (1 − pi )
=
i≥1
= ∞,
∑ qi
i≥1
was insbesondere die erwartete Eigenschaft pi → 1 für i → ∞ im transienten Fall
bestätigt.
Wenden wir uns schließlich dem Gleichungssystem für stationäre Maße zu, das
hier die Form
π0 =
∑ q i πi
und
π j = p j−1 π j−1
i≥0
für j ≥ 1
annimmt. Ignoriert man zunächst die Invarianzgleichung für π0 , so erhält man als
eindeutige Lösung der übrigen leicht
j−1
π j = π0 ∏ pi .
i=0
Wenn ein stationäres Maß π existiert, wobei wir π0 = 1 wählen dürfen, so folgt aus
der verbliebenen Gleichung unter Hinweis auf (5.12)
n−1
1 =
∑ qn ∏ pi =
n≥0
i=0
(n+1)
∑ f00
∗
= f00
,
n≥0
d.h. die Rekurrenz des Zustands 0. Im transienten Fall existiert also kein stationäres
Maß für die Kette M.
Kapitel 6
Reversibilität: Der Blick zurück
Zeitliche Reversibilität oder kurz Reversibilität einer DMK bedeutet anschaulich,
dass es für ihre Evolution keinen Unterschied macht, ob man die Zeit vorwärts oder
rückwärts liest. Im Folgenden wollen wir diskutieren, unter welchen Voraussetzungen diese Eigenschaft vorliegt und welche Schlüsse aus ihr gezogen werden können.
6.1 Zeitliche Umkehr von Markov-Ketten
Gegeben sei wieder ein Standardmodell (Ω , A, M = (Mn )n≥0 , (Pλ )λ ∈P(S ) ) mit
Übergangsmatrix P = (pij )i, j∈S . Den zum Zeitpunkt N zeitlich invertierten Prozess
b
bn (N))0≤n≤N , d.h.
bezeichnen wir mit M(N)
= (M
(n)
Wir setzen außerdem λi
bn (N) := MN−n .
M
= Pλ (Mn = i) für i ∈ S und n ≥ 0. Dann gilt:
Satz 6.1.
(a)
(n)
Für jedes N ≥ 1 und λ ∈ P(S ) mit λi > 0 für alle n ≥ 0 und i ∈ S bildet
b
M(N)
unter Pλ eine DMK mit zeitabhängigen Übergangswahrscheinlichkeiten
(N−n−1)
(b)
bn+1 (N) = j|M
bn (N) = i) = pbn,n+1 (N, λ ) :=
Pλ (M
ij
λj
(N−n)
λi
p ji
.
b
Ist λ eine stationäre Verteilung für M, so ist M(N)
für jedes N unter Pλ
n,n+1
zeitlich homogen, d.h. pbij
(N, λ ) unabhängig von n und N für alle i, j ∈ S .
105
106
6 Reversibilität: Der Blick zurück
(c)
Sind alle pij > 0 (⇒ M irreduzibel und aperiodisch), gilt hiervon auch die
b
Umkehrung: M(N)
ist genau dann zeitlich homogen unter Pλ , wenn M ergodisch und λ die eindeutig bestimmte stationäre Verteilung ist.
Beweis. (a) Die erste Behauptung folgt, weil
bn+1 (N) = j|M
bn (N) = i, M
bn−1 (N) = in−1 , ..., M
b0 (N) = i0 )
Pλ (M
=
Pλ (MN−n−1 = j, MN−n = i, MN−n+1 = in−1 , ..., MN = i0 )
Pλ (MN−n = i, MN−n+1 = in−1 , ..., MN = i0 )
(N−n−1)
=
=
λj
p ji piin−1 · ... · pi1 i0
(N−n)
λi
piin−1
(N−n−1)
p ji
λj
· ... · pi1 i0
(N−n)
λi
bn+1 (N) = j|M
bn (N) = i)
= Pλ (M
b0 (N) = i0 ) > 0.
bn (N) = i, M
bn−1 (N) = in−1 , ..., M
für alle i, i0 , ..., in−1 ∈ S mit Pλ (M
(n)
(b) Ist λ eine stationäre Verteilung für M, folgt λi = λi für alle i ∈ S , n ≥ 0
und daraus die Unabhängigkeit der pbijn,n+1 (N, λ ) von n und N.
(c) Hängt umgekehrt pbijn,n+1 (N, λ ) = pbij nicht von n, N ab, betrachte zunächst
(n−1)
(n)
den Fall i = j: Offensichtlich folgt dann aus pbii = λi
pii /λi > 0 für alle n die
(n)
(n−1)
(n)
Existenz eines αi > 0, so dass λi = αi λi
, also λi = αin λi für alle n ≥ 0 und
i ∈ S . Dies liefert weiter
n
αj
p ji λ j
pbij =
·
·
αi
αi λi
(n)
für alle n ≥ 0 und somit die Unabhängigkeit der αi von i, d.h. λi = α n λi für alle
(n)
n, i. Beachten wir abschließend 1 = ∑i∈S λi = α n ∑i∈S λi = α n , folgt α = 1 und
damit λ = λ (n) für alle n ≥ 0, was die Stationarität von M unter Pλ beweist. Als
irreduzible und aperiodische DMK ist M folglich ergodisch und λ die eindeutige
stationäre Verteilung.
t
u
(n)
Satz 6.1 deckt zwar aufgrund der Voraussetzung λi > 0 sowie pij > 0 in Teil
(c) nicht alle denkbaren Fälle ab, reicht aber für unsere Zwecke aus. Wir richten unser Augenmerk im Folgenden ohnehin auf den stationären Fall und betrachten eine
positiv rekurrente DMK M mit stationärer Verteilung π. Zur besseren Veranschaulichung der Zeitumkehrung führen wir die doppelt unendliche Folge M ∗ = (Mn∗ )n∈Z
ein, definiert – auf irgendeinem W-Raum (Ω , A, P) – durch
6.2 Reversibilität und detailliertes Gleichgewicht
∗
107
∗
P(Mn ,Mn+1 ,...) = PM
π
für alle n ∈ Z. Die Existenz eines solchen Prozesses ergibt sich aus dem Konsistenz∗
satz von Kolmogorov (+ [1, Satz 54.7]): PM ist der projektive Limes der Familie
(Mn )n∈I0
QI = P π
,
I ⊂ Z endlich,
wobei I0 = {0, i1 − i0 ..., im − i0 }, falls I = {i0 , ..., im } mit i0 < ... < im . Anschaulich
können wir uns vorstellen, dass M ∗ aus M entsteht, indem wir den Zeitpunkt 0
nach −∞ verschieben. Mit anderen Worten: M ∗ repräsentiert die DMK M unter
der Voraussetzung, dass diese vor “langer, langer Zeit” im Gleichgewicht gestartet
ist.
6.2 Reversibilität und detailliertes Gleichgewicht
Aus Satz 6.1(b) folgt, dass für jedes N ∈ Z der in N zeitumgekehrte Prozess
∗ )
(MN−n
n∈Z eine zeitlich homogene stationäre DMK mit Übergangswahrscheinlichkeiten
π j p ji
, i, j ∈ S ,
(6.1)
pbij =
πi
bildet. Es gilt nämlich
bn (N))0≤n≤N
(M
∗
P(MN−n )0≤n≤N = Pπ
b = (M
bn )n≥0 mit der Überfür alle N ≥ 0. Generell bezeichnet man eine DMK M
b
gangsmatrix P = ( pbij )i, j∈S als zu M duale Kette und entsprechend Pb die zu P duale
Übergangsmatrix. Reversibilität bedeutet nun folgendes:
Definition 6.2. Eine DMK M = (Mn )n≥0 heißt (zeitlich) reversibel, wenn
d
(M0 , M1 , ..., Mn ) = (Mn , Mn−1 , ..., M0 )
(6.2)
für alle n ≥ 0 gilt.
d
Da (6.2) insbesondere M0 = Mn für alle n ≥ 0 impliziert, ist jede reversible DMK
notwendig stationär. Für die doppelt unendliche Folge M ∗ ist (6.2) gleichbedeutend
mit
d
∗
∗
)n∈Z
(MN−n
)n∈Z = (MN+n
für alle N ∈ Z. Vorwärts- und Rückwärtsprozess bilden also identisch verteilte zeitlich homogene DMK mit folglich gleicher Übergangsmatrix, was pij = π j p ji /πi
oder umgeschrieben
πi pij = π j p ji
(6.3)
108
6 Reversibilität: Der Blick zurück
für alle i, j ∈ S liefert. Diese Gleichungen, genannt detaillierte Gleichgewichtsgleichungen, besagen anschaulich, dass für je zwei Zustände i und j die Flusswahrscheinlichkeit von i nach j mit der für die umgekehrte Richtung, also von j nach i,
übereinstimmt. Abb. 6.1 stellt dies schematisch dar.
πi pij
πj
πi
π j p ji
Abb. 6.1 Detailliertes Gleichgewicht veranschaulicht in einem Flüssigkeitsmodell: Stellen wir uns
die Zustände i ∈ S als Wasserbehälter vor. Behälter i enthält im Gleichgewicht πi Liter Wasser. In
jedem Zeitschritt werden πi pij Liter von Behälter i in Behälter j und π j p ji Liter von j nach i umgefüllt. Liegt detailliertes Gleichgewicht vor, so bleiben die Flüssigkeitsmengen in zwei Behältern
bereits gleich, wenn nur zwischen diesen beiden der Flüssigkeitsaustausch vorgenommen worden
ist. Im nicht-reversiblen Fall muss dagegen erst zwischen allen Behälten der Austausch vogenommen worden sein, bevor wieder alle Behälter dieselbe Menge wie vor dem Austausch enthalten.
Summiert man in (6.3) auf beiden Seiten über i ∈ S , ergibt sich offenbar
∑ πi pij
i∈S
= πj
∑ p ji = π j
i∈S
für alle j ∈ S . Jede normierte (σ -endliche) Lösung π 6= 0 der detaillierten Gleichgewichtsgleichungen ist also notwendig eine stationäre Verteilung (ein stationäres
Maß) der betrachteten DMK. Wir halten fest:
Satz 6.3. Eine irreduzible DMK M mit Übergangsmatrix P = (pij )i, j∈S ist genau
dann reversibel, wenn sie stationär ist und die stationäre Verteilung, π, den detaillierten Gleichgewichtsgleichungen (6.3) genügt. M ist dann also positiv rekurrent.
Beweis. Eine reversible DMK M ist notwendig stationär, wie bereits oben bemerkt,
und besitzt somit eine stationäre Verteilung π, die aufgrund der Irreduzibilität außerdem eindeutig bestimmt und positiv ist (Sätze 4.11, 4.12 und 4.15). Dass die
detaillierten Gleichgewichtsgleichungen gelten, folgt aus den Überlegungen unmittelbar vor diesem Satz.
Für die Umkehrung der Aussage ist wegen Satz 6.1 nichts mehr zu zeigen.
t
u
Wir kommen zu einigen Folgerungen. Den einfachen Beweis des nachfolgenden
Satzes überlassen wir dem Leser zur Übung.
6.3 Das Kolmogorov-Kriterium für Reversibilität
109
Satz 6.4. Sei M eine irreduzible DMK mit Übergangsmatrix P = (pij )i, j∈S . Es
existiere eine Verteilung π = (πi )i∈S sowie eine weitere nichtnegative Matrix
Pb = ( pbij )i, j∈S derart, dass
πi pij = π j pbji
für alle i, j ∈ S . Dann ist M positiv rekurrent mit stationärer Verteilung π und Pb die
zu P duale Übergangsmatrix. Ferner ist M genau dann im Gleichgewicht reversibel,
wenn Pb = P> .
Die detaillierten Gleichgewichtsgleichungen besagen offenkundig nichts anderes als die Symmetrie der Funktion f (i, j) = πi pij oder g(i, j) = pij /π j oder auch
h(i, j) = πi 1/2 pij /π j 1/2 .
Satz 6.5. Eine positiv rekurrente DMK M ist genau dann im Gleichgewicht reversibel, wenn ihre Übergangsmatrix P = (pij )i, j∈S die Darstellung
P = D−1 AD
(6.4)
für eine symmetrische Matrix A und eine Diagonalmatrix D = diag(di , i ∈ S ) mit
Spur D 2 = ∑i∈S di2 < ∞ besitzt.
Beweis. Ist M positiv rekurrent mit stationärer Verteilung π und reversibel, so gelten
die detaillierten Gleichgewichtsgleichungen und daher (6.4) mit A = (h(i, j))i, j∈S
und D = diag(πi 1/2 , i ∈ S ).
Bei Gültigkeit von (6.4) dürfen wir o.B.d.A. D ≥ 0 und d 2 := ∑i∈S di2 = 1 voraussetzen; andernfalls gehen wir zu der Darstellung D0 −1 A0 D0 mit
D0 = diag(|di |/d, i ∈ S ) und A0 = (sign(di )aij sign(d j ))i, j∈S
über. Aufgrund der Symmetrie von A erhalten wir
pij = di−1 aij d j = d j a ji di−1 = d 2j p ji di−2 ,
also die Gültigkeit der detaillierten Gleichgewichtsgleichungen mit π = (di2 )i∈S . π
bildet folglich die eindeutig bestimmte stationäre Verteilung (M positiv rekurrent),
und M ist unter Pπ (im Gleichgewicht) reversibel (Satz 6.3).
t
u
6.3 Das Kolmogorov-Kriterium für Reversibilität
Nach der algebraischen Charakterisierung von Reversibilität in Satz 6.5 geben wir
als nächstes ein anderes, von KOLOMOGOROV stammendes Kriterium probabilistischer Natur.
110
6 Reversibilität: Der Blick zurück
Satz 6.6. (Kolmogorov-Kriterium für Reversibilität) Eine positiv rekurrente
DMK M mit Übergangsmatrix P = (pij )i, j∈S ist genau dann im Gleichgewicht reversibel, wenn
n
n
∏ pik−1 ik
=
k=1
(6.5)
∏ pik ik−1
k=1
für alle i0 , ..., in ∈ S , i0 = in , und n ≥ 1.
Beweis. (a) Unter Pπ gilt nach Definition von Reversibilität
n
πi0 ∏ pik−1 ik = Pπ (M0 = i0 , ..., Mn−1 = in−1 , Mn = i0 )
k=1
n
= Pπ (M0 = i0 , M1 = in−1 , ..., Mn = i0 ) = πi0 ∏ pik ik−1
k=1
für alle i0 , ..., in ∈ S , i0 = in , und n ≥ 1, woraus (6.5) nach Division durch πi0 > 0
folgt.
3
4
2
=
5
1
8
6
7
Abb. 6.2 Das Kolmogorov-Kriterium für Reversibilität: Zyklische Pfade haben für jede Laufrichtung die gleiche Wahrscheinlichkeit.
(b) Um zu zeigen, dass (6.5) für Reversibilität auch hinreichend ist, wähle dort
n ≥ 2, i0 = i und in−1 = j beliebig und summiere im Fall n ≥ 3 außerdem über alle
(i1 , ..., in−2 ) ∈ S n−2 . Dann ergibt sich
(n−1)
pij
(n−1)
p ji = pij p ji
für alle n ≥ 2 und bei Summation über n = 2, ..., N + 1
!
!
1 N+1 (n−1)
1 N+1 (n−1)
p ji = pij
.
∑ pij
∑ pij
N n=2
N n=2
6.3 Das Kolmogorov-Kriterium für Reversibilität
111
(N)
Lässt man nun noch N gegen ∞ streben und beachtet C- limN→∞ pij = π j (M positiv rekurrent), so folgen die detaillierten Gleichgewichtsgleichungen und damit die
Reversibilität von M unter Pπ .
t
u
Anschaulich besagt das Kolmogorov-Kriterium, dass eine reversible DMK jeden
zyklischen Pfad i0 → i1 → ... → in−1 → i0 mit gleicher Wahrscheinlichkeit vorwärts
wie rückwärts durchläuft [+ Abb. 6.2].
Als einfache, aber interessante Konsequenz des Kolmogorov-Kriteriums notieren
wir noch:
Korollar 6.7. Die Periode einer positiv rekurrenten, im Gleichgewicht reversiblen
DMK beträgt höchstens 2.
Beweis. Den Trivialfall |S | = 1 ausgeschlossen, wähle in (6.5) irgendeinen zyklischen Pfad positiver Wahrscheinlichkeit mit i0 = i und in−1 = j 6= i. Dann folgt
(2)
insbesondere pij > 0 und p ji > 0 und somit pii ≥ pij p ji > 0, d.h. i und folglich alle
Zustände sind höchstens 2-periodisch.
t
u
Reversibilität vereinfacht häufig ganz erheblich die Analyse stochastischer Systeme im Gleichgewicht und spielt eine wichtige Rolle z.B. bei der Untersuchung
stochastischer Netzwerke (Warteschlangentheorie), von Genfrequenzen in Populationen oder auch in der statistischen Physik. Eine exzellente Monographie zu diesem
Thema bildet [13]. Betrachten wir einige Beispiele:
Beispiel 6.8 (Doppelt stochastische Matrizen). Sei M = (Mn )n≥0 eine EMK in einem Standardmodell mit Zustandsraum S und Übergangsmatrix P = (pij )i, j∈S .
Wir nehmen an, dass die Gleichverteilung auf S die stationäre Verteilung der Kette
bildet, also πi = 1/|S | für alle i ∈ S . Aus den Invarianzgleichungen ergibt sich
dann
1
1
pij =
, also ∑ pij = 1
∑
|S | i∈S
|S |
i∈S
für alle i ∈ S und somit für die Übergangsmatrix P, dass nicht nur ihre Zeilensummen, sondern auch ihre Spaltensummen stets 1 betragen. Man bezeichnet P in
diesem Fall als doppelt stochastisch. Beachte, dass mit P auch jedes P n doppelt stochastisch ist, denn P n erfüllt ebenfalls die Invarianzgleichungen. Ein Blick auf die
detaillierten Gleichgewichtsgleichungen (6.3) zeigt, dass diese unter den getroffenen Voraussetzungen nur dann gelten, wenn
pij = p ji
für alle i, j ∈ S , wenn also P symmetrisch ist (P = P> ). Allgemein folgt in der
gegebenen Situation nach (6.1), dass P> = (p ji )i, j∈S gerade die zu P duale Übergangsmatrix, also die Übergangsmatrix der doppelt unendlichen stationären Version
∗ )
von M bei rückwärts laufender Zeit, d.h. von (M−n
n∈Z bildet.
112
6 Reversibilität: Der Blick zurück
Als spezielles Beispiel einer EMK mit doppelt stochastischer und symmetrischer
Übergangsmatrix erwähnen wir die symmetrische Irrfahrt auf einer endlichen zyklischen Gruppe G = {an : 1 ≤ n ≤ |G|} mit den Übergangswahrscheinlichkeiten
pan an+1 = pan an−1 =
1
.
2
Beispiel 6.9 (Einfache Irrfahrten auf einem Graphen). [+ 2.5] Eine einfache Irrfahrt M = (Mn )n≥0 auf einem endlichen, einfachen, ungerichteten und zusammenhängenden Graphen G = (V, E) springt von einem beliebigen Knoten v in einen
1
, wobei d(v) die Zahl der Nachbarn
Nachbarknoten w mit Wahrscheinlichkeit d(v)
von v bezeichnet. Dabei gelten zwei Knoten als benachbart (v ∼ w), wenn es eine Kante zwischen ihnen gibt. Da G zusammenhängend ist, folgt d(v) ≥ 1 für alle
v ∈ V sowie die Irreduzibilität von M.
Es leuchtet intuitiv ein, dass derartige Irrfahrten unter der stationären Verteilung
stets reversibel sind. Um dies auch formal zu verifizieren, betrachten wir wieder
πw
πv
= d(w)
die detaillierten Gleichgewichtsgleichungen (6.3), die hier die Form d(v)
für alle v, w mit v ∼ w haben. Wie man sofort erkennt, ergibt sich eine normierte
nichtnegative Lösung π durch
πv =
d(v)
d(v)
=
2|E|
∑w∈V d(w)
für alle v ∈ V und somit die erwartete Reversibilität von M unter Pπ . Beachte hierbei,
dass die Bestimmung der stationären Verteilung nicht vorab, sondern direkt mit dem
Lösen der detaillierten Gleichgewichtsgleichungen erfolgt ist.
Beispiel 6.10 (Markov-Ketten auf einem Baum). Ein Graph der zuvor betrachteten
Form, in dem ferner je zwei Knoten durch genau einen Pfad minimaler Länge
(= Anzahl durchlaufener Kanten) verbunden sind, heißt (endlicher) Baum. Dessen
Knoten lassen sich wie folgt in lexikographischer Weise durch endliche “Wörter”
mit Alphabet N benennen (Ulam-Harris-Markierung): Wähle irgendeinen Knoten
als Wurzel und bezeichne ihn mit ∅ (leeres Wort). Betrachte als nächstes dessen
d(∅) Nachbarn und markiere diese mit 1, ..., d(∅) (Wörter der Länge 1), wobei
die Reihenfolge keine Rolle spielt. Für jeden der Knoten v ∈ {1..., d(∅)} bezeichne dessen n(v) := d(v) − 1 (sofern 6= 0) noch nicht numerierten Nachbarn mit
(v, 1), ..., (v, n(v)) (Wörtern der Länge 2), wobei diese zumeist in der verkürzten
Form v1, ..., 1n(v) geschrieben werden. So fortfahrend bis alle Knoten markiert sind,
erhalten wir einen Baum, in dem jeder Knoten durch ein endliches Wort der Form
v = i1 ...im ∈ Nm markiert ist und v → i1 ...im−1 → ... → i1 → ∅ den minimalen Pfad
von v zur Wurzel angibt. Abb. 6.3 illustriert dies an einem einfachen Beispiel.
Sei M = (Mn )n≥0 eine irreduzible MK auf einem derartigen Baum mit Übergangswahrscheinlichkeiten pvw , v 6= w, die genau dann positiv sind, wenn v ∼ w gilt, ansonsten aber keiner Einschränkung unterliegen. Falls v = i1 ...im , m ≥ 2, bedeutet
dies w = i1 ...im−1 oder w ∈ {i1 , ..., im j : 1 ≤ j < di1 ...,im }. Wir machen keine Annahmen über die Verharrungswahrscheinlichkeiten pvv . Dass jede solche EMK M
6.3 Das Kolmogorov-Kriterium für Reversibilität
113
∅
1
2
11
111
12
112
121
21
122
1211
211
1212
2111
22
212
2111
221
2211
222
2212
Abb. 6.3 Ein endlicher binärer Baum mit Ulam-Harris-Markierung.
reversibel ist, springt vielleicht nicht sofort ins Auge, lässt sich aber leicht mittels
des Kolmogorov-Kriteriums beweisen: Gegeben einen zyklischen Pfad v → v1 →
... → vn−1 → v, folgt aus der Baumeigenschaft, dass jede Kante dieses Pfades genauso oft vorwärts wie rückwärts durchlaufen wird [+ Abb. 6.4] und daher stets
pvv1 · ... · pvn−1 v = pvvn−1 · ... · pv1 v
gilt. Auf der Basis der vorgenommenen Knotennumerierung und mit Hilfe der
detaillierten Gleichgewichtsgleichungen können wir auch die stationäre Verteilung
bestimmen: Aus
πi1 ...im−1 pi1 ...im−1 ,i1 ...im = πi1 ...im pi1 ,...,im ,i1 ,...,im−1
für alle m ≥ 1 (i1 ...im−1 := ∅ im Fall m = 1) ergibt sich leicht
!
m p
i1 ,...,ik−1 ,i1 ,...,ik
π∅
πi1 ,...,im = ∏
k=1 pi1 ,...,ik ,i1 ,...,ik−1
für m ≥ 1, wobei
m
π∅ =
1+
∑
∑
∏
m≥1 i1 ...im ∈S k=1
pi1 ...ik−1 ,i1 ...ik
pi1 ...ik ,i1 ...ik−1
!−1
(6.6)
(6.7)
durch die Normierungsgleichung ∑v∈S πv = 1 bestimmt wird.
Abschließend erwähnen wir, dass Reversibilität von M im Gleichgewicht und
die obige Form der stationären Verteilung offenbar auch im Fall eines unendlichen
Baums bestehen bleiben. Voraussetzung natürlich: M ist positiv rekurrent, was mit
Blick auf (6.6) und (6.7) genau dann gilt, wenn
m
∑
∑
pi
...i
,i ...ik
∏ pi1 ...ik−1,i ...i1
m≥1 i1 ,...,im ∈S k=1
1
k 1
k−1
< ∞.
114
6 Reversibilität: Der Blick zurück
Abb. 6.4 Der binäre Baum in Abb. 6.3 mit farblich markiertem zyklischen Pfad ∅ → 1 → 12 →
121 → 1212 → 121 → ... → ∅. Die als Doppelpfeile gezeigten Kanten sollen verdeutlichen, dass
diese in einem zyklischen Pfad stets in beiden Richtungen durchlaufen werden.
Einen besonders einfachen, nämlich einsträngigen Baum erhält man bei Wahl der
natürlichen Zahlen N0 oder einer endlichen Teilmenge {0, ..., N} mit der gewöhnlichen Nachbarschaftsstruktur. Markov-Ketten auf diesem haben die Eigenschaft,
genannt Sprungfreiheit, von einem Zustand n nur in die Zustände n − 1 (falls n ≥ 1)
und n + 1 springen zu können oder in n zu verharren. Sie heißen Geburts- und Todesprozesse (in diskreter Zeit) (+ auch Beispiel 5.11).
Beispiel 6.11 (Geburts- und Todesprozesse). Sei also M eine DMK auf S = N0 oder
S = {0, ..., N} mit Übergangsmatrix P der Form


p00 p01 0 0 0 . . .
 p10 p11 p12 0 0 . . . 


P =  0 p21 p22 p23 0 . . .  ,


..
..
.
.
wobei pij > 0 für alle i, j ∈ S mit |i − j| = 1 gelte. Dies garantiert die Irreduzibilität
von M.
Unter Hinweis auf (6.6) und die Bemerkung vor Satz 6.3 bildet
π0 = 1
und
πi =
p01 p12 · ... · pi−1,i
p10 p21 · ... · pi,i−1
für i ≥ 1
(6.8)
ein stationäres Maß. Hat π endliche Gesamtmasse, d.h.
π(S ) = 1 +
∑
06=i∈S
p01 p12 · ... · pi−1,i
< ∞,
p10 p21 · ... · pi,i−1
(6.9)
so ist M positiv rekurrent und folglich im Gleichgewicht reversibel.
Wie der Leser nun leicht einsieht, gelten entsprechende Resultate in der Tat für
beliebige irreduzible, sprungfreie MK auf S = Z und S = {m, ..., n}, m, n ∈ Z.
Im ersten Fall fasse man Z als Baum mit Wurzel 0 auf, im zweiten genügt gar eine
6.3 Das Kolmogorov-Kriterium für Reversibilität
115
einfache Verschiebung (Umbenennung) der Zustände (Übergang zu S = {0, ..., n −
m}). Als spezielle Beispiele, die uns zuvor bereits begegnet sind, erwähnen wir die
Irrfahrten mit reflektierenden Barrieren (Abschnitt 2.3) sowie das Ehrenfest-Modell
für Wärmeaustausch (Abschnitt 2.6), auf das wir im nächsten Kapitel nochmals
zurückkommen (+ ??).
Kapitel 7
Und nochmals Beispiele – alte und neue
Es folgt ein weiterer Abschnitt mit einer Reihe von Anwendungsbeispielen, wobei
wir vor allem die Beispiele aus Kapitel 2 nochmals aufgreifen, aber am Ende auch
einige neue hinzugefügt haben.
7.1 Markov-Ketten mit zwei Zuständen
[+ 2.1] Sei M eine EMK mit Zustandsraum S = {0, 1} und Übergangsmatrix
1− p p
P =
,
q 1−q
wobei 0 < p, q < 1 gelte. Die ausgeschlossenen Fälle kann der Leser leicht selbst
untersuchen. Sie sind aber von nur geringem Interesse. P hat die Eigenwerte 1 und
1 − p − q und läßt sich diagonalisieren:
1 −p
S =
,
1 q
P = SDS −1 , wobei
1
q p
1
0
−1
S =
und D =
.
0 1− p−q
p + q −1 1
Die Spalten von S bilden rechte, die Zeilen von S −1 linke Eigenvektoren von P.
Sie sind bis auf skalares Vielfaches eindeutig bestimmt, wobei wir den Skalar
so gewählt haben, dass der linke Eigenvektor zum Eigenwert 1 eine Verteilung,
nämlich die stationäre Verteilung π definiert, d.h.
π0 =
q
p+q
und π1 =
p
.
p+q
Mittels der Diagonalisierung kann man nun leicht alle Potenzen P n von P berechnen
und erhält
117
118
7 Und nochmals Beispiele – alte und neue
1
0
P n = SD n S −1 = S
S −1
0 (1 − p − q)n
π0 π1
π1 −π1
.
=
+ (1 − p − q)n
π0 π1
−π0 π0
(7.1)
M ist ergodisch und im Gleichgewicht reversibel. Aus (7.1) ergibt sich außerdem
die exakte Konvergenzgeschwindigkeit im Ergodensatz:
(n)
|p0i − πi | = π1 (1 − p − q)n
(n)
und |p1i − πi | = π0 (1 − p − q)n
für i ∈ {0, 1}. Es ist also gerade der zweite Eigenwert von P, der die geometrische
Rate im Ergodensatz determiniert. Kein Zufall, wie sich im nächsten Kapitel herausstellt (+ Satz ?? und Korollar ??)! Der zweitgrößte Eigenwert einer ergodischen
Übergangsmatrix ist auch allgemein der entscheidende Wert für die Konvergenzrate
gegen die stationäre Verteilung.
MK mit zwei Zuständen gehören zu den wenigen Beispielen, in denen sich alle
Potenzen der Übergangsmatrix explizit berechnen lassen. Entscheidend ist die niedrige Dimension, welche den Aufwand für die Diagonalisierung einschließlich der
Berechnung der Eigenvektormatrizen in Grenzen hält.
Teil II
Markov-Sprungprozesse
Die zeitstetige Variante einer diskreten Markov-Kette, genannt Markov-Sprungprozess und manchmal auch Markov-Kette in kontinuierlicher Zeit, unterscheidet
sich von ihrem zeitdiskreten Pendant dadurch, dass jeder Aufenthalt in einem Zustand nunmehr eine Zufallsgröße bildet, die aufgrund der Markov-Eigenschaft exponentialverteilt sein muss, wie wir uns gleich zu Beginn überlegen werden. Diese
Tatsache bringt einige Vereinfachungen mit sich, z.B., dass das Problem der Periodizität nicht mehr auftritt. Andererseits müssen wir uns bei der Konstruktion
eines MSPs mit dem Problem der Explosion, gemeint sind damit unendlich viele
Übergänge (Sprünge) in endlicher Zeit, auseinandersetzen sowie der Frage, unter
welchen Bedingungen an die Übergangshalbgruppe dies nicht auftritt. Darüber hinaus tritt an die Stelle der (1-Schritt-) Übergangsmatrix hier der sogenannte infintesimale Generator zur Beschreibung der infinitesimalen Dynamik des Prozesses. Dieser bildet wieder eine Matrix, genannt Q-Matrix, deren Interpretation von großer
Bedeutung ist, will man Markov-Sprungprozesse zur Modellierung von Zufallsphänomenen heranziehen. Der hierfür benutzte sehr anschauliche Uhrenmechanismus wird deshalb ausführlich erklärt. Ansonsten birgt die im Anschluß entwickelte
Theorie, vor allem das asymptotische Verhalten von Markov-Sprungprozessen betreffend, im Vergleich zu den Ergebnissen über DMK kaum Überraschendes und
wird deshalb weit kürzer abgehandelt.
Kapitel 8
Theoretische Grundlagen
Wie im Fall diskreter Zeit, beginnen wir auch hier mit der allgemeinen Definition
zeitstetiger Markov-Prozesse mit abzählbarem Zustandsraum und der Zusammenstellung einiger ihrer fundamentalen Eigenschaften. Dabei verzichten wir bewusst
auf die detaillierte Darstellung einer Reihe technischer Aspekte, die bei Vorliegen
stetiger Zeit strenggenommen genauer beleuchtet werden müssten.
8.1 Definitionen und grundlegende Eigenschaften
Sei M = (Mt )t∈[0,∞) ein zeitstetiger stochastischer Prozess auf einem W-Raum
(Ω , A, P) mit Werten in einer abzählbaren Menge S , wie üblich Zustandsraum genannt, und adaptiert bezüglich einer Filtration (Ft )t∈[0,∞) . Statt (Mt )t∈[0,∞) schreiben
wir hiernach stets (Mt )t≥0 . Markov-Eigenschaft und zeitliche Homogenität lassen
sich dann in analoger Weise wie im zeitdiskreten Fall einführen.
Definition 8.1. Der stochastische Prozess M = (Mt )t≥0 heißt Markov-Sprungprozess (MSP) bezüglich (Ft )t≥0 , wenn er die Markov-Eigenschaft bzgl. (Ft )t≥0 besitzt, d.h.
P Mt |Fs = P Mt |Ms P-f.s.
(8.1)
für alle 0 ≤ s ≤ t < ∞, und zeitlich homogen ist, d.h.
P Mt |Ms =i = Pt−s (i, ·)
(8.2)
für alle 0 ≤ s ≤ t < ∞, i ∈ S und eine Familie stochastischer Kerne (Pt )t≥0 von S
nach S , wobei P0 (i, ·) = δi . Auf den Zusatz “bzgl. (Ft )t≥0 ” wird verzichtet, wenn
es sich um die kanonische Filtration von M handelt.
Selbstverständlich kann man auch hier auf die zeitliche Homogenität in der Definition verzichten, aber alle nachfolgenden Betrachtungen beschränken sich auf die121
122
8 Theoretische Grundlagen
sen Fall. Aufgrund der Abzählbarkeit von S ist Pt durch die t-Schritt-Übergangsmatrix P(t) = (pij (t))i, j∈S mit
pij (t) := Pt (i, { j}) = P(Ms+t = j|Ms = i)
für alle s ≥ 0 festgelegt. Für jedes Paar (i, j) ∈ S 2 hat man nun also eine Funktion pij : [0, ∞) → [0, 1] mit pij (0) = δij gegeben. Aus diesem Grund bezeichnet
man (P(t))t≥0 oder genauer die Zuordnung t 7→ P(t) als Übergangsmatrixfunktion
(ÜMF). Sie bildet das Gegenstück zur Halbgruppe (P n )n≥0 in diskreter Zeit und besitzt ebenfalls die Halbgruppeneigenschaft, wie das nachfolgende Lemma bestätigt,
dessen einfachen Beweis wir dem Leser überlassen.
Lemma 8.2. [Halbgruppeneigenschaft] Die Familie der t-Schritt-Übergangskerne (Pt )t≥0 bildet eine stetige Halbgruppe, d.h.
Ps+t = Ps Pt ,
d.h.
Ps+t (i, A) =
∑ Pt ( j, A) Ps (i, { j})
(8.3)
j∈S
für alle s,t ≥ 0, i ∈ S und A ⊂ S . Für die ÜMF (P(t))t≥0 bedeutet dies die Gültigkeit der Chapman-Kolmogorov-Gleichungen
pij (s + t) =
∑
pik (s)pk j (t)
(8.4)
k∈S
für alle s,t ≥ 0 und i, j ∈ S .
Wir legen wieder ein Standardmodell
(Ω , A, (Mt )t≥0 , (Pλ )λ ∈P(S ) )
M
zugrunde, folglich Pλ 0 = λ . Sei außerdem M0:t := (Ms )s∈[0,t] der Prä-t-Prozess und
M (t) = (Ms )s≥t der Post-t-Prozess. Dann gilt wie in diskreter Zeit
PM
(s+t) |F
s
= PM
(s+t) |M
s
(t)
= PM
Ms
P-f.s.
(8.5)
sowie [vgl. Satz 1.5]
P(M0:t ,M
(t) )|M =i
t
= PM0:t |Mt =i ⊗ PM
(t) |M =i
t
= PM0:t |Mt =i ⊗ PM
i
(8.6)
für alle s,t ≥ 0 und i ∈ S , wobei die auftretenden bedingten Verteilungen in der Tat
existieren und durch ihre endlichdimensionalen Randverteilungen festgelegt sind,
(s+t)
also etwa PM |Ms durch
P(Ms+t1 ,...,Ms+tn )|Ms
für jede Wahl von t ≤ t1 < ... < tn < ∞ und n ≥ 1.
8.1 Definitionen und grundlegende Eigenschaften
123
Es liegt auf der Hand, dass jeder MSP M = (Mt )t≥0 durch die Folge der von ihm
b0 , M
b1 , ... sowie die zugehörigen Sprungzeiten
sukzsessiv aufgesuchten Zustände M
0 = σ0 < σ1 < σ2 < ... bzw. die Verweildauern τn = σn − σn−1 vollständig beschrieben wird. Zur Vereinfachung der anschließenden Überlegungen machen wir die folgenden (zulässigen) Regularitätsvoraussetzungen, die jeweils mit Wahrscheinlichkeit 1 ungeachtet der Anfangsverteilung gelten sollen:
(A1)
(A2)
Alle Verweildauern sind positiv, d.h., es gibt keine sogenannten augenblicklichen Zustände, die nach Erreichen sofort wieder verlassen werden.
Alle Pfade von M sind rechtsseitig stetig mit linksseitigen Limiten, demnach
rechtsseitig stetige, stückweise konstante Funktionen von Ω nach S , und es
bn = Mσn für n ≥ 0. Wir sagen in diesem Fall, dass M die
gilt insbesondere M
Càdlàg-Eigenschaft besitzt, wobei “Càdlàg” für “continue à droite, limite à
gauche” (stetig von rechts, Limes von links) steht.
Weitere Voraussetzungen werden an gebotener Stelle noch folgen, um die Klasse
“sinnvoller” MSP in geeigneter Weise einzugrenzen.
Wir zeigen als nächstes, dass ein MSP, der (A2) genügt, auch die starke MarkovEigenschaft besitzt. Hinsichtlich der Definition von kontinuierlichen Stopzeiten (im
Sinne von “bzgl. einer kontinuierlichen Filtration”) und ihrer Eigenschaften beschränken wir uns auf einige Hinweise. τ heißt Stopzeit bzgl. (Ft )t≥0 , falls
{τ ≤ t} ∈ Ft
für alle t ≥ 0
gilt, und die σ -Algebra der τ-Vergangenheit wird durch
Fτ = {A ∈ A : A ∩ {τ ≤ t} ∈ Ft für alle t ≥ 0}
definiert [vgl. (1.19) in Definition 1.11]. Alle in Satz 1.17 und Korollar 1.18 gemachten Aussagen bleiben dann auch im Fall stetiger Zeit gültig, sofern man an gebotener Stelle die offensichtlichen Anpassungen vornimmt, beispielweise X1{τ=n}
durch X1{τ≤t} in 1.17(h) ersetzt. Bezeichnet (Ft )t≥0 die kanonische Filtration eines
Prozesses M = (Mt )t≥0 , also
Ft := σ (Ms , 0 ≤ s ≤ t)
für jedes t ≥ 0, so nennt man τ auch Stopzeit für M.
Um schließlich auch hier der Möglichkeit Rechnung zu tragen, dass eine Stopzeit τ den Wert ∞ annehmen kann, erweitern wir gegebenenfalls den Zustandsraum
S wie in Abschnitt 1.4 um einen absorbierenden Zustand (Friedhof) ∆ und interpretieren den gegebenen Prozess M = (Mt )t≥0 als MSP auf S∆ = S ∪ {∆ } mit der
Übergangshalbgruppe
(
Pt (x, ·), falls x ∈ S ,
(∆ )
Pt (x, ·) :=
t ≥ 0.
δ∆ , falls x = ∆ ,
124
8 Theoretische Grundlagen
Ferner setzen wir dann M∞ := ∆ und M (∞) := konstante Funktion mit Wert ∆ .
Satz 8.3. [Starke Markov-Eigenschaft] Sei M = (Mt )t≥0 ein MSP bzgl. (Ft )t≥0
mit der Càdlàg-Eigenschaft und in einem Standardmodell. Dann besitzt M auch die
starke Markov-Eigenschaft bzgl. jeder (Ft )t≥0 -Zeit τ, d.h.
P(Mτ+t = j|Fτ = P(Mτ+t = j|Mτ ) = pMτ j
P-f.s.
(8.7)
und damit auch allgemeiner
PM
(τ) |F
τ
= PM
(τ) |M
τ
= PM
Mτ
P-f.s.
(8.8)
Beweis. Es genügt zu zeigen, dass
P(Mτ+t = j|Fτ ) = P(Mτ+t = j|Mτ ) = pMτ j (t) P-f.s.
für alle t ≥ 0 und j ∈ S , die hiernach fixiert seien. Der Leser überlege sich selbst,
dass dies auch (8.8) impliziert.
Wir betrachten zuerst den Fall, dass τ nur Werte in einer abzählbaren Menge
{s1 , s2 , ...} ⊂ N0 ∪ {∞} annimmt. In diesem Fall erhalten wir für jedes A ∈ Fτ unter
Benutzung der gewöhnlichen Markov-Eigenschaft und von A ∩ {τ = sn } ∈ Fsn für
alle n ≥ 1
P(A ∩ {Mτ+t = j}) =
=
=
=
=
∑
Z
n≥1 A∩{τ=sn }
∑
Z
n≥1 A∩{τ=sn }
∑
Z
n≥1 A∩{τ=sn }
∑
Z
n≥1 A∩{τ=sn }
Z
A
1{Msn +t = j} dP
P(Msn +t = j|Fsn ) dP
P(Msn +t = j|Msn ) dP
pMsn j (t) dP
pMτ j dP,
folglich
P(Mτ+t = j|Fτ ) = pMτ j = P(Mτ+t = j|Mτ ) P-f.s.
Für m ∈ N definiere als nächstes die Stopzeit τm als obere Approximation von τ
mit Werten in der abzählbaren Menge m−1 N0 ∪ {∞} durch
τm :=
k
∑ m 1{(k−1)m−1 ≤τ<km−1 }
k≥1
+ ∞ · 1{τ=∞} .
Da M rechtsseitig stetige und stückweise konstante Pfade besitzt, gilt dann
8.1 Definitionen und grundlegende Eigenschaften
125
lim 1{Mτm +t = j} = 1{Mτ+t = j}
m→∞
P-f.s.,
und vermöge des ersten Teils erhalten wir schließlich unter Beachtung von Fτ ⊂
Fτm und Benutzung des Satzes von der majorisierten Konvergenz
P(Mτ+t = j|Fτ ) = E lim 1{Mτm +t = j} Fτ
m→∞
= E E lim 1{Mτm +t = j} Fτm Fτ
m→∞
= E lim E 1{Mτm +t = j} Mτm Fτ
m→∞
= E lim pMτm j (t)Fτ
m→∞
P-f.s.
= pMτ j
t
u
Hinsichtlich der schon eingeführten Sprungzeiten σ0 , σ1 , ... eines MSPs M =
(Mt )t≥0 stellt sich die natürliche Frage, ob diese Stopzeiten für M bilden. Die positive Antwort, sofern (A1) und (A2) erfüllt sind, bildet Teil des nachfolgenden Lemmas, der zudem auch dieselbe Frage für die Rückkehrzeiten in eine beliebige Menge
A ⊂ S , also für σ0 (A) := 0 und
σn (A) := inf{t > σn−1 (A) : Mt ∈ A},
n≥1
beantwortet. Wie üblich, sei hierbei inf 0/ := ∞ vereinbart.
Lemma 8.4. Gegeben einen MSP M mit rechtsseitig stetigen, stückweise konstanten Pfaden, gilt:
(a)
Die Sprungzeiten σ0 , σ1 , ... sowie die sogenannte Explosionszeit
(
)
ρE := inf t ≥ 0 :
(b)
∑ 1[0,t] (σn ) = ∞
(8.9)
n≥0
sind Stopzeiten für M.
Die Rückkehrzeiten σ0 (A), σ1 (A), ... sind Stopzeiten für M für jedes A ⊂ S .
Beweis. (a) Sei Q(t) := {s ∈ [0,t] : s/t ∈ Q ∩ [0, 1]}. σ0 ist trivialerweise eine Stopzeit für M. Da außerdem {σn > t} = {σn−1 > t} + {σn > t, σn−1 ≤ t} und
{σn > t, σn−1 ≤ t} =
\
[
\
m≥1 r∈Q(t) Q(t)3s≥r
{rt − 1/m < σn−1 ≤ rt, Mst = Mrt },
für alle t ≥ 0 und n ≥ 1, liefert eine einfache Induktion über n die Behauptung für
sämtliche σn . Ferner ist dann auch ρE vermöge
126
8 Theoretische Grundlagen
{ρE ≤ t} =
\
{σn ≤ t} ∈ Ft
n≥0
für alle t ≥ 0 eine Stopzeit fÿr M.
(b) Auch hier folgt die Behauptung per Induktion über n bei Benutzung von (a)
sowie
{σn (A) ≤ t} =
∑ ∑
k≥0 m>l>k
∩
{σn−1 (A) = σk } ∩
m−1
\
j=l
l−1
\
i=k+1
{Mσi ∈ A, σi ≤ t}
c
{Mσ j ∈ A , σ j ≤ t} ∩ {Mσm ∈ A, σm ≤ t}
!
für alle t ≥ 0 und n ≥ 1.
t
u
Zum Ende des Abschnitts notieren wir noch das folgende offensichtliche Lemma.
Lemma 8.5. Gegeben einen MSP M = (Mt )t≥0 bzgl. (Ft )t≥0 und ε > 0, bildet die
Teilfolge (Mεn )n≥0 , genannt ε-Skelett von M, eine DMK bzgl. (Fεn )n≥0 mit Übergangsmatrix P(ε).
8.2 Analytische Eigenschaften der Übergangsmatrixfunktion
Als nächstes wollen wir die ÜMF eines MSPs genauer untersuchen. Aufgrund der
Halbgruppeneigenschaft folgt, dass das Verhalten von t 7→ P(t) im Grunde durch
das Verhalten in einer kleinen (rechten) Umgebung von t = 0 bestimmt wird. Wegen P(0) = I := (δij )i, j∈S stellt sich als erstes die Frage, ob die ÜMF also in 0
rechtsseitig stetig ist, also
lim P(t) = I
t↓0
(komponentenweise)
(8.10)
gilt. Man nennt (P(t))t≥0 dann eine Standard-Übergangsmatrixfunktion (SÜMF).
Unter unserer Generalvoraussetzung (A1) ist dies immer der Fall, wie das folgende
Lemma zeigt.
Lemma 8.6. Sei M = (Mt )t≥0 ein MSP mit ÜMF (P(t))t≥0 , der (A1) genügt. Dann
ist (P(t))t≥0 eine SÜMF.
Beweis. Für i, j ∈ S mit i 6= j gilt {Mt = j} ⊂ {σ1 ≤ t}, und Voraussetzung (A1)
garantiert Pi (σ1 > 0) = 1. Deshalb erhalten wir
8.2 Analytische Eigenschaften der Übergangsmatrixfunktion
127
t→∞
pij (t) = Pi (Mt = j) ≤ Pi (σ1 ≤ t) −→ 0.
Entsprechend ergibt sich wegen {Mt 6= i} ⊂ {σ1 ≤ t}
t→∞
pii (t) = 1 − Pi (Mt 6= i}) ≥ 1 − Pi (σ1 ≤ t) −→ 1,
t
u
was den Beweis abschließt.
Lemma 8.7. Gegeben eine SÜMF (P(t))t≥0 , gilt
pij (t + h) − pij (t) ≤ 1 − pii (|h|)
(8.11)
für alle t ≥ 0, h ∈ R mit t + h > 0 sowie i, j ∈ S . Insbesondere sind alle pij (t)
gleichmäßig stetig auf R> .
Beweis. Für t ≥ 0 und h > 0 ergibt sich (8.11) unter Benutzung der ChapmanKolmogorov-Gleichungen vermöge
pij (t + h) − pij (t) = (pii (h) − 1)pij (t) +
∑ pik (h)pk j (t),
(8.12)
k6=i
denn die rechte Seite besteht aus zwei Termen mit umgekehrten Vorzeichen, und es
gilt ∑k6=i pik (h)pk j (t) ≤ ∑k6=i pik (h) = 1 − pii (h). Analog erhält man für t > 0 und
0<h<t
pij (t) − pij (t − h) = (pii (h) − 1)pij (t − h) +
∑ pik (h)pk j (t − h),
(8.13)
k6=i
und die rechte Seite ist offenkundig wiederum betragsmäßig beschränkt durch 1 −
pii (h).
t
u
Nicht ganz so einfach ist das folgende Resultat zu zeigen, das wir ohne Beweis
angeben und auf die Monographie von A NDERSON [3, §1.2] verweisen.
Satz 8.8. Für eine SÜMF (P(t))t≥0 gilt: Jede Komponente pij (t) ist stetig differenzierbar für t > 0. Ferner existiert die rechtsseitige Ableitung im Punkt 0, d.h.
qij := lim
t↓0
pij (t) − pij (0)
,
t
(8.14)
und diese ist endlich, falls i 6= j, kann aber −∞ sein, falls i = j.
Die Matrix Q = (qij )i, j∈S heißt Q-Matrix von M und beschreibt das Verhalten der Halbgruppe (P(t))t≥0 in einer infinitesimalen Umgebung von t = 0, denn
pij (t) ≈ pij (0) + qij t für kleine t und alle i, j ∈ S . In der allgemeinen Theorie von
128
8 Theoretische Grundlagen
Markov-Prozessen in stetiger Zeit ist Q der sogenannte infinitesimale Generator von
M, worauf hier allerdings nicht weiter eingegangen werden soll. Aus Gründen, die
bald verständlich werden, setzen wir
qi := −qii = −p0ii (0)
Offensichtlich gilt qij ≥ 0 für alle i 6= j, da der zugehörige Differenzenquotient stets
≥ 0 ist, während qii ≤ 0 für alle i ∈ S , also qi ≥ 0. Ferner liefert eine Anwendung
von Fatous Lemma die Abschätzung
∑ qij
j6=i
=
lim
∑ t→0
j6=i
pij (t)
pij (t)
1 − pii (t)
≤ lim inf ∑
= lim
= qi .
t→0
t→0
t
t
t
j6=i
Ist diese Ungleichung eine Gleichung und sind alle qi endlich, d.h.
∑ qij
= qi < ∞,
(8.15)
j6=i
so wird Q konservativ genannt.
8.3 Die Kolmogorovschen Differentialgleichungen
Nachdem wir gesehen haben, dass eine SÜMF (P(t))t≥0 mit konservativer Q-Matrix
Q auf ganz R> stetig differenzierbar ist, wobei Q = P0 (0), überrascht es nicht, dass
die Halbgruppe auch einer Familie von Differentialgleichungen genügt, genannt
Vorwärts- und Rückwärts-Differentialgleichungen von Kolmogorov. Sie erlauben
inn manchen Fällen die explizite Berechnung der P(t).
Satz 8.9. [Rückwärts-Differentialgleichungen (RDGl)] Gegeben sei eine SÜMF
(P(t))t≥0 mit konservativer Q-Matrix Q. Dann gelten die RDGl
p0ij (t) =
∑ qik pk j (t)
(8.16)
k∈S
für alle t ≥ 0 und i, j ∈ S , also in Matrix-Form
P 0 (t) = QP(t)
(8.15’)
für alle t ≥ 0.
Beweis. Zur Vereinfachung der nachfolgenden Berechnungen sei o.B.d.A. S = N0 .
Vermöge der Chapman-Kolmogorov-Gleichungen gilt für alle t ≥ 0, h > 0 und i, j ∈
S [+ (8.12)]
8.3 Die Kolmogorovschen Differentialgleichungen
129
pij (t + h) − pij (t)
pii (h) − 1
=
pij (t) +
h
h
∑
k6=i
pik (h)
pk j (t).
h
Der erste Ausdruck der rechten Seite konvergiert für h ↓ 0 gegen −qi pij (t). Den
zweiten spalten wir auf gemäß
!
pik (h)
pik (h)
pk j (t) := S1 + S2
∑ + ∑
∑ h pk j (t) =
h
i6=k≤i+n k>i+n
k6=i
Die endliche Summe S1 konvergiert für h ↓ 0 gegen ∑i6=k≤i+n qik pk j (t), und die verbleibende nichtnegative Summe S2 schätzen wir nach oben ab durch
!
i+n
1
pik (h)
∑ h = h 1 − ∑ pik (h) ,
k=0
k>i+n
was offenkundig
1
lim sup S2 ≤ lim
h↓0 h
h↓0
!
i+n
1 − ∑ pik (h)
k=0
= qi −
∑
qij
i6=k≤i+n
liefert. Damit ergibt sich
lim S1 ≤ lim inf ∑
h↓0
h↓0
k6=i
≤ lim sup ∑
h↓0
k6=i
pik (h)
pk j (t)
h
pik (h)
pk j (t) ≤ lim S1 + lim sup S2 ,
h↓0
h
h↓0
also
∑
i6=k≤i+n
qik pk j (t) ≤ lim inf ∑
pik (h)
pk j (t)
h
≤ lim sup ∑
pik (h)
pk j (t)
h
h↓0
≤
k6=i
h↓0
k6=i
∑
qik pk j (t) + qi −
i6=k≤i+n
∑
qij
i6=k≤i+n
Lassen wir nun noch n gegen ∞ streben und beachten, dass Q konservativ ist, so
folgt
pik (h)
lim ∑
pk j (t) = ∑ qik pk j (t)
h↓0 k6=i
h
k6=i
und insgesamt die Behauptung.
t
u
Der Grund für die Bezeichnung “Rückwärts-Differentialgleichungen” besteht
darin, dass sie sich durch Störung der Anfangsposition des Prozesses ergeben
130
8 Theoretische Grundlagen
(Rückwärtsblick):
QP(t) = lim
h↓0
P(h) − I
P(t).
h
Eine alternative Möglichkeit besteht offenbar in der Störung der Endposition des
Prozesses (Vorwärtsblick), also
QP(t) = lim P(t)
h↓0
P(h) − I
P(h) − I
= P(t) lim
h↓0
h
h
und liefert, sofern die Vertauschung des Limes mit dem Operator P(t) erlaubt ist, zu
den Vorwärts-Differentialgleichungen
P 0 (t) = P(t)Q.
(8.16’)
Allerdings bedarf es hierfür einer weiteren Voraussetzung.
Satz 8.10. [Vorwärts-Differentialgleichungen (VDGl)] Gegeben sei eine SÜMF
(P(t))t≥0 mit konservativer Q-Matrix Q. Dann gelten die VDGl (8.16’), also
p0ij (t) =
∑ qik pk j (t)
(8.17)
k∈S
für alle t ≥ 0 und i, j ∈ S , sofern (P(t)t≥0 die eindeutig bestimte SÜMF mit QMatrix Q ist.
Beweis. Im Fall endlichen Zustandsraums ist der Nachweis der VDGl sehr einfach
und wird deshalb dem Leser als Übung empfohlen. Der allgemeine Beweis ist allerdings zu aufwendig, um hier ausgeführt zu werden. Wir verweisen daher erneut auf
die Monographie von A NDERSON [3, Theorem 2.2 auf S. 70].
t
u
Hinreichende Bedingungen an Q, die die im Satz geforderte Eindeutigkeit von
(P(t))t≥0 garantieren, werden wir in Abschnitt ?? angeben [+ ?????], wobei eine
solche Bedingung die Endlichkeit von S bildet. Abschließend erwähnen wir noch,
dass die VDGl gegenüber den RDGl i.A. einfacher zu handhaben sind.
8.4 Die Struktur von regulären MSP
In diesem Abschnitt wollen wir den fundamentalen Struktursatz für MSP beweisen und dabei annehmen, dass der in einem Standardmodell gegebene MSP M =
(Mt )t≥0 mit Übergangshalbgruppe (P(t))t≥0 und Q-Matrix Q die folgenden Voraussetzungen erfüllt:
(A1)
Alle Verweildauern sind positiv, also (P(t))t≥0 eine SÜMF (Lemma 8.6).
8.4 Die Struktur von regulären MSP
(A2)
(A3)
(A4)
131
M besitzt die Càdlàg-Eigenschaft, also stückweise konstante, rechtsseitig
stetige Pfade.
Q ist konservativ.
M ist nicht-explodierend, d.h. ρE = ∞.
Wir nennen M unter diesen Voraussetzungen kurz regulär. Die ersten beiden Voraussetzungen haben wir bereits in Abschnitt 8.1 vorgestellt, und wir erinnern daran,
dass (σn )n≥0 die aufsteigende Folge der Sprungzeiten mit σ0 = 0 und Zuwächsen
(Verweildauern) τn = σn − σn−1 bezeichnet, wobei genauer
τn = (σn − σn−1 ) · 1{σn−1 <∞} + ∞ · 1{σn−1 =∞}
bn = Mσn . Ferner definieren wir noch die Absorptionszeit
gelte, und dass M
ρA := sup{σn : σn < ∞}.
Satz 8.11. [Struktursatz für MSP] Gegeben ein regulärer MSP M = (Mt )t≥0 , existiert eine Übergangsmatrix Pb = ( pbij )i, j∈S mit pbii = 0 bzw. 1, falls 0 < qi < ∞ bzw.
qi = 0, so dass
bn+1 = j, τn+1 > t |Fσn ) = P(M
bn+1 = j, τn+1 > t|M
bn )
P(M
(
∑i∈S pbij e−qi t 1{Mbn =i} , falls σn < ∞,
=
∑i:qi =0 δij 1{Mbn =i} , falls σn = ∞
(8.18)
b = (M
bn )n≥0 unter jedem
für n ∈ N0 , t ≥ 0 und j ∈ S gilt. Insbesondere bildet M
Pλ eine DMK, genannt eingebettete Markov-Kette von M, mit Zustandsraum S ,
Übergangsmatrix Pb und Startverteilung λ , und die Verweildauern τ1 , τ2 , ... sind
b stochastisch unabhängig mit
bedingt unter M
für alle n ∈ N.
b
b
Pτn |M = Pτn |Mn−1 = Exp qMbn−1
f.s.
Dass die Verweildauern bedingt unter der eingebetteten MK exponentialverteilt
sind, sollte nicht überraschen, denn zu jedem Zeitpunkt t darf die verbleibende Verweildauer in einem Zustand i aufgrund der Markov-Eigenschaft ja nur von i, nicht
aber von der schon dort verbrachten Zeit abhängen. Mit anderen Worten, gegeben
den gegenwärtigen Aufenthaltsort, ist die Verweildauer gedächtnislos und folglich
zwangsläufig eine Exponentialverteilung.
Beweis. Wir zeigen zuerst
Pi (σ1 > t) = e−qi t
d
(8.19)
für alle i ∈ S und t ≥ 0, d.h. σ1 = Exp(qi ) unter Pi . Da M rechtsseitig stetige Pfade
besitzt, gilt für alle t > 0
132
8 Theoretische Grundlagen
Pi (σ1 > t) = Pi (Ms = i für alle 0 ≤ s ≤ t)
t n
.
= lim Pi Mkt/n = i für alle 1 ≤ k ≤ n = lim pii
n→∞
n→∞
n
Eine Taylorentwicklung liefert außerdem
t t t t
qi t
pii
= pii (0) + p0ii (0) + o
= 1−
,
+o
n
n
n
n
n
falls n → ∞, so dass insgesamt
qi t − n o(t/n) n
Pi (σ1 > t) = lim 1 −
= e−qi t
n→∞
n
unter Benutzung von limn→∞ (1 + znn )n = ez im Fall zn → z folgt.
bn+1 = j, τn+1 > t|Fσn ) zuerst auf
Zum Beweis von (8.18) betrachten wir P(M
bn+1 = j, τn+1 > t} ∈
{σn < ∞}. Die starke Markov-Eigenschaft impliziert wegen {M
σ (M (σn ) )
bn+1 = j, τn+1 > t|Fσn ) = P(M
bn+1 = j, τn+1 > t|M
bn )
P(M
b1 = j, σ1 > t) f.s.
= PMbn (M
(8.20)
Setzen wir σ (t) := inf{s > 0 : Ms+t 6= Mt } für t ≥ 0, folglich σ1 = t + σ (t) auf
{σ1 > t}, und benutzen (8.19), so ergibt sich unter nochmaliger Verwendung der
starken Markov-Eigenschaft
b1 = j, σ1 > t) =
Pi (M
=
Z
{σ1 >t}
Z
{σ1 >t}
P(Mt+σ (t) = j|Ft ) dPi
P(Mt+σ (t) = j|Mt ) dPi
(8.21)
b1 = j)
= Pi (σ1 > t) Pi (M
b1 = j).
= e−qi t Pi (M
b1 = j), so folgt (8.18) auf {σn < ∞} aus (8.20) und
Definieren wir nun pbij = Pi (M
(8.21). Darüber hinaus liefert (8.21) für alle i ∈ S
b1 = i) = Pi (σ1 = ∞) = lim Pi (σ1 > t) = lim e−qi t ,
pbii = Pi (M
t→∞
t→∞
also pbii = 0 bzw. = 1, falls qi > 0 bzw. = 0.
bn+1 = M
bn = Mρ und τn+1 = ∞. Wir zeigen
Auf {σn = ∞} gilt gemäß Definition M
A
in einem anschließenden Lemma, dass
ρA = σν
Pi -f.s.,
ν := inf{n ≥ 0 : qMbn = 0}.
(8.22)
8.4 Die Struktur von regulären MSP
133
für alle i ∈ S gilt. Damit folgt (8.18) auch auf {σn = ∞}, denn unter Beachtung von
qMbn = qMbρ = 0 und pbMbn j = δMbn j für alle j ∈ S gilt auf dieser Menge
A
bn+1 = j, τn+1 > t|Fσn ) = P(M
bn+1 = j|M
bn )
P(M
= pbMbn j =
∑
i:qi =0
δij 1{Mbn =i}
f.s.
Alle weiteren Behauptungen des Satzes ergeben sich nun aus (8.18) durch eine
routinemäßige Anwendung maßtheoretischer Argumente: Wir beschränken uns der
Einfachheit auf den Fall, dass M keine absorbierenden Zustände besitzt. Als erstes
b = (Mσn )n≥0 vermöge der starken Markov-Eigenschaft (beachte
notieren wir, dass M
Lemma 8.6) eine DMK bildet, die vermöge (8.18) auch zeitlich homogen ist und die
Übergangsmatrix Pb besitzt, denn
bn+1 = j|M
bn = i) = P(M
bn+1 = j, τn+1 > 0|M
bn = i) = pbij .
P(M
Per Summation über j ∈ S in (8.18) folgern wir außerdem
bn = i) = e−qi t
P(τn+1 > t|M
für alle n ∈ N0 , t ≥ 0 und i ∈ S . Zum noch verbleibenden Nachweis der bedingten
b wählen wir m, n ∈ N, i, i1 , ..., in+m ∈ S sowie
Unabhängigkeit der τn gegeben M
t1 , ...,tn ≥ 0 beliebig und setzen zur Abkürzung
b1 = in+1 , ..., M
bm = in+m ) = pbin i · ... · pbi
fn (in ) := Pi (M
n+1
n+m−1 in+m .
Nach diesen Vereinbarungen ergibt sich
b1 = i1 , ..., M
bn+m = in+m , τ1 > t1 , ..., τn > tn )
Pi (M
=
=
Z
b1 =i1 ,...,M
bn =in ,τ1 >t1 ,...,τn >tn }
{M
Z
b1 =i1 ,...,M
bn =in ,τ1 >t1 ,...,τn >tn }
{M
bn+k = in+k , 1 ≤ k ≤ m|Fσn ) dPi
P(M
bn+k = in+k , 1 ≤ k ≤ m|M
bn ) dPi
P(M
b1 = i1 , ..., M
bn = in , τ1 > t1 , ..., τn > tn )
= fn (in ) Pi (M
= fn (in )
=
=
b1 =i1 ,...,M
bn−1 =in−1 ,τ1 >t1 ,...,τn−1 >tn }
{M
Z
bn = in , τn > tn |Fσ ) dPi
P(M
n−1
−q
t
pb b
e Mbn−1 dPi
b1 =i1 ,...,M
bn−1 =in−1 ,τ1 >t1 ,...,τn−1 >tn } Mn−1 in
{M
b1 = i1 , ..., M
bn = in , τ1 > t1 , ..., τn−1 > tn−1 )
fn (in ) pbin−1 in e−qin−1 t Pi (M
n
... = fn (in ) pbin−1 in · ... · pbii1
e−qik t
k=1
n
b1 = i1 , ..., M
bn+m = in+m )
Pi (M
e−qik t
k=1
= fn (in )
=
Z
∏
∏
134
8 Theoretische Grundlagen
=
=
Z
n
∏ e−qik t dPi
b1 =i1 ,...,M
bn+m =in+m }
{M
k=1
n
Z
∏ P(τk > tk |Mbk ) dPi
b1 =i1 ,...,M
bn+m =in+m }
{M
k=1
b1 = i1 , ..., M
bn+m = in+m } einen ∩-stabilen Erzeuger von σ (M)
b
Da die Mengen {M
n
b
definieren und ∏k=1 P(τk > tk |Mk ) offenkundig messbar bezüglich dieser σ -Algebra
ist, folgt vermöge eines Dynkin-System-Arguments
b =
P(τ1 > t1 , ..., τn > tn |M)
n
∏ P(τk > tk |Mbk )
Pi -f.s.
k=1
und weiter (setze t1 = ... = tn−1 = 0 und tn = t)
b = P(τn > t|M
bn ) Pi -f.s.
P(τn > t|M)
für alle i ∈ S , t ≥ 0 sowie n ∈ N, also schließlich
b =
P(τ1 > t1 , ..., τn > tn |M)
also das Gewünschte.
n
b
∏ P(τk > tk |M)
Pi -f.s.,
k=1
t
u
Lemma 8.12. Unter den Annahmen des vorherigen Satzes gilt (8.22) für die vor
diesem definierte Absorptionszeit ρA .
Beweis. Offensichtlich reicht es, Pi (ν > n, σn+1 = ∞) = 0 für alle n ≥ 0 und i ∈
S zu zeigen. Wir führen dazu einen Induktionsbeweis über n durch, wobei i ∈ S
beliebig vorgegeben sei. Unter Benutzung von (8.21) ergibt sich für n = 0
Pi (ν > 0, σ1 = ∞) = lim Pi (ν > 0, σ1 > t) = 1(0,∞) (qi ) lim e−qi t = 0.
t→∞
t→∞
Für den Induktionsschritt n − 1 7→ n gelte die Behauptung für n − 1 ∈ N0 . Es folgt
mit der starken Markov-Eigenschaft
Pi (ν > n, σn+1 = ∞) = Pi (ν > n − 1, σn < ∞, qMbn > 0, τn+1 = ∞)
=
Z
{ν>n−1,σn <∞}
PMbn (ν > 0, σ1 = ∞) dPi = 0,
wobei die Induktionsvoraussetzung für die erste Gleichung benutzt wurde.
Es folgt eine Klassifikation der Zustände eines MSP mit Hilfe der qi , i ∈ S .
t
u
8.5 Interpretation der Q-Matrix: Der Uhrenmechanismus
135
Definition 8.13. Sei M ein MSP mit Q-Matrix Q = (qij )i, j∈S und qi = −qii für i ∈
S . Dann heißt i ∈ S
• stabil, falls 0 < qi < ∞,
• absorbierend, falls qi = 0,
• augenblicklich, falls qi = ∞.
Augenblickliche Zustände treten unter Voraussetzung (A1), wie schon bei deren
Einführung erwähnt, nicht auf und sind hier nur der Vollständigkeit halber definiert
worden.
8.5 Interpretation der Q-Matrix: Der Uhrenmechanismus
Nachdem wir nunmehr eingesehen haben, dass die Diagonalelemente der Q-Matrix
von M bis auf ihr Vorzeichen die Parameter der exponentialverteilten Verweildauern angeben, stellt sich die Frage, welche Bedeutung die anderen Komponenten qij
haben. Nicht ganz überraschend stellen sie den Zusammenhang zur Übergangsmab her, wie Satz 8.15 zeigen wird. Zu dessen Beweis
trix Pb der eingebetteten DMK M
benötigen wir folgendes Lemma.
Lemma 8.14. Gegeben einen regulären MSP M = (Mt )t≥0 , existieren stetige Funktionen rij : R> → [0, 1], rij (0) = pbij , so dass
pij (t) = δij e−qi t +
Z t
0
qi e−qi (t−s) rij (s) ds.
(8.23)
für alle i, j ∈ S und t ≥ 0. Ferner folgt nach Differentiation dieser Beziehung
p0ij (t) = qi (rij (t) − pij (t)).
(8.24)
Beweis. Aus (8.18) und der starken Markov-Eigenschaft folgt für alle i, j ∈ S
pij (t) = Pi (Mt = j) = δij Pi (σ1 > t) + Pi (Mt = j, σ1 ≤ t)
= δij e−qi t +
∑
Z
= δij e−qi t +
b
k∈S {M1 =k,σ1 ≤t}
= δij e−qi t +
∑
Z
P(Mt = j|Fσ1 ) dPi
pk j (t − σ1 ) dPi
b
k∈S {M1 =k,σ1 ≤t}
Z t
pbik
qi e−qi s pk j (t − s) ds
0
k∈S
∑
136
8 Theoretische Grundlagen
= δij e−qi t +
Z t
0
qi e−qi s rij (t − s) ds,
wobei
rij (t) :=
∑ pbik pk j (t), t ≥ 0.
k∈S
rij ist offensichtlich stetig mit rij (0) = ∑k∈S pbik δ jk = pbij .
t
u
Satz 8.15. Gegeben einen regulären MSP M = (Mt )t≥0 , ist die Übergangsmatrix
b wie folgt durch Q bestimmt: Es gilt
Pb = ( pbij )i, j∈S der eingebetteten DMK M
pbii = 0
und
pbij = qij /qi
für j 6= i,
falls 0 < qi < ∞ (i stabil), und pbij = δij für alle j ∈ S , falls qi = 0 (i absorbierend).
Beweis. Setzt man in (8.24) des obigen Lemmas t = 0, so folgt
qij = qi ( pbij − δij ) für alle i, j ∈ S ,
was offenkundig die Behauptung impliziert, falls 0 < qi < ∞ und j 6= i. Für die
übrigen Fälle folgt das Gewünschte bereits aus dem Struktursatz 8.11.
t
u
Da für i 6= j bereits vermöge Satz 8.8 die rechtsseitige Taylor-Entwicklung
pij (t) = p0ij (0)t + o(t) = qij t + o(t),
t ↓ 0,
in 0 gilt, sieht man, dass qij auch die lineare Rate angibt, mit der M von i nach j
in einen infinitesimalen Zeitraum springt. Aus diesem Grund werden die qij in der
Beschreibung von MSP üblicherweise als Übergangsraten bezeichnet.
Auf der Grundlage der Sätze 8.11 und 8.15 lässt sich der Sprungmechanismus
eines MSPs mittels seiner Q-Matrix sehr schön naiv beschreiben. Vorweg notieren
wir ein elementares Lemma, dessen Beweis dem Leser als Übung überlassen bleibt.
Lemma 8.16. Seien (Xn )n≥0 und (λn )n≥0 Folgen unabhängiger Zufallsgrößen bzw.
d
nichtnegativer Zahlen, so dass Xn = Exp(λn ) und ∑n≥0 λn < ∞. Dann gilt
!
λn
d
inf Xk = Exp ∑ λk
und P Xn = inf Xk =
k≥0
k≥0
∑
k≥0 λk
k≥0
für alle n ≥ 0.
Gegeben einen regulären MSP mit Q-Matrix Q = (qij )i, j∈S , stellen wir uns nun
vor, in jedem Zustand j ∈ S befinde sich ein Wecker, der nach jedem Sprung neu
32
Beweis: Setzt man in (6.26) des obigen Lemmas t = 0, so folgt
qij = qi (p̂ij − δij )
für alle i, j ∈ S,
was oﬀenkundig die Behauptung impliziert, falls 0 < qi < ∞ und j = i. Für die übrigen Fälle
Q-Matrix:
137 ♦
folgt8.5
dasInterpretation
Gewünschtederbereits
aus Der
SatzUhrenmechanismus
6.8.
gestellt
wird,die
mitStunde
Ausnahme
des Weckers
Zustand, sagen
wirSprungmechanismus’.
i0 , in dem sich der
5. ”Wem
schlägt”:
Naive im
Interpretation
des
Prozess gerade befindet. Die Alarmzeit des Weckers in j sei eine Exp(qi0 j )-verteilte
Auf der Grundlage der Sätze 6.8 und 6.12 läßt sich der Sprungmechanismus eines MSPs mittels
Alarmzeit X j , die unabhängig von denen aller anderen Wecker festgelegt wird. Soseiner Q-Matrix auch naiv beschreiben. Vorweg notieren wir ein elementares Lemma, dessen
bald der erste Wecker klingelt, also zum Zeitpunkt inf j6=i0 X j , springt der Prozess in
Beweis
Leser als Zustand,
Übung überlassen
dendem
zugehörigen
sagen wirbleibt.
i1 , und derselbe Mechanismus wiederholt sich:
alle Wecker außer dem in i1 werden neu gestellt, Wecker Nr. j auf eine Exp(qi1 j ))n≥0veranschaulicht
und (λn )n≥0 Folgen
unabhängiger Zufallsgrößen bzw.
6.13. Lemma.
(Xn8.1
verteilte
Alarmzeit, Seien
etc. Abb.
den Mechanismus für einen MSP
∼
Exp(λ
)
und
λ
<
∞.folgt,
Danndass
gilt unter diesem
nichtnegativer
Zahlen,
so
daß
X
n Mittels n
n
mit Zustandsraum {1, ..., 6}.
des obigen
Lemmas
n≥0
Mechanismus der gegenwärtige
Zustand
i0 nach einer Exp(∑ j6=i0 qi0 j ) = Exp(qi0 )
λ
P (Xn = inf Xk ) = Xk ∼ Expwird,
λk zwarund
inf verlassen
verteilten Zeit
und
mit Wahrscheinlichkeit
pbi0 i1 n= qi0 i1 /qi0 gen
k≥0
k≥0
k≥0
k≥0 λk
i1 .
für alle n ≥ 0.
M
t






σ

σ

t
Abb. 8.1 Der Uhrenmechanismus
MSP: Die Pfeile bezeichnen
Bild 6.2. eines
Sprungmechanismus
eines MSP die jeweils nach einem
Sprung eingestellten Alarmzeiten, wobei der jeweils einzige schwarze Pfeil zu demjenigen Wecker
gehört, der als erster klingelt und somit den nächsten Zustand markiert.
Gegeben einen MSP mit konservativer Q-Matrix Q = (qij )i,j∈S , stellen wir uns nun
vor, in jedem Zustand j ∈ S beﬁnde sich ein Wecker, der nach jedem Sprung neu gestellt
Selbstverständlich dient der gerade beschriebene Mechanismus lediglich Anwird, mit Ausnahme des Weckers des Zustands, sagen wir i0 , in dem sich der Prozeß gerade
schauungszwecken. Will man zu vorgegebener konservativer Q-Matrix Q, etwa auf
beﬁndet. Die Alarmzeit des Weckers in j sei eine Exp(qi0 j )-verteilte Alarmzeit Xj , die uneinem Rechner, einen MSP simulieren, wird man vielmehr das folgende Schema
abhängig
vonBezeichnet
denen alleri anderen
Wecker festgelegt wird. Sobald der erste Wecker klingelt,
wählen:
0 einen beliebig gewählten Anfangszustand, so verharre dort
alsoeine
zumExp(q
Zeitpunkt
inf
X
,
springt
derRechner
Prozeß in
den eine
zugehörigen
Zustand,
sagenZuwir i1 ,
j∈S Zeit
j
(auf dem
durch
demgemäß
generierte
i0 )-verteilte
werden neu gestellt,
undfallszahl
derselbe Mechanismus
wiederholt
Wecker
außer idem
i1 -ten
festgelegt) und
springe sich:
dannalle
in den
Zustand
Wahrscheinlichkeit
1 mit
qi0 i1 Nr.
/qi0j. auf
Verharre
dort ieine
Exp(q
)-verteilte
Zeit
und
springe
dann
in den
)-verteilte
Alarmzeit,
etc.
Bild
6.2
veranschaulicht
denZuMechaWecker
eine Exp(q
i
j
1
1
stand
mit Wahrscheinlichkeit
qi1 i2 /qi{1,
Im Fall
nismus
füri2 einen
MSP mit Zustandsraum
..., 6}.
Dieeines
Pfeileabsorbierenden
bezeichnen dieZustands
jeweils nach
1 , etc.
bricht das Verfahren bei Erreichen eines solchen ab. Sofern der resultierende Prozess nicht explodiert (Bedingungen an Q hierfür gibt der nächste Abschnitt), erhält
man in der Tat einen MSP mit Q-Matrix Q, wie in Satz ???? gezeigt wird.
138
8 Theoretische Grundlagen
8.6 Minimale Konstruktion und Explosion von MSP
Auf der Grundlage der Sätze 8.11 und 8.15 kann man im Prinzip nach dem gerade beschriebenen Schema zu beliebiger konservativer Q-Matrix Q auf kanonische
Weise einen MSP M mit der rechtsseitig stetigen, stückweise konstanten Pfaden
b = (M
bn )n≥0 mit Übergangsmatrix Pb gemäß
konstruieren, indem man eine DMK M
Satz 8.15 wählt und dazu eine Folge (τn )n≥1 von Verweildauern, die bedingt unter
b stochastisch unabhängig sind mit P(τn ∈ ·|M)
b = Exp(q b ) für alle n ≥ 1. NachM
Mn
zuweisen bleibt dann allerdings noch, gleichsam als Umkehrung des Struktursatzes,
dass dies immer zu einem MSP mit SÜMF (P(t))t≥0 und Q-Matrix Q führt. Zudem kann hierbei ein Problem auftreten, das im letzten Abschnitt vermöge (A4)
ausgeschlossen wurde, nämlich die Möglichkeit der Explosion des so konstruierten
Prozesses, anschaulich durch unendlich viele Sprünge in endlicher Zeit beschrieben
und formal durch Pi (ρE < ∞) > 0 für ein i ∈ S definiert, wobei ρE gemäß (8.9) die
Explosionszeit bezeichnet. Bei Explosion determiniert das beschriebene Konstruktionsverfahren den Prozess M nur bis zum Zeitpunkt ρE , und die Fortsetzung von
M über ρE hinaus unter Gewährleistung der Markov-Eigenschaft ist durch Q nicht
in eindeutiger Weise festgelegt mit der Konsequenz, dass zu Q mehrere SÜMF P(t)
mit P 0 (0) = Q existieren. Eine ebenso natürliche wie wichtige Frage lautet also, unter welchen Bedingungen an Q das Verfahren einen nicht explodierenden MSP M
liefert, deren SÜMF P(t) die eindeutige Lösung von P 0 (0) = Q bildet. Eine Diskussion dieser Frage, wobei wir zum Teil auf Beweise verzichten werden, bildet Inhalt
dieses Abschnitts.
Für die anschließenden Überlegungen ist es sinnvoll, allgemeiner substochastische SÜMF zu betrachten, also Halbgruppen (P(t))t≥0 auf S mit limt→0 P(t) = I
und ∑ j∈S pij (t) ≤ 1 für alle i ∈ S . Wir erweitern wieder den Zustandsraum um
ein weiteres Element ∆ und fassen S∆ = S ∪ {∆ } als Einpunkt-Kompaktifizierung
von S auf. Die dadurch induzierte Borelsche σ -Algebra S∆ entspricht hier weiterhin der Potenzmenge von S∆ . Wir weisen aber darauf hin, dass eine Zustandsfolge
genau dann gegen ∆ konvergiert, wenn sie jede endliche Teilmenge von S nur endlich oft aufsucht. Die Fortsetzung von (P(t))t≥0 auf S∆ mit ∆ als absorbierendem
Zustand bezeichnen wir mit (P∗ (t))t≥0 , also
pi∆ (t) = 1 −
∑
pij (t),
p∆ ∆ (t) = 1
und
p∆ i (t) = 0
(8.25)
j∈S
für alle i ∈ S und t ≥ 0. Gemäß Satz 8.8 ist P∗ (t) auf R> komponentenweise stetig
differenzierbar und besitzt in 0 eine rechtsseitige Ableitung, folglich die Q-Matrix
Q∗ = (qij )i, j∈S∆ . Sei Q = (qij )i, j∈S deren Einschränkung auf S und weiter als QMatrix von (P(t))t≥0 bezeichnet. Umgekehrt nennen wir (P(t))t≥0 bei gegebenem
Q eine zu Q gehörende substochastische SÜMF. Ist Q konservativ, so ist auch die
Erweiterung Q∗ konservativ, denn es gilt dann
q∆ = q∆ ∆ = q∆ i = qi∆ = 0
(8.26)
8.6 Minimale Konstruktion und Explosion von MSP
139
für alle i ∈ S . Für q∆ ∆ und q∆ i , i ∈ S , folgt dies sofort aus (8.25), während für
qi∆ , i ∈ S , folgendes Argument zum Ziel führt: Sei o.B.d.A. S = N. Dann gilt für
alle i, n ≥ 1
1 − ∑ j≥1 pij (t)
t↓0
t
pij (t)
1 − pii (t)
≤ lim
− ∑ lim
= qi − ∑ qij ,
t↓0
t
t
i6= j≤n t↓0
i6= j≤n
qi∆ = lim
und der letzte Ausdruck konvergiert, da Q konservativ, für n → ∞ gegen 0.
Wir können nun zu einer beliebigen konservativen Q-Matrix Q = (qij )i, j∈S mit
Hilfe des am Ende des vorherigen Abschnitts beschriebenen Verfahrens einen regulären MSP M ∗ , indem wir das Problem der Explosion durch die Erweiterung von
S um den absorbierenden Zustand ∆ und Übergang zu Q∗ lösen.
b ∗ und die VerWir wählen das kanonische Modell für die eingebettete DMK M
∗
weildauern (τn )n≥0 des zu konstruierenden MSPs M : Seien Ω = (S∆ × [0, ∞])N0 ,
A = (S∆ ⊗ B([0, ∞])N0 sowie
bn∗ : Ω → S∆ ,
M
(ik ,tk )k≥0 7→ in
und τn : Ω → [0, ∞],
(ik ,tk )k≥0 7→ tn
die zugehörigen Projektionen. Sei ferner Pb = ( pbij )i, j∈S die gemäß Satz 6.12 durch
Q festgelegte Übergangsmatrix. Für beliebiges i ∈ S definieren wir das Wahrscheinlichkeitsmaß Pi auf (Ω , A) in der durch Satz 6.8 vorgeschriebenen Weise,
nämlich Pi (M0 = i, τ0 = 0) = 1 für alle i ∈ S∆ ,
bk∗ = ik , τk > tk für 1 ≤ k ≤ n) :=
Pi (M
n−1
∏ pbik ik+1 exp(−qik tk+1 )
k=0
für beliebige n ∈ N, i1 , ..., in ∈ S und t1 , ...,tn ≥ 0, sowie
bn ,τn )n≥1
(M
P∆
:= δ((∆ ,∞),(∆ ,∞),...) .
bn∗ )n≥0 dann unter jedem Pi , i ∈ S , eine DMK mit ZuMan sieht sofort, dass (M
standsraum S , Startpunkt i und Übergangsmatrix Pb bildet und dass die τn , n ≥ 1
b = Exp(q b ∗ )
bn∗ )n≥0 stochastisch unabhängig sind mit P(τn ∈ ·|M)
bedingt unter (M
Mn−1
für alle n ≥ 1. Die Variable τ0 , per definitonem f.s. identisch 0 unter jedem Pi , wurde
nur zur Vereinfachung der obigen Definitionen eingeführt. M ∗ definieren wir nun in
kanonischer Weise durch
(
bn∗ , falls σn ≤ t < σn+1 oder σn = ∞, n ∈ N0
M
∗
Mt =
(8.27)
∆ , falls t ≥ ρE = limn→∞ σn
wobei natürlich σ0 = 0 und σn = τ1 +...+τn für n ∈ N die Sprungzeiten bezeichnen.
Unter P∆ gilt offenbar Mt = ∆ für alle t ≥ 0.
140
8 Theoretische Grundlagen
Satz 8.17. Der zu Q konstruierte Prozess M ∗ ist unter jedem Pi , i ∈ S , ein (A1)(A3) genügender MSP mit Zustandsraum S∆ , Q-Matrix Q∗ und einer SÜMF
P∗ (t) = (pij (t))i, j∈S∆ , die (8.25) erfüllt. Außerdem bildet (Ω , A, M ∗ , (Pi )i∈S∆ ) ein
Standardmodell für (P∗ (t))t≥0 .
Beweis. Dass M ∗ die Càdlàg-Eigenschaft besitzt, ergibt sich leicht aus (8.27). Die
Hauptarbeit besteht, wie schon in der Einleitung dieses Abschnitts bemerkt, vielmehr darin nachzuweisen, dass M ∗ tatsächlich einen Markov-Prozess mit Q-Matrix
b ∗ , (τn )n≥1 ) für eine geeignete messbare
Q∗ definiert. Offensichtlich gilt M ∗ = f (M
Funktion f : Ω → D(S∆ ), D(S∆ ) der Raum der rechtsseitig stetigen Funktionen
von [0, ∞) nach S∆ mit linksseitigen Limiten, auch “Càdlàg-Funktionen” genannt.
Entsprechend folgt für den Post-t-Prozess M ∗(t)
bν(t)+n )n≥0 , σν(t) − t, τν(t)+1 , τν(t)+2 , ...),
M ∗(t) = f ((M
mit derselben Funktion f , wobei ν(t) = inf{n ≥ 1 : σn > t}. M ∗ ist adaptiert
bezüglich
b0∗ , ..., M
b∗
Ft := σ (ν(t), M
ν(t)−1 , τ1 , ..., τν(t)−1 ),
t ≥ 0.
Es genügt demnach, für jedes t > 0
b ∗(ν(t)) ,σν(t) −t,τν(t)+1 ,τν(t)+2 ,...)|Ft
P(M
b ∗ ,(τn )n≥1 )
(M
Mν(t)−1
= P b∗
zu zeigen. Auf weitere Details verzichten wir jedoch und begnügen uns mit dem
b ∗ sowie die GedächtHinweis, dass die bedingte Unabhängigkeit der τn gegeben M
nislosigkeit der Exponentialverteilung garantieren, dass die bedingte Verteilung der
bν(t)+n , τν(t)+n )n≥0 , nur von M
bν(t)−1
“kritischen Größe” σν(t) −t, gegeben Ft und (M
abhängt, aber nicht von der schon verstrichenen Verweildauer t − σν(t)−1 in diesem
Zustand (natürlich eine Exponentialverteilung mit Parameter qMb
).
ν(t)−1
Aufgrund der Definition von M ∗ ist klar, dass dieser (A1) und (A2) genügt und
dessen ÜMF (P∗ (t))t≥0 (8.25) erfüllt. Auch erinnern wir daran, dass Q∗ wegen
(8.26) konservativ ist. Zu zeigen bleibt, dass (P∗ (t))t≥0 die Q-Matrix Q∗ besitzt
und damit insbesondere eine SÜMF bildet. Es gilt für alle i ∈ S∆
lim
t↓0
1 − pii (t)
Pi (Mt∗ 6= i)
Pi (σ1 ≤ t)
1 − e−qi t
= lim
= lim
= lim
= qi .
t↓0
t↓0
t↓0
t
t
t
t
Für absorbierendes i und j 6= i erhält man außerdem sofort
lim
t↓0
pij (t)
= 0 = qij .
t
8.6 Minimale Konstruktion und Explosion von MSP
141
Etwas mehr Arbeit bereitet der Fall i, j ∈ S∆ , i 6= j und i nicht absorbierend (qi > 0).
Hier ergibt sich zunächst die Ungleichung
b1∗ = j) ≤ pij (t)
Pi (σ1 ≤ t < σ2 , M
b1∗ = j) + Pi (σ2 ≤ t)
≤ Pi (σ1 ≤ t < σ2 , M
(8.28)
und unter Benutzung von pbij = qij /qi sowie der bedingten Unabhängigkeit der τn
b∗
gegeben M
b1∗ = j) = pbij
Pi (σ1 ≤ t < σ2 , M
= qij
= qij
für t ↓ 0. Es folgt somit
lim
t↓0
Z
[0,t]
Z t
0
Z t
0
b1 = j) Pσ1 (ds)
P(τ2 > t − s|M
i
P j (σ1 > t − s)e−qi s ds
e−qi s−q j (t−s) ds = qij t + o(t)
pij (t)
= qij
t
aus (8.28), wenn wir noch Pi (σ2 ≤ t) = o(t) für t ↓ 0 zeigen. Eine ähnliche Rechnung wir zuvor liefert aber
Pi (σ2 ≤ t) =
∑ qik
k6=i
Z t
0
Pk (σ1 ≤ t − s)e−qi s ds ≤ t ∑ qik (1 − e−qk t ) = o(t)
k6=i
für t ↓ 0 unter Beachtung von ∑k6=i qik = qi < ∞.
t
u
Ein Blick auf die obige Konstruktion legt die (richtige) Vermutung nahe, dass
statt der Absorption in ∆ zum Explosionszeitpunkt ρE auch andere Fortsetzungen
über ρE hinaus unter Gültigkeit der Markov-Eigenschaft möglich sind, etwa der
Neustart in einem vorgegebenen Zustand j ∈ S oder gemäß irgendeiner vorgegeet )t≥0 auf S∆ , konstruiert
benen Startverteilung auf S . Für einen derartigen MSP (M
∗
e
wie vor Satz 8.17, gilt dann (Mt )0≤t<ρE = (Mt )0≤t<ρE und
et = j) = Pi (Mt∗ = j, ρE > t) + Pi (M
et = j, ρE ≤ t)
Pi (M
≥ Pi (Mt∗ = j, ρE > t)
=
Pi (Mt∗
(8.29)
= j)
für alle i, j ∈ S . Darüber hinaus ist die Einpunkt-Kompaktifizierung von S nicht
“das Ende der Geschichte”, will man zu gegebener Q-Matrix Q alle SÜMF durch
Konstruktion eines zugehörigen MSPs in obiger Weise bestimmen. Dies liegt daran,
dass alle “explodierenden Pfade” in der Einpunkt-Kompaktifizierung gegen denselben Punkt ∆ konvergieren und somit eine Fortsetzung des Prozesses unter Erhaltung
der Markov-Eigenschaft über ρE in ein und derselben Weise zu erfolgen hat. Wählt
man dagegen eine andere Kompaktifizierung mit mehr als einem Konvergenzpunkt
142
8 Theoretische Grundlagen
bei Explosion, so kann man für jeden dieser Punkte eine andere Fortsetzung wählen.
Will man also alle SÜMF zu Q bestimmen, so muss man die “größte” Kompaktifizierung, genannt Stone-Čech-Kompaktifizierung, zugrundelegen1 . Dem Leser dürfte
klar sein, dass wir dies hier nicht weiter vertiefen wollen. Wir notieren nur noch als
allgemeine Bestätigung von (8.29):
e = ( peij (t))i, j∈S
Satz 8.18. Für jede zu Q gehörende substochastische SÜMF P(t)
gilt
peij (t) ≥ pij (t)
(8.30)
für alle i, j ∈ S und t ≥ 0. Ist P(t) = (pij (t))i, j∈S stochastisch, gilt also pi∆ (t) = 0
für alle i ∈ S und t ≥ 0, so ist P(t) die einzige zu Q gehörende substochastische
SÜMF.
Beweis. Die zuletzt gemachte Eindeutigkeitsaussage folgt sofort aus (8.30), zu dessen Beweis wir allerdings auf A NDERSON [3, Theorem 2.2 auf S. 70] verweisen.
t
u
Aufgrund der Minimalitätseigenschaft (8.30) bezeichnet man M ∗ als die zu Q
gehörende minimale Konstruktion. Sie erfüllt, auch wenn sie substochastisch ist,
sowohl die VDGl als auch die RDGl. Die Einschränkung P(t) von P∗ (t) ist offensichtlich genau dann stochastisch, wenn M ∗ nicht-explodierend ist, d.h. ρE = ∞ fast
sicher gilt. Der nächste Satz gibt dafür ein notwendiges und hinreichendes Kriterium an Q, das von G.E.H. R EUTER2 stammt. Wir bezeichnen dazu einen Vektor
x = (xi )i∈S ∈ RS als nichtnegativ bzw. beschränkt, falls xi ≥ 0 für alle i ∈ S bzw.
supi∈S |xi | < ∞.
Satz 8.19. [Explosionskriterium von Reuter] Die minimale Konstruktion M ∗ ist
genau dann nicht-explodierend, wenn x = 0 die einzige nichtnegative, beschränkte
Lösung der Gleichung Qx = x bildet.
Beweis. Sei zunächst angenommen, dass M ∗ explodierend ist. Dann existiert ein
i ∈ S mit Pi (ρE < ∞) > 0. Setzen wir
x j = E j e−ρE ,
j∈S,
1 Dies soll bedeuten: Bezeichnet β die Einbettung von S in die Stone-Čech-Kompaktifizierung
β S (Homöomorphie von S nach β (S )) und K irgendeinen kompakten Raum, so gilt: Für jede
stetige Abbildung f : S → K existiert eine eindeutig bestimmte stetige Abbildung g : S → β S ,
so dass f = β ◦ g (siehe VON Q UERENBURG [19, S. 136].
2 G ERD “H ARRY ” E DZARD R EUTER (1921-1992), genannt Harry Reuter, war der Sohn des späteren Berliner Bürgermeisters E RNST R EUTER (1889-1953), der als Sozialdemokrat während der
NS-Zeit Deutschland verlassen musste. Harry Reuter kam 1935 nach England und erhielt dort
1938 die Staatsbürgerschaft. Er lehrte ab 1959 als Professor in Durham und danach am Imperial
College in London. Später lebte er in Cambridge.
8.6 Minimale Konstruktion und Explosion von MSP
143
so folgt xi > 0, und x = (xi )i∈S ist ein nichtnegativer, beschränkter Vektor 6= 0. Wir
zeigen nun Qx = x. Es ergibt sich unter Benutzung von q j = −q jj , pbjk = q jk /q j
sowie der starken Markov-Eigenschaft für alle j ∈ S
xj =
=
=
∑
∗
k6= j {Mσ1 =k}
Z ∞
∑ pbjk
k6= j
Z ∞
0
=
=
Z
0
e−ρE dPj
q j e−q j t Ek e−t−ρE dt
q j e−(1+q j )t dt
∑ pbjk xk
(8.31)
k6= j
qj
1+qj
∑ pbjk xk
k6= j
1
1 − q jj
∑ q jk xk
k6= j
und daraus nach einfacher Umformung das Gewünschte.
Sei nun M ∗ als nicht-explodierend vorausgesetzt und x = (xi )i∈S eine nichtnegative, beschränkte Lösung von Qx = x, also
xi =
qij x j
∑ 1+qj
j6=i
für alle i ∈ S ,
wie soeben eingesehen. O.B.d.A. können wir supi∈S |xi | ≤ 1 annehmen. Wir definieren
(0)
(n)
xi = 1 und xi = Ei e−σn , n ≥ 1
für i ∈ S . Eine ähnliche Rechnung wie in (8.31) ergibt für alle n ≥ 0
(n+1)
xi
=
∑ pbij
j6=i
(0)
Z ∞
0
(n)
(n)
qi e−(1+qi )t x j
dt =
qij x j
∑ 1 + qi .
(8.32)
j6=i
Da 1 = xi ≥ xi für alle i ∈ S , folgt nun mit einer Induktion über n unter Verwen(n)
(n)
dung von (8.32) xi ≥ xi für alle i ∈ S und n ≥ 0. Andererseits gilt xi → 0 für alle
i ∈ S wegen σn ↑ ρE = ∞ Pi -f.s. und majorisierter Konvergenz, so dass x = 0. t
u
Der Nachteil von Reuters Explosionskriterium besteht darin, dass es nicht immer
einfach zu überprüfen ist. Eine in dieser Hinsicht bessere Alternative bildet Korollar
7.5 im Anschluß an den folgenden Satz, aus dem es sich als einfache Konsequenz
ergibt.
Satz 8.20. Sei Λ = ∑n≥0 q−1
bn∗ . Dann gilt Pi (Λ < ∞) = Pi (ρE < ∞) für alle i ∈ S ,
M
∗
und M ist folglich genau dann nicht-explodierend, wenn Λ = ∞ fast sicher.
144
8 Theoretische Grundlagen
b ∗ = (M
bn∗ )n≥0 die eingebettete DMK
Beweis. In den üblichen Bezeichnungen sei M
m−1 −1
∗
∗
b
von M . Da σn ↑ ρE und E(σm |M ) = ∑k=0 q b ∗ f.s., folgt aufgrund monotoner
Mk
b ∗ ) = Λ f.s. und damit {Λ < ∞} ⊂ {ρE < ∞} f.s. Bedingt unter
Konvergenz E(ρE |M
∗
b
M liefert der Kolmogorovsche Dreireihensatz [+ z.B. G ÄNSSLER & S TUTE [9,
Satz 2.2.9 auf S. 126)]] auf {ρE < ∞}
−q
∑ P τn > 1|Mb ∗ = ∑ e Mbn∗ < ∞ und
n≥1
n≥0
∗
b
E
τ
∧
1|(
M
=
n
∑
1−e
∑ q b∗
n≥0
M
n≥1
woraus leicht Λ < ∞ folgt.
−qMb ∗
n
< ∞
f.s.
n
t
u
Korollar 8.21. Hinreichende Bedingungen dafür, dass M ∗ nicht-explodierend ist,
d.h. für ρE = ∞ f.s. bilden:
(a)
(b)
(c)
Der Zustandsraum S ist endlich.
supi∈S qi < ∞.
b ∗ ist rekurrent.
Die eingebette DMK M
Literaturverzeichnis
145
Literaturverzeichnis
1. Alsmeyer, G.: Wahrscheinlichkeitstheorie, Skripten zur Mathematischen Statistik, 5. Auflage,
vol. 30. Institut f. Math. Statistik, Universität Münster, Münster (2007)
2. Alsmeyer, G.: Wahrscheinlichkeitstheorie einschließlich Grundlagen der Maß- und Integrationstheorie, Skripten zur Mathematischen Statistik, vol. 40. Institut f. Math. Statistik, Universität Münster, Münster (2015)
3. Anderson, W.J.: Continuous-time Markov chains. Springer Series in Statistics: Probability
and its Applications. Springer-Verlag, New York (1991). An applications-oriented approach
4. Blackwell, D.: A renewal theorem. Duke Math. J. 15, 145–150 (1948)
5. Blackwell, D.: Extension of a renewal theorem. Pacific J. Math. 3, 315–320 (1953)
6. Erdös, P., Feller, W., Pollard, H.: A property of power series with positive coefficients. Bull.
Am. Math. Soc. 55, 201–204 (1949)
7. Fisher, R.A.: The genetical theory of natural selection, variorum edn. Oxford University Press,
Oxford (1999). Revised reprint of the 1930 original, Edited, with a foreword and notes, by J.
H. Bennett
8. Gale, J.S.: Theoretical Population Genetics. Unwin Hyman, London (1990)
9. Gänssler, P., Stute, W.: Wahrscheinlichkeitstheorie. Springer-Verlag, Berlin (1977)
10. Griffeath, D.: A maximal coupling for Markov chains. Z. Wahrscheinlichkeitstheorie und
Verw. Gebiete 31, 95–106 (1974/75)
11. Griffeath, D.S.: Coupling methods for Markov processes. ProQuest LLC, Ann Arbor, MI
(1976). Thesis (Ph.D.) – Cornell University
12. Jagers, P.: Branching processes with biological applications. Wiley-Interscience [John Wiley
& Sons], London (1975). Wiley Series in Probability and Mathematical Statistics – Applied
Probability and Statistics
13. Kelly, F.P.: Reversibility and stochastic networks. Cambridge Mathematical Library. Cambridge University Press, Cambridge (2011). Revised edition of the 1979 original with a new
preface
14. Lindvall, T.: A probabilistic proof of Blackwell’s renewal theorem. Ann. Probability 5(3),
482–485 (1977)
15. Lindvall, T.: W. Doeblin 1915–1940. Ann. Probab. 19(3), 929–934 (1991)
16. Lindvall, T.: Lectures on the coupling method. Wiley Series in Probability and Mathematical
Statistics: Probability and Mathematical Statistics. John Wiley & Sons Inc., New York (1992).
A Wiley-Interscience Publication
17. Moran, P.A.P.: Random processes in genetics. Proc. Cambridge Philos. Soc. 54, 60–71 (1958)
18. Pitman, J.W.: Uniform rates of convergence for Markov chain transition probabilities. Z.
Wahrscheinlichkeitstheorie und Verw. Gebiete 29, 193–227 (1974)
19. von Querenburg, B.: Mengentheoretische Topologie. Springer-Verlag, Berlin (1973)
20. Resnick, S.: Adventures in stochastic processes. Birkhäuser Boston Inc., Boston, MA (1992)
21. Thorisson, H.: Coupling, stationarity, and regeneration. Probability and its Applications (New
York). Springer-Verlag, New York (2000)
22. Wright, S.: Evolution in Mendelian populations. Genetics 16(2), 97–159 (1931)
Sachverzeichnis
Abkürzungen, Liste von, xi
absorbierend, 47
adaptiert (bzgl. einer Filtration), 12
Anfangsverteilung, 3
Aussterbewahrscheinlichkeit, 42
Bedienungssystem, 27
mit konstanten Bedienungszeiten, 39
Besuchskette, 81
Blackwellsches Erneuerungstheorem, 88, 90
Càdlàg-Eigenschaft, 123
Chapman-Kolmogorov-Gleichungen, 8, 122
detaillierte Gleichgewichtsgleichungen, 108
diploid, 31
DMK, 4
Doeblin
-Bedingung, 92
-Kette, 92
duale
Markov-Kette, 107
Übergangsmatrix, 107
Ehrenfest-Modell, 30, 115
Eigenschaft
Càdlàg-, 123
Klassen-, 61
Markov-, 4, 121
Solidaritäts-, 61
starke Markov-, 20, 124
EMK, 4
Ergodensatz
für positiv rekurrente DMK, 82
für positiv rekurrente EMK, 76
pfadweiser ... für positiv rekurrente DMK,
87
Ergodizität
exponentielle, 92
geometrische, 92
gleichmäßig exponentielle, 92
gleichmäßige, 92
schwache, 80
starke, 80
Erneuerungsdichte, 90
Erneuerungsprozess
diskreter, 89
Erneuerungstheorem
Blackwellsches, 88, 90
Exkursion
einer Markov-Kette, 50
Explosions
-zeit, 125, 138
Filtration, 11
kanonische, 12
Folge
Post-τ-, 16
Formel
Stirlingsche, 56
Friedhof, 19
Galton-Watson-Verzweigungsprozess, 41
Geburts- und Todesprozess, 114
Geburtsprozess, 102
geometric trials argument, 63
Gleichung
Chapman-Kolmogorov-...en, 8, 122
detaillierte Gleichgewichts-...en, 108
haploid, 31
hit chain, 81
invariant
147
148
-e Verteilung, 23
-es Maß, 22
irreduzibel, 45
Irrfahrt
auf Z, 102
auf Zd , 35, 55
auf einem Graphen, 29, 112
mit absorbierenden Barrieren, 29
mit reflektierenden Barrieren, 29, 115
reflektierende, 37
symmetrische/asymmetrische, 29
kanonischer Prozess, 9
kanonisches Modell, 10
Klasse, 45
-neigenschaft, 61
Rekurrenz-, 65
zyklische, 85
Konvergenz
gleichmäßige ... im Césaro-Mittel, 69
gleichmäßige ... im Zeitmittel, 69
gleichmäßige Verteilungs-, 69
in Totalvariation, 69, 76
Koordinatenprozess, 9
Kopplung, 74
-sprozess, 78
-sungleichung, 75, 76
-szeit, 76
Sachverzeichnis
reversible, 107
sprungfreie, 114
Standardmodell, 10
stationäre/invariante Verteilung, 23
stationäres/invariantes Maß, 22
transiente, 62
zeitlich homogene, 4
Markov-Sprungprozess, 121
ε-Skelett, 126
regulärer, 131
Struktursatz, 131
Maß
invariantes/stationäres, 22
essentiell eindeutiges, 95
Matrix
doppelt stochastische, 111
positive, 45
Q-, 127
Übergangs-, 5
Modell
Ehrenfest-, 30, 115
kanonisches, 10
Lagerhaltungs-, 40
Moran-, 34
Standardeiner Markov-Kette, 10
Wright-Fisher-, 31
Moran-Modell, 34
MSP, 121
Lagerhaltungsmodell, 40
null-rekurrent, 53
Markov-Eigenschaft, 4, 121
starke, 20, 124
Markov-Kette
aperiodische, 62
auf einem Baum, 112
bzgl. einer Filtration, 18
d-Skelett, 85
diskrete, 4
duale, 107
eingebettete, 131
endliche, 4
ergodische, 80
exponentiell, 92
geometrisch, 92
gleichmäßig, 92
gleichmäßig exponentiell, 92
irreduzible, 45
kanonisches Modell, 10
mit zwei Zuständen, 27, 117
periodische, 62
rekurrente, 62
null-, 62
positiv, 62
positiv rekurrent, 53
Post
-n-Folge, 19
Prozess
diskreter Erneuerungs-, 89
Galton-Watson-Verzweigungs-, 41
Geburts-, 102
kanonischer, 9
Koordinaten-, 9
Markov Sprung-, 121
Post-t-, 122
Prä-t-, 122
Q-Matrix, 127
konservative, 128
Rückkehrzeit, 19
Random Walk
diskreter ... auf Zd , 36
Nächste-Nachbarn-, 39
sprungfreier, 39
RDGl, 128
Sachverzeichnis
rekurrent, 53
Rekurrenz
-klasse, 65
-kriterium, 54, 101
-menge, 81
-zeit, 19
mittlere, 53
Vorwärts-, 89
von Irrfahrten auf Zd , 55
Reproduktions
-verteilung, 41
Reversibilität, 105, 107
Kolmogorov-Kriterium für, 110
Rückwärts-Differentialgleichungen, 128
Satz
Ergoden- ... für positiv rekurrente DMK, 82
Ergoden- ... für positiv rekurrente EMK, 76
pfadweiser Ergoden- ... für positiv rekurrente
DMK, 87
Struktur- ... für MSP, 131
Segment
einer Markov-Kette, 50
σ -Algebra
der τ-Vergangenheit, 13, 20, 123
Skelett
d- ... einer Markov-Kette, 85
Solidaritätseigenschaft, 61
Standardmodell
einer Markov-Kette, 10
starke Markov Eigenschaft, 20, 124
stationär, 24
-e Verteilung, 23
-es Maß, 22
essentiell eindeutiges, 95
Stirlingsche Formel, 56
Stopzeit, 13
bzgl. einer Filtration, 13
bzgl. eines stochastischen Prozesses, 13
kontinuierliche, 123
Strähnen-Kette, 103
SÜMF, 126
Symbolen, Liste von, xiii
Totalvariation, 69
transient, 53
149
Übergangs
-kern, 3
1-Schritt-, 4
-matrix, 5
n-Schritt-, 8
duale, 107
-matrixfunktion, 122
Standard-, 126
-rate, 136
-wahrscheinlichkeit, 5
n-Schritt-, 8
stationäre, 4
ÜMF, 122
VDGl, 130
Verteilung
invariante/stationäre, 23
Reproduktions-, 41
Verzweigungsprozess
Galton-Watson-, 41
Vorwärts-Rekurrenzzeit, 89
Vorwärts-Differentialgleichungen, 130
Wahrscheinlichkeit
Übergangs-, 5
n-Schritt-, 8
Wright-Fisher-Modell, 31
zeitlich homogen, 4, 121
Zustand, 3
(d)-periodischer, 48
absorbierender, 19, 135
aperiodischer, 48
augenblicklicher, 135
erreichbarer, 43
kommunizierender, 44
null-rekurrenter, 53
positiv rekurrenter, 53
rekurrenter, 53
stabiler, 135
transienter, 53
verbundener, 44
Zustandsraum, 3
zyklische Klasse, 85
Zyklus
einer Markov-Kette, 50

Download Report