Gerold Alsmeyer Diskrete Markov-Ketten und Markov-Sprungprozesse 20. Januar 2016 80 Kapitel II. Diskrete Markov-Ketten 30 M’ 20 10 100 200 T 300 400 500 -10 -20 M Bild 11.1. Realisierungen von M und M " mit Kopplungszeit T für (M, M̂ ). alle n ≥ 0, und es folgt vermöge der Kopplungsungleichung (11.4) (11.8) M̂n Mn Mn − ξ ∗ 7 = 7Pλ,ξ 7Pλ,• ∗ − Pλ,ξ ∗ 7 ≤ Pλ,ξ ∗ (T > n), wegen Pλ,ξ∗ (T < ∞) = 1 also (11.1). ♦ (n) = PξM Da die Post-n-Prozesse M (n) und M̂ (n) für alle n ≥ T übereinstimmen und PξM ∗ ∗ Vorlesungsmanuskript (2015/16) die folgende Verschärfung von (11.1): für alle n ≥ 0 gilt, ergibt sich ohne Zusatzargumente 11.2. Korollar. In der Situation von Satz 11.1 gilt ferner lim 7PλM (11.9) (n) n→∞ − PξM ∗ 7 = 0 für jede Anfangsverteilung λ. Beweis: Es genügt der Hinweis, daß anstelle von (11.8) auch (11.10) (n) M 7Pλ,• (n) (n) M̂ M̂ M − Pλ,ξ − Pλ,ξ ∗ 7 = 7Pλ,ξ ∗ ∗ 7 ≤ Pλ,ξ ∗ (T > n) $ M̂ M für alle n ≥ 0 gilt, denn PξM ∗ ,• = Pλ,ξ ∗ = Pλ,ξ ∗ . ♦ Gewidmet meinen Kindern Melanie und Daniel Inhaltsverzeichnis Teil I Diskrete Markov-Ketten 1 Theoretische Grundlagen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1 Definitionen und grundlegende Eigenschaften . . . . . . . . . . . . . . . . . . . 1.2 Das Standardmodell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3 Filtrationen und Stopzeiten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3.1 Filtrationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3.2 Stopzeiten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.4 Die starke Markov-Eigenschaft . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.5 Stationäre Maße und Verteilungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3 8 11 11 12 18 22 2 Beispiele diskreter Markov-Ketten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1 Markov-Ketten mit zwei Zuständen . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2 Ein einfaches Bedienungssystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3 Irrfahrten mit reflektierenden Barrieren . . . . . . . . . . . . . . . . . . . . . . . . 2.4 Irrfahrten mit absorbierenden Barrieren . . . . . . . . . . . . . . . . . . . . . . . . 2.5 Einfache Irrfahrten auf einem Graphen . . . . . . . . . . . . . . . . . . . . . . . . . 2.6 Das Ehrenfest-Modell für Wärmeaustausch . . . . . . . . . . . . . . . . . . . . . 2.7 Markov-Ketten in der Genetik: Die Modelle von Wright-Fisher und Moran . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.7.1 Das Wright-Fisher-Modell . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.7.2 Dasselbe Modell mit Mutationseffekten . . . . . . . . . . . . . . . . . 2.7.3 Dasselbe Modell mit Selektionsdruck . . . . . . . . . . . . . . . . . . . 2.7.4 Das Moran-Modell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.8 Irrfahrten auf Zd . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.9 Eine Variante: Reflektierende Irrfahrten auf N0 . . . . . . . . . . . . . . . . . . 2.10 Diskrete Random Walks in Zd . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.11 Ein Bedienungssystem mit konstanten Bedienungszeiten . . . . . . . . . . 2.12 Ein Lagerhaltungsmodell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.13 Der Galton-Watson-Verzweigungsprozess . . . . . . . . . . . . . . . . . . . . . . 27 27 27 29 29 29 30 31 31 32 33 34 35 37 38 39 40 41 vii viii Inhaltsverzeichnis 3 Zustandseigenschaften und Irreduzibilität . . . . . . . . . . . . . . . . . . . . . . . . 3.1 Irreduzibilität . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2 Periodizität . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.3 Zyklische Zerlegung einer DMK . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.4 Rekurrenz und Transienz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.5 Rekurrenz/Transienz von Irrfahrten auf Zd . . . . . . . . . . . . . . . . . . . . . 3.5.1 Der eindimensionale Fall . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.5.2 Der zweidimensionale Fall . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.5.3 Der drei- und mehrdimensionale Fall . . . . . . . . . . . . . . . . . . . . 3.6 Solidaritätseigenschaften . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 43 48 50 52 55 56 58 60 61 4 Ergodensätze für positive rekurrente Markov-Ketten . . . . . . . . . . . . . . 4.1 Stationäre Maße via zyklischer Zerlegungen . . . . . . . . . . . . . . . . . . . . 4.2 Die Kopplungsmethode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.3 Der Ergodensatz für aperiodische, positiv rekurrente EMK . . . . . . . . 4.4 Die Besuchskette . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.5 Der Ergodensatz im Fall |S | = ∞ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.6 Der periodische Fall . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.7 Pfadweise Ergodizität . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.8 Das Blackwellsche Erneuerungstheorem für diskrete Erneuerungsprozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.9 Gleichmäßige und exponentielle Ergodizität . . . . . . . . . . . . . . . . . . . . 69 70 74 76 80 82 84 86 88 91 5 Null-rekurrente Markov-Ketten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 5.1 Essentielle Eindeutigkeit des stationären Maßes . . . . . . . . . . . . . . . . . 95 5.2 Zeitmittelkonvergenz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 5.3 Und noch zwei Konvergenzsätze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 5.4 Wie viele stationäre Maße hat eine DMK? . . . . . . . . . . . . . . . . . . . . . . 101 6 Reversibilität: Der Blick zurück . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 6.1 Zeitliche Umkehr von Markov-Ketten . . . . . . . . . . . . . . . . . . . . . . . . . 105 6.2 Reversibilität und detailliertes Gleichgewicht . . . . . . . . . . . . . . . . . . . 107 6.3 Das Kolmogorov-Kriterium für Reversibilität . . . . . . . . . . . . . . . . . . . 109 7 Und nochmals Beispiele – alte und neue . . . . . . . . . . . . . . . . . . . . . . . . . . 117 7.1 Markov-Ketten mit zwei Zuständen . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 Teil II Markov-Sprungprozesse 8 Theoretische Grundlagen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 8.1 Definitionen und grundlegende Eigenschaften . . . . . . . . . . . . . . . . . . . 121 8.2 Analytische Eigenschaften der Übergangsmatrixfunktion . . . . . . . . . 126 8.3 Die Kolmogorovschen Differentialgleichungen . . . . . . . . . . . . . . . . . . 128 8.4 Die Struktur von regulären MSP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130 8.5 Interpretation der Q-Matrix: Der Uhrenmechanismus . . . . . . . . . . . . . 135 8.6 Minimale Konstruktion und Explosion von MSP . . . . . . . . . . . . . . . . 138 Inhaltsverzeichnis ix Literaturverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 Sachverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147 Abkürzungsverzeichnis CFTP DMK d.R.i. DS-Argument EMK EP FE-Argument f.s. FT g.i. L-Maß L-integrierbar LT MCMC MEP MK MRW p.d. PF R-integrierbar RW SEP SRW u.i.v. u.o. VEP VFkt. VRW W-Maß W-Raum W-Verteilung Coupling from the past Diskrete Markov-Kette direkt Riemann-integrierbar Dynkin-System-Argument endliche Markov-Kette Erneuerungsprozess Funktions-Erweiterungsargument fast sicher Fourier-Transformierte gleichgradig integrierbar Lebesgue-Maß Lebesgue-integrierbar Laplace-Transformierte Markov Chain Monte Carlo Markov-Erneuerungsprozess Markov-Kette Markov-Random-Walk paarweise disjunkt Perron-Frobenius Riemann-integrierbar Random Walk Standard-Erneuerungsprozess Standard-Random-Walk unabhängig, identisch verteilt unendlich oft verschobener Erneuerungsprozess Verteilungsfunktion verschobener Random Walk Wahrscheinlichkeitsmaß Wahrscheinlichkeitsraum Wahrscheinlichkeitsverteilung xi Symbolverzeichnis N N0 Z Q R R> , R6 R> , R< C Menge der positiven natürlichen Zahlen 1,2,... Menge der natürlichen Zahlen 0,1,2,... Menge der ganzen Zahlen 0, ±1, ±2, ... Menge der rationalen Zahlen Menge der reellen Zahlen das Intervall [0, ∞) bzw. (−∞, 0] das Intervall (0, ∞) bzw. (−∞, 0) Menge der komplexen Zahlen B, Bd λλ = λλ0 λλd Borelsche σ -Algebra über R bzw. Rd Lebesgue-Maß auf (R, B) d-mal das Zählmaß auf dem Gitter dZ, d ∈ (0, ∞) 1A f+ f− f ∧g f ∨g Indikatorfunktion der Menge A Positivteil max{ f , 0} einer meßbaren numerischen Funktion f Negativteil max{− f , 0} einer meßb. numerischen Funktion f Minimum von f und g Maximum von f und g ⊗i∈I Ai µ ⊗ν µn f ⊗g µ ∗ν µ ∗(n) f ∗µ f ∗g Produkt der σ -Algebren Ai Produktmaß von µ, ν n-faches von µ, d.h. µ ⊗ ... ⊗ µ (n-mal) Tensorprodukt der reellen Funktionen f , g Faltung der Borel-Maße µ, ν n-fache Faltung von µ, d.h. µ ∗ ... ∗ µ (n-mal) Faltung der reellen Funktion f mit dem Maß µ Faltung der reellen Funktionen f , g Lp Raum der reellen, p-fach µ-integrierbaren Funktionen (auf einem Maßraum (Ω , A, µ), wobei p ∈ [1, ∞) Raum der reellen, µ-fast überall beschränkten Funktionen L∞ xiii xiv Symbolverzeichnis k f kp Cb C0 bS R L p -(Pseudo-)Norm für Funktionen f ∈ L p , := ( | f | p dµ)1/p für p ∈ [1, ∞) und := infN:µ(N)=0 supx∈N c | f (x)| für p = ∞ Raum der beschränkten, stetigen Funktionen von R nach C Teilraum von Cb der stetigen Funktionen von R nach C mit kompaktem Träger Raum der beschränkten reellen oder komplexwertigen Funktionen auf (S , S) P(S ) kP − Qk kQk d(Q) Menge aller W-Maße auf einer Menge S Variationsabstand von P und Q, := supA |P(A) − Q(A)| Gesamtmasse des Maßes Q Spanne eines W-Maßes Q auf (R, B), := sup{d ∈ (0, ∞) : Q(dZ) = 1} x> , A> |x| p Transponierte des Vektors x bzw. der Matrix A 1/p für p ∈ [1, ∞) und ` p -Norm für x ∈ Rr , d.h. := ∑ri=1 |xi | p := max1≤ j≤r |x j | für p = ∞ |Ax| ` p -Matrix-Norm, d.h. := supx:|x| p ≤1 |Ax| p = supx |x| pp A nichtnegative Matrix, d.h. alle Komponenten von A sind ≥ 0 A positive Matrix, d.h. alle Komponenten von A sind > 0 A − B ≥ (>)0 der k-größte Eigenwert von A der betraglich zweitgrößte Eigenwert von A kAk p A≥0 A>0 A ≥ (>)B λk (A) ρ(A) h f , giν | f |ν `2 (ν) EP ( f , g) v → w → d → P → R f g dν = ∑ri=1 f (i)g(i)νi für ein Maß ν auf S = {1, ..., r} 1/2 1/2 := h f , f iν = ∑ri=1 f (i)2 νi der Raum Rr mit Skalarprodukt h·, ·iν Dirichlet-Form eines reversiblen Paars (P, π), := h(I − P) f , giπ := S vag konvergent schwach konvergent verteilungskonvergent konvergent in Wahrscheinlichkeit d X =Q d X =Y X besitzt Verteilung Q X ist verteilt wie Y Symbolverzeichnis xv Verteilungen Bern(θ ) β (a, b) β ∗ (a, b) Bin(n, θ ) Cauchy(a, b) δa Exp(θ ) Γ (α, β ) Geom(θ ) HGeom(N, n, m) NBin(n, θ ) Normal(µ, σ 2 ) Poisson(θ ) S (α, b) S+ (α, b) Unif {x1 , ..., xn } Unif (a, b) Bernoulli-Verteilung mit Parameter θ ∈ (0, 1) Betaverteilung mit Parametern a, b ∈ R> Betaverteilung der 2. Art mit Parametern a, b ∈ R> Binomialverteilung mit Parametern n ∈ N and θ ∈ (0, 1) Cauchy-Verteilung mit Parametern a ∈ R and b ∈ R> Dirac-Verteilung in a Exponentialverteilung mit Parameter θ ∈ R> Gammaverteilung mit Parametern α, β ∈ R> Geometrische Verteilung mit mit Parameter θ ∈ (0, 1) Hypergeometrische Verteilung mit Parametern N, n, m ∈ N Negative Binomialverteilung mit Parametern n ∈ N and θ ∈ R> Normalverteilung mit Parametern µ ∈ R and σ 2 ∈ R> Poisson-Verteilung mit Parameter θ ∈ R> Symmetrische stabile Verteilung mit Index α ∈ (0, 2] und Skalierungsparameter b ∈ R> Einseitige stabile Verteilung mit Index α ∈ (0, 1] und Skalierungsparameter b ∈ R> Diskrete Gleichverteilung auf der Menge {x1 , ..., xn } Gleichverteilung auf [a, b], a < b Teil I Diskrete Markov-Ketten Diskrete Markov-Ketten gehören unbestreitbar zu den einfachsten stochastischen Prozessen in diskreter Zeit, zum einen wegen ihrer besonders einfachen Abhängigkeitsstruktur und zum anderen wegen ihres höchstens abzählbaren Zustandsraums. Zugleich sind sie von großer Bedeutung, weil sich zahllose zeitlich dynamische Zufallsphänomene aus ganz unterschiedlichen Anwendungsbereichen mittels solcher Prozesse modellieren lassen. Hierzu zählen • • • • • • • • Irrfahrten auf Graphen Verzweigungsprozesse zur Beschreibung von Populationswachstum Warteschlangenphänomene Evolution von Genpopulationen Koaleszenzphänomene Lernprozesse Evolution von zufälligen Bäumen Evolution von Kartenstapeln unter Anwendung ausgewählter Mischtechniken Das Ziel dieses ersten Teils bildet die Darstellung der wichtigsten Eigenschaften diskreter Markov-Ketten unter nahezu ausschließlicher Verwendung probabilistischer Techniken. Dabei wollen wir den Einsatz sogenannter Okkupationsmaße hervorheben, der hier stärker zum Tragen kommt als in vergleichbaren Texten. Eine weitere Besonderheit besteht darin, dass wir uns, nach Bereitstellung der allgemeinen Grundlagen, bei der Herleitung der zentralen Konvergenzaussagen zunächst auf die Klasse diskreter Markov-Ketten mit endlichem Zustandsraum konzentrieren, deren Analyse einfacher ist, und erst anschließend den allgemeinen Fall abzählbaren Zustandsraums unter Rückgriff auf die zuvor erzielten Ergebnisse und die Einführung sogenannter Besuchsketten vollziehen. Kapitel 1 Theoretische Grundlagen Wir beginnen mit der allgemeinen Definition und der Zusammenstellung einiger fundamentaler Eigenschaften diskreter Markov-Ketten. Hierbei spielt die Unterscheidung von endlichem und unendlichem Zustandsraum noch keine Rolle und wird deshalb auch nicht vorgenommen. 1.1 Definitionen und grundlegende Eigenschaften Sei M = (Mn )n≥0 eine Folge von Zufallsvariablen auf einem W-Raum (Ω , A, P), die alle Werte in einer abzählbaren Menge S annehmen. Die Elemente von S bezeichnen wir als Zustände der Folge und S selbst als ihren Zustandsraum. Den Folgenindex interpretieren wir als Zeitparameter, so dass Mn den Zustand der Folge zum Zeitpunkt n angibt. Sei P0 := P M0 die Anfangsverteilung von M und Pn ((s0 , ..., sn−1 ), ·) := P Mn |(M0 ,...,Mn−1 )=(s0 ,...,sn−1 ) , (1.1) für n ≥ 1 die regulär bedingte Verteilung von Mn gegeben M0 = s0 , ..., Mn−1 = sn−1 , in diesem Kontext auch Übergangskern genannt. Offenbar ist die Verteilung von M durch (Pn )n≥0 eindeutig bestimmt, denn nach dem Satz von der totalen Wahrscheinlichkeit gilt P(M0 = s0 , M1 = s1 , ..., Mn = sn ) = P(M0 = s0 ) P(M1 = s1 |M0 = s0 ) · ... · P(Mn = sn |Mn−1 = sn−1 , ..., M0 = s0 ) = P0 ({s0 })P1 (s0 , {s1 }) · ... · Pn ((s0 , ..., sn−1 ), {sn }) Formaler lässt sich dies auch durch PM = O Pn . (1.2) n≥0 ausdrücken [+ [2, Abschnitt 8.4] zur formalen Definition des Produkts stochastischer Kerne]. 3 4 1 Theoretische Grundlagen Im Folgenden wollen wir uns mit Folgen beschäftigen, die eine besonders einfache Abhängigkeitsstruktur besitzen, die durch die sogenannte Markov-Eigenschaft beschrieben wird. Definition 1.1. Eine stochastische Folge M = (Mn )n≥0 mit abzählbarem Zustandsraum S heißt diskrete Markov-Kette (DMK), wenn sie die Markov-Eigenschaft besitzt, definiert durch P Mn+1 |Mn =sn ,...,M0 =s0 = P Mn+1 |Mn =sn (1.3) P(Mn+1 ∈ A|Mn = sn , ..., Mn = sn ) = P(Mn+1 ∈ A|Mn = sn ) (1.4) oder auch für alle n ≥ 0, A ⊂ S und s0 , ..., sn ∈ S mit P(M0 = s0 , ..., Mn = sn ) > 0. Hängen die bedingten Verteilungen nicht von n ab, existiert also ein stochastischer Kern P von S nach S , so dass P Mn+1 |Mn =s = P(s, ·) (1.5) für alle n ≥ 0 und s ∈ S , bezeichnet man die DMK ferner als zeitlich homogen. Eine Markov-Kette mit endlichem Zustandsraum heißt endliche Markov-Kette (EMK). Eine Folge M genügt also der Markov-Eigenschaft, wenn die Verteilung ihres Zustands Mn+1 zum Zeitpunkt n + 1 bedingt unter der Vorgeschichte M0 , ..., Mn immer nur vom gegenwärtigen Zustand Mn abhängt. Sie ist außerdem zeitlich homogen, wenn diese bedingte Verteilung nicht von n abhängt, wenn also die Wahrscheinlichkeit für den Übergang von einem Zustand s ∈ S in eine Menge A ⊂ S nicht davon abhängt, wann dieser Übergang stattfindet. Man spricht in diesem Fall auch von einer Markov-Kette (MK) mit stationären Übergangswahrscheinlichkeiten. Dabei spielt es keine Rolle, ob der Zustandsraum abzählbar ist oder nicht. Gegeben die Markov-Eigenschaft, folgt in (1.1) offenkundig Pn+1 ((s0 , ..., sn ), ·) = Pn+1 (sn , ·) für alle n ≥ 0 und im Falle der zeitlichen Homogenität gemäß (1.3) weiter P Mn+1 |Mn =s = Pn+1 (s, ·) = P(s, ·) für alle n ≥ 0 und P Mn -fast alle s ∈ S . Wie der Leser nun leicht erkennt, ist die Verteilung von M dann vollständig durch ihre Anfangsverteilung P0 = PM0 und ihren (1-Schritt-)Übergangskern P determiniert, weil nämlich unter Hinweis auf (1.2) 1.1 Definitionen und grundlegende Eigenschaften P M = P0 ⊗ ∞ O 5 ! P n=1 = P0 ⊗ P ∞ gilt, was im hier vorliegenden Fall abzählbaren Zustandsraums auch in der einfacheren Form P(M0 = s0 , ..., Mn = sn ) = P0 ({s0 })P(s0 , {s1 }) · ... · P(sn−1 , {sn }) für alle n ≥ 0 und s0 , ..., sn ∈ S ausgedrückt werden kann. Ferner ist P bereits durch die Elementarwahrscheinlichkeiten i, j ∈ S , pij := P(i, { j}), genannt (1-Schritt-)Übergangswahrscheinlichkeiten, vollständig festgelegt. Sie werden in der sogenannten Übergangsmatrix P := (pij )i, j∈S zusammengefasst (wir benutzen somit dasselbe Symbol für Übergangskern und Übergangsmatrix). Im Folgenden betrachten wir nur noch zeitlich homogene DMK, ohne dies immer wieder zu erwähnen. Lemma 1.2. Gegeben eine DMK M = (Mn )n≥0 mit Zustandsraum S und Übergangskern P, gilt für jedes n ≥ 0, s0 , ..., sn ∈ S und jede P Mn+1 -quasi-integrierbare Funktion f : S → R (also Folge ( f (s))s∈S ) E( f (Mn+1 )|Mn = sn , ..., M0 = s0 ) = E( f (Mn+1 )|Mn = sn ) (1.6) und weiter E( f (Mn+1 )|Mn = sn ) = ∑ psn s f (s). (1.7) s∈S Beweis. Unter Benutzung von [1, Satz 53.6] ergibt sich (1.6) vermöge E( f (Mn+1 )|Mn = sn , ..., M0 = s0 ) = = Z S Z S f (s) P Mn+1 |Mn =sn ,...,M0 =s0 (ds) f (s) P Mn+1 |Mn =sn (ds) = E( f (Mn+1 )|Mn = sn ) woraus unter Benutzung von (1.5) sofort (1.7) folgt. t u Kombiniert man Lemma 1.2 mit einer Induktion über k, so erhält man leicht die folgenden intuitiv zu erwartenden Verallgemeinerungen der Markov-Eigenschaft (1.3) sowie von (1.5): 6 1 Theoretische Grundlagen Satz 1.3. Gegeben eine DMK M = (Mn )n≥0 mit Zustandsraum S und Übergangskern P, gilt P (Mn ,...,Mn+k )|Mn =sn ,...,M0 =s0 = P (Mn ,...,Mn+k )|Mn =sn = δsn ⊗ P k (1.8) und daher insbesondere P Mn+k |Mn =sn ,...,M0 =s0 = P Mn+k |Mn =sn =: P (k) (sn , ·) (1.9) für alle k, n ≥ 0 und s0 , ..., sn ∈ S , wobei offenbar P (0) (s, ·) = δs und P (1) = P gilt. Beweis. Wir demonstrieren das Vorgehen durch einen exemplarischen Beweis von (1.8) für k = 2. Zur Abkürzung setzen wir M0:n = (M0 , ..., Mn ). Dann gilt für alle n ≥ 0, A0 , A1 , A2 ⊂ S sowie alle s0 , ..., sn ∈ S P(Mn+2 ∈ A2 , Mn+1 ∈ A1 , Mn ∈ A0 |M0:n = (s0 , ..., sn )) = δsn (A0 )P(Mn+2 ∈ A2 , Mn+1 ∈ A1 |M0:n = (s0 , ..., sn )) = δsn (A0 )E(1{Mn+1 ∈A1 } P(Mn+2 ∈ A2 |M0:n+1 )|M0:n = (s0 , ..., sn )) = δsn (A0 )E(1{Mn+1 ∈A1 } P(Mn+2 ∈ A2 |Mn+1 )|M0:n = (s0 , ..., sn )) = δsn (A0 )E(1{Mn+1 ∈A1 } P(Mn+2 ∈ A2 |Mn+1 )|Mn = sn ) = δsn (A0 )P(Mn+2 ∈ A2 , Mn+1 ∈ A1 |Mn = sn ) = P(Mn+2 ∈ A2 , Mn+1 ∈ A1 , Mn ∈ A0 |Mn = sn ) = δsn ⊗ P 2 (A0 × A1 × A2 ), wobei die Markov-Eigenschaft in der vierten Zeile und deren Erweiterung (Lemma 1.2) in der fünften Zeile verwendet wurde. Für die letzte Zeile beachte, dass P (Mn ,Mn+1 ,Mn+2 )|Mn =s = P Mn |Mn =s ⊗ P Mn+1 |Mn =• ⊗ P Mn+2 |(Mn ,Mn+1 )=• = δs ⊗ P 2 für alle s ∈ S gilt. t u Als unmittelbare Folgerung aus dem vorherigen Satz notieren wir: Korollar 1.4. Gegeben eine DMK M = (Mn )n≥0 mit Zustandsraum S und Übergangskern P, gilt P (Mk )k≥n |Mn =sn ,...,M0 =s0 = P (Mk )k≥n |Mn =sn = δsn ⊗ P ∞ (1.10) für alle n ≥ 0 und s0 , ..., sn ∈ S . Beweis. Es genügt der Hinweis, dass P (Mk )k≥n |Mn =sn ,...,M0 =s0 durch die endlichdimensionalen bedingten Randverteilungen P (Mn ,...,Mn+k )|Mn =sn ,...,M0 =s0 für k ≥ 0 eindeutig bestimmt ist. t u 1.1 Definitionen und grundlegende Eigenschaften 7 Der anschließende Satz, in dem auf die Voraussetzung der zeitlichen Homogenität verzichtet werden kann, gibt eine wichtige äquivalente Charakterisierung der Markov-Eigenschaft. Satz 1.5. Eine stochastische Folge (Mn )n≥0 mit abzählbarem Zustandsraum S besitzt genau dann die Markov-Eigenschaft, wenn (M0 , ..., Mn ) und (Mk )k≥n bedingt unter Mn für jedes n ≥ 0 stochastisch unabhängig sind, d.h. P ((M0 ,...,Mn ),(Mk )k≥n )|Mn =s = P (M0 ,...,Mn )|Mn =s ⊗ P (Mk )k≥n |Mn =s (1.11) für alle n ≥ 0 und s ∈ S gilt. Weniger formal, aber griffig formuliert besagt dieser Satz: Eine stochastische Folge besitzt genau dann die Markov-Eigenschaft, wenn zu jedem Zeitpunkt Vergangenheit und Zukunft der Folge bedingt unter der Gegenwart stochastisch unabhängig sind. Beweis. Zur Abkürzung setzen wir wieder M0:n = (M0 , ..., Mn ) und außerdem M (n) := (Mk )k≥n . Sei außerdem S∞ die Produkt-σ -Algebra über dem Folgenraum S ∞ . “⇒” Gilt die Markov-Eigenschaft, so folgt für alle A ⊂ S n+1 , B ⊂ S und C ∈ S∞ Z {Mn ∈B} P (M0:n ,M (n) )|M n (A ×C) dP = P(M0:n ∈ A, Mn ∈ B, M (n) ∈ C) = = = = = Z {M0:n ∈A,Mn ∈B} Z {M0:n ∈A,Mn ∈B} Z {Mn ∈B} Z {Mn ∈B} Z (n) {Mn ∈B} PM (n) |M 0:n PM (n) |M n (C) dP (C) dP E(1{M0:n ∈A} P M (n) |M n P(M0:n ∈ A|Mn )P M P M0:n |Mn (A)P M (C)|Mn ) dP (n) |M n (n) |M n (C) dP (C) dP (n) und somit P (M0:n ,M )|Mn = P M0:n |Mn ⊗ P M |Mn P-f.s., d.h. (1.11). “⇐” Bei Gültigkeit von (1.11) erhalten wir für alle A,C wie oben Z {M0:n ∈A} PM (n) |M 0:n (C) dP = P(M0:n ∈ A, M (n) ∈ C) 8 1 Theoretische Grundlagen = = = = und folglich P M (n) |M 0:n = PM (n) |M n Z ZΩ ZΩ ZΩ P (M0:n ,M (n) )|M n (A ×C) dP P M0:n |Mn (A)P M (n) |M n (C) dP E(1{M0:n ∈A} P M (n) |M n (C)|Mn ) dP {M0:n ∈A} PM (n) |M n (C) dP P-f.s. t u P (k) Wenden wir uns nun den k-Schritt-Übergangskernen gemäß (1.9) zu. Genau wie P = P (1) sind diese durch die einfachen k-Schritt-Übergangswahrscheinlichkeiten (k) pij := P (k) (i, { j}) (k) determiniert, die in der k-Schritt-Übergangsmatrix P (k) := (pij )i, j∈S zusammengefasst werden. Unter Ausnutzung der Abzählbarkeit von S folgt leicht (k) pij = ∑ (i1 ,...,ik−1 )∈S k−1 pii1 pi1 i2 · ... · pik−2 ik−1 pik−1 j , was nichts anderes bedeutet als P (k) = P k = P ... · P} | · {z k-mal für alle k ≥ 0, wobei P (0) = I := (δij )i, j∈S die Einheitsmatrix bezeichnet. Die somit gezeigte Halbgruppeneigenschaft notieren wir abschließend in Satz 1.6. [Chapman-Kolmogorov-Gleichungen] Gegeben eine DMK (Mn )n≥0 (k) mit Zustandsraum S und Übergangsmatrizen P (k) = (pij )i, j∈S = P k , k ≥ 0, gilt P (m+n) = P (m) P (n) , d.h. (m+n) pij = ∑ (m) (n) pik pk j k∈S für alle m, n ≥ 0 und i, j ∈ S . 1.2 Das Standardmodell Wir haben im vorherigen Abschnitt bereits festgestellt, dass die Verteilung einer zeitlich homogenen DMK M = (Mn )n≥0 mit Zustandsraum S durch ihre Anfangsverteilung λ = P M0 und ihre Übergangsmatrix P vollständig determiniert ist. Eine 1.2 Das Standardmodell 9 Analyse dieser Verteilung ist somit gleichbedeutend mit einer Analyse des Paares (λ , P) und hängt im Ergebnis von der expliziten Definition des Prozesses M gar nicht ab. Wir dürfen uns deshalb ohne weiteres ein geeignetes Modell auf der Basis von (λ , P) wählen, in dem Rechnungen besonders angenehm durchführbar sind. Dabei erweist es sich als sinnvoll, wie wir bald einsehen werden, beliebige Anfangsverteilungen λ zu berücksichtigen und nur den Übergangskern P als festen Parameter zugrundezulegen. Wir beschreiben als nächstes ein Standardmodell, was diesen Anforderungen genügt: Gegeben eine Übergangsmatrix P auf S , seien (Ω , A) = (S ∞ , S∞ ) und M = (Mn )n≥0 die Identität auf Ω , genannt kanonischer Prozess oder auch Koordinatenprozess (+ [1, Bemerkung 54.2(c)]). Mn (ω) bezeichnet demnach die Projektion von ω ∈ Ω auf die n-te Komponente. Für jede Verteilung λ auf S definieren wir nun weiter auf (Ω , A) das nach dem Satz von Ionescu Tulcea eindeutig bestimmte W-Maß Pλ = λ ⊗ P ∞ mit der Eigenschaft (+ (54.1) in [1]) ! n Pλ ×A ×S k ∞ k=0 = Pλ (M0 ∈ A0 , ..., Mn ∈ An ) = Z Z A0 A1 ... Z An (1.12) P(sn−1 , dsn ) ... P(s0 , ds1 ) λ (ds0 ) für alle A0 , ..., An ∈ S und n ≥ 0, was sich vermöge der Abzählbarkeit von S zu ! n Pλ ×A ×S k k=0 ∞ = ∑ i0 ∈A0 ,...,in ∈An λi0 pi0 i1 · ... · pin−1 in vereinfacht mit pij = P(i, { j}) und λ = (λi )i∈S , wobei λi := λ ({i}). Insbesondere gilt dann n Pλ (M0 = i0 , M1 = i1 , ..., Mn = in ) = λi0 ∏ pik−1 ik (1.13) k=1 für alle (i0 , ..., in ) ∈ S n+1 und n ≥ 0. (Mn )n≥0 bildet also unter Pλ eine DMK mit Anfangsverteilung λ und Übergangsmatrix P = (pij )i, j∈S . Ferner gilt offenbar Pλ (Mn = j) = (λ P n ) j = ∑ λi pij i∈S für alle n ≥ 0 und j ∈ S . Definition 1.7. Gegeben eine Übergangsmatrix P auf S , nennen wir das zuvor spezifizierte Modell (S ∞ , S∞ , (Mn )n≥0 , (Pλ )λ ∈P(S ) ), 10 1 Theoretische Grundlagen P(S ) die Menge der Verteilungen auf S , das zu P gehörende kanonische Modell. Ferner heißt jedes Modell (Ω , A, (Mn )n≥0 , (Pλ )λ ∈P(S ) ), so dass Mn : (Ω , A) → S , n ≥ 0, unter Pλ eine DMK mit Startverteilung λ und Übergangsmatrix P definiert, ein Standardmodell zu P. In einem Standardmodell haben wir es somit nur mit einem Prozess zu tun, wobei sich verschiedene Anfangsverteilungen durch Zugrundelegung verschiedener Pλ ergeben. Dies erweist sich bei den nachfolgenden Untersuchungen als wesentlich zweckmäßiger als bei jedem Wechsel der Anfangsverteilung immer auch den Prozess wechseln zu müssen. Startet (Mn )n≥0 in einem Punkt s ∈ S , gilt also λ = δs , so schreiben wir auch Ps für Pδs . Offensichtlich gilt dann für beliebiges λ = (λs )s∈S ∈ P(S ) Pλ (·) = Z S Ps (·) λ (ds) = ∑ λs Ps (·). (1.14) s∈S Jedes Pλ ergibt sich somit als endliche oder abzählbar unendliche konvexe Kombination der Ps , s ∈ S . (1.14) bleibt auch für σ -endliche λ sinnvoll. Wir erhalten dann ein σ -endliches Maß Pλ auf (Ω , A), das weiter durch (1.12) und (1.13) charaktersisiert ist. Diese Erweiterung benötigen wir später bei der Betrachtung sogenannter stationärer Maße, die im Allgemeinen lediglich σ -endlich sind (+ Abschnitt 1.5). Markov-Eigenschaft und zeitliche Homogenität lassen sich in einem Standardmodell wie folgt formulieren: Satz 1.8. Gegeben eine Übergangsmatrix P auf S samt eines zugehörigen Standardmodells (Ω , A, M, (Pλ )λ ∈P(S ) ) mit M = (Mn )n≥0 , gilt für alle λ ∈ P(S ), n ∈ N0 und s0 , ..., sn ∈ S (Mk )k≥n |Mn =sn ,...,M0 =s0 Pλ (Mk )k≥n |Mn =sn = Pλ = PsM , n (1.15) oder expliziter (Mk )k≥n |Mn =sn ,...,M0 =s0 Pλ (Mk )k≥n |Mn =sn (A) = Pλ (A) = PsM (A) n (1.16) für A ∈ S∞ . Beweis. Die Aussage ergibt sich sofort, denn unter Hinweis auf Korollar 1.4 gilt ungeachtet der Anfangsverteilung λ (Mk )k≥n |Mn =sn ,...,M0 =s0 Pλ (Mk )k≥n |Mn =sn = Pλ = δsn ⊗ P ∞ = PsM n 1.3 Filtrationen und Stopzeiten 11 für alle n ∈ N0 und s0 , ..., sn ∈ S . t u Da die bedingte Verteilung von (Mk )k≥n gegeben Mn unter Pλ gar nicht von λ (M ) |M abhängt, schreiben wir in Folgenden einfach P (Mk )k≥n |Mn statt Pλ k k≥n n . Entsprechend bedeute “ P-f.s.” in einem Standardmodell, dass die betreffende Aussage Pλ f.s. für alle λ ∈ P(S ) Gültigkeit hat. Abschließend sei noch notiert, dass Es und Eλ die Erwartungswertoperatoren unter Ps bzw. Pλ bezeichnen. Es gilt dann E( f (Mn , Mn+1 , ...)|Mn = s) = Es f (M0 , M1 , ...) für P Mn -fast alle s ∈ S und jede P Mn -quasi-integrierbare Funktion f : S ∞ → R. 1.3 Filtrationen und Stopzeiten Auf dem Weg zu einer wichtigen Verschärfung der Markov-Eigenschaft im nächsten Abschnitt bedarf es zunächst der kurzen Einführung der Begriffe “Filtration” und “Stopzeit”, denen in der Theorie stochastischer Prozesse auch allgemein große Bedeutung zukommt. Da hierfür der zuvor gesteckte, sehr spezielle Rahmen bedeutungslos ist, begeben wir uns für einen Moment in die generische Situation eines gegebenen stochastischen Prozesses in diskreter Zeit. 1.3.1 Filtrationen Sei (Ω , A) ein beliebiger messbarer Raum. Obgleich wir dabei im Grunde einen WRaum (Ω , A, P) im Auge haben, spielt das W-Maß P zunächst keine Rolle. Dennoch werden wir uns aus Interpretationsgründen die Freiheit nehmen, messbare Mengen auch Ereignisse zu nennen. Definition 1.9. Eine aufsteigende Folge (Fn )n≥0 von Unter-σ -Algebren von A heißt Filtration des Raums (Ω , A). Stellen wir uns n als Zeitparameter vor, so können wir Fn als das System der bis zum Zeitpunkt n beobachtbaren Ereignisse interpretieren. Mit anderen Worten, Fn bildet die Gesamtheit aller Ereignisse, von denen ein Beobachter zum Zeitpunkt n entscheiden kann, ob sie eingetreten sind oder nicht. Man nennt Fn deshalb manchmal etwas vager auch die zum Zeitpunkt n für den Beobachter verfügbare Information. Die σ -Algebra ! F∞ := σ ∞ [ n=0 Fn 12 1 Theoretische Grundlagen beinhaltet offenkundig alle jemals vom betreffenden Beobachter entscheidbaren Ereignisse, seine asymptotische Gesamtinformation also. Verschiedene Beobachter können natürlich verschiedene Informationen erhalten. Ihnen sind dann verschiedene Filtrationen (Fn )n≥0 und (Gn )n≥0 zugeordnet. Wir schreiben (Gn )n≥0 ⊂ (Fn )n≥0 , falls Gn ⊂ Fn für alle n ≥ 0. In diesem Fall hat also der “G -Beobachter” zu jedem Zeitpunkt n höchstens genausoviel Information wie der “F -Beobachter”. Betrachten wir als nächstes eine Folge (Xn )n≥0 messbarer Abbildungen auf (Ω , A), die also bei zusätzlich gegebenem W-Maß P einen stochastischen Prozess in diskreter Zeit bildet. Definition 1.10. Eine Folge (Xn )n≥0 messbarer Abbildungen auf (Ω , A) heißt adaptiert bzgl. der Filtration (Fn )n≥0 oder einfach (Fn )n≥0 -adaptiert, wenn Xn Fn messbar ist für jedes n ≥ 0. Offensichtlich ist (Xn )n≥0 genau dann adaptiert bezüglich (Fn )n≥0 , wenn Gn := σ (X0 , ..., Xn ) ⊂ Fn für alle n ≥ 0 gilt. (Gn )n≥0 bildet offenkundig selbst eine Filtration, und zwar gerade die kleinste, bezüglich der (Xn )n≥0 adaptiert ist. Sie heißt kanonische Filtration von (Xn )n≥0 . Erwähnen wollen wir noch, dass eine bezüglich (Fn )n≥0 adaptierte Folge (Xn )n≥0 als Vektor F∞ -messbar ist, was im Falle reellwertiger oder numerischer Xn insbesondere die F∞ -Messbarkeit der Abbildungen inf Xn , n≥0 sup Xn , n≥0 lim inf Xn n→∞ und lim sup Xn n→∞ impliziert. 1.3.2 Stopzeiten Bei der Untersuchung stochastischer Prozesse (Xn )n≥0 spielen häufig Zufallszeiten der Form τ = inf{n ≥ 0 : (X0 , ..., Xn ) ∈ An } (1.17) für geeignete messbare Mengen An eine wichtige Rolle. Wir setzen dabei immer τ = ∞, falls das Infimum über die leere Menge gebildet wird. Stellen wir uns vor, τ bezeichnet den Zeitpunkt, zu dem ein Beobachter aufhört, den Prozess (Xn )n≥0 zu verfolgen. Das typische an τ ist, dass es nicht auf Information über die Folge zurückgreift, die erst in der Zukunft verfügbar würde. Mit anderen Worten, das Ereignis, zum Zeitpunkt n zu stoppen, hängt nur von den Werten X0 , ..., Xn ab für jedes n ≥ 0. Man sagt auch, τ ist nicht antizipierend. Ein Beispiel einer antizipierenden Zufallszeit im Fall reellwertiger Xn bildet etwa 1.3 Filtrationen und Stopzeiten 13 ν = sup{n ≥ 0 : Xn ≤ 0} [ sup 0/ := 0], Unter ν bedarf es nämlich zur Entscheidung darüber, zum Zeitpunkt n zu stoppen, der vollständigen Realisierung von (Xn )n≥0 . Wie zuvor bemerkt, lässt sich verfügbare Information zu sukzessiven Zeitpunkten formal mittels Filtrationen beschreiben, was zu folgender allgemeinen Definition nicht antizipierender Zufallszeiten führt: Definition 1.11. Sei (Fn )n≥0 eine Filtration des messbaren Raums (Ω , A). Dann heißt eine messbare Abbildung τ : Ω → N0 ∪ {∞} Stopzeit bezüglich (Fn )n≥0 oder auch (Fn )n≥0 -Zeit, wenn {τ = n} ∈ Fn (1.18) für alle n ∈ N0 gilt. Im Fall Fn = σ (X0 , ..., Xn ) für eine Folge (Xn )n≥0 messbarer Abbildungen nennt man τ auch Stopzeit bezüglich (Xn )n≥0 . Die σ -Algebra o n (1.19) Fτ := A ∈ A : A ∩ {τ = n} ∈ Fn für alle n ∈ N0 bezeichnet man als σ -Algebra der τ-Vergangenheit (gegeben (Fn )n≥0 ). Anmerkung 1.12. Jede konstante Abbildung τ ≡ n, n ∈ N0 , ist selbstverständlich Stopzeit bezüglich jeder Filtration (Fn )n≥0 des zugrundeliegenden messbaren Raumes, und es gilt dann Fτ = Fn . Anmerkung 1.13. Bedingung (1.18) gilt auch für n = ∞, denn c {τ = ∞} = ∑ n∈N0 {τ = n} ∈ F∞ . | {z } ∈Fn ⊂F∞ Anmerkung 1.14. Äquivalent zur Bedingung (1.18) ist offensichtlich sowohl {τ ≤ n} ∈ Fn (1.20) für alle n ∈ N0 als auch (Komplementbildung) {τ > n} ∈ Fn für alle n ∈ N0 . Anmerkung 1.15. Jede Stopzeit τ bezüglich einer Folge (Xn )n≥0 hat die Form (1.17). Dazu beachte man, dass Fn = σ (X0 , ..., Xn ) gerade aus den Urbildern messbarer Mengen unter (X0 , ..., Xn ) besteht. Für jedes n ≥ 0 impliziert demnach {τ ≤ n} ∈ Fn die Existenz einer messbaren Menge An , so dass {τ ≤ n} = {(X0 , ..., Xn ) ∈ An }, was offenbar (1.17) für diese An liefert. 14 1 Theoretische Grundlagen Anmerkung 1.16. Dass Fτ tatsächlich eine σ -Algebra bildet, wie in der obigen Definition einfach konstatiert wird, und dass sich dieselbe σ -Algebra ergibt, wenn man dort die Mengen {τ = n}, n ∈ N0 , durch {τ ≤ n} ersetzt, kann der Leser mühelos selbst nachweisen. Die grundlegenden Fakten über Stopzeiten und die zugehörigen σ -Algebren fassen wir in folgendem Satz zusammen. Satz 1.17. Gegeben eine Filtration (Fn )n≥0 des messbaren Raums (Ω , A), messbare Abbildungen X, X0 , X1 , ... auf diesem sowie Stopzeiten σ , τ, τ1 , τ2 , ... bezüglich (Fn )n≥0 , gelten folgende Aussagen: (a) (b) (c) (d) (e) (f) (g) (h) σ ∧ τ, σ ∨ τ, σ + τ sind Stopzeiten bezüglich (Fn )n≥0 . infn≥1 τn , supn≥1 τn , lim infn→∞ τn , lim supn→∞ τn und limn→∞ τn (falls existent) sind Stopzeiten bezüglich (Fn )n≥0 . {σ = τ}, {σ ≤ τ} ∈ Fσ ∩ Fτ . σ ≤ τ impliziert Fσ ⊂ Fτ . Insbesondere folgt Fσ ⊂ Fσ +1 ⊂ ... ⊂ F∞ , und τ − σ bildet eine (Fσ +n )n≥0 -Zeit, sofern σ < ∞. Fσ ∧τ = Fσ ∩ Fτ und Fσ ∨τ = σ (Fσ ∪ Fτ ). Aus Fn = σ (X0 , ..., Xn ) und τ < ∞ folgt Fτ = σ (τ, X0 , ..., Xτ ). Aus (Fn )n≥0 ⊂ (Gn )n≥0 folgt Fτ ⊂ Gτ . Eine Zufallsgröße X ist genau dann Fτ -messbar, wenn X1{τ=n} Fn -messbar ist für alle n ∈ N0 . Beweis. (a) Dass σ ∧ τ, σ ∨ τ und σ + τ wieder Stopzeiten bilden, folgt unter Hinweis auf (1.18), (1.20) und (1.14), denn {σ ∧ τ > n} = {σ > n} ∩ {τ > n} ∈ Fn , {σ ∨ τ ≤ n} = {σ ≤ n} ∩ {τ ≤ n} ∈ Fn , n und {σ + τ = n} = ∑ {σ = k} ∩ {τ = n − k} k=0 ∈ Fn für jedes n ≥ 0. (b) Hier betrachten wir nur lim infn→∞ τn und notieren, dass n o lim inf τn > m = {ω : ∃ k = k(ω) : ∀n ≥ k : τn (ω) > m} n→∞ = [ \ k≥0 n≥k für alle m ∈ N0 . (c) überlassen wir dem Leser. {τn > m} ∈ Fm 1.3 Filtrationen und Stopzeiten 15 (d) σ ≤ τ und A ∈ Fσ implizieren A ∩ {τ = n} = ∑ 0≤k≤n (A ∩ {σ = k}) ∩{τ = n} ∈ Fn | {z } ∈Fk ⊂Fn für alle n ∈ N0 und somit auch A ∈ Fτ . Falls σ < ∞, so gilt für jedes n ∈ N0 , dass {τ − σ = n} ∩ {σ + n = k} = {σ = k − n} ∩ {τ = n} ∈ Fk für alle k ≥ n und folglich {τ − σ = n} ∈ Fσ +n . Also ist τ − σ wie behauptet eine Stopzeit bezüglich (Fσ +n )n≥0 . (e) Hier notieren wir lediglich als Hinweis für die zweite Aussage, dass sich jedes A ∈ Fσ ∨τ in die Mengen A ∩ {σ ≤ τ} ∈ Fτ und A ∩ {σ > τ} ∈ Fσ zerlegen lässt. Den vollständigen Beweis empfehlen wir dem Leser als Übung. (f) Falls Xn : (Ω , A) → (Ωn , An ) und τ < ∞, folgt (τ, X0 , ..., Xτ ) : (Ω , A) → (Ω 0 , A0 ) mit Ω 0 := ∑ {n} × Ω0 × ... × Ωn , A0 := σ (E0 ), n≥0 o n E := {n} × An : n ∈ N0 , An ∈ A0 ⊗ ... ⊗ An . (1.21) 0 Also ist σ (τ, X0 , ..., Xτ ) = (τ, X0 , ..., Xτ )−1 (A0 ) = σ ((τ, X0 , ..., Xτ )−1 (E0 )) unter Hinweis auf Lemma 6.1 in [1]. Wie man sofort sieht, gilt (τ, X0 , ..., Xτ )−1 (E0 ) ⊂ Fτ und damit σ (τ, X0 , ..., Xτ ) ⊂ Fτ . Umgekehrt impliziert Fn = σ (X0 , ..., Xn ) für jedes A ∈ Fτ die Existenz eines An ∈ A0 ⊗ ... ⊗ An , so dass A ∩ {τ = n} = {(X0 , ..., Xn ) ∈ An } = {(τ, X0 , ..., Xτ ) ∈ {n} × An }. Summation über alle n ≥ 0 liefert dann ( A = ∑ A ∩ {τ = n} n≥0 = (τ, X0 , ..., Xτ ) ∈ ∑ {n} × An n≥0 ) ∈ σ (τ, X0 , ..., Xτ ), d.h. die umgekehrte Inklusion Fτ ⊂ σ (τ, X0 , ..., Xτ ). (g) kann der Leser wiederum leicht selbst nachweisen. (h) “⇒” Nach Definition von Fτ ist 1A genau dann messbar bezüglich dieser σ -Algebra, wenn 1A∩{τ=n} = 1A 1{τ=n} Fn -meßbar ist für alle n ∈ N0 . Damit erhält man sofort, dass jede Fτ -messbare Elementarfunktion X die Behauptung erfüllt, was schließlich mittels eines Funktions-Erweiterungsarguments auf alle Zufallsgrößen ausgedehnt werden kann. 16 1 Theoretische Grundlagen “⇐” Ist X1{τ=n} Fn -messbar für alle n ∈ N0 , so folgt für alle x ∈ R und n ∈ N0 {X ≤ x} ∩ {τ = n} = {X1{τ=n} ≤ x} ∩ {τ = n} ∈ Fn , also {X ≤ x} ∈ Fτ für alle x ∈ R, was die Fτ -Messbarkeit von X impliziert. t u Wenn {τ = ∞} 6= 0, / so sind (τ, X0 , ..., Xτ ) und die Post-τ-Folge X (τ) := (Xτ+n )n≥0 nur auf der Spur (Ω ∩ {τ < ∞}, A ∩ {τ < ∞}) wohldefiniert. Um mit diesem Umstand formal sauber umzugehen, treffen wir folgende Definition der Vektoren auf der Menge {τ = ∞}: (τ, X0 , ..., Xτ ) := (∞, (Xn )n≥0 ) und X (τ) = X (∞) := (∆ , ∆ , ...) für ein nicht weiter spezifiziertes Element ∆ . Gegeben Xn : (Ω , A) → (Ωn , An ) für n ≥ 0, folgt dann X (τ) : (Ω , A) → (Ω 00 , A00 ) mit (vgl. (1.21)) ! Ω 00 := 00 E := ∑ ( n≥0 {n} × ×Ω ∪ {(∞, ∆ , ∆ , ...)}, k k≥n {n} × An : n ∈ N0 , An ∈ O k≥n Ak ) A00 := σ (E00 ), n o ∪ {(∞, ∆ , ∆ , ...)} . Als triviale Konsequenz der Teile (e) und (h) des vorherigen Satzes notieren wir ohne Beweis: Korollar 1.18. In der Situation von Satz 1.17 sei ferner angenommen, dass (Xn )n≥0 adaptiert ist bezüglich (Fn )n≥0 . Dann gilt: (a) (b) τ und (τ, X0 , ..., Xτ ) sind Fτ -messbar. X (τ) ist adaptiert bezüglich der Filtration (Fτ+n )n≥0 . Dass bedingte Erwartunsgwerte und Verteilungen bezüglich Fτ sich letztendlich wieder aus solchen bezüglich Fn für n ∈ N0 , also zu festen Zeitpunkten, berechnen lassen, zeigt der nächste Satz. Satz 1.19. Sei (Fn )n≥0 eine Filtration des W-Raums (Ω , A, P), X eine Zufallsvariable auf diesem mit Werten in (Ω 0 , A0 ) sowie τ eine Stopzeit bezüglich (Fn )n≥0 . (a) Existieren regulär bedingte Verteilungen P X|Fn für alle n ∈ N0 , so existiert auch P X|Fτ , und zwar gilt P X|Fτ = ∑ n∈N0 1{τ=n} P X|Fn P-f.s. 1.3 Filtrationen und Stopzeiten (b) 17 Ist X eine quasi-integrierbare Zufallsgröße, folgt E(X|Fτ ) = ∑ n∈N0 1{τ=n} E(X|Fn ) P-f.s. Beweis. (a) Gemäß Satz 1.17(h) ist Q(·, A0 ) := ∑n∈N0 ∪{∞} 1{τ=n} P X|Fn (·, A0 ) für jedes A0 ∈ A0 Fτ -messbar. Da außerdem Z B Q(ω, A0 ) P(dω) = ∑ n∈N0 = ∑ n∈N0 Z B∩{τ=n} Z B∩{τ=n} P X|Fn (ω, A0 ) P(dω) 1A0 (X(ω)) P(dω) = P(B ∩ {X ∈ A0 }) für alle B ∈ Fτ und A0 ∈ A0 gilt, folgt die Behauptung. (b) Hier geht man analog zu (a) vor. Wir verzichten deshalb auf die nochmalige Angabe der Details. t u Beachtet man, dass für alle n ≥ 0 1{τ=n} P(X (τ) ∈ ·|Fn ) = E(1{τ=n,X (τ) ∈·} |Fn ) = E(1{τ=n,X (n) ∈·} |Fn ) = 1{τ=n} P(X (n) ∈ ·|Fn ) P-f.s. und damit PX (τ) |F n = PX (n) |F n P-f.s. auf {τ = n} gilt, so ergibt sich bei Anwendung des vorherigen Satzes auf die Post-τ-Folge X (τ) : Korollar 1.20. Gegeben eine Filtration (Fn )n≥0 des W-Raums (Ω , A, P), eine Folge (Xn )n≥0 von Zufallsvariablen auf diesem und eine Stopzeit τ bezüglich (Fn )n≥0 , gilt (τ) (n) P X |Fτ = ∑ P X |Fn 1{τ=n} + δ(∆ ,∆ ,...) 1{τ=∞} P-f.s., n≥0 vorausgesetzt, die regulär bedingten Verteilungen P X (n) |F n , n ≥ 0, existieren. Wir haben somit die a priori keineswegs selbstverständliche Einsetzungsregel PX für P-fast alle ω ∈ Ω . (τ) |F τ (ω, ·) = P X (τ(ω)) |F τ(ω) (ω, ·) 18 1 Theoretische Grundlagen 1.4 Die starke Markov-Eigenschaft Wir kehren zurück zur Theorie der Markov-Ketten. Die Markov-Eigenschaft lässt sich in Kürze auch wie folgt formulieren: “Bedingt unter der Vergangenheit zu einem beliebigen, aber fest gewählten Zeitpunkt n, hängt das zukünftige Verhalten der betreffenden Folge nur von ihrem gegenwärtigen Zustand ab.” Eine wichtige Verschärfung dieser Eigenschaft besteht darin, dass sie auch bei Bedingen unter der Vergangenheit zu einer Stopzeit Gültigkeit behält. Dabei wollen wir in Folgenden die Vergangenheit bis zu einem Zeitpunkt allgemeiner fassen als bisher. Auf dem Weg zu der besagten Verschärfung der Markov-Eigenschaft geben wir deshalb zunächst eine Erweiterung der Definition 1.1. Sei dazu (Fn )n≥0 eine Filtration des zugrundeliegenden messbaren Raums und (Mn )n≥0 adaptiert bezüglich (Fn )n≥0 , d.h. Mn ist Fn -messbar für jedes n ≥ 0. Die kanonische Filtration von (Mn )n≥0 bezeichnen wir mit (Gn )n≥0 , also Gn = σ (M0 , ..., Mn ) ⊂ Fn für alle n ≥ 0. Definition 1.21. Sei (Mn )n≥0 eine Folge von Zufallsvariablen auf einem W-Raum (Ω , A, P) mit abzählbarem/endlichem Zustandsraum S sowie (Fn )n≥0 eine Filtration, bzgl. der (Mn )n≥0 adaptiert ist. Dann heißt (Mn )n≥0 diskrete/endliche MarkovKette bzgl. (Fn )n≥0 , wenn P Mn+1 |Fn = P Mn+1 |Mn = ∑ 1{Mn =s} P Mn+1 |Mn =s P-f.s. (1.22) s∈S für alle n ≥ 0. Wir schreiben dann auch, dass (Mn , Fn )n≥0 eine (diskrete/endliche) MK bildet. Anmerkung 1.22. Die in Abschnitt 1.1 gegebene Definition einer MK entspricht offensichtlich der obigen, wenn man dort Fn = Gn wählt, also die kanonische Filtration zugrundelegt. Aufgrund der Iterationsregel für bedingte Erwartungswerte und Verteilungen (+ [1], (51.21) in Satz 51.6) folgt sofort, dass jede MK bezüglich (Fn )n≥0 auch eine solche bezüglich ihrer kanonischen Filtration (Gn )n≥0 bildet, denn σ (Mn ) ⊂ Gn ⊂ Fn für alle n ≥ 0. Entsprechendes gilt für jede Filtration (Fn0 )n≥0 mit Gn ⊂ Fn0 ⊂ Fn für alle n ≥ 0. Eine typische Situation, in der eine MK (Mn )n≥0 die Markov-Eigenschaft bezüglich einer größeren als der kanonischen Filtration erfüllt, liegt vor im Fall Fn = σ (M0 , ..., Mn , M00 , ..., Mn0 ) für eine beliebige, von (Mn )n≥0 unabhängige Folge (Mn0 )n≥0 . Anmerkung 1.23. Mittels der gleichen Argumente wie in Abschnitt 1.1 erhält man die Äquivalenz von (1.22) und P (Mk )k≥n |Fn = P (Mk )k≥n |Mn P-f.s. für alle n ≥ 0. Anmerkung 1.24. Die Definition der zeitlichen Homogenität bleibt von der obigen Verallgemeinerung unberührt. 1.4 Die starke Markov-Eigenschaft 19 Anmerkung 1.25. Unter Rückgriff auf die im vorherigen Abschnitt gegebene anschauliche Interpretation einer Filtration (Fn )n≥0 als eine aufsteigende Folge der zu den sukzessiven Zeitpunkten von einem Beobachter entscheidbaren Ereignissysteme bedeutet die Beziehung P (Mk )k≥n |Fn = P (Mk )k≥n |Gn = P (Mk )k≥n |Mn P-f.s., dass ein “F -Beobachter” gegenüber einem “ G -Beobachter” zu keinem Zeitpunkt zusätzliche Information über das zukünftige Verhalten der MK (Mn )n≥0 besitzt und dass dasselbe auch gegenüber dem “gedächtnislosen Beobachter” gilt, der zu jedem Zeitpunkt nur den augenblicklichen Zustand der Kette kennt. Gegeben eine – nun wieder zeitlich homogene – DMK (Mn , Fn )n≥0 mit Übergangskern P, d.h. P Mn |Fn−1 = P(Mn−1 , ·) P-f.s. für alle n ≥ 1, wollen wir nun zeigen, dass das zukünftige Verhalten der Kette bedingt unter der Vergangenheit bis zu einer Stopzeit τ bezüglich (Fn )n≥0 wiederum nur vom gegenwärtigen Zustand Mτ abhängt. Häufig auftretende Beispiele von Stopzeiten für (Mn )n≥0 bilden τ(i) = inf{n ≥ 1 : Mn = i} (1.23) für irgendeinen Zustand i ∈ S , genannt Rückkehr- oder Rekurrenzzeit in den Zustand i, oder auch allgemeiner τ(A) = inf{n ≥ 1 : Mn ∈ A} (1.24) für ein A ⊂ S , genannt Rückkehr- oder Rekurrenzzeit in die Menge A, wobei stets inf 0/ := ∞ vereinbart sei. Wie im vorherigen Abschnitt eingeführt, sei M (n) := (Mn+k )k≥0 die Post-n-Folge(Kette) für n ∈ N0 und für n = ∞ M (∞) := (∆ , ∆ , ...), insbesondere M∞ := ∆ gesetzt, wobei ∆ irgendein Element bezeichne, das im Unterschied zu dort jedoch nicht zu S gehöre. Wir können uns ∆ als einen zusätzlichen absorbierenden Zustand der Kette vorstellen, der deshalb manchmal auch Friedhof genannt wird. Formal gesehen haben wir eine Modellerweiterung durchgeführt, indem wir (Mn )n≥0 nun als MK auf dem erweiterten Zustandsraum S∆ := S ∪ {∆ } mit Übergangskern P(∆ ) (x, ·) := ( P(x, ·), falls x ∈ S , δ∆ , falls x = ∆ 20 1 Theoretische Grundlagen auffassen. Da dies aber nur aus Definitheitsgründen relevant ist, werden wir darauf auch nur, wenn notwendig, zurückgreifen. Gegeben eine Stopzeit τ bezüglich (Fn )n≥0 , erinnern wir daran, dass die σ -Algebra der τ-Vergangenheit durch o n (1.25) Fτ = A ∈ A : A ∩ {τ = n} ∈ Fn für alle n ∈ N0 definiert ist. Sie enthält alle Ereignisse, die beim Stoppen zum Zeitpunkt τ entscheidbar sind. Für weitere Informationen verweisen wir auf den vorherigen Abschnitt. Satz 1.26. Sei (Fn )n≥0 eine Filtration des W-Raums (Ω , A, P) und (Mn , Fn )n≥0 eine DMK mit Übergangskern P. Dann besitzt (Mn , Fn )n≥0 die starke MarkovEigenschaft: Für jede (Fn )n≥0 -Zeit τ gilt P-f.s. ( δMτ ⊗ P ∞ , falls τ < ∞, M (τ) |Fτ M (τ) |Mτ P-f.s. (1.26) P = P = δ(∆ ,∆ ,...) , falls τ = ∞ Beweis. Mit S∞ ∆ bezeichnen wir im Folgenden die Produkt-σ -Algebra über dem erweiterten Folgenraum S∆ . Mittels Korollar 1.20 und der gewöhnlichen MarkovEigenschaft ergibt sich PM (τ) |F τ (A) = ∑ n∈N0 1{τ=n} P M (n) |F n (A) = ∑ n∈N0 1{τ=n} P M (n) |M n = 1{τ<∞} δMτ ⊗ P ∞ (A) + 1{τ=∞} δ(∆ ,∆ ,...) (A) = (A) ∑ 1{Mτ =s} δs ⊗ P ∞ (A) + 1{Mτ =∆ } δ(∆ ,∆ ,...) (A) P-f.s. s∈S für jedes A ∈ S∞ ∆ , und da der letzte Ausdruck offenkundig σ (Mτ )-messbar ist sowie σ (Mτ ) ⊂ Fτ gilt, folgt (1.26). t u Aus (1.26) folgt direkt E( f (M (τ) )|Fτ ) = E( f (M (τ) )|Mτ ) P-f.s. (τ) für jede P M -quasi-integrierbare numerische Funktion f : (S∆∞ , S∞ ∆ ) → (R, B). In Analogie zu Satz 1.5 zeigt der anschließende Satz, dass Vergangenheit und Zukunft bedingt stochastisch unabhängig sind, wenn man unter einem durch eine (Fn )n≥0 -Zeit bestimmten Zeitpunkt bedingt. 1.4 Die starke Markov-Eigenschaft 21 Satz 1.27. Sei (Mn , Fn )n≥0 eine DMK mit Zustandsraum S . Dann gilt für jede (Fn )n≥0 -Zeit τ, dass die σ -Algebra Fτ und M (τ) bedingt unter Mτ stochastisch unabhängig sind, d.h. P(A ∩ {M (τ) ∈ C}|Mτ = s) = P(A|Mτ = s) P(M (τ) ∈ C|Mτ = s) (1.27) für alle A ∈ Fτ , C ∈ S∞ ∆ und s ∈ S . Beweis. Der Beweis bildet im wesentlichen eine Adaption des Beweises von Satz 1.5 und bleibt dem Leser als Übung überlassen. t u Anmerkung 1.28. Bezeichnet (Fn )n≥0 im vorherigen Satz die kanonische Filtration von M = (Mn )n≥0 und beachtet man, dass dann Fτ = σ (τ, M0:τ ) gemäß Satz 1.17(f) gilt, so liefert Satz 1.27, dass (τ, M0:τ ) und M (τ) für jede (Fn )n≥0 -Zeit τ bedingt unter Mτ stochastisch unabhängig sind, d.h. P ((τ,M0:τ ),M (τ) )|M =s τ für alle s ∈ S , wobei ferner P M = P (τ,M0:τ )|Mτ =s ⊗ P M τ |M =s τ τ |M =s τ (1.28) = PM s . Betrachten wir zum Abschluss noch einmal eine DMK M = (Mn )n≥0 in einem Standardmodell (Ω , A, M, (Pλ )λ ∈P(S ) ). In diesem Fall erhalten wir mit (1.26), dass für alle λ ∈ P(S ) und alle (Fn )n≥0 -Zeiten τ M (τ) |Fτ Pλ M (τ) |Mτ = Pλ M = PM τ Pλ -f.s. (1.29) oder ausführlicher M (τ) |Fτ Pλ M (τ) |Mτ (ω, A) = Pλ M (ω, A) = PM (A) τ(ω) für Pλ -fast alle ω ∈ Ω und A ∈ S∞ ∆ gilt. Beispiel 1.29. Sei τ(i) die Ersteintrittszeit in einen Zustand i ∈ S (+ (1.24)), folglich eine Stopzeit bezüglich der kanonischen Filtration (Gn )n≥0 . Dann gilt aufgrund der starken Markov-Eigenschaft, genauer gemäß (1.29), M (τ(i)) |Gτ(i) Pλ = PiM Pλ -f.s. auf {τ(i) < ∞} für jede Anfangsverteilung λ , d.h., die MK verhält sich in Verteilung nach erstmaligem Erreichen des Zustands i unabhängig vom vorherigen Verlauf anschließend (n) genauso als wäre sie in i gestartet. Setzen wir fij = Pi (τ( j) = n) für i, j ∈ S und n ≥ 1, so ergibt sich als Anwendung folgende nützliche Beziehung zwischen den (n) (n) fij und den n-Schritt-Übergangswahrscheinlichkeiten pij : (n) pij n = (k) (n−k) p jj ∑ fij k=1 (1.30) 22 1 Theoretische Grundlagen für alle n ≥ 1. Zum Beweis notieren wir: (n) pij = Pi (Mn = j) n = ∑ Pi (τ( j) = k, Mτ( j)+n−k = j) = k=1 n Z ∑ P(Mτ( j)+n−k = j|Gτ( j) ) dPi ∑ Pj (Mn−k = j) dPi = = k=1 {τ( j)=k} n Z k=1 {τ( j)=k} n ∑ Pi (τ( j) = k)Pj (Mn−k = j) k=1 n = (k) (n−k) p jj , ∑ fij k=1 wobei die starke Markov-Eigenschaft offenbar beim Übergang von der dritten zur vierten Zeile verwendet wurde. 1.5 Stationäre Maße und Verteilungen Im Folgenden sei M = (Mn )n≥0 stets eine zeitlich homogene DMK in einem Standardmodell (Ω , A, (Mn )n≥0 , (Pλ )λ ∈P(S ) ) mit Zustandsraum S und Übergangsmatrix P. Eine Frage, die allgemein bei stochastischen Prozessen sehr häufig von zentralem Interesse ist, lautet: Wie verhält sich die Verteilung der Prozessvariablen oder auch des Post-t-Prozesses bei gegen unendlich strebender Zeit t? Auf M bezogen bedeutet dies: Welche Aussagen lassen sich über PλMn und PλM (n) für n → ∞ machen? In diesem Zusammenhang spielen die Begriffe “stationäres Maß” und “stationäre Verteilung” eine große Rolle und werden deshalb als nächstes präzisiert: Definition 1.30. Ein σ -endliches Maß π = (πi )i∈S auf S heißt stationäres oder invariantes Maß der DMK M, wenn π 6≡ 0 und 1.5 Stationäre Maße und Verteilungen 23 PπM1 = πP = π (1.31) gilt, also Pπ (M1 = j) = ∑ πi pij i∈S für alle j ∈ S . Hat π Gesamtmasse 1, nennt man π auch stationäre oder invariante Verteilung von M. Zu gegebener Übergangsmatrix P = (pij )i, j∈S erhält man demnach ein stationäres Maß durch Lösen des durch (1.31) gegebenen linearen Gleichungssystems πj = ∑ πi pij , i∈S j∈S. M Beachtet man, dass stets Pπ 0 = π gilt, so bedeutet (1.31) nichts anderes als, dass M0 und M1 unter Pπ dieselben Bildmaße/Verteilungen besitzen (Invarianz). Unter Benutzung von PπMn = πP (n) = πP n = (πP)P n−1 = πP n−1 für alle n ≥ 1 folgt sofort per Induktion über n: Lemma 1.31. Ein Maß π ist genau dann ein stationäres Maß der MK M, wenn π 6≡ 0 und PπMn = πP n = π (1.32) für alle n ≥ 0 gilt, also Pπ (Mn = j) = (n) ∑ πi pij = πj i∈S für alle j ∈ S . Unter Pπ stimmen die Bildmaße aller Mn folglich überein, was im Fall einer Verteilung π auch wie folgt formuliert werden kann: Besitzt M eine stationäre Verteilung π, so hat Mn unter Pπ , d.h. bei Anfangsverteilung π, für jedes n ≥ 0 genau diese Verteilung π. Wir haben es hier mit einer besonders starken Form von Stabilität oder Gleichgewicht zu tun, die sich aufgrund der zeitlichen Homogenität auch auf die Post-nProzesse überträgt: 24 1 Theoretische Grundlagen Satz 1.32. Ein Maß π ist genau dann ein stationäres Maß der DMK M, wenn π 6≡ 0 und (n) (1.33) PπM = PπM = π ⊗ P ∞ für alle n ≥ 0 gilt. Beweis. Zu zeigen ist nur die erste Gleichung in (1.33). Gemäß (1.15) in Satz 1.8 gilt für alle n ≥ 0 und i, j ∈ S M (n) |Mn = j Pi = PM j , so dass unter Benutzung von (1.32) (n) PπM (·) = ∑ πi PiM (n) (·) i∈S = M (n) |Mn = j (n) Pi (n) PM j (·) ∑ ∑ πi pij (·) i∈S j∈S = ∑ ∑ πi pij j∈S i∈S = ∑ Pπ (Mn = j) P Mj (·) j∈S = PπM (·) für alle n ≥ 0, d.h. die Behauptung folgt. t u Eine Folge M mit der Eigenschaft (1.33) für alle n ≥ 0 heißt stationär unter Pπ , was die Namensgebung für π erklärt. Stationäre Maße und Verteilungen spielen in der Theorie der MK eine wichtige Rolle, müssen aber weder existieren noch eindeutig bestimmt sein (+ hierzu Abschnitt 5.4). Die Eindeutigkeit betreffend notieren wir, dass die Menge Ξ aller stationären Maße einer MK M einen positiven Halbraum bildet, d.h. π1 , π2 ∈ Ξ impliziert c1 π1 + c2 π2 ∈ Ξ für alle c1 , c2 > 0. Stationäre Maße sind also im günstigsten Fall bis auf ein skalares Vielfaches eindeutig bestimmt, was bedeutet, dass Ξ eindimensional ist. Die Menge Ξ ∗ der stationären Verteilungen von M bildet eine konvexe, möglicherweise leere Teilmenge von Ξ . Sie enthält offenbar genau ein Element, wenn Ξ eindimensional ist und aus lauter endlichen Maßen besteht. Die Bedeutung stationärer Verteilungen im Zusammenhang mit dem asymptotischen Verhalten von MK verdeutlicht das folgende einfache Lemma. Lemma 1.33. Sei M = (Mn )n≥0 eine DMK, für die λ , ν ∈ P(S ) existieren, so dass lim Pλ (Mn = j) = lim n→∞ n→∞ (n) ∑ λi pij i∈S = νj (1.34) 1.5 Stationäre Maße und Verteilungen 25 für alle j ∈ S . Dann ist ν eine stationäre Verteilung der Kette, d.h. ν ∈ Ξ ∗ . Beweis. Per Funktions-Erweiterungsargument folgt aus (1.34) lim Eλ f (Mn ) = n→∞ Z S f (s) ν(ds) für alle f ∈ bS , dem Raum der beschränkten Funktionen f : S → R. Damit erhalten wir aber unter Benutzung der Markov-Eigenschaft (setze f (k) := pkj ) ν j = lim Pλ (Mn+1 = j) n→∞ = lim n→∞ = lim n→∞ = lim n→∞ = (n+1) ∑ λi pij i∈S (n) ∑ ∑ λi pik pkj i∈S k∈S ∑ Pλ (Mn = k) pk j k∈S ∑ νk pkj k∈S für alle j ∈ S , d.h. ν ∈ Ξ ∗ . t u Der Verteilungslimes von Mn unter irgendeinem Pλ definiert also stets eine stationäre Verteilung. Diese ist außerdem eindeutig bestimmt, wenn (1.34) für jede Anfangsverteilung λ gilt, da dann speziell für µ ∈ Ξ ∗ und alle j ∈ S n→∞ µ j = Pµ (Mn = j) −→ ν j , d.h. µ = ν folgt. Ist der Zustandsraum S endlich, d.h. M eine EMK, so ist jedes stationäre Maß π notwendigerweise endlich mit Gesamtmasse kπk = ∑i∈S πi und dessen Normierung π ∗ = π/kπk eine stationäre Verteilung. Man beachte ferner, dass π in diesem Fall genau dann ein stationäres Maß definiert, wenn π einen nichtnegativen linken Eigenvektor zum Eigenwert 1 der endlichen Matrix P bildet. Wir werden im nächsten Kapitel zeigen, dass eine EMK stets mindestens eine stationäre Verteilung besitzt. Kapitel 2 Beispiele diskreter Markov-Ketten Dieses Kapitel widmet sich einer Auswahl von Beispielen diskreter MK und dient nicht zuletzt der Absicht, deren Bedeutung in nahezu allen Bereichen, in denen stochastische Modellierung eine Rolle spielt, aufzuzeigen. Mühelos ließe sich ein eigenes Buch mit interessanten Beispielen füllen, und die folgende Auswahl kann und soll lediglich einen ersten Einblick vermitteln. 2.1 Markov-Ketten mit zwei Zuständen Betrachten wir einen Telefonanschluss, dessen Leitung zum Zeitpunkt n frei bzw. besetzt ist, was wir durch Mn = 0 bzw. Mn = 1 codieren. Wir nehmen an, dass die Wahrscheinlichkeit für einen Anruf während eines Zeitintervalls p > 0 beträgt und dass ferner höchstens ein Anruf pro Zeitintervall eingeht. Ist die Leitung besetzt, geht der Anruf nicht durch und wird folglich nicht registriert. Wir nehmen weiter an, dass sie in diesem Fall mit einer Wahrscheinlichkeit q > 0 im nächsten Intervall wieder frei ist. Wir erhalten so eine EMK (Mn )n≥0 mit Zustandsraum S = {0, 1} und Übergangsmatrix 1− p p P = . q 1−q Offenkundig hat jede Übergangsmatrix einer EMK mit zwei Zuständen diese Form, und es bedarf zu ihrer Spezifikation lediglich der Angabe der Werte p und q. 2.2 Ein einfaches Bedienungssystem Wir greifen auf das vorherige Beispiel zurück und nehmen nun an, dass der Anschluss einen Anrufer auf Abruf halten kann. Die Anzahl der Anrufer im System ist folglich ein Element der Menge S = {0, 1, 2}. Wie bisher betrage die Wahrschein27 28 2 Beispiele diskreter Markov-Ketten lichkeit q dafür, dass ein Anruf während eines Zeitintervalls beendet wird, und p dafür, dass ein neuer Anruf eingeht, sofern das System nicht bereits voll ist. Zur Modellierung setzen wir p00 = 1 − p, p01 = p p02 = 0, und denn ein neuer Anruf kommt mit Wahrscheinlichkeit p an (wobei wir weiterhin höchstens einen eingehenden Anruf pro Zeitintervall annehmen). Analog erhalten wir p20 = 0, p21 = q und p22 = 1 − q, denn kein neuer Anruf wird registriert, wenn bereits zwei in der Leitung sind, und p(1 − q) p 1− p 0 1 q(1 − p) 2 1−q q β p,q Abb. 2.1 Markov-Kette mit 3 Zuständen und den obigen Übergangswahrscheinlichkeiten, wobei β p,q = 1 − q(1 − p) − p(1 − q). höchstens einer der beiden Anrufe kann während des Intervalls beendet werden. Befindet sich genau ein Gespräch in der Leitung, ist die Situation etwas komplizierter. Das System geht von 1 in 0 über, wenn das aktuelle Gespräch während des Intervalls beendet wird und kein neuer Anruf eingeht, also p10 = q(1− p) (unter der vernünftigen Annahme, dass sich Gesprächsdauern und Gesprächseingänge unabhängig voneinander verhalten). Ähnlich ergibt sich p12 = p(1 − q), weil das System von 1 in 2 übergeht, wenn das aktuelle Gespräch während des Intervalls nicht beendet wird und zugleich ein neuer Anruf eingeht, der auf Abruf gestellt wird. Da sich Zeilen einer Übergangsmatrix stets zu 1 addieren, folgt p11 = 1 − q(1 − p) − p(1 − q) und somit insgesamt 1− p p 0 P = q(1 − p) 1 − q(1 − p) − p(1 − q) p(1 − q) . 0 q 1−q Übergangswahrscheinlichkeiten werden oft mittels gerichteter Graphen dargestellt, wobei die Knoten die Zustände und die gerichteten Kanten (Pfeile) die Übergänge beschreiben. Für die obige Matrix zeigt dies Abb. 2.1. 2.5 Einfache Irrfahrten auf einem Graphen 29 2.3 Irrfahrten mit reflektierenden Barrieren Stellen wir uns vor, ein Teilchen springt auf den Gitterpunkten {0, 1, ..., N}. Zu jedem Zeitpunkt springt es eine Einheit nach rechts bzw. links mit den Wahrscheinlichkeiten p ∈ (0, 1) bzw. 1 − p. Befindet es sich in einem der Randpunkte (Barrieren) 0 oder N, wird es mit Wahrscheinlichkeit 1 reflektiert, wandert also wieder in Richtung des Intervalls. Die Übergangsmatrix dieser EMK lautet 0 10 0 1 − p 0 p . .. P = . 1 − p 0 p 0 0 10 Im Fall p = 21 sprechen wir von einer symmetrischen, andernfalls von einer asymmetrischen Irrfahrt auf {0, 1, ..., N} mit reflektierenden Barrieren. Es ist manchmal sinnvoll, lediglich teilweise reflektierende Barrieren zu betrachten, was bedeuten soll, dass das Teilchen mit der Wahrscheinlichkeit p eine Zeiteinheit in den Randpunkten 0 und N verharren kann. Es gilt dann also p00 = 1 − p01 = p und pNN = 1 − pN,N−1 = p. 2.4 Irrfahrten mit absorbierenden Barrieren Diese EMK verhält sich genauso wie die in 2.3, außer für den Fall, dass das Teilchen einen der Randpunkte 0 oder N erreicht, wo es nun absorbiert wird. Die Übergangsmatrix lautet dann 1 00 0 1 − p 0 p . .. P = . 1 − p 0 p 0 0 01 2.5 Einfache Irrfahrten auf einem Graphen Betrachten wir einen (endlichen, einfachen und ungerichteten) Graphen G = (V, E), V die Menge der Knoten und E ⊂ P(V ) die Menge der Kanten. Dann verbindet jede Kante zwei verschiedene Knoten, und je zwei Knoten sind durch höchstens 30 2 Beispiele diskreter Markov-Ketten eine Kante verbunden. Wir schreiben v ∼ w, wenn zwei Knoten v, w benachbart, d.h. durch eine Kante verbunden sind. Abb. 2.2 Der Tutte-Coxeter-Graph, auch Tutte-8-Käfig genannt, als Beispiel eines endlichen, einfachen und ungerichteten Graphen. Dieser Graph hat 30 Knoten, 45 Kanten und ist ferner regulär von der Ordnung 3, d.h., jeder Knoten hat genau 3 Nachbarn. Eine einfache Irrfahrt auf G ist eine EMK mit Zustandsraum V , die zu jedem Zeitpunkt vom gegenwärtigen Aufenthaltsknoten mit gleicher Wahrscheinlichkeit in einen der Nachbarknoten springt. Sie hat demnach die Übergangswahrscheinlichkei1 ten pvw = d(v) , v ∼ w, wobei d(v) die Anzahl benachbarter Knoten von v angibt (im Fall d(v) = 0 setzen wir pvv = 1). Die in 2.3 vorgestellte symmetrische Irrfahrt mit reflektierenden Barrieren bildet ein spezielles Beispiel einer solchen einfachen Irrfahrt. Für den in Abb. 2.2 dargestellten Tutte-Coxeter-Graphen beträgt die Übergangswahrscheinlichkeit stets 31 , in einen der Nachbarkonoten zu springen. 2.6 Das Ehrenfest-Modell für Wärmeaustausch Das Ehrenfest-Modell bildet eine klassische mathematische Beschreibung sowohl für den Wärmeaustausch zwischen zwei nach außen isolierten, sich berührenden Körpern als auch für die Diffusion durch eine Membran. Stellen wir uns dazu zwei Urnen A und B vor, die insgesamt 2N Kugeln enthalten, von denen sich zu Beginn k in Urne A und 2N − k in Urne B befinden. Es wird nun immer eine Kugel zufällig ausgewählt (jede also mit der gleichen Wahrscheinlichkeit) und von der Urne, in der sie sich gerade befindet, in die jeweils andere gelegt. Im Zeitablauf wandern die Kugeln also zwischen beiden Urnen hin und her, wobei stets eine mittlere Drift 2.7 Markov-Ketten in der Genetik: Die Modelle von Wright-Fisher und Moran 31 in Richtung derjenigen mit der geringeren Zahl von Kugeln besteht. Die Anzahl der Kugeln in den beiden Urnen interpretiert man beim Wärmeaustausch als Temperatur der sie repräsentierenden Körper. Sei Xn die Anzahl der Kugeln in Urne A nach der n-ten Ziehung und Mn = Xn − N. Dann bildet (Mn )n≥0 eine EMK mit Zustandsraum S = {−N, −N + 1, . . . , −1, 0, 1, . . . , N − 1, N} und Übergangswahrscheinlichkeiten N−i 2N , falls j = i + 1, pij = N+i 2N , falls j = i − 1, 0, sonst. 2.7 Markov-Ketten in der Genetik: Die Modelle von Wright-Fisher und Moran Das folgende idealisierte genetische Modell wurde von S. W RIGHT [22] vorgeschlagen, um die Fluktuationen von Genfrequenzen unter dem Einfluss von Mutation und Selektion zu untersuchen. 2.7.1 Das Wright-Fisher-Modell Wir beginnen mit der Beschreibung eines Grundmodells zufälliger Reproduktion ohne Mutation und Selektion und betrachten eine endliche Population von N Individuen (Zellen), die jeweils zwei gleichartige (homologe) Chromosomensätze besitzen (Diploidie). Auf jedem Chromosomensatz befindet sich jeweils eine Kopie eines bestimmten Gens, das entweder vom Typ a oder A ist. Diese Typen, genannt Allele, bilden die beiden möglichen Zustandsformen des Gens und befinden sich in homologen Chromosomen an gleichen Loci (Genorten). Wir richten nun unser Augenmerk ausschließlich auf die 2N Gene der N Individuen, die wir als gegebene Genpopulation auffassen, wobei die nachfolgenden Überlegungen gleichermaßen gelten, wenn diese 2N Gene von 2N Individuen einer haploiden Population stammen. Man spricht von Haploidie bei Populationen (z.B. von Keimzellen), deren Individuen nur einen Chromosomensatz und daher das Gen immer nur in einer seiner Varianten besitzen. Ausgehend von einer Elternpopulation (Generation 0) mit i Typ-a-Allelen und 2N − i Typ-A-Allelen, ergibt sich die nächste Generation wie durch 2N-maliges Ziehen mit Zurücklegen aus einer Urne mit 2N Kugeln, von denen i rot und 2N − i schwarz sind. Liefert die k-te Ziehung eine rote Kugel, ist das k-te Gen der Tochterpopulation vom Typ a, andernfalls vom Typ A (Bernoulli-Experiment). Die Ziehungen sind offenbar unabhängig und die Wahrscheinlichkeiten für ein Typ-a bzw. Typ-A-Allel gegeben durch 32 2 Beispiele diskreter Markov-Ketten αi = i 2N bzw. βi = 1 − i . 2N Die Evolution der Population unter diesem ad infinitum fortgesetzten Mechanismus lässt sich durch 2N Mn = ∑ Xn,k , k=1 n≥1 (2.1) beschreiben, wobei Mn die Anzahl der Typ-a-Allele der n-ten Generation bezeichnet und Xn,k das Ergebnis des k-ten Bernoulli-Experiments zur Erzeugung dieser Generation angibt. Die Xn,k , 1 ≤ k ≤ 2N, sind bedingt unter M0 , ..., Mn−1 stochastisch unabhängig und identisch Bern(αMn−1 )-verteilt, d.h. P(Xn,1 ,...,Xn,2N )|M0 =i0 ,...,Mn−1 =in−1 = P(Xn,1 ,...,Xn,2N )|Mn−1 =in−1 = Bern(αin−1 )2N . (2.2) Die Xn,k hängen also von M0 , ..., Mn−1 nur über Mn−1 ab, und vermöge (2.2) folgt weiter PMn |M0 =i0 ,...,Mn−1 =in−1 = PMn |Mn−1 =in−1 = Bin(2N, αin−1 ). (Mn )n≥0 bildet demnach eine EMK mit Zustandsraum {0, ..., 2N} und Übergangswahrscheinlichkeiten 2N pij = αij βi2N− j , i, j = 0, ..., 2N. (2.3) j Auf eine Diskussion der biologischen Rechtfertigung der hier gemachten Voraussetzungen verzichten wir und verweisen auf F ISHER [7]. Beachte, dass die Zustände 0 und 2N, in denen die Population nur noch Gene vom Typ A bzw. a enthält, absorbierend sind. Man spricht in diesem Fall von Fixierung. Eine Frage von beträchtlichem Interesse lautet: Mit welcher Wahrscheinlichkeit tritt bedingt unter M0 = k, 1 ≤ k ≤ 2N − 1, Fixierung ein? Darüber hinaus stellt sich im positiven Fall die Frage nach der Rate, mit der dieses geschieht. 2.7.2 Dasselbe Modell mit Mutationseffekten Ein verallgemeinertes Modell berücksichtigt Mutationseffekte, etwa durch folgende Modellierung: Vor Bildung einer neuen Generation hat jedes Allel die Chance zu mutieren, d.h. hier, sich in ein Allel der anderen Art zu verwandeln. Wir nehmen an, dass eine Mutation a → A mit Wahrscheinlichkeit γ1 und eine Mutation A → a mit Wahrscheinlichkeit γ2 geschieht. Es gelten dann weiter (2.1) – (2.3), jedoch mit den neuen Ziehungswahrscheinlichkeiten i i (1 − γ1 ) + 1 − γ2 , (2.4) αi = 2N 2N 2.7 Markov-Ketten in der Genetik: Die Modelle von Wright-Fisher und Moran βi = 33 i i γ1 + 1 − (1 − γ2 ). 2N 2N Zur genaueren Erläuterung schlüsseln wir den Mechanismus weiter auf: Wir nehmen an, dass Mutation der Ziehung nachgeschaltet ist. Sei Yn,k = 1 bzw. = 0, falls das k-te aus der (n − 1)-ten Generation selektierte Gen vor Auftreten einer möglichen Mutation vom Typ a bzw. A ist. Die Yn,1 , ...,Yn,2N erfüllen dann (2.2), sind also bedingt unter Mn−1 unabhängig und jeweils Bern(Mn−1 /2N)-verteilt. Seien weiter In,k , Jn,k unabhängige (auch von Mn−1 und den Yn,k ) Bernoulli-Variablen, d d In,k = Bern(γ1 ), Jn,k = Bern(γ2 ), und setze Xn,k = Yn,k (1 − In,k ) + (1 −Yn,k )Jn,k . In,k = 1 bedeutet demnach eine Mutation a → A des k-ten gezogenen Gens der (n − 1)-ten Generation und Jn,k = 1 eine Mutation A → a. Wie man sofort einsieht, erfüllen auch hier die Xn,k (2.2), jedoch mit den αi aus (2.4). Es gilt nämlich unter Beachtung der Unabhängigkeitsannahmen P(Xn,k = 1|Mn−1 = i) = P(In,k = 0,Yn,k = 1|Mn−1 = i) + P(Jn,k = 1,Yn,k = 0|Mn−1 = i) = P(Yn,k = 1|Mn−1 = i) P(In,k = 0) + P(Yn,k = 0|Mn−1 = i) P(Jn,k = 1) i i (1 − γ1 ) + 1 − γ2 = αi = 2N 2N für alle k = 1, ..., 2N. Sofern γ1 γ2 > 0, tritt offenbar in keinem Zustand Fixierung ein. Stattdessen strebt Mn in diesem Fall für n → ∞ in Verteilung gegen einen stationären Limes π, den wir als Genfrequenz im Gleichgewicht bezeichnen. 2.7.3 Dasselbe Modell mit Selektionsdruck Wir kehren zurück zum Grundmodell und wollen für dieses als weitere Variante das Konzept eines Selektionsdrucks zugunsten von, sagen wir, Typ-a-Allelen diskutieren. Es sei zunächst bemerkt, dass im Grundmodell (neutrale Selektion) unter Benutzung von (2.3) E(Mn |Mn−1 = i) = 2N · i = i 2N für alle i = 0, ..., 2N folgt, die mittleren Reproduktionsraten rn = E(2N−Mn |Mn−1 ) 2N−Mn−1 (2.5) E(Mn |Mn−1 ) Mn−1 und Rn = für beide Alleltypen also stets 1 betragen. Stellen wir uns nun vor, dass der Ziehungsmechanismus Allelen vom Typ a gegenüber denen vom Typ A einen mittleren selektiven Vorteil gibt, präzisiert durch rn = (1 + s)Rn für alle n ≥ 1 34 2 Beispiele diskreter Markov-Ketten und ein s > 0 (klein). Gesucht sind also Selektionswahrscheinlichkeiten αk , βk , die dieses gewährleisten. Da weiterhin E(Mn |Mn−1 = i) = 2Nαi für alle i = 0, ..., 2N gilt, ergeben sich αi , βi = 1 − αi vermöge rn = 2NαMn−1 2N(1 − αMn−1 ) = (1 + s) = (1 + s)Rn , Mn−1 2N − Mn−1 n ≥ 1, eindeutig zu 2N − i (1 + s)i und βi = . (2.6) 2N + si 2N + si Der Quotient der erwarteten Populationsgrößen von Typ-a- und Typ-A-Allelen in der n-ten Generation (bedingt unter Mn−1 ) ergibt sich zu αi = αMn−1 E(Mn |Mn−1 ) (1 + s)Mn−1 = = E(2N − Mn |Mn−1 ) βMn−1 2N − Mn−1 1+s Anzahl von Typ-a-Genen in der (n − 1)-ten Generation = 1 Anzahl von Typ-A-Genen in der (n − 1)-ten Generation und verdeutlicht auf alternative Weise die Bedeutung von Selektion. Beachte, dass Zustände 0 und 2N auch unter Selektionsdruck absorbierend sind. Eine wichtige Frage lautet demnach auch hier, mit welcher Wahrscheinlichkeit bedingt unter M0 = k Fixierung eintritt. 2.7.4 Das Moran-Modell Wir betrachten wieder eine Population von 2N Genen, die entweder vom Typ a oder A seien, wobei sich jedoch Generationen anders als beim Wright-Fisher-Modell hier überlappen. Der im Anschluss beschriebene Reproduktionsmechanismus, der in jedem Zeitschritt immer nur ein Element der Population betrifft, wurde von M O RAN [17] vorgeschlagen. Wir beschränken uns auf die einfache Modellvariante ohne Mutations- und Selektionseffekte, weisen aber darauf hin, dass auch diese problemlos bei der Modellierung berücksichtigt werden können. Stellen wir uns die 2N Gene wieder als rote (Typ a) und schwarze (Typ A) Kugeln einer Urne vor. Die Zusammensetzung der Urne nach n-facher Anwendung des folgenden zweistufigen Mechanismus’ beschreibt die Population nach n Zeitschritten, wobei wir der Einfachheit wiederum von der n-ten Generation sprechen. Wir ziehen zufällig eine Kugel mit Zurücklegen und “duplizieren” diese (Reproduktionsschritt), wobei das Duplikat zunächst beiseite gelegt wird. Anschließend ziehen wir nochmals eine Kugel aus der Urne, legen diese aber nicht zurück, sondern ersetzen sie durch das beiseite gelegte Duplikat (Austauschschritt). Seien wieder Mn die Anzahl der Typ-a-Allele (roter Kugeln) der n-ten Generation (nach n Doppelziehungen) und k αk = 2N , βk = 1 − αk = 2N−k 2N , d.h., αMn , βMn bezeichnen die relativen Häufigkeiten der beiden Allele in der n-ten Generation. Nach der obigen Beschreibung bildet 2.8 Irrfahrten auf Zd 35 (Mn )n≥0 offenkundig eine EMK mit Zustandsraum {0, ..., 2N} und Übergangswahrscheinlichkeiten αi βi , falls j = i ± 1 pij = αi2 + βi2 falls i = j . 0, sonst Die Zustände 0 und 2N sind erneut absorbierend, und es gilt wieder (2.5), d.h. E(Mn |Mn−1 = i) = i für alle i = 0, ..., 2N. Für eine ausführlichere Diskussion der zuvor beschriebenen Modelle lese man etwa in der Monographie von G ALE [8]. War der Zustandsraum bisher stets endlich, so ist oder kann dieser in den nachfolgenden Beispielen abzählbar unendlich sein. 2.8 Irrfahrten auf Zd Wir betrachten das Gitter Zd , versehen mit der gewöhnlichen Nachbarschaftsrelation, die durch die `1 -Norm |i|1 := ∑dk=1 |ik | determiniert ist, d.h., zwei Punkte in Zd sind genau dann durch eine Kante verbunden, wenn ihr `1 -Abstand 1 beträgt. Stellen wir uns vor, ein Teilchen auf diesem Gitter springt pro Zeiteinheit unabhängig vom gegenwärtigen Aufenthaltsort i mit Wahrscheinlichkeit je 1/2d in einen der 2d Nachbarpunkte i ± ek , k = 1, ..., d, wobei ek den k-ten kanonischen Einheitsvektor im Rd bezeichnet. Abb. 6.3 veranschaulicht die Situation für den Fall “d = 2”. Bezeichnet M0 den Startpunkt und Mn die Position des Teilchens zum Zeitpunkt n an, so gilt P(Mn+1 = in ± ek |Mn = in , ..., M0 = i0 ) = P(Mn+1 = in ± ek |Mn = in ) = 1 2d für alle n ≥ 0, k = 1, ..., d und (i0 , .., in ) ∈ Z(n+1)d mit P(M0 = i0 , ..., Mn = in ) > 0. Es liegt also eine DMK mit Zustandsraum Zd vor, wobei es sich im Rückblick auf 2.5 offenbar um eine einfache Irrfahrt auf dem unendlichen Graphen G mit Zd als Knotenmenge und der `1 -Nachbarschaftsrelation handelt. Wir spechen in diesem Fall auch von einer symmetrischen Irrfahrt auf (Zd , | · |1 ). Allgemeiner bezeichnen wir (Mn )n≥0 als Irrfahrt auf (Zd , | · |1 ) mit Parametern p−d , ..., pd , falls P(Mn+1 = i|Mn = i) = p0 und P(Mn+1 = i ± ek |Mn = i) = p±k für alle i ∈ Zd und k = 1, ..., d gilt. Eine andere Nachbarschaftsrelation auf Zd , für d = 2 in Abb. 2.4 dargestellt, ergibt sich bei Zugrundelegung der Maximums(`∞ -)norm |i|∞ := max1≤k≤d |ik |. In diesem Fall sind zwei Punkte genau dann durch eine Kante verbunden, wenn ihr `∞ -Abstand 1 beträgt. Eine DMK (Mn )n≥0 auf Zd heißt Irrfahrt auf (Zd , | · |∞ ) mit Parametern pα , α ∈ {−1, 0, 1}d , wenn +1 -Nachbarschaftsrelation handelt. Wir spechen in diesem Fall auch von einer symmetrischen Irrfahrt auf (Zd , | · |1 ). Allgemeiner bezeichnen wir (Mn )n≥0 als Irrfahrt auf (Zd , | · |1 ) mit Parametern p−d , ..., pd , falls (6.17) P (Mn+1 = i|Mn = i) = p0 und P (Mn+1 = i ± ek |Mn = i) = p±k für alle i ∈ Zd und k = 1, ..., d gilt. 36 1/4 2 Beispiele diskreter Markov-Ketten 1/4 1/4 0 1/4 Bildauf 6.3. Abb. 2.3 Symmetrische Irrfahrt Z2 .Symmetrische Irrfahrt auf Z2 . Eine andere Nachbarschaftsrelation auf Zd , für d = 2 in Bild 6.4 dargestellt, ergibt sich def P(Mn+1 ∞ =-)norm i + α|M =1≤k≤d pα |ik |. In diesem Fall sind zwei bei Zugrundelegung der Maximums(+ |i|∞ =i)max n= Punkte genau dann durch eine Kante verbunden, wenn ihr +∞ -Abstand 1 beträgt. Eine DMK für )alle α ∈ d{−1, 0, 1}d . Sie heißt d ferner symmetrisch, wenn p0 = 0 dund pα = (M n n≥0 auf Z heißt Irrfahrt auf (Z , | · |∞ ) mit Parametern pα , α ∈ {−1, 0, 1} , wenn 1/(3d − 1) für alle anderen α. Jede Irrfahrt auf (Zd , | · |1 ) ist offenkundig ebenfalls eine solche auf (Zd , | · |∞ ). P (Mn+1 = i + α|Mn = i) = pα (6.18) 6. Beispiele diskreter Markov-Ketten d 33 d für alle α ∈ {−1, 0, 1} . Sie heißt ferner symmetrisch, wenn p0 = 0 und pα = 1/(3 − 1) für alle anderen α. Jede Irrfahrt auf (Zd , | · |1 ) ist offenkundig ebenfalls eine solche auf (Zd , | · |∞ ). Eine interessante Frage für Irrfahrten auf Zd lautet: Für welche Parameterkombinationen kehrt diese, ausgehend von einem Gitterpunkt i, mit Wahrscheinlichkeit 1 in endlicher Zeit nach i zurück? Man nennt den Zustand i dann rekurrent. Bild 6.3 (rechts) zeigt einen rekurrenten Pfad für den Zustand i = 0. Die Frage wird in Abschnitt 8 eingehend untersucht. Abb. 2.4 Nachbarschaftsstruktur von Z2 untervon der Maximumsnorm | · |∞ . | · |∞ . Bild 6.4. Nachbarschaftsstruktur Z2 unter der Maximumsnorm ... seien stochastisch unabhängige 6.9.Eine Diskrete Random in ZZd . aufMZ0d, X 1 , X2 ,Für interessante FrageWalks für Irrfahrten lautet: welche Parameterkomd Xn ferner alle dieselbe Verteilung (pk )k∈Zd beZufallsvariablen in Z , wobei binationen mit kehrtWerten diese, ausgehend vondie einem Gitterpunkt i, mit Wahrscheinlichkeit in endlicher Zeit nach i zurück? Man nennt den Zustand i dann rekurrent. Abb. sitzen,1d.h. 2.3 (rechts) zeigt einen rekurrenten Pfad=für k) den = pkZustand i = 0. Die Frage wird in P (X n Abschnitt 3.5 eingehend untersucht. für alle k ∈ Zd . Dann heißt (6.19) def Mn = M0 + n * Xk k=1 diskreter Random Walk auf Zd mit Zuwachsverteilung (pk )k∈Zd und definiert eine DMK mit Zustandsraum Zd und Übergangswahrscheinlichkeiten (6.20) pij = P (Mn+1 = j|Mn = i) = P (Xn+1 = j − i|Mn = i) = P (Xn+1 = j − i) = pj−i für alle i, j ∈ Zd . Einen Spezialfall bilden offensichtlich die zuvor vorgestellten Irrfahrten auf Zd , für die die Verschiebung pro Zeiteinheit, gemessen in | · |1 oder | · |∞ , höchstens 1 beträgt. Die formale Bedingung hierfür lautet bezüglich der | · |∞ -Norm 2.9 Eine Variante: Reflektierende Irrfahrten auf N0 37 2.9 Eine Variante: Reflektierende Irrfahrten auf N0 Das folgende Beispiel ist nicht zuletzt deswegen interessant, weil bei diesem das Vorliegen der Markov-Eigenschaft nicht unbedingt sofort klar ist. Sei (Sn )n≥0 eine einfache, im Ursprung startende Irrfahrt auf Z mit Parametern p, q ∈ (0, 1), p + q = 1, d.h. p = P(Sn+1 = i + 1|Sn = i) und q = P(Sn+1 = i − 1|Sn = i) für alle n ∈ N0 und i ∈ Z. Dann heißt Mn := |Sn |, n≥0 reflektierende Irrfahrt auf Z und bildet eine zeitlich homogene MK auf N0 , wie wir im Anschluss zeigen werden. Wir berechnen zunächst die bedingte Wahrscheinlichkeit P(Sn = i|Mn = i, Mn−1 = in−1 , ..., M1 = i1 ) für beliebige i1 , ..., in−1 , i ∈ N0 mit P(Mn = i, Mn−1 = in−1 , ..., M1 = i1 ) > 0. Sei dazu m := max{0 ≤ k ≤ n : ik = 0}. Dann sieht man leicht ein, dass P(Sn = i|Mn = i, Mn−1 = in−1 , ..., M1 = i1 ) = P(Sn = i|Mn = i, Mn−1 = in−1 , ..., Mm+1 = im+1 , Mm = 0) und dass es nur zwei Pfade für (Sm , ..., Sn ) gibt, die zu Mn = i, Mn−1 = in−1 , ..., Mm = 0 führen, nämlich (0, i1 , ..., in−1 , i) sowie (0, −i1 , ..., −in−1 , −i) mit den Wahrscheinlichkeiten p(n−m+i)/2 q(n−m−i)/2 bzw. p(n−m−i)/2 q(n−m+i)/2 . Dies liefert P(Sn = i|Mn = i, Mn−1 = in−1 , ..., Mm+1 = im+1 , Mm = 0) = = = P(Sn = i, Sn−1 = in−1 , ..., Sm+1 = im+1 , Sm = 0) P(Sn | = i, Mn−1 = in−1 , ..., Mm+1 = im+1 , Mm = 0) p(n−m+i)/2 q(n−m−i)/2 p(n−m+i)/2 q(n−m−i)/2 + p(n−m−i)/2 q(n−m+i)/2 pi pi + qi . Für i ≥ 1 erhalten wir nun P(Mn+1 = i + 1|Mn = i, Mn−1 = in−1 , ..., M1 = i1 ) = P(Sn+1 = i + 1, Sn = i|Mn = i, Mn−1 = in−1 , ..., M1 = i1 ) + P(Sn+1 = −i − 1, Sn = −i|Mn = i, Mn−1 = in−1 , ..., M1 = i1 ) 38 2 Beispiele diskreter Markov-Ketten = P(Sn+1 = i + 1|Sn = i) P(Sn = i|Mn = i, Mn−1 = in−1 , ..., M1 = i1 ) + P(Sn+1 = −i − 1|Sn = −i) P(Sn = −i|Mn = i, Mn−1 = in−1 , ..., M1 = i1 ) = p· = pi pi + qi + q· qi pi + qi pi+1 + qi+1 , pi + qi und da diese Übergangswahrscheinlichkeiten nicht von in−1 , ..., i1 abhängen, folgt pi,i+1 = pi+1 + qi+1 = 1 − pi,i−1 . pi + qi Für den verbleibenden Fall i = 0 genügt der Hinweis, dass offenbar P(Mn+1 = 1|Mn = 0, Mn−1 = in−1 , ..., M0 = i0 ) = P(Mn+1 = 1|Mn = 0) = 1 gilt, also p01 = 1. Unterstellt man statt S0 = 0 lediglich, dass S0 symmetrisch verteilt ist, so bildet (Mn )n≥0 weiterhin eine zeitlich homogene MK mit denselben Übergangswahrscheinlichkeiten. Verzichtet man jedoch auch auf die Symmetrie von PS0 , so ist die Aussage im Fall 0 < p, q < 1 mit p 6= q falsch, wie der Leser zur Übung überprüfen mag. 2.10 Diskrete Random Walks in Zd M0 , X1 , X2 , ... seien stochastisch unabhängige Zufallsvariablen mit Werten in Zd , wobei die Xn ferner alle dieselbe Verteilung (pk )k∈Zd besitzen, d.h. P(Xn = k) = pk für alle k ∈ Zd . Dann heißt n Mn := M0 + ∑ Xk k=1 diskreter Random Walk auf Zd mit Zuwachsverteilung (pk )k∈Zd und definiert eine DMK mit Zustandsraum Zd und Übergangswahrscheinlichkeiten pij = P(Mn+1 = j|Mn = i) = P(Xn+1 = j − i|Mn = i) = P(Xn+1 = j − i) = p j−i für alle i, j ∈ Zd . Einen Spezialfall bilden offensichtlich die zuvor vorgestellten Irrfahrten auf Zd , für die die Verschiebung pro Zeiteinheit, gemessen in | · |1 oder | · |∞ , 2.11 Ein Bedienungssystem mit konstanten Bedienungszeiten 39 höchstens 1 beträgt. Die formale Bedingung hierfür lautet bezüglich der | · |∞ -Norm pj = 0 für alle j 6∈ {−1, 0, 1}d . (2.7) Man spricht dann auch von einem sprungfreien (engl. “skip-free”) oder auch Nächste-Nachbarn- (engl. “nearest neighbour”) Random Walk. 2.11 Ein Bedienungssystem mit konstanten Bedienungszeiten Kunden betreten ein Bedienungssystem und reihen sich in die Warteschlange ein, wenn der Bedienungsschalter besetzt ist. In jeder Bedienungsperiode (eine Zeiteineinheit) wird genau ein Kunde bedient, sofern sich ein solcher überhaupt im System befindet; andernfalls wird in der Periode niemand bedient. Der Arbeitsmodus (Schlangendisziplin) sei FIFO (“first in first out”), d.h. die Kunden werden in der Reihenfolge ihres Erscheinens abgefertigt. Für n ≥ 1 bezeichne Mn die Anzahl wartender Kunden am Ende und Xn die Anzahl ankommender Kunden während der n-ten Bedienungsperiode. Wir nehmen an, dass (Xn )n≥1 eine unabhängige Folge identisch gemäß (pk )k≥0 verteilter Zufallsgrößen bildet und außerdem unabhängig ist von M0 , dem Anfansgzustand des Systems. Aufgrund dieser Beschreibung besitzt die Folge (Mn )n≥0 die folgende rekursive Struktur: Für jedes n ≥ 0 ist ( Xn+1 , falls Mn = 0, Mn+1 = = (Mn − 1)+ + Xn+1 . (2.8) (Mn − 1) + Xn+1 , falls Mn ≥ 1 Induktiv folgt die Unabhängigkeit von (M0 , ...Mn ) und Xn+1 und daraus schließlich, dass (Mn )n≥0 eine DMK bildet mit Zustandsraum N0 und Übergangswahrscheinlichkeiten pij = P(Mn+1 = j|Mn = i) = P(Xn+1 = j − (i − 1)+ ) = p j−(i−1)+ für alle j + 1 ≥ i ≥ 0. Die Übergangsmatrix hat demnach die Form p0 p1 p2 p3 p4 . . . p0 p1 p2 p3 p4 . . . P = 0 p0 p1 p2 p3 . . . . 0 0 p0 p1 p2 . . . .. .. .. .. .. . . . . . Es ist intuitiv klar, dass die Warteschlange über alle Schranken wächst, wenn die mittlere Anzahl der pro Bedienungsperiode im System erscheinenden Kunden ∑k≥1 kpk größer als 1 ist, der Server also langsamer arbeitet als die Ankunftsrate des Systems gebietet. Gilt dagegen ∑k≥1 kpk < 1, strebt die Schlangenlänge Mn für n → ∞ gegen eine stationäre Verteilung, d.h. 6. Beispiele diskreter Markov-Ketten 35 Ende einer Periode auf einen Wert echt kleiner als s, wird dieser sofort auf den Bestand S aufgestockt. Liegt der Bestand dagegen zwischen s und S, geschieht nichts bis zur nächsten Überprüfung. Sei Mn der Lagerbestand am Ende der n-ten Periode unmittelbar vor einer 40 2 Beispiele diskreter Markov-Ketten eventuellen Aufstockung. Dann hat diese Folge den Zustandsraum lim P(Mn = j|M0 = i) = π j n→∞ S = {S, S − 1, ..., 1, 0, −1, −2, ...}, für alle j ≥ 0 (unabhängig von i), wobei ∑ j≥0 π j = 1. Von besonderem Interesse sind dann Größen der Nachfrageüberschuß mittlere Zeitanteil, den der Server unbeschäftigt ist,Aufstockung gegeben wobei ein negativer Wert wie einen bedeutet, der mittels sofort durch π0 , oder auch die mittlere Wartezeit eines Kunden im Gleichgewicht, gegebefriedigt wird.benAufgrund Lagerhaltungspolitik besteht durch ∑ j≥0der ( j +beschriebenen 1)π j . Nähere Erläuterungen bedürfen allerdings nochfolgende weiterer Beziehung Überlegungen, : wir auf ?? verweisen. zwischen Mn , M n+1 und Xfür n+1die (6.24) Mn+1 = 6 Mn − Xn+1 , falls s ≤ Mn ≤ S 2.12 Ein Lagerhaltungsmodell S − Xn+1 , falls Mn < s . ... stochastisch unabhängig sind, soeinbildet Nehmen wir weiter an, wir daßalsM 0 , X1 , X Betrachten nächstes die2 ,Situation eines Auslieferungslagers, in dem be- (Mn )n≥0 stimmtes, laufend nachgefragtes Gut gelagert wird. Wir nehmen an, dass der Lagereine DMK mit Übergangswahrscheinlichkeiten bestand immer am Ende der Lagerperioden, numeriert mit n = 0, 1, 2, ..., überprüft 6 und gegebenenfalls aufgefüllt wird. Die denpeinzelnen Perioden P Gesamtnachfrage (Xn+1 = i − j)in = s ≤ Mn ≤ S i−j , falls Folge , X , ... identisch verteilter Zufallsgrößen mit Verteilung (pk )k≥0 . (Mn+1 = Xj|M = i) = (6.25) pij =seiP eine 1 2n P (XParameter = pS−j , Fällt falls Die Lagerhaltungspolitik ist durch zwei < j) S determiniert: derMLan+1 = Ss − n <s gerbestand bis zum Ende einer Periode auf einen Wert echt kleiner als s, wird dieser für i, j ∈ S. Wichtige Fragen fürS Modelle dieses bilden der mittlere sofort auf den Bestand aufgestockt. Liegt Typs der Bestand dagegen zwischen Anteil s und der PeriS, geschieht nichts bis zur nächsten Überprüfung [ + Abb. 2.5]. Sei M der Lagern Lagerbestand im oden n mit Nachfrageüberhang (Mn < 0) und auch der durchschnittliche bestand am Ende der n-ten Periode unmittelbar vor einer eventuellen Aufstockung. 8 (n) Zeitablauf. Diese sich, den wieZustandsraum wir noch sehen werden (☞ 14.6), zu limn→∞ j<0 pj Dannergeben hat diese Folge 8 (n) (n) def bzw. limn→∞ j>0 jpj , wobei pj = P (Mn = j). 1 3 2 Periode S X M s M X X M M Abb. 2.5 Der Lagerbestandsprozess. Bild 6.5. Der Lagerbestandsprozeß. S = {S, S − 1, ..., 1, 0, −1, −2, ...}, 6.12. Der Galton-Watson-Verzweigungsprozeß. Im folgenden stellen wir ein einfaches Modell für Populationswachstum Zu Beginn (0-tebedeutet, Generation) bestehe wobei ein negativer Wert einenvor. Nachfrageüberschuss der mittels Auf-die Populasofort befriedigt wird. Aufgrund der beschriebenen Lagerhaltungspolitik die Anzahl der Individuen der n-ten tion aus einemstockung Mitglied, genannt Urahne. Mn bezeichne besteht folgende Beziehung zwischen Mn , Mn+1 und Xn+1 : Generation, d.h. M0 = 1. Jedes Individuum habe eine Lebenszeit von einer Zeiteinheit und produziere am Lebensende eine zufällige Anzahl von Nachkommen. Wir machen zwei weitere Annahmen über den Reproduktionsprozeß der Population: (1) Die Anzahl der Nachkommen sei für jedes Individuum identisch verteilt gemäß (pk )k≥0 , genannt Reproduktionsverteilung. 2.13 Der Galton-Watson-Verzweigungsprozess Mn+1 41 ( Mn − Xn+1 , falls s ≤ Mn ≤ S, = S − Xn+1 , falls Mn < s. Nehmen wir weiter an, dass M0 , X1 , X2 , ... stochastisch unabhängig sind, so bildet (Mn )n≥0 eine DMK mit den Übergangswahrscheinlichkeiten ( P(Xn+1 = i − j) = pi− j , falls s ≤ Mn ≤ S, pij = P(Xn+1 = S − j) = pS− j , falls Mn < s für i, j ∈ S . Wichtige Fragen für Modelle dieses Typs bilden der mittlere Anteil der Perioden n mit Nachfrageüberhang (Mn < 0) und auch der durchschnittliche Lagerbestand im Zeitablauf. Diese ergeben sich, wie wir noch sehen werden (+ (n) (n) (n) ??), zu limn→∞ ∑ j<0 p j bzw. limn→∞ ∑ j>0 j p j , wobei p j := P(Mn = j). 2.13 Der Galton-Watson-Verzweigungsprozess Im Folgenden stellen wir ein einfaches Modell für Populationswachstum vor. Zu Beginn (0-te Generation) bestehe die Population aus einem Mitglied, genannt Urahne. Mn bezeichne die Anzahl der Individuen der n-ten Generation, d.h. M0 = 1. Jedes Individuum habe eine Lebenszeit von einer Zeiteinheit und produziere am Lebensende eine zufällige Anzahl von Nachkommen. Wir machen zwei weitere Annahmen über den Reproduktionsprozess der Population: (1) (2) Die Anzahl der Nachkommen sei für jedes Individuum identisch verteilt gemäß (pk )k≥0 , genannt Reproduktionsverteilung. Individuen reproduzieren unabhängig voneinander und von der Anzahl der Mitglieder der eigenen und aller vorhergehenden Generationen. Denken wir uns die Mitglieder der n-ten Generation durchnumeriert mit 1, ..., Mn , und bezeichnet Xn,k dann die Anzahl der Nachkommen des k-ten Mitglieds, so gilt offenbar Mn Mn+1 = ∑ Xn,k , k=1 n ≥ 0, und aufgrund der obigen Voraussetzungen bildet (Mn )n≥0 eine DMK mit Zustandsraum N0 und Übergangsverteilungen ∗(i) PMn+1 |Mn =i = (pk )k≥0 , i ≥ 0, ∗(i) wobei (pk )k≥0 die i-fache Faltung der Reproduktionsverteilung (pk )k≥0 bezeich∗(0) net, (pk )k≥0 := (δ0k )k≥0 (das Dirac-Maß in 0). (Mn )n≥0 heißt (einfacher) GaltonWatson-(Verzweigungs-)Prozess. Der Zustand 0 ist offensichtlich absorbierend und bedeutet, dass die Population ausstirbt. Zwei Fragen drängen sich damit unmittelbar 42 2 Beispiele diskreter Markov-Ketten auf: Wie groß ist die Aussterbewahrscheinlichkeit q in Abhängigkeit von (pk )k≥0 ? Wie verhält sich der Prozess auf dem Ereignis E = {Mn 6= 0 für alle n ≥ 0}? Es zeigt sich, dass die Population, sieht man von dem uninteressanten Fall “p1 = 1” (⇒ Mn = 1 für alle n ≥ 0) einmal ab, nur aussterben oder explodieren kann. Letzteres bedeutet natürlich limn→∞ Mn = ∞ auf E. Wir werden dies in ?? eingehender untersuchen. Dem interessierten Leser sei außerdem die historische Einführung über Verzweigungsprozesse in der Monographie von JAGERS [12] ans Herz gelegt, wo er insbesondere Informationen, teilweise amüsanter Art, zur Entstehungsgeschichte des Galton-Watson-Prozesses einschließlich seiner Namensgebung findet. Kapitel 3 Zustandseigenschaften und Irreduzibilität 3.1 Irreduzibilität Gegeben sei fortan stets eine DMK M = (Mn )n≥0 mit Zustandsraum S und Übergangsmatrix P = (pij )i, j∈S in einem Standardmodell (Ω , A, M, (Pλ )λ ∈P(S ) ). Für i ∈ S und A ⊂ S seien ferner τ 0 (i) und τ 0 (A) die Ersteintrittszeiten in den Zustand i bzw. die Menge A, und zwar τ 0 (i) = inf{n ≥ 0 : Mn = i} und τ 0 (A) = inf{n ≥ 0 : Mn ∈ A}, (3.1) wobei inf 0/ := ∞. Diese unterscheiden sich von den in (1.23) bzw. (1.24) definierten Rückkehrzeiten τ(i) bzw. τ(A) nur dann, wenn sie den Wert 0 haben. Um die zeitliche Evolution einer DMK zu analysieren, muss man sich zunächst klarmachen, welche Pfade (Realisierungen) durch den Zustandsraum überhaupt möglich sind, was möglicherweise zu einer Zerlegung des Zustandsraums führt. Grundlegend für die Beantwortung der hiermit verknüpften Frage, welche Zustände von einem beliebigen Ausgangszustand i ∈ S erreicht werden können, ist die folgende Definition. Definition 3.1. Gegeben i, j ∈ S , heißt j erreichbar von i, kurz i → j, wenn Pi (τ 0 ( j) < ∞) > 0. Mit anderen Worten: j ist erreichbar von i, wenn die Kette, in i startend, den Zustand j mit positiver Wahrscheinlichkeit irgendwann erreicht. Da n = 0 in (3.1) zugelassen ist, folgt i → i für alle i ∈ S , denn Pi (τ 0 (i) < ∞) ≥ Pi (τ 0 (i) = 0) = 1. Das wohl nützlichste Kriterium für Erreichbarkeit lautet: 43 44 3 Zustandseigenschaften und Irreduzibilität Lemma 3.2. Für alle i, j ∈ S gilt: i→ j (n) ⇔ pij > 0 für ein n ≥ 0. Beweis. “⇒” Aus der Inklusion {τ 0 ( j) < ∞} = ∑ {τ 0 ( j) = n} n≥0 ⊂ [ {Mn = j} n≥0 folgt in Kombination mit der Voraussetzung 0 < Pi (τ ( j) < ∞) ≤ Pi 0 [ n≥0 ! {Mn = j} ≤ (n) ∑ pij n≥0 (n) und somit pij > 0 für mindestens ein n ≥ 0. (n) “⇐” Umgekehrt liefert pij > 0 zusammen mit der Inklusion {Mn = j} ⊂ {τ 0 ( j) ≤ n} ⊂ {τ 0 ( j) < ∞} offenkundig (n) 0 < pij ≤ Pi (τ 0 ( j) < ∞). t u Während Erreichbarkeit für jedes i ∈ S all diejenigen Zustände j ∈ S beschreibt, die von i aus irgendwann mit positiver Wahrscheinlichkeit erreicht werden, richtet sich der nachfolgende Begriff an die Frage, für welche Zustände j auch ein Rückkehrpfad positiver Wahrscheinlichkeit nach i existiert. Definition 3.3. Zwei Zustände i, j ∈ S heißen kommunizierend oder verbunden, kurz i ↔ j, wenn i → j und j → i gilt. Mit Hilfe der Verbundenheit erhalten wir eine Zerlegung des Zustandsraums, denn: Lemma 3.4. Verbundenheit (↔) bildet eine Äquivalenzrelation. Beweis. Reflexivität (i ↔ i) und Symmetrie (i ↔ j ⇔ j ↔ i) sind offensichtlich. Für den Nachweis der Transitivität seien i ↔ j und j ↔ k für i, j, k ∈ S angenommen. (m) (n) Nach Lemma 3.2 existieren m, n ≥ 0, so dass pij > 0 und p jk > 0. Vermöge der Chapman-Kolmogorov-Gleichungen (Satz 1.6) folgt dann aber 3.1 Irreduzibilität 45 (m+n) pik = (m) (n) plk ∑ pil l∈S (m) (n) ≥ pij p jk > 0 und somit i → k. Analog zeigt man k → i, so dass insgesamt i ↔ k gilt. t u Die Äquivalenklassen bezüglich “↔”, im Folgenden nur Klassen genannt, zerlegen den Zustandsraum S in disjunkte Teilmengen kommunizierender Zustände, bilden also eine Partition von S . Die zu i ∈ S gehörende Klasse bezeichnen wir mit Ci , d.h. Ci := { j ∈ S : i ↔ j}. Im einfachsten Fall gibt es nur eine Klasse, was zu folgender Definition führt: Definition 3.5. Eine DMK M heißt irreduzibel, wenn alle Zustände kommunizieren, d.h., wenn i ↔ j oder, was äquivalent ist, Ci = C j für alle i, j ∈ S gilt. Da Irreduzibilität im Grunde genommen eine Eigenschaft der Übergangsmatrix (n) P darstellt, nämlich supn≥0 pij > 0 für alle i, j ∈ S , spricht man auch von einem irreduziblen P. Dies ist offensichtlich insbesondere dann der Fall, wenn P n für ein n ≥ 1 eine positive Matrix bildet (P n > 0), d.h. aus lauter positiven Komponenten besteht. Beispiel 3.6. [+ Abschnitt 2.1] Aus 0 < p, q < 1 folgt hier offenkundig P > 0 und damit Irreduzibilität. Falls p = 0 oder q = 0, ist der Zustand 0 oder 1 absorbierend und somit nur mit sich selbst verbunden. Es folgt in beiden Fällen C0 = {0} und C1 = {1}. Es bleiben die Fälle p = 1, q > 0 und q = 1, p > 0, wobei es aus Symmetriegründen reicht, den ersten zu betrachten: Falls p = 1 und q > 0, so springt die Kette stets von 0 sofort nach 1 verharrt dort eine geometrisch verteilte Zeit T (P1 (T = n) = q(1 − q)n für alle n ≥ 0) und springt dann zurück nach 0. Es liegt somit erneut Irreduzibilität vor. Beispiel 3.7. [+ Abschnitt 2.3] Irrfahrten mit reflektierenden Barrieren 0 und N sind stets irreduzibel, denn unter der Voraussetzung p ∈ (0, 1) folgt für alle j > i ≥ 0 ( j−i) pij j−i ≥ ∏ pi+k−1,i+k = k=1 p j−i , p j−i−1 , falls i ≥ 1 falls i = 0 >0 (3.2) (3.3) und analog ( j−i) p ji j−i ≥ ∏ pi+k,i+k−1 = k=1 (1 − p) j−i , (1 − p) j−i−1 , falls j ≤ N − 1 falls j = N > 0, d.h. i ↔ j. Dasselbe gilt auch für den Fall partiell reflektierender Barrieren, d.h. p00 oder pNN ∈ (0, 1). 46 3 Zustandseigenschaften und Irreduzibilität Beispiel 3.8. [+ Abschnitt 2.4] Liegen absorbierende Barrieren vor, so sind diese nur mit sich selbst verbunden, während alle anderen Zustände, also 1, ..., N − 1, weiter kommunizieren, da für diese (3.2) und (3.3) gültig bleiben. Die Klassen lauten demnach {0}, {1, ..., N − 1} und {N}. Beispiel 3.9. [+ Abschnitt 2.8] Symmetrische Irrfahrten auf (Zd , | · |r ), r = 1 oder r = ∞, sind stets irreduzibel, denn jeder Pfad auf dem Gitter von einem Punkt x zu einem anderen Punkt y hat die positive Wahrscheinlichkeit (2d)−n bzw. (3d − 1)−n , wenn n die Anzahl der Kanten des Pfades (Pfadlänge in der ` 1 - bzw. ` ∞ -Norm) bezeichnet. Beispiel 3.10. [+ Abschnitt 2.9] Für allgemeine diskrete Random Walks auf Zd mit Zuwachsverteilung (pk )k∈Zd ist die Frage der Irreduzibilität schwerer, und vor allem nicht einheitlich zu beantworten. Wir machen hier keinen Versuch einer vollständigen Klassifikation und betrachten zudem nur den eindimensionalen Fall (d = 1). Falls pk = 0 für alle k < 0, so hat der Random Walk Mn = M0 + ∑nj=1 X j nichtnegative Zuwächse und ist entweder Pi -f.s. konstant (p0 = 1) oder driftet Pi -f.s. monoton nach +∞ (p0 < 1) für alle i ∈ Z. Jeder Zustand ist folglich nur mit sich selbst verbunden, d.h. Ci = {i} für alle i ∈ Z. Dasselbe gilt aus Symmetriegründen, wenn pk = 0 für alle k > 0. Aufgrund der additiven Struktur von Mn folgt weiter, dass, wenn die X j f.s. nur Werte in einer Untergruppe mZ, m > 1, annehmen, wenn also pk = 0 für alle k 6∈ mZ gilt, Mn unter Pi f.s. nur Werte in i + mZ annimmt für alle n ≥ 0. Die Kette ist also wiederum reduzibel mit Cr+mn ⊂ r + mZ für alle 0 ≤ r < m und n ∈ Z. Die tatsächliche Form der einzelnen Klassen hängt von der weiteren Struktur der Zuwachsverteilung (pk )k∈Z ab. Betrachten wir abschließend die Situation p1 > 0 und pk0 > 0 für ein k0 ≤ −1. In diesem Fall ist (Mn )n≥0 irreduzibel, denn für beliebige i, j ∈ Z, i < j, folgt ! ( j−i) pij j−i = Pi ∑ Xk = j − i k=1 ≥ Pi (X1 = 1, ..., X j−i = 1) = p1j−i > 0, d.h. i → j, sowie umgekehrt, falls j + lk0 ≤ i < j + (l − 1)k0 , (l(1−k0 )+i− j) p ji = −lk +i− j plk0 p1 0 ≥ P j (X1 = ... = Xl = k0 , Xl+1 = ... = Xl(1−k0 )+i− j = 1) > 0, also j → i. Entsprechend ergibt sich die Irreduzibilität im Fall p−1 > 0 und pk0 > 0 für ein k0 ≥ 1. Als nächstes wollen wir uns anschauen, welche Teilmengen von Zuständen von anderen Teilmengen des Zustandsraums aus erreichbar sind. 3.1 Irreduzibilität 47 Definition 3.11. Eine Teilmenge C ⊂ S heißt abgeschlossen, wenn Pi (τ 0 (C c ) = ∞) = 1 für alle i ∈ C . Ist speziell C = {i} abgeschlossen, nennen wir i (wie bereits geschehen) absorbierend. Eine abgeschlossene Teilmenge von Zuständen wird demnach bei Erreichen niemals mehr verlassen. Als nützliches Kriterium notieren wir: Lemma 3.12. (a) (b) C ⊂ S ist genau dann abgeschlossen, wenn pij = 0 für alle i ∈ C und j ∈ C c gilt. Ein Zustand i ∈ S ist genau dann absorbierend, wenn pii = 1. Beweis. Wir brauchen nur Teil (a) zu zeigen, da dieser (b) als Spezialfall enthält. Ist C abgeschlossen, folgt wegen τ 0 ( j) ≥ τ 0 (C c ) für alle j ∈ C c 0 = Pi (τ 0 (C c ) < ∞) ≥ Pi (τ 0 ( j) < ∞) (n) ≥ Pi (τ 0 ( j) ≤ n) ≥ Pi (Mn = j) = pij (3.4) für alle n ≥ 0 und i ∈ C , insbesondere pij = 0. Ist umgekehrt pij = 0 für alle i ∈ C und j ∈ C c , folgt zuerst Pi (τ 0 (C c ) = 1) = ∑ pij = 0 j∈C c für alle i ∈ C . Analog ergibt sich für n ≥ 2 Pi (τ 0 (C c ) = n) = Pi (M1 ∈ C , ..., Mn−1 ∈ C , Mn ∈ C c ) = ∑ ... ∑ ∑ c pii1 pi1 i2 · ... · p jn−2 jn−1 |pi{z n−1 j } i1 ∈C in−1 ∈C j∈C und deshalb insgesamt Pi (τ 0 (C c ) < ∞) = 0. = 0 =0 t u Die Abschätzung (3.4) hat gezeigt, dass für eine abgeschlossene Menge C sogar (n) pij = 0 für alle i ∈ C , j ∈ C c und alle n ≥ 0 gilt. Ist S endlich, so ergibt sich aus Lemma 3.12(a) für die Übergangsmatrix P der DMK die Blockgestalt PC 0 P = , PC := (pij )i, j∈C , ∗ ∗ 48 3 Zustandseigenschaften und Irreduzibilität sofern man die Elemente der abgeschlossenen Menge C mit 1, ..., |C | und die übrigen mit |C | + 1, ..., |S | durchnumeriert. Zerfällt S gar in lauter abgeschlossene Mengen C1 , ..., Ck , folgt bei entsprechender Numerierung der Zustände PC1 0 . . . 0 0 PC . . . 0 2 . P = . . . .. .. . . 0 0 . . . PCk Generell kann man eine abgeschlossene Menge C als absorbierenden Makrozustand interpretieren, der zwar nie mehr verlassen, i.A. aber von Zuständen außerhalb von C erreicht werden kann. Beachte, dass die zuvor eingeführten Irreduzibilitätsklassen (bzgl. ↔) nicht abgeschlossen zu sein brauchen. Man denke etwa an die Klasse {1, ..., N − 1} einer Irrfahrt auf {0, ..., N} mit absorbierenden Barrieren. 3.2 Periodizität Um das evolutionäre Verhalten einer DMK zu verstehen, benötigt man den Begriff der Periodizität eines Zustands. Es ist nämlich durchaus möglich, dass gewisse Zustände nur zu bestimmten Zeitpunkten erreicht werden können. Um die richtige Anschauung zu bekommen, bemühen wir das Beispiel der symmetrischen Irrfahrt auf (Z2 , | · |1 ). Startet diese im Ursprung, so kann der Zustand 0 offenbar nur zu geraden Zeitpunkten 2, 4, 6, ... wieder erreicht werden, weil jeder Vorwärtsschritt in die x- oder y-Richtung eines kompensierenden Rückwärtsschritts bedarf. Die anschließende Definition präzisiert, wie sämtliche Zustände des Zustandsraums als periodisch oder aperiodisch klassifiziert werden können: Definition 3.13. Ein Zustand i ∈ S heißt periodisch mit Periode d oder kurz dperiodisch, falls (n) (3.5) d = d(i) := ggT{n ≥ 1 : pii > 0}, wobei “ggT” den größten gemeinsamen Teiler bezeichnet. Ein Zustand mit Periode 1 heißt auch aperiodisch. Für das Beispiel der symmetrischen Irrfahrt auf (Z2 , |·|1 ) hat der Zustand 0 somit (2n+1) die Periode 2, denn p00 = 0 für alle n ≥ 0 impliziert zunächst d(0) ≥ 2, und die (2) Gleichheit folgt dann aus p00 = 1 2 > 0. (n) Dieselbe Argumentation liefert allgemein: Gilt pii = 0 für alle n 6∈ dN sowie (d) pii > 0, so ist i d-periodisch. Insbesondere ist jeder Zustand i mit pii > 0 aperiodisch. Für ein weiteres Kriterium benötigen wir das folgende elementare Ergebnis aus der Zahlentheorie: 3.2 Periodizität 49 Lemma. Sei H ⊂ N eine Halbgruppe bezüglich der Addition mit ggT d. Dann ist dN\H endlich, d.h., H enthält bis auf endlich viele Ausnahmen alle Zahlen d, 2d, 3d, .... Beweis. Zuerst überlegt man sich leicht, dass ein k ≥ 2 und teilerfremde n1 , ..., nk ∈ N mit n1 d, ..., nk d ∈ H existieren. Aus der Teilerfremdheit folgt weiter n1 Z ⊕ ... ⊕ nk Z = Z (andernfalls ergäbe sich cZ für ein c ≥ 2 und dann mit n1 + ... + nk = mc für ein m ∈ N ein Widerspruch) und folglich die Existenz ganzer Zahlen m1 , ..., mk mit Σ kj=1 m j n j = 1. Setze n = Σ kj=1 n j , und wähle m ∈ N so groß, dass m + (n − 1)m j ≥ 0 für j = 1, ..., k und mn ∈ H. Aus der Halbgruppeneigenschaft von H ergibt sich dann mn, (mn + 1)d = Σ kj=1 (m + m j )n j d, ..., (mn + n − 1)d = Σ kj=1 (m + (n − 1)m j )n j d ∈ H und daraus bei nochmaliger Verwendung ld ∈ H für alle l ≥ mn. t u (n) Lemma 3.14. Ein Zustand i ∈ S ist genau dann d-periodisch, wenn pii = 0 für (md) alle n 6∈ dN und pii > 0 für alle hinreichend großen m ≥ m0 gilt. Beweis. Offensichtlich reicht es, die Notwendigkeit der Charakterisierung nachzu(n) weisen. Da aber die Menge H = {n ∈ N : pii > 0} eine Halbgruppe bildet (wegen (m) (n) (m+n) (m) (n) pii > 0, pii > 0 ⇒ pii ≥ pii pii > 0), ergibt sich das Gewünschte unmittelbar als Konsequenz des obigen zahlentheoretischen Lemmas. t u Zum Abschluss zeigen wir, dass die Periode eines Zustands i auch über die Verteilung der Rückkehrzeit τ(i) gemäß (1.23) [nicht τ 0 (i)] unter Pi charakterisiert (n) werden kann, wobei an fij = Pi (τ( j) = n) für n ≥ 0 erinnert sei. (n) Lemma 3.15. Ist i ∈ S d-periodisch und d 0 := ggT{n ≥ 1 : fii > 0}, so gilt d = d 0 . (n) (n) Beweis. Aus fii ≤ pii für alle n ≥ 1 folgt d 0 ≥ d. Für die umgekehrte Unglei(md) (kd) ((m−k)d) chung notieren wir als erstes, dass pii = ∑m pii für alle m ≥ 1 gilt k=1 f ii (d) (d) 0 (+ (1.30)). Aus pii > 0 folgt nun fii > 0 und somit d = d. Nehmen wir also (d) pii = 0 und d 0 > d an. Nach Lemma 3.14 existiert ein m ≥ 2, so dass md 6∈ d 0 N (md) (k d) ((m−k1 )d) und pii > 0. Die obige Formel sichert dann fii 1 > 0 und pii > 0 für 0 0 ein 1 ≤ k1 < m, was (m − k1 )d 6∈ d N wegen k1 d ∈ d N nach sich zieht. Im Fall (d) m − k1 = 1, d.h. pii > 0, steht dies im Widerspruch zur Annahme. Falls m − k1 ≥ 2, ((m−k1 )d) finden wir aber durch Anwendung desselben Schlusses wie zuvor auf pii ein (k d) ((m−k2 )d) k1 < k2 < m, so dass fii 2 > 0 und pii > 0, also (m − k2 )d 6∈ d 0 N. Nach einer endlichen Wiederholung dieses Vorgehens gelangen wir schließlich zu einem ((m−kl )d) (d) kl mit m − kl = 1 und pii = pii > 0, d.h. ebenfalls zu einem Widerspruch zur Annahme. t u 50 3 Zustandseigenschaften und Irreduzibilität 3.3 Zyklische Zerlegung einer DMK Betrachten wir eine DMK, für die ein Zustand i existiert, den sie unter Pi mit Wahrscheinlichkeit 1 unendlich oft aufsucht. Es ist aufgrund der (starken) MarkovEigenschaft und der zeitlichen Homogenität intuitiv klar, dass die Kette mit jedem Besuch des Zustands i einen Neuanfang macht, d.h., danach unabhängig von ihrer Vergangenheit weiterläuft, und zwar genauso, als wäre sie gerade in diesem Zustand gestartet. Mit anderen Worten: Die Kette zerfällt in unabhängige, identisch verteilte Zyklen zufälliger Länge, an deren Anfang und Ende ein Besuch in i steht. Diese anschauliche Begründung gilt es im Folgenden mathematisch zu beweisen, wobei wir auch die Möglichkeit einschließen wollen, dass der betrachtete Zustand nur endlich oft aufgesucht wird. Es bezeichne (σn (i))n≥1 die Folge der sukzessiven Rückkehrzeiten in den Zustand i, d.h. σn (i) := inf{k ≥ σn−1 (i) + 1 : Mk = i}, für n ≥ 1, wobei σ0 (i) ≡ 0. Beachte, dass σ1 (i) = τ(i) gemäß (1.23) gilt. Aus σn (i) = ∞ für ein n folgt natürlich σm (i) = ∞ für alle m > n. Die Zuwächse dieser Folge bezeichnen wir mit τn (i), d.h. τn (i) = σn (i) − σn−1 (i), n ≥ 1, wobei τn (i) := ∞ auf {σn (i) = ∞}. Offensichtlich gilt dann {σn (i) < ∞} = {τ1 (i) < ∞, ..., τn (i) < ∞} (3.6) für alle n ≥ 1. Schließlich setzen wir für n ≥ 0 ( (τn+1 (i), Mσn (i) , ..., Mσn+1 (i)−1 ), falls σn (i) < ∞, Zn := (∞, ∆ , ∆ , ...), falls σn (i) = ∞, wobei ∆ irgendeinen Friedhof der Kette bezeichnet (+ Abschnitt 1.4). Die Zn bilden die bereits erwähnten Zyklen (Segmente, Exkursionen) der Kette zwischen den Aufenthalten im Zustand i, wobei die Festlegung auf {σn (i) = ∞} lediglich der Definitheit auf dem gesamten zugrundeliegenden W-Raum dient. Wir interessieren uns im folgenden für die gemeinsame Verteilung von Z0 , ..., Zn−1 unter der Bedingung, dass M den Zustand i überhaupt n-mal aufsucht, d.h., bedingt unter dem Ereignis {σn (i) < ∞}. Dazu bedarf es allerdings der Voraussetzung Pi (σn (i) < ∞) > 0. Zum besseren Verständnis der anschließenden Rechnungen notieren wir, dass τ(i) = τ1 (i) = ρ(M) und Z0 = θ (M) für geeignete meßbare Abbildungen ρ, θ gilt und allgemein für n ≥ 0 τn+1 (i) = ρ(M (σn (i)) ), Zn = θ (M (σn (i)) ) (3.7) wobei wie bisher M (n) = (Mk )k≥n . Aus (3.6), (3.7) und der starken Markov-Eigenschaft folgt 3.3 Zyklische Zerlegung einer DMK 51 Pi (σn (i) < ∞) = Pi (τ1 (i) < ∞, ..., τn (i) < ∞) = = Z {τ1 (i)<∞,...,τn−1 (i)<∞} Z {τ1 (i)<∞,...,τn−1 (i)<∞} P(ρ(M (σn−1 (i)) ) < ∞|Mσn−1 (i) ) dPi PMσ n−1 (i) (ρ(M) < ∞) dPi = Pi (τ1 (i) < ∞, ..., τn−1 (i) < ∞) Pi (τ(i) < ∞) und dann induktiv Pi (σn (i) < ∞) = Pi (τ1 (i) < ∞, ..., τn (i) < ∞) = Pi (τ(i) < ∞)n . (3.8) Kehrt die Kette also mindestens einmal mit positiver Wahrscheinlichkeit bzw. fast sicher nach i zurück, so auch n-mal für jedes n ≥ 2. Dies führt nun zu dem wichtigen Satz 3.16. Gegeben sei ein i ∈ S mit Pi (τ(i) < ∞) > 0. Für n ≥ 1 definieren wir b(n) := Pi (·|σn (i) < ∞). P i b(n) stochastisch unabhängig und identisch verteilt mit Dann sind Z0 , ..., Zn−1 unter P i b(n) (Z0 ∈ ·) = Pi (Z0 ∈ ·|τ(i) < ∞). P i (n) b = Pi für jedes n ≥ 1, so bildet (Zn )n≥0 unter Ist τ(i) sogar Pi -f.s. endlich, d.h. P i Pi eine unabhängige Folge identisch verteilter Zufallsvariablen. Beweis. Zur Abkürzung schreiben wir im Folgenden σn , τn für σn (i), τn (i). Es genügt, n−1 Pi (Zk ∈ Ak , τk+1 < ∞, 0 ≤ k < n) = ∏ Pi (Z0 ∈ Ak , τ(i) < ∞) (3.9) k=0 für alle n ≥ 1 und messbaren A0 , ..., An−1 zu zeigen, weil dann mit (3.5) und (3.7) b(n) (Z0 ∈ A0 , ..., Zn−1 ∈ An−1 ) P i = Pi (Z0 ∈ A0 , ..., Zn−1 ∈ An−1 , τ1 < ∞, ..., τn < ∞) Pi (τ1 < ∞, ..., τn < ∞) Pi (Z0 ∈ Ak , τ(i) < ∞) Pi (τ(i) < ∞) k=0 n−1 = ∏ n−1 = ∏ Pi (Z0 ∈ Ak |τ(i) < ∞). k=0 Für den Beweis von (3.9) führt man eine Induktion über n durch, wobei im Fall n = 1 nichts zu zeigen ist. Für den Induktionsschritt n − 1 → n seien A0 , ..., An messbare 52 3 Zustandseigenschaften und Irreduzibilität Mengen aus der auf dem Bildraum der Zk zu wählenden σ -Algebra (+ hierzu den Beweis von Satz 1.17(f)). Dann folgt unter Hinweis auf (3.7) Pi (Z0 ∈ A0 , ..., Zn ∈ An , τ1 < ∞, ..., τn+1 < ∞) = Z {Zk ∈Ak ,τk+1 <∞,0≤k<n} P(θ (M (σn ) ) ∈ An , ρ(M (σn ) ) < ∞|Mσn ) dPi = Pi (Zk ∈ Ak , τk+1 < ∞, 0 ≤ k < n) Pi (θ (M) ∈ An , ρ(M) < ∞), = Pi (Zk ∈ Ak , τk+1 < ∞, 0 ≤ k < n) Pi (Z0 ∈ An , τ(i) < ∞), wobei die starke Markov-Eigenschaft für die zweite sowie die zeitliche Homogenität in Verbindung mit Mσn = i auf {σn < ∞} für die dritte Zeile verwendet wurden. t u Als direkte Folgerung, die insbesondere (3.8) verallgemeinert, notieren wir: b(n) sind Korollar 3.17. In der Situation von Satz 3.16 gilt für jedes n ≥ 1: Unter P i τ1 (i), ..., τn (i) unabhängige, identisch verteilte Zufallsgrößen mit Werten in N, also b(n) (τ1 (i) = k1 , ..., τn (i) = kn ) = P i n (n) ∏ Pbi n (τ(i) = k j ) = j=1 Pi (τ(i) = k j ) ∏ Pi (τ(i) < ∞) j=1 für alle (k1 , ..., kn ) ∈ Nn . Falls Pi (τ(i) < ∞) = 1, so bildet (τn (i))n≥1 unter Pi eine unabhängige Folge identisch verteilter Zufallsgrößen. Es gibt eine ziemlich offensichtliche Verallgemeinerung von Satz 3.16 für den Fall, wenn die Kette nicht im Zustand i startet. Wir beschränken uns auf die Angabe des Resultats, überlassen den Beweis jedoch dem Leser zur Übung: Satz 3.18. Seien i ∈ S , λ ∈ P(S ) mit Pi (τ(i) < ∞) > 0 und Pλ (τ(i) < ∞) > 0. b(n) := Pλ (·|σn (i) < ∞) sind Z0 , ..., Zn−1 stochaDann gilt für jedes n ≥ 1: Unter P λi stisch unabhängig und Z1 , ..., Zn−1 ferner identisch verteilt mit b(n) (Z1 ∈ ·) = Pi (Z0 ∈ ·|τ(i) < ∞). P λi (3.10) b(n) = Pλ für jedes Ist τ(i) sogar sowohl unter Pi als auch unter Pλ f.s. endlich, d.h. P λi n ≥ 1, so bildet (Zn )n≥0 unter Pλ eine unabhängige Folge von Zufallsvariablen, die für n ≥ 1 ferner identisch verteilt sind. 3.4 Rekurrenz und Transienz Wir kommen als nächstes zu wichtigen Klassifikationen der Zustände im Hinblick auf die Frage, wie häufig diese von der Kette aufgesucht werden. Für i ∈ S seien 3.4 Rekurrenz und Transienz 53 (σn (i))n≥0 und τ(i) = σ1 (i) wie im vorherigen Teilabschnitt definiert. Wir erinnern (n) (n) außerdem an fij = Pi (τ( j) = n) und setzen fij∗ := ∑n≥1 fij = Pi (τ( j) < ∞) und µij = Ei τ( j) für i, j ∈ S . Definition 3.19. Ein Zustand i ∈ S heißt • rekurrent bzw. transient, falls fii∗ = 1 bzw. < 1. • positiv rekurrent, falls fii∗ = 1 und µii < ∞. • null-rekurrent, falls fii∗ = 1 und µii = ∞. Ausgehend von einem rekurrenten Zustand i, kehrt die Kette also fast sicher irgendwann in diesen zurück, während dies für einen transienten Zustand gerade nicht der Fall ist. Unter Verwendung von (3.8) folgt sofort Lemma 3.20. Ein Zustand i ∈ S ist genau dann rekurrent, wenn Pi (Mn = i u.o.) = 1. (3.11) Beweis. Unter Hinweis auf (3.8) gilt fii∗ = 1 genau dann, wenn alle σn (i) Pi -f.s. endlich sind, was wiederum zu (3.11) äquivalent ist, weil offenkundig Pi (Mn = i u.o.) = Pi (σn (i) < ∞ für alle n ≥ 1). t u Wir können also festhalten: Ein rekurrenter Zustand i wird unter Pi immer schon fast sicher unendlich oft aufgesucht, ein transienter Zustand dagegen höchstens endlich oft, wiederum unter Hinweis auf (3.8). Die weitere Unterscheidung in positive und Null-Rekurrenz erfolgt für einen Zustand i anhand seiner mittleren Rekurrenzzeit µii , die angibt, wie lange die Kette im Mittel braucht, um nach i zurückzukehren. Sie spielt für die Stabilität der MK (Langzeitverhalten) eine entscheidende Rolle, wie wir schon bald sehen werden (+ Abschnitt 2.5). Es liegt auf der Hand, dass wir uns ein möglichst einfaches Kriterium wünschen, mit dem sich Zustände hinsichtlich Rekurrenz oder Transienz klassifizieren lassen. Auf dem Weg dorthin (Satz 3.22) benötigen wir zunächst ein anderes, auch sonst nützliches Ergebnis: Wir führen erzeugende Funktionen ein, indem wir für i, j ∈ S Pij (s) := (n) n ∑ pij s und Fij (s) := n≥0 (0) setzen, wobei an pij = δij erinnert sei. (n) n ∑ fij n≥1 s , s ∈ (−1, 1), 54 3 Zustandseigenschaften und Irreduzibilität Lemma 3.21. Für alle i, j ∈ S gilt Pij (s) = δij + Fij (s)Pjj (s), s ∈ (−1, 1), (3.12) und speziell für i = j Pii (s) = 1 , 1 − Fii (s) s ∈ (−1, 1). (n) (3.13) (k) (n−k) Beweis. Gemäß (1.30) in Beispiel 1.29 gilt pij = ∑nk=1 fij p jj (n) was bei Einsetzen in Pij (s) = δij + ∑n≥1 pij duktformel für Reihen (3.12) liefert. für alle n ≥ 1, und Verwendung der Cauchyschen Prot u Das angekündigte Rekurrenzkriterium ergibt sich nun als einfache Folgerung: Satz 3.22. Ein Zustand i ∈ S ist genau dann rekurrent, wenn (n) ∑ pii = ∞. n≥0 (n) Er ist somit transient genau dann, wenn ∑n≥0 pii < ∞, wobei in diesem Fall sogar (n) ∑n≥0 p ji < ∞ für alle j ∈ S gilt. Beweis. Aufgrund monotoner Konvergenz und (3.13) gilt (n) ∑ pii = lim Pii (s) = lim s↑1 n≥0 s↑1 1 1 , = 1 − Fii (s) 1 − fii∗ woraus offenkundig die behauptete Äquivalenz folgt. Ist i transient, ergibt sich in (3.12) unter Verwendung des zuvor Gezeigten (n) ∑ p ji n≥0 = lim Pji (s) = lim Fji (s)Pii (s) = f ji∗ s↑1 s↑1 (n) ∑ pii < ∞ n≥0 für alle j 6= i. t u Das erhaltene Kriterium besitzt die folgende, sehr einleuchtende Interpretation: Definiere für i ∈ S die Zählvariable N(i) = ∑ 1{Mn =i} , n≥1 die die Gesamtzahl der Aufenthalte der Kette in i nach dem Zeitpunkt 0 angibt. Es folgt für alle i, j ∈ S 3.5 Rekurrenz/Transienz von Irrfahrten auf Zd E j N(i) = E j ∑ 1{Mn =i} n≥1 ! 55 ∑ P j (Mn = i) = n≥1 = (n) ∑ p ji . n≥1 Wählen wir i = j, besagt das obige Kriterium gerade, dass ein Zustand i genau dann rekurrent ist, wenn, in i startend, die erwartete Anzahl von Aufenthalten in i unendlich beträgt. Kombinieren wir dies mit (3.11), können wir also festhalten: i rekurrent ⇔ N(i) = ∞ Pi -f.s. ⇔ Ei N(i) = ∞. Für die Zählvariable N(i) haben wir demnach die (i.A. natürlich ungültige!) Aussage, dass sie genau dann unendlichen Erwartungswert besitzt, wenn sie selbst schon f.s. unendlich ist. Zum Abschluss notieren wir noch einen Satz, der die Beziehung zwischen Rekurrenz/Transienz und der Anzahl von Aufenthalten eines Zustands weiter beleuchtet. Seinen Beweis, der die Ergebnisse des vorherigen Teilabschnitts über die zyklische Zerlegung einer DMK verwendet, überlassen wir dem Leser zur Übung: Satz 3.23. Für alle i, j ∈ S und k ∈ N0 gilt 1 − f ji∗ , P j (N(i) = k) = f ji∗ fii∗ k−1 (1 − fii∗ ) falls k = 0 . falls k ≥ 1 Für transientes i folgen deshalb P j (N(i) < ∞) = 1 und E j N(i) = f ji∗ 1 − fii∗ = (n) ∑ p ji < ∞ n≥1 für alle j ∈ S . Außerdem besitzt N(i) unter Pi eine geometrische Verteilung mit Parameter 1 − fii∗ , d.h. Pi (N(i) = k) = (1 − fii∗ ) fii∗ k für alle k ∈ N0 . Ist i rekurrent, gilt dagegen Pi (N(i) = ∞) = 1 und P j (N(i) = ∞) = f ji∗ für alle j ∈ S . 3.5 Rekurrenz/Transienz von Irrfahrten auf Zd Wir verlassen einen Abschnitt lang die allgemeine Theorie diskreter Markov-Ketten und beantworten unter Benutzung des zuvor entwickelten Rekurrenzkriteriums 3.22 die spannende Frage, wann eine Irrfahrt (Sn )n≥0 auf Zd mit Wahrscheinlichkeit 1 in ihren Anfangspunkt S0 zurückkehrt, wobei wir aus Symmetriegründen S0 = 0 wählen dürfen. Es gilt nämlich n Sn = S0 + ∑ Xk k=1 56 3 Zustandseigenschaften und Irreduzibilität mit unter jedem Pi , i ∈ Zd , unabhängigen (auch von S0 ), identisch verteilten Xk , deren Verteilung unter Pi ferner nicht von i abhängt. Damit folgt aber für jedes i ∈ Zd ! ! n n Pi (Sn = i u.o.) = Pi i + ∑ Xk = i u.o. k=1 n = P0 ∑ Xk = 0 u.o. k=1 ! = Pi ∑ Xk = 0 u.o. k=1 = P0 (Sn = 0 u.o.). Wir sehen also: Entweder sind alle Zustände i ∈ Zd rekurrent oder gar keiner. Der nächste Abschnitt wird zeigen, dass diese Solidarität hinsichtlich Rekurrenz ganz allgemein für Zustände derselben Irredubilitätsklasse gilt. 3.5.1 Der eindimensionale Fall Sei also Sn = ∑nk=1 Xk mit (unter P0 ) unabhängigen, identisch verteilten Xk , wobei P0 (X1 = 1) = 1 − P0 (X1 = −1) = p ∈ (0, 1). (2n+1) Der Zustand 0 hat die Periode 2, wie bereits früher bemerkt, d.h. p00 = 0 für alle n ≥ 0. Da sämtliche Pfade der Länge 2n mit Anfangs- und Endpunkt 0 dieselbe Wahrscheinlichkeit pn (1 − p)n besitzen (n Schritte nach links und n Schritte nach 2n rechts) und es n solche Pfade gibt, folgt 2n n (2n) p00 = p (1 − p)n (3.14) n für alle n ≥ 0. Falls p 6= 21 , liefert das starke Gesetz der großen Zahlen n−1 Sn = n−1 ∑nk=1 Xk → E0 X1 = 2p − 1 6= 0 P0 -f.s. und somit |Sn | → ∞ P0 -f.s. Der Zustand 0 wird demnach fast sicher nur endlich oft aufgesucht und ist deshalb transient. Im symmetrischen Fall p = 21 benutzen wir die Stirlingsche Formel n! ' √ 2πe−n nn+1/2 (n → ∞). Mit ihrer Hilfe ergibt sich 2n 4n ' √ n nπ und damit (2n) p00 1 ' √ nπ (n → ∞) (n → ∞), (3.15) 3.5 Rekurrenz/Transienz von Irrfahrten auf Zd 57 (n) was schließlich ∑n≥0 p00 = ∞, d.h. die Rekurrenz von 0 impliziert. (n) Statt die Stirlingsche Formel zu benutzen, kann man P00 (s) = ∑n≥0 p00 sn aber auch in geschlossener Form berechnen und anschließend einen Grenzübergang s ↑ 1 durchführen. Unterstellen wir hierfür zunächst ein beliebiges 2n−2k p ∈ (0, 1). Dann gilt aufgrund von (3.14), der Beziehung 4n = ∑nk=0 2k und der Cauchyschen n−k k Produktformel !2 2n 2 2 n P00 (s) = ∑ (p(1 − p)s ) n≥0 n n 2k 2n − 2k 2 n = ∑ (p(1 − p)s ) ∑ n−k n≥0 k=0 k ∑ (4p(1 − p)s2 )n = n≥0 d.h. (n) ∑ p00 1 , 1 − 4p(1 − p)s2 1 P00 (s) = p . 1 − 4p(1 − p)s2 (3.16) 1 2 und < 1 für p 6= 12 , erhalten wir schließlich ( ∞, falls p = 21 , = lim P00 (s) = s↑1 (1 − 4p(1 − p))−1/2 < ∞, falls p 6= 12 , Da 4p(1 − p) = 1 für p = n≥0 = also die Bestätigung der Rekurrenz des Zustands 0 im symmetrischen Fall und die Transienz sonst. Um die Klasse der Irrfahrten auf Z vollständig zu klassifizieren, müssen wir noch den Fall P0 (X1 = 1) = p, P0 (X1 = −1) = q und P0 (X1 = 0) = 1 − p − q für p, q ∈ (0, 1) mit p + q < 1 untersuchen. Der Unterschied besteht hier darin, dass die Irrfahrt mit der positiven Wahrscheinlichkeit 1 − p − q in einem Zustand verweilen kann. Falls p 6= q, liefert wiederum das starke Gesetz der großen Zahlen wegen E0 X1 = p − q 6= 0 die Transienz des Zustands 0 (und damit aller i ∈ Z). Im symmetrischen Fall “p = q” dürfen wir dagegen wiederum Rekurrenz erwarten, was sich vermöge eines einfachen Einbettungsarguments zeigen lässt: Betrachte, zunächst für beliebige p, q, die Folge (τn )n≥1 der sukzessiven Sprungzeiten der Irrfahrt, rekursiv gegeben durch τn = inf{k > τn−1 : Sk 6= Sτn−1 }, (3.17) wobei τ0 = 0. Wir überlassen es dem Leser zu zeigen, dass die τn − τn−1 unabhängige, jeweils geometrisch verteilte Stopzeiten bilden (P0 (τn − τn−1 = k) = (p + q)(1 − p − q)k für k ∈ N0 ) und dass Sτn = ∑nk=0 Xbk gilt mit ebenfalls unabhängigen, identisch verteilten Zufallsgrößen Xbk , wobei 58 3 Zustandseigenschaften und Irreduzibilität P0 (Xb1 = 1) = 1 − P0 (Xb1 = −1) = p . p+q (Sτn )n≥0 definiert somit ebenfalls eine Irrfahrt auf Z, und zwar der zuvor betrachp = 21 , erhalten für diese folglich Rekurrenz des teten Form. Falls p = q, d.h. p+q Zustands 0 und damit natürlich auch für (Mn )n≥0 selbst. (2n) Zum Abschluss wollen wir kurz skizzieren, dass die p00 auch im zuletzt betrachteten symmetrischen Fall mit Verharrung mindestens von der Größenordnung n−1/2 für n → ∞ sind. Dies wollen wir uns nämlich im mehrdimensionalen Fall (2n) zunutze machen. Bezeichnet pb00 die entsprechende Wahrscheinlichkeit ohne Ver −n harrungsmöglichkeit, gemäß (3.14) gegeben durch 2n n 4 , so gilt die Beziehung (2n) p00 2n (2n−2k) = ∑ , (1 − 2p)2k (2p)2n−2k pb00 2k k=0 n (3.18) die man erhält, wenn man die Menge der Pfade der Länge 2n mit Anfangs- und Endpunkt 0 unterscheidet nach der Anzahl der Verharrungsschritte, notwendig eine gerade Zahl 2k, und deren Wahrscheinlichkeiten (konstant in k) dann jeweils unter den möglichen Verharrungszeitpunkten bedingt. Die Details kann sich der Leser (2n+2) (2n) leicht selbst überlegen. Durch Berechnung der Quotienten pb00 / pb00 erhält man (2n) ferner die strenge Monotonie der pb00 , so dass in (3.18) (2n) p00 (2n) > pb00 2n (2n) ∑ 2k (1 − 2p)2k (2p)2n−2k = pb00 Bin(2n, 1 − 2p)(2N0 ) k=0 n gilt. Da außerdem c(p) := infn≥0 Bin(2n, 1 − 2p)(2N0 ) > 0, ergibt sich schließlich mit (3.15) c(p) (2n) (2n) (n → ∞). (3.19) p00 > c(p) pb00 ' √ nπ 3.5.2 Der zweidimensionale Fall Wir schreiben Sn = (Sn,1 , Sn,2 ) und Xn = (Xn,1 , Xn,2 ), so dass Sn,k = ∑nj=1 X j,k unter P0 (k = 1, 2). Beachte, dass (Sn,k )n≥0 , k = 1, 2, eine eindimensionale Irrfahrt bildet. Falls E0 Xn = (E0 Xn,1 , E0 Xn,2 ) 6= 0, liefert einmal mehr das starke Gesetz der großen Zahlen |Sn,1 | → ∞ oder |Sn,2 | → ∞ P0 -f.s. und folglich die Transienz des Zustands 0. Zu untersuchen bleibt also lediglich der Fall “E0 X1 = 0”. Wir beschränken uns dabei auf die symmetrischen Fälle, weil eine vollständige Behandlung mit den uns zur Verfügung stehenden Mitteln zu aufwendig wäre. Der einfachste Fall liegt vor, wenn P0 (X1 = (±1, ±1)) = 1 , 4 3.5 Rekurrenz/Transienz von Irrfahrten auf Zd 59 weil die Xn dann offensichtlich unabhängige, jeweils auf {−1, 1} gleichverteilte Komponenten Xn,1 und Xn,2 besitzen, (Sn,1 )n≥0 und (Sn,2 )n≥0 also unabhängige, symmetrische Irrfahrten auf Z bilden. Für (Mn )n≥0 ergibt dies (2n) p00 = P0 (S2n = 0) = P0 (S2n,1 = 0)2 2 1 2n 1 ' = (n → ∞) 2n n 4 nπ (3.20) (2n) unter Hinweis auf (3.15). Da weiterhin ∑n≥0 p00 = ∞ gilt, ist 0 = (0, 0) rekurrent. Als nächstes wenden wir uns der symmetrischen Irrfahrt auf (Z2 , | · |1 ) mit 1 P0 (X1 = (1, 0)) = P0 (X1 = (0, 1)) = P0 (X1 = (−1, 0)) = P0 (X1 = (0, −1)) = . 4 zu (+ Abb. 6.3). Ein einfacher Trick, der leider nur für die Dimension 2 funktioniert, liefert uns hier ohne weitere Rechnung die Antwort. Durch Drehen des Gitters in 0 um 45◦ wird diese Irrfahrt nämlich offenkundig in die zuvor betrachtete überführt (+ Abb. 3.1), so dass weiterhin (3.20) und folglich Rekurrenz des Zustands 0 gilt. 8. Rekurrenz/Transienz von Irrfahrten auf Zd 8. Rekurrenz/Transienz von Irrfahrten auf Zd 51 51 2Drehung ◦ . Gitters , | ·2 ,|1|)· um 45◦ .45◦ . 8.1. Drehung des45 Gitters (Z2(Z |1 ) um Bild 8.1. des Abb. 3.1 DrehungBild des Gitters (Z , | · |1 ) um ergibt dies auf )n≥0 ergibt dies aufZZbilden. bilden.Für Für(M(M n )n n≥0 Unabhängige und identisch verteilte Komponentenfolgen n,1 )n≥0 und (Sn,2 )n≥0 = > (S 2 2 , | · | ) mit 2n= 2 > 1 besitzt(2n) auch die Irrfahrt (M ) auf (Z 2n 1= 1 1(n → ∞) ∞2 = (2n) == 0) n0)=n≥0 = 0) (8.7) p00 2n 2n 2n,12n,1 (n → ∞) =P0 (M P0 (M = 0)2 = n = (8.7) p00 = =P0P(M 0 (M 2n 2n nπ 4 4 nπ n 1 8 P08 (X1 = x) = (2n) (2n) 9gilt, ist 0=(0,0) rekurrent. unter weiterhin = ∞ gilt, ist 0=(0,0) rekurrent. unterHinweis Hinweisauf auf(8.2). (8.2).DaDa weiterhin n≥0 p00p = ∞ n≥0 00 7 2·7, 71 )·7mit Als wenden wir unsuns derder symmetrischen Irrfahrt auf auf (Z2 ,(Z Alsnächstes nächstes wenden symmetrischen 1 ) mit für alle x ∈ {−1, 0, 1}2wir . (Sn,k )n≥0 bildet in diesem Irrfahrt Fall eine symmetrische Irrfahrt auf Z mit Verharrung, wobei P0 (X1,k = i) = 31 für i = −1, 0, 1. Wir erhalten des1 1 (1,(1, 0))0))= =P0P (X(X (0,(0, 1))1)) = = P0 (X = (−1, 0)) 0)) = P (X =(2n) (0, −1)) = = . PP 0 (X 1 == 1 == P01(X = (−1, =0dass P01(X (0, −1)) . 0 (X1vermöge 1derselben 1 wie 1 = für 4 halb (3.19) 0und Rechnung in (3.20), p00 n→∞ 4 zu (☞ Bild 6.3). Ein einfacher Trick, der leider nur für die Dimension 2 funktioniert, liefert zu (☞ Bild 6.3). Ein einfacher Trick, der leider nur für die Dimension 2 funktioniert, liefert uns hier ohne weitere Rechnung die Antwort. Durch Drehen des Gitters in 0 um 45◦ wird diese uns hier ohne weitere Rechnung die Antwort. Durch Drehen des Gitters in 0 um 45◦ wird diese Irrfahrt nämlich offenkundig in die zuvor betrachtete überführt (☞ Bild 8.1), so daß weiterhin Irrfahrt nämlich offenkundig in die zuvor betrachtete überführt (☞ Bild 8.1), so daß weiterhin (8.7) und folglich Rekurrenz des Zustands 0 gilt. (8.7) und folglich Rekurrenz des Zustands 0 gilt. Unabhängige und identisch verteilte Komponentenfolgen (Mn,1 )n≥0 und (Mn,2 )n≥0 beUnabhängige und identisch verteilte Komponentenfolgen (Mn,1 )n≥0 und (Mn,2 )n≥0 besitzt auch die Irrfahrt (Mn )n≥0 auf (Z2 , 7 ·7 ∞ ) mit sitzt auch die Irrfahrt (Mn )n≥0 auf (Z2 , 7 ·7 ∞ ) mit 1 P0 (X1 = x) = 9 1 P0 (X1 = x) = 9 für alle x ∈ {−1, 0, 1}2 . (Mn,k )n≥0 bildet in diesem Fall eine symmetrische Irrfahrt auf Z mit 2 )n≥0 für alle x ∈wobei {−1, 0, 1 bildet in diesem Fall eine symmetrische Irrfahrt auf Z mit Verharrung, P 1} (X . (M = n,k i) = für i = −1, 0, 1. Wir erhalten deshalb vermöge (8.6) und 60 3 Zustandseigenschaften und Irreduzibilität mindestens von der Größenordnung c( 13 )2 (nπ)−1 ist, was erneut die Rekurrenz des Zustands 0 zeigt. Betrachten wir zuletzt die symmetrische Irrfahrt auf (Z2 , | · |∞ ) ohne Verharrung, d.h. 1 P0 (X1 = x) = 8 für alle x ∈ {−1, 0, 1}2 \{(0, 0)}. Sie ergibt sich gerade aus der vorherigen als Teilfolge zu den Sprungzeiten τn gemäß (3.17). Da jene den Zustand 0 mit Wahrscheinlichkeit 1 nicht nur unendlich oft aufsucht, sondern auch unendlich oft verlässt (Verharrungszeiten sind geometrisch verteilt, also f.s. endlich), ist 0 auch rekurrent für die eingebettete Irrfahrt ohne Verharrung. 3.5.3 Der drei- und mehrdimensionale Fall Hier wollen wir uns kürzer fassen. Seien Sn,k , Xn,k , k = 1, ..., d, die Komponenten von Sn bzw. Xn . Dasselbe Argument wie im zweidimensionalen Fall ergibt die Transienz des Zustands 0, falls E0 Xn,k 6= 0 für mindestens ein k = 1, ..., d. Wir dürfen also gleich wieder EXn = 0 voraussetzen. Unabhängige, identisch verteilte Komponenten (Sn,k )n≥0 besitzt (Mn )n≥0 , falls P0 (X1 = x) = 1 2d oder = 1 3d für alle x ∈ {−1, 1}d bzw. {−1, 0, 1}d . Jedes (Sn,k )n≥0 definiert eine symmetrische Irrfahrt auf Z ohne bzw. mit Verharrung, woraus vermöge derselben Rechnung wie in (3.20) unter Benutzung von (3.15) bzw. (3.18) nun (2n) p00 = O(n−d/2 ) (n → ∞) (3.21) (2n) folgt und daraus ∑n≥0 p00 < ∞ wegen d ≥ 3. Bei positiver Verharrungswahrschein(2n+1) lichkeit ist p00 zwar nicht 0, aber immer noch beschränkt durch eine Konstante mal n−d/2 , wie man sich weiter überlegen kann, so dass in jedem Fall (n) ∑n≥0 p00 < ∞ und damit die Transienz des Zustands 0 folgt. Werfen wir abschließend einen Blick auf die symmetrische Irrfahrt in (Zd , | · |1 ) (ohne Verharrung), d.h. 1 P0 (X1 = ±ek ) = 2d für alle k = 1, ..., d, ek der k-te kanonische Einheitsvektor des Rd . Dann gilt wieder (2n+1) p00 = 0 für alle n ∈ N0 , während 3.6 Solidaritätseigenschaften (2n) p00 = 61 n n−k1 1 ... ∑ (2d)2n k =0 k∑ =0 1 2 n−k1 −...−kd−1 ∑ kd =0 (2n)! , k1 !k1 ! · ... · kd !kd ! (2n)! Pfade der Länge 2n mit Anfangs- und Endpunkt denn es gibt genau k1 !k1 !·...·k d !kd ! 0, die aus je ki Vorwärts- und Rückwärtsschritten in die i-te Koordinatenrichtung bestehen. Eine einfache Umformung liefert unter Benutzung von Multinomialkoeffizienten 2 n 1 1 2n (2n) . p00 = n ∑ k1 k2 ...kd d n n k ,...,k 4 1 d Aus ∑k1 ,...,kd k1 k2n...k d1n = 1 (Multinomialwahrscheinlichkeiten) und (3.15) folgt d dann n 1 1 2n 1 n 1 (2n) √ max p00 ≤ n ' , max 4 n k1 ,...,kd k1 k2 ...kd d n nπ k1 ,...,kd k1 k2 ...kd d n wobei das auftretende Maximum für k1 ≈ ... ≈ kd ≈ dn angenommen wird und von der Größenordnung n−(d−1)/2 ist, wie eine Anwendung der Stirlingschen Formel zeigt. Es folgt schließlich erneut (3.21) und damit die Transienz des Zustands 0. Der allgemeine Satz hinter den zuvor dargestellten Ergebnissen, den wir nur für den eindimensionalen Fall vollständig gezeigt haben, lautet: Satz 3.24. Eine Irrfahrt Sn = S0 + ∑nk=1 Xk in Zd ist genau dann rekurrent (d.h. alle Zustände i ∈ Zd sind rekurrent), wenn d ≤ 2 und E0 X1 = 0. Der Satz bleibt übrigens richtig, wenn (Sn )n≥0 einen integrierbaren diskreten Random Walk in Zd (+ Abschnitt 2.10) bildet. Zum Abschluss sei eine scherzhafte Bemerkung von K AKUTANI während eines Kolloquiumsvortrags an der U.C.L.A. zitiert, die das Ergebnis in einprägsamer Weise zusammenfasst: “A drunk man will find his way home but a drunk bird may get lost forever.” 3.6 Solidaritätseigenschaften Eine Zustandseigenschaft, die, wenn gültig für ein i ∈ S , immer schon für jeden Zustand aus Ci = { j ∈ S : j ↔ i} gilt, nennt man Solidaritäts- oder auch Klasseneigenschaft. Die gute Nachricht diesbetreffend lautet: 62 3 Zustandseigenschaften und Irreduzibilität Satz 3.25. Rekurrenz, Transienz, positive Rekurrenz, Null-Rekurrenz sowie die Periode eines Zustands bilden Solidaritätseigenschaften. Die praktische Konsequenz des Satzes besteht darin, dass die genannten Eigenschaften immer nur für einen Vertreter statt für jedes Element einer Klasse überprüft werden müssen. So gilt beispielsweise: Aus i ↔ j folgt d(i) = d( j). Im Fall einer irreduziblen MK, für die Ci = S für alle i ∈ S gilt, bedeutet dies, dass jede der im Satz genannten Solidaritätseigenschaften entweder für alle oder gar keinen Zustand vorliegt, was folgende Definition rechtfertigt: Definition 3.26. Eine DMK mit Zustandsraum S heißt rekurrent/transient, positiv rekurrent/null-rekurrent, aperiodisch/d-periodisch, wenn sie irreduzibel ist und die jeweilige Eigenschaft für einen und somit alle i ∈ S gilt. Beweis (von Satz 3.25). Seien i, j ∈ S zwei verschiedene kommunizierende Zustän(m) (m0 ) de und i rekurrent. Dann existieren m, m0 ≥ 1, so dass pij > 0 und p ji > 0. Wir geben im Folgenden zwei Beweise dafür, dass auch j rekurrent sein muss. Der erste ist kurz und elegant, aber weniger intuitiv als der zweite. (n) (n) (m0 ) (n−m−m0 ) (m) pij 1. Beweis: Nach Satz 3.22 ist ∑n≥1 pii = ∞. Da ferner p jj ≥ p ji pii gilt für alle n > m + m0 , liefert dies ! (m0 ) (n) ≥ p ji ∑ p jj n≥1 (n) ∑ pii (m) pij = ∞ n≥1 und somit wiederum gemäß Satz 3.22 die Rekurrenz von j. 2. Beweis: Wir zeigen zuerst fij∗ = Pi (τ( j) < ∞) = 1. Betrachte die Rekurrenzzeiten σn = σn (i), n ≥ 1, die gemäß Satz 3.16 unter Pi f.s. endliche, unabhängige und identisch verteilte Zuwächse τn besitzen, wobei τ1 = σ1 = τ(i) Pi -f.s. Wie schon früher bezeichne (Gn )n≥0 die kanonische Filtration von M. Unter Benutzung der starken Markov-Eigenschaft folgt für jedes n ≥ 1 Pi (τ( j) > σn ) = = = Z {τ( j)>σn−1 } Z {τ( j)>σn−1 } Z {τ( j)>σn−1 } P(τ( j) − σn−1 > τn |Gσn−1 ) dPi P(τ( j) − σn−1 > τn |Mσn−1 ) dPi PMσn−1 (τ( j) > τ(i)) dPi = Pi (τ( j) > σn−1 ) Pi (τ( j) > τ(i)) 3.6 Solidaritätseigenschaften 63 wenn man beachtet, dass auf dem Ereignis {τ( j) > σn−1 } offenbar Pτ( j)−σn−1 |Gσn−1 = Pτ( j)−σn−1 |Mσn−1 = Pi τ( j) Pi -f.s. gilt. Induktiv erhalten wir damit Pi (τ( j) > σn ) = Pi (τ( j) > τ(i))n (3.22) und folglich wie behauptet 1 − fij∗ = lim Pi (τ( j) > σn ) = lim Pi (τ( j) > τ(i))n = 0, n→∞ n→∞ denn (m) lim Pi (τ( j) > σn ) = Pi (τ( j) = ∞) ≤ 1 − pij n→∞ < 1 impliziert Pi (τ( j) > τ(i)) < 1. Wir haben folglich nicht nur fij∗ = 1 nachgewiesen, sondern auch, dass j in jedem der durch die σn markierten Zyklen mit positiver Wahrscheinlichkeit besucht wird. Da die Zyklen unabhängig und identisch verteilt sind (Satz 3.16), folgern wir weiter, dass die Anzahl ν von Zyklen vor demjenigen, in dem j tatsächlich erstmals besucht wird, unter Pi geometrisch verteilt ist. Dasselbe Argument, genannt “geometric trials argument”, liefert dann aber auch, dass j unendlich oft aufgesucht wird und somit rekurrent ist. Ein formaleres Argument ist das folgende: Sei τb(i) := inf{n ≥ 1 : Mτ( j)+n = i} und τb( j) analog definiert mit vertauschten Rollen für i, j. Dann ergibt sich unter erneuter Verwendung der starken Markov-Eigenschaft und Beachtung von σν+1 = τ( j) + τb(i) Pi -f.s. 1 = Pi (σν+1 < ∞) = Pi (τ( j) < ∞, τb(i) < ∞) = Z {τ( j)<∞} P(τb(i) < ∞|Mτ( j) ) dPi = Pi (τ( j) < ∞) P j (τ(i) < ∞) = fij∗ f ji∗ sowie anschließend in ähnlicher Weise f jj∗ = P j (τ( j) < ∞) ≥ P j (τ(i) < ∞, τb( j) < ∞) = P j (τ(i) < ∞) Pi (τ( j) < ∞) = f ji∗ fij∗ = 1. Mit i ist also auch j rekurrent (bzw. transient als Komplementäreigenschaft). Nehmen wir als nächstes an, dass i positiv rekurrent ist, also µii = Ei τ(i) < ∞ gilt, so impliziert zunächst τ( j) ≤ τ(i) + τb( j) µ jj = E j τ( j) ≤ E j τ(i) + Ei τb( j) = µ ji + µij , 64 3 Zustandseigenschaften und Irreduzibilität denn E j τb( j) = E j E(τb( j)|Mτ(i) ) = Ei τ( j) = µij . Es genügt also µij , µ ji < ∞ nachzuweisen. Sei ν die, wie oben erläutert, unter Pi geometrisch verteilte Anzahl von Zyklen (markiert durch die σn ) vor dem ersten Zyklus, in dem die Kette j besucht. Es folgt µij < ∞ vermöge der folgenden Rechnung unter Beachtung von −1 sowie der Unabhängigkeit τ( j) ≤ σν+1 = ∑ν+1 k=1 τk , Ei (ν + 1) = Pi (τ( j) < τ(i)) von τk und {ν ≥ k − 1} ∈ Gσk−1 für alle k ≥ 1: ! µij ≤ Ei σν+1 = Ei = Ei ν+1 ∑ τk k=1 ∑ τk 1{ν+1≥k} k≥1 = Ei τ(i) Ei (ν + 1) = ! = ∑ Ei τk Pi (ν ≥ k − 1) k≥1 µii < ∞. Pi (τ( j) < τ(i)) Beachtet man nun noch, dass σν+1 die erste Rückkehr nach i nach τ( j) bezeichnet und dass folglich σ −τ( j) τ(i) Pi ν+1 = Pj vermöge der starken Markov-Eigenschaft gilt, so erhalten wir auch µ ji < ∞, denn µ ji = Ei (σν+1 − τ( j)) = Ei σν+1 − µij < ∞. Rekurrente kommunizierende Zustände sind somit stets vom gleichen Typ: positiv oder null-rekurrent. Es bleibt noch zu zeigen, dass kommunizierende Zustände immer dieselbe Peri(m) (n) ode besitzen. Gegeben i ↔ j, i 6= j und m, n ∈ N derart, dass pij > 0 und p ji > 0, gilt (m) (k) (n) (m+n+k) ≥ pij p jj p ji > 0 pii (l) (m+n) für alle k ∈ D( j) := {l ≥ 1 : p jj > 0} und k = 0. pii > 0 impliziert aber m + (m+n+k) pii n = v0 d(i) für ein v0 ≥ 1, und > 0 für alle k ∈ D( j) liefert die Existenz von vk ∈ N mit m + n + k = vk d(i). Es folgt k = (vk − v0 ) d(i), was D( j) ⊂ d(i)N, d.h. d( j) ≥ d(i) beweist. Die umgekehrte Ungleichung ergibt sich analog durch Vertauschen der Rollen von i und j. t u Der obige Beweis hat zur Rekurrenz sogar etwas mehr hervorgebracht als im Satz behauptet wird. Satz 3.27. Gegeben i, j ∈ S , i 6= j, i rekurrent und i → j folgt: (a) i ↔ j. (b) j ist rekurrent. (c) fij∗ = f ji∗ = 1. Jeder von einem rekurrenten Zustand i erreichbare Zustand ist also bereits mit diesem verbunden und aus Solidarität ebenfalls rekurrent. Dies hat zur Konsequenz, 3.6 Solidaritätseigenschaften 65 dass die zugehörige Klasse Ci abgeschlossen ist, nach Erreichen also nie mehr verlassen wird. Beweis. Offenbar reicht es, Aussage (a) und hierfür j → i zu zeigen. Wie im vorherigen Beweis gesehen, impliziert i → j, dass nach einer geometrisch verteilten Anzahl ν von durch Besuchen in i markierten Zyklen der Zustand j aufgesucht wird, d.h. σν < τ( j) ≤ σν+1 in den dortigen Bezeichnungen. Wählt man m, n ∈ N mit Pi (τ( j) = m, σν+1 = n) > 0, liefert dies aber (m) (n−m) 0 < Pi (τ( j) = m, σν+1 = n) = Pi (τ( j) = m) P j (τ(i) = n − m) = fij f ji (n−m) vermöge der starken Markov-Eigenschaft und daher p ji (n−m) ≥ f ji > 0. t u Mit Hilfe von Satz 3.27 (+ auch Lemma 3.12 und danach) erhalten wir schließlich ohne weitere Mühe den folgenden Zerlegungssatz: Satz 3.28. Der Zustandsraum S einer DMK besitzt eine eindeutig bestimmte disjunkte Zerlegung S = T + ∑ Rα (3.23) α in eine Menge T transienter Zustände (nicht notwendig eine Klasse) und endlich oder abzählbar unendlich viele abgeschlossene Klassen Rα rekurrenter Zustände (Rekurrenzklassen), wobei, falls i ∈ Rα , ( 1, falls j ∈ Rα , ∗ fij = Pi (τ( j) < ∞) = 0, falls j 6∈ Rα . Bei geeigneter Numerierung der Zustände besitzt die Übergangsmatrix P außerdem die Form Q0 Q1 Q2 Q3 Q4 . . . 0 P1 0 0 0 . . . P = 0 0 P2 0 0 . . . , 0 0 0 P3 0 . . . .. .. .. .. . . . . . . . wobei Pα und Q0 die Übergangsmatrizen der Kette bei Einschränkung auf Rα bzw. T bilden und Qα die Übergangswahrscheinlichkeiten pij von i ∈ T nach j ∈ Rα enthält. Eine DMK mit abzählbar unendlichem Zustandsraum kann durchaus überhaupt keine rekurrenten Zustände besitzen, wie das triviale Beispiel der deterministischen Kette 0 → 1 → 2 → ... verdeutlicht. Der Anteil ∑α Rα von S in (3.23) tritt demnach möglichwerweise gar nicht auf. Für eine EMK ergibt sich dagegen das Folgende: 66 3 Zustandseigenschaften und Irreduzibilität Satz 3.29. Jede EMK besitzt mindestens einen positiv rekurrenten Zustand. Außerdem ist jeder rekurrente Zustand bereits positiv rekurrent. Mit anderen Worten, eine EMK besitzt keine null-rekurrenten Zustände. Beweis. Zunächst überlegen wir uns, dass (Mn )n≥0 mindestens einen rekurrenten Zustand besitzt. Wären nämlich alle Zustände transient, so folgte vermöge Satz 3.23 ! ∞ > (n) ∑ pi j = Ei N( j) = Ei ∑ 1{Mn = j} n≥0 n≥0 für alle i, j ∈ S und folglich wegen |S | < ∞ der Widerspruch ! ∞ > (n) ∑ ∑ pi j = j∈S n≥0 = Ei ∑ Ei ∑ 1{Mn = j} j∈S ∑ ∑ 1{Mn = j} n≥0 j∈S ! n≥0 = Ei ∑ 1{Mn ∈S } n≥0 ! = ∞. Sei nun i ein rekurrenter Zustand. Zum Nachweis der positiven Rekurrenz von i bemühen wir ein weiteres Mal ein “geometric trials argument”. Für jedes j ∈ Ci (φ ( j)) existiert ein φ ( j) ∈ N derart, dass p ji > 0. Wegen |S | < ∞ folgt dann m := max φ ( j) < ∞ j∈Ci (φ ( j)) und β := min p ji j∈Ci > 0. Setzen wir nun ν1 := φ (i) und rekursiv νn := νn−1 + φ (Mνn−1 ) für n ≥ 2, so bilden diese offenbar Stopzeiten für (Mk )k≥0 mit νn ≤ nm. Vermöge der starken Markov-Eigenschaft erhalten wir daher Pi (τ(i) > nm) ≤ Pi (τ(i) > νn ) ≤ Pi (Mν1 6= i, ..., Mνn 6= i) = ∑ Pi (Mν1 6= i, ...Mνn−2 6= i, , Mνn−1 = j, Mνn−1 +φ ( j) 6= i) ∑ Pi (Mν1 6= i, ..., Mνn−2 6= i, Mνn−1 = j) (1 − p ji j∈Ci \{i} = j∈Ci \{i} ≤ (1 − β )Pi (Mν1 6= i, ..., Mνn−1 6= i) ≤ ... ≤ (1 − β )n für alle n ≥ 1, was schließlich (φ ( j)) ) 3.6 Solidaritätseigenschaften 67 Ei τ(i) ≤ m ∑ (1 − β )n < ∞ n≥0 und somit die positive Rekurrenz von i impliziert. t u Kapitel 4 Ergodensätze für positive rekurrente Markov-Ketten Wir sind nun hinreichend präpariert, um die zentrale Frage nach dem Langzeitverhalten diskreter MK anzugehen, wobei wir uns zuerst auf den einfacheren Fall endlichen Zustandsraums konzentrieren und den Ergodensatz für positive rekurrente, aperiodische EMK herleiten. Generell werden hiernach zwei unterschiedlich starke Konvergenzarten betrachtet: (1) (2) Gleichmäßige Konvergenz im Zeitmittel (Césaro-Mittel): 1 n Pλ (Mk ∈ A) − π(A) = 0. lim sup ∑ n→∞ A⊂S n + 1 k=0 Gleichmäßige Verteilungskonvergenz (Konvergenz in Totalvariation): lim sup |Pλ (Mn ∈ A) − π(A)| = 0. n→∞ A⊂S Es ist klar, dass aus (2) stets (1) folgt, da jede konvergente Folge auch im CésaroLimes konvergiert. Bezeichnet k · k die Totalvariation auf dem Raum signierter Maße λ − µ auf S (λ , µ endliche Maße), d.h. kλ − µk = sup |λ (A) − µ(A)|, A⊂S so bildet diese eine Norm, und es gilt offenkundig 1 n Mk (1) ⇔ lim Pλ − π = 0, ∑ n→∞ n + 1 k=0 (2) ⇔ n lim kPM λ − πk = 0. n→∞ 69 70 4 Ergodensätze für positive rekurrente Markov-Ketten Zur Abkürzung schreiben wir für Césaro-Limiten im Folgenden auch C- limn→∞ , d.h. 1 n C- lim an := ∑ ak . n→∞ n + 1 k=0 Der Hauptgrund für ihre Verwendung besteht darin, dass sich mit diesen auch der Fall periodischer DMK abdecken lässt. Zum Abschluss erinnern wir daran, dass für abzählbares S (wie hier der Fall) und beliebige Wahrscheinlichkeitsmaße λ , µ auf S kλ − µk = 1 ∑ |λi − µi | 2 i∈S (4.1) gilt. Dies wurde in [1, Abschnitt 29] über Poisson-Approximation gezeigt (Lemma 29.5). 4.1 Stationäre Maße via zyklischer Zerlegungen Der kanonische Weg, stationäre Maße und Verteilungen einer DMK M = (Mn )n≥0 zu bestimmen, besteht gemäß Lemma 1.31 in der Lösung des Gleichungssystems π j = ∑i∈S πi pij , j ∈ S , kurz π = πP, was auf eine Analyse der Übergangsmatrix P hinsichtlich des Eigenwerts 1 hinausläuft. Im Folgenden bevorzugen wir aber einen anderen, probabilistischen Zugang gegenüber dieser matrixanalytischen Betrachtungsweise, weil er im Hinblick auf das Langzeitverhalten der Kette zum einen ein besseres Verständnis vermittelt und zum anderen für die späteren Konvergenzbeweise nützlicher ist. Wir betonen jedoch, dass nichtsdestotrotz der kanonische Weg in vielen Beispielen, in denen eine eindeutig bestimmte stationäre Verteilung existiert, für deren explizite Berechnung der sinnvollste ist und daher als Alternative immer in der Hinterhand bleibt. Mit Hilfe der in Abschnitt 3.3 kennengelernten zyklischen Zerlegung einer DMK mittels der Rückkehrzeiten in einen rekurrenten Zustand werden wir nun zeigen, wie sich in kanonischer Weise ein stationäres Maß für M ergibt: Seien dazu i ∈ S rekurrent und σn = σn (i) die zugehörigen Pi -f.s. endlichen sukzessiven Rückkehrzeiten. Setzen wir Zn = (Mσn , ..., Mσn+1 −1 ), n ≥ 0, so bilden diese gemäß Satz 3.16 unter Pi eine unabhängige Folge identisch verteilter Zufallsvariablen, und es folgt wegen M = (Z0 , Z1 , ...) PM i = O Z n Pi Z = (Pi 0 )∞ . n≥0 Die Verteilung der Kette unter Pi ist somit vollständig durch die Verteilung des ersten Zyklus’ Z0 determiniert. Mit anderen Worten: Alle Information über die Verteilung von M steckt bereits in der von Z0 (unter Pi ). Für jeden weiteren Zustand 4.1 Stationäre Maße via zyklischer Zerlegungen 71 j ∈ S mit i ↔ j sind die σn (i) unter P j ebenfalls f.s. endlich (Satz 3.27) und die Z Zn deshalb nach Satz 3.18 weiterhin unabhängig und für n ≥ 1 identisch gemäß Pi 0 verteilt, was Z0 Z0 ∞ PM (4.2) j = P j ⊗ (Pi ) impliziert. Schreiben wir nun (1) mit λ = δ j in der Form ! 1 n lim sup E j 1A (Mk ) − π ∗ (A) = 0, ∑ n→∞ A⊂S n + 1 k=0 (4.3) so wird deutlich, dass es sich um eine gleichmäßige Konvergenz von mittleren relativen Häufigkeiten handelt. Andererseits ist mit Blick auf (4.2) klar, dass die mittlere Anzahl von Aufenthalten in einer Menge A innerhalb eines Zyklus’, also ! Ej σn+1 −1 ∑ 1A (Mk ) k=σn für n ≥ 1 konstant ist, und zwar gleich τ(i)−1 (i) π(A) := Ei ∑ ! 1A (Mk ) . k=0 (4.4) Somit bildet (i) π ∗ (A), definiert durch (i) ∗ π (A) := (i) π(A) µii 1 = Ei Ei τ(i) τ(i)−1 ∑ k=0 ! 1A (Mk ) , (4.5) die in jedem (bis auf den ersten) Zyklus (eventuell ≡ 0) mittlere Anzahl von Aufenthalten in A relativ zur mittleren Zykluslänge. (i) π ∗ (A) ist deshalb auch ein natürlicher Kandidat für den Limes π ∗ (A) in (4.3), der gerade die asymptotische relative Häufigkeit von Aufenthalten über die ganze Zeitachse angibt. Dass (i) π und, sofern i positiv rekurrent ist, (i) π ∗ ein Maß bzw. eine Verteilung auf S definieren, ist offensichtlich. Die Stationarität jedoch, die bei Gültigkeit von (4.3) ja notwendig gelten muss, bedarf einiger Arbeit: Satz 4.1. Gegeben einen rekurrenten Zustand i, bildet das Okkupationsmaß (i) π gemäß (4.4) ein stationäres Maß der DMK M und folglich (i) π ∗ gemäß (4.5) eine stationäre Verteilung, sofern i positiv rekurrent ist. Beweis. Es bezeichne (Gn )n≥0 wieder die zu M gehörende kanonische Filtration. Da i im Folgenden nicht variiert, schreiben wir kurz π für (i) π. Wir zeigen zunächst die σ -Endlichkeit von π, d.h. π j = π({ j}) < ∞ für alle j ∈ S . Da πi = 1, sei gleich j 6= i vorausgesetzt. Offensichtlich gilt dann 72 4 Ergodensätze für positive rekurrente Markov-Ketten πj = ∑ n Pi (σn ( j) < τ(i) < σn+1 ( j)) n≥1 ≤ ∑ n Pi (σn ( j) < τ(i)) n≥1 Mittels der starken Markov-Eigenschaft sowie (3.22) erhalten wir weiter Pi (σn ( j) < τ(i)) = Pi (τ( j) < τ(i), σn ( j) < τ(i)) = Z {τ( j)<τ(i)} P(σn ( j) < τ(i)|Mτ( j) ) dPi = Pi (τ( j) < τ(i)) P j (σn−1 ( j) < τ(i)) = Pi (τ( j) < τ(i)) P j (τ( j) < τ(i))n−1 für alle n ≥ 1. Wegen Pi (σn ( j) < τ(i)) → 0 muss Pi (τ( j) < τ(i)) = 0 oder P j (τ( j) < τ(i)) < 1 sein, was schließlich π j = 0 oder πj ≤ = ∑ n Pi (τ( j) < τ(i)) P j (τ( j) < τ(i))n−1 n≥1 Pi (τ( j) < τ(i)) < ∞ P j (τ( j) ≥ τ(i))2 liefert. Zu zeigen bleibt die Invarianz, d.h. π j = ∑k∈S πk pk j für alle j ∈ S . Unter Beachtung von M0 = Mτ(i) = i Pi -f.s. gilt τ(i) π j = Ei ∑ 1{Mn = j} n=1 ! τ(i)−1 = Ei ∑ n=0 1{Mn+1 = j} ! τ(i)−1 = ∑ Ei k∈S = ∑ n=0 1{Mn =k, Mn+1 = j} ! ∑ ∑ Pi (τ(i) > n, Mn = k, Mn+1 = j) k∈S n≥0 = ∑ ∑ Pi (τ(i) > n, Mn = k)pk j k∈S n≥0 τ(i)−1 = ∑ Ei k∈S = ∑ n=0 1{Mn =k} ! pk j ∑ πk pk j , k∈S wobei in der vorletzten Zeile einmal mehr die starke Markov-Eigenschaft benutzt wurde. t u Satz 4.1 beschert uns also bei Vorliegen mindestens eines (positiv) rekurrenten Zustands i – für eine EMK gemäß Satz 3.29 immer der Fall – automatisch die Exi- 4.1 Stationäre Maße via zyklischer Zerlegungen 73 stenz eines stationären Maßes (einer stationären Verteilung), das außerdem auf die zugehörige Klasse Ci kommunizierender Zustände konzentriert ist, wie das folgende Korollar lehrt: Korollar 4.2. In der Situation von Satz 4.1 gilt ferner π(Cic ) = 0 sowie π j > 0 für alle j ∈ Ci . Beweis. Da i rekurrent ist, gilt Pi (τ(i) < ∞) = 1. Wir hatten mittels Satz 3.27 festgestellt, dass Ci abgeschlossen ist, also nach Erreichen nicht mehr verlassen wird. (n) Dies bedeutet aber fij = 0 für j ∈ Cic und n ≥ 0, d.h. Pi (τ( j) = ∞) = 1. Insgesamt folgt Pi (τ( j) < τ(i)) = 0 und daraus π j = 0 für alle j ∈ Cic . Sei nun j ∈ Ci , also i ↔ j. Dann folgt Pi (τ( j) < τ(i)) > 0, wie wir im Anschluss an (3.22) eingesehen hatten, und somit wie behauptet ! τ(i)−1 π j = Ei ∑ n=0 1{Mn = j} ≥ Ei 1{τ( j)<τ(i)} > 0. t u Eine DMK besitzt somit auf jeder Klasse rekurrenter Zustände mindestens ein stationäres Maß. Wir werden später sehen, dass für rekurrente Zustände i, j derselben Klasse die zugehörigen stationären Maße (i) π bzw. ( j) π bis auf ein skalares Vielfaches gleich sind, was im positiv rekurrenten Fall die folgende interessante Konsequenz hat: Satz 4.3. Sei C eine Klasse positiv rekurrenter Zustände derart, dass die normierten Okkupationsmaße (i) π ∗ für alle i ∈ C übereinstimmen, also (i) π ∗ = π ∗ für alle i ∈ C . Dann folgt 1 µii πi∗ = und (i) π j = (4.6) µii µ jj für alle i, j ∈ C . Beweis. Die erste Identität in (4.6) folgt direkt aus π ∗ = während sich die zweite vermöge der Gleichung π ∗j = ergibt. (i) π µii j = ( j) π µ jj j = (i) π/µ ii und (i) π i = 1, 1 µ jj t u Wir können also festhalten, dass für eine positiv rekurrente DMK mit eindeutiger stationärer Verteilung π ∗ , was sich im Anschluss als generell zutreffend herausstellen wird, stets 74 4 Ergodensätze für positive rekurrente Markov-Ketten πi∗ = 1 µii für alle i ∈ S gilt. Wir beschließen den Abschnitt mit einer interessanten Verallgemeinerung von Satz 4.1. Satz 4.4. Sei M = (Mn )n≥0 eine irreduzible DMK bzgl. einer Filtration (Fn )n≥0 mit Übergangsmatrix P = (pij )i, j∈S . Sei ferner τ eine (Fn )n≥0 -Zeit, für die ein τ λ ∈ P(S ) existiert derart, dass Pλ (τ < ∞) = 1 und PM λ = λ . Dann ist das Präτ-Okkupationsmaß ! ξi := Eλ τ−1 ∑ 1{Mn =i} n=0 , i∈S, stationär für M, sofern es mindestens ein j ∈ S gibt mit 0 < ξ j < ∞. M τ 0 Beweis. Unter Benutzung von PM λ = λ = Pλ ergibt sich wie im Beweis von Satz (i) 4.1 für π ! ! R> 3 ξ j = Eλ τ ∑ 1{Mn = j} n=1 τ = ∑ Eλ ∑ 1{Mn =i} i∈S n=1 pij = ∑ ξi pij i∈S was ξ 6= 0 und 0 ≤ ξi < ∞ für alle i ∈ S beweist. Da die Rechnung aber auch für jedes andere j ∈ S gilt, folgt π = πP. t u 4.2 Die Kopplungsmethode Die Methode, mit der wir den Ergodensatz für EMK beweisen werden, basiert auf einer wunderbaren Idee von W OLFGANG D OEBLIN (Sohn des bekannten Schriftstellers Alfred Döblin), publiziert im Jahre 1938 in einer Arbeit mit dem Titel “Exposé de la theorie des chaines simples constantes de Markov à un nombre fini d’états”. Doeblins früher Tod1 und die schwere Zugänglichkeit der Zeitschrift, in der die genannte Arbeit erschien, waren vermutlich die Ursache, dass seine Idee der Kopplung von Markov-Ketten mehr als 30 Jahre unbeachtet blieb und erst in den siebziger Jahren durch Arbeiten u.a. von P ITMAN [18], G RIFFEATH [10, 11] und 1 Er beging am 26. Juni 1940, vier Tage vor der Kapitulation Frankreichs, im Alter von 25 Jahren Selbstmord, nachdem er seine von Deutschen umzingelte frz. Truppeneinheit verlassen hatte und nur noch die Alternativen sah, zu sterben oder sich den Deutschen auszuliefern [+ L INDVALL [15] für eine ausführlichere Biographie Wolfgang Doeblins]. 4.2 Die Kopplungsmethode 75 L INDVALL [14] eine Renaissance erfuhr, diesmal allerdings mit nachhaltiger Wirkung bis zum heutigen Tag. Die Kopplungsmethode als ureigenes Instrument der WTheorie hat sich nämlich mittlerweile weit über die Theorie der Markov-Ketten hinaus als äußerst wirkungsvolles und elegantes Instrument erwiesen, Grenzwertsätze für stochastische Prozesse zu beweisen, die vorher mit anderen, meist analytischen Methoden weitaus schwerer, wenn überhaupt erzielt werden konnten. Die Monographien von L INDVALL [16] und T HORISSON [21] geben einen Einblick in diese Entwicklungen. Das Faszinierende an der Methode ist ihre Anschaulichkeit, die selbst in äußerst komplexen Modellen immer erkennbar bleibt. Im Folgenden stellen wir kurz die für unsere Zwecke notwendigen Grundlagen bereit: Q und Q0 seien zwei W-Maße auf einem messbaren Raum (E, E). Ein Paar (X, X 0 ) von Zufallsvariablen auf demselben W-Raum (Ω , A, P) mit Werten in (E, E) heißt Kopplung von (Q, Q0 ), wenn PX = Q und 0 PX = Q0 . Die Nützlichkeit der Kopplung zum Vergleich von W-Maßen manifestiert sich in der sogenannten Kopplungsungleichung kQ − Q0 k ≤ P(X 6= X 0 ), (4.7) die sich sofort aus der Abschätzung kQ − Q0 k = sup |P(X ∈ A) − P(X 0 ∈ A)| A∈E = sup |P(X ∈ A, X = X 0 ) + P(X ∈ A, X 6= X 0 ) A∈E − P(X 0 ∈ A, X = X 0 ) − P(X 0 ∈ A, X 6= X 0 )| = sup |P(X ∈ A, X 6= X 0 ) − P(X 0 ∈ A, X 6= X 0 )| A∈E ≤ P(X 6= X 0 ) ergibt. Der Variationsabstand zwischen Q und Q0 lässt sich also durch die wesentlich handlichere Wahrscheinlichkeit P(X 6= X 0 ) abschätzen und ist dementsprechend klein, wenn die gekoppelten Variablen X und X 0 mit nur kleiner Wahrscheinlichkeit verschieden sind. Das Problem besteht nun natürlich darin, solche möglichst stark gekoppelten Variablen zu konstruieren, was allerdings vom Einzelfall abhängig ist. Nach dieser sehr allgemeinen Kurzeinführung richten wir unseren Blick auf die folgende, für unsere Zwecke relevante Situation: Gegeben einen messbaren Raum (S , S), seien Q und Q0 W-Maße auf (S ∞ , S∞ ), üblicherweise Verteilungen irgendwelcher Folgen Y = (Yn )n≥0 und Y 0 = (Yn0 )n≥0 von Zufallsvariablen mit Wertebereich (S , S). Im weiteren Verlauf werden Q und Q0 die Verteilungen derselben DMK unter verschiedenen Anfangsverteilungen sein. Die eindimensionalen Randverteilungen (Verteilungen der Yn bzw. Yn0 ) bezeichnen wir mit Qn bzw. Q0n , n ≥ 0. Nehmen wir an, unser Ziel ist der Vergleich von Qn und Q0n für n → ∞, etwa der Nachweis von kQn − Q0n k → 0. In diesem Fall wird man i.A. nicht für jedes (Qn , Q0n ) 76 4 Ergodensätze für positive rekurrente Markov-Ketten eine Kopplung konstruieren, sondern vielmehr für (Q, Q0 ), und zwar in folgender Weise: Seien X = (Xn )n≥0 und X 0 = (Xn0 )n≥0 Folgen von Zufallsvariablen auf demselben W-Raum (Ω , A, P) (dies muss für Y und Y 0 keineswegs gelten) derart, dass (X, X 0 ) eine Kopplung von (Q, Q0 ) bildet. Dann heißt T := inf{n ≥ 0 : Xk = Xk0 für alle k ≥ n} (4.8) die zu (X, X 0 ) gehörende Kopplungszeit, und es gilt unter Verwendung von (4.7) die ebenfalls Kopplungsungleichung genannte Abschätzung kQn − Q0n k ≤ P(Xn 6= Xn0 ) ≤ P(T > n). (4.9) Aus P(T < ∞) = 1 folgt offenbar kQn − Q0n k → 0, so dass das Problem nun darin besteht, die Prozesse X und X 0 so zu konstruieren, dass sie sich f.s. irgendwann treffen und danach übereinstimmen. Es bleibt erneut offen, wie dies bewerkstelligt werden kann, aber wir werden bald sehen, dass positiv rekurrente DMK hierfür ideal geeignete Objekte bilden. 4.3 Der Ergodensatz für aperiodische, positiv rekurrente EMK Wir kommen nun zu der zentralen Frage, wann eine positiv rekurrente EMK M in Totalvariation konvergiert, d.h., wann n lim kPM λ − πk = lim sup |Pλ (Mn ∈ A) − π(A)| = 0 n→∞ n→∞ A⊂S (4.10) für alle λ ∈ P(S ) gilt, wobei π die eindeutig bestimmte stationäre Verteilung von M bezeichnet. Die folgende einfache Überlegung zeigt, dass dies nur im aperiodischen Fall möglich ist. Hat M nämlich die Periode d ≥ 2, so folgt unter Hinweis auf πi > 0 für alle i ∈ S (+ Korollar 4.2) (nd+r) lim Pi (Mnd+r = i) = lim pii n→∞ n→∞ = 0 6= πi für jedes 0 < r < d. Wir können uns somit bei der Untersuchung der Gültigkeit von (4.10) auf die aperiodischen, positiv rekurrenten DMK beschränken. Der nachfolgende Satz, der in der Literatur oft Ergodensatz für positiv rekurrente EMK oder einfach Ergodensatz für EMK genannt wird, darf als eine Perle der Theorie angesehen werden und beinhaltet das eingangs angekündigte Konvergenzresultat für aperiodische, positiv rekurrente EMK. Seine Erweiterung auf den Fall, wenn S abzählbar unendlich ist, geben wir in Abschnitt 4.5. Satz 4.5. (Ergodensatz für EMK) Sei M = (Mn )n≥0 eine aperiodische, positiv rekurrente EMK mit Übergangsmatrix P = (pij )i, j∈S . Dann besitzt M eine eindeutig 4.3 Der Ergodensatz für aperiodische, positiv rekurrente EMK 77 bestimmte stationäre Verteilung π, nämlich π = (µii−1 )i∈S , und es gilt (4.10), also n limn→∞ kPM λ − πk = 0 für jede Anfangsverteilung λ sowie insbesondere (n) lim p n→∞ ij = πj = 1 µ jj (4.11) für alle i, j ∈ S . Beweis. Sei π irgendeine stationäre Verteilung von M, etwa das normierte Prä-τ(i)Okkupationsmaß π =(i) π ∗ für ein beliebig gewähltes i ∈ S . Sofern wir (4.10) für alle λ ∈ P(S ) zeigen können, folgt leicht die Eindeutigkeit von π vermöge n→∞ n (4.12) kπ 0 − πk = PM π 0 − π −→ 0 für jede andere stationäre Verteilung π 0 . Gemäß Satz 4.3 erhalten wir dann außerdem π = (µii−1 )i∈S . Folglich können wir uns nun dem Kopplungsbeweis der Konvergenzaussage (4.10) zuwenden. Sei M ⊗ M 0 := (Mn , Mn0 )n≥0 eine EMK mit Zustandsraum S 2 , kanonischer Filtration (Fn )n≥0 und Übergangswahrscheinlichkeiten p(i1 ,i2 ),( j1 , j2 ) = pi1 j1 pi2 j2 , für die wir ein Standardmodell (Ω , A, M ⊗ M 0 , (Pν )ν∈P(S 2 ) ) zugrundelegen. Im Fall ν = λ ⊗ µ schreiben wir Pλ ,µ für Pλ ⊗µ , im Fall ν = δ(i, j) = δi ⊗ δ j entsprechend Pi, j für Pδ(i, j) . Elementare Rechnungen zeigen, dass M = (Mn )n≥0 und M 0 = (Mn0 )n≥0 jeweils EMK bezüglich (Fn )n≥0 mit Übergangsmatrix P bilden, die unter jedem Pν mit ν = λ ⊗ µ stochastisch unabhängig sind. Da unter Pλ ,µ Wahrscheinlichkeiten von Ereignissen, die nur die Kette M bzw. M 0 betreffen, nicht von µ bzw. λ abhängen, schreiben wir in einem solchen Fall zur Kennzeichnung Pλ ,• bzw. P•,µ . Schließlich notieren wir noch, dass 0 0 M M M PM λ ,• = Pλ ,µ = Pµ,λ = P•,λ (4.13) für alle λ , µ ∈ P(S ) gilt. (n) Da M aperiodisch ist, gilt nach Lemma 3.14 p jj > 0 für alle j ∈ S und n ≥ n0 ( j) (m) geeignet. i ↔ j impliziert ferner pij > 0 für ein m ≥ 1, so dass auch (n) pij (m) (n−m) ≥ pij p jj > 0 78 4 Ergodensätze für positive rekurrente Markov-Ketten für alle hinreichend großen n. Dies liefert schließlich, dass auch M ⊗ M 0 irreduzibel und aperiodisch ist, denn, gegeben beliebige i1 , i2 , j1 , j2 ∈ S , folgt nun (n) 1 ,i2 ),( j1 , j2 ) p(i (n) (n) = pi1 j1 pi2 j2 > 0 für alle hinreichend großen n. Aus Satz 3.29 folgt schließlich die positive Rekurrenz von M ⊗ M 0 2 . Damit sind alle Vorbereitungen für die Kopplung getroffen. Sei T = inf{n ≥ 0 : Mn = Mn0 } = inf{n ≥ 0 : (Mn , Mn0 ) ∈ {(i, i) : i ∈ S }}. Aus der Rekurrenz aller (i, i), i ∈ S , folgt Pν (T < ∞) = 1 für alle ν ∈ P(S 2 ). b = (M bn )n≥0 durch Wir definieren den zugehörigen Kopplungsprozess M ( 0 bn = Mn , falls n ≤ T . (4.14) M Mn , falls n ≥ T b folgt demnach dem Pfad der Kette M 0 , bis diese erstmals gemeinsam mit M denM selben Zustand erreicht, und wechselt dann auf den Pfad von M. Beachte, dass T eine Stopzeit für M ⊗ M 0 bildet. Der Leser sollte sich an dieser Stelle zunächst anb und M 0 unter jedem Pν dieselbe Verteilung besitschaulich klar machen, dass M zen. Aufgrund der starken Markov-Eigenschaft hängen nämlich die Post-T -Folgen M (T ) = (Mn )n≥T und M 0 (T ) von der Vergangenheit nur über MT bzw. MT0 ab und b macht es daher keinen stimmen folglich überein. Für die Verteilung der Kette M Unterschied, welchem Pfad sie nach T folgt. Hier ist die formale Begründung: Für alle ν ∈ P(S 2 ) und A0 , A1 , ... ⊂ S gilt unter Hinweis auf (4.13) bk ∈ Ak , k ≥ 0) = Pν (M = = = = = = Z ∑ Pν (T = n, M00 ∈ A0 , ..., Mn0 ∈ An , Mn+1 ∈ An+1 , ...) n≥0 P(Mn+1 ∈ An+1 , ...|Fn ) dPν 0 0 0 n≥0 i∈An {T =n,M0 ∈A0 ,...,Mn−1 ∈An−1 ,Mn =Mn =i} 0 Pν (T = n, M00 ∈ A0 , ..., Mn−1 ∈ An−1 , Mn = Mn0 = i) Pi,• (M1 ∈ An+1 , ...) n≥0 i∈An 0 Pν (T = n, M00 ∈ A0 , ..., Mn−1 ∈ An−1 , Mn0 = i) P•,i (M10 ∈ An+1 , ...) n≥0 i∈An ∑∑ ∑∑ ∑∑ ∑∑ Z 0 P(Mn+1 ∈ An+1 , ...|Fn ) dPν 0 0 0 n≥0 i∈An {T =n,M0 ∈A0 ,...,Mn−1 ∈An−1 ,Mn =i} 0 Pν (T = n, M00 ∈ A0 , ..., Mn0 ∈ An , Mn+1 n≥0 Pν (Mk0 ∈ Ak , k ≥ 0). ∑ ∈ An+1 , ...) 2 Dies ist übrigens die einzige Stelle, an der wir die Endlichkeit von S benötigen, ohne die Satz 3.29 nicht anwendbar wäre. 4.3 Der Ergodensatz für aperiodische, positiv rekurrente EMK 80 79 Kapitel II. Diskrete Markov-Ketten 30 M’ 20 10 100 200 T 300 400 500 -10 -20 M Bild 11.1. Realisierungen von M und M " mit Kopplungszeit T für (M, M̂ ). Abb. 4.1 Realisierungen von M und M 0 mit Kopplungszeit T für (M, M 0 ). alle n ≥ 0, und es folgt vermöge der Kopplungsungleichung (11.4) R ESNICK (11.8) lungsidee: M̂ M gibt M [20, S. 130]) der Kopp− ξ ∗ 7 folgende = 7Pλ,ξ −amüsante Pλ,ξ 7 ≤ Veranschaulichung Pλ,ξ (T > n), 7Pλ,• n n ∗ n ∗ ∗ wegen Pλ,ξ∗ (T < ∞) = 1 also (11.1). ♦ Stellen wir uns vor, zwei Frösche, Sam und Suzie, hüpfen von Stein zu Stein, wobei M die Sprünge von Sam und M 0 zunächst die Sprünge von Suzie beschreibt. Allerdings gibt es (n) (n) (n) und M̂Stein für alle nso ≥hüpft T übereinstimmen und PξM = PξM die Post-n-Prozesse ∗ ∗ einen Da Haken. Wenn beide auf M demselben landen, Suzie auf Sams Rücken und von diesem an sich (der ohne Kopplungszeit) mit ihmdiegemeinsam von Stein zuvon Stein. Da für alle n ≥ Zeitpunkt 0 gilt, ergibt Zusatzargumente folgende Verschärfung (11.1): jedoch beide gemäß derselben Übergangsmatrix springen, ändert es nichts an der Verteilung von Suzies Wanderung, ob sie sich nun auf Sams Rücken weiter bewegt oder davon 11.2. Korollar. In der0 Situation von Satz 11.1 gilt ferner unabhängig gemäß der Kette M mit gelegentlichen Treffen auf demselben Stein. M (n) b mitn→∞ − Pξ 7 = (11.9) lim λ Gegeben das Paar (M, M) den7PEigenschaften M ∗ 0 bn für alle n ≥λ.T , T die Kopplungszeit, (1) für M M n= jede Anfangsverteilung d b = M 0 unter jedem Pλ ,µ (sogar unter jedem Pν ), (2) M Beweis: Es genügt der Hinweis, daß anstelle von (11.8) auch b b unter jedem Pλ ,π stationär, insbesondere PMn = wählen wir nun µ = π. Dann ist M λ ,π M̂ M̂ M M − Pvermöge − Pλ,ξ 7 ≤ Pλ,ξ (T > n) (11.10) λ,ξ 7 = 7P λ,• folgt λ,ξ Kopplungsungleichung π für alle n ≥ 0, und7Pes der (4.9) (n) ∗ $ (n) (n) ∗ ∗ M̂ M b für alle n ≥ 0 gilt, denn Mn PξM MnPλ,ξ ∗ ,• = Pλ,ξ ∗ = ∗ . Mn ∗ kPλ ,• − πk = kPλ ,π − Pλ ,π k ≤ Pλ ,π (T > n), (4.15)♦ weitere zu (11.1) bzw. (11.10) äquivalente Aussagen hinsichtlich sogenannter Funkwegen PAls λ ,π (T < ∞) = 1 also (4.10). tionale Eλ f (Mn ) bzw. Eλ f (M (n) ) = Eλ f (Mn , Mn+1 , ...) der Kette können wir festhalten (vgl. Bemerkung 10.5(b)): (n) M (n) b (n) Da die Post-n-Prozesse M und M für alle n ≥ T übereinstimmen und Pπ = PM π für alle n ≥ 0 gilt, ergibt sich ohne Zusatzargumente die folgende Verschärfung von (4.10): 80 4 Ergodensätze für positive rekurrente Markov-Ketten Korollar 4.6. In der Situation von Satz 4.5 gilt ferner lim kPM λ n→∞ (n) − PM πk = 0 für jede Anfangsverteilung λ . Beweis. Es genügt der Hinweis, dass anstelle von (4.15) auch b (n) (n) b (n) M M M kPM λ ,• − Pλ ,π k = kPλ ,π − Pλ ,π k ≤ Pλ ,π (T > n) 0 b M M für alle n ≥ 0 gilt, denn PM π,• = Pλ ,π = Pλ ,π . (4.16) t u Als weitere zu (4.10) bzw. (4.16) äquivalente Aussagen hinsichtlich sogenannter Funktionale Eλ f (Mn ) bzw. Eλ f (M (n) ) = Eλ f (Mn , Mn+1 , ...) der Kette können wir festhalten: Korollar 4.7. In der Situation von Satz 4.5 gelten ferner Z f (s) π(ds) = 0, lim sup Eλ f (Mn ) − n→∞ f ∈bS ,k f k ≤1 ∞ lim sup n→∞ f ∈bS ∞ ,k f k ≤1 ∞ für jede Anfangsverteilung λ . S Eλ f (M (n) ) − Eπ f (M) = 0 Zum Abschluss dieses Teilabschnitts noch ein wenig Terminologie: Eine aperiodische, positiv rekurrente EMK (und später auch DMK) nennt man aufgrund der soeben gezeigten Resultate kurz ergodisch, wobei dasselbe Attribut auch für n Zustände verwendet wird. Die gleichmäßige Konvergenz der PM λ gegen die stationäre Verteilung bezeichnet man als starke Ergodizität, dieselbe im Zeitmittel dagegen als schwache Ergodizität. Mit Satz 4.5 haben wir also gezeigt, dass eine ergodische EMK stets stark ergodisch ist. Um dieses Ergebnis auf ergodische MK mit abzählbarem Zustandsraum auszudehnen, bedienen wir uns der sogenannten Besuchskette (engl. “hit chain”), welcher der folgende kurze Abschnitt gewidmet ist und die auch im null-rekurrenten Fall von Nutzen sein wird (+ Abschnitt 5.1). 4.4 Die Besuchskette Nicht zuletzt zum besseren Verständnis des Verhaltens null-rekurrenter DMK stellen wir als nächstes die sogenannte Besuchskette ein. Der anschließende Satz be- 4.4 Die Besuchskette 81 sagt in Kürze, dass jede DMK nach Ausdünnung hinsichtlich ihrer Aufenthalte außerhalb einer beliebigen Rekurrenzmenge R des Zustandsraums immer noch eine zeitlich homogene DMK bildet. Dabei heißt R Rekurrenzmenge (für M), wenn Pi (τ(R) < ∞) = 1 für alle i ∈ R. Sie kann also durchaus transiente Zustände enthalten, ja sogar nur aus transienten Zuständen bestehen (R = S ist schließlich immer rekurrent) und sollte daher nicht mit einer Rekurrenzklasse oder einer Menge rekurrenter Zustände verwechselt werden! Satz 4.8. Sei M = (Mn )n≥0 eine DMK mit kanonischer Filtration (Gn )n≥0 und R eine Rekurrenzmenge. Bezeichnet (σn (R))n≥1 die zugehörige Folge der sukzessiven Eintritte in R, d.h. σn (R) := inf{k > σn−1 (R) : Mk ∈ R}, n ≥ 1, [σ0 (R) := 0] und MnR := Mσn (R) , so bildet die Besuchskette M R = (MnR )n≥0 unter jedem Pλ mit λ (R c ) = 0 eine DMK bezüglich (Gσn (R) )n≥0 mit Zustandsraum R, die genau dann irreduzibel ist, wenn alle Zustände in R miteinander kommunizieren. Besitzt M einen rekurrenten Zustand i ∈ R, so bildet (i) π R = (i) π(· ∩ R), also die Einschränkung von (i) π auf R, ein stationäres Maß für M R . Im Englischen nennt man M R auch die zu R gehörende “hit chain”. Beweis. Zur Abkürzung schreiben wir σn anstelle von σn (R) und setzen wieder τn = σn − σn−1 für n ≥ 1. Aus der Rekurrenz von R folgt die f.s. Endlichkeit der σn unter jedem λ ∈ P(R). Dass M R bezüglich (Gσn )n≥0 adaptiert ist, bedarf keines Beweises. Die starke Markov-Eigenschaft für M impliziert dann sofort die gewöhnliche Markov-Eigenschaft für M R sowie für alle i, j ∈ R und n ≥ 0 R = j|MnR = i) = P(Mσn+1 = j|Mσn = i) P(Mn+1 = P(Mσn +τn+1 = j|Mσn = i) = Pi (Mτ(R) = j). M R hat also die Übergangsmatrix PR = (pR ij )i, j∈R mit pR ij = Pi (Mτ(R) = j) = ∑ Pi (Mk = j, Ml 6∈ R, 1 ≤ l < k). k≥1 Die Irreduzibilitätsbehauptung kann der Leser leicht selbst verifizieren, so dass wir uns gleich der letzten Behauptung zuwenden und annehmen, dass R einen rekurrenten Zustand i enthält. Sei τ R ( j) = inf{n ≥ 1 : MnR = j} für j ∈ R. Dann definiert (i) R π τ R (i)−1 := Ei ( ∑ n=0 1{MnR ∈·} ), i ∈ R, gemäß Satz 4.1 ein stationäres Maß für M R . Außerdem gilt aber 82 4 Ergodensätze für positive rekurrente Markov-Ketten τ R (i)−1 τ(i)−1 ∑ n=0 1{Mn = j} = ∑ n=0 1{MnR = j} für alle j ∈ R, denn M und M R unterscheiden sich bis zum ersten Erreichen von i höchstens durch zusätzliche Aufenthalte von M in R c . Durch Übergang zum Erwartungswert unter Pi folgt (i) π = (i) π R auf R, also das Gewünschte. t u Für endliches R erhalten wir direkt das folgende Korollar. Korollar 4.9. Ist R in der Situation von Satz 4.8 eine endliche Rekurrenzklasse und π irgendein stationäres Maß für M, das auf R nicht verschwindet, so bildet die Besuchskette M R eine positiv rekurrente EMK und π(· ∩ R)/π(R) ihre eindeutig bestimmte stationäre Verteilung. Mit anderen Worten, π(· ∩ R)/π(R) hängt von der speziellen Wahl von π gar nicht ab, was insbesondere (i) π(· ∩ R) (i) π(R) = ( j) π(· ∩ R) ( j) π(R) für alle i, j ∈ R garantiert. Anmerkung 4.10. Unter Hinweis auf Satz 4.4 können wir die folgende Randnotiz festhalten: Bezeichnet π in der Situation von Satz 4.8 ein stationäres Maß von M mit π(ℜ) > 0, so ist auch das Prä-τ(R)-Okkupationsmaß ! τ(ℜ)−1 ξ := Eπ(·∩ℜ) ∑ n=0 1{Mn ∈·} stationär für M. 4.5 Der Ergodensatz im Fall |S | = ∞ Im Folgenden wollen wir die Ergebnisse aus Abschnitt 4.3, wie angekündigt, auf den Fall, wenn S abzählbar unendlich ist, ausdehnen. Dabei lautet die gute Nachricht, dass dies ohne irgendwelche Einschränkungen möglich ist. Satz 4.11. (Ergodensatz für DMK) Sei M = (Mn )n≥0 eine aperiodische, positiv rekurrente DMK mit Übergangsmatrix P = (pij )i, j∈S . Dann besitzt M eine eindeutig bestimmte stationäre Verteilung π, nämlich π = (µii−1 )i∈S , und es gelten weiterhin die Konvergenzaussagen aus Satz 4.5, insbesondere (4.11) für alle i, j ∈ S (gleichmäßig in j), sowie die Korollare 4.6 und 4.7, 4.5 Der Ergodensatz im Fall |S | = ∞ 83 Beweis. Seien o.E. S = N, Sm = {1, ..., m} für m ≥ 1 und π, π 0 zwei stationäre Verteilungen für M. Dann ist die Besuchskette M Sm für jedes m eine positiv rekurrente EMK mit eindeutig bestimmter stationärer Verteilung π (m) , wobei gemäß Korollar 4.9 π 0 (· ∩ Sm ) π(· ∩ Sm ) = π (m) = π(Sm ) π 0 (Sm ) gilt. Ein Grenzübergang m → ∞ unter Beachtung von π(Sm ) → 1 und π 0 (Sm ) → 1 liefert nun π = π 0 . Die stationäre Verteilung von M is folglich eindeutig und daher durch π = (µii−1 )i∈S gegeben. Der Leser beachte, dass dieses Argument auch im periodischen Fall Gültigkeit behält. Für den Kopplungsbeweis der Konvergenzaussage (4.10) können wir auf Satz 4.5 verweisen, sofern wir noch zeigen, dass in den dortigen Bezeichnungen die bivariate Kette M ⊗ M 0 – mit der offensichtlich stationären Verteilung π ⊗ π – rekurrent und damit die Kopplungszeit f.s. endlich ist. Aufgrund der Irreduzibilität, die weiterhin erfüllt ist (+ Fußnote im dortigen Beweis), reicht es hierfür, die Rekurrenz von (1, 1) nachzuweisen, und für diese wiederum unter Hinweis auf Satz 3.22 ! (n) 2 E1,1 ∑ 1{Mn =1,Mn0 =1} = ∑ p11 = ∞. (4.17) n≥1 n≥1 Mit τ := inf{n ≥ 1 : Mn = Mn0 = 1} erhalten wir aber unter Benutzung des Lemmas von Fatou 0 < π12 = lim Pπ,π (Mn = 1, Mn0 = 1) = lim n ∑ Pπ (τ = k) n→∞ n→∞ ≤ Pπ (τ < ∞) lim sup n→∞ (n) (n) 2 p11 , k=1 (n−k) 2 p11 folglich lim supn→∞ p11 > 0 sowie auch (4.17). (4.18) t u Wir sind nun in der Lage, das folgende fundamentale Ergebnis über die Existenz und Eindeutigkeit einer stationären Verteilung zu zeigen. Satz 4.12. Sei M eine DMK und R die Menge ihrer positiv rekurrenten Zustände. Dann gilt: (a) (b) M besitzt genau dann eine stationäre Verteilung π, wenn R 6= 0. / π ist in diesem Fall genau dann eindeutig, wenn R eine Klasse bildet. Beweis. Sei o.E. S = N oder = {1, ..., N} für ein N ∈ N und Sm = {1, ..., m} ∩ S für m ∈ N. (a) Falls R 6= 0, / so definiert µii−1 (i) π gemäß Satz 4.1 für jedes i ∈ R eine stationäre Verteilung von M. Besitzt umgekehrt M eine stationäre Verteilung π, wobei o.E. π1 > 0 gelte, so folgt in Analogie zu (4.18) 84 4 Ergodensätze für positive rekurrente Markov-Ketten (n) 0 < π1 = lim Pπ (Mn = 1) ≤ Pπ (τ(1) < ∞) lim sup p11 , n→∞ n→∞ (n) was ∑n≥1 p11 = ∞ und somit die Rekurrenz von 1 unter Hinweis auf Satz 3.22 zeigt. Als Konsequenz ist das Okkupationsmaß (1) π gemäß Satz 4.1 ebenfalls stationär für M, verschwindet außerhalb von C1 und stimmt nach Normierung vermöge Korollar 4.9 auf jedem Sm ∩ C1 mit π überein, genauer π1 = π(Sm ∩ C1 ) (1) π 1 (1) π(S ∩ C ) m 1 = 1 (1) π(S ∩ C ) m 1 für alle m ≥ 1. Es folgt schließlich per Grenzübergang m → ∞ 0 < π1 = π(C1 ) 1 (1) π(C ) 1 = 1 , µ11 also µ11 < ∞, was die positive Rekurrenz des Zustands 1 beweist, also R 6= 0. / (b) überlassen wir dem Leser zur Übung, geben aber den Hinweis, dass der Beweis von Teil (a) bereits π(R c ) = 0 gezeigt hat. t u Die nachfolgende Erweiterung von Satz 4.11, die zusätzlich eine Klasse transienter Zustände zulässt, von der aus die Kette f.s. irgendwann in einen rekurrenten Zustand eintritt, kann der Leser ebenfalls leicht selbst verifizieren. Satz 4.13. Sei M = (Mn )n≥0 eine DMK mit Zustandsraum S , der in eine Menge (nicht notwendig Klasse) T transienter und eine Klasse R aperiodischer, positiv rekurrenter Zustände zerfällt, wobei ferner Pi (τ(R) < ∞) = 1 für alle i ∈ T . Dann gelten weiterhin die Aussagen von Satz 4.5, Korollar 4.6 und Korollar 4.7 sowie insbesondere π = (µii−1 )i∈S , sofern man wie üblich ∞−1 := 0 vereinbart, was πi = 0 für alle i ∈ T bedeutet. 4.6 Der periodische Fall Im Folgenden betrachten wir eine d-periodische DMK M = (Mn )n≥0 , d ≥ 2, und gehen der Frage nach, in welcher Form der Ergodensatz 4.5 in dieser Situation Gültigkeit behält. Zunächst notieren wir, dass M als irreduzible Kette unter Hinweis auf Satz 3.29 weiterhin positiv rekurrent ist. Satz 4.14. Gegeben eine d-periodische DMK M = (Mn )n≥0 , existiert eine Zerlegung S = ∑d−1 r=0 Sr des Zustandsraums in paarweise disjunkte, nichtleere Teilmengen S0 , ..., Sd−1 , eindeutig bis auf zyklische Vertauschung, so dass 4.6 Der periodische Fall 85 Pi (M1 ∈ Sr+1 ) = 1 für alle i ∈ Sr und 0 ≤ r < d, wobei Sd = S0 . Die Sr heißen zyklische Klassen, weil sie von M in zyklischer Weise durchlaufen werden (... → S0 → ... → Sd−1 → Sd = S0 → S1 → ...). Beweis. Wähle irgendein i0 ∈ S und setze o n (nd+r) Sr := j ∈ S : pi0 j > 0 für ein n ∈ N0 sowie Snd+r = Sr für alle 0 ≤ r < d und n ≥ 1. Sr 6= 0/ für alle r ist ebenso wie S0 ∪ ...∪Sd−1 = S offensichtlich, letzteres wegen der Irreduzibilität von M. Sei nun j ∈ (md+q) Sq ∩ Sr angenommen und o.E. q > r. Dann existieren m, n ≥ 0, so dass pi0 j >0 (nd+r) und pi0 j (k) (md+q+k) > 0. Wähle ein k ≥ 1 mit p ji0 > 0. Es folgt pi0 i0 (nd+r+k) pi0 i0 (md+q) (k) p ji0 ≥ pi0 j >0 und analog > 0. md +q+k und nd +r +k müssen folglich beide Vielfache von d sein, was q − r ∈ dN0 und dann Sq = Sr impliziert. S0 , ..., Sd−1 sind also paarweise disjunkt. Zum Nachweis von Pi (M1 ∈ Sr+1 ) = 1 für i ∈ Sr notieren wir zuerst, dass aus i ∈ Sr offensichtlich { j ∈ S : pij > 0} ⊂ Sr+1 folgt. Wir erhalten deshalb wegen 1 = ∑ j:pij >0 pij ≤ ∑ j∈Sr+1 pij = Pi (M1 ∈ Sr+1 ) das Gewünschte. Wir notieren, dass natürlich analog Pi (Mn ∈ Sr+n ) = 1 für alle 0 ≤ r < d und n ≥ 2 folgt. 0 Gegeben irgendeine weitere zyklische Zerlegung S00 , ..., Sd−1 des Zustands0 0 raums, wobei wiederum Snd+r = Sr für n ≥ 1 und 0 ≤ r < d gelte, sei 0 ≤ q < d derart gewählt, dass i0 ∈ S0 ∩ Sq0 . Für jedes j ∈ Sr , 0 < r < d, existiert dann ein (nd+r) 0 , wegen q + r 6≡ q mod d also n ≥ 1, so dass pi0 j > 0. Damit folgt aber j ∈ Sq+r 0 0 j 6∈ Sq , was Sr ∩ Sq = 0/ für alle 0 < r < d zeigt, d.h. S0 = Sq0 . Letzteres ist aber 0 gleichbedeutend mit Sr = Sq+r für alle 0 ≤ r < d. t u Das Verhalten periodischer DMK beschreibt nun der folgende Satz. Satz 4.15. Sei M eine d-periodische, positiv rekurrente DMK M mit zyklischer Zerlegung S0 , ..., Sd−1 des Zustandsraums (d ≥ 2). Dann gilt: (a) (b) Das d-Skelett (Mnd )n≥0 bildet auf jeder zyklischen Klasse Sr , 0 ≤ r < d, eine ergodische DMK mit eindeutiger stationärer Verteilung π (r) . M besitzt die eindeutig bestimmte stationäre Verteilung π = 1 d (r) ∑ π = µii−1 i∈S , d k=1 86 (c) 4 Ergodensätze für positive rekurrente Markov-Ketten 1 folglich π (r) = d π(·∩Sr ) und P π (Mn ∈ Sr ) = d für alle 0 ≤ r < d und n ≥ 0. 1 n Mk Zeitmittelkonvergenz: limn→∞ n+1 ∑k=0 Pλ − π für alle λ ∈ P(S ), insbesondere 1 (n) C- lim pij = π j = (4.19) n→∞ µ jj für alle i, j ∈ S (gleichmäßig in j). Im d-periodischen Fall besitzt somit jede zyklische Klasse unter der weiterhin eindeutigen stationären Verteilung dieselbe Wahrscheinlichkeit 1/d, und M verhält sich bei Einschränkung der Zeitachse auf Vielfache von d, d.h. bei Betrachtung des d-Skeletts (Mnd )n≥0 , sowie einer auf nur eine zyklische Klasse konzentrierten Anfangsverteilung wie eine ergodische DMK, auf die die Ergebisse des vorherigen Teilabschnitts hinsichtlich ihres Langzeitverhaltens angewendet werden können. Darüber hinaus konvergiert M immer noch im Zeitmittel gegen π. Beweis. (a) ergibt sich leicht aus der Definition der zyklischen Klassen sowie dem Ergodensatz 4.5, was die Eindeutigkeit von π (r) betrifft. M Für Teil (c) setzen wir λ (k) := Pλ k für k = 0, ..., d − 1. Dann folgt 1 m−1 d−1 1 n Mkd+r Mk Pλ − π = lim Pλ − π lim ∑ ∑ ∑ m→∞ md n→∞ n + 1 k=0 k=0 r=0 ! 1 d−1 m−1 Mkd+r (r) = lim Pλ −π ∑ ∑ m→∞ md r=0 k=0 1 d−1 m−1 Mkd ≤ lim ∑ ∑ Pλ (r) − π (r) = 0, m→∞ md r=0 k=0 und daraus mittels eines ähnlichen Arguments wie in (4.12) auch die Eindeutigkeit von π sowie anschließend π = (µii−1 )i∈S unter Hinweis auf Satz 4.3. Die übrigen Behauptungen in Teil (b) kann der Leser leicht selbst nachprüfen. t u 4.7 Pfadweise Ergodizität Aus statistischer Sicht stellt sich die Frage, ob die Übergangswahrscheinlichkeiten pij einer positiv rekurrenten DMK mittels der kanonischen empirischen Schätzer pbij (n) := ∑nk=0 1{Mk =i,Mk+1 = j} ∑nk=0 1{Mk =i} asymptotisch konsistent geschätzt werden können, ob also 4.7 Pfadweise Ergodizität 87 lim pbij (n) = pij n→∞ Pλ -f.s. für alle i, j ∈ S und λ ∈ P(S ) gilt. Die positive Antwort ergibt sich aus dem nachfolgenden pfadweisen Ergodensatz für positiv rekurrente DMK. Satz 4.16. (Pfadweiser Ergodensatz für DMK) Sei M = (Mn )n≥0 eine positiv rekurrente DMK mit stationärer Verteilung π. Dann konvergieren die empirischen 1 Verteilungen n+1 ∑n+1 k=0 δMk Pλ -f.s. punktweise gegen π, d.h. 1 n ∑ 1A (Mk ) = π(A) Pλ -f.s. n→∞ n + 1 k=0 lim (4.20) für jedes A ⊂ S und jede Anfangsverteilung λ . Anmerkung 4.17. Geht man in (5.1) zum Erwartungswert über, erhält man die schon gezeigte Zeitmittelkonvergenz ! n 1 1 n+1 lim E ∑ 1A (Mk ) = π(A) lim ∑ Pλ (Mk ∈ A) = n→∞ n→∞ n + 1 n+1 k=0 k=0 für alle A ⊂ S und λ ∈ P(S ). Zum Beweis des Satzes benötigen wir das folgende einfache Lemma. Lemma 4.18. Sei (Sn )n≥0 ein RW auf R mit unabhängigen (auch von S0 ) und identisch verteilten Zuwächsen X1 , X2 , ... mit Erwartungswert µ ∈ (0, ∞]. Sei ferner ν(t) = inf{n ≥ 0 : Sn > t} für t ≥ 0. Dann gilt lim t→∞ ν(t) 1 = t µ f.s., sofern wieder ∞−1 := 0 vereinbart wird. Beweis. Unter Benutzung von limt→∞ ν(t) = ∞ f.s., folglich lim t→∞ Sν(t)−1 Sν(t) = lim = µ t→∞ ν(t) ν(t) f.s. nach dem starken Gesetz der großen Zahlen (auch im Fall µ = ∞), und der Ungleichung Sν(t)−1 ≤ t < Sν(t) ergibt sich die Behauptung leicht vermöge Sν(t)−1 Sν(t) t ≤ ≤ ν(t) ν(t) ν(t) f.s. 88 4 Ergodensätze für positive rekurrente Markov-Ketten und einem Grenzübergang t → ∞. t u Beweis (von Satz 4.16). Wir definieren zur Abkürzung n Nn (A) := ∑ 1A (Mk ) k=0 für A ⊂ S und n ≥ 0. Offenbar reicht es, die Behauptung (5.1) unter Pi für beliebiges i ∈ S nachzuweisen. Zu diesem Zweck sei, für beliebig fixiertes i, (σn )n≥0 die Folge der sukzessiven Rückkehrzeiten in den Zustand i, insbesondere also σ1 = τ(i). Diese hat gemäß Korollar 3.17 unter Pi die unabhängigen, identisch verteilten Zuwächse τn (i) mit Erwartungswert µii . Setzen wir nun ν(n) := inf{k ≥ 0 : σk > n} für n ≥ 0, so erhalten wir wegen Nσν(n)−1 (A) ≤ Nn (A) ≤ Nσν(n) (A) die Ungleichung Nσν(n) (A) ν(n) Nσν(n)−1 (A) ν(n) Nn (A) · ≤ ≤ · ν(n) n+1 n+1 ν(n) n+1 für alle n ≥ 0. Ferner gilt n Nσn −1 (A) = ∑ k=1 σk −1 ∑ l=σk−1 f.s. (4.21) ! 1A (Ml ) , d.h. Nσn −1 (A) besitzt gemäß Satz 3.16 unter Pi unabhängige, identisch verteilte Zuwächse. Das starke Gesetz der großen Zahlen liefert deshalb ! τ(i)−1 Nσn −1 (A) lim = Ei ∑ 1A (Mk ) = µii π(A) f.s., n→∞ n k=0 und dieselbe Aussage natürlich auch für n−1 Nσn (A). Kombinieren wir dies mit n−1 ν(n) → µii−1 Pi -f.s. gemäß Lemma 4.18, so folgt die Behauptung per Grenzübergang n → ∞ in (4.21). t u 4.8 Das Blackwellsche Erneuerungstheorem für diskrete Erneuerungsprozesse Eng verbunden mit dem Ergodensatz für DMK ist das Blackwellsche Erneuerungstheorem für diskrete aperiodische Random Walks auf Z (Satz 4.20), wie wir in diesem Abschnitt kurz zeigen werden. Genauer gesagt lässt sich jedes der beiden Resultate aus dem jeweils anderen folgern. Sei (Xn )n≥1 eine Folge unabhängiger, identisch Zufallsgrößen mit Werten in N, aperiodischer 3 Verteilung (pn )n≥1 , d.h. Im Kontext beliebiger Verteilungen auf R nennt man eine derartige Verteilung auch 1-arithmetisch (+ [1, Def. 41.14]) 3 4.8 Das Blackwellsche Erneuerungstheorem für diskrete Erneuerungsprozesse 89 ggT{n ∈ N : pn > 0} = 1, und Erwartungswert µ = ∑n≥1 npn . Sei außerdem S0 eine von (Xn )n≥1 unabhängige Zufallsgröße mit beliebiger Verteilung auf N. Dann bildet der zugehörige Summenprozess n Sn := S0 + ∑ Xk k=1 für n ≥ 1 einen diskreten Random Walk auf Z [+ Abschnitt 2.10], der auch als diskreter Erneuerungsprozess bezeichnet wird. Der Grund hierfür besteht in der Interpretation der Sn als Zeitpunkte, zu denen einen wiederkehrendes Ereignis, beispielsweise der Ausfall einer technischen Komponente, auftritt und zu einem Neustart führt, die auch als Erneuerung bezeichnet wird. Für n ≥ 0 sei T (n) := inf{k ≥ 0 : Sk > n} der erste Zeitpunkt, zu dem der Erneuerungsprozess das Niveau n überschreitet. Definiere die Folge der Vorwärts-Rekurrenzzeiten Mn := ST (n) − n, n ≥ 0, (4.22) die offenbar eine DMK auf N mit M0 = S0 und den Übergangswahrscheinlichkeiten p j , falls i = 1, pij = 1, falls i ≥ 2 und j = i − 1, 0, sonst bildet. Lemma 4.19. Die DMK (Mn )n≥0 is rekurrent und aperiodisch auf S := {n ∈ N : P(X ≥ n) > 0}, und es gilt positive Rekurrenz genau dann, wenn µ endlich ist. In diesem Fall besitzt die Kette die eindeutige stationäre Verteilung π = (π j ) j≥1 , gegeben durch πj = P(X1 ≥ j) , µ (4.23) wobei π j = 0 für j ∈ S c . Beweis. Die Irreduzibilität auf S überprüft der Leser leicht selbst. Für die Aperiodizität notieren wir, dass (n) p11 ≥ P1 (M1 = n, Mn−1 = n − 1, ..., Mn = 1) = pn 90 4 Ergodensätze für positive rekurrente Markov-Ketten für alle n ≥ 1 gilt und (pn )n≥1 aperiodisch ist. Da der Zustand 1 von (Mn )n≥0 offenkundig unendlich oft besucht wird, ist die Kette rekurrent. Aus P1 (τ(1) = X1 ) = 1 folgt schließlich µ11 = EX1 = µ und somit die positive Rekurrenz genau dann, wenn µ < ∞. Für j ≥ 2 impliziert πj = ∑ πi pij also π j − π j+1 = π1 p j = π1 p j + π j+1 , i≥1 die Beziehung πj = ∑ (πk − πk+1 ) k≥ j = π1 ∑ pk = π1 P(X1 ≥ j), k≥ j die offenbar auch für j = 1 richtig bleibt, was unter Benutzung von ∑i≥1 πi = 1 1 = π1 ∑ P(X1 ≥ i) = π1 µ, also π1 = i≥1 1 µ und schließlich π gemäß (4.23) als eindeutige Verteilung von (Mn )n≥0 liefert. t u Mithilfe des Ergodensatzes für DMK können wir nun leicht das Blackwellsche Erneuerungstheorem für diskrete Erneuerungsprozesse (Sn )n≥0 mit aperiodischer und integrierbarer Zuwachsverteilung auf N herleiten, welches die asymptotische Wahrscheinlichkeit limn→∞ un für das Auftreten einer Erneuerung angibt, wobei ! un := P(Sk = n für ein k ≥ 0) = E ∑ 1{Sk =n} k≥0 = ∑ P(Sk = n) k≥0 die sogenannte diskrete Erneuerungsdichte von (Sn )n≥0 bezeichnet. Bedenkt man, dass im Mittel alle µ Zeiteinheiten eine Erneuerung stattfindet, so steht zu erwarten, dass un → µ −1 gilt. Genau dies bestätigt der angekündigte Satz, die diskrete Version des Blackwellschen Erneuerungstheorems, das von E RD ÖS , F ELLER & P OLLARD [6] stammt.4 Satz 4.20. Sei (Sn )n≥0 ein diskreter aperiodischer Erneuerungsprozess wie zu Beginn des Abschnitts spezifiziert. Dann gilt lim un = n→∞ 1 µ (4.24) für die zugehörige Erneuerungsdichte (un )n≥0 , und das Ergebnis bleibt im Fall µ = ∞ gültig, sofern man die übliche Vereinbarung ∞−1 := 0 trifft. 4 Es ist jedoch nach DAVID B LACKWELL benannt, auf den das Resultat im schwierigeren nichtarithmetischen Fall zurückgeht [4, 5]. 4.9 Gleichmäßige und exponentielle Ergodizität 91 Beweis. Für die positiv rekurrente DMK (Mn )n≥0 der Vorwärts-Rekurrenzzeiten liefert der Ergodensatz 4.11 lim Pλ (Mk = 1) = π1 = k→∞ 1 . µ für alle λ ∈ P(S ). Beachtet man nun noch, dass {Sk = n für ein k ≥ 0} = {Sτ(n−1) − n − 1 = 1} = {Mn−1 = 1} für alle n ≥ 1 gilt, so folgt offenkundig (4.24) aus un = Pλ (Mn−1 = 1), λ = (pk )k≥1 . Im Fall µ = ∞ ist (Mn )n≥0 gemäß Lemma 4.19 null-rekurrent, und deshalb folgt un = Pλ (Mn−1 = 1) → 0 unter Vorgriff auf Satz 5.7 in Abschnitt 5.3. t u Anmerkung 4.21. Das nachfolgende Argument zeigt, wie man umgekehrt mithilfe von Satz 4.20 sehr leicht den Ergodensatz 4.11 für DMK folgern kann, genauer die Aussage 1 (n) lim p = n→∞ ij µ jj für alle i, j ∈ S . Bezeichnet (σn ( j))n≥1 wie bisher die Folge der sukzessiven Rückkehrzeiten in den Zustand j, so bildet dieser gemäß Korollar 3.17 unter jedem Pi einen diskreten aperiodischen Erneuerungsprozess mit µ = µ jj < ∞. Außerdem gilt die Beziehung (n) pij = Pi (σk ( j) = n für ein k ≥ 1) = ∑ P j (σk ( j) = n) k≥1 für alle i, j ∈ S und n ∈ N. Damit liefert Satz 4.20 offenbar die obige Konvergenz(n) aussage für pij . 4.9 Gleichmäßige und exponentielle Ergodizität Eine weitere Stärke der Kopplungsmethode besteht darin, auf elegante Weise schärfere Aussagen über die Konvergenz in (4.10) gewinnen zu können, im hier gegebenen Kontext vermöge einer genaueren Abschätzung der Überlebensfunktion Pλ ,π (T > n) der Kopplungszeit T in der entscheidenden Ungleichung (4.15). Natürlich bedarf es dazu geeigneter Zusatzvoraussetzungen an die betreffende Markov-Kette. Verschärfungen der angedeuteten Art besitzen zwei Stoßrichtungen, die zudem kombinierbar sind: (1) Eine Abschätzung von Pλ ,π (T > n) durch eine nicht mehr von der Anfangsverteilung λ abhängigen Schranke mit dem Ziel des Nachweises von 92 4 Ergodensätze für positive rekurrente Markov-Ketten lim n sup kPM λ − πk = 0. (4.25) n→∞ λ ∈P(S ) In diesem Fall heißt M gleichmäßig ergodisch. (2) Eine Abschätzung von Pλ ,π (T > n) durch C(λ ) f (n) für alle λ ∈ P0 (S ) ⊂ P(S ), n ≥ 0 und eine geeignete Konstante C(λ ) > 0, wobei f : N0 → [0, ∞) eine für n → ∞ gegen 0 konvergente Funktion bezeichnet, typischerweise f (n) = n−β oder f (n) = e−β n für ein β > 0. Dies liefert eine Aussage über die Konvergenzrate in (4.10), nämlich n kPM λ − πk ≤ C(λ ) f (n) (4.26) für alle λ ∈ P0 (S ) und n ≥ 0. In aller Regel betrachtet man P0 (S ) = {δi : i ∈ S }. Im Fall dieser Klasse von Anfangsverteilungen und f (n) = e−β n heißt M exponentiell oder auch geometrisch ergodisch, denn n lim eγn kPM i − πk = 0 n→∞ für alle i ∈ S und γ < β . Eine Kombination von (4.25) mit (4.26) für f (n) = e−β n und P0 (S ) = P(S ) führt zur besonders starken gleichmäßig exponentiellen Ergodizität: −β n n sup kPM λ − πk ≤ Ce (4.27) λ ∈P(S ) für alle n ≥ 0 und damit lim eγn n→∞ n sup kPM λ − πk = 0 λ ∈P(S ) für alle γ < β . Diese wollen wir im Folgenden unter der sogenannten Doeblin-Bedingung: (n ) ∃ i0 ∈ S , n0 ≥ 1 : α(i0 , n0 ) := inf pii00 > 0. i∈S beweisen, die insbesondere für jede ergodische EMK M erfüllt ist, weil dann offenbar (n) lim min pij = π j > 0 n→∞ i∈S für alle j ∈ S gilt. Eine DMK, welche der Doeblin-Bedingung genügt, wird manchmal auch Doeblin-Kette genannt., und die vorherige Feststellung zeigt, dass jede ergodische EMK von diesem Typ ist. Satz 4.22. Sei M eine ergodische DMK, die die obige Doeblin-Bedingung für ein i0 ∈ S und n0 ≥ 1 erfüllt (α = α(i0 , n0 )). Dann ist M gleichmäßig exponentiell ergodisch, und zwar gilt (4.27) mit C = (1−α 2 )−(n0 −1)/n0 und β = − log(1−α 2 )1/n0 , 4.9 Gleichmäßige und exponentielle Ergodizität 93 d.h. 2 (n−n0 +1)/n0 n sup kPM λ − πk ≤ (1 − α ) (4.28) λ ∈P(S ) für alle n ≥ 0. Den Schlüssel zum Beweis des Satzes geben wir mit einem Lemma: Lemma 4.23. Gegeben eine DMK M, die die obige Doeblin-Bedingung für ein i0 ∈ S und n0 ≥ 1 erfüllt, gilt mit α = α(i0 , n0 ) Pλ (τ(i0 ) > kn0 ) ≤ (1 − α)k (4.29) für alle k ≥ 0 und λ ∈ P(S ). Beweis. Es genügt offensichtlich, die Behauptung für jedes λ = δi , i ∈ S , zu zeigen. Dann ergibt sich mit Hilfe der Markov-Eigenschaft für alle k ≥ 1 die rekursive Abschätzung Pi (τ(i0 ) > kn0 ) ≤ Pi (τ(i0 ) > (k − 1)n0 , Mkn0 6= i0 ) = ∑ Pi (τ(i0 ) > (k − 1)n0 , M(k−1)n0 = j, Mkn0 6= i0 ) j6=i0 = (n ) ∑ Pi (τ(i0 ) > (k − 1)n0 , M(k−1)n0 = j)(1 − p ji00 ) j6=i0 ≤ (1 − α) Pi (τ(i0 ) > (k − 1)n0 ) und daraus die Behauptung per Induktion über k. t u Beweis (von Satz 4.22). Wir betrachten wieder das im Beweis von Satz 4.5 eingeführte Kopplungsmodell (Ω , A, M ⊗ M 0 , (Pν )ν∈P(S 2 ) ) und notieren als erstes, dass auch die bivariate Kette M ⊗ M 0 die Doeblin-Bedingung erfüllt, und zwar mit demselben n0 wie M und (i0 , i0 ) anstelle von i0 . Es gilt nämlich vermöge der Unabhängigkeit von M und M 0 (n ) inf p(i,0j),(i i, j∈S 0 ,i0 ) (n ) (n ) = inf pii00 p ji00 ≥ α 2 . i, j∈S (4.30) Beachten wir nun, dass die Kopplungszeit T = inf{n ≥ 0 : Mn = Mn0 } durch die 0 Ersteintrittszeit τ M⊗M (i0 , i0 ) = inf{n ≥ 1 : (Mn , Mn0 ) = (i0 , i0 )} der bivariaten Kette 0 M ⊗ M in den Zustand (i0 , i0 ) beschränkt ist, so folgt aus (4.30) und Lemma 4.23 für alle λ ∈ P(S ) und n ≥ 0, wobei n = kn0 + r mit k ≥ 0 und 0 ≤ r < n0 , 0 Pλ ,π (T > n) ≤ Pλ ,π (τ M⊗M (i0 , i0 ) > n) 94 4 Ergodensätze für positive rekurrente Markov-Ketten 0 ≤ Pλ ,π (τ M⊗M (i0 , i0 ) > kn0 ) ≤ (1 − α 2 )k = e−β kn0 ≤ Ce−β n , was zusammen mit (4.15) die Behauptung des Satzes beweist. t u Gilt die Doeblin-Bedingung, bei festem n0 , für mehr als einen Zustand i0 , so läßt sich die obere Schranke in (4.28)) leicht verbessern. Der Leser beweise als Übung, dass generell gilt: sup λ ∈P(S ) n kPM λ − πk ≤ 1− ∑ j∈S α 2j !(n−n0 +1)/n0 (4.31) für alle n ≥ 0 und n0 ≥ 1, wobei α j = α( j, n0 ). Ist die Doeblin-Bedingung verletzt, d.h. α( j, n0 ) = 0 für alle j, n0 , so hat die obere Schranke offenkundig stets den bedeutungslosen Wert 1. Ferner erwähnen wir, dass die erzielten Abschätzungen (n) wiederum auch für die Post-n-Folgen M (n) gültig bleiben, d.h. für kPM − PM πk λ Mn anstelle von kPλ − πk (vgl. Korollar 4.6). Kapitel 5 Null-rekurrente Markov-Ketten In diesem Kapitel wollen wir die wesentlichen Eigenschaften null-rekurrenter MK zusammentragen, deren Zustandsraum gemäß Satz 3.29 immer unendlich ist und zu denen etwa die symmetrischen Irrfahrten auf Z und Z2 gehören. Wie im positiv rekurrenten Fall, stehen auch hier die Frage nach der Existenz und Eindeutigkeit eines stationären Maßes sowie die des Langzeitverhaltens im Vordergrund. 5.1 Essentielle Eindeutigkeit des stationären Maßes Wir hatten in Satz 4.1 bereits festgestellt, dass null-rekurrente DMK mindestens ein, potentiell sogar unendlich viele stationäre Maße besitzen, nämlich die Okkupationsmaße ! τ(i)−1 (i) π = Ei ∑ n=0 1{Mn ∈·} für beliebiges i ∈ S . Wir werden als erstes zeigen, dass sich die Menge aller stationären Maße und somit insbesondere die Klasse {(i) π : i ∈ S } modulo skalares Vielfaches auf ein Maß reduziert, was wir als essentielle Eindeutigkeit bezeichnen. Satz 5.1. Sei M = (Mn )n≥0 eine null-rekurrente DMK mit Zustandsraum S . Dann besitzt M ein essentiell eindeutig bestimmtes stationäres Maß π, das stets unendliche Masse hat, also π(S ) = ∞, und überall positiv ist, d.h. πi > 0 für alle i ∈ S . Beweis. Wir müssen nur noch die Eindeutigkeit bis auf skalares Vielfaches zeigen und bedienen uns hierfür einmal mehr der Besuchskette. Seien dazu π, π 0 zwei stationäre Maße von M und R eine beliebige endliche Teilmenge von S . Gemäß Satz 4.8 definiert dann die entsprechende Besuchskette M R eine positiv rekurrente EMK, und ihre eindeutige stationäre Verteilung ergibt sich als normierte Einschränkung von sowohl π als auch π 0 auf R, d.h. 95 96 5 Null-rekurrente Markov-Ketten π(· ∩ R) = π(R) 0 π (· ∩ R). π 0 (R) Sofern wir noch zeigen können, dass c := ππ(R) 0 (R) gar nicht von der Wahl von R abhängt, stimmen π und π 0 also auf jeder endlichen Teilmenge von S und dann auch auf ganz S bis auf den Faktor c überein. Sei dazu R 0 eine weitere endliche Teilmenge von S und U := R ∪ R 0 . Dann folgt π(R) = π(R ∩ U ) = π(U ) 0 π(U ) 0 π (R ∩ U ) = 0 π (R) π 0 (U ) π (U ) und analog π(R 0 ) = π(R 0 ∩ U ) = π(U ) 0 0 π(U ) 0 0 π (R ∩ U ) = 0 π (R ), 0 π (U ) π (U ) also insgesamt π(R) π(U ) π(R 0 ) = = , π 0 (R) π 0 (U ) π 0 (R 0 ) was π = cπ 0 beweist und somit auch π = ci (i) π für alle i ∈ S und geeignete ci > 0. Aus der letzten Feststellung ergibt sich außerdem π(S ) = (i) π(S ) = µii = ∞ sowie πi = ci (i) πi = ci > 0. t u 5.2 Zeitmittelkonvergenz Sei im Folgenden M = (Mn )n≥0 eine null-rekurrente DMK mit Übergangsmatrix P = (pij )i, j∈S und essentiell eindeutigem stationären Maß π. Es bezeichne Sπ := {A ⊂ S : π(S ) < ∞} die Klasse der π-endlichen Mengen. Der nachfolgende Satz über die Zeitmittelkonvergenz für null-rekurrente DMK lässt sich nunmehr leicht aus den bisher erzielten Ergebnissen folgern. Satz 5.2. In der zuvor beschriebenen Situation gelten folgenden Aussagen: (a) Die empirischen Verteilungen punktweise gegen 0, d.h. 1 n+1 ∑nk=0 δMk konvergieren auf Sπ Pλ -f.s. 1 n ∑ δMk (A) = 0 n→∞ n + 1 k=0 lim für jedes A ∈ Sπ und jede Anfangsverteilung λ . Pλ -f.s. (5.1) 5.2 Zeitmittelkonvergenz (b) 97 Die Césaro-Mittel gegen 0, also 1 n+1 M ∑nk=0 Pλ k konvergieren auf Sπ ebenfalls punktweise 1 n Mk ∑ Pλ (A) = 0 n→∞ n + 1 k=0 (5.2) lim für jedes A ∈ Sπ und jede Anfangsverteilung λ sowie insbesondere (n) C- lim pij n→∞ = 0 (5.3) für alle i, j ∈ S . Anmerkung 5.3. Wie man leicht sieht, bildet das System Sπ = {A ⊂ S : π(A) < ∞ oder π(Ac ) < ∞} der π-endlichen und π-ko-endlichen Mengen eine σ -Algebra über S , und für A ∈ Sπ gilt das 0-1-Gesetz 1 n Mk 1 n δMk (A) = lim ∑ ∑ Pλ (A) ∈ {0, 1} n→∞ n + 1 n→∞ n + 1 k=0 k=0 lim Pλ -f.s. für alle λ ∈ P(S ). 1 Anmerkung 5.4. Offensichtlich besagt (5.1) gerade n+1 ∑nk=0 1A (Mk ) → 0 Pλ -f.s. für jedes A ∈ Sπ ., und (5.2) bildet nichts anderes als die L1 -Version dieser Aussage, denn ! 1 n Mk 1 n (5.4) ∑ Pλ (A) = Eλ n + 1 ∑ 1A (Mk ) . n + 1 k=0 k=0 Anmerkung 5.5. Per Funktions-Erweiterungsargument erhält man die folgende Verallgemeinerung von Satz 5.2: Bezeichnet bSπ den Raum aller beschränkten Funktionen f : S → R mit Träger in Sπ , d.h. f |Ac ≡ 0 für ein A ∈ Sπ , so implizieren (5.1) und (5.2) 1 n ∑ f (Mk ) = 0 n→∞ n + 1 k=0 lim Pλ f.s. (5.5) beziehungsweise 1 n ∑ Eλ f (Mk ) = 0 n→∞ n + 1 k=0 lim (5.6) für alle f ∈ bSπ und λ ∈ P(S ). Anmerkung 5.6. Kombiniert man (5.3) mit (4.19) aus Satz 4.15, so gilt nunmehr allgemein im Fall einer rekurrenten DMK 98 5 Null-rekurrente Markov-Ketten (n) C- lim pij n→∞ = 1 µ jj für alle i, j ∈ S . Beweis (von Satz 5.2). (a) Sei i ∈ S ein beliebig gewählter Zustand und (σn )n≥1 einmal mehr die Folge der sukzessiven Rekurrenzzeiten in diesen Zustand, insbesondere also σ1 = τ(i). Da alle Zustände rekurrent und verbunden sind, folgt σn < ∞ P j -f.s. für alle n ≥ 1 und j ∈ S . Unter Pi sind die Zyklen n≥0 Zn = (τn+1 , Mσn , ..., Mσn+1 −1 ), [ σ0 := 0 ] unabhängig und identisch verteilt (+ Satz 3.16), wobei insbesondere σn aus den unabhängigen, identisch verteilten Summanden τ1 = τ(i), τ2 , ..., τn mit Erwartungswert µii = ∞ besteht. Wie im Beweis von Satz 4.16 sei Nn (A) = ∑nk=0 1A (Mk ) für A ⊂ S und n ≥ 0, folglich Nσn −1 (A) = σn −1 ∑ n 1A (Mk ) = k=0 ∑ fA (Zk−1 ), k=1 wobei n−1 fA (n, s0 , ..., sn−1 ) := ∑ 1A (sk ) k=0 ν(m) := inf{n ≥ 1 : σn > m} für A ⊂ S , m ∈ N0 , n ∈ N und (s0 , ..., sn−1 ) ∈ S n . Dann gilt n Nσν(n) −1 (A) ≤ und somit (+ (4.21)) ! Nσν(n) −1 (A) σν(n) − 1 ν(n) − 1 n+1 ∑ 1A (Mk ) k=0 ≤ Nσν(n) (A) Nσν(n) (A) ≤ Nn (A) ≤ ν(n) ! ν(n) . n+1 (5.7) Mit Hilfe des starken Gesetzes der großen Zahlen sowie von Lemma 4.18 erhalten wir lim n→∞ Nσν(n) (A) ν(n) = Ei fA (Z0 ) bzw. lim n→∞ ν(n) 1 = = 0 n µii wobei außerdem τ(i)−1 Ei fA (Z0 ) = Ei ∑ k=0 ! 1A (Mk ) = (i) π(A). Pi -f.s., (5.8) 5.3 Und noch zwei Konvergenzsätze 99 Beachtet man noch, dass (i) π gemäß Satz 5.1 das essentiell eindeutige stationäre Maß von M ist, so ergibt sich in (5.7) für jedes A ⊂ Sπ offenbar (5.1) für λ = δi und damit aber auch für jedes λ ∈ P(S ). (b) (5.2) folgt unter Hinweis auf (5.4) und dem Satz von der majorisierten Konvergenz direkt aus (5.1). t u 5.3 Und noch zwei Konvergenzsätze Satz 5.2 lässt offen, ob nicht schon Pλ (Mn ∈ A) für jedes A ∈ Sπ und λ ∈ P(S ) gegen 0 konvergiert, falls n → ∞. Wir bestätigen dies für endliche A ⊂ S mit dem folgenden Konvergenzsatz, der nochmals das Kopplungsmodell aus dem Beweis von Satz 4.5 bemüht. Im Anschluss sind wir in der Lage, ganz allgemein das Ver(n) halten der Übergangswahrscheinlichkeiten pij für n → ∞ zu beschreiben (Satz 5.9). Satz 5.7. Gegeben eine null-rekurrente DMK M mit stationärem Maß π, gilt lim Pλ (Mn ∈ A) = 0 (5.9) n→∞ für alle endlichen A ⊂ S und Anfangsverteilungen λ , also insbesondere (n) lim p n→∞ ij = 0 (5.10) für alle i, j ∈ S . Beweis. Angenommen, es gibt ein endliches A ⊂ S , ein λ ∈ P(S ) und eine Teilfolge (n(k))k≥1 , so dass lim Pλ (Mn(k) ∈ A) = lim k→∞ (n(k)) k→∞ ∑ ∑ λi pij > 0. i∈S j∈A Ein einfaches Kompaktheitsargument (analog zu dem im Auswahlsatz von Helly) (n0 (k)) zeigt die Existenz einer weiteren Teilfolge (n0 (k))k≥1 von (n(k))k≥1 , so dass pij für alle i, j ∈ S konvergiert, kurz 0 lim P n (k) = Q k→∞ (n0 (k)) für eine Matrix Q = (qij )i, j∈S . Da ∑ j∈A pij ≤ |A| < ∞ für alle i ∈ S und k ≥ 1, folgt dann aufgrund majorisierter Konvergenz weiter (n0 (k)) 0 < c = lim ∑ ∑ λi pij k→∞ i∈S j∈A = ∑ ∑ λi qij i∈S j∈A 100 5 Null-rekurrente Markov-Ketten und damit qi0 j0 > 0 für mindestes ein Paar (i0 , j0 ) ∈ S × A, d.h. Q 6= 0. Beachte ferner, dass sich unter Verwendung des Fatouschen Lemmas 1 = lim ∑ k→∞ (n0 (k)) pij j∈S ≥ (5.11) ∑ qij j∈S für alle i ∈ S ergibt. Alle Zeilensummen in Q sind demnach ≤ 1 (substochastische Matrix). Betrachte nun die bivariate Kette M ⊗ M 0 aus dem Beweis von Satz 4.5, die be(n0 (k)) kanntlich wiederum irreduzibel ist. Aus pi0 j0 → qi0 j0 > 0 folgt (n) ∑ p(i0 ,i0 ),( j0 , j0 ) = (n) pi0 j0 ∑ n≥1 n≥1 2 = ∞, gemäß Satz 3.22, also die Rekurrenz von ( j0 , j0 ) für M ⊗ M 0 und damit aus Solidarität die Rekurrenz der Kette selbst. M und M 0 lassen sich folglich in endlicher Zeit b der T erfolgreich koppeln, und es ergibt sich mittels der Kopplungsungleichung (M Kopplungsprozess) (n) (n) bn = j) pi1 j − pi2 j = Pi1 ,i2 (Mn = j) − Pi1 ,i2 (M n→∞ ≤ Pi1 ,i2 (T > n) −→ 0 für alle i1 , i2 , j ∈ S . Somit hängt qij = q• j gar nicht von i ab, was insbesondere bedeutet, dass jede Spalte von Q konstante Komponenten besitzt. Multipliziert man nun Q von links mit der stochastischen Matrix P (alle Zeilensummen = 1), folgt PQ = Q und daraus weiter mit dem Satz von der majorisierten Konvergenz 0 0 k→∞ P n (k)+1 = PP n (k) −→ PQ = Q. Schließlich liefert das Fatousche Lemma für alle j ∈ S (n0 (k)+1) q• j = lim pij k→∞ = lim k→∞ ∑ (n0 (k)) pil l∈S pl j ≥ ∑ q•l pl j , l∈S so dass aus 0 ≤ ∑ j∈S q• j − ∑ q•l pl j l∈S ! = ∑ q• j j∈S − ∑ q•l ∑ l∈S pl j = 0 j∈S | {z } =1 q• j = ∑l∈S q•l pl j , d.h. die Invarianz des gemäß (5.11) endlichen Maßes (q• j ) j∈S für M folgt. Da M andererseits als null-rekurrent vorausgesetzt wurde, besitzt M gemäß Satz 5.1 nur stationäre Maße unendlicher Gesamtmasse, die sich zudem nur durch ein skalares Vielfaches unterscheiden. Wir haben demnach einen Widerspruch produziert. t u 5.4 Wie viele stationäre Maße hat eine DMK? 101 Kombiniert man (5.10) mit dem Rekurrenzkriterium in Satz 3.22, so ergibt sich direkt das folgende Korollar. Korollar 5.8. Ein Zustand i ∈ S ist genau dann null-rekurrent, wenn (n) ∑ pii (n) lim p n→∞ ii = ∞ und n≥0 =0 (n) gilt. In diesem Fall folgt ferner limn→∞ p ji = 0 für alle j ∈ S . Eine Kombination der Sätze 3.22, 4.5, 4.15 und 5.7 erlaubt uns nun auch eine Antwort auf die Frage nach dem asymptotischen Verhalten der n-Schritt(n) Übergangswahrscheinlichkeiten pij einer beliebigen DMK. Satz 5.9. Gegeben eine DMK M = (Mn )n≥0 mit Zustandsraum S , gilt (nd( j)+r) lim p n→∞ ij = d( j) Pi (τ( j) ∈ d( j)N0 + r) µ jj für alle i, j ∈ S und 0 ≤ r < d( j). Beweis. Zunächst notieren wir, dass (nd( j)+r) pij nd( j)+r = ∑ (k) (nd( j)+r−k) fij p jj k=0 n = (kd( j)+r) ((n−k)d( j)) p jj ∑ fij k=0 (k) wegen p jj = 0 für k 6∈ d( j)N0 gilt. Nun gilt aber nach den oben genannten Resultaten (Satz 3.22, falls j transient, Satz 5.7, falls j null-rekurrent, Satz 4.5, falls j ergodisch, und Satz 4.15, falls j positiv rekurrent und periodisch ist) stets ((n−k)d( j)) = d( j)/µ jj und folglich aufgrund majorisierter Konvergenz limn→∞ p jj (nd( j)+r) lim p n→∞ ij = (kd( j)+r) ∑ fij k≥0 (kd( j)+r) was wegen ∑k≥0 fij ((n−k)d( j)) lim p jj n→∞ = d( j) (kd( j)+r) , ∑ fij µ jj k≥0 = Pi (τ( j) ∈ d( j)N0 + r) den Beweis abschließt. t u 5.4 Wie viele stationäre Maße hat eine DMK? Gemäß Satz 4.12 ist jede irreduzible DMK M = (Mn )n≥0 , die eine stationäre Verteilung π besitzt, bereits positiv rekurrent und π eindeutig. Lässt sich dies auf den 102 5 Null-rekurrente Markov-Ketten null-rekurrenten Fall übertragen? Mit anderen Worten: Ist eine irreduzible DMK mit essentiell eindeutigem stationären Maß unendlicher Masse bereits null-rekurrent? Offenbar führt uns dies zu der allgemeineren Frage, wie viele stationäre Maße eine DMK haben kann, mit der wir uns zum Ende dieses Kapitels kurz auseinandersetzen wollen. Als erstes notieren wir, dass eine reduzible DMK M, deren Zustandsraum in (notwendig abgeschlossene) Rekurrenzklassen Rα zerfällt, gleich unendlich viele stationäre Maße besitzt, die sich nicht bloß durch ein skalares Vielfaches unterscheiden. M ist nämlich auf jedem Rα eine irreduzible rekurrente DMK mit einem bis auf skalares Vielfaches eindeutig bestimmten stationären Maß π α , d.h. πiα ∈ (0, ∞) für i ∈ Rα und = 0 sonst. Dann bildet aber, wie schon in Abschnitt 1.5 bemerkt, auch jede Linearkombination ∑α cα π α mit cα ≥ 0 und ∑α cα > 0 wieder ein stationäres Maß. Da im übrigen jede DMK M mit mindestens einem rekurrenten Zustand i immer ein stationäres Maß besitzt, nämlich (i) π, bleibt für weitere Betrachtungen nur noch der transiente Fall, in dem tatsächlich alles möglich ist, insbesondere auch, dass überhaupt kein stationäres Maß existiert. Zur Illustration geben wir drei Beispiele: Beispiel 5.10. (Irrfahrten auf Z) Sei M = (Mn )n≥0 eine Irrfahrt auf Z mit Parametern p, q ∈ (0, 1), d.h. Mn = M0 + ∑nk=1 Xk mit unter jedem Pi unabhängigen, identisch verteilten Xk , Pi (X1 = 1) = p und Pi (X1 = −1) = q = 1 − p. Wie in Abschnitt 3.5 gezeigt wurde, ist M genau dann rekurrent, wenn p = q = 21 . Jedes stationäre Maß π von M ist eine (nichttriviale) Lösung des Gleichungssystems π j = ∑i∈Z πi pij , j ∈ Z, d.h. hier j ∈ Z. π j = pπ j−1 + qπ j+1 , Schreiben wir dieses in der Form π j+1 − π j = p (π j − π j−1 ), q j ∈ Z, ergeben sich offenkundig π (1) = Zählmaß auf Z und π (2) = p i q i∈Z als linear unabhängige Lösungen, die nur im symmetrischen Fall p = q = 12 – in dem es nach Satz 5.2(a) ja auch nur ein stationäres Maß bis auf skalares Vielfaches geben kann – zusammenfallen. Beispiel 5.11. (Geburtsprozesse) Eine DMK M = (Mn )n≥0 mit Zustandsraum Z heißt Geburtsprozess auf Z, wenn ihre Übergangswahrscheinlichkeiten pij die Form 5.4 Wie viele stationäre Maße hat eine DMK? αi , βi , pij = 0, falls j = i + 1 falls j = i sonst 103 (αi > 0, βi ≥ 0, αi + βi = 1), haben. Da M nur Übergänge i → i und i → i+1 erlaubt und alle αi positiv sind, strebt Mn unter jedem Pi f.s. gegen unendlich, wobei die Verweildauer in einem beliebigen Zustand j geometrisch verteilt ist mit Parameter α j . M hat also nur transiente Zustände. Zur Bestimmung des oder der stationären Maße lösen wir das zugehörige Gleichungssystem, das hier die besonders einfache Form π j = α j−1 π j−1 + β j π j , das heißt πj = α j−1 π j−1 , αj j∈Z besitzt mit der bis auf skalares Vielfaches eindeutigen Lösung π0 = 1 und π j = α0 αj für j 6= 0. Als letztes geben wir ein Beispiel, für das überhaupt kein stationäres Maß existiert. Beispiel 5.12 (Die “Strähnen”-Kette). Sei M = (Mn )n≥0 eine DMK mit Zustandsraum N0 und Übergangsmatrix q0 p0 0 0 0 . . . q1 0 p1 0 0 . . . P = q2 0 0 p2 0 . . . , .. .. . . wobei pi ∈ (0, 1) für alle i ∈ N0 . Zur Rechtfertigung des Namens “Strähnen”-Kette betrachtet man am besten den Fall p0 = p1 = ... = p und interpretiert p als Wahrscheinlichkeit, mit der ein Spieler in einem bestimmten unbegrenzt andauernden Spiel pro Runde gewinnt. Mn = i bedeutet dann offenbar, dass er i aufeinanderfolgende Runden nach einer Niederlage oder nach Spielbeginn für sich entscheidet, was bekanntlich, zumindest für hinreichend große i, als Lauf oder Glückssträhne bezeichnet wird (engl. “run” oder “success run”). Gegeben eine unabhängige Folge (Xn )n≥1 Bern(p)-verteilter Zufallsgrößen, wobei Xn = 1, falls der Spieler die n-te Runde gewinnt, ergibt sich (Mn )n≥0 zu Mn = (Mn−1 + 1)1{Xn =1} . Zurückkehrend zur allgemeinen Situation variabler pi ist intuitiv klar, dass M nur dann transient ist, d.h. nur endlich oft in den Zustand 0 zurückkehrt (M irreduzibel), wenn die pi für i → ∞ hinreichend schnell gegen 1 streben, was bedeutet, dass mit zunehmender Länge einer Glückssträhne eine gegen 1 wachsende Wahrscheinlich- 104 5 Null-rekurrente Markov-Ketten keit besteht, auch die nächste Runde zu gewinnen. Hier ist die formale Begründung: Es gilt offenbar für jedes n ≥ 1 (n) f00 = P0 (M1 = 1, ..., Mn−1 = n − 1, Mn = 0) = p0 p1 · ... · pn−2 qn−1 ! ! n−2 − ∏ pi P0 (τ(0) ≤ n) = ∑ f00 = (5.12) n−1 ∏ pi i=0 i=0 und folglich n 0 ist genau dann rekurrent, wenn ∗ f00 (k) k=1 n−1 = 1 − ∏ pi . i=0 = P0 (τ(0) < ∞) = 1, also, wenn n−1 lim n→∞ ∏ pi = 0. i=0 Durch Logarithmieren und Benutzung von log(1 − x) ' −x für x → 1 erweist sich dies wiederum als äquivalent zu ∑ (1 − pi ) = i≥1 = ∞, ∑ qi i≥1 was insbesondere die erwartete Eigenschaft pi → 1 für i → ∞ im transienten Fall bestätigt. Wenden wir uns schließlich dem Gleichungssystem für stationäre Maße zu, das hier die Form π0 = ∑ q i πi und π j = p j−1 π j−1 i≥0 für j ≥ 1 annimmt. Ignoriert man zunächst die Invarianzgleichung für π0 , so erhält man als eindeutige Lösung der übrigen leicht j−1 π j = π0 ∏ pi . i=0 Wenn ein stationäres Maß π existiert, wobei wir π0 = 1 wählen dürfen, so folgt aus der verbliebenen Gleichung unter Hinweis auf (5.12) n−1 1 = ∑ qn ∏ pi = n≥0 i=0 (n+1) ∑ f00 ∗ = f00 , n≥0 d.h. die Rekurrenz des Zustands 0. Im transienten Fall existiert also kein stationäres Maß für die Kette M. Kapitel 6 Reversibilität: Der Blick zurück Zeitliche Reversibilität oder kurz Reversibilität einer DMK bedeutet anschaulich, dass es für ihre Evolution keinen Unterschied macht, ob man die Zeit vorwärts oder rückwärts liest. Im Folgenden wollen wir diskutieren, unter welchen Voraussetzungen diese Eigenschaft vorliegt und welche Schlüsse aus ihr gezogen werden können. 6.1 Zeitliche Umkehr von Markov-Ketten Gegeben sei wieder ein Standardmodell (Ω , A, M = (Mn )n≥0 , (Pλ )λ ∈P(S ) ) mit Übergangsmatrix P = (pij )i, j∈S . Den zum Zeitpunkt N zeitlich invertierten Prozess b bn (N))0≤n≤N , d.h. bezeichnen wir mit M(N) = (M (n) Wir setzen außerdem λi bn (N) := MN−n . M = Pλ (Mn = i) für i ∈ S und n ≥ 0. Dann gilt: Satz 6.1. (a) (n) Für jedes N ≥ 1 und λ ∈ P(S ) mit λi > 0 für alle n ≥ 0 und i ∈ S bildet b M(N) unter Pλ eine DMK mit zeitabhängigen Übergangswahrscheinlichkeiten (N−n−1) (b) bn+1 (N) = j|M bn (N) = i) = pbn,n+1 (N, λ ) := Pλ (M ij λj (N−n) λi p ji . b Ist λ eine stationäre Verteilung für M, so ist M(N) für jedes N unter Pλ n,n+1 zeitlich homogen, d.h. pbij (N, λ ) unabhängig von n und N für alle i, j ∈ S . 105 106 6 Reversibilität: Der Blick zurück (c) Sind alle pij > 0 (⇒ M irreduzibel und aperiodisch), gilt hiervon auch die b Umkehrung: M(N) ist genau dann zeitlich homogen unter Pλ , wenn M ergodisch und λ die eindeutig bestimmte stationäre Verteilung ist. Beweis. (a) Die erste Behauptung folgt, weil bn+1 (N) = j|M bn (N) = i, M bn−1 (N) = in−1 , ..., M b0 (N) = i0 ) Pλ (M = Pλ (MN−n−1 = j, MN−n = i, MN−n+1 = in−1 , ..., MN = i0 ) Pλ (MN−n = i, MN−n+1 = in−1 , ..., MN = i0 ) (N−n−1) = = λj p ji piin−1 · ... · pi1 i0 (N−n) λi piin−1 (N−n−1) p ji λj · ... · pi1 i0 (N−n) λi bn+1 (N) = j|M bn (N) = i) = Pλ (M b0 (N) = i0 ) > 0. bn (N) = i, M bn−1 (N) = in−1 , ..., M für alle i, i0 , ..., in−1 ∈ S mit Pλ (M (n) (b) Ist λ eine stationäre Verteilung für M, folgt λi = λi für alle i ∈ S , n ≥ 0 und daraus die Unabhängigkeit der pbijn,n+1 (N, λ ) von n und N. (c) Hängt umgekehrt pbijn,n+1 (N, λ ) = pbij nicht von n, N ab, betrachte zunächst (n−1) (n) den Fall i = j: Offensichtlich folgt dann aus pbii = λi pii /λi > 0 für alle n die (n) (n−1) (n) Existenz eines αi > 0, so dass λi = αi λi , also λi = αin λi für alle n ≥ 0 und i ∈ S . Dies liefert weiter n αj p ji λ j pbij = · · αi αi λi (n) für alle n ≥ 0 und somit die Unabhängigkeit der αi von i, d.h. λi = α n λi für alle (n) n, i. Beachten wir abschließend 1 = ∑i∈S λi = α n ∑i∈S λi = α n , folgt α = 1 und damit λ = λ (n) für alle n ≥ 0, was die Stationarität von M unter Pλ beweist. Als irreduzible und aperiodische DMK ist M folglich ergodisch und λ die eindeutige stationäre Verteilung. t u (n) Satz 6.1 deckt zwar aufgrund der Voraussetzung λi > 0 sowie pij > 0 in Teil (c) nicht alle denkbaren Fälle ab, reicht aber für unsere Zwecke aus. Wir richten unser Augenmerk im Folgenden ohnehin auf den stationären Fall und betrachten eine positiv rekurrente DMK M mit stationärer Verteilung π. Zur besseren Veranschaulichung der Zeitumkehrung führen wir die doppelt unendliche Folge M ∗ = (Mn∗ )n∈Z ein, definiert – auf irgendeinem W-Raum (Ω , A, P) – durch 6.2 Reversibilität und detailliertes Gleichgewicht ∗ 107 ∗ P(Mn ,Mn+1 ,...) = PM π für alle n ∈ Z. Die Existenz eines solchen Prozesses ergibt sich aus dem Konsistenz∗ satz von Kolmogorov (+ [1, Satz 54.7]): PM ist der projektive Limes der Familie (Mn )n∈I0 QI = P π , I ⊂ Z endlich, wobei I0 = {0, i1 − i0 ..., im − i0 }, falls I = {i0 , ..., im } mit i0 < ... < im . Anschaulich können wir uns vorstellen, dass M ∗ aus M entsteht, indem wir den Zeitpunkt 0 nach −∞ verschieben. Mit anderen Worten: M ∗ repräsentiert die DMK M unter der Voraussetzung, dass diese vor “langer, langer Zeit” im Gleichgewicht gestartet ist. 6.2 Reversibilität und detailliertes Gleichgewicht Aus Satz 6.1(b) folgt, dass für jedes N ∈ Z der in N zeitumgekehrte Prozess ∗ ) (MN−n n∈Z eine zeitlich homogene stationäre DMK mit Übergangswahrscheinlichkeiten π j p ji , i, j ∈ S , (6.1) pbij = πi bildet. Es gilt nämlich bn (N))0≤n≤N (M ∗ P(MN−n )0≤n≤N = Pπ b = (M bn )n≥0 mit der Überfür alle N ≥ 0. Generell bezeichnet man eine DMK M b gangsmatrix P = ( pbij )i, j∈S als zu M duale Kette und entsprechend Pb die zu P duale Übergangsmatrix. Reversibilität bedeutet nun folgendes: Definition 6.2. Eine DMK M = (Mn )n≥0 heißt (zeitlich) reversibel, wenn d (M0 , M1 , ..., Mn ) = (Mn , Mn−1 , ..., M0 ) (6.2) für alle n ≥ 0 gilt. d Da (6.2) insbesondere M0 = Mn für alle n ≥ 0 impliziert, ist jede reversible DMK notwendig stationär. Für die doppelt unendliche Folge M ∗ ist (6.2) gleichbedeutend mit d ∗ ∗ )n∈Z (MN−n )n∈Z = (MN+n für alle N ∈ Z. Vorwärts- und Rückwärtsprozess bilden also identisch verteilte zeitlich homogene DMK mit folglich gleicher Übergangsmatrix, was pij = π j p ji /πi oder umgeschrieben πi pij = π j p ji (6.3) 108 6 Reversibilität: Der Blick zurück für alle i, j ∈ S liefert. Diese Gleichungen, genannt detaillierte Gleichgewichtsgleichungen, besagen anschaulich, dass für je zwei Zustände i und j die Flusswahrscheinlichkeit von i nach j mit der für die umgekehrte Richtung, also von j nach i, übereinstimmt. Abb. 6.1 stellt dies schematisch dar. πi pij πj πi π j p ji Abb. 6.1 Detailliertes Gleichgewicht veranschaulicht in einem Flüssigkeitsmodell: Stellen wir uns die Zustände i ∈ S als Wasserbehälter vor. Behälter i enthält im Gleichgewicht πi Liter Wasser. In jedem Zeitschritt werden πi pij Liter von Behälter i in Behälter j und π j p ji Liter von j nach i umgefüllt. Liegt detailliertes Gleichgewicht vor, so bleiben die Flüssigkeitsmengen in zwei Behältern bereits gleich, wenn nur zwischen diesen beiden der Flüssigkeitsaustausch vorgenommen worden ist. Im nicht-reversiblen Fall muss dagegen erst zwischen allen Behälten der Austausch vogenommen worden sein, bevor wieder alle Behälter dieselbe Menge wie vor dem Austausch enthalten. Summiert man in (6.3) auf beiden Seiten über i ∈ S , ergibt sich offenbar ∑ πi pij i∈S = πj ∑ p ji = π j i∈S für alle j ∈ S . Jede normierte (σ -endliche) Lösung π 6= 0 der detaillierten Gleichgewichtsgleichungen ist also notwendig eine stationäre Verteilung (ein stationäres Maß) der betrachteten DMK. Wir halten fest: Satz 6.3. Eine irreduzible DMK M mit Übergangsmatrix P = (pij )i, j∈S ist genau dann reversibel, wenn sie stationär ist und die stationäre Verteilung, π, den detaillierten Gleichgewichtsgleichungen (6.3) genügt. M ist dann also positiv rekurrent. Beweis. Eine reversible DMK M ist notwendig stationär, wie bereits oben bemerkt, und besitzt somit eine stationäre Verteilung π, die aufgrund der Irreduzibilität außerdem eindeutig bestimmt und positiv ist (Sätze 4.11, 4.12 und 4.15). Dass die detaillierten Gleichgewichtsgleichungen gelten, folgt aus den Überlegungen unmittelbar vor diesem Satz. Für die Umkehrung der Aussage ist wegen Satz 6.1 nichts mehr zu zeigen. t u Wir kommen zu einigen Folgerungen. Den einfachen Beweis des nachfolgenden Satzes überlassen wir dem Leser zur Übung. 6.3 Das Kolmogorov-Kriterium für Reversibilität 109 Satz 6.4. Sei M eine irreduzible DMK mit Übergangsmatrix P = (pij )i, j∈S . Es existiere eine Verteilung π = (πi )i∈S sowie eine weitere nichtnegative Matrix Pb = ( pbij )i, j∈S derart, dass πi pij = π j pbji für alle i, j ∈ S . Dann ist M positiv rekurrent mit stationärer Verteilung π und Pb die zu P duale Übergangsmatrix. Ferner ist M genau dann im Gleichgewicht reversibel, wenn Pb = P> . Die detaillierten Gleichgewichtsgleichungen besagen offenkundig nichts anderes als die Symmetrie der Funktion f (i, j) = πi pij oder g(i, j) = pij /π j oder auch h(i, j) = πi 1/2 pij /π j 1/2 . Satz 6.5. Eine positiv rekurrente DMK M ist genau dann im Gleichgewicht reversibel, wenn ihre Übergangsmatrix P = (pij )i, j∈S die Darstellung P = D−1 AD (6.4) für eine symmetrische Matrix A und eine Diagonalmatrix D = diag(di , i ∈ S ) mit Spur D 2 = ∑i∈S di2 < ∞ besitzt. Beweis. Ist M positiv rekurrent mit stationärer Verteilung π und reversibel, so gelten die detaillierten Gleichgewichtsgleichungen und daher (6.4) mit A = (h(i, j))i, j∈S und D = diag(πi 1/2 , i ∈ S ). Bei Gültigkeit von (6.4) dürfen wir o.B.d.A. D ≥ 0 und d 2 := ∑i∈S di2 = 1 voraussetzen; andernfalls gehen wir zu der Darstellung D0 −1 A0 D0 mit D0 = diag(|di |/d, i ∈ S ) und A0 = (sign(di )aij sign(d j ))i, j∈S über. Aufgrund der Symmetrie von A erhalten wir pij = di−1 aij d j = d j a ji di−1 = d 2j p ji di−2 , also die Gültigkeit der detaillierten Gleichgewichtsgleichungen mit π = (di2 )i∈S . π bildet folglich die eindeutig bestimmte stationäre Verteilung (M positiv rekurrent), und M ist unter Pπ (im Gleichgewicht) reversibel (Satz 6.3). t u 6.3 Das Kolmogorov-Kriterium für Reversibilität Nach der algebraischen Charakterisierung von Reversibilität in Satz 6.5 geben wir als nächstes ein anderes, von KOLOMOGOROV stammendes Kriterium probabilistischer Natur. 110 6 Reversibilität: Der Blick zurück Satz 6.6. (Kolmogorov-Kriterium für Reversibilität) Eine positiv rekurrente DMK M mit Übergangsmatrix P = (pij )i, j∈S ist genau dann im Gleichgewicht reversibel, wenn n n ∏ pik−1 ik = k=1 (6.5) ∏ pik ik−1 k=1 für alle i0 , ..., in ∈ S , i0 = in , und n ≥ 1. Beweis. (a) Unter Pπ gilt nach Definition von Reversibilität n πi0 ∏ pik−1 ik = Pπ (M0 = i0 , ..., Mn−1 = in−1 , Mn = i0 ) k=1 n = Pπ (M0 = i0 , M1 = in−1 , ..., Mn = i0 ) = πi0 ∏ pik ik−1 k=1 für alle i0 , ..., in ∈ S , i0 = in , und n ≥ 1, woraus (6.5) nach Division durch πi0 > 0 folgt. 3 4 2 = 5 1 8 6 7 Abb. 6.2 Das Kolmogorov-Kriterium für Reversibilität: Zyklische Pfade haben für jede Laufrichtung die gleiche Wahrscheinlichkeit. (b) Um zu zeigen, dass (6.5) für Reversibilität auch hinreichend ist, wähle dort n ≥ 2, i0 = i und in−1 = j beliebig und summiere im Fall n ≥ 3 außerdem über alle (i1 , ..., in−2 ) ∈ S n−2 . Dann ergibt sich (n−1) pij (n−1) p ji = pij p ji für alle n ≥ 2 und bei Summation über n = 2, ..., N + 1 ! ! 1 N+1 (n−1) 1 N+1 (n−1) p ji = pij . ∑ pij ∑ pij N n=2 N n=2 6.3 Das Kolmogorov-Kriterium für Reversibilität 111 (N) Lässt man nun noch N gegen ∞ streben und beachtet C- limN→∞ pij = π j (M positiv rekurrent), so folgen die detaillierten Gleichgewichtsgleichungen und damit die Reversibilität von M unter Pπ . t u Anschaulich besagt das Kolmogorov-Kriterium, dass eine reversible DMK jeden zyklischen Pfad i0 → i1 → ... → in−1 → i0 mit gleicher Wahrscheinlichkeit vorwärts wie rückwärts durchläuft [+ Abb. 6.2]. Als einfache, aber interessante Konsequenz des Kolmogorov-Kriteriums notieren wir noch: Korollar 6.7. Die Periode einer positiv rekurrenten, im Gleichgewicht reversiblen DMK beträgt höchstens 2. Beweis. Den Trivialfall |S | = 1 ausgeschlossen, wähle in (6.5) irgendeinen zyklischen Pfad positiver Wahrscheinlichkeit mit i0 = i und in−1 = j 6= i. Dann folgt (2) insbesondere pij > 0 und p ji > 0 und somit pii ≥ pij p ji > 0, d.h. i und folglich alle Zustände sind höchstens 2-periodisch. t u Reversibilität vereinfacht häufig ganz erheblich die Analyse stochastischer Systeme im Gleichgewicht und spielt eine wichtige Rolle z.B. bei der Untersuchung stochastischer Netzwerke (Warteschlangentheorie), von Genfrequenzen in Populationen oder auch in der statistischen Physik. Eine exzellente Monographie zu diesem Thema bildet [13]. Betrachten wir einige Beispiele: Beispiel 6.8 (Doppelt stochastische Matrizen). Sei M = (Mn )n≥0 eine EMK in einem Standardmodell mit Zustandsraum S und Übergangsmatrix P = (pij )i, j∈S . Wir nehmen an, dass die Gleichverteilung auf S die stationäre Verteilung der Kette bildet, also πi = 1/|S | für alle i ∈ S . Aus den Invarianzgleichungen ergibt sich dann 1 1 pij = , also ∑ pij = 1 ∑ |S | i∈S |S | i∈S für alle i ∈ S und somit für die Übergangsmatrix P, dass nicht nur ihre Zeilensummen, sondern auch ihre Spaltensummen stets 1 betragen. Man bezeichnet P in diesem Fall als doppelt stochastisch. Beachte, dass mit P auch jedes P n doppelt stochastisch ist, denn P n erfüllt ebenfalls die Invarianzgleichungen. Ein Blick auf die detaillierten Gleichgewichtsgleichungen (6.3) zeigt, dass diese unter den getroffenen Voraussetzungen nur dann gelten, wenn pij = p ji für alle i, j ∈ S , wenn also P symmetrisch ist (P = P> ). Allgemein folgt in der gegebenen Situation nach (6.1), dass P> = (p ji )i, j∈S gerade die zu P duale Übergangsmatrix, also die Übergangsmatrix der doppelt unendlichen stationären Version ∗ ) von M bei rückwärts laufender Zeit, d.h. von (M−n n∈Z bildet. 112 6 Reversibilität: Der Blick zurück Als spezielles Beispiel einer EMK mit doppelt stochastischer und symmetrischer Übergangsmatrix erwähnen wir die symmetrische Irrfahrt auf einer endlichen zyklischen Gruppe G = {an : 1 ≤ n ≤ |G|} mit den Übergangswahrscheinlichkeiten pan an+1 = pan an−1 = 1 . 2 Beispiel 6.9 (Einfache Irrfahrten auf einem Graphen). [+ 2.5] Eine einfache Irrfahrt M = (Mn )n≥0 auf einem endlichen, einfachen, ungerichteten und zusammenhängenden Graphen G = (V, E) springt von einem beliebigen Knoten v in einen 1 , wobei d(v) die Zahl der Nachbarn Nachbarknoten w mit Wahrscheinlichkeit d(v) von v bezeichnet. Dabei gelten zwei Knoten als benachbart (v ∼ w), wenn es eine Kante zwischen ihnen gibt. Da G zusammenhängend ist, folgt d(v) ≥ 1 für alle v ∈ V sowie die Irreduzibilität von M. Es leuchtet intuitiv ein, dass derartige Irrfahrten unter der stationären Verteilung stets reversibel sind. Um dies auch formal zu verifizieren, betrachten wir wieder πw πv = d(w) die detaillierten Gleichgewichtsgleichungen (6.3), die hier die Form d(v) für alle v, w mit v ∼ w haben. Wie man sofort erkennt, ergibt sich eine normierte nichtnegative Lösung π durch πv = d(v) d(v) = 2|E| ∑w∈V d(w) für alle v ∈ V und somit die erwartete Reversibilität von M unter Pπ . Beachte hierbei, dass die Bestimmung der stationären Verteilung nicht vorab, sondern direkt mit dem Lösen der detaillierten Gleichgewichtsgleichungen erfolgt ist. Beispiel 6.10 (Markov-Ketten auf einem Baum). Ein Graph der zuvor betrachteten Form, in dem ferner je zwei Knoten durch genau einen Pfad minimaler Länge (= Anzahl durchlaufener Kanten) verbunden sind, heißt (endlicher) Baum. Dessen Knoten lassen sich wie folgt in lexikographischer Weise durch endliche “Wörter” mit Alphabet N benennen (Ulam-Harris-Markierung): Wähle irgendeinen Knoten als Wurzel und bezeichne ihn mit ∅ (leeres Wort). Betrachte als nächstes dessen d(∅) Nachbarn und markiere diese mit 1, ..., d(∅) (Wörter der Länge 1), wobei die Reihenfolge keine Rolle spielt. Für jeden der Knoten v ∈ {1..., d(∅)} bezeichne dessen n(v) := d(v) − 1 (sofern 6= 0) noch nicht numerierten Nachbarn mit (v, 1), ..., (v, n(v)) (Wörtern der Länge 2), wobei diese zumeist in der verkürzten Form v1, ..., 1n(v) geschrieben werden. So fortfahrend bis alle Knoten markiert sind, erhalten wir einen Baum, in dem jeder Knoten durch ein endliches Wort der Form v = i1 ...im ∈ Nm markiert ist und v → i1 ...im−1 → ... → i1 → ∅ den minimalen Pfad von v zur Wurzel angibt. Abb. 6.3 illustriert dies an einem einfachen Beispiel. Sei M = (Mn )n≥0 eine irreduzible MK auf einem derartigen Baum mit Übergangswahrscheinlichkeiten pvw , v 6= w, die genau dann positiv sind, wenn v ∼ w gilt, ansonsten aber keiner Einschränkung unterliegen. Falls v = i1 ...im , m ≥ 2, bedeutet dies w = i1 ...im−1 oder w ∈ {i1 , ..., im j : 1 ≤ j < di1 ...,im }. Wir machen keine Annahmen über die Verharrungswahrscheinlichkeiten pvv . Dass jede solche EMK M 6.3 Das Kolmogorov-Kriterium für Reversibilität 113 ∅ 1 2 11 111 12 112 121 21 122 1211 211 1212 2111 22 212 2111 221 2211 222 2212 Abb. 6.3 Ein endlicher binärer Baum mit Ulam-Harris-Markierung. reversibel ist, springt vielleicht nicht sofort ins Auge, lässt sich aber leicht mittels des Kolmogorov-Kriteriums beweisen: Gegeben einen zyklischen Pfad v → v1 → ... → vn−1 → v, folgt aus der Baumeigenschaft, dass jede Kante dieses Pfades genauso oft vorwärts wie rückwärts durchlaufen wird [+ Abb. 6.4] und daher stets pvv1 · ... · pvn−1 v = pvvn−1 · ... · pv1 v gilt. Auf der Basis der vorgenommenen Knotennumerierung und mit Hilfe der detaillierten Gleichgewichtsgleichungen können wir auch die stationäre Verteilung bestimmen: Aus πi1 ...im−1 pi1 ...im−1 ,i1 ...im = πi1 ...im pi1 ,...,im ,i1 ,...,im−1 für alle m ≥ 1 (i1 ...im−1 := ∅ im Fall m = 1) ergibt sich leicht ! m p i1 ,...,ik−1 ,i1 ,...,ik π∅ πi1 ,...,im = ∏ k=1 pi1 ,...,ik ,i1 ,...,ik−1 für m ≥ 1, wobei m π∅ = 1+ ∑ ∑ ∏ m≥1 i1 ...im ∈S k=1 pi1 ...ik−1 ,i1 ...ik pi1 ...ik ,i1 ...ik−1 !−1 (6.6) (6.7) durch die Normierungsgleichung ∑v∈S πv = 1 bestimmt wird. Abschließend erwähnen wir, dass Reversibilität von M im Gleichgewicht und die obige Form der stationären Verteilung offenbar auch im Fall eines unendlichen Baums bestehen bleiben. Voraussetzung natürlich: M ist positiv rekurrent, was mit Blick auf (6.6) und (6.7) genau dann gilt, wenn m ∑ ∑ pi ...i ,i ...ik ∏ pi1 ...ik−1,i ...i1 m≥1 i1 ,...,im ∈S k=1 1 k 1 k−1 < ∞. 114 6 Reversibilität: Der Blick zurück Abb. 6.4 Der binäre Baum in Abb. 6.3 mit farblich markiertem zyklischen Pfad ∅ → 1 → 12 → 121 → 1212 → 121 → ... → ∅. Die als Doppelpfeile gezeigten Kanten sollen verdeutlichen, dass diese in einem zyklischen Pfad stets in beiden Richtungen durchlaufen werden. Einen besonders einfachen, nämlich einsträngigen Baum erhält man bei Wahl der natürlichen Zahlen N0 oder einer endlichen Teilmenge {0, ..., N} mit der gewöhnlichen Nachbarschaftsstruktur. Markov-Ketten auf diesem haben die Eigenschaft, genannt Sprungfreiheit, von einem Zustand n nur in die Zustände n − 1 (falls n ≥ 1) und n + 1 springen zu können oder in n zu verharren. Sie heißen Geburts- und Todesprozesse (in diskreter Zeit) (+ auch Beispiel 5.11). Beispiel 6.11 (Geburts- und Todesprozesse). Sei also M eine DMK auf S = N0 oder S = {0, ..., N} mit Übergangsmatrix P der Form p00 p01 0 0 0 . . . p10 p11 p12 0 0 . . . P = 0 p21 p22 p23 0 . . . , .. .. . . wobei pij > 0 für alle i, j ∈ S mit |i − j| = 1 gelte. Dies garantiert die Irreduzibilität von M. Unter Hinweis auf (6.6) und die Bemerkung vor Satz 6.3 bildet π0 = 1 und πi = p01 p12 · ... · pi−1,i p10 p21 · ... · pi,i−1 für i ≥ 1 (6.8) ein stationäres Maß. Hat π endliche Gesamtmasse, d.h. π(S ) = 1 + ∑ 06=i∈S p01 p12 · ... · pi−1,i < ∞, p10 p21 · ... · pi,i−1 (6.9) so ist M positiv rekurrent und folglich im Gleichgewicht reversibel. Wie der Leser nun leicht einsieht, gelten entsprechende Resultate in der Tat für beliebige irreduzible, sprungfreie MK auf S = Z und S = {m, ..., n}, m, n ∈ Z. Im ersten Fall fasse man Z als Baum mit Wurzel 0 auf, im zweiten genügt gar eine 6.3 Das Kolmogorov-Kriterium für Reversibilität 115 einfache Verschiebung (Umbenennung) der Zustände (Übergang zu S = {0, ..., n − m}). Als spezielle Beispiele, die uns zuvor bereits begegnet sind, erwähnen wir die Irrfahrten mit reflektierenden Barrieren (Abschnitt 2.3) sowie das Ehrenfest-Modell für Wärmeaustausch (Abschnitt 2.6), auf das wir im nächsten Kapitel nochmals zurückkommen (+ ??). Kapitel 7 Und nochmals Beispiele – alte und neue Es folgt ein weiterer Abschnitt mit einer Reihe von Anwendungsbeispielen, wobei wir vor allem die Beispiele aus Kapitel 2 nochmals aufgreifen, aber am Ende auch einige neue hinzugefügt haben. 7.1 Markov-Ketten mit zwei Zuständen [+ 2.1] Sei M eine EMK mit Zustandsraum S = {0, 1} und Übergangsmatrix 1− p p P = , q 1−q wobei 0 < p, q < 1 gelte. Die ausgeschlossenen Fälle kann der Leser leicht selbst untersuchen. Sie sind aber von nur geringem Interesse. P hat die Eigenwerte 1 und 1 − p − q und läßt sich diagonalisieren: 1 −p S = , 1 q P = SDS −1 , wobei 1 q p 1 0 −1 S = und D = . 0 1− p−q p + q −1 1 Die Spalten von S bilden rechte, die Zeilen von S −1 linke Eigenvektoren von P. Sie sind bis auf skalares Vielfaches eindeutig bestimmt, wobei wir den Skalar so gewählt haben, dass der linke Eigenvektor zum Eigenwert 1 eine Verteilung, nämlich die stationäre Verteilung π definiert, d.h. π0 = q p+q und π1 = p . p+q Mittels der Diagonalisierung kann man nun leicht alle Potenzen P n von P berechnen und erhält 117 118 7 Und nochmals Beispiele – alte und neue 1 0 P n = SD n S −1 = S S −1 0 (1 − p − q)n π0 π1 π1 −π1 . = + (1 − p − q)n π0 π1 −π0 π0 (7.1) M ist ergodisch und im Gleichgewicht reversibel. Aus (7.1) ergibt sich außerdem die exakte Konvergenzgeschwindigkeit im Ergodensatz: (n) |p0i − πi | = π1 (1 − p − q)n (n) und |p1i − πi | = π0 (1 − p − q)n für i ∈ {0, 1}. Es ist also gerade der zweite Eigenwert von P, der die geometrische Rate im Ergodensatz determiniert. Kein Zufall, wie sich im nächsten Kapitel herausstellt (+ Satz ?? und Korollar ??)! Der zweitgrößte Eigenwert einer ergodischen Übergangsmatrix ist auch allgemein der entscheidende Wert für die Konvergenzrate gegen die stationäre Verteilung. MK mit zwei Zuständen gehören zu den wenigen Beispielen, in denen sich alle Potenzen der Übergangsmatrix explizit berechnen lassen. Entscheidend ist die niedrige Dimension, welche den Aufwand für die Diagonalisierung einschließlich der Berechnung der Eigenvektormatrizen in Grenzen hält. Teil II Markov-Sprungprozesse Die zeitstetige Variante einer diskreten Markov-Kette, genannt Markov-Sprungprozess und manchmal auch Markov-Kette in kontinuierlicher Zeit, unterscheidet sich von ihrem zeitdiskreten Pendant dadurch, dass jeder Aufenthalt in einem Zustand nunmehr eine Zufallsgröße bildet, die aufgrund der Markov-Eigenschaft exponentialverteilt sein muss, wie wir uns gleich zu Beginn überlegen werden. Diese Tatsache bringt einige Vereinfachungen mit sich, z.B., dass das Problem der Periodizität nicht mehr auftritt. Andererseits müssen wir uns bei der Konstruktion eines MSPs mit dem Problem der Explosion, gemeint sind damit unendlich viele Übergänge (Sprünge) in endlicher Zeit, auseinandersetzen sowie der Frage, unter welchen Bedingungen an die Übergangshalbgruppe dies nicht auftritt. Darüber hinaus tritt an die Stelle der (1-Schritt-) Übergangsmatrix hier der sogenannte infintesimale Generator zur Beschreibung der infinitesimalen Dynamik des Prozesses. Dieser bildet wieder eine Matrix, genannt Q-Matrix, deren Interpretation von großer Bedeutung ist, will man Markov-Sprungprozesse zur Modellierung von Zufallsphänomenen heranziehen. Der hierfür benutzte sehr anschauliche Uhrenmechanismus wird deshalb ausführlich erklärt. Ansonsten birgt die im Anschluß entwickelte Theorie, vor allem das asymptotische Verhalten von Markov-Sprungprozessen betreffend, im Vergleich zu den Ergebnissen über DMK kaum Überraschendes und wird deshalb weit kürzer abgehandelt. Kapitel 8 Theoretische Grundlagen Wie im Fall diskreter Zeit, beginnen wir auch hier mit der allgemeinen Definition zeitstetiger Markov-Prozesse mit abzählbarem Zustandsraum und der Zusammenstellung einiger ihrer fundamentalen Eigenschaften. Dabei verzichten wir bewusst auf die detaillierte Darstellung einer Reihe technischer Aspekte, die bei Vorliegen stetiger Zeit strenggenommen genauer beleuchtet werden müssten. 8.1 Definitionen und grundlegende Eigenschaften Sei M = (Mt )t∈[0,∞) ein zeitstetiger stochastischer Prozess auf einem W-Raum (Ω , A, P) mit Werten in einer abzählbaren Menge S , wie üblich Zustandsraum genannt, und adaptiert bezüglich einer Filtration (Ft )t∈[0,∞) . Statt (Mt )t∈[0,∞) schreiben wir hiernach stets (Mt )t≥0 . Markov-Eigenschaft und zeitliche Homogenität lassen sich dann in analoger Weise wie im zeitdiskreten Fall einführen. Definition 8.1. Der stochastische Prozess M = (Mt )t≥0 heißt Markov-Sprungprozess (MSP) bezüglich (Ft )t≥0 , wenn er die Markov-Eigenschaft bzgl. (Ft )t≥0 besitzt, d.h. P Mt |Fs = P Mt |Ms P-f.s. (8.1) für alle 0 ≤ s ≤ t < ∞, und zeitlich homogen ist, d.h. P Mt |Ms =i = Pt−s (i, ·) (8.2) für alle 0 ≤ s ≤ t < ∞, i ∈ S und eine Familie stochastischer Kerne (Pt )t≥0 von S nach S , wobei P0 (i, ·) = δi . Auf den Zusatz “bzgl. (Ft )t≥0 ” wird verzichtet, wenn es sich um die kanonische Filtration von M handelt. Selbstverständlich kann man auch hier auf die zeitliche Homogenität in der Definition verzichten, aber alle nachfolgenden Betrachtungen beschränken sich auf die121 122 8 Theoretische Grundlagen sen Fall. Aufgrund der Abzählbarkeit von S ist Pt durch die t-Schritt-Übergangsmatrix P(t) = (pij (t))i, j∈S mit pij (t) := Pt (i, { j}) = P(Ms+t = j|Ms = i) für alle s ≥ 0 festgelegt. Für jedes Paar (i, j) ∈ S 2 hat man nun also eine Funktion pij : [0, ∞) → [0, 1] mit pij (0) = δij gegeben. Aus diesem Grund bezeichnet man (P(t))t≥0 oder genauer die Zuordnung t 7→ P(t) als Übergangsmatrixfunktion (ÜMF). Sie bildet das Gegenstück zur Halbgruppe (P n )n≥0 in diskreter Zeit und besitzt ebenfalls die Halbgruppeneigenschaft, wie das nachfolgende Lemma bestätigt, dessen einfachen Beweis wir dem Leser überlassen. Lemma 8.2. [Halbgruppeneigenschaft] Die Familie der t-Schritt-Übergangskerne (Pt )t≥0 bildet eine stetige Halbgruppe, d.h. Ps+t = Ps Pt , d.h. Ps+t (i, A) = ∑ Pt ( j, A) Ps (i, { j}) (8.3) j∈S für alle s,t ≥ 0, i ∈ S und A ⊂ S . Für die ÜMF (P(t))t≥0 bedeutet dies die Gültigkeit der Chapman-Kolmogorov-Gleichungen pij (s + t) = ∑ pik (s)pk j (t) (8.4) k∈S für alle s,t ≥ 0 und i, j ∈ S . Wir legen wieder ein Standardmodell (Ω , A, (Mt )t≥0 , (Pλ )λ ∈P(S ) ) M zugrunde, folglich Pλ 0 = λ . Sei außerdem M0:t := (Ms )s∈[0,t] der Prä-t-Prozess und M (t) = (Ms )s≥t der Post-t-Prozess. Dann gilt wie in diskreter Zeit PM (s+t) |F s = PM (s+t) |M s (t) = PM Ms P-f.s. (8.5) sowie [vgl. Satz 1.5] P(M0:t ,M (t) )|M =i t = PM0:t |Mt =i ⊗ PM (t) |M =i t = PM0:t |Mt =i ⊗ PM i (8.6) für alle s,t ≥ 0 und i ∈ S , wobei die auftretenden bedingten Verteilungen in der Tat existieren und durch ihre endlichdimensionalen Randverteilungen festgelegt sind, (s+t) also etwa PM |Ms durch P(Ms+t1 ,...,Ms+tn )|Ms für jede Wahl von t ≤ t1 < ... < tn < ∞ und n ≥ 1. 8.1 Definitionen und grundlegende Eigenschaften 123 Es liegt auf der Hand, dass jeder MSP M = (Mt )t≥0 durch die Folge der von ihm b0 , M b1 , ... sowie die zugehörigen Sprungzeiten sukzsessiv aufgesuchten Zustände M 0 = σ0 < σ1 < σ2 < ... bzw. die Verweildauern τn = σn − σn−1 vollständig beschrieben wird. Zur Vereinfachung der anschließenden Überlegungen machen wir die folgenden (zulässigen) Regularitätsvoraussetzungen, die jeweils mit Wahrscheinlichkeit 1 ungeachtet der Anfangsverteilung gelten sollen: (A1) (A2) Alle Verweildauern sind positiv, d.h., es gibt keine sogenannten augenblicklichen Zustände, die nach Erreichen sofort wieder verlassen werden. Alle Pfade von M sind rechtsseitig stetig mit linksseitigen Limiten, demnach rechtsseitig stetige, stückweise konstante Funktionen von Ω nach S , und es bn = Mσn für n ≥ 0. Wir sagen in diesem Fall, dass M die gilt insbesondere M Càdlàg-Eigenschaft besitzt, wobei “Càdlàg” für “continue à droite, limite à gauche” (stetig von rechts, Limes von links) steht. Weitere Voraussetzungen werden an gebotener Stelle noch folgen, um die Klasse “sinnvoller” MSP in geeigneter Weise einzugrenzen. Wir zeigen als nächstes, dass ein MSP, der (A2) genügt, auch die starke MarkovEigenschaft besitzt. Hinsichtlich der Definition von kontinuierlichen Stopzeiten (im Sinne von “bzgl. einer kontinuierlichen Filtration”) und ihrer Eigenschaften beschränken wir uns auf einige Hinweise. τ heißt Stopzeit bzgl. (Ft )t≥0 , falls {τ ≤ t} ∈ Ft für alle t ≥ 0 gilt, und die σ -Algebra der τ-Vergangenheit wird durch Fτ = {A ∈ A : A ∩ {τ ≤ t} ∈ Ft für alle t ≥ 0} definiert [vgl. (1.19) in Definition 1.11]. Alle in Satz 1.17 und Korollar 1.18 gemachten Aussagen bleiben dann auch im Fall stetiger Zeit gültig, sofern man an gebotener Stelle die offensichtlichen Anpassungen vornimmt, beispielweise X1{τ=n} durch X1{τ≤t} in 1.17(h) ersetzt. Bezeichnet (Ft )t≥0 die kanonische Filtration eines Prozesses M = (Mt )t≥0 , also Ft := σ (Ms , 0 ≤ s ≤ t) für jedes t ≥ 0, so nennt man τ auch Stopzeit für M. Um schließlich auch hier der Möglichkeit Rechnung zu tragen, dass eine Stopzeit τ den Wert ∞ annehmen kann, erweitern wir gegebenenfalls den Zustandsraum S wie in Abschnitt 1.4 um einen absorbierenden Zustand (Friedhof) ∆ und interpretieren den gegebenen Prozess M = (Mt )t≥0 als MSP auf S∆ = S ∪ {∆ } mit der Übergangshalbgruppe ( Pt (x, ·), falls x ∈ S , (∆ ) Pt (x, ·) := t ≥ 0. δ∆ , falls x = ∆ , 124 8 Theoretische Grundlagen Ferner setzen wir dann M∞ := ∆ und M (∞) := konstante Funktion mit Wert ∆ . Satz 8.3. [Starke Markov-Eigenschaft] Sei M = (Mt )t≥0 ein MSP bzgl. (Ft )t≥0 mit der Càdlàg-Eigenschaft und in einem Standardmodell. Dann besitzt M auch die starke Markov-Eigenschaft bzgl. jeder (Ft )t≥0 -Zeit τ, d.h. P(Mτ+t = j|Fτ = P(Mτ+t = j|Mτ ) = pMτ j P-f.s. (8.7) und damit auch allgemeiner PM (τ) |F τ = PM (τ) |M τ = PM Mτ P-f.s. (8.8) Beweis. Es genügt zu zeigen, dass P(Mτ+t = j|Fτ ) = P(Mτ+t = j|Mτ ) = pMτ j (t) P-f.s. für alle t ≥ 0 und j ∈ S , die hiernach fixiert seien. Der Leser überlege sich selbst, dass dies auch (8.8) impliziert. Wir betrachten zuerst den Fall, dass τ nur Werte in einer abzählbaren Menge {s1 , s2 , ...} ⊂ N0 ∪ {∞} annimmt. In diesem Fall erhalten wir für jedes A ∈ Fτ unter Benutzung der gewöhnlichen Markov-Eigenschaft und von A ∩ {τ = sn } ∈ Fsn für alle n ≥ 1 P(A ∩ {Mτ+t = j}) = = = = = ∑ Z n≥1 A∩{τ=sn } ∑ Z n≥1 A∩{τ=sn } ∑ Z n≥1 A∩{τ=sn } ∑ Z n≥1 A∩{τ=sn } Z A 1{Msn +t = j} dP P(Msn +t = j|Fsn ) dP P(Msn +t = j|Msn ) dP pMsn j (t) dP pMτ j dP, folglich P(Mτ+t = j|Fτ ) = pMτ j = P(Mτ+t = j|Mτ ) P-f.s. Für m ∈ N definiere als nächstes die Stopzeit τm als obere Approximation von τ mit Werten in der abzählbaren Menge m−1 N0 ∪ {∞} durch τm := k ∑ m 1{(k−1)m−1 ≤τ<km−1 } k≥1 + ∞ · 1{τ=∞} . Da M rechtsseitig stetige und stückweise konstante Pfade besitzt, gilt dann 8.1 Definitionen und grundlegende Eigenschaften 125 lim 1{Mτm +t = j} = 1{Mτ+t = j} m→∞ P-f.s., und vermöge des ersten Teils erhalten wir schließlich unter Beachtung von Fτ ⊂ Fτm und Benutzung des Satzes von der majorisierten Konvergenz P(Mτ+t = j|Fτ ) = E lim 1{Mτm +t = j} Fτ m→∞ = E E lim 1{Mτm +t = j} Fτm Fτ m→∞ = E lim E 1{Mτm +t = j} Mτm Fτ m→∞ = E lim pMτm j (t)Fτ m→∞ P-f.s. = pMτ j t u Hinsichtlich der schon eingeführten Sprungzeiten σ0 , σ1 , ... eines MSPs M = (Mt )t≥0 stellt sich die natürliche Frage, ob diese Stopzeiten für M bilden. Die positive Antwort, sofern (A1) und (A2) erfüllt sind, bildet Teil des nachfolgenden Lemmas, der zudem auch dieselbe Frage für die Rückkehrzeiten in eine beliebige Menge A ⊂ S , also für σ0 (A) := 0 und σn (A) := inf{t > σn−1 (A) : Mt ∈ A}, n≥1 beantwortet. Wie üblich, sei hierbei inf 0/ := ∞ vereinbart. Lemma 8.4. Gegeben einen MSP M mit rechtsseitig stetigen, stückweise konstanten Pfaden, gilt: (a) Die Sprungzeiten σ0 , σ1 , ... sowie die sogenannte Explosionszeit ( ) ρE := inf t ≥ 0 : (b) ∑ 1[0,t] (σn ) = ∞ (8.9) n≥0 sind Stopzeiten für M. Die Rückkehrzeiten σ0 (A), σ1 (A), ... sind Stopzeiten für M für jedes A ⊂ S . Beweis. (a) Sei Q(t) := {s ∈ [0,t] : s/t ∈ Q ∩ [0, 1]}. σ0 ist trivialerweise eine Stopzeit für M. Da außerdem {σn > t} = {σn−1 > t} + {σn > t, σn−1 ≤ t} und {σn > t, σn−1 ≤ t} = \ [ \ m≥1 r∈Q(t) Q(t)3s≥r {rt − 1/m < σn−1 ≤ rt, Mst = Mrt }, für alle t ≥ 0 und n ≥ 1, liefert eine einfache Induktion über n die Behauptung für sämtliche σn . Ferner ist dann auch ρE vermöge 126 8 Theoretische Grundlagen {ρE ≤ t} = \ {σn ≤ t} ∈ Ft n≥0 für alle t ≥ 0 eine Stopzeit fÿr M. (b) Auch hier folgt die Behauptung per Induktion über n bei Benutzung von (a) sowie {σn (A) ≤ t} = ∑ ∑ k≥0 m>l>k ∩ {σn−1 (A) = σk } ∩ m−1 \ j=l l−1 \ i=k+1 {Mσi ∈ A, σi ≤ t} c {Mσ j ∈ A , σ j ≤ t} ∩ {Mσm ∈ A, σm ≤ t} ! für alle t ≥ 0 und n ≥ 1. t u Zum Ende des Abschnitts notieren wir noch das folgende offensichtliche Lemma. Lemma 8.5. Gegeben einen MSP M = (Mt )t≥0 bzgl. (Ft )t≥0 und ε > 0, bildet die Teilfolge (Mεn )n≥0 , genannt ε-Skelett von M, eine DMK bzgl. (Fεn )n≥0 mit Übergangsmatrix P(ε). 8.2 Analytische Eigenschaften der Übergangsmatrixfunktion Als nächstes wollen wir die ÜMF eines MSPs genauer untersuchen. Aufgrund der Halbgruppeneigenschaft folgt, dass das Verhalten von t 7→ P(t) im Grunde durch das Verhalten in einer kleinen (rechten) Umgebung von t = 0 bestimmt wird. Wegen P(0) = I := (δij )i, j∈S stellt sich als erstes die Frage, ob die ÜMF also in 0 rechtsseitig stetig ist, also lim P(t) = I t↓0 (komponentenweise) (8.10) gilt. Man nennt (P(t))t≥0 dann eine Standard-Übergangsmatrixfunktion (SÜMF). Unter unserer Generalvoraussetzung (A1) ist dies immer der Fall, wie das folgende Lemma zeigt. Lemma 8.6. Sei M = (Mt )t≥0 ein MSP mit ÜMF (P(t))t≥0 , der (A1) genügt. Dann ist (P(t))t≥0 eine SÜMF. Beweis. Für i, j ∈ S mit i 6= j gilt {Mt = j} ⊂ {σ1 ≤ t}, und Voraussetzung (A1) garantiert Pi (σ1 > 0) = 1. Deshalb erhalten wir 8.2 Analytische Eigenschaften der Übergangsmatrixfunktion 127 t→∞ pij (t) = Pi (Mt = j) ≤ Pi (σ1 ≤ t) −→ 0. Entsprechend ergibt sich wegen {Mt 6= i} ⊂ {σ1 ≤ t} t→∞ pii (t) = 1 − Pi (Mt 6= i}) ≥ 1 − Pi (σ1 ≤ t) −→ 1, t u was den Beweis abschließt. Lemma 8.7. Gegeben eine SÜMF (P(t))t≥0 , gilt pij (t + h) − pij (t) ≤ 1 − pii (|h|) (8.11) für alle t ≥ 0, h ∈ R mit t + h > 0 sowie i, j ∈ S . Insbesondere sind alle pij (t) gleichmäßig stetig auf R> . Beweis. Für t ≥ 0 und h > 0 ergibt sich (8.11) unter Benutzung der ChapmanKolmogorov-Gleichungen vermöge pij (t + h) − pij (t) = (pii (h) − 1)pij (t) + ∑ pik (h)pk j (t), (8.12) k6=i denn die rechte Seite besteht aus zwei Termen mit umgekehrten Vorzeichen, und es gilt ∑k6=i pik (h)pk j (t) ≤ ∑k6=i pik (h) = 1 − pii (h). Analog erhält man für t > 0 und 0<h<t pij (t) − pij (t − h) = (pii (h) − 1)pij (t − h) + ∑ pik (h)pk j (t − h), (8.13) k6=i und die rechte Seite ist offenkundig wiederum betragsmäßig beschränkt durch 1 − pii (h). t u Nicht ganz so einfach ist das folgende Resultat zu zeigen, das wir ohne Beweis angeben und auf die Monographie von A NDERSON [3, §1.2] verweisen. Satz 8.8. Für eine SÜMF (P(t))t≥0 gilt: Jede Komponente pij (t) ist stetig differenzierbar für t > 0. Ferner existiert die rechtsseitige Ableitung im Punkt 0, d.h. qij := lim t↓0 pij (t) − pij (0) , t (8.14) und diese ist endlich, falls i 6= j, kann aber −∞ sein, falls i = j. Die Matrix Q = (qij )i, j∈S heißt Q-Matrix von M und beschreibt das Verhalten der Halbgruppe (P(t))t≥0 in einer infinitesimalen Umgebung von t = 0, denn pij (t) ≈ pij (0) + qij t für kleine t und alle i, j ∈ S . In der allgemeinen Theorie von 128 8 Theoretische Grundlagen Markov-Prozessen in stetiger Zeit ist Q der sogenannte infinitesimale Generator von M, worauf hier allerdings nicht weiter eingegangen werden soll. Aus Gründen, die bald verständlich werden, setzen wir qi := −qii = −p0ii (0) Offensichtlich gilt qij ≥ 0 für alle i 6= j, da der zugehörige Differenzenquotient stets ≥ 0 ist, während qii ≤ 0 für alle i ∈ S , also qi ≥ 0. Ferner liefert eine Anwendung von Fatous Lemma die Abschätzung ∑ qij j6=i = lim ∑ t→0 j6=i pij (t) pij (t) 1 − pii (t) ≤ lim inf ∑ = lim = qi . t→0 t→0 t t t j6=i Ist diese Ungleichung eine Gleichung und sind alle qi endlich, d.h. ∑ qij = qi < ∞, (8.15) j6=i so wird Q konservativ genannt. 8.3 Die Kolmogorovschen Differentialgleichungen Nachdem wir gesehen haben, dass eine SÜMF (P(t))t≥0 mit konservativer Q-Matrix Q auf ganz R> stetig differenzierbar ist, wobei Q = P0 (0), überrascht es nicht, dass die Halbgruppe auch einer Familie von Differentialgleichungen genügt, genannt Vorwärts- und Rückwärts-Differentialgleichungen von Kolmogorov. Sie erlauben inn manchen Fällen die explizite Berechnung der P(t). Satz 8.9. [Rückwärts-Differentialgleichungen (RDGl)] Gegeben sei eine SÜMF (P(t))t≥0 mit konservativer Q-Matrix Q. Dann gelten die RDGl p0ij (t) = ∑ qik pk j (t) (8.16) k∈S für alle t ≥ 0 und i, j ∈ S , also in Matrix-Form P 0 (t) = QP(t) (8.15’) für alle t ≥ 0. Beweis. Zur Vereinfachung der nachfolgenden Berechnungen sei o.B.d.A. S = N0 . Vermöge der Chapman-Kolmogorov-Gleichungen gilt für alle t ≥ 0, h > 0 und i, j ∈ S [+ (8.12)] 8.3 Die Kolmogorovschen Differentialgleichungen 129 pij (t + h) − pij (t) pii (h) − 1 = pij (t) + h h ∑ k6=i pik (h) pk j (t). h Der erste Ausdruck der rechten Seite konvergiert für h ↓ 0 gegen −qi pij (t). Den zweiten spalten wir auf gemäß ! pik (h) pik (h) pk j (t) := S1 + S2 ∑ + ∑ ∑ h pk j (t) = h i6=k≤i+n k>i+n k6=i Die endliche Summe S1 konvergiert für h ↓ 0 gegen ∑i6=k≤i+n qik pk j (t), und die verbleibende nichtnegative Summe S2 schätzen wir nach oben ab durch ! i+n 1 pik (h) ∑ h = h 1 − ∑ pik (h) , k=0 k>i+n was offenkundig 1 lim sup S2 ≤ lim h↓0 h h↓0 ! i+n 1 − ∑ pik (h) k=0 = qi − ∑ qij i6=k≤i+n liefert. Damit ergibt sich lim S1 ≤ lim inf ∑ h↓0 h↓0 k6=i ≤ lim sup ∑ h↓0 k6=i pik (h) pk j (t) h pik (h) pk j (t) ≤ lim S1 + lim sup S2 , h↓0 h h↓0 also ∑ i6=k≤i+n qik pk j (t) ≤ lim inf ∑ pik (h) pk j (t) h ≤ lim sup ∑ pik (h) pk j (t) h h↓0 ≤ k6=i h↓0 k6=i ∑ qik pk j (t) + qi − i6=k≤i+n ∑ qij i6=k≤i+n Lassen wir nun noch n gegen ∞ streben und beachten, dass Q konservativ ist, so folgt pik (h) lim ∑ pk j (t) = ∑ qik pk j (t) h↓0 k6=i h k6=i und insgesamt die Behauptung. t u Der Grund für die Bezeichnung “Rückwärts-Differentialgleichungen” besteht darin, dass sie sich durch Störung der Anfangsposition des Prozesses ergeben 130 8 Theoretische Grundlagen (Rückwärtsblick): QP(t) = lim h↓0 P(h) − I P(t). h Eine alternative Möglichkeit besteht offenbar in der Störung der Endposition des Prozesses (Vorwärtsblick), also QP(t) = lim P(t) h↓0 P(h) − I P(h) − I = P(t) lim h↓0 h h und liefert, sofern die Vertauschung des Limes mit dem Operator P(t) erlaubt ist, zu den Vorwärts-Differentialgleichungen P 0 (t) = P(t)Q. (8.16’) Allerdings bedarf es hierfür einer weiteren Voraussetzung. Satz 8.10. [Vorwärts-Differentialgleichungen (VDGl)] Gegeben sei eine SÜMF (P(t))t≥0 mit konservativer Q-Matrix Q. Dann gelten die VDGl (8.16’), also p0ij (t) = ∑ qik pk j (t) (8.17) k∈S für alle t ≥ 0 und i, j ∈ S , sofern (P(t)t≥0 die eindeutig bestimte SÜMF mit QMatrix Q ist. Beweis. Im Fall endlichen Zustandsraums ist der Nachweis der VDGl sehr einfach und wird deshalb dem Leser als Übung empfohlen. Der allgemeine Beweis ist allerdings zu aufwendig, um hier ausgeführt zu werden. Wir verweisen daher erneut auf die Monographie von A NDERSON [3, Theorem 2.2 auf S. 70]. t u Hinreichende Bedingungen an Q, die die im Satz geforderte Eindeutigkeit von (P(t))t≥0 garantieren, werden wir in Abschnitt ?? angeben [+ ?????], wobei eine solche Bedingung die Endlichkeit von S bildet. Abschließend erwähnen wir noch, dass die VDGl gegenüber den RDGl i.A. einfacher zu handhaben sind. 8.4 Die Struktur von regulären MSP In diesem Abschnitt wollen wir den fundamentalen Struktursatz für MSP beweisen und dabei annehmen, dass der in einem Standardmodell gegebene MSP M = (Mt )t≥0 mit Übergangshalbgruppe (P(t))t≥0 und Q-Matrix Q die folgenden Voraussetzungen erfüllt: (A1) Alle Verweildauern sind positiv, also (P(t))t≥0 eine SÜMF (Lemma 8.6). 8.4 Die Struktur von regulären MSP (A2) (A3) (A4) 131 M besitzt die Càdlàg-Eigenschaft, also stückweise konstante, rechtsseitig stetige Pfade. Q ist konservativ. M ist nicht-explodierend, d.h. ρE = ∞. Wir nennen M unter diesen Voraussetzungen kurz regulär. Die ersten beiden Voraussetzungen haben wir bereits in Abschnitt 8.1 vorgestellt, und wir erinnern daran, dass (σn )n≥0 die aufsteigende Folge der Sprungzeiten mit σ0 = 0 und Zuwächsen (Verweildauern) τn = σn − σn−1 bezeichnet, wobei genauer τn = (σn − σn−1 ) · 1{σn−1 <∞} + ∞ · 1{σn−1 =∞} bn = Mσn . Ferner definieren wir noch die Absorptionszeit gelte, und dass M ρA := sup{σn : σn < ∞}. Satz 8.11. [Struktursatz für MSP] Gegeben ein regulärer MSP M = (Mt )t≥0 , existiert eine Übergangsmatrix Pb = ( pbij )i, j∈S mit pbii = 0 bzw. 1, falls 0 < qi < ∞ bzw. qi = 0, so dass bn+1 = j, τn+1 > t |Fσn ) = P(M bn+1 = j, τn+1 > t|M bn ) P(M ( ∑i∈S pbij e−qi t 1{Mbn =i} , falls σn < ∞, = ∑i:qi =0 δij 1{Mbn =i} , falls σn = ∞ (8.18) b = (M bn )n≥0 unter jedem für n ∈ N0 , t ≥ 0 und j ∈ S gilt. Insbesondere bildet M Pλ eine DMK, genannt eingebettete Markov-Kette von M, mit Zustandsraum S , Übergangsmatrix Pb und Startverteilung λ , und die Verweildauern τ1 , τ2 , ... sind b stochastisch unabhängig mit bedingt unter M für alle n ∈ N. b b Pτn |M = Pτn |Mn−1 = Exp qMbn−1 f.s. Dass die Verweildauern bedingt unter der eingebetteten MK exponentialverteilt sind, sollte nicht überraschen, denn zu jedem Zeitpunkt t darf die verbleibende Verweildauer in einem Zustand i aufgrund der Markov-Eigenschaft ja nur von i, nicht aber von der schon dort verbrachten Zeit abhängen. Mit anderen Worten, gegeben den gegenwärtigen Aufenthaltsort, ist die Verweildauer gedächtnislos und folglich zwangsläufig eine Exponentialverteilung. Beweis. Wir zeigen zuerst Pi (σ1 > t) = e−qi t d (8.19) für alle i ∈ S und t ≥ 0, d.h. σ1 = Exp(qi ) unter Pi . Da M rechtsseitig stetige Pfade besitzt, gilt für alle t > 0 132 8 Theoretische Grundlagen Pi (σ1 > t) = Pi (Ms = i für alle 0 ≤ s ≤ t) t n . = lim Pi Mkt/n = i für alle 1 ≤ k ≤ n = lim pii n→∞ n→∞ n Eine Taylorentwicklung liefert außerdem t t t t qi t pii = pii (0) + p0ii (0) + o = 1− , +o n n n n n falls n → ∞, so dass insgesamt qi t − n o(t/n) n Pi (σ1 > t) = lim 1 − = e−qi t n→∞ n unter Benutzung von limn→∞ (1 + znn )n = ez im Fall zn → z folgt. bn+1 = j, τn+1 > t|Fσn ) zuerst auf Zum Beweis von (8.18) betrachten wir P(M bn+1 = j, τn+1 > t} ∈ {σn < ∞}. Die starke Markov-Eigenschaft impliziert wegen {M σ (M (σn ) ) bn+1 = j, τn+1 > t|Fσn ) = P(M bn+1 = j, τn+1 > t|M bn ) P(M b1 = j, σ1 > t) f.s. = PMbn (M (8.20) Setzen wir σ (t) := inf{s > 0 : Ms+t 6= Mt } für t ≥ 0, folglich σ1 = t + σ (t) auf {σ1 > t}, und benutzen (8.19), so ergibt sich unter nochmaliger Verwendung der starken Markov-Eigenschaft b1 = j, σ1 > t) = Pi (M = Z {σ1 >t} Z {σ1 >t} P(Mt+σ (t) = j|Ft ) dPi P(Mt+σ (t) = j|Mt ) dPi (8.21) b1 = j) = Pi (σ1 > t) Pi (M b1 = j). = e−qi t Pi (M b1 = j), so folgt (8.18) auf {σn < ∞} aus (8.20) und Definieren wir nun pbij = Pi (M (8.21). Darüber hinaus liefert (8.21) für alle i ∈ S b1 = i) = Pi (σ1 = ∞) = lim Pi (σ1 > t) = lim e−qi t , pbii = Pi (M t→∞ t→∞ also pbii = 0 bzw. = 1, falls qi > 0 bzw. = 0. bn+1 = M bn = Mρ und τn+1 = ∞. Wir zeigen Auf {σn = ∞} gilt gemäß Definition M A in einem anschließenden Lemma, dass ρA = σν Pi -f.s., ν := inf{n ≥ 0 : qMbn = 0}. (8.22) 8.4 Die Struktur von regulären MSP 133 für alle i ∈ S gilt. Damit folgt (8.18) auch auf {σn = ∞}, denn unter Beachtung von qMbn = qMbρ = 0 und pbMbn j = δMbn j für alle j ∈ S gilt auf dieser Menge A bn+1 = j, τn+1 > t|Fσn ) = P(M bn+1 = j|M bn ) P(M = pbMbn j = ∑ i:qi =0 δij 1{Mbn =i} f.s. Alle weiteren Behauptungen des Satzes ergeben sich nun aus (8.18) durch eine routinemäßige Anwendung maßtheoretischer Argumente: Wir beschränken uns der Einfachheit auf den Fall, dass M keine absorbierenden Zustände besitzt. Als erstes b = (Mσn )n≥0 vermöge der starken Markov-Eigenschaft (beachte notieren wir, dass M Lemma 8.6) eine DMK bildet, die vermöge (8.18) auch zeitlich homogen ist und die Übergangsmatrix Pb besitzt, denn bn+1 = j|M bn = i) = P(M bn+1 = j, τn+1 > 0|M bn = i) = pbij . P(M Per Summation über j ∈ S in (8.18) folgern wir außerdem bn = i) = e−qi t P(τn+1 > t|M für alle n ∈ N0 , t ≥ 0 und i ∈ S . Zum noch verbleibenden Nachweis der bedingten b wählen wir m, n ∈ N, i, i1 , ..., in+m ∈ S sowie Unabhängigkeit der τn gegeben M t1 , ...,tn ≥ 0 beliebig und setzen zur Abkürzung b1 = in+1 , ..., M bm = in+m ) = pbin i · ... · pbi fn (in ) := Pi (M n+1 n+m−1 in+m . Nach diesen Vereinbarungen ergibt sich b1 = i1 , ..., M bn+m = in+m , τ1 > t1 , ..., τn > tn ) Pi (M = = Z b1 =i1 ,...,M bn =in ,τ1 >t1 ,...,τn >tn } {M Z b1 =i1 ,...,M bn =in ,τ1 >t1 ,...,τn >tn } {M bn+k = in+k , 1 ≤ k ≤ m|Fσn ) dPi P(M bn+k = in+k , 1 ≤ k ≤ m|M bn ) dPi P(M b1 = i1 , ..., M bn = in , τ1 > t1 , ..., τn > tn ) = fn (in ) Pi (M = fn (in ) = = b1 =i1 ,...,M bn−1 =in−1 ,τ1 >t1 ,...,τn−1 >tn } {M Z bn = in , τn > tn |Fσ ) dPi P(M n−1 −q t pb b e Mbn−1 dPi b1 =i1 ,...,M bn−1 =in−1 ,τ1 >t1 ,...,τn−1 >tn } Mn−1 in {M b1 = i1 , ..., M bn = in , τ1 > t1 , ..., τn−1 > tn−1 ) fn (in ) pbin−1 in e−qin−1 t Pi (M n ... = fn (in ) pbin−1 in · ... · pbii1 e−qik t k=1 n b1 = i1 , ..., M bn+m = in+m ) Pi (M e−qik t k=1 = fn (in ) = Z ∏ ∏ 134 8 Theoretische Grundlagen = = Z n ∏ e−qik t dPi b1 =i1 ,...,M bn+m =in+m } {M k=1 n Z ∏ P(τk > tk |Mbk ) dPi b1 =i1 ,...,M bn+m =in+m } {M k=1 b1 = i1 , ..., M bn+m = in+m } einen ∩-stabilen Erzeuger von σ (M) b Da die Mengen {M n b definieren und ∏k=1 P(τk > tk |Mk ) offenkundig messbar bezüglich dieser σ -Algebra ist, folgt vermöge eines Dynkin-System-Arguments b = P(τ1 > t1 , ..., τn > tn |M) n ∏ P(τk > tk |Mbk ) Pi -f.s. k=1 und weiter (setze t1 = ... = tn−1 = 0 und tn = t) b = P(τn > t|M bn ) Pi -f.s. P(τn > t|M) für alle i ∈ S , t ≥ 0 sowie n ∈ N, also schließlich b = P(τ1 > t1 , ..., τn > tn |M) also das Gewünschte. n b ∏ P(τk > tk |M) Pi -f.s., k=1 t u Lemma 8.12. Unter den Annahmen des vorherigen Satzes gilt (8.22) für die vor diesem definierte Absorptionszeit ρA . Beweis. Offensichtlich reicht es, Pi (ν > n, σn+1 = ∞) = 0 für alle n ≥ 0 und i ∈ S zu zeigen. Wir führen dazu einen Induktionsbeweis über n durch, wobei i ∈ S beliebig vorgegeben sei. Unter Benutzung von (8.21) ergibt sich für n = 0 Pi (ν > 0, σ1 = ∞) = lim Pi (ν > 0, σ1 > t) = 1(0,∞) (qi ) lim e−qi t = 0. t→∞ t→∞ Für den Induktionsschritt n − 1 7→ n gelte die Behauptung für n − 1 ∈ N0 . Es folgt mit der starken Markov-Eigenschaft Pi (ν > n, σn+1 = ∞) = Pi (ν > n − 1, σn < ∞, qMbn > 0, τn+1 = ∞) = Z {ν>n−1,σn <∞} PMbn (ν > 0, σ1 = ∞) dPi = 0, wobei die Induktionsvoraussetzung für die erste Gleichung benutzt wurde. Es folgt eine Klassifikation der Zustände eines MSP mit Hilfe der qi , i ∈ S . t u 8.5 Interpretation der Q-Matrix: Der Uhrenmechanismus 135 Definition 8.13. Sei M ein MSP mit Q-Matrix Q = (qij )i, j∈S und qi = −qii für i ∈ S . Dann heißt i ∈ S • stabil, falls 0 < qi < ∞, • absorbierend, falls qi = 0, • augenblicklich, falls qi = ∞. Augenblickliche Zustände treten unter Voraussetzung (A1), wie schon bei deren Einführung erwähnt, nicht auf und sind hier nur der Vollständigkeit halber definiert worden. 8.5 Interpretation der Q-Matrix: Der Uhrenmechanismus Nachdem wir nunmehr eingesehen haben, dass die Diagonalelemente der Q-Matrix von M bis auf ihr Vorzeichen die Parameter der exponentialverteilten Verweildauern angeben, stellt sich die Frage, welche Bedeutung die anderen Komponenten qij haben. Nicht ganz überraschend stellen sie den Zusammenhang zur Übergangsmab her, wie Satz 8.15 zeigen wird. Zu dessen Beweis trix Pb der eingebetteten DMK M benötigen wir folgendes Lemma. Lemma 8.14. Gegeben einen regulären MSP M = (Mt )t≥0 , existieren stetige Funktionen rij : R> → [0, 1], rij (0) = pbij , so dass pij (t) = δij e−qi t + Z t 0 qi e−qi (t−s) rij (s) ds. (8.23) für alle i, j ∈ S und t ≥ 0. Ferner folgt nach Differentiation dieser Beziehung p0ij (t) = qi (rij (t) − pij (t)). (8.24) Beweis. Aus (8.18) und der starken Markov-Eigenschaft folgt für alle i, j ∈ S pij (t) = Pi (Mt = j) = δij Pi (σ1 > t) + Pi (Mt = j, σ1 ≤ t) = δij e−qi t + ∑ Z = δij e−qi t + b k∈S {M1 =k,σ1 ≤t} = δij e−qi t + ∑ Z P(Mt = j|Fσ1 ) dPi pk j (t − σ1 ) dPi b k∈S {M1 =k,σ1 ≤t} Z t pbik qi e−qi s pk j (t − s) ds 0 k∈S ∑ 136 8 Theoretische Grundlagen = δij e−qi t + Z t 0 qi e−qi s rij (t − s) ds, wobei rij (t) := ∑ pbik pk j (t), t ≥ 0. k∈S rij ist offensichtlich stetig mit rij (0) = ∑k∈S pbik δ jk = pbij . t u Satz 8.15. Gegeben einen regulären MSP M = (Mt )t≥0 , ist die Übergangsmatrix b wie folgt durch Q bestimmt: Es gilt Pb = ( pbij )i, j∈S der eingebetteten DMK M pbii = 0 und pbij = qij /qi für j 6= i, falls 0 < qi < ∞ (i stabil), und pbij = δij für alle j ∈ S , falls qi = 0 (i absorbierend). Beweis. Setzt man in (8.24) des obigen Lemmas t = 0, so folgt qij = qi ( pbij − δij ) für alle i, j ∈ S , was offenkundig die Behauptung impliziert, falls 0 < qi < ∞ und j 6= i. Für die übrigen Fälle folgt das Gewünschte bereits aus dem Struktursatz 8.11. t u Da für i 6= j bereits vermöge Satz 8.8 die rechtsseitige Taylor-Entwicklung pij (t) = p0ij (0)t + o(t) = qij t + o(t), t ↓ 0, in 0 gilt, sieht man, dass qij auch die lineare Rate angibt, mit der M von i nach j in einen infinitesimalen Zeitraum springt. Aus diesem Grund werden die qij in der Beschreibung von MSP üblicherweise als Übergangsraten bezeichnet. Auf der Grundlage der Sätze 8.11 und 8.15 lässt sich der Sprungmechanismus eines MSPs mittels seiner Q-Matrix sehr schön naiv beschreiben. Vorweg notieren wir ein elementares Lemma, dessen Beweis dem Leser als Übung überlassen bleibt. Lemma 8.16. Seien (Xn )n≥0 und (λn )n≥0 Folgen unabhängiger Zufallsgrößen bzw. d nichtnegativer Zahlen, so dass Xn = Exp(λn ) und ∑n≥0 λn < ∞. Dann gilt ! λn d inf Xk = Exp ∑ λk und P Xn = inf Xk = k≥0 k≥0 ∑ k≥0 λk k≥0 für alle n ≥ 0. Gegeben einen regulären MSP mit Q-Matrix Q = (qij )i, j∈S , stellen wir uns nun vor, in jedem Zustand j ∈ S befinde sich ein Wecker, der nach jedem Sprung neu 32 Beweis: Setzt man in (6.26) des obigen Lemmas t = 0, so folgt qij = qi (p̂ij − δij ) für alle i, j ∈ S, was offenkundig die Behauptung impliziert, falls 0 < qi < ∞ und j = i. Für die übrigen Fälle Q-Matrix: 137 ♦ folgt8.5 dasInterpretation Gewünschtederbereits aus Der SatzUhrenmechanismus 6.8. gestellt wird,die mitStunde Ausnahme des Weckers Zustand, sagen wirSprungmechanismus’. i0 , in dem sich der 5. ”Wem schlägt”: Naive im Interpretation des Prozess gerade befindet. Die Alarmzeit des Weckers in j sei eine Exp(qi0 j )-verteilte Auf der Grundlage der Sätze 6.8 und 6.12 läßt sich der Sprungmechanismus eines MSPs mittels Alarmzeit X j , die unabhängig von denen aller anderen Wecker festgelegt wird. Soseiner Q-Matrix auch naiv beschreiben. Vorweg notieren wir ein elementares Lemma, dessen bald der erste Wecker klingelt, also zum Zeitpunkt inf j6=i0 X j , springt der Prozess in Beweis Leser als Zustand, Übung überlassen dendem zugehörigen sagen wirbleibt. i1 , und derselbe Mechanismus wiederholt sich: alle Wecker außer dem in i1 werden neu gestellt, Wecker Nr. j auf eine Exp(qi1 j ))n≥0veranschaulicht und (λn )n≥0 Folgen unabhängiger Zufallsgrößen bzw. 6.13. Lemma. (Xn8.1 verteilte Alarmzeit, Seien etc. Abb. den Mechanismus für einen MSP ∼ Exp(λ ) und λ < ∞.folgt, Danndass gilt unter diesem nichtnegativer Zahlen, so daß X n Mittels n n mit Zustandsraum {1, ..., 6}. des obigen Lemmas n≥0 Mechanismus der gegenwärtige Zustand i0 nach einer Exp(∑ j6=i0 qi0 j ) = Exp(qi0 ) λ P (Xn = inf Xk ) = Xk ∼ Expwird, λk zwarund inf verlassen verteilten Zeit und mit Wahrscheinlichkeit pbi0 i1 n= qi0 i1 /qi0 gen k≥0 k≥0 k≥0 k≥0 λk i1 . für alle n ≥ 0. M t σ σ t Abb. 8.1 Der Uhrenmechanismus MSP: Die Pfeile bezeichnen Bild 6.2. eines Sprungmechanismus eines MSP die jeweils nach einem Sprung eingestellten Alarmzeiten, wobei der jeweils einzige schwarze Pfeil zu demjenigen Wecker gehört, der als erster klingelt und somit den nächsten Zustand markiert. Gegeben einen MSP mit konservativer Q-Matrix Q = (qij )i,j∈S , stellen wir uns nun vor, in jedem Zustand j ∈ S befinde sich ein Wecker, der nach jedem Sprung neu gestellt Selbstverständlich dient der gerade beschriebene Mechanismus lediglich Anwird, mit Ausnahme des Weckers des Zustands, sagen wir i0 , in dem sich der Prozeß gerade schauungszwecken. Will man zu vorgegebener konservativer Q-Matrix Q, etwa auf befindet. Die Alarmzeit des Weckers in j sei eine Exp(qi0 j )-verteilte Alarmzeit Xj , die uneinem Rechner, einen MSP simulieren, wird man vielmehr das folgende Schema abhängig vonBezeichnet denen alleri anderen Wecker festgelegt wird. Sobald der erste Wecker klingelt, wählen: 0 einen beliebig gewählten Anfangszustand, so verharre dort alsoeine zumExp(q Zeitpunkt inf X , springt derRechner Prozeß in den eine zugehörigen Zustand, sagenZuwir i1 , j∈S Zeit j (auf dem durch demgemäß generierte i0 )-verteilte werden neu gestellt, undfallszahl derselbe Mechanismus wiederholt Wecker außer idem i1 -ten festgelegt) und springe sich: dannalle in den Zustand Wahrscheinlichkeit 1 mit qi0 i1 Nr. /qi0j. auf Verharre dort ieine Exp(q )-verteilte Zeit und springe dann in den )-verteilte Alarmzeit, etc. Bild 6.2 veranschaulicht denZuMechaWecker eine Exp(q i j 1 1 stand mit Wahrscheinlichkeit qi1 i2 /qi{1, Im Fall nismus füri2 einen MSP mit Zustandsraum ..., 6}. Dieeines Pfeileabsorbierenden bezeichnen dieZustands jeweils nach 1 , etc. bricht das Verfahren bei Erreichen eines solchen ab. Sofern der resultierende Prozess nicht explodiert (Bedingungen an Q hierfür gibt der nächste Abschnitt), erhält man in der Tat einen MSP mit Q-Matrix Q, wie in Satz ???? gezeigt wird. 138 8 Theoretische Grundlagen 8.6 Minimale Konstruktion und Explosion von MSP Auf der Grundlage der Sätze 8.11 und 8.15 kann man im Prinzip nach dem gerade beschriebenen Schema zu beliebiger konservativer Q-Matrix Q auf kanonische Weise einen MSP M mit der rechtsseitig stetigen, stückweise konstanten Pfaden b = (M bn )n≥0 mit Übergangsmatrix Pb gemäß konstruieren, indem man eine DMK M Satz 8.15 wählt und dazu eine Folge (τn )n≥1 von Verweildauern, die bedingt unter b stochastisch unabhängig sind mit P(τn ∈ ·|M) b = Exp(q b ) für alle n ≥ 1. NachM Mn zuweisen bleibt dann allerdings noch, gleichsam als Umkehrung des Struktursatzes, dass dies immer zu einem MSP mit SÜMF (P(t))t≥0 und Q-Matrix Q führt. Zudem kann hierbei ein Problem auftreten, das im letzten Abschnitt vermöge (A4) ausgeschlossen wurde, nämlich die Möglichkeit der Explosion des so konstruierten Prozesses, anschaulich durch unendlich viele Sprünge in endlicher Zeit beschrieben und formal durch Pi (ρE < ∞) > 0 für ein i ∈ S definiert, wobei ρE gemäß (8.9) die Explosionszeit bezeichnet. Bei Explosion determiniert das beschriebene Konstruktionsverfahren den Prozess M nur bis zum Zeitpunkt ρE , und die Fortsetzung von M über ρE hinaus unter Gewährleistung der Markov-Eigenschaft ist durch Q nicht in eindeutiger Weise festgelegt mit der Konsequenz, dass zu Q mehrere SÜMF P(t) mit P 0 (0) = Q existieren. Eine ebenso natürliche wie wichtige Frage lautet also, unter welchen Bedingungen an Q das Verfahren einen nicht explodierenden MSP M liefert, deren SÜMF P(t) die eindeutige Lösung von P 0 (0) = Q bildet. Eine Diskussion dieser Frage, wobei wir zum Teil auf Beweise verzichten werden, bildet Inhalt dieses Abschnitts. Für die anschließenden Überlegungen ist es sinnvoll, allgemeiner substochastische SÜMF zu betrachten, also Halbgruppen (P(t))t≥0 auf S mit limt→0 P(t) = I und ∑ j∈S pij (t) ≤ 1 für alle i ∈ S . Wir erweitern wieder den Zustandsraum um ein weiteres Element ∆ und fassen S∆ = S ∪ {∆ } als Einpunkt-Kompaktifizierung von S auf. Die dadurch induzierte Borelsche σ -Algebra S∆ entspricht hier weiterhin der Potenzmenge von S∆ . Wir weisen aber darauf hin, dass eine Zustandsfolge genau dann gegen ∆ konvergiert, wenn sie jede endliche Teilmenge von S nur endlich oft aufsucht. Die Fortsetzung von (P(t))t≥0 auf S∆ mit ∆ als absorbierendem Zustand bezeichnen wir mit (P∗ (t))t≥0 , also pi∆ (t) = 1 − ∑ pij (t), p∆ ∆ (t) = 1 und p∆ i (t) = 0 (8.25) j∈S für alle i ∈ S und t ≥ 0. Gemäß Satz 8.8 ist P∗ (t) auf R> komponentenweise stetig differenzierbar und besitzt in 0 eine rechtsseitige Ableitung, folglich die Q-Matrix Q∗ = (qij )i, j∈S∆ . Sei Q = (qij )i, j∈S deren Einschränkung auf S und weiter als QMatrix von (P(t))t≥0 bezeichnet. Umgekehrt nennen wir (P(t))t≥0 bei gegebenem Q eine zu Q gehörende substochastische SÜMF. Ist Q konservativ, so ist auch die Erweiterung Q∗ konservativ, denn es gilt dann q∆ = q∆ ∆ = q∆ i = qi∆ = 0 (8.26) 8.6 Minimale Konstruktion und Explosion von MSP 139 für alle i ∈ S . Für q∆ ∆ und q∆ i , i ∈ S , folgt dies sofort aus (8.25), während für qi∆ , i ∈ S , folgendes Argument zum Ziel führt: Sei o.B.d.A. S = N. Dann gilt für alle i, n ≥ 1 1 − ∑ j≥1 pij (t) t↓0 t pij (t) 1 − pii (t) ≤ lim − ∑ lim = qi − ∑ qij , t↓0 t t i6= j≤n t↓0 i6= j≤n qi∆ = lim und der letzte Ausdruck konvergiert, da Q konservativ, für n → ∞ gegen 0. Wir können nun zu einer beliebigen konservativen Q-Matrix Q = (qij )i, j∈S mit Hilfe des am Ende des vorherigen Abschnitts beschriebenen Verfahrens einen regulären MSP M ∗ , indem wir das Problem der Explosion durch die Erweiterung von S um den absorbierenden Zustand ∆ und Übergang zu Q∗ lösen. b ∗ und die VerWir wählen das kanonische Modell für die eingebettete DMK M ∗ weildauern (τn )n≥0 des zu konstruierenden MSPs M : Seien Ω = (S∆ × [0, ∞])N0 , A = (S∆ ⊗ B([0, ∞])N0 sowie bn∗ : Ω → S∆ , M (ik ,tk )k≥0 7→ in und τn : Ω → [0, ∞], (ik ,tk )k≥0 7→ tn die zugehörigen Projektionen. Sei ferner Pb = ( pbij )i, j∈S die gemäß Satz 6.12 durch Q festgelegte Übergangsmatrix. Für beliebiges i ∈ S definieren wir das Wahrscheinlichkeitsmaß Pi auf (Ω , A) in der durch Satz 6.8 vorgeschriebenen Weise, nämlich Pi (M0 = i, τ0 = 0) = 1 für alle i ∈ S∆ , bk∗ = ik , τk > tk für 1 ≤ k ≤ n) := Pi (M n−1 ∏ pbik ik+1 exp(−qik tk+1 ) k=0 für beliebige n ∈ N, i1 , ..., in ∈ S und t1 , ...,tn ≥ 0, sowie bn ,τn )n≥1 (M P∆ := δ((∆ ,∞),(∆ ,∞),...) . bn∗ )n≥0 dann unter jedem Pi , i ∈ S , eine DMK mit ZuMan sieht sofort, dass (M standsraum S , Startpunkt i und Übergangsmatrix Pb bildet und dass die τn , n ≥ 1 b = Exp(q b ∗ ) bn∗ )n≥0 stochastisch unabhängig sind mit P(τn ∈ ·|M) bedingt unter (M Mn−1 für alle n ≥ 1. Die Variable τ0 , per definitonem f.s. identisch 0 unter jedem Pi , wurde nur zur Vereinfachung der obigen Definitionen eingeführt. M ∗ definieren wir nun in kanonischer Weise durch ( bn∗ , falls σn ≤ t < σn+1 oder σn = ∞, n ∈ N0 M ∗ Mt = (8.27) ∆ , falls t ≥ ρE = limn→∞ σn wobei natürlich σ0 = 0 und σn = τ1 +...+τn für n ∈ N die Sprungzeiten bezeichnen. Unter P∆ gilt offenbar Mt = ∆ für alle t ≥ 0. 140 8 Theoretische Grundlagen Satz 8.17. Der zu Q konstruierte Prozess M ∗ ist unter jedem Pi , i ∈ S , ein (A1)(A3) genügender MSP mit Zustandsraum S∆ , Q-Matrix Q∗ und einer SÜMF P∗ (t) = (pij (t))i, j∈S∆ , die (8.25) erfüllt. Außerdem bildet (Ω , A, M ∗ , (Pi )i∈S∆ ) ein Standardmodell für (P∗ (t))t≥0 . Beweis. Dass M ∗ die Càdlàg-Eigenschaft besitzt, ergibt sich leicht aus (8.27). Die Hauptarbeit besteht, wie schon in der Einleitung dieses Abschnitts bemerkt, vielmehr darin nachzuweisen, dass M ∗ tatsächlich einen Markov-Prozess mit Q-Matrix b ∗ , (τn )n≥1 ) für eine geeignete messbare Q∗ definiert. Offensichtlich gilt M ∗ = f (M Funktion f : Ω → D(S∆ ), D(S∆ ) der Raum der rechtsseitig stetigen Funktionen von [0, ∞) nach S∆ mit linksseitigen Limiten, auch “Càdlàg-Funktionen” genannt. Entsprechend folgt für den Post-t-Prozess M ∗(t) bν(t)+n )n≥0 , σν(t) − t, τν(t)+1 , τν(t)+2 , ...), M ∗(t) = f ((M mit derselben Funktion f , wobei ν(t) = inf{n ≥ 1 : σn > t}. M ∗ ist adaptiert bezüglich b0∗ , ..., M b∗ Ft := σ (ν(t), M ν(t)−1 , τ1 , ..., τν(t)−1 ), t ≥ 0. Es genügt demnach, für jedes t > 0 b ∗(ν(t)) ,σν(t) −t,τν(t)+1 ,τν(t)+2 ,...)|Ft P(M b ∗ ,(τn )n≥1 ) (M Mν(t)−1 = P b∗ zu zeigen. Auf weitere Details verzichten wir jedoch und begnügen uns mit dem b ∗ sowie die GedächtHinweis, dass die bedingte Unabhängigkeit der τn gegeben M nislosigkeit der Exponentialverteilung garantieren, dass die bedingte Verteilung der bν(t)+n , τν(t)+n )n≥0 , nur von M bν(t)−1 “kritischen Größe” σν(t) −t, gegeben Ft und (M abhängt, aber nicht von der schon verstrichenen Verweildauer t − σν(t)−1 in diesem Zustand (natürlich eine Exponentialverteilung mit Parameter qMb ). ν(t)−1 Aufgrund der Definition von M ∗ ist klar, dass dieser (A1) und (A2) genügt und dessen ÜMF (P∗ (t))t≥0 (8.25) erfüllt. Auch erinnern wir daran, dass Q∗ wegen (8.26) konservativ ist. Zu zeigen bleibt, dass (P∗ (t))t≥0 die Q-Matrix Q∗ besitzt und damit insbesondere eine SÜMF bildet. Es gilt für alle i ∈ S∆ lim t↓0 1 − pii (t) Pi (Mt∗ 6= i) Pi (σ1 ≤ t) 1 − e−qi t = lim = lim = lim = qi . t↓0 t↓0 t↓0 t t t t Für absorbierendes i und j 6= i erhält man außerdem sofort lim t↓0 pij (t) = 0 = qij . t 8.6 Minimale Konstruktion und Explosion von MSP 141 Etwas mehr Arbeit bereitet der Fall i, j ∈ S∆ , i 6= j und i nicht absorbierend (qi > 0). Hier ergibt sich zunächst die Ungleichung b1∗ = j) ≤ pij (t) Pi (σ1 ≤ t < σ2 , M b1∗ = j) + Pi (σ2 ≤ t) ≤ Pi (σ1 ≤ t < σ2 , M (8.28) und unter Benutzung von pbij = qij /qi sowie der bedingten Unabhängigkeit der τn b∗ gegeben M b1∗ = j) = pbij Pi (σ1 ≤ t < σ2 , M = qij = qij für t ↓ 0. Es folgt somit lim t↓0 Z [0,t] Z t 0 Z t 0 b1 = j) Pσ1 (ds) P(τ2 > t − s|M i P j (σ1 > t − s)e−qi s ds e−qi s−q j (t−s) ds = qij t + o(t) pij (t) = qij t aus (8.28), wenn wir noch Pi (σ2 ≤ t) = o(t) für t ↓ 0 zeigen. Eine ähnliche Rechnung wir zuvor liefert aber Pi (σ2 ≤ t) = ∑ qik k6=i Z t 0 Pk (σ1 ≤ t − s)e−qi s ds ≤ t ∑ qik (1 − e−qk t ) = o(t) k6=i für t ↓ 0 unter Beachtung von ∑k6=i qik = qi < ∞. t u Ein Blick auf die obige Konstruktion legt die (richtige) Vermutung nahe, dass statt der Absorption in ∆ zum Explosionszeitpunkt ρE auch andere Fortsetzungen über ρE hinaus unter Gültigkeit der Markov-Eigenschaft möglich sind, etwa der Neustart in einem vorgegebenen Zustand j ∈ S oder gemäß irgendeiner vorgegeet )t≥0 auf S∆ , konstruiert benen Startverteilung auf S . Für einen derartigen MSP (M ∗ e wie vor Satz 8.17, gilt dann (Mt )0≤t<ρE = (Mt )0≤t<ρE und et = j) = Pi (Mt∗ = j, ρE > t) + Pi (M et = j, ρE ≤ t) Pi (M ≥ Pi (Mt∗ = j, ρE > t) = Pi (Mt∗ (8.29) = j) für alle i, j ∈ S . Darüber hinaus ist die Einpunkt-Kompaktifizierung von S nicht “das Ende der Geschichte”, will man zu gegebener Q-Matrix Q alle SÜMF durch Konstruktion eines zugehörigen MSPs in obiger Weise bestimmen. Dies liegt daran, dass alle “explodierenden Pfade” in der Einpunkt-Kompaktifizierung gegen denselben Punkt ∆ konvergieren und somit eine Fortsetzung des Prozesses unter Erhaltung der Markov-Eigenschaft über ρE in ein und derselben Weise zu erfolgen hat. Wählt man dagegen eine andere Kompaktifizierung mit mehr als einem Konvergenzpunkt 142 8 Theoretische Grundlagen bei Explosion, so kann man für jeden dieser Punkte eine andere Fortsetzung wählen. Will man also alle SÜMF zu Q bestimmen, so muss man die “größte” Kompaktifizierung, genannt Stone-Čech-Kompaktifizierung, zugrundelegen1 . Dem Leser dürfte klar sein, dass wir dies hier nicht weiter vertiefen wollen. Wir notieren nur noch als allgemeine Bestätigung von (8.29): e = ( peij (t))i, j∈S Satz 8.18. Für jede zu Q gehörende substochastische SÜMF P(t) gilt peij (t) ≥ pij (t) (8.30) für alle i, j ∈ S und t ≥ 0. Ist P(t) = (pij (t))i, j∈S stochastisch, gilt also pi∆ (t) = 0 für alle i ∈ S und t ≥ 0, so ist P(t) die einzige zu Q gehörende substochastische SÜMF. Beweis. Die zuletzt gemachte Eindeutigkeitsaussage folgt sofort aus (8.30), zu dessen Beweis wir allerdings auf A NDERSON [3, Theorem 2.2 auf S. 70] verweisen. t u Aufgrund der Minimalitätseigenschaft (8.30) bezeichnet man M ∗ als die zu Q gehörende minimale Konstruktion. Sie erfüllt, auch wenn sie substochastisch ist, sowohl die VDGl als auch die RDGl. Die Einschränkung P(t) von P∗ (t) ist offensichtlich genau dann stochastisch, wenn M ∗ nicht-explodierend ist, d.h. ρE = ∞ fast sicher gilt. Der nächste Satz gibt dafür ein notwendiges und hinreichendes Kriterium an Q, das von G.E.H. R EUTER2 stammt. Wir bezeichnen dazu einen Vektor x = (xi )i∈S ∈ RS als nichtnegativ bzw. beschränkt, falls xi ≥ 0 für alle i ∈ S bzw. supi∈S |xi | < ∞. Satz 8.19. [Explosionskriterium von Reuter] Die minimale Konstruktion M ∗ ist genau dann nicht-explodierend, wenn x = 0 die einzige nichtnegative, beschränkte Lösung der Gleichung Qx = x bildet. Beweis. Sei zunächst angenommen, dass M ∗ explodierend ist. Dann existiert ein i ∈ S mit Pi (ρE < ∞) > 0. Setzen wir x j = E j e−ρE , j∈S, 1 Dies soll bedeuten: Bezeichnet β die Einbettung von S in die Stone-Čech-Kompaktifizierung β S (Homöomorphie von S nach β (S )) und K irgendeinen kompakten Raum, so gilt: Für jede stetige Abbildung f : S → K existiert eine eindeutig bestimmte stetige Abbildung g : S → β S , so dass f = β ◦ g (siehe VON Q UERENBURG [19, S. 136]. 2 G ERD “H ARRY ” E DZARD R EUTER (1921-1992), genannt Harry Reuter, war der Sohn des späteren Berliner Bürgermeisters E RNST R EUTER (1889-1953), der als Sozialdemokrat während der NS-Zeit Deutschland verlassen musste. Harry Reuter kam 1935 nach England und erhielt dort 1938 die Staatsbürgerschaft. Er lehrte ab 1959 als Professor in Durham und danach am Imperial College in London. Später lebte er in Cambridge. 8.6 Minimale Konstruktion und Explosion von MSP 143 so folgt xi > 0, und x = (xi )i∈S ist ein nichtnegativer, beschränkter Vektor 6= 0. Wir zeigen nun Qx = x. Es ergibt sich unter Benutzung von q j = −q jj , pbjk = q jk /q j sowie der starken Markov-Eigenschaft für alle j ∈ S xj = = = ∑ ∗ k6= j {Mσ1 =k} Z ∞ ∑ pbjk k6= j Z ∞ 0 = = Z 0 e−ρE dPj q j e−q j t Ek e−t−ρE dt q j e−(1+q j )t dt ∑ pbjk xk (8.31) k6= j qj 1+qj ∑ pbjk xk k6= j 1 1 − q jj ∑ q jk xk k6= j und daraus nach einfacher Umformung das Gewünschte. Sei nun M ∗ als nicht-explodierend vorausgesetzt und x = (xi )i∈S eine nichtnegative, beschränkte Lösung von Qx = x, also xi = qij x j ∑ 1+qj j6=i für alle i ∈ S , wie soeben eingesehen. O.B.d.A. können wir supi∈S |xi | ≤ 1 annehmen. Wir definieren (0) (n) xi = 1 und xi = Ei e−σn , n ≥ 1 für i ∈ S . Eine ähnliche Rechnung wie in (8.31) ergibt für alle n ≥ 0 (n+1) xi = ∑ pbij j6=i (0) Z ∞ 0 (n) (n) qi e−(1+qi )t x j dt = qij x j ∑ 1 + qi . (8.32) j6=i Da 1 = xi ≥ xi für alle i ∈ S , folgt nun mit einer Induktion über n unter Verwen(n) (n) dung von (8.32) xi ≥ xi für alle i ∈ S und n ≥ 0. Andererseits gilt xi → 0 für alle i ∈ S wegen σn ↑ ρE = ∞ Pi -f.s. und majorisierter Konvergenz, so dass x = 0. t u Der Nachteil von Reuters Explosionskriterium besteht darin, dass es nicht immer einfach zu überprüfen ist. Eine in dieser Hinsicht bessere Alternative bildet Korollar 7.5 im Anschluß an den folgenden Satz, aus dem es sich als einfache Konsequenz ergibt. Satz 8.20. Sei Λ = ∑n≥0 q−1 bn∗ . Dann gilt Pi (Λ < ∞) = Pi (ρE < ∞) für alle i ∈ S , M ∗ und M ist folglich genau dann nicht-explodierend, wenn Λ = ∞ fast sicher. 144 8 Theoretische Grundlagen b ∗ = (M bn∗ )n≥0 die eingebettete DMK Beweis. In den üblichen Bezeichnungen sei M m−1 −1 ∗ ∗ b von M . Da σn ↑ ρE und E(σm |M ) = ∑k=0 q b ∗ f.s., folgt aufgrund monotoner Mk b ∗ ) = Λ f.s. und damit {Λ < ∞} ⊂ {ρE < ∞} f.s. Bedingt unter Konvergenz E(ρE |M ∗ b M liefert der Kolmogorovsche Dreireihensatz [+ z.B. G ÄNSSLER & S TUTE [9, Satz 2.2.9 auf S. 126)]] auf {ρE < ∞} −q ∑ P τn > 1|Mb ∗ = ∑ e Mbn∗ < ∞ und n≥1 n≥0 ∗ b E τ ∧ 1|( M = n ∑ 1−e ∑ q b∗ n≥0 M n≥1 woraus leicht Λ < ∞ folgt. −qMb ∗ n < ∞ f.s. n t u Korollar 8.21. Hinreichende Bedingungen dafür, dass M ∗ nicht-explodierend ist, d.h. für ρE = ∞ f.s. bilden: (a) (b) (c) Der Zustandsraum S ist endlich. supi∈S qi < ∞. b ∗ ist rekurrent. Die eingebette DMK M Literaturverzeichnis 145 Literaturverzeichnis 1. Alsmeyer, G.: Wahrscheinlichkeitstheorie, Skripten zur Mathematischen Statistik, 5. Auflage, vol. 30. Institut f. Math. Statistik, Universität Münster, Münster (2007) 2. Alsmeyer, G.: Wahrscheinlichkeitstheorie einschließlich Grundlagen der Maß- und Integrationstheorie, Skripten zur Mathematischen Statistik, vol. 40. Institut f. Math. Statistik, Universität Münster, Münster (2015) 3. Anderson, W.J.: Continuous-time Markov chains. Springer Series in Statistics: Probability and its Applications. Springer-Verlag, New York (1991). An applications-oriented approach 4. Blackwell, D.: A renewal theorem. Duke Math. J. 15, 145–150 (1948) 5. Blackwell, D.: Extension of a renewal theorem. Pacific J. Math. 3, 315–320 (1953) 6. Erdös, P., Feller, W., Pollard, H.: A property of power series with positive coefficients. Bull. Am. Math. Soc. 55, 201–204 (1949) 7. Fisher, R.A.: The genetical theory of natural selection, variorum edn. Oxford University Press, Oxford (1999). Revised reprint of the 1930 original, Edited, with a foreword and notes, by J. H. Bennett 8. Gale, J.S.: Theoretical Population Genetics. Unwin Hyman, London (1990) 9. Gänssler, P., Stute, W.: Wahrscheinlichkeitstheorie. Springer-Verlag, Berlin (1977) 10. Griffeath, D.: A maximal coupling for Markov chains. Z. Wahrscheinlichkeitstheorie und Verw. Gebiete 31, 95–106 (1974/75) 11. Griffeath, D.S.: Coupling methods for Markov processes. ProQuest LLC, Ann Arbor, MI (1976). Thesis (Ph.D.) – Cornell University 12. Jagers, P.: Branching processes with biological applications. Wiley-Interscience [John Wiley & Sons], London (1975). Wiley Series in Probability and Mathematical Statistics – Applied Probability and Statistics 13. Kelly, F.P.: Reversibility and stochastic networks. Cambridge Mathematical Library. Cambridge University Press, Cambridge (2011). Revised edition of the 1979 original with a new preface 14. Lindvall, T.: A probabilistic proof of Blackwell’s renewal theorem. Ann. Probability 5(3), 482–485 (1977) 15. Lindvall, T.: W. Doeblin 1915–1940. Ann. Probab. 19(3), 929–934 (1991) 16. Lindvall, T.: Lectures on the coupling method. Wiley Series in Probability and Mathematical Statistics: Probability and Mathematical Statistics. John Wiley & Sons Inc., New York (1992). A Wiley-Interscience Publication 17. Moran, P.A.P.: Random processes in genetics. Proc. Cambridge Philos. Soc. 54, 60–71 (1958) 18. Pitman, J.W.: Uniform rates of convergence for Markov chain transition probabilities. Z. Wahrscheinlichkeitstheorie und Verw. Gebiete 29, 193–227 (1974) 19. von Querenburg, B.: Mengentheoretische Topologie. Springer-Verlag, Berlin (1973) 20. Resnick, S.: Adventures in stochastic processes. Birkhäuser Boston Inc., Boston, MA (1992) 21. Thorisson, H.: Coupling, stationarity, and regeneration. Probability and its Applications (New York). Springer-Verlag, New York (2000) 22. Wright, S.: Evolution in Mendelian populations. Genetics 16(2), 97–159 (1931) Sachverzeichnis Abkürzungen, Liste von, xi absorbierend, 47 adaptiert (bzgl. einer Filtration), 12 Anfangsverteilung, 3 Aussterbewahrscheinlichkeit, 42 Bedienungssystem, 27 mit konstanten Bedienungszeiten, 39 Besuchskette, 81 Blackwellsches Erneuerungstheorem, 88, 90 Càdlàg-Eigenschaft, 123 Chapman-Kolmogorov-Gleichungen, 8, 122 detaillierte Gleichgewichtsgleichungen, 108 diploid, 31 DMK, 4 Doeblin -Bedingung, 92 -Kette, 92 duale Markov-Kette, 107 Übergangsmatrix, 107 Ehrenfest-Modell, 30, 115 Eigenschaft Càdlàg-, 123 Klassen-, 61 Markov-, 4, 121 Solidaritäts-, 61 starke Markov-, 20, 124 EMK, 4 Ergodensatz für positiv rekurrente DMK, 82 für positiv rekurrente EMK, 76 pfadweiser ... für positiv rekurrente DMK, 87 Ergodizität exponentielle, 92 geometrische, 92 gleichmäßig exponentielle, 92 gleichmäßige, 92 schwache, 80 starke, 80 Erneuerungsdichte, 90 Erneuerungsprozess diskreter, 89 Erneuerungstheorem Blackwellsches, 88, 90 Exkursion einer Markov-Kette, 50 Explosions -zeit, 125, 138 Filtration, 11 kanonische, 12 Folge Post-τ-, 16 Formel Stirlingsche, 56 Friedhof, 19 Galton-Watson-Verzweigungsprozess, 41 Geburts- und Todesprozess, 114 Geburtsprozess, 102 geometric trials argument, 63 Gleichung Chapman-Kolmogorov-...en, 8, 122 detaillierte Gleichgewichts-...en, 108 haploid, 31 hit chain, 81 invariant 147 148 -e Verteilung, 23 -es Maß, 22 irreduzibel, 45 Irrfahrt auf Z, 102 auf Zd , 35, 55 auf einem Graphen, 29, 112 mit absorbierenden Barrieren, 29 mit reflektierenden Barrieren, 29, 115 reflektierende, 37 symmetrische/asymmetrische, 29 kanonischer Prozess, 9 kanonisches Modell, 10 Klasse, 45 -neigenschaft, 61 Rekurrenz-, 65 zyklische, 85 Konvergenz gleichmäßige ... im Césaro-Mittel, 69 gleichmäßige ... im Zeitmittel, 69 gleichmäßige Verteilungs-, 69 in Totalvariation, 69, 76 Koordinatenprozess, 9 Kopplung, 74 -sprozess, 78 -sungleichung, 75, 76 -szeit, 76 Sachverzeichnis reversible, 107 sprungfreie, 114 Standardmodell, 10 stationäre/invariante Verteilung, 23 stationäres/invariantes Maß, 22 transiente, 62 zeitlich homogene, 4 Markov-Sprungprozess, 121 ε-Skelett, 126 regulärer, 131 Struktursatz, 131 Maß invariantes/stationäres, 22 essentiell eindeutiges, 95 Matrix doppelt stochastische, 111 positive, 45 Q-, 127 Übergangs-, 5 Modell Ehrenfest-, 30, 115 kanonisches, 10 Lagerhaltungs-, 40 Moran-, 34 Standardeiner Markov-Kette, 10 Wright-Fisher-, 31 Moran-Modell, 34 MSP, 121 Lagerhaltungsmodell, 40 null-rekurrent, 53 Markov-Eigenschaft, 4, 121 starke, 20, 124 Markov-Kette aperiodische, 62 auf einem Baum, 112 bzgl. einer Filtration, 18 d-Skelett, 85 diskrete, 4 duale, 107 eingebettete, 131 endliche, 4 ergodische, 80 exponentiell, 92 geometrisch, 92 gleichmäßig, 92 gleichmäßig exponentiell, 92 irreduzible, 45 kanonisches Modell, 10 mit zwei Zuständen, 27, 117 periodische, 62 rekurrente, 62 null-, 62 positiv, 62 positiv rekurrent, 53 Post -n-Folge, 19 Prozess diskreter Erneuerungs-, 89 Galton-Watson-Verzweigungs-, 41 Geburts-, 102 kanonischer, 9 Koordinaten-, 9 Markov Sprung-, 121 Post-t-, 122 Prä-t-, 122 Q-Matrix, 127 konservative, 128 Rückkehrzeit, 19 Random Walk diskreter ... auf Zd , 36 Nächste-Nachbarn-, 39 sprungfreier, 39 RDGl, 128 Sachverzeichnis rekurrent, 53 Rekurrenz -klasse, 65 -kriterium, 54, 101 -menge, 81 -zeit, 19 mittlere, 53 Vorwärts-, 89 von Irrfahrten auf Zd , 55 Reproduktions -verteilung, 41 Reversibilität, 105, 107 Kolmogorov-Kriterium für, 110 Rückwärts-Differentialgleichungen, 128 Satz Ergoden- ... für positiv rekurrente DMK, 82 Ergoden- ... für positiv rekurrente EMK, 76 pfadweiser Ergoden- ... für positiv rekurrente DMK, 87 Struktur- ... für MSP, 131 Segment einer Markov-Kette, 50 σ -Algebra der τ-Vergangenheit, 13, 20, 123 Skelett d- ... einer Markov-Kette, 85 Solidaritätseigenschaft, 61 Standardmodell einer Markov-Kette, 10 starke Markov Eigenschaft, 20, 124 stationär, 24 -e Verteilung, 23 -es Maß, 22 essentiell eindeutiges, 95 Stirlingsche Formel, 56 Stopzeit, 13 bzgl. einer Filtration, 13 bzgl. eines stochastischen Prozesses, 13 kontinuierliche, 123 Strähnen-Kette, 103 SÜMF, 126 Symbolen, Liste von, xiii Totalvariation, 69 transient, 53 149 Übergangs -kern, 3 1-Schritt-, 4 -matrix, 5 n-Schritt-, 8 duale, 107 -matrixfunktion, 122 Standard-, 126 -rate, 136 -wahrscheinlichkeit, 5 n-Schritt-, 8 stationäre, 4 ÜMF, 122 VDGl, 130 Verteilung invariante/stationäre, 23 Reproduktions-, 41 Verzweigungsprozess Galton-Watson-, 41 Vorwärts-Rekurrenzzeit, 89 Vorwärts-Differentialgleichungen, 130 Wahrscheinlichkeit Übergangs-, 5 n-Schritt-, 8 Wright-Fisher-Modell, 31 zeitlich homogen, 4, 121 Zustand, 3 (d)-periodischer, 48 absorbierender, 19, 135 aperiodischer, 48 augenblicklicher, 135 erreichbarer, 43 kommunizierender, 44 null-rekurrenter, 53 positiv rekurrenter, 53 rekurrenter, 53 stabiler, 135 transienter, 53 verbundener, 44 Zustandsraum, 3 zyklische Klasse, 85 Zyklus einer Markov-Kette, 50
© Copyright 2024 ExpyDoc