Stochastische Prozesse Stoffzusammenfassung

Stochastische Prozesse
Stoffzusammenfassung
Joachim Breitner
14. Mai 2016
Diese Zusammefassung ist natürlich alles andere als vollständig und zu knapp, um immer alle Aussagen
mit Voraussetzungen korrekt wiederzugeben. Man verwende sie mit Vorsicht.
1 Vokabeln, Definitionen und äquivalente Charakterisierungen
1.1 Markov-Ketten in diskreter Zeit
(Xn )x∈N0 , Xn : Ω → S
P = (pij )i,j∈S
(n)
P (n) = (pij )i,j∈S
i
j
i↔j
J ⊆ S abgeschlossen
(Xn ) irreduzibel
Ti
(n)
fij
fij∗
i rekurrent
i transient
ν : S → R≥0
ν invariant
γk : S → R≥0
mi
i positiv rekurrent
Markov-Kette mit Zustandsraum S
P (Xn+1 = in+i | X0 = i0 , . . . , Xn = in ) = pin in+1
Übergangsmatrix mit Übergangswahrscheinlichkeiten
n-Schritt-Übergangsmatrix mit n-Schritt-Übergangswahrscheinlichkeiten
(n)
∃n ∈ Npij > 0, „i führt nach j“
i
j∧j
i, „i kommuniziert mit j“
6 ∃j ∈ J, i ∈ S \ J : i
j
(pij , i, j ∈ S) ist stochastische Matrix
(Xn ) hat nur eine Äquivalenzklasse bzgl. „↔ ∨ =“
inf{n ∈ N | Xn = i}, „Ersteintrittszeit“
(1)
P (Tj = n | X0 = i), insbesondere fij = pij
P∞ (n)
n=0 fij = Pi (Tj < ∞)
∗
fii = 1
P∞
P∞ (n)
n=0 pij = ∞ = Ei ( n=0 1Xn =i ), die erwartete Zahl der Besuche.
i nicht rekurrent
Maß
P
Verteilung,
wenn gilt: a∈S ν(a) = 1
P
ν(i)p = ν(j), also ν = νP
i∈S
PTk ij
Ek ( n=1 1(Xn =i) ), Besucher pro Zyklus
invariant, 0 < γk < ∞, eindeutig mit γk (k) = 1, wenn (Xn ) irreduzibel, rekurrent.
(Xn ) irreduzibel, transient: stationäre Verteilung existiert nicht.
P
(n)
∗
Ei (Ti ) = ∞
n=1 n · fii + ∞ · (1 − fii )
i transient =⇒ mi = ∞.
mi < ∞
(Xn ) irreduzibel: Stationäre Verteilung existiert ⇐⇒ ein/alle Zustände positive
rekurrent. Dann: π(i) = m1i
1
(P h)(i)
P
pij h(j), vergleiche Matrix-Vektor-Multiplikation.
P h ≥ h =⇒ h(Xn ) Sub-Martingal
P h = h =⇒ h(Xn ) Martingal
P h ≤ h =⇒ h(Xn ) Super-Martingal
j∈S
1.2 Markov-Ketten in stetiger Zeit
1.2.1 Poisson-Prozess
(A1) t 7→ N (t, ω) ∈ {f : [0, ∞) → N0 | f (0) = 0, f monoton wachsend, f stetig von rechts}
(A2) Unabhängige Zuwächse
(A3) Identisch verteilte Zuwächse
(A4) Ereignisse einzeln: P (Nh ≥ 2) = o(h) für h → 0
Dann gilt:
• ∀s, t ≥ 0 : Ns+t − Ns ∼ Po(λt)
• Zeit zwischen Sprüngen Exp(λ)-verteilt.
Intensitätsmatrix:

−λ λ
0 ···

 0 −λ λ
0



 .

 ..
0 −λ λ


.. ..
.
.

1.2.2 Der allgemeine Fall
Markov-Eigenschaft
P (t) = (pij (t))
Pij SÜMF
Q = (qij )
qi
P konservativ
P (Xtn +h = in+1 | Xtk = ik , k = 1, . . . , n) = P (Xtn +h = in+1 | Xtn = in ) =
P (Xt+h = in+1 | Xt = in )
pij (t) := P (Xt = j | X0 = i), Übergangsmatrizenfunktion
limt→0 pij (t) = δij , „Standardübergangsmatrizenfunktion“
Instensitätsmatrix
p (t)−δ
qij := limt→0 ij t ij = p0ij (0)
Anschaulich: Kehrwert der Diagonalelemente sagt, wie lange die Kette in dem
Zustand bleibt, die anderen Elemente geben die Wahrscheinlichkeit des nächsten
Zustands an.
−q
P ii
i∈S qij = 0
1.3 Brownsche Bewegung
Gauss-Prozess
Brownsche Bew.
alle Fidis normalverteilt
P (B0 = 0) = 1, P -f.a. Pfade stetig, Bt − Bs unabhängig von Fs , N (0, t − s)verteilt.
2
P : R × B → [0, 1]
G Generator
Markov-Eigenschaft
Fτ
Progressiv messbar
⇐⇒ EBt = 0, Cov(Bs , Bt ) = s ∧ t, Gauss-Prozess mit F -f.s. stetigen Pfaden.
Stochasticher Kern
A 7→ P (x, A) Wahrscheinlichkeitsmaß und x 7→ P (x, A) messbar
limt→0 1t (Pt − P0 )
Bei BB: Gf = 12 f 00
P (Xt ∈ A | Fs ) = Pt−s (Xs , A)
{A ∈ F | ∀t ≥ 0 : A ∩ {τ ≤ t} ∈ Ft }
∀t ≥ 0 : (s, ω) 7→ Xs (ω) ist B([0, t]) ⊗ Ft -messbar.
2 Formeln
Methode des ersten Besuchs:
(n)
pij
=
n
X
(n) (n−k)
fij pjj
k=1
Übergangswahrscheinlichsgrenzwert bei Periode dj :
n·d +r
lim p j
n→∞ ij
∞
dj X k·dj +r
=
fij
mj
k=0
(n)
insbesondere ist pij → 0 für mj = ∞, d.h. i transient oder null-rekurrent.
Chapman-Kolmogorov-Gleichungen
• diskret
(n+m)
pij
=
X
(n) (m)
pik pkj
k∈S
• stetig
pij (t + s) =
X
pik (t)pkj (s)
k∈S
• allgemein (eigentlich die Definition von stochastischem Kern)
Z
Pt+s (x, A) = Ps (y, A)Pt (x, dy)
Kolmogorovsche Rückwärts-DGL:
P 0 (t) = QP (t) d.h. p0ij (t) = −qi pij (t) +
X
qik pkj (t)
k6=i
Kolmogorovsch Vorwärts-DGL: Wann genau gilt die?
P 0 (t) = P (t)Q
Ist S endlich, kann man P (t) = etQ schreiben.
Erfüllt Q die Bedingungen
X
qij = 0 und 0 < sup |qi i| =: λ < ∞
i∈S
j∈S
so gilt:
3
((∗))
• Ist N Poissonprozess und Yn Markov-Kette mit P = E + λ1 Q, dann ist Xt = YNt Markov-Kette
mit Intensitätsmatrix Q.
• µ ist invariantes Maß ⇐⇒ µQ = 0
• Ist Xn rekurrent, irreduzibel, dann gilt limt→∞ pij (t) =
1
mj qj
Ist (Bt ) eine Brownsche Bewegung, dann auch:
• (−Bt ), (Ba+t − Ba ), (cB t )
c2
• Zeitumkehr: (tB 1 )
t
• Spiegelungsprinzip: Der nach τ gespiegelte Prozess.
Eigenschaften der Brownschen Bewegung:
• sup Bt = ∞, inf Bt = −∞, also unendlich oft weit hoch und runter.
• P -fast-sicher nie Lipschitzs-Stetig
P
• Totalvariation ∞, quadratische Variation −
→ t.
• Stochastischer Kern Pt (x, ·) = N (x, t)
• Gf = 12 f 00
• Ist τ endliche Stoppzeit, dann ist (Bτ +t − Bτ ) verteilt wie (Bt ) und unabhängig von Fτ .
• Identisch verteilt sind: Mt := sup0≤s≤t Bs , Mt − Bt , |Bt |
• P -fast-sicher Nullstellenmenge perfekt
Invarianzprinzip von Dansker: Ist Eξi = 0, 0 < Var(ξi ) =: σ 2 < ∞, Sk =
(n)
btct)ξbtc+1 , (Xt )
Pk
j=1 ξi ,
Yt = Sbtc + (t −
1
√
:= σ n Ynt , dann konvergieren die Wahrscheinlichkeitsmaße Pn schwach gegen P ,
wobei P so ist, dass die Projektionen πt eine Brownsche Bewegung sind.
3 Wichtige Beweisideen
3.1 Konvergenz gegen stationäre Verteilung
Voraussetzungen: (Xn ) irreduzibel, aperiodisch, positiv rekurrent. „Kopplungs-Argument“: (Yn ) Kette
mit gleicher Übergangsmatrix, Yn ∼ π, T := inf{n ∈ N | Xn = Yn }.
• Zeige P (T < ∞) = 1
• Definiere
n
Zn := Xn , n ≤ T Yn , n > T
• Schätze ab
(n)
|pij − π(j)| ≤ 2 · Pν̂ (T > n) → P (T = ∞) = 0
4
3.2 µQ = 0 ⇐⇒ µ stationäre Verteilung
• P 0 (t) = P (t)Q = QP (t)
Rt
Rt
• =⇒ P (t) = E + Q 0 P (s)ds = E + 0 P (s)dsQ
Rt
• =⇒ µ = µP (t) = µ + 0 µP (s)dsQ = µ + t · (µQ) = µ
3.3 Solidaritätsprinzip
(
(n)
i rekurrent, j ∈ K(i), also ∃m, n ∈ N : pij m)pji > 0. Dann
∞
X
(k)
pjj ≥
k=0
∞
X
(n+m+k)
pjj
≥
k=0
∞
X
(n) (k) (m)
pji pii pij
(m) (n)
= pij pji
k=0
k=0
4 Verteilungen
• N (0, σ 2 ): f (x) =
√1
σ 2π
exp(− 12 ( σx )2 )
• Exp(λ): f (x) = λe−λx , F (x) = 1 − e−λx , EX = λ1 , Var X =
• Po(λ): P (X = k) =
λk −λ
,
k! e
∞
X
EX = Var X = λ.
5
1
.
λ2
(k)
pii = ∞

Download Report