Markov-Ketten ¨Ubungen WS 2015/16

Markov-Ketten Übungen
WS 2015/16
7.Übungsblatt
Aufgaben für den 28.01.2016
1. Nehmen Sie die bewertete Markov-Kette {X(n)}n∈N0 mit den Daten:
Zustand
1
2
3
Strategie
1
2
3
1
2
1
1/2
1/4
1/2
1/2
1/4
1/4
pkij
1/4
1/2
1/2
0
1/4
1/4
1/4
1/4
0
1/2
1/2
1/2
qik
8
7
10
16
8
7
Bestimmen Sie eine optimale Politik für die beschränkte Anzahl von Stufen n im Problem mit dem Diskontierungsfaktor β (Mathematica), wobei β = {0.1, 0.2, . . . , 0.9}.
Vergleichen Sie die Ergebnisse.
2. Nehmen Sie die bewertete Markov-Kette {X(n)}n∈N0 mit der Daten aus der Aufgabe 2 (Übungsblatt 5). Bestimmen Sie eine optimale Politik für die beschränkte Anzahl von Stufen n im Problem mit dem Diskontierungsfaktor β, wobei β =
{0.1, 0.2, . . . , 0.9} (Mathematica). Vergleichen Sie die Ergebnisse.
3. Bestimmen Sie die Zustandswahrscheinlichkeiten sowie die Grenzwahrscheinlichkeiten für die Markov-Kette {X(t)}t≥0 mit kontinuierlicher Zeit, Zustandsraum
E = {1, 2, 3, 4, 5} und Infinitesimalmatrix


−5 5
0
0
0


 10 −15
5
0
0


0 −10 0
7
A=
.
 3

0
2 −10 8 

 0
0
0
0
4 −4
Hinweis: Lösen Sie das Differentialgleichungssystem direkt und mit Hilfe der LaplaceTransformierete. In beiden Fällen dürfen Sie mit Mathematica arbeiten. Als Anfangsbedienung nehmen wir an, dass π1 (0) = 1 und πi (0) = 0 für i 6= 1. Stellen Sie
die Lösungen πi (t), i ∈ E, in Abhängigkeit von t graphisch dar.

Download Report