Vorlesung Mathematische Statistik
Sommersemester 2015
Humboldt-Universit¨
at zu Berlin
Prof. Dr. Markus Reiß
¨
1. Ubungsblatt
1. Beweisen Sie den Korrespondenzsatz zwischen Tests und Konfidenzbereichen:
Sind f¨
ur jeden Parameter ϑ0 ∈ Θ Tests ϕϑ0 auf die Hypothese H0 : ϑ = ϑ0
(gegen irgendeine Alternative) vom Niveau α ∈ (0, 1) gegeben, so bildet
n
o
C := ϑ0 ∈ Θ ϕϑ0 akzeptiert H0 : ϑ = ϑ0
eine (1 − α)-Konfidenzmenge. Andersherum kann aus einer (1 − α)Konfidenzmenge eine Familie solcher Tests (ϕϑ0 ) konstruiert werden (wie?).
2. Es seien X und Y rellwertige Zufallsvariablen mit E[|Y |] < ∞ und gemeinsamer Lebesgue-Dichte f X,Y . Als bedingte Dichte von Y gegeben X = x definiert
man
f X,Y (x, y)
f Y |X=x (y) := R X,Y
.
(x, η) dη
Rf
(a) Zeigen Sie, dass f Y |X=x f¨
ur P X -fast alle x wohl definiert ist.
R
(b) Betrachten Sie die Funktion g(x) = R yf Y |X=x (y) dy, falls die rechte
Seite wohldefiniert ist, und g(x) = 0 andernfalls. Weisen Sie nach, dass
g(X) eine Version der bedingten Erwartung E[Y |X] ist.
(c) X und Y m¨
ogen gemeinsam normalverteilt sein mit Erwartungswert µ ∈
R2 und Kovarianzmatrix Σ ∈ R2×2 . Bestimmen Sie E[Y |X].
3. F¨
ur X und Y wie in Aufgabe 2 ist m(x) ein bedingter Median von Y gegeben
X = x, sofern
Z
m(x)
f Y |X=x (y) dy = 1/2 (falls wohldefiniert)
−∞
gilt. Zeigen Sie, dass m die Minimalit¨atseigenschaft
E[|Y − m(X)|] = inf E[|Y − h(X)|]
h
besitzt, wobei sich das Infimum u
¨ber alle Borel-messbaren h : R → R erstreckt.
Welches Kriterium minimieren die entsprechend definierten bedingten αQuantile, α ∈ (0, 1)?
4. Bei acht Absolventen werden anhand einer Befragung die Studiendauer und
das Einstiegsgehalt (in 1000¿) ermittelt:
Studiendauer xi
10 9 11 9 11 12 10 11
Einstiegsgehalt Yi 35 35 34 36 41 39 40 38
(a) Modellieren Sie dies als ein lineares Modell und bestimmen Sie die Regressionsgerade. Zeichnen Sie Daten und Regressionsgerade in ein geeignetes
Koordinatensystem ein.
(b) Es stellt sich heraus, dass die ersten Vier ein anderes Fach studiert haben
als die anderen Vier. Bestimmen und zeichnen Sie die Regressionsgeraden
f¨
ur beide Studienf¨
acher getrennt.
(c) Wie erkl¨
aren Sie die unterschiedlichen Ergebnisse in (a) und (b)?
Abgabe vor der Vorlesung am Freitag, dem 24.4.15.
Vorlesung Mathematische Statistik
Sommersemester 2015
Humboldt-Universit¨
at zu Berlin
Prof. Dr. Markus Reiß
¨
2. Ubungsblatt
1. Es sei (X , F, (Pϑ )ϑ∈Θ ) ein statistisches Experiment sowie π eine a-prioriVerteilung auf (Θ, FΘ ), so dass Pϑ µ f¨
ur alle ϑ ∈ Θ sowie π ν gilt
mit σ-endlichen Maßen µ und ν und Dichten fX|Θ=ϑ bzw. fΘ . Zeigen Sie f¨
ur
(F ⊗ FΘ )-messbare Funktionen (x, ϑ) 7→ fX|Θ=ϑ (x) ∈ [0, ∞):
R
(a) F¨
ur fX (x) := Θ fX|Θ=ϑ (x)fΘ (ϑ)ν(dϑ) in (0, ∞) definiere fΘ|X=x (ϑ)
durch
fX|Θ=ϑ (x)fΘ (ϑ)
fΘ|X=x (ϑ) :=
,
ϑ ∈ Θ,
fX (x)
und sonst durch fΘ|X=x (ϑ) := fΘ (ϑ), ϑ ∈ Θ, dann ist fΘ|X=x eine νWahrscheinlichkeitsdichte f¨
ur alle x ∈ X .
(b) Es seien X und Θ Zufallsvariablen mit der gemeinsamen Verteilung
˜
P(dx,
dϑ) = Pϑ (dx)π(dϑ). Die Funktion g : X × Θ →
sei (F ⊗ FΘ )messbar. Ist g nichtnegativ oder ist EP˜ [|g(X, Θ)|] < ∞, dann gilt
Z
EP˜ [g(X, Θ)|X = x] =
g(x, ϑ)fΘ|X=x (ϑ)ν(dϑ)
R
Θ
und speziell
x).
R
A fΘ|X=x (ϑ)ν(dϑ)
˜
= EP˜ [1{Θ∈A} |X = x] =: P(Θ
∈ A|X =
(c) Bestimmen Sie fX|Θ=• sowie EP˜ [(X − Θ)2 | X = x] im Fall Θ = R, Pϑ =
N (ϑ, 1), π = N (0, δ 2 ) f¨
ur festes δ > 0. Was ergibt sich f¨
ur δ → ∞ und
δ → 0?
2. Wenn man in die Bayesformel statt einer Dichte fΘ eine nichtnegative, messbare Funktion fΘ einsetzt und fΘ|X=x (ϑ) weiterhin wohldefiniert ist, so ergibt
sich aus der a-posteriori-Verteilung ein verallgemeinerter Bayessch¨
atzer. Es sei
nun X1 , . . . , Xn eine N (µ, Ed )-verteilte mathematische Stichprobe mit µ ∈ d
unbekannt.
¯ := 1 Pn Xi ist ein verallgemeinerter Bayessch¨atzer von
(a) Beweisen Sie: X
i=1
n
µ zum quadratischen Risiko bzgl. dem Lebesguemaß als verallgemeinerter
a-priori-Verteilung.
R
(b) Berechnen Sie den verallgemeinerten Bayessch¨atzer µ
ˆa,b zum quadratischen Risiko f¨
ur d = 1 und fΘ (ϑ) = 1(a,b) (ϑ) mit a, b ∈ R ∪{−∞, ∞}.
¯
Zeichnen Sie µ
ˆ0,1 f¨
ur n = 1 als Funktion von X.
3. Gegeben sei das gew¨
ohnliche lineare Modell Y = Xβ + ε. In der ridge regression verwendet man den Sch¨atzer βˆa = (X > X + a2 Ep )−1 X > Y . Weisen Sie
nach: Der ridge-regression-Sch¨atzer βˆa ist Bayes-optimaler Sch¨atzer f¨
ur quadratisches Risiko bei a-priori-Verteilung β ∼ N (0, η 2 Ep ) mit η = η(a, σ) > 0
geeignet.
4. Beweisen Sie f¨
ur Entscheidungsregeln ρ basierend auf einem statistischen Experiment (X , F, (Pϑ )ϑ∈Θ ) mit Verlustfunktion l:
(a) Ist ρ minimax und eindeutig in dem Sinn, dass jede andere Minimax-Regel
die gleiche Risikofunktion besitzt, so ist ρ zul¨assig.
(b) Ist ρ zul¨
assig mit konstanter Risikofunktion, so ist ρ minimax.
(c) Ist ρ eine Bayesregel (bzgl. π) und eindeutig in dem Sinn, dass jede andere
Bayesregel (bzgl. π) die gleiche Risikofunktion besitzt, so ist ρ zul¨assig.
(d) Die Parametermenge Θ bilde einen metrischen Raum mit Borel-σ-Algebra
FΘ . Ist ρ eine Bayesregel (bzgl. π), so ist ρ zul¨assig, falls (i) Rπ (ρ) < ∞;
(ii) f¨
ur jede nichtleere offene Menge U in Θ gilt π(U ) > 0; (iii) f¨
ur jede
Regel ρ0 mit Rπ (ρ0 ) ≤ Rπ (ρ) ist ϑ 7→ R(ϑ, ρ0 ) stetig.
5. Eine Krankheit kommt bei ca. 0, 1% der Bev¨olkerung vor. Ein Test zur Erkennung der Krankheit f¨
uhrt bei 97% der Kranken, aber auch bei 2% der
Gesunden zu einer Reaktion. Auf Grund des Tests wird eine Person als krank
bzw. gesund klassifiziert. Mit `0 > 0 (bzw. `1 > 0) werde der Verlust bei
der Klassifizierung krank (bzw. gesund) eines gesunden (bzw. kranken) Patienten bewertet. Formulieren Sie dies als Bayessches Entscheidungsproblem und
geben Sie eine Bayes-optimale Entscheidungsregel in Abh¨angigkeit von `0 , `1
an.
6. Die Beta-Verteilung B(a, b) auf [0, 1] ist gegeben durch die Dichte
fa,b (x) =
Γ(a + b) a−1
x (1 − x)b−1 ,
Γ(a)Γ(b)
x ∈ (0, 1),
wobei a, b > 0 und Γ die Gamma-Funktion bezeichnet. B(a, b) hat Erwara
ab
2 =
und Varianz σa,b
.
tungswert µa,b = a+b
(a+b)2 (a+b+1)
(a) Skizzieren Sie fa,b f¨
ur (a, b) ∈ {0.5; 1; 10}2 (Computereinsatz gestattet).
(b) Es sei eine Bin(n, p)-verteilte math. Stichprobe X gegeben, wobei n > 1
bekannt ist sowie p gem¨aß B(a, b) a priori verteilt ist. Zeigen Sie, dass die
bedingte Dichte von p gegeben X = x zur Beta-Verteilung B(a + x, b +
n − x) geh¨
ort.
(c) Schließen Sie, dass der Bayessch¨atzer unter quadratischem Risiko gegea+X
ben ist durch pˆa,b = a+b+n
. Bestimmen Sie sein quadratisches Risiko als
Funktion von p und sein zugeh¨origes Bayesrisiko.
Abgabe vor der Vorlesung am Freitag, dem 8.5.15.
Vorlesung Mathematische Statistik
Sommersemester 2015
Humboldt-Universit¨
at zu Berlin
Prof. Dr. Markus Reiß
¨
3. Ubungsblatt
R
d , sei ein statistischen Experiment mit a-priori1. (X , F, (Pϑ )ϑ∈Θ ), Θ ⊆
Verteilung π und ρ sei eine Bayesregel (bzgl. π) zum quadratischen Risiko
(d.h. l(ϑ, a) = |a − ϑ|2 ). Zeigen Sie: ρ kann nur dann erwartungstreu sein,
wenn Rπ (ρ) = 0.
2. Es sei X1 , . . . , Xn eine N (µ, Ed )-verteilte mathematische Stichprobe. Der
James-Stein-Sch¨
atzer mit positivem Gewicht ist definiert als µ
ˆJS+ = 1 −
d
d−2
X.
Beweisen
Sie
f¨
u
r
alle
d
>
3
und
µ
∈
R
schrittweise
folgenden
n|X|2 +
Risikovergleich mit dem klassischen James-Stein-Sch¨atzer:
Eµ [|ˆ
µJS+ − µ|2 ] < Eµ [|ˆ
µJS − µ|2 ].
(a) Die Absch¨
atzung ist korrekt f¨
ur µ = 0.
ur
(b) Die Absch¨
atzung folgt aus der Ungleichung Eµ [µi X i |G|1{G60} ] > 0 f¨
d−2
G = 1 − n|X|2 und alle i = 1, . . . , d mit µi 6= 0.
(c) F¨
ur a > 0 und µi 6= 0 gilt Eµ [µi X i | (X i )2 = a2 ] = aµi tanh(naµi ) >
0. Dies ergibt die Ungleichung in (b) durch Einf¨
ugen einer auf
2
2
((X 1 ) , . . . , (X d ) ) bedingten Erwartung.
Rd unbekannt.
(a) Zeigen Sie: Soll in einem statistischen Experiment g(ϑ) ∈ Rd durch gˆ
3. Gegeben sei X ∼ N (µ, σ 2 Ed ) mit σ > 0 bekannt und µ ∈
gesch¨
atzt werden, so gilt die Bias-Varianz-Zerlegung:
Eϑ [|ˆ
g − g(ϑ)|2 ] = | Eϑ [ˆ
g ] − g(ϑ)|2 + Eϑ [|ˆ
g − Eϑ [ˆ
g ]|2 ]
R
(b) Bestimmen Sie die Bias-Varianz-Zerlegung f¨
ur µ
ˆα = αX, α ∈ , und
2d
zeigen Sie, dass αOrakel := 1 − |µ|2σ+σ
das
quadratische
Risiko minimiert,
2d
falls µ der wahre Parameter ist. Erkl¨aren Sie das Verhalten f¨
ur d → ∞
bei konstantem |µ|.
(c) Weisen Sie nach, dass |X|2 ein erwartungstreuer Sch¨atzer von |µ|2 + σ 2 d
σ2 d
2
ist und setze α
ˆ := 1 − |X|
2 . Schließen Sie durch Berechnen von Var(|X| ),
dass ∀, R > 0 ∃K > 0 :
|X|2 |µ|2 + σ 2 d K
> √
Pµ 2 −
6 , ∀d > 1 ∀µ ∈ d mit |µ| 6 R.
σ d
σ2d
d
R
Folgere, dass |ˆ
α − αOrakel | = OP (d−1/2 ) f¨
ur d → ∞ und |µ| 6 R gilt, d.h.
0
∀, R > 0 ∃K > 0 :
Pµ (|ˆ
α − αOrakel | > K 0 d−1/2 ) 6 ,
∀d > 1 ∀µ ∈
Rd mit |µ| 6 R.
4. Beweisen Sie das Stein- bzw. Chen-Stein-Lemma:
(a) Eine reellwertige Zufallsvariable X ist N (µ, σ 2 )-verteilt genau dann, wenn
E[(X − µ)f (X)] = σ 2 E[f 0 (X)] f¨
ur alle f ∈ C 1 (R) mit E[|f 0 (X)|] < ∞
gilt.
(b) Eine Zufallsvariable N mit Werten in N0 ist Poiss(λ)-verteilt genau dann,
wenn E[N f (N )] = λ E[f (N + 1)] f¨
ur jedes beschr¨ankte f : N0 → R gilt.
Abgabe vor der Vorlesung am Freitag, dem 15.5.15.
Vorlesung Mathematische Statistik
Sommersemester 2015
Humboldt-Universit¨
at zu Berlin
Prof. Dr. Markus Reiß
¨
4. Ubungsblatt
1. Es sei X1 , . . . , Xn eine N (µ, 1)-verteilte mathematische Stichprobe mit µ ∈ R
unbekannt.
(a) Geben Sie das zugeh¨orige statistische Experiment auf X = Rn an und
zeigen Sie, dass es vom Produktmaß N (0, 1)⊗n dominiert wird.
(b) Bestimmen Sie die Likelihoodfunktion f¨
ur das dominierende Maß in (a).
Welcher Wert µ ∈ R maximiert die Likelihoodfunktion zu gegebenem x ∈
Rn (dies ist der Maximum-Likelihood-Sch¨atzer bei Beobachtung X = x)?
2. Beweisen oder widerlegen Sie die Aussage, dass folgende Verteilungen Exponentialfamilien bilden. Bestimmen Sie gegebenenfalls den nat¨
urlichen Parameterraum.
(a) Multinomialverteilung (M (p0 , . . . , ps ; n))0<pi <1,P pi =1 ;
(b) Poissonverteilung (Poiss(λ))λ>0 ;
(c) Gleichm¨
aßige Verteilung (U ([0, ϑ]))ϑ>0 ;
(d) Gammaverteilung (Γ(a, b))a,b>0 .
3. Ein Physiker untersucht die Radioaktivit¨at bei zwei verschiedenen Pr¨aparaten.
Die unabh¨
angig gemessene Zahl der Zerf¨alle in einer Zeiteinheit bei Pr¨aparat
1 sei X1 , . . . , Xm1 (m1 Messungen), bei Pr¨aparat 2 Y1 , . . . , Ym2 (m2 Messungen). Geben Sie eine vern¨
unftige Regel an, um zu entscheiden, welches Pr¨aparat st¨
arker radioaktiv ist. Begr¨
unden Sie dazu, weshalb die Annahme einer
Poissonverteilung gerechtfertigt ist, und geben Sie ein Suffizienzargument.
4. Beweisen Sie: Es sei (Pϑ )ϑ∈Z eine Exponentialfamilie mit nat¨
urlichem Parak
meterraum Z ⊆ R und Darstellung
d Pϑ
(x) = C(ϑ)h(x) exp(hϑ, T (x)i) = h(x) exp(hϑ, T (x)i − A(ϑ)),
dµ
R
wobei A(ϑ) = log
h(x) exp(hϑ, T (x)i)µ(dx) . Ist ϑ¯ ein innerer Punkt von
Z, so ist die erzeugende Funktion von T ψϑ¯(s) = Eϑ¯[ehT,si ], s ∈ Rk , in einer Umgebung der Null wohldefiniert und beliebig oft differenzierbar. Es gilt
¯ f¨
ψϑ¯(s) = exp(A(ϑ¯ + s) − A(ϑ))
ur alle s mit ϑ¯ + s ∈ Z. F¨
ur i, j = 1, . . . , k folgt
dA ¯
d2 A
¯
Eϑ¯[Ti ] = dϑi (ϑ) und Covϑ¯(Ti , Tj ) = dϑi dϑj (ϑ).
Abgabe vor der Vorlesung am Freitag, dem 22.5.15.
Vorlesung Mathematische Statistik
Sommersemester 2015
Humboldt-Universit¨
at zu Berlin
Prof. Dr. Markus Reiß
¨
5. Ubungsblatt
1. Eine suffiziente Statistik T ∗ heißt minimalsuffizient, wenn es zu jeder suffizienten Statistik T eine messbare Funktion h gibt, so dass T ∗ = h(T ) Pϑ -f.s. f¨
ur alle
ϑ ∈ Θ gilt. Beweisen Sie, dass jede d -wertige, suffiziente und vollst¨andige Statistik minimalsuffizient ist, sofern eine minimalsuffiziente Statistik u
¨berhaupt
existiert. Gilt die Umkehrung f¨
ur d -wertige Statistiken?
Hinweis: Man kann zeigen, dass minimalsuffiziente Statistiken f¨
ur dominierte
Experimente auf separablen Messr¨aumen (wie ( d , BRd )) stets existieren.
R
R
R
2. Es sei (Bt , t > 0) eine Brownsche Bewegung. Es wird Xt := σBt + at mit σ > 0
unbekannt und a ∈ unbekannt zu den n Zeitpunkten h, 2h, . . . , T := nh mit
h > 0 beobachtet.
R
(a) Bestimmen Sie die gemeinsame Verteilung der ∆Xk := Xkh − X(k−1)h ,
k ∈ {1, . . . , n}.
(b) Pa,σ2 bezeichne die Verteilung von (∆X1 , ∆X2 , . . . , ∆Xn ) mit Xt :=
σBt +at. BestimmenP
Sie die Likelihoodfunktion bez¨
uglich P0,1 und weisen
Sie nach, dass (XT , nk=1 (∆Xk )2 ) eine suffiziente Statistik ist.
(c) P
Berechnen Sie das quadratische Risiko von a
ˆ = XT /T und σ
ˆ2 =
n
2
ur T → ∞
k=1 (∆Xk ) /T und diskutieren Sie jeweils das Verhalten f¨
bei festem h und f¨
ur h → 0 bei festem T .
(d) Simulieren Sie 1000 Realisierungen von Xt = Bt sowie Xt = 0.5Bt +4t auf
dem Intervall [0, 1] und berechnen Sie σ
ˆ 2 jeweils f¨
ur h ∈ {0.1, 0.01, 10−4 }
anhand der Beobachtungen Xh , X2h , . . . , X1 . Stellen Sie in jedem der
sechs F¨
alle die Verteilung des Sch¨atzfehlers σ
ˆ − σ in einem Histogramm
dar. Formulieren Sie eine Vermutung, gegen welche Verteilung σ
ˆ − σ bei
richtiger Skalierung f¨
ur h → 0 konvergiert.
Hinweis: Eine Brownsche Bewegung (Bt , t > 0) ist durch folgende Eigenschaften charakterisiert:
(i) es gilt B0 = 0 und Bt ∼ N (0, t), t > 0;
(ii) die Inkremente sind station¨ar und unabh¨angig: f¨
ur 0 6 t0 < t1 < · · · < tm
gilt (Bt1 − Bt0 , . . . , Btm − Btm−1 ) ∼ N (0, diag(t1 − t0 , . . . , tm − tm−1 ));
(iii) B hat stetige Pfade.
Abgabe vor der Vorlesung am Freitag, dem 29.5.15.
Vorlesung Mathematische Statistik
Sommersemester 2015
Humboldt-Universit¨
at zu Berlin
Prof. Dr. Markus Reiß
¨
6. Ubungsblatt
1. F¨
ur zwei Wahrscheinlichkeitsmaße P, Q auf demselben Raum (X , F ) bezeichnet
Z p
2
p
2
H (P, Q) :=
p(x) − q(x) µ(dx)
X
den quadrierten Hellinger-Abstand, wobei µ ein Maß ist, das P und Q dominiert
(z.B. µ = P + Q), und p, q die entsprechenden µ-Dichten bezeichnet. Zeigen Sie:
(a) Der Hellingerabstand H ist unabh¨angig vom dominierenden Maß µ und
definiert eine Metrik.
R p
(b) Es gilt H 2 (P, Q) = 2 − 2 X p(x)q(x) µ(dx) ∈ [0, 2].
(c) F¨
ur Produktmaße P = ⊗ni=1 Pi , Q = ⊗ni=1 Qi gilt
n n
Y
H 2 (Pi , Qi ) X 2
H 2 (P, Q) = 2 1 −
1−
6
H (Pi , Qi ).
2
i=1
i=1
2. F¨
ur zwei Wahrscheinlichkeitsmaße P, Q auf (X , F ) bezeichnet
kP − QkT V := sup |P(A) − Q(A)|
A∈F
den Totalvariationsabstand. Weisen Sie die Ungleichung von Le Cam nach:
q
1 2
H
(P,
Q)
6
kP
−
Qk
6
H(P,
Q)
1 − 14 H 2 (P, Q).
TV
2
Insbesondere konvergiert also Pn → P im Totalvariationsabstand genau dann,
wenn Konvergenz im Hellingerabstand vorliegt.
Anleitung:
R
R
1
|p
−
q|dµ
=
1
−
min(p, q)dµ
Weise mit
µ-Dichten
p,
q
nach:
kP
−
Qk
=
T
V
2
R√
R
2
sowie (
pqdµ) 6 2 min(p, q)dµ.
3. Betrachten Sie f¨
ur eine Lebesguedichte f : R → [0, ∞) das Lokationsmodell einer mathematischen Stichprobe X1 , . . . , Xn , die gem¨aß f (• − ϑ) mit ϑ ∈ R unbekannt verteilt ist. Zeigen Sie, dass
diese Verteilungsfamilie L2 -differenzierbar
R
ist, wenn f ∈ C 1 (R), f > 0 und f 0 (x)2 f (x)−1 dx < ∞ gilt, und bestimmen
Sie die Fisher-Information In (ϑ).
K¨
onnen Sie die Bedingungen so abschw¨achen, dass auch die L2 Differenzierbarkeit im Fall der Laplace-Verteilung f (x) = 21 e−|x|/2 folgt?
4. Bestimmen Sie die Fisher-Informationsmatrix f¨
ur eine N (µ, σ 2 )-verteilte mathematische Stichprobe X1 , . . . XN mit unbekannten Werten µ ∈ und σ 2 > 0
sowie f¨
ur X ∼ Bin(n, p) mit p ∈ (0, 1) unbekannt und n bekannt. Finden Sie
jeweils einen erwartungstreuen Sch¨atzer f¨
ur µ und f¨
ur p, der die Cram´er-RaoSchranke erreicht. Bestimmen Sie einen erwartungstreuen Sch¨atzer f¨
ur σ 2 bei
N > 2 Beobachtungen, der zumindest asymptotisch f¨
ur N → ∞ die Cram´erRao-Schranke erreicht (bei Reskalierung mit N ).
R
Abgabe vor der Vorlesung am Freitag, dem 5.6.15.
Vorlesung Mathematische Statistik
Sommersemester 2015
Humboldt-Universit¨
at zu Berlin
Prof. Dr. Markus Reiß
¨
7. Ubungsblatt
1. (a) Es sei X1 , . . . , Xn eine U ([0, ϑ])-verteilte mathematische Stichprobe mit
ϑ > 0 unbekannt. Weisen Sie nach, dass ϑˆn := maxi Xi ein Maximumd
Likelihood-Sch¨
atzer f¨
ur ϑ ist und n(ϑ − ϑˆn ) −
→ Exp(1/ϑ) f¨
ur n → ∞
gilt.
(b) Zeigen Sie f¨
ur eine mathematische Stichprobe X1 , . . . , Xn bei zugrundeliegender Lebesguedichte fm (x) = 21 e−|x−m| , x ∈ R, mit m ∈ R unbekannt,
dass der Stichproben-Median ein Maximum-Likelihood-Sch¨atzer von m
ist.
2. Es seien X1 , . . . , Xn unabh¨angig und gem¨aß der stetigen
Lebesgue-Dichte
f :
R∞
Rm
+
R → R verteilt. Es gebe ein m ∈ R (Median) mit −∞ f = m f = 1/2 und es
gelte f (m) > 0. Dann gilt f¨
ur jeden Stichprobenmedian m
ˆ n die asymptotische
Normalit¨
at
√
1 d
.
n(m
ˆ n − m) −
→ N 0,
4f (m)2
Zeigen Sie dies gem¨
aß einem der folgenden Ans¨atze:
(a) F¨
ur eine U ([0, 1])-verteilte mathematische Stichprobe U1 , . . . , Un ist die
k-te Ordnungsstatistik X(k) Beta(k,n+1-k)-verteilt auf [0, 1]. Setzt amn
k = n/2 bzw. k = (n±1)/2, so folgt, dass ihr Stichprobenmedian m
ˆU
n obige asymptotische Normalit¨at erf¨
ullt. Benutze die Quantilstransformation
Xi = F −1 (Ui ) f¨
ur eine geeignete Inverse F −1 der Verteilungsfunktion von
Xi , um die Asymptotik von m
ˆ n herzuleiten.
(b) Der Stichprobenmedian kann als Funktional der empirischen Verteilungsfunktion dargestellt werden und eine funktionale ∆-Methode kann angewendet werden, wobei der Satz von Donsker zur Asymptotik des empirischen Prozesses als bekannt vorausgesetzt sei. Argumentieren Sie
zun¨
achst heuristisch und erkl¨aren Sie dann kurz die notwendigen formalen Schritte z.B. aus A. van der Vaart, Asymptotic Statistics.
3. F¨
ur zwei Wahrscheinlichkeitsmaße P und Q auf demselben Messraum (X , F )
heißt die Funktion
(R
dP
log
(x)
P(dx), falls P Q,
dQ
X
KL(P | Q) =
+∞,
sonst
Kullback-Leibler-Divergenz.
(a) Zeigen Sie, dass f : (0, ∞) →
P
(benutze d P = dd Q
d Q)
KL(P | Q) > 0
und
R, x
7→ x log(x) konvex ist und somit
KL(P | Q) = 0 ⇐⇒ P = Q .
Finden Sie zwei ¨
aquivalente Wahrscheinlichkeitsmaße P und Q mit
KL(P | Q) 6= KL(Q | P).
(b) Beweisen Sie f¨
ur Produktmaße:
KL
n
O
i=1
Pi |
n
O
i=1
Qi
=
n
X
KL(Pi | Qi ).
i=1
4. (a) Beweisen Sie: Bildet (Pϑ )ϑ∈Θ eine nat¨
urliche Exponentialfamilien und ist
k
ϑ0 innerer Punkt von Θ ⊆ R , so gilt KL(Pϑ0 | Pϑ ) = A(ϑ) − A(ϑ0 ) +
˙ 0 ), ϑ0 − ϑi. Folgern Sie
hA(ϑ
¨ ϑ | Pϑ )|ϑ=ϑ = I(ϑ0 ).
KL(P
0
0
(b) Leiten Sie eine entsprechende Formel f¨
ur die Hesse-Matrix bei ϑ0 des
quadrierten Hellingerabstandes ϑ 7→ H 2 (Pϑ0 | Pϑ ) her.
Abgabe vor der Vorlesung am Freitag, dem 12.6.15.
Vorlesung Mathematische Statistik
Sommersemester 2015
Humboldt-Universit¨
at zu Berlin
Prof. Dr. Markus Reiß
¨
8. Ubungsblatt
1. Ein Teich enth¨
alt eine unbekannte Anzahl ϑ von Karpfen. Zur Sch¨atzung von
ϑ werden zun¨
achst w Fische gefangen, markiert und wieder freigelassen. Wenn
sich die markierten Fische wieder gut verteilt haben, werden n Fische gefangen,
von denen x markiert sind.
Modellieren Sie die Sch¨
atzung des Fischbestandes ϑ durch ein statistisches
Experiment mit hypergeometrischen Verteilungen und bestimmen Sie einen
MLE, diskutieren Sie dabei den Fall x = 0 separat.
2. Sei X1 , . . . , Xn eine mathematische Stichprobe bez¨
uglich der Lebesguedichte
1−ϑ
|x − ϑ|
ϑ
fϑ (x) =
1−
+ 1[−1,1] (x),
ϕ(ϑ)
ϕ(ϑ) + 2
wobei ϑ ∈ [0, 1) und ϕ : [0, 1] → [0, 1] eine stetige, fallende Funktion mit ϕ(0) =
1 und 0 < ϕ(ϑ) 6 1 − ϑ f¨
ur ϑ ∈ (0, 1) ist. Setze weiterhin f1 (x) = 21 1[−1,1] (x).
Ziel ist es f¨
ur geeignetes ϕ zu sehen, dass f¨
ur alle ϑ ∈ [0, 1] jeder MLE fast
sicher gegen Eins konvergiert und insbesondere inkonsistent ist. Zeigen Sie:
(a) Es existiert ein Maximum-Likelihood-Sch¨atzer ϑˆn .
(b) F¨
ur ϑ < 1 ist fϑ (x) < 1/ϕ(ϑ) + 1/2 und daraus folgt, dass f¨
ur die Loglikelihoodfunktion `n bei n Beobachtungen und f¨
ur jedes α < 1
`n (ϑ)
1
1
max
6 log
+
<∞
06ϑ6α
n
ϕ(α) 2
gilt. Um zu beweisen, dass limn→∞ ϑˆn = 1 f.s. f¨
ur alle ϑ ∈ [0, 1], reicht es
max06ϑ61 `n (ϑ)/n → ∞ f.s. zu zeigen.
(c) Mit X(n) = max{X1 , . . . , Xn } gilt f.s.
`n (ϑ)
n−1
max
>
log
06ϑ61
n
n
X(n)
2
1
+ log
n
1 − X(n)
ϕ(X(n) )
.
(d) Aus dem Lemma von Borel-Cantelli folgt n1/4 (1 − X(n) ) → 0 f.s. f¨
ur
ϑ = 0 und auch f¨
ur alle ϑ ∈ [0, 1]. Mit ϕ(ϑ) := (1 − ϑ) exp(−(1 − ϑ)−4 + 1)
folgt lim inf n→∞ (1/n) log((1 − X(n) )/ϕ(X(n) )) = ∞ f.s. und damit die
gew¨
unschte Aussage.
3. Es sei Θ ⊆ Rk kompakt sowie (Xn (ϑ), ϑ ∈ Θ)n>1 und (X(ϑ), ϑ ∈ Θ) stetige
P
Prozesse mit Xn (ϑ) −
→ X(ϑ) f¨
ur n → ∞ f¨
ur alle ϑ ∈ Θ. Beweisen Sie:
(a) ∀δ > 0 ∃Uδ ⊆ Θ endlich: supϑ∈Θ inf ϑ0 ∈Uδ |ϑ − ϑ0 | 6 δ.
(b) Mit dem Stetigkeitsmodul ωδ (f ) := sup|ϑ1 −ϑ2 |6δ |f (ϑ1 ) − f (ϑ2 )| gilt
sup |Xn (ϑ) − X(ϑ)| 6 ωδ (Xn ) + ωδ (X) + max|Xn (ϑ) − X(ϑ)|.
ϑ∈Uδ
ϑ∈Θ
P
(c) Es gilt maxϑ∈Uδ |Xn (ϑ) − X(ϑ)| −
→ 0 f¨
ur n → ∞ sowie ωδ (X) → 0 fast
sicher f¨
ur δ → 0.
Schließen Sie daraus, dass aus der Straffheitsbedingung
∀ε, η > 0 ∃δ > 0 : lim sup P(ωδ (Xn ) > ε) 6 η
n→∞
P
die gleichm¨
aßige Konvergenz supϑ∈Θ |Xn (ϑ) − X(ϑ)| −
→ 0 f¨
ur n → ∞ folgt.
4. Im nichtlinearen Regressionsmodell der Beobachtungen
Yi = fϑ (i/n) + εi ,
i = 1, . . . , n, fϑ ∈ C([0, 1]), (εi )16i6n iid,
mit E[εi ] = 0, Var(εi ) = σ 2 , E[ε4i ]P< ∞, σ > 0 betrachte den KleinsteQuadrate-Sch¨
atzer ϑˆn = argminϑ∈Θ ni=1 (Yi − fϑ (i/n))2 . Geben Sie Voraussetzungen f¨
ur die Parametrisierung ϑ 7→ fϑ an, um auf die asymptotische
Normalit¨
at von ϑˆn f¨
ur n → ∞ zu schließen und bestimmen Sie die asymptotische Varianz. Berechnen Sie ϑˆn und die asymptotische Varianz konkret f¨
ur
das Modell fϑ (x) = sin(2π(x + ϑ)), ϑ ∈ [0, 1).
Hinweis: Schlagen Sie ggf. den ZGWS unter Lindeberg- oder LyapunovBedingung nach.
¨
Abgabe vor der Ubung
am Freitag, den 19.6.15.
Vorlesung Mathematische Statistik
Sommersemester 2015
Humboldt-Universit¨
at zu Berlin
Prof. Dr. Markus Reiß
¨
9. Ubungsblatt
1. Im Beobachtungsmodell Yi = γ + εi , i = 1, . . . , n, mit (εi ) i.i.d. und symmetrisch um Null verteilt betrachte f¨
ur κ > 0 und Γ ⊆ R den Huber-Sch¨atzer
(
n
1 2
x ,
falls |x| 6 κ,
1X
γˆn = argminγ∈Γ
ρ(Yi − γ), ρ(x) = 2
2
κ
n
κ|x| − 2 , falls |x| > κ.
i=1
(a) Im Fall Γ = [a, b] mit −∞ < a < b < ∞ weise die Konsistenz von γˆn , z.B.
gem¨
aß Bedingungen A1-A3, nach.
(b) F¨
ur γ0 ∈ (a, b), Γ = [a, b] und P(εi = x) = 0 f¨
ur alle x ∈ R beweise rigoros
die asymptotische Normalit¨at
E[ε2 ∧ κ2 ] √
d
i
n(ˆ
γn − γ0 ) −
→ N 0,
.
P(|εi | 6 κ)2
Tipp: Der Mittelwertsatz gilt f¨
ur K˙ n bis auf einen maximalen Fehler
(c*) Untersuche den Fall Γ = R.
1
n.
2. Vergleichen Sie im Modell aus Aufgabe 1 die asymptotische Varianz von Stichprobenmittel, Stichprobenmedian, Huber-Sch¨atzer (f¨
ur geeignete Wahlen von
κ, ggf. Computereinsatz) im Fall folgender Verteilungen:
(a) εi ∼ N (0, σ 2 ), (b) fε (x) = 2s e−s|x| , (c) εi ∼ t(k), k ∈ {1, 2, 4, 10}.
Welche Gesichtspunkte sollten daher bei der Auswahl des Sch¨atzers Beachtung
finden?
3. Es sei (Y, Z) gem¨
aß der Dichte f (y, z, ϑ), ϑ ∈ Θ, bez¨
uglich µ ⊗ ν verteilt,
wobei µ und ν σ-endliche Maße seien. Nur Y = y wird beobachtet. Der EMAlgorithmus zur Berechnung eines MLE besteht aus der Wahl eines Startwertes
ϑ0 mit L(ϑ0 ) = fY (y, ϑ0 ) > 0 und aus der Wiederholung f¨
ur j = 0, 1, . . . der
Schritte (1) und (2):
(1) Berechne
J(ϑ, ϑj ) = Eϑj log
f (Y, Z, ϑ) Y =y .
f (Y, Z, ϑj ) (2) Setze ϑj+1 = argmaxϑ J(ϑ, ϑj ).
Zeigen Sie die Gleichung
Z
fZ|Y =y (z, ϑj+1 )
fY (y, ϑj+1 )
J(ϑj+1 , ϑj ) = log
+ log
fZ|Y =y (z, ϑj )ν( dz)
fY (y, ϑj )
fZ|Y =y (z, ϑj )
und folgern Sie, dass im EM-Algorithmus L(ϑj+1 ) > L(ϑj ) gilt.
4. Betrachten Sie eine mathematische Stichprobe Y1 , . . . , Yn , die gem¨aß einer Mischung zweier Normalverteilungen verteilt ist: Gegeben Zi = 0 ist Yi ∼ N (a, 1)
und gegeben Zi = 1 ist Yi ∼ N (b, 1), wobei Pa,b (Zi = 0) = Pa,b (Zi = 1) = 1/2
und (Y1 , Z1 ), . . . , (Yn , Zn ) unabh¨angig. µ sei das Lebesguemaß auf n und ν
sei gegeben durch ν({z}) = 1/2n f¨
ur alle z ∈ {0, 1}n .
R
(a) Bestimmen Sie fY (y, a, b) f¨
ur n = 1 und zeigen Sie f¨
ur beliebige n
f (y, z, a, b) =
n
Y
1−zi
ϕ(yi −a)
zi
ϕ(yi −b) ,
i=1
2
1
x
mit ϕ(x) = √ exp −
.
2
2π
(b) Zeigen Sie: Es gilt im EM-Algorithmus
Pn
Pn
τi yi
i=1 (1 − τi )yi
P
aj+1 =
und bj+1 = Pi=1
,
n
n
(1
−
τ
)
i
i=1
i=1 τi
wobei τi := ϕ(yi − bj )/(ϕ(yi − aj ) + ϕ(yi − bj )).
(c*) Simulieren Sie einen numerischen MLE und den EM-Algorithmus f¨
ur a =
1, b = 2, n = 100 und f¨
ur verschiedene Werte von j . Konvergiert ϑj f¨
ur
j → ∞ gegen den numerischen MLE?
¨
Abgabe vor der Ubung
am Freitag, dem 26.6.15.
Vorlesung Mathematische Statistik
Sommersemester 2015
Humboldt-Universit¨
at zu Berlin
Prof. Dr. Markus Reiß
¨
10. Ubungsblatt
1. Betrachten Sie eine mathematische Stichprobe X1 , . . . , Xn mit Lebesguedichte
fµ,σ (x) = σ −1 f ((x − µ)/σ), f ∈ C 2 (R), mit (µ, σ) ∈ Θ ⊆
× + unbekannt (Lokations-Skalen-Familie). Welche Annahmen an f garantieren, dass
der MLE asymptotisch normalverteilt ist? Geben Sie die asymptotische Kovarianzmatrix an.
R R
2. Betrachten Sie f¨
ur ein bin¨ares statistisches Modell (X , F, (Pϑ )ϑ∈Θ ) mit Θ =
{0, 1} das Testproblem H0 : ϑ = 0 gegen H1 : ϑ = 1. Beweisen Sie:
(a) Im Neyman-Pearson-Lemma gilt auch die Umkehrung: Jeder gleichm¨aßig
beste Test ϕ f¨
ur H0 : ϑ = 0 gegen H1 : ϑ = 1 zum Niveau E0 [ϕ] ∈ (0, 1)
besitzt fast sicher die Form eines Neyman-Pearson-Tests.
(b) Bei einem Minimax-Test bez¨
uglich 0-1-Verlust sind Fehler 1. und 2. Art
gleich: E0 [ϕ] = 1 − E1 [ϕ].
(c) F¨
ur einen Test ϕ mit E0 [ϕ] ∈ (0, 1) sind ¨aquivalent:
ϕ ist ein Minimax-Test bez¨
uglich 0-1-Verlust.
ϕ besitz fast sicher die Form eines Neyman-Pearson-Tests und es gilt
E0 [ϕ] = 1 − E1 [ϕ].
H inweis: (b) kann indirekt durch betrachten von Tests der Form ϕ˜ := χϕ bzw.
ϕ˜ := χϕ + (1 − χ) mit χ ∈ (0, 1) bewiesen werden.
3. Es sei X1 , . . . , Xn eine Exp(ϑ)-verteilte mathematische Stichprobe mit ϑ > 0
unbekannt. Konstruieren Sie einen gleichm¨aßig besten Test zum Niveau α ∈
(0, 1) f¨
ur das Testproblem H0 : ϑ 6 1 gegen H1 : ϑ > 1. Geben Sie f¨
ur
n = 1 den kritischen Wert k explizit an und zeichnen Sie die G¨
utefunktion f¨
ur
α = 0, 05.
4. Es sei X1 , . . . , Xn eine U ([0, ϑ])-verteilte mathematische Stichprobe mit ϑ > 0
unbekannt. Setze X = (X1 , . . . , Xn ). Zeigen Sie: F¨
ur das Testproblem H0 :
ϑ ≤ ϑ0 gegen H1 : ϑ > ϑ0 mit festem ϑ0 ist jeder Test ϕ mit Eϑ0 [ϕ(X)] = α,
Eϑ [ϕ(X)] ≤ α f¨
ur alle ϑ ≤ ϑ0 und ϕ(X) = 1 f¨
ur max(X1 , . . . , Xn ) > ϑ0 ein
gleichm¨
aßig bester Test zum Niveau α ∈ (0, 1).
¨
Abgabe vor der Ubung
am Freitag, dem 3.7.15.
Vorlesung Mathematische Statistik
Sommersemester 2015
Humboldt-Universit¨
at zu Berlin
Prof. Dr. Markus Reiß
¨
11. Ubungsblatt
1. Beweisen Sie das verallgemeinerte Neyman-Pearson-Lemma aus der Vorlesung.
Hinweis: Orientieren Sie sich am Beweis des Neyman-Pearson-Lemmas.
2. Es seien X1 , . . . , Xn eine Exp(ϑ)-verteilte mathematische Stichprobe mit ϑ > 0
unbekannt sowie ϑ0 > 0. Konstruieren Sie einen gleichm¨aßig besten unverf¨
alschten Test zum Niveau α ∈ (0, 1) f¨
ur das zweiseitige Testproblem
H0 : ϑ = ϑ0 gegen H1 : ϑ 6= ϑ0 . Berechnen Sie (zumindest approximativ)
die kritischen Werte im Fall ϑ0 = 1, n = 5, α = 0, 05.
3. Es werden die zwei mathematischen Stichproben X1 , . . . , Xn ∼ Bin(1, p1 ) und
Y1 , . . . , Yn ∼ Bin(1, p2 ) mit p1 , p2 ∈ (0, 1) unabh¨angig beobachtet. Konstruieren Sie einen gleichm¨
aßig besten unverf¨alschten Test vom Niveau α ∈ (0, 1)
f¨
ur das Testproblem H0 : p1 = p2 gegen H1 : p1 6= p2 .
¨
Abgabe vor der Ubung
am Freitag, dem 10.7.15.
© Copyright 2024 ExpyDoc
