Integrazioni (note aggiornata al 13/12, le dovrei rileggere per

PROCESSI STOCASTICI: INTEGRAZIONI
1. Definizioni e risultati sparsi
Def. Dato un insieme I, si chiama processo stocastico con spazio degli stati I una famiglia
{Xt }t∈T di variabili aleatorie a valori in I e definite sullo stesso spazio di probabilit`a, dove
T ⊂ R.
Un processo stocastico corrisponde ad un sistema dinamico stocastico, T puo’ essere
pensato come la famiglia di tempi in cui il sistema viene osservato e Xt corrisponde allo
stato del sistema al tempo t.
Sia P matrice stocastica su I. Sia λ una distribuzione su I e sia {Xn }n≥0 una catena
di Markov con matrice di transizione P e distribuzione iniziale λ. Abbiamo visto che,
pensato λ con vettore riga, il vettore riga λP k `e la distribuzione di Xk per ogni k ≥ 0.
Sia P matrice stocastica su I. Sia f : I → C una funzione limitata. Pensato f come
vettore colonna, vale
P k f (i) = Ei (f (Xk )) .
Infatti, per definizione di prodotto di matrici e poi per definizione di valore atteso abbiamo
X (k)
X
P k f (i) =
pi,j f (j) =
Pi (Xk = j)f (j) = Ei (f (Xk )) .
j∈I
j∈I
`
2. Stazionarieta
Sia P matrice stocastica.
Def. Una misura λ : I → [0, ∞) si dice invariante (o stazionaria) rispetto a P se λP = λ
e λ 6≡ 0.
Def. Una distribuzione λ : I → [0, 1] si dice invariante (o stazionaria) rispetto a P se
λP = P .
Def. Una catena di Markov {Xn }n≥0 di parametri (λ, P ) si dice invariante (o stazionaria)
se per ogni ogni m ≥ 0 intero il processo stocastico {Xn+m }n≥0 `e anch’esso una catena di
Markov di parametri (λ, P ).
Prop. Una catena di Markov {Xn }n≥0 di parametri (λ, P ) `e stazionaria se e solo se λ `e
distribuzione stazionaria rispetto a P .
Dim. Supponiamo che {Xn }n≥0 sia stazionaria. Allora per ogni i ∈ I deve valere P (X0 =
i) = P (X1 = i). Per le note regole di calcolo questo equivale al fatto che λ(i) = (λP )(i)
per ogni i ∈ I. Quindi λ `e distribuzione stazionaria rispetto a P .
Supponiamo ora che λ sia distribuzione stazionaria rispetto a P . Fissiamo m ≥ 0 intero
1
2
PROCESSI STOCASTICI: INTEGRAZIONI
e dimostriamo che {Yn }n≥0 `e catena di Markov di parametri (λ, P ), dove Yn := Xm+n .
Sappiamo che ci basta provare (vedi esercizi oppure Th. 1.1.1 del Norris) che
P (Y0 = i0 , Y1 = i1 , . . . , Yn = in ) = λ(i0 )pi0 ,i1 · · · pin−1 ,in
(2.1)
per ogni n ≥ 0 e ogni i0 , i1 , . . . , in ∈ I. Per definizione di Yk e poi per le note regole di
calcolo otteniamo
P (Y0 = i0 , Y1 = i1 , . . . , Yn = in ) = P (Xm = i0 , Xm+1 = i1 , . . . , Xm+n = in ) =
(λP m )i0 pi0 ,i1 · · · pin−1 ,in .
Al fine di ottenere (2.1) ci basta osservare che per la stazionariet`a di λ vale (λP m )i0 =
λ(i0 ).
¤
`
3. Reversibilita
Sia P matrice stocastica.
Def. Una misura λ : I → [0, ∞) si dice reversibile (o che soddisfa l’equazione del bilancio
dettagliato) rispetto a P se λ 6≡ 0 e
λ(i)pi,j = λ(j)pj,i
∀i, j ∈ I .
(3.1)
Def. Una distribuzione λ : I → [0, 1] si dice reversibile (o che soddisfa l’equazione del
bilancio dettagliato) rispetto a P se
λ(i)pi,j = λ(j)pj,i
∀i, j ∈ I .
(3.2)
Def. Una catena di Markov {Xn }n≥0 di parametri (λ, P ) si dice reversibile se per ogni
N ≥ 0 intero il processo stocastico {Yn }0≤n≤N dove Yn = XN −n `e una catena di Markov
di parametri (λ, P ) a tempi in {0, 1, . . . , N }.
Prop. Una distribuzione λ reversibile rispetto a P `e anche invariante rispetto a P .
Dim. Vedi “Markov chains” di Norris.
¤
Prop. Una catena di Markov {Xn }n≥0 di parametri (λ, P ) `e reversibile se e solo se λ `e
distribuzione reversibile rispetto a P .
Dim. Supponiamo che {Xn }n≥0 sia reversibile. Prendendo N = 1 otteniamo per ogni
i, j ∈ I che
P (X0 = i, X1 = j) = P (X1−0 = i, X1−1 = j) = P (X0 = j, X1 = i) .
Per le note regole di calcolo possiamo riscrivere il primo e l’ultimo membro come
λ(i)pi,j = λ(j)pj,i .
Abbiamo quindi verificato che λ soddisfa l’equazione del bilancio dettagliato.
Supponiamo ora che valga l’equazione del bilancio dettagliato. Per il Teo. 1.1.1 del
Norris, ci basta dimostrare che per ogni N ≥ 0, i0 , i1 , . . . , iN ∈ I vale
P (Y0 = i0 , Y1 = i1 , . . . , YN = iN ) = λ(i0 )pi0 ,i1 · · · piN −1 ,iN
(3.3)
PROCESSI STOCASTICI: INTEGRAZIONI
3
dove Yk := XN −k . Per tale definizione di Yk e per le note regole di calcolo vale
P (Y0 = i0 , Y1 = i1 , . . . , YN = iN ) = P (X0 = iN , X1 = iN −1 , . . . , XN −1 = i1 , XN = i0 ) =
λ(iN )piN ,iN −1 piN −1 ,iN −2 · · · pi1 ,i0
(3.4)
Per l’equazione del bilancio dettagliato possiamo sostituire λ(iN )piN ,iN −1 con piN −1 ,iN λ(iN −1 )
ottenendo
P (Y0 = i0 , Y1 = i1 , . . . , YN = iN ) = piN −1 ,iN λ(iN −1 )piN −1 ,iN −2 · · · pi1 ,i0 .
Analogamente possiamo sostituire λ(iN −1 )piN −1 ,iN −2 con piN −2 ,iN −1 λ(iN −2 ). Reiterando
questo passaggio arriviamo all’espressione finale
P (Y0 = i0 , Y1 = i1 , . . . , YN = iN ) = piN −1 ,iN piN −2 ,iN −1 · · · pi0 ,i1 λ(i0 ) ,
che banalmente coincide con (3.3), cio`e con quanto volevamo provare.
¤
4. Distribuzioni invarianti
In questa sezione studiamo la struttura delle distribuzioni invarianti. Tutto si riferisce
ad una data matrice di transizione (matrice stocastica) P , che sar`a spesso sottintesa.
Teorema di Markov–Kakutani Se |I| < ∞, allora esiste almeno una distribuzione
invariante.
Dim. Fissiamo una distribuzione λ su I. Consideriamo la media di Cesaro
n−1
1X
λn =
λP k .
n
k=0
` facile provare che λn `e una distribuzione su I, ovvero λn ∈ A, A := {v ∈ RI : v(i) ≥
E
P
0 , i∈I v(i) = 1}. A `e compatto, quindi esiste una sottosuccessione nk tale che λnk
ˆ ∈ A. Dico che λ
ˆ `e distribuzione invariante. Poich`e λ
ˆ ∈ A, ho λ
ˆ
converge a qualche λ
distribuzione. Inoltre
Ãn−1
!
n
X
1 X
1
λn − λn P =
λP k −
λP k = (λ − λP n )
n
n
Dato che |λ(i) −
λP n (i)|
≤ λ(i) +
k=0
λP n (i)
k=1
≤ 1 + 1 = 2, otteniamo
|λnk (i) − λnk P (i)| ≤ 2/nk
∀i ∈ I.
ˆ − λP
ˆ (i)| = 0 per ogni i, cio`e l’invarianza di λ:
ˆ
Mandando k ad infinito, otteniamo |λ(i)
ˆ = λP
ˆ .
λ
¤
Se |I| = ∞ allora l’esistenza di qualche distribuzione invariante non `e garantita:
Esercizio: determinare le misure invarianti della passeggiata tra siti primi vicini su Z dove,
per ogni x ∈ Z, px,x+1 = p, px,x−1 = q := 1 − p. Provare che non esistono distribuzioni
invarianti.
Nel seguito, volendo studiare la struttura delle distribuzioni invarianti, ci concentriamo
prima sui loro supporti. Ricordiamo che se λ `e distribuzione su I allora il suo supporto `e
dato dall’insieme {i : λ(i) > 0} (analoga definizione vale per misure).
Fatto. Sia P irriducibile. Allora ogni misura λ invariante rispetto a P soddisfa λ(i) > 0
per ogni i ∈ I.
Dim. Dato che λ 6≡ 0 deve esistere i con λ(i) > 0. Dato che i conduce a tutti gli elementi
di I la tesi segue dal lemma successivo.
¤
4
PROCESSI STOCASTICI: INTEGRAZIONI
Lemma 0. Sia λ distribuzione invariante, siano i, j stati con λ(i) > 0 e i → j. Allora
λ(j) > 0.
Dim. Dato che i → j esiste n ≥ 0 tale che (P n )i,j > 0. Dato che λ = λP n deve essere
X
λj =
λk (P n )k,j ≥ λi (P n )i,j > 0 .
k∈I
Definizione. Diciamo che uno stato i ∈ I `e essenziale se per ogni j ∈ I tale che i → j
deve valere j → i.
Lemma 1 i `e essenziale se e solo se la classe comunicante di i `e chiusa.
Dim. Sia i essenziale e sia C la sua classe comunicante. Se C non fosse chiusa avremmo
j ∈ C and z 6∈ C tale che j → z ma z 6→ j. Poich`e i → j e j → z, abbiamo i → z. Dato che
i `e essenziale vale z → i. Ma siccome i, j ∈ C abbiamo i → j. Quindi z → i → j contro il
fatto che z 6→ j.
Assumiamo ora che C sia chiusa. Se i → j, per la chiusura di C abbiamo j ∈ C e quindi
j → i. Quindi i `e essenziale.
¤
Prop. 1 Sia i elemento non essenziale e sia λ una distribuzione invariante. Allora
λ(i) = 0
Dim. Definisco A = {j ∈ I : j → i}. Osservo cheP
i ∈ A e che k → j se pk,j > 0. Quindi
se j ∈ A e pk,j > 0 allora k ∈ A. Dato che λ(j) = k λ(k)pk,j abbiamo
X
XX
XX
λ(j) =
λ(k)pk,j =
λ(k)pk,j .
j∈A
j∈A k
j∈A k∈A
Scambiando j e k nell’ultima espressione abbiamo:
!
Ã
X
X
X
λ(j) =
λ(j)
pj,k .
j∈A
j∈A
k∈A
P
P
Dato che k∈A pj,k ≤ 1 per avere la suddetta uguaglianza deve essere k∈A pj,k = 1 per
ogni j ∈ A tale che λ(j) > 0. Quindi vale la seguente propriet`a che chiamo (P): per ogni
elemento j di A per cui λ(j) > 0 con un sol passo da j si pu`o andare solo in un elemento
di A. Supponiamo ora per assurdo che λ(i) > 0. Applicando (P) a i (dato che i ∈ A e
λ(i) > 0), concludiamo che da i in un sol passo vado in elementi di A. Per il Lemma 0,
tutti questi hanno misura λ positiva. Applicando ad essi la propriet`a (P) deduciamo che
da questi elementi con un sol passo andiamo in altri elementi di A che, per il Lemma 0,
hanno misura λ positiva. Reiterando tale ragionamento otteniamo che i conduce solo ad
elementi di A. Dato che per definizione gli elementi di A conducono tutti ad i, arriviamo
all’assurdo (cio`e i `e essenziale).
¤
La suddetta proposizione ci dice che le distribuzioni invarianti devono essere concentrate
sull’unione delle classi comunicanti chiuse, inoltre se non esistono classi comunicanti chiuse
non esistono distribuzioni invarianti. Diciamo che una distribuzione su I `e concentrata
in un sottinsieme J ⊂ I (o equivalentemente che la distribuzione ha supporto in J) se
λ(x) = 0 per ogni x ∈ I \ J. Le distribuzioni su I concentrate in J sono in modo
naturale in bigezione con le distribuzioni su J, la bigezione si ottiene associando a λ la
sua restrizione λ|J : J → [0, 1], λ|J (j) = λ(j) per ogni j ∈ J.
PROCESSI STOCASTICI: INTEGRAZIONI
5
Teorema 1 Per ogni classe comunicante chiusa C denotiamo con Inv(I, C) l’insieme (eventualmente vuoto) delle distribuzioni invarianti su I con supporto in C. Supponiamo che
vi siano N , con N ∈ N ∪ {∞}, classi comunicanti chiuse C per cui Inv(I, C) 6= ∅.
Se N = 0 allora non esistono distribuzioni invarianti.
Se N ≥ 1, denotiamo le classi comunicanti chiuse C per cui Inv(I, C) 6= ∅ come C1 , C2 , . . . , CN
se N `e finito, altrimentiPcome C1 , C2 , . . . . Allora P
le distribuzioni invarianti di P sono tutte
N
e sole della forma λ = N
α
λ
dove
α
≥
0,
k
k=1 k k
k=1 αk = 1 e λk ∈ Inv(I, Ck ).
Dim. Se NP= 0 la tesi segue dalla Prop.
PN 1. Supponiamo che sia N ≥ 1.
Sia λ = N
α
λ
dove
α
≥
0,
e
k=1 k k
k=1 αk = 1, λk ∈ Inv(I, Ck ). Verifichiamo che λ `
PNk
una distribuzione. λ(x) = k=1 αk λk (x) e poich`e ogni addendo `e non negativo abbiamo
che λ(x) ≥ 0 per ogni x ∈ I. Inoltre abbiamo
Ã
!
N
N
N
X
XX
X
X
X
λ(x) =
αk λk (x) =
αk
λk (x) =
αk = 1 .
x∈I
x∈I k=1
x∈I
k=1
k=1
La penultimaP
indentit`a segue dal fatto che λk `e una distribuzione, mentre l’ultima segue
e una distribuzione.
dal fatto che N
k=1 αk = 1. Questo conclude la verifica che λ `
Verifichiamo ora l’invarianza. Dato che λk P = λk e data la linearit`a del prodotto di
matrici vale
N
N
X
X
αk λk = λ,
αk (λk P ) =
λP =
k=1
k=1
quindi λ `e una distribuzione invariante.
Supponiamo ora che λ sia una distribuzione invariante. Data una classe comunicante
chiusa C con λ(C) > 0 definiamo λC : I → [0, 1] come
(
λ(x)/λ(C) se x ∈ C ,
λC (x) =
0
se x 6∈ C .
Proviamo che λC ∈ Inv(I, C). Banalmente λC `e una distribuzione su I con supporto in C.
Sia i ∈ I. Per l’invarianza di λ abbiamo
X
λ(i) = (λP )(i) =
λ(j)pj,i .
(4.1)
j∈I
Nella suddetta formula distinguiamo vari casi. Se j `e inessenziale, allora λ(j) = 0 per la
Prop.1 e quindi j non contribuisce. Se j non `e inessenziale, allora la classe comunicante di
j `e chiusa (per il Lemma 1). Se fosse pj,i > 0 avremmo che j → i, ma per la chiusura della
classe comunicante di j avremmo che j e i devono stare nella stessa classe comunicante.
In particolare, se i ∈ C si ha che nella somma in (4.1) contribuiscono solo gli stati j che
stanno nella stessa classe comunicante di i e quindi solo gli stati j in C. Quindi, per i ∈ C,
(4.1) puo’ essere riscritta come
X
λ(i) =
λ(j)pj,i ,
i∈C.
(4.2)
j∈C
Dividendo entrambi i membri per λ(C) e usando la definizione di λC otteniamo che
X
λC (i) =
λC (j)pj,i = (λC P )i ,
∀i ∈ C .
j∈I
6
PROCESSI STOCASTICI: INTEGRAZIONI
Se invece prendiamo i 6∈ C per definizione λC (i) = 0. Mentre siccome λC ha supporto in C
possiamo scrivere
X
X
(λC P )(i) =
λC (j)pj,i =
λC (j)pj,i .
(4.3)
j∈I
j∈C
Se fosse pj,i > 0 avremmo due stati j ∈ C e i 6∈ C tali che j → i. Per la chiusura
di C dovrebbe essere i ∈ C contro l’ipotesi i 6∈ C. Ne deriva che nell’ultimo membro
di (4.3) tutti i termini pj,i sono nulli quindi deve essere (λC P )i = 0. Abbiamo provato
che λC (i) = 0 = (λP )i nel caso i 6∈ C. Questo conclude la dimostrazione che λC `e una
distribuzione invariante per P . Siccome λC ∈ Inv(I, C), deve essere C = Ck per qualche k.
Quindi se λ(C) > 0 deve essere C = Ck per qualche k. In particulare, abbiamo che λ ha
supporto in ∪N
k=1 Ck . Questo implica che, ponendo αk := λ(Ck ), vale
N
N
X
¡
¢ X
1 = λ ∪N
C
=
λ(C
)
=
αk .
k
k=1 k
k=1
k=1
Inoltre banalmente αk ≥ 0. Resta da dimostare che
λ(x) =
N
X
αk λCk (x)
∀x ∈ I .
(4.4)
k=1
Se x 6∈ ∪N
a sappiamo che entrambi i membri sono nulli (ricordare chi `e il supporto
k=1 Ck gi`
di λ e la definizione di λCk ). Se invece x ∈ Ck per qualche k allora (4.4) si riduce a
λ(x) = αk λCk (x) e questo si deriva subito dalla definizione di λCk .
¤
Prop 2 Sia C una classe comunicante chiusa. Allora la matrice Pˆ = {pi,j }i,j∈C `e una
matrice stocastica irriducibile con spazio degli stati C. Sia Inv(I, C) l’insieme delle distribuzioni invarianti su I per P con supporto in C e sia Inv(Pˆ ) l’insieme delle distribuzioni
invarianti su C per Pˆ . Allora la mappa che a λ associa la restrizione λ|C `e una bigezione
tra Inv(I, C) e Inv(Pˆ ).
Proof. Banalmente Pˆi,j ≥ 0 per ogni i, j ∈ C. Fissiamo i ∈ C. Se pi,j > 0 allora i → j, ma
dato che C `e chiusa deve essere j ∈ C. Quindi abbiamo per ogni i ∈ C che
X
X
X
Pˆi,j =
pi,j =
pi,j = 1 .
j∈C
j∈C
j∈I
L’ultima identit`a segue dal fatto che P `e matrice stocastica. Questo conclude la dimostrazione che Pˆ `e matrice stocastica. Dimostriamo che Pˆ `e irriducibile. Siano i, j ∈ C.
Essendo C classe comunicante per P esistono stati i0 , i1 , . . . , in con i0 = i, in = j e
pik ,ik+1 > 0 per ogni k ∈ {0, 1, . . . , n − 1}. Dato che i0 = i e pi0 ,i1 > 0 deve essere i → i1
e quindi i1 ∈ C poich`e C `e chiusa. Ma allora Pˆi0 ,i1 = pi0 ,i1 > 0. Iterando questo ragionamento otteniamo che tutti gli stati i0 , i1 , . . . , in stanno in C ed inoltre Pˆik ,ik+1 = pik ,ik+1 > 0
per ogni k ∈ {0, 1, . . . , n − 1}. Questo conclude la dimostrazione che Pˆ `e irriducibile (cio`e
tutti i suoi stati sono tra di loro comunicanti).
Se λ ∈ Inv(I, C), usando l’invarianza e il fatto che λ ha supporto in C otteniamo
X
X
X
λ(i) =
λ(j)pj,i =
λ(j)pj,i =
λ(j)Pˆj,i ,
∀i ∈ C .
j∈I
j∈C
j∈C
PROCESSI STOCASTICI: INTEGRAZIONI
7
ˆ ∈ Inv(Pˆ ) definiamo λ : I → [0, 1] come
Quindi λ|C ∈ Inv(Pˆ ). Viceversa, se λ
(
ˆ
λ(i)
se i ∈ C ,
λ(i) =
0
altrimenti .
ˆ Inoltre `e banale verificare che λ ∈ Inv(I, C) (esercizio).
Banalmente λ|C = λ.
¤
Per il Teorema 1 e la Prop. 2 ci siamo ridotti a studiare le distribuzioni invarianti
rispetto a P matrice irriducibile. Si pu`o provare che ne esiste al pi`
u una. Per I finito
abbiamo il seguente fatto:
Prop. 3 Sia I finito e sia P matrice stocastica irriducibile su I. Allora esiste un’unica
distribuzione invariante rispetto a P .
Dim. Per il Teorema di Markov–Kakutani esiste almeno una distribuzione invariante. Si
noti che λ = λP iff λt = P t λt (t indica il trasposto). Ci basta provare che P t ha 1 come
autovalore semplice. Assumiamo provato questo fatto e concludiamo. Se vi fossere due
ˆ si avrebbe λt = P t λt e λ
ˆt = P tλ
ˆ t . Quindi λt , λ
ˆ t sarebbero
distribuzioni invarianti λ, λ
t
autovettori (colonna) di P con autovalore 1. Sapendo che 1 `e autovalore semplice conˆ t sono dipendenti, quindi ∃c tale che λt = cλ
ˆ t . Per la normalizzazione
cludiamo che λt , λ
abbiamo
X
X
ˆi = c · 1 = c
1=
λti = c
λ
i∈I
i∈I
ˆ t , da cui λ = λ.
ˆ
quindi λt = λ
Ci resta quindi da provare che 1 `e autovalore semplice di P t . L’algebra lineare ci dice
che questo equivale al fatto che 1 `e autovalore semplice di P . Si noti che i vettori con
entrata constante sono autovettori di P con autovalore 1 e formano uno spazio vettoriale
di dim. 1. Dobbiamo quindi provare che questi sono tutti e soli i vettori v con v = P v
(tali vettori, intesi come funzione i → vi su I, sono detti funzioni armoniche rispetto a
P ). La dimostrazione segue dal principio del massimo per funzioni armoniche. Infatti, sia
v = P v. Sia M := max{vj : j ∈ I}. Sia M = vi . Siccome
X
X
M = vi = (P v)i =
Pi,j vj ≤
Pi,j M = M
j∈I
j∈I
sopra deve valere in tutti i passi l’uguaglianza, e quindi deve essere vj = M per ogni j tale
che Pi,j > 0. Abbiamo quindi provato tale propriet`a (che chiamo (P)): se vi = M allora
vj = M per ogni j tale che Pi,j > 0. Fisso i0 con M = vi0 . Dato un generico elemento
k ∈ I, essendo P irriducibile sappiamo che esiste n ≥ 1 e stati i1 , i2 , . . . , in tali che
Pi0 ,i1 > 0, Pi1 ,i2 > 0, · · · , Pin−1 ,in > 0, Pin ,j > 0 .
Applicando iterativamente la propriet`a (P) otteniamo che M = vi0 = vi1 = · · · = vin = vj .
Data l’arbitrariet`a di j abbiamo che vj = M per ogni j, quindi v `e il vettore costante. ¤
Dai precedenti risultati e osservazioni otteniamo :
Cor. 1 Sia |I| < ∞. Siano C1 , C2 , ..., CN le classi comunicanti chiuse (sappiamo 1 ≤ N <
P
∞). Allora le distribuzioni invarianti di P sono tutte e sole della forma λ = N
k=1 αk λk
PN
dove αk ≥ 0,
e l’unica distribuzione invariante con supporto in Ck .
k=1 αk = 1 e λk `
8
PROCESSI STOCASTICI: INTEGRAZIONI
Inoltre
(
ˆ k (x)
λ
λk (x) =
0
se x ∈ Ck ,
altrimenti ,
ˆ k `e l’unica distribuzione invariante su Ck per Pˆ (k) , con Pˆ (k) = (Px,y )x,y∈C .
dove λ
k
In particolare, esiste sempre almeno una distribuzione invariante. Essa `e unica se e
solo se vi `e un’unica classe comunicante chiusa.
Si prova facilmente che vale il seguente fatto:
Fatto. Sia |I| < ∞. Siano C1 , C2 , ..., CM le classi comunicanti chiuse per cui la matrice
ˆ k su Ck , k = 1, 2, . . . , M (che
Pˆ (k) = (Px,y )x,y∈Ck ammette una distribuzione reversibile λ
deve essere unica). Allora le distribuzioni reversibili di P sono tutte e sole della forma
P
PM
λ= M
k=1 αk λk dove αk ≥ 0,
k=1 αk = 1 e
(
ˆ k (x) se x ∈ Ck ,
λ
λk (x) =
0
altrimenti .
Dim. Si verifica facilmente che λk `e misura reversibile. Infatti, se x, y ∈ Ck vale
(k)
(k)
ˆ k (x)Pˆx,y
ˆ k (y)Pˆy,x
λk (x)Px,y = λ
e λk (y)Py,x = λ
quindi ci basta invocare l’equazione del biˆ k . Se x, y 6∈ Ck vale λk (x)Px,y = 0Px,y = 0 = Py,x 0 = Py,x λk (y). Se
lancio dettagliato per λ
x ∈ Ck e y 6∈ Ck allora λk (y) = 0 e dico che Px,y = 0. Infatti se fosse Px,y > 0 x condurebbe
fuori di Ck che `e c.c.chiusa. Quindi λk (x)Px,y = λk (x)0 = 0 = 0Py,x = λk (y)Py,x .
Poich`e le combinazioniPconvesse di distribuzioni reversibili
sono distribuzioni reversibili
PM
concludiamo che se λ = M
α
λ
,
dove
α
≥
0
e
α
=
1, allora λ `e distribuzione
k
k=1 k k
k=1 k
reversibile.
Sia viceversa λ distribuzione reversibile. Allora λ `e stazionaria. Se x, y stanno nella
stessa classe comunicante chiusa C con λ(C) > 0 allora vale λC (x)Px,y = λ(C)−1 λ(x)Px,y =
λ(C)−1 λ(y)Py,x = λC (y)Py,x . Quindi (λC (x))x∈C `e distribuzione su C reversibile rispetto
a (Px,y )x,y∈C . Ne deriva che nella combinazione convessa che esprime λ in termini della
distribuzioni invarianti basilari entrano solo quelle indicate nell’enunciato.
¤
4.1. Applicazione. Mostriamo ora un esempio di applicazione della teoria sviluppata
finora. Consideriamo la seguente matrice stocastica


1/4 1/4 0
0
0 1/2 0
0
 0
0
0
0
0
1
0
0 


 0
0 2/3 1/3 0
0
0
0 


 0
0 1/3 2/3 0
0
0
0 


P =

0
0
0
1/3
1/3
0
1/3
0


 0 1/2 0
0
0
0
0 1/2 


 0
0
0
0 1/2 1/2 0
0 
1/2 1/2 0
0
0
0
0
0
sullo spazio degli stati I = {1, 2, . . . , 8}. Vogliamo determinare le distribuzioni invarianti di
P . Per fare questo dovremmo prima di tutto risolvere il sistema λP = λ, che include 8 gradi
di libert`a e quindi sarebbe piuttosto calcoloso. Per semplifare possiamo procedere come
segue. Osserviamo che le classi comunicanti sono {1, 2, 6, 8}, {3, 4}, {5, 7}. Sono chiuse
solo C1 := {1, 2, 6, 8} e C2 := {3, 4}. Consideriamo dapprima la matrice Pˆ = {pi,j }i,j∈C1 ,
PROCESSI STOCASTICI: INTEGRAZIONI
cio`e
9


1/4 1/4 1/2 0
 0
0
1
0 

Pˆ = 
 0 1/2 0 1/2  .
1/2 1/2 0
0
Per la Prop. 2 questa matrice `e una matrice stocastica irriducibile su C1 . Per la Prop. 3
Pˆ ammette un’unica distribuzione invariante. La calcoliamo risolvendo il sistema


1/4 1/4 1/2 0
 0
0
1
0 

(a, b, c, d, ) 
 0 1/2 0 1/2  = (a, b, c, d) .
1/2 1/2 0
0
Si ottiene facilmente
¡ 2 5 6 che
¢l’unica soluzione (a, b, c, d, ) che `e anche distribuzione su {1, 2, 6, 8}
3
`e data da 16
, 16 , 16 , 16
. Ne deriva che
¡2 5
6
3¢
λ1 :=
, , 0, 0, 0, , 0,
16 16
16
16
`e l’unica distribuzione invariante per P con supporto in C1 .
Similemente la matrice {pi,j }i,j∈C2 `e stocastica con spazio degli stati C2 ed `e irriducibile.
Si ottiene facilmente come sopra che l’unica distrubizione invariante `e data da (1/2, 1/2).
Ne deriva che
¡
¢
1 1
λ2 := 0, 0, , , 0, 0, 0, 0
2 2
`e l’unica distribuzione invariante per P con supporto in C2 .
Grazie al Teorema 1 o equivalentemente al Corollario 1 abbiamo che le distribuzioni
invarianti per P sono tutte e sole della forma
¡ 2α 5α (1 − α) (1 − α)
6α
3α ¢
αλ1 + (1 − α)λ2 =
,
,
,
, 0,
, 0,
α ∈ [0, 1] .
16 16
2
2
16
16
5. Convergenza all’equilibrio
Def. Una matrice stocastica P si dice regolare se esiste r ≥ 1 tale che (P r )x,y > 0 per
ogni x, y ∈ I.
Banalmente, una matrice stocastica regolare `e irriducibile.
Teorema di convergenza all’equilibrio. Sia I finito e sia P matrice regolare. Allora
esiste θ ∈ (0, 1) tale che per ogni n ≥ 0 e per ogni x, y ∈ I vale
|(P n )x,y − πy | ≤ θn
dove π `e l’unica distribuzione invariante rispetto a P (recall Prop. 3).
In particolare, se (Xn )n≥0 `e CM(λ, P ) (con λ distribuzione iniziale arbitraria) allora per
ogni n ≥ 0 e per ogni y ∈ I vale
|P (Xn = y) − πy | ≤ θn .
Dim. La conclusione segue dalla prima parte avendo
X
X
|P (Xn = y)−πy | = |
λx [(P n )x,y −πy ]| ≤ max |(P n )x,y −πy |·
λx = max |(P n )x,y −πy | .
x∈I
x∈I
x∈I
x∈I
10
PROCESSI STOCASTICI: INTEGRAZIONI
La dimostrazione della prima parte invece `e data dalla dimostrazione del teo. 4.9 del file
disponibile online al sito
http://pages.uoregon.edu/dlevin/MARKOV/markovmixing.pdf
(cambia solo la conclusione, noi stimiamo i moduli delle entrate di matrice loro la
cosiddetta variazione totale.)
¤

Download Report