Catene di Markov

Materie:	Appunti
Categoria:	Matematica
Download:	93
Data:	27.06.2001
Numero di pagine:	2
Formato di file:	.doc (Microsoft Word)

CATENE DI MARKOV A TEMPO DISCRETO
Nelle catene di Markov a tempo discreto gli istanti di transizione si verificano a istanti di tempo discreti.Ne и un esempio la linea transfer: и una macchina operatrice che compie sui pezzi una sequenza di operazioni ed и trattabile come una catena di Markov perchй la probabilitа sul numero di pezzi al ciclo successivo dipende esclusivamente dal numero di pezzi presentati al ciclo attuale, e la preobabilitа di avere un nuovo pezzo al termine di un ciclo и indipendente dagli eventi passati.
Applicando la definizione di processo di Markov alle catene a tempo discreto, si vede che le probabilitа condizionate dipendono esclusivamente dai valori e assunti dal processo a due istanti di tempo contigui:

dove rappresenta la probabilitа che in un periodo di campionamento, la variabile abbia una transizione dal valore al valore .L’insieme di tutte le probabilitа di transizione viene organizzato nella matrice di transizione

Vale l’equazione di Chapman Kolmogorov

Se perт la catena di Markov и omogenea, ovvero se la matrice del periodo di transizione non dipende dal tempo, la soluzione и:
(PROLESSI STAZIONARIA)
detta equazione dinamica di un sistema a tempo discreto
e’ molto importante stabilire le condizioni di ergodicitа della catena di Markov, cioи verificare in quali condizioni le probabilitа di stato raggiungono un valore stazionario al crescere del tempo, indipendente dalle condizioni iniziali.
Il vettore delle probabilitа di stato a regime soddisfa la condizione:

Mentre la probabilitа a regime и data dalla soluzione:

La convergenza del sistema di equazioni impone che gli autovalori della matrice P siano
ma poichй uno degli autovalori и uguale a 1, viene richiesto che l’autovalore sia unico.
Da un punto di vista algebrico le probabilitа di stato a regime vengono calcolate mediante il metodo di bilanciamento dei flussi.