Cadenas de Markov

OPERACIONES 1Cadenas de Markov

Profesor: Pablo Diez BennewitzIngeniería Comercial - U.C.V.

CADENAS DE MARKOV

Existe una variedad de fenómenos que es posible representarlos mediante un modelo probabilísticoo estocástico , denominado cadena de Markov

PROCESO ESTOCÁSTICO

Es una secuencia de variables aleatorias { Xt } tЄI

Donde I es un conjunto de índices

• Si I = IN0, el proceso es en tiempo discreto• Si I = [ 0, + [, el proceso es en tiempo continuo8

PROCESO ESTOCÁSTICO

Ejemplos de secuencias de variables aleatorias X t

• Xt: Número de piezas semielaboradas esperando ser desarrolladas en un taller en el instante t

Número de clientes que ingresan a una sucursal del banco hasta el instante t

• Xt:

• Xt: Precio de una acción al final del cierre de la primera rueda bursátil del día t

REPRESENTACIONES DE LA

REALIZACIÓN DEL PROCESO X t

Ocurrencia

Tiempot

XtEs una variable aleatoria con cierta distribución de probabilidades

Son las representaciones de la realización del proceso Xt

CADENA DE MARKOV

EN TIEMPO DISCRETO

Un proceso estocástico { Xt } t = 0,1,2,3,…….

es una cadena de Markov en tiempo discreto si se satisfacen las siguientes dos condiciones:

1.- Propiedad Markoviana

2.- Propiedad Estacionaria

PROPIEDAD MARKOVIANA

P(Xt = j / X0= i0,X1= i1,...,Xt-2 = i t-2,Xt-1 = i ) = P (Xt = j / Xt-1 = i )

j = estados Son los valores que admite Xt, la variable aleatoria de interés, que son un conjunto finito de resultados

Para conocer la probabilidad actual P ( Xt = j ) sólose depende de lo que sucedió en el instante de tiempo inmediatamente anterior y no de los resultados previos al anterior

PROPIEDAD ESTACIONARIA

Las probabilidades P ( Xt = j / Xt-1 = i ) de pasar del estado “i” al estado “j” , al cabo de una etapa de tiempo, dependen sólo de los valores de “i” y de “j” , pero no de t

Pij = P ( Xt = j / Xt-1 = i )

Pij Probabilidades de transición en una etapa

El proceso continuará indefinidamente , con la opción de empezar desde cualquier estado

EJEMPLO DE MATRIZ DE

PROBABILIDADES DE TRANSICIÓN

Sea Xt: Lluvia en un día de verano

Estados : SÍ = Sí llueve en un día de veranoNO = No llueve en un día de verano

i= SÍi= NO

j= SÍ j= NO

0,02 0,980,01 0,99=Pij

• Filas (i) : indica lo que sucedió en el evento anterior• Columnas (j) : lo que sucedería en el evento actual

DESARROLLLO DEL

PROCESO MARKOVIANO

Se determina la distribución de probabilidadesen cualquier instante (n -ésimo), sólo a partir del instante inicial (t = 0 ), conociendo la matriz P ij de las probabilidades de transición

DESARROLLLO DEL

PROCESO MARKOVIANO

Suponiendo un número finito de estados , o sea 0, 1, 2, ……., M

Se requiere conocer las probabilidades al inicio del horizonte de estudio ( t = 0 )

f (0)

P (X0 = 0)P (X0 = 1)

P (X0 = M)

=

f (0) se supone conocido

DESARROLLLO DEL

PROCESO MARKOVIANO

Se utiliza una matriz P que contiene todas las probabilidades de transición en una misma etapa

P = ( Pij )

P00 P01 P02 POM

P10 P11 P12 P1M

PM0 PM1 PM2 PMM

=

se asume conocida

DESARROLLLO DEL

PROCESO MARKOVIANO

A partir de f (0) y las probabilidades de transición , es posible calcular:

f (n)

P (Xn = 0)P (Xn = 1)

P (Xn = M)

=

PROPIEDADES

Σj = 1

i = fijo

MPij 1= , 0 < Pij < 1

En la matriz P se asume que la sumatoria de todos los coeficientes en una misma fila es igual a 1

PROPIEDAD BAYESIANA

P ( Xn-1 = i )P ( Xn = j / Xn-1 = i )P ( Xn = j ) •= Σi = 0

M

P ( Xn-1 = i )PijP ( Xn = j ) •= Σi = 0

M

P ( Xn = j ) = [ P0j P1j P2j PMj ]

P (Xn-1 = 0)P (Xn-1 = 1)

P (Xn-1 = M)

PROPIEDAD MATRIZ TRANSPUESTA

f (n)

P (Xn = 0)P (Xn = 1)

P (Xn = M)

= = PT f (n-1)•

f (n) = PT f (n-1)•

T: matriz transpuesta

Análogamente: f (n) = PT f (n-1)•f (n-1) = PT f (n-2)•f (n) = ( PT f (n-2) )•PT

f (n) = ( PT) f (n-2)•2

f (n) = ( PT) f (0)•ncumpliéndose

PROPIEDAD MATRIZ TRANSPUESTA

EJEMPLO: TEORÍA DE JUEGOS

Supóngase un juego donde un jugador posee $1 al inicio del juego . En cada jugada gana $1 con probabilidad P o pierde $1 con probabilidad (1 – P)

El juego termina cuando el jugador tiene $0 o cuando acumula $4


Sea Xn = La riqueza del jugador en el juego n

Xn = { 0, 1, 2, 3, 4 } son los estados posibles

f (0)

P (X0 = 0)P (X0 = 1)P (X0 = 2)P (X0 = 3)P (X0 = 4)

= =

01000

0 1 2 3 4

1 – P 1 – P 1 – P

P P P1 1


1 0 0 0 01– P 0 P 0 00 1– P 0 P 00 0 1– P 0 P0 0 0 0 1

j=0 j=1 j=2 j=3 j=4i=0i=1i=2i=3i=4

P =


f (1) = PT f (0)•

f (2) = ( PT ) f (0)•2

o bien f (2) = PT f (1)•1 0 0 0 0

1– P 0 P 0 00 1– P 0 P 00 0 1– P 0 P0 0 0 0 1

=f (2)

1 – P0P00

1 – P0P00

=f (1)

T

P (X2 = 0)P (X2 = 1)P (X2 = 2)P (X2 = 3)P (X2 = 4)

=f (2)


Así, sucesivamente, se determina la distribuciónde probabilidades de la riqueza del jugador

f (2) =

1 – PP (1 – P)

0P2

0

Si n → f (n-1) f (n+1)f (n)≈ ≈

OBSERVACIÓN

A medida que se avanza el tiempo discreto, con nmayores , las diferencias son cada vez menores, hasta llegar a que sean reducidas

∞

Sergio todos los días al salir de su casa pasa a un bar y se toma una cerveza o una mineral

Se comprueba que: si un día toma una cerveza , existe el doble de la probabilidad de que al día siguiente también se tome una cerveza ; mientras que, si un día toma una mineral , nunca se toma una mineral al día siguiente

El primer día la probabilidad de tomar una cerveza o una mineral es igual

EJERCICIO

EJERCICIO

Estados : M = toma una mineral

C = toma una cerveza

i= Ci= M

j= C j= M

2/3 1/31 0=P

• Filas (i) : indica lo que ocurre en el evento actual• Columnas (j) : lo que ocurrirá en el evento siguiente

f (0) P(X0 =C)P(X1 =M)= =

1/21/2

PREGUNTAS

¿ Cuál es la probabilidad de tomar una cerveza al día siguiente ?

¿ Cuál es la probabilidad de tomar una cerveza tres días después ?

¿ Cuál es la probabilidad de tomar una cerveza en el largo plazo ?

•

•

•

RESPUESTA A LA PREGUNTA 1

f (1) = PT f (0)•2/3 11/3 0=PT f (1) =

2/3 11/3 0

1/21/2

f (1) =5/61/6

P (cerveza al día siguiente ) = 5/6


También es posible resolver la pregunta mediante el teorema de Bayes

P(C) = 1/2

P(M) = 1/2

P(C/C) = 2/3

P(C/M) = 1

P(M/M) = 0

P(M/C) = 1/3

día actual día siguiente


Aplicando el teorema de Bayes :

P(C) { P(C/C) P (C) } + { P(C/M) P(M) }= • •P(C) { 2/3 1/2 } + { 1 1/2) }• •=P (cerveza al día siguiente ) = 5/6

Así, se demuestra la propiedad bayesiana del desarrollo estocástico markoviano


f (3) = PT f (2) Sin embargo f (2) = PT f (1)

f (3) = PT ( PT f (1) ) Pero f (1) = PT f (0)

f (3) = PT ( PT ( PT f (0) ) )

Finalmente f (3) = ( PT )3 f (0)

• ••• •

•• ••

f (3) =2/3 11/3 0

3 1/21/2

f (3) =41/5413/54

P (cerveza 3 días después ) = 41/54


Otra forma de resolver esta pregunta es:

f (3) = ( PT )2 f (1)

f (3) =2/3 11/3 0

2 5/61/6 =

7/9 2/32/9 1/3

5/61/6

41/5413/54

f (3) =

•

Probabilidad de largo plazo : f (n+1) ≈ f (n)

Sea πC: Probabilidad de una cerveza – largo plazo

πM: Probabilidad de una mineral – largo plazo

f (n) P(Xn =C)P(Xn =M)= =

πC

πMSi es que n → ∞

f (n+1) ≈ PT f (n)• Pero f (n+1) ≈ f (n) si n → ∞

f (n) PT f (n)= Válido sólo en el largo plazo•

PROBABILIDAD DE LARGO PLAZO

f (n) PT f (n)= •πC

πM

2/3 11/3 0

πC

πM=

Se forma un sistema de ecuaciones lineales de

2 incógnitas

πC = (2/3) πc + πM

πM = (1/3) πc2

1 Es un sistema de ecuaciones lineales

dependientes

No obstante, πC + πM = 1

PROBABILIDAD DE LARGO PLAZO

Sustituyendo: πC + (1/3) πc = 1

πM = 1/4πC = 3/4 y

P (cerveza en el largo plazo ) = 3/4


CLASIFICACIÓN DE LOS ESTADOS

1) ESTADO ACCESIBLE:

Un estado es accesible desde el estado i , si para algún n se cumple: Pij

(n) > 0

Probabilidad de pasar del estado ial estado j al cabo de n etapas

Pij(n)

Pij(n) = P ( Xn = j / Xt-1 = i )

P(n) = Pij(n) Matriz de transición en n – etapas

Entonces, es simple hallar que: P (n) = ( P )n


2) ESTADOS QUE SE COMUNICAN:

Si tanto el estado j es accesibledesde el estado i como viceversa , entonces se dice que los estados se comunican


• CADENA IRREDUCTIBLE:

Si todos los estados de una cadena de Markov se

comunican entre sí , hay una sola clase de estados y la

cadena es irreductible

ALGUNOS EJEMPLOS DE

CADENAS DE MARKOV

01

2

1/2

1/2

Todos los estadosson accesibles

desde cualquier estado de partida

Además, todos los estados se

comunicanEn esta cadena hay una sola clase de estados : es una cadena irreductible

ALGUNOS EJEMPLOS DE

CADENAS DE MARKOV

02

1

1/5 Los estados 1 y 2no son accesiblesdesde el estado 0

Los estados 1 y 2 se comunican entre sí , mientras el estado 0no se comunica con

1 ni con 2 Hay dos clases de estados : { 1, 2 } sí se comunican , en cambio { 0 } no se comunica

ALGUNOS EJEMPLOS DE

CADENAS DE MARKOV

0 1

2

1/2

1

Por lo tanto, hay una sola clase

de estados y la cadena es

irreductible

31

1

Aquí todos los estados se

comunican entre sí

TIEMPO DE PRIMER REGRESO

O DE PRIMERA PASADA

Se estudian las probabilidades sobre el número de transiciones que hace el proceso estocástico al ir desde un estado i al estado j por primera vez

Los tiempos de primer regreso son variables aleatorias . Por ende, tienen una distribuciónde probabilidades asociada

TIEMPO DE PRIMER REGRESO

O DE PRIMERA PASADA

f ij(n) Es la probabilidad de que comenzando en

el estado i , acontezca una primeratransición al estado j al cabo de n etapas

f ij Es la probabilidad de que el proceso regrese al estado jalguna vez, dado que partió desde el estado i

f ij ∑ f ij(n)

n = 1

∞=

EJEMPLO TIEMPO DE PRIMER

REGRESO O DE PRIMERA PASADA

01

2

1/2

1/2

f00(1) = 0

f00(2) =

1 1 1 1 12 2 2 2 2+ =

f00(3) =

1 1 1 1 1 1 12 2 2 2 2 2 4=+

f00(4) =

1 1 1 1 1 1 1 1 12 2 2 2 2 2 2 2 8

+ =

f00(n) =

12 (n-1) si n > 2……….

02

1

1/5



f00(1) = 1

f00(2) = 0

f00(3) = 0

f00(4) = 0

f00(n) = 0 si n > 2……….



02

1

1/5 f11(1) =

16

f11(2) =

1 3 13 5 5=

1 1 3 1 13 5 5 5 25==

2f11

(3) =

si n > 2f11(n) =

15

n – 1

1 1 1 3 1 13 5 5 5 5 125

3==f11

(4) =

……….


3) ESTADO RECURRENTE:

Cuando la probabilidad f ii es igual a 1

f ii = 1 Estado recurrente

f ii = f ii(1) + f ii

(2) + f ii(3) + …… + f ii

(n)n → ∞


4) ESTADO TRANSIENTE:

Cuando la probabilidad f ii es menor que 1

f ii < 1 Estado transiente

f ii = f ii(1) + f ii

(2) + f ii(3) + …… + f ii

(n)n → ∞

EJEMPLO ESTADO RECURRENTE

01

2

1/2

1/2f00 = 0 1 1 1

2 4 8+ + + + ….

f00 = ∑ 12K

K =1

∞

f00 = ∑ – 1 K =0

∞ 12

K

∑ K =0

∞(rk) =

11 – r

Obs:f00 = – 1

11 – 1/2

f00 = 1 Recurrente

EJEMPLO ESTADO TRANSIENTE

02

1

1/5f11 = + + + +….1 1 1 1

6 5 5 5

2 3

f11 = + ∑16

15K =1

∞ K

f11 = + – 116

11 – 1/5

f11 = – – 116

54

f11 =5

12Transiente


5) ESTADO PERIÓDICO:

Un estado es periódico de período t si un regreso es posible sólo en t, 2t, 3t, …….. t Є IN

Pii(n) > 0

El período de un estado i se define como el entero ( t > 1 ) tal que:

Para todos los valores de n iguales a t, 2t, 3t, ………., donde t es el entero

más grande con esta propiedad


6) ESTADO APERIÓDICO:

Si hay dos números consecutivos , s y (s + 1 ), tales que el proceso estocástico se encuentre en el estado i en los tiempos s y (s + 1 ), se dice que el estado tiene período 1 y se llama estado aperiódico


7) ESTADO ERGÓDICO:

Los estados recurrentes positivos y aperiódicos , se llaman estados ergódicos

PROBABILIDADES ESTACIONARIAS

EN EL LARGO PLAZO

Si la distribución de probabilidades del proceso estocástico en el largo plazo existe y es independiente de la distribución inicial (o estadoinicial ) entonces se dice que el proceso tiene una distribución estacionaria π

πj = Lím P (Xn = j ) = Lím Pij(n)

n → n →∞∞

π = πj, pues es independiente

del estado i


EN EL LARGO PLAZO

Proposición: Existe una distribución estacionariaπ tal que πj > 0 para todo j , sí y solo sí la cadena de Markov es irreductible con estadosrecurrentes aperiódicos

π / πj > 0 j Cadena de Markov ergódica

E A


EN EL LARGO PLAZO

Proposición: En una cadena de Markov ergódicao no ergódica con distribución estacionaria π, entonces π es la solución única de:

π = PT π∑ πj = 1

πj > 0

j = 1

n

A

j Є [ 1, n ]

EJEMPLO DE CADENA DE

MARKOV ERGODICA

01

2

1/2

1/2

Es una cadena de Markovergódica , luego tiene

distribución estacionaria

π0 = Lím P (Xn = 0)

π1 = Lím P (Xn = 1)

π2 = Lím P (Xn = 2)n →

n →

n → ∞

∞

∞


MARKOV ERGODICA

Con distribución de probabilidades estacionaria :

f (n+1) = PT f (n)•Se construye el siguiente sistema de ecuaciones con solución π

π = PT π

∑ πj = 1j = 1

n

0 1/2 1/21/2 0 1/21/2 1/2 0

i=0i=1i=2

j=0 j=1 j=2

P =


MARKOV ERGODICA

0 1/2 1/21/2 0 1/21/2 1/2 0

π0

π1

π2

π0

π1

π2

=

π0 = (1/2) π1 + (1/2) π2

π1 = (1/2) π0 + (1/2) π2

π2 = (1/2) π0 + (1/2) π1

π0 + π1 + π2 = 1

1

2

3

4

Queda resolver un sistema lineal de 4

ecuaciones y 3 incógnitas

ESPERANZA DEL

ESTADO DE PRIMERA PASADA

µij El valor esperado del número de etapas en que sucede una primera transición desde el estado i al estado j

∑ n f ij(n) (valor finito ) , si ∑ f ij

(n) = 1

(valor infinito ) , si ∑ f ij(n) < 1∞

µijn =1

n =1

∞

∞

ESPERANZA DEL


Siempre que ∑ f ij(n) = 1, entonces µij satisface,

de manera única , la siguiente ecuación:

µij = 1 + ∑ Pik µkjk ≉ j

∞•

Es en cuántas etapas se espera

arribar del estado k al estado j (k ≉ j)

Es la probabilidad de pasar del estado de partida i a cualquier otro estado k distinto al de llegada ( k ≉ j)V

alor

esp

erad

o se

rá

al m

enos

una

pasa

da

EJEMPLO DE ESPERANZA DEL


02

1

1/5 • Obténgase µ20

1 0 01/2 1/6 1/31/5 1/5 3/5

i=0i=1i=2

j=0 j=1 j=2

P =



µ20 = 1 + P21µ10 + P22µ20

µ10 = 1 + P11µ10 + P12µ20

Es un sistema lineal de 2 ecuaciones e incógnitas

µ20 = 1 + 0,2µ10 + 0,6µ20

µ10 = 1 + 0,16µ10 + 0,3µ20

– –0,4µ20 = 1 + 0,2µ10

– 0,3µ20 = 1 – 0,83µ10

– –

Esto es posible resolverlo con regla de Kramer



µ20

1 – 0,2

1 0,83

0,4 – 0,2

– 0,3 0,83––

–

=

µ20 = 1,03

0,26

–

– µ20 = 3,875

Análogamente: µ10 = 2,75

COSTO PROMEDIO ESPERADO

POR UNIDAD DE TIEMPO

Considerando una cadena de Markov de M estados tal que:

C(x j)Es una función de costos asociada a cada estado de la cadena

Entonces, el costo esperado del proceso estocástico es:

E ( C(x) ) = ∑ C(x j) πjj =1

M

•

E ( C(x) )



Costo promedio en que se incurriría, por unidad de tiempo , contemplando todos los estados que sean posiblesde alcanzarse



Si la función de costos depende además de otra variable aleatoria , idénticamente distribuida , para cada estado del sistema, entonces debe calcularse una función de costo esperado para cada estado del sistema

C (x j) = E (Xjh) Cj•

hdonde Indica la variable aleatoria de la cual depende la función de costos

E ( C(x) ) = ∑ { C(x jh ) Cj } πjj =1

M

• •



La función de costos que antes era un valor determinístico, se reemplaza ahora por una función de costos más compleja , que es un valor esperado de costos

Date post:	11-Nov-2023
Category:	Documents
Upload:	independent
View:	0 times
Download:	0 times

Cadenas de Markov

Documents