Probabilidad absoluta de encontrarse en un estado tras n ... · 6. Cadenas de Markov ergódicas....

U P C I.O.E. Diplomatura de Estadística U P C I.O.E. Diplomatura de Estadística Clasificación de Cadenas de Markov. SEMANA 2

SESIÓN 2.b

CLASIFICACIÓN de CADENAS de MARKOV

1. Ecuaciones de Chapman-Kolmogorov. Probabilidad absoluta de encontrarse en un estado tras n transiciones.2. Tiempos de 1er paso. Clasificación de estados.3. Clases de una Cadena de Markov. Periodicidad. Ejemplos.4. Probabilidades de absorción.

tresteve

Cap. 14 Hillier F.S., Lieberman G.J. “Introduction to Operations Research” Holden day Inc. 1986.

tresteve

(2b). CLASIFICACIÓN Y E.E. EN C.D.M.

tresteve

1ª SESIÓN

U P C I.O.E. Diplomatura de Estadística U P C I.O.E. Diplomatura de Estadística Estado Estacionario en C. de M. SEMANA 3

SESIÓN 2.b (continuación)

ESTADO ESTACIONARIO EN C.de M.

4. Probabilidades a largo término. Número medio de visitas a un estado en n transiciones. Cálculo de las P. a largo término. Costes asociados a los estados.5. Concepto de estado estacinario. Clasificación de estados.6. Cadenas de Markov ergódicas. Ejemplos.

tresteve

(2b). CLASIFICACIÓN Y E.E. EN C.D.M.

tresteve

2ª SESIÓN

U P C I.O.E. Diplomatura de Estadística U P C I.O.E. Diplomatura de Estadística Clasificación de Cadenas de Markov

ECUACIONES DE CHAPMAN KOLMOGOROV

Probabilidades condicionales en n transiciones:

0≥nijp (

para K,2,1,0=n ∀ i,j 11

=∑=

M

j

nijp(

para

K,2,1,0=n ∀ i.

FORMA MATRICIAL DE LAS EC. DE CHAPMAN KOLMOGOROV:

PPPPPPP (( ⋅==⋅= −1nnn L

nij

n piXjX (=

==Ρ

0

=

nMM

nM

nM

n

n

pp

pp

((

((

(PL

MOM

L

1

111


Probabilidad absoluta de encontrarse en un estado tras n transiciones.

Se suponen conocidas las probabilidades iniciales P(X0 = i).

( ) ( )jXPnpNotación nj ==:

Se busca:

Probabilidad de que en la transición n la cadena esté en el estado j.

⋅

=

)(

)()(

)(

)()(

(((

(((

(((

0

00

2

1

21

22212

12111

2

1

p

p

p

ppp

ppp

ppp

p

p

p

Mn

MMnM

nM

nM

nn

nM

nn

M n

nn

M

L

MOMM

L

L

M

p(n) = [P(n]T ⋅ p(0)

U P C I.O.E. Diplomatura de Estadística U P C I.O.E. Diplomatura de Estadística Cadenas de Markov. Introducción

SESION DE PROBLEMAS

Una tienda de fotografía almacena un modelo particular de cámaras. Para reponer elstock puede efectuar pedidos semanales a su distribuidor. La demanda Dk de unidadesdel modelo en la semana k es una v.a. Poisson con E[Dk] = 1.

Sea Y0=3 el número inicial de cámaras, Y1 el número de cámaras al final de la 1ªsemana, Y2 al final de la segunda etc.

Los sábados por la noche se efectúa un pedido de S = 3 cámaras al distribuidor si latienda el nivel de existencias es <s (=1). El pedido es servido puntualmente el lunespor la mañana.

Si durante una semana no pueden satisfacerse las demandas de los clientes, éstas sepierden.

tresteve

Ejemplo de la tienda de cámaras


( ) ( ) ( ) 184011122 11

0

12

031 .

!!=−=−=== −

=

−

=∑∑ e

ke

kFFDPp

k

k

k

k

DDt tt

( ) ( ) ( ) 368011011 10

0

11

032 .

!!=−=−=== −

=

−

=∑∑ e

ke

kFFDPp

k

k

k

k

DDt tt,

{ }( ) ( ) 3680100 10

033 .

!===== −

=∑ e

kFDPp

k

k

Dt t

=

=

3680368018400800036803680264000368063203680368018400800

33323130

23222120

13121110

03020100

.......

......

P

pppppppppppppppp

1

4

2

3

tresteve

ejemplo de la tienda de cámaras


Ejemplo de la tienda de cámaras:

Supongamos:

( ) ( ) ( ) ( ) ( )[ ] [ ]100000000 4321 == ppppp T

Se pide: ( )41p . Se utiliza la forma ( ) ( )nP⋅= TT pnp 0)( :

( ) ( ) ( )

=

=

==⋅=

164.0261.0286.0289.0171.0263.0283.0284.0166.0268.0285.0282.0164.0261.0286.0289.0

165.0300.0286.0249.0097.0233.0319.0351.0233.0233.0252.0283.0165.0300.0286.0249.0

165.0300.0286.0249.0097.0233.0319.0351.0233.0233.0252.0283.0165.0300.0286.0249.0

44 PPPP 22

( ) ( ) ( ) [ ] [ ]164.0261.0286.0289.0

164.0261.0286.0289.0171.0263.0283.0284.0166.0268.0285.0282.0164.0261.0286.0289.0

100004 =

⋅=⋅= 4PTT pp


TIEMPOS DE PRIMER PASO

ijY , = V.a. número de transiciones para visitar el estado j por primera vez partiendo del estado i.

Notación: ( ) ( )nYPf ijn

ij ==

( ) ( )

( ) ( ) ( ) ( )

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

−−−==

−==

−−− 112211

1122

11

njjijjj

nijjj

nij

nij

nij

jjijijij

ijij

pfpfpfpf

pfpfpf

L

MM

DOS CASOS: ( )

<=

=∑∞

= 11

1

n

nijf <1 El estado j puede no visitarse nunca desde el i

( )

( )

<

==

∑

∑

∞

=

∞

=

RANSITORIOf

RECURRENTEstadofjipara

n

njj

n

njj

TEstado1

Ε1

1

1

Relaciones derecurrencia:


Cálculo de las [ ] ijijYE µ=

µµµ

µµµµ

341324121411

3413241214111414

11111

ppp

pppp

+++==++++++⋅=

)()()(

[ ]( )

( ) ( )

=

<∞==Ε

∑∑

∑

∞

=

∞

=

∞

=

11

1

1

1

n

nijn

nij

n

nij

ijijffn

fY

,

, µ

1 2

3

4µ24

µ34

µ46

µ14 p11

[ ]jjj

µµ P1 +=

µµµ

µµµµ

342324221421

3423242214212424

1 1111

ppp

pppp

+++==++++++⋅= )()()(

1 2

3

[ ] ( ) [ ]11 22222 pp =−→+= µµµ I

=

41043414121438181

////////

P

=

−

−→

+

=

11

43434387

41434381

11

32

12

32

12

32

12

µ

µ

µ

µ

µ

µ

////

////

=

−

−=

=

−

− −

35216

11

87434343

332

11

43434387 1

32

12

/////

////

µ

µ


CLASES DE EQUIVALENCIA DE UNA CADENA DE MARKOV .

1

2

3

4

5

6

78

9.2

.1

1.

.3

.8.4

.4

.6

.6

.2

.6

.6

.6

.3 .6

.6

.4

1.

.

Accesibilidad: un estado j es accesible desde el i si ∃ n tal que 0>p nij(

( Notación: i → j )

Es posible encontrar un paso que conecte i con j sobre el diagrama de transiciones. Ejemplo: 2 → 7, pero 7 → 2 Dos estados i, j comunican entre sí si i → j & j → i ( Notación: i ↔ j ) • ↔ es relación de equivalencia: a) i ↔j ⇒ j ↔i b) i ↔ j , j ↔ k ⇒ i ↔ k (Se admite i ↔i )

Definición de clase:

C(i )={ j | i ↔ j }

j ∈ C(i) ⇒ C(i) = C(j)j ∉ C(i) ⇒ C(i) ∩ C(j) =Ø


PERIODICIDAD

Definición de estado periódico y aperiódico

El período de un estado recurrente j, es el entero jd tal que el los n para los que ( ) 0>njjp es de

la forma kdnn j ⋅+= 0 , per algún n0 y para k=0,1,2,3,…Un estado recurrente j es aperiódico si existe un entero positivo r tal que ( ) 0>r

jjp & ( ) 01 >+rjjp .

LA PERIODICIDAD (APERIODICIDAD) ES COMÚN A TODOS LOS ESTADOS DE UNA CLASE.

1 2

34

1 .

1 . .5

.5

1 .

1 2

3

.8

.3

.9.1

.2

.7

{ } { }L,10,8,6,40 (11 =>pn n

. { } { }L,,,( 4320 11 =>p nn


PROBABILIDADES DE ABSORCIÓN

Presencia de clases absorbentes.Estructura de la matriz de probabilidades de transición.

Estados 1, 2 Contrato eventualEstado 3 DespedidoEstados 4,5 Contrato fijoEstado 6 Excedencia.

1

2

3

4

5

6

=

=QRR

PP

P

BA

B

A

0000

6.01.0002.008.02.02.02.0002.008.05.0

002/102/10003/13/13/10003/13/13/10000001

216543

0

=

QRPP Abs

BA


Probabilidades de absorción. Definición

∑ ⋅+==

r

kkjikijij fppf

1

0

=

QRPAbsP FQRF ⋅+=

i = estat transitori ; j = estat recorrent,

ijf = Probabilidad de que partiendo de i (transitorio) se visite j (recurrente) por primera vez.

i

Classe transitòria

j

Classe absorbent

1

2

3

4

5

6

=

ffffffff

F26252423

16151413

21

6 5 4 3Matriz F: Índices de filas : estados transitorios Índices de columnas: estados recurrentes


( ) RMRQIFFQRF ⋅=⋅−=⇒⋅+= −1

+

=

ffffffff

pppp

pppppppp

ffffffff

26252423

16151413

2221

1211

26252423

16151413

26252423

16151413

23

13

2221

1211

23

13

23

13

+

=

ff

pppp

pp

ff

26252423

16151413

2221

1211

26252423

16151413

=

pppppppp

mmmm

ffffffff

Para el estado absorbente 3

1

2

3

4

5

6

=

=QRR

PP

PBA

B

A

0000

6.01.0002.008.02.02.02.0002.008.05.0

002/102/10003/13/13/10003/13/13/10000001

216543


1

2

3

4

5

6

23

13

2221

1211

23

13

23

13

+

=

f

f

pp

pp

p

p

f

f

60102020

2050

23

13

23

13

+

=

f

f

f

f

..

....

=

−−

−−

p

p

f

f

pp

pp

23

13

23

13

2221

1211 1

1

=

−

−2050

40102080

23

13

.

.....

f

f

=

=

=

−

−

90639072

2050

38313234

2050

40102080 1-

23

13

//

.

.////

.

.....

f

f

Con contrato de tipo 1 inicialmente, que probabilidad hay de ser despedido? → f13


SESIÓN 2.b (continuación)

ESTADO ESTACIONARIO EN C.de M.

4. Probabilidades a largo término. Número medio de visitas a un estado en n transiciones. Cálculo de las P. a largo término. Costes asociados a los estados.5. Concepto de estado estacinario. Clasificación de estados.6. Cadenas de Markov ergódicas. Ejemplos.


Número medio de visitas a un estado j en n transiciones

=

entecontrariam0 período elen a llega se , estado del partiendo si1 kji

Z kij(

[ ] [ ] ∑∑==

==Εn

k

kij

n

k

kij

nij pY Z

11E (((

0 1 2 3 n-2 n-1 n

X0 = i

v.a. Nº de visitas al estado j en n transiciones (partiendo de i)

∑=

=n

k

kij

nij ZY

1

((


PROBABILIDADES A LARGO TÉRMINO

Para los estados i,j dentro de una clase C cerrada se verifica:

[ ] Cjpn

limn

Elim j

n

k

kijn

nij

nY ∈=

= ∑

=∞→∞→ ,(

(

π1

1

Interpretación: πj = fracción de los periodos en que se visita j. 1/ πj = µjj = tiempo medio de recurrencia del estado j

verifican:

CiiCi

i ∈≥=∑∈

,, 0 1 ππ.

Ejemplo:

1 2 3

1. 1.

1.

π1 =1/3 π2 =1/3 π3 =1/3

No depende de i


PROBABILIDADES A LARGO TÉRMINO

( Supongamos una única clase cerrada C = {1,2,… M} )

Comprobación:

Dado que Cjpn

lim j

n

k

kijn ∈=

∑=

∞→ ,( π1

1

ππ PePnPePnp

p

nT

in

k

Tn

Tn

ki

Tn

n

k kiM

ki

nklimklimlim =

==

= ∑

∑

∑

−

=∞→

=∞→

=∞→

1

011

1 111(

(

M

IPei ≡

= 0

0

1

0

,M

M

Las probabilidades a largo término verifican: ππ =PT

La ecuación PT π =π manifiesta que lamatriz I - P no tiene inversa ya que π ≠ 0.


CÁLCULO de las PROBABILIDADES a LARGO TÉRMINO

ππ =PaT

) 1,) =∑∈ Ci

ib πVerifican las M +1 ecuaciones:

Puede eliminarse una fila de las a) y sustituirla por b). Las soluciones (únicas) verificarán π > 0 .

Ejemplo:1 2 3

1. 1.

1.

=

001100010

P

,

=

−−

−→=

000

110011101

3

2

1

πππ

ππPT

=

−−

001

110011111

3

2

1

πππ π1 =1/3

π2 =1/3 π3 =1/3


Costes asociados a estados en clases cerradas

( )tXS es una v. a. independiente del tiempo (etapa t ) que toma valoresasociada a los estados : ( ) ( ) ( )MSSS ,,, K21 .

El coste medio esperado por transición tras n transiciones viene dado por:

( )

Ε ∑

=

n

ttXS

n 1

1

Para las clases cerradas (periódicas o aperiódicas) existe el límite,

( ) Cjpn

lim j

n

k

kijn ∈=

∑=

∞→ π1

1

Se puede demostrar que el coste medio por transición a largo término vienedado por:

( ) ( ) jCj

n

ttn jSXS

nlim π⋅=

Ε ∑∑

∈=∞→

1

1


ESTADO ESTACIONARIO

Definición: Se presenta estado estacionario cuando para cualquier estado j:

( ) ( ) jnj njXPnp π →

∞→==

independientemente de les probabilidades de estado inicial pj(0) .

Si el e.e. existe para la cadena, el vector [ ]Mπππ L1=T

se denomina

distribución de probabilidades de los estados en régimen estacionario.

Verifican:

0 ,11

≥=∑=

i

M

ii ππ

.

= → ∞

∞→

M

M

nn

ππ

ππ

L

MM

L

1

1

P P(

No depende de i

jn

ij np π →

∞→(

Equivalentemente:


CADENAS ERGÓDICAS.

1

4

2

3Tras 8 transiciones, las probabilidades

condicionales p nij(

de los estados nodependen de la situación inicial.

Las filas de la matriz 8(P son idénticas

(a 3 dígitos de precisión).

Ejemplo de la tienda de cámaras:

==⋅=

1660264028502860166026402850286016602640285028601660264028502860

448

....

....

....

....

PPPP 8(((

Definición. Sólo hay una clase y ésta es aperiódica.

El estado inicial es irrelevante:

( ) ( ) ( ) [ ] [ ]1660264028502860081660264028502860166026402850286016602640285028601660264028502860

8 ....****P................

=

=⋅= TT pp


CADENAS ERGÓDICAS.

Cuáles de estas cadenas presentan estado estacionario?

21

3

.5

.5

.33

.661.

21

3

.5

.5

1

.1.

Si una cadena es ergódica presenta e. e. (de acuerdo con la definiciónanterior) y además se verifica que:a) π =π.b) π > 0.

q0


CADENAS ERGÓDICAS (ejemplo)

=

−

−

π

πππ

π

πππ

kkk

k

p

pp

qqqqq

M

M

M

M

M

M

LL

MOLL

MOOMMM

MOOMMM

L

LL

L

2

1

0

2

1

0

1

1

0

13210

000000

0000000001

→

=

−−

−−

− 0

001

1000100

000100001111111

2

1

0

1

1

0

M

M

M

M

M

M

LL

MLL

MOOMMM

MOOMMM

L

LL

L

π

πππ

kkp

pp

pppp

p

kk

kk

010

0201

001

L

L

L

−

−−

==

=

ππππ

ππ

1)1( 102101000 =+++++ Π −

= ppppppp jkjLπ ,

Π+= ∑

−

= =

−1

0 0

1

0 1k

ij

i

jpπ

kipj

i

ji L,2,1,

1

00 == Π

−

=ππ

0 1 2 3 k-1 k k+1

Averíasegura

3k-1

kkkk

…

q0

0 1 2 p0 p1 p2 pk-1 (pk=0)

q1 q2 q3 qk-1 qk=1

SESIÓN DE PROBLEMAS

Determinar las clases de la cadena:

12 3 4

5 6

7

8

9

10

11

12

13

1

PROBLEMAS

PERIODICIDAD Y CLASES DE LAS CADENAS:

1

2

3

4

5

6

78

9.2

.1

1.

.3

.8.4

.4

.6

.6

.2

.6

.6

.6

.3 .6

.6

.4

1.

1

2

3

4

5

6

.2

.1

.4

.4

.5

.6

.4

.6

.6

.6

.4 .6

.6

.4

.1


SESION DE PROBLEMAS

Una tienda de fotografía almacena un modelo particular de cámaras. Para reponer elstock puede efectuar pedidos semanales a su distribuidor. La demanda Dk de unidadesdel modelo en la semana k es una v.a. Poisson con E[Dk] = 1.

Sea Y0=3 el número inicial de cámaras, Y1 el número de cámaras al final de la 1ªsemana, Y2 al final de la segunda etc.

Los sábados por la noche se efectúa un pedido de S = 3 cámaras al distribuidor si latienda el nivel de existencias es <s (=1). El pedido es servido puntualmente el lunespor la mañana.

Si durante una semana no pueden satisfacerse las demandas de los clientes, éstas sepierden.


( ) { }( ) ( ) ( ) 08001111121313 21112

000 .

!=++−=−=−=<−=≥= −−

=∑ ee

kFDPDPp

k

k

Dtt t

( ) ( ) ( ) 184011122 11

0

12

001 .

!!=−=−=== −

=

−

=∑∑ e

ke

kFFDPp

k

k

k

k

DDt tt

( ) ( ) ( ) 368011011 10

0

11

002 .

!!=−=−=== −

=

−

=∑∑ e

ke

kFFDPp

k

k

k

k

DDt tt

( ) ( ) 3680100 10

003 .

!===== −

=∑ e

kFDPp

k

k

Dt t

( ) ( ) 632001110 .=−=≥=tDt FDPp

( ) ( ) 3680100 10

011 .

!===== −

=∑ e

kFDPp

k

k

Dt t , 0231312 === ppp

( ) ( ) 264011112 11

020 .

!=−=−=≥= −

=∑ e

kFDPp

k

k

Dt t

( ) ( ) ( ) 368011011 10

0

11

021 .

!!=−=−=== −

=

−

=∑∑ e

ke

kFFDPp

k

k

k

k

DDt tt

( ) ( ) 3680100 10

022 .

!===== −

=∑ e

kFDPp

k

k

Dt t

( ) { }( ) ( ) ( ) 08001111121313 21112

030 .

!=++−=−=−=<−=≥= −−

=∑ ee

kFDPDPp

k

k

Dtt t


( ) ( ) ( ) 184011122 11

0

12

031 .

!!=−=−=== −

=

−

=∑∑ e

ke

kFFDPp

k

k

k

k

DDt tt

( ) ( ) ( ) 368011011 10

0

11

032 .

!!=−=−=== −

=

−

=∑∑ e

ke

kFFDPp

k

k

k

k

DDt tt,

{ }( ) ( ) 3680100 10

033 .

!===== −

=∑ e

kFDPp

k

k

Dt t

=

=

3680368018400800036803680264000368063203680368018400800

33323130

23222120

13121110

03020100

.......

......

P

pppppppppppppppp

1

4

2

3

Ejemplo de la tienda de camaras.

1368.000368.0

368.0368.00368.0184.0368.0368.0184.0080.0264.0632.0080.0

1 4321

44321

34321

24321

14321

4321

4444343242141

3434333232131

2424323222121

1414313212111

=+++=⋅+⋅+⋅+⋅=⋅+⋅+⋅+⋅=⋅+⋅+⋅+⋅=⋅+⋅+⋅+⋅

→

=+++=+++=+++=+++=+++

ππππππππππππππππππππππππ

ππππππππππππππππππππππππ

pppppppppppppppp

Una de les equacions resulta redundant, es pot suprimir la quarta i resoldre el sistema.

el resultat és [ ]166.0264.0285.0285.0=Tπ .

Formulació matricial

( )

10000

368.0100368.0368.0368.010368.0184.0368.0368.01184.0080.0264.0632.0080.01

11

4321

4

3

2

1

=+++

=

⋅

−−

−−

→=⋅

=⋅→

=⋅=⋅

ππππππππ

ππ

πππ

10P-I

1P

T

T

T

T

=

⋅

−−

−

→

=

⋅

−−

−

1000

1111368.0632.00368.0184.0368.0632.0184.0080.0264.0632.0920.0

1000

1111368.0368.010368.0184.0368.0368.01184.0080.0264.0632.0080.01

4

3

2

1

4

3

2

1

ππππ

ππππ

El temps mig de recurrència dels estats és,

=

=

02.679.351.351.3

4

3

2

1

1

1

1

1

44

33

22

11

π

π

π

π

µµµµ

en unitats de transició, és a dir setmanes.

U P C I.O.E. Diplomatura de EstadísticaU P C

I.O.E. Diplomatura de Estadística Definición de Proceso de Renovación

Sesión 2.c MODELIZACIÓN DEL TIEMPO DE VIDA

Proceso de Renovación.

Definición: Colección de variables aleatorias {τn } (discretas o continuas) con índice discreto. Indep. Mútuamente Función de densidad fτ Función de distribución Fτ Idénticamente distrib.

Variables aleatorias importantes: Tiempo hasta el suceso k :

Número de renovaciones N(t) Función de renovación:

τ1 τ2 τ3 τk-1 τk … …

t

U P C I.O.E. Diplomatura de Estadística U P C I.O.E. Diplomatura de Estadística Proceso de Renovación. Teorema elemental de Renovación

TEOREMA ELEMENTAL DE RENOVACIÓN

• Caso τ k-Erlang Se define un nuevo proceso de renovación {τ'n } con τ' = Tk para k fijado.

• Caso τ Weibull ( )( )bt atF −−= exp)( 1τ

… τ τ τ τ τ

t τ

τ'1 τ'2 τ'k

m(t)

m(t)t

d m(t)dt

k=2 etapas,E[τ ]=20

1/E[τ ']=0,028

d m(t)dt

m(t)t m(t)

a=2 , b=40E[τ ]= 35,4

Máquina 1

Máquina 2τ1

τ2

τN=2 N=3 N=5

N=20 N=50Palm(1943)

FUNCIÓN DE FIABILIDAD. FUNCIÓN DE TASA DE FALLOS

U P C I.O.E. Diplomatura de Estadística U P C I.O.E. Diplomatura de Estadística

TIEMPO DE VIDA CONDICIONAL

PROPIEDAD 2. Caso exponencial. Ausencia de memoria

θ s

τi-1 τi

U P C I.O.E. Diplomatura de Estadística I.O.E. Diplomatura de Estadística TEORÍA DE COLAS. Introducción y propiedades básicas

CARACTERÍSTICAS COMUNES EN LOS S.E.

Tiempo de permanencia en el S.E. = tiempo de espera (en cola) + tiempo de servicio

Proceso de llegadas: Los instantes en los que se producen las peticiones son aleatorios: (P.ej. los instantes de llegada de los clientes a una tienda)

Proceso de servicio: Los tiempos de servicio son también aleatorios: (v.a. continua)

τ1 τ2 τ3 τk-1 τk … …

t

Tiempo de servicioTiempo de espera en cola

Tiempo de permanencia en el S.E.Instante deentrada en el S.E.

Instante desalida del S.E.

Modelización:

Intervalo τ entrellegadas:

Proceso de renovación

Date post:	27-Sep-2018
Category:	Documents
Upload:	doankiet
View:	214 times
Download:	0 times

Probabilidad absoluta de encontrarse en un estado tras n ... · 6. Cadenas de Markov ergódicas....

Documents