Cadenas de Markov y Teoría de Colas -...

Cadenas de Markov yTeoría de Colas

Cadenas de Markov yTeoría de Colas

Carlos F. Belaustegui Goitia

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 2

Procesos y Cadenas de MarkovProcesos y Cadenas de Markov

•• Variables binomial, geométrica y de Poisson.Variables binomial, geométrica y de Poisson.•• Procesos puntuales.Procesos puntuales.•• Procesos de Markov.Procesos de Markov.•• Cadenas de Markov. Clasificación de estados, clases de cadenas, Cadenas de Markov. Clasificación de estados, clases de cadenas, estado estado

estacionario. Teorema de Perronestacionario. Teorema de Perron--Frobenius.Frobenius.•• Cadenas de Markov en tiempo continuo. Ecuaciones de balance globCadenas de Markov en tiempo continuo. Ecuaciones de balance global.al.•• Aplicaciones.Aplicaciones.


VariablesVariables BinomialBinomial y Geométricay GeométricaVariable Binomial: La probabilidad de que el eventoA, cuya probabilidad es P(A) = p, ocurra k veces en npruebas es

)!(!!,)1()(

knkn

kn

ppkn

kp knkn −

=

−

= −

Separación entre eventos: sea X= número de pruebas hasta el primer éxito

1 3 4 8 13 15 21

n=22, k=7

1 3 4 8 13 15 211 2 4 5 11 19 203 5 6 7 12 17 20...............4 6 8 9 16 21 22

722 combinaciones

pqppnXP

ppXPpXP

nn 11)1()(

)1()2()1(

−− =−==

−====

L

Distribución geométrica.X es el número de pruebas hasta el primer éxito en unasecuencia de pruebas deBernoulli.

Propiedad “sin memoria” de la distribución geométrica

)(

11

11

)()(

)(),()/(

01

11

1

1

1

00

00

0

0

0

0

nnXPpq

qq

q

q

q

q

pq

pqnXPnXP

nXPnXnXPnXnXP

nnn

n

ni

i

n

nk

k

n

−===

−−−

−

==

==>==

>>==>=

−−−

∞

=

−

∞

+=

−

−

∑

∑

1 3 4 8 13 15 21

X=nX=n

n0

Aplicación: Proceso de Bernoulli como modelo de flujo ATM

4848553 bytes

1 CC = 2.83 uSec @ 149.76 Mbps


VariablesVariables BinomialBinomial y dey de PoissonPoissonVariable Binomial: La probabilidad de que el eventoA, cuya probabilidad es P(A) = p, ocurra k veces en npruebas es

)!(!!,)1()(

knkn

kn

ppkn

kp knkn −

=

−

= −

Variable de Poisson: Si p<<1, np=a, y k del orden de np

ak

a

a

an

n

n

nnn

nn

nn

n

kakp

apap

ap

nalimplimplimp

kpk

akp

ka

knk

naa

kkn

pp

kpkp

−

−

−

−

∞→∞→∞→

∞→

=

==

=

=−=−==+

=+

+ →

+−⋅

−=

+−⋅

−=+

e!

)(

e2

)1(2

)2(

e)1(

e)/1()1()0()0(

)(1

)1(

11/1

/111)()1(

2

L

1 3 4 8 13 15 21

n=22, k=7

1 3 4 8 13 15 211 2 4 5 11 19 203 5 6 7 12 17 20...............4 6 8 9 16 21 22

7

22 combinaciones


Puntos dePuntos de PoissonPoisson

Puntos de Poisson: Se colocan al azar n puntos en elintervalo real [0, T)

6 1 5 3 2 9 4 8 7

t1 t2∆t

T

)(e!)(]),[en puntos (

/0/cte.,,,

/

)1(]),[en puntos (

]),[en punto 1(

,21

21

1221

kpktttkp

tTtnnpaTtpTn

Tn

ppkn

ttkp

Tt

TttpttP

tk

Tnn

knkn

= →

===→==∞→∞→

=

−

=

=−==

−∞→

−

∆∆∆∆∆∆∆∆

∆∆∆∆∆∆∆∆∆∆∆∆

∆∆∆∆

λλ

λλ

λ

Densidad de puntos

t∆tt, tPlim

ktt

kt

ktkp

ttttp

t

k

t

kt

kt

t

∆+=

∆ →∆−∆≈∆=

∆ →∆−∆≈∆=

→∆

→∆∆−

→∆∆−

])[en punto 1(!)()1(

!)(e

!)()(

)1(e)1(

0

0

0

λ

λλλλ

λλλλ

λ

λ


Distribución ExponencialDistribución Exponencial

Separación entre puntos: sea X = distancia desdet al primer punto a la derecha de t.

20

1)var(,1e)(

)(e)(

0e1]),[en puntos 0(1

)(1)()(

λλλ

λ

λ

λ

λ

===

=

≥−=+−=

=>−=≤=

∫∞

−

−

−

XdxxXE

xuxf

xxttP

xXPxXPxF

x

xX

xX

t t+xX

Propiedad “sin memoria” de la distribución exponencial

)()(e)/(

e1)(1

)()()(

)()(

),()/()/(

00)(

0

)(

0

0

0

0

0

000

0

0

xxfxxuxXxf

xFxFxF

xXPxXxP

xXPxXxXPxXxXPxXxF

Xxx

X

xx

X

XX

X

−=−=≥

−=−

−=≥

≤≤=

=≥

≥≤=≥≤=≥

−−

−−

λ

λ

λ

tX

x0

Los tiempos entre arribos son independientes y distribuídos exponencialmente con parámetro λ

Lo que ocurre después de t0 es independiente de lo que ocurrió antes de t0..


Relación entre procesos deRelación entre procesos deBernoulliBernoulli yy PoissonPoisson

Tiempo discreto Tiempo continuo

Proceso de Bernoulli Proceso de Poisson

Distribución entre arribos:Geométrica

Distribución entre arribos:Exponencial


Ejemplo: ArribosEjemplo: Arribos AleatoriosAleatorios

A B C Darribos

servidor

tiempo

•El proceso de arribos es Poisson.•Los tiempos entre arribos son independientes y distribuidos exponencialmente con parámetro λ.


Ejemplo: ModeloEjemplo: Modelo de de Tráfico TelefónicoTráfico Telefónico

λ: tasa de arribos (llamadas/seg)1/µ: duración media de la llamada (seg)

20

1)var(,1e)(

)(e)(

λλλ

λ

λ

λ

===

=

∫∞

−

−

XdxxXE

xuxf

x

xX

t t+xX

Arribos de Poisson Separación entre arribos exponencial

)/1( µλ ⋅=a Tráfico (Erlang)

∑∑

∑∑

=

==

==

=⋅=⋅=

L

jj

ii

N

kki

N

kki

i

iihii

tjT

aa

tT

tNT

NTEaii

0

11

1

11)(ˆλ̂

t

fTh(t) Th: duración de la comunicación(holding time)

)(e)( t tutfhT

µµ −=

Fdp experimental

1/µ

T

tk

1

2

i

L

Tiempo medio de ocupaciónde una línea

Promedio de líneas ocupadas simultáneamente

Número de ocupaciones simultáneasTiempo total en el queexactamente j líneas están ocupadas


Procesos deProcesos de MarkovMarkov

Proceso de Markov: Es un proceso estocástico cuyo pasado no tiene influencia sobre el futuro si el presente está especificado.

[ ] [ ])(/)()(/)( 11

1

−−

−

≤=≤∨≤<

nnnnnn

nn

tXxtXPtttXxtXPtt

[ ] [ ])(/)()(,),(/)( 111

21

−− ≤=≤<<<

nnnnnn

n

tXxtXPtXtXxtXPttt

L

L

Tiempo continuo:

Tiempo discreto:

Cadena de Markov: Proceso de Markov en tiempo discreto con un conjunto numerable de estados ai. Especificado en términos de:

discreto continuo

disc

reto

cont

inuo

tiempo

esta

do

Cadenas deMarkov

Procesospuntuales-

Colas

Sistemas dinámicos

)/(),()()(

1221 injnij

ini

aXaXPnnaXPnp

=====

π

Prob. estado

Prob. transición

Propiedades:

11Π =

=∑),(

1),(

mn

mnj

ijπ

),()()(

),()()(

nkkn

nkkpnp

TTi

ijij

Πpp =

= ∑ π

),(),(),(

),(),(),(

nmmknk

nmmknkl

ljilij

ΠΠΠΠΠΠΠΠΠΠΠΠ =

= ∑ πππ

ai

πi1πi2

πik

aj

p1

pi

p2π1j

π2j

πij

Ecuación deChapman-Kolmogorov

Matriz estocástica


Propiedades de las Cadenas de MarkovPropiedades de las Cadenas de Markov

1)()(

)(),(

)/(),(

====

===

=

====

∑

∑ ∑

in

in

j in

injm

j jinjmij

aXPaXP

aXPaXaXP

aXaXPmnπ

Propiedades generales de los procesos de Markov

)/(),,/()](/)([)](,),(/)([

111

111

−−

−−

=⇒≤=≤

nnnn

nnnnnn

xxfxxxftXxtXPtXtXxtXP

L

L

)/()/(

),,/(),,/(

11

1111

−

∞

∞−−

∞

∞−−−

∫

∫

==

==

nnn

nnn

XXEdxxxfx

dxxxxfxXXXE LL

)/(),,/( 11 +++ = nnknnn xxfxxxf L

)/()/()(

)()/()/()(

),,()/,(

:

mkmnm

kkmmn

m

kmnmkn

xxfxxfxf

xfxxfxxfxf

xxxfxxxf

nmk

==

==

<<

Un proceso de Markov tambiénes de Markov si el tiempo se invierte.

Si el presente está especificado,el pasado es independiente delfuturo.

Propiedades de las cadenas de Markov

)()(),(

)/()(),()(

npaXPaXaXP

aXaXPaXPnkkp

jjni

jnik

i iikjnikiji

======

=====

∑∑ ∑π

∑∑∑∑

∑

∑

=

======

=======

==

======

==

====

========<<

lljil

liklmlmjn

liklmiklmjn

l ik

iklmiklmjn

l ik

iklmjn

liklmjnikjnij

nmmk

aXaXPaXaXP

aXaXPaXaXaXPaXP

aXaXPaXaXaXPaXP

aXaXaXP

aXaXaXPaXaXPnknmk

),(),(

)/()/(

)/(),/()(

),(),/()(

),,(

)/,()/(),(:

ππ

π


Evolución de una Cadena de MarkovEvolución de una Cadena de MarkovCadenas homogéneas: Las probabilidades detransición πij(m,n) sólo dependen de la diferenciak=n-m.

Ecuación de Chapman-Kolmogorov:

),(),(),(

),(),(),(

nmmknk

nmmknkl

ljilij

ΠΠΠΠΠΠΠΠΠΠΠΠ =

= ∑ πππ

)()()()()()()()(

)()()(

pqqpqpmnkmkn

mnkmknl

ljilij

ΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠ

==+−−=−

−−=− ∑ πππ

nn

nn

ΠΠΠΠΠΠΠΠ

ΠΠΠΠΠΠΠΠΠΠΠΠ

ΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠ

=

=+

==

)(

)()1(

)1()1()2( 2

L

nT

knT

T

TT

TN

kknk

nkknnpnpn

ΠpΠpΠpΠpp

p

)0()(

)()(),()()(

)]()([)( 1

===

=−===

=

−

L

Evolución del sistema

Estado estacionario

Πpppp

TT

n==)(

Si existe el estado estacionario, el vector de probabilidad de estados p de una cadena de Markov, es un autovector izquierdo de su matriz de transición ΠΠΠΠ con autovalor 1.

Si p(1) ≠ p, el proceso no es estacionario.

Si ΠΠΠΠn tiende a un límite para n → ∝, el proceso es asintóticamente estacionario.

¿Existe un estado estacionario?

¿Existe un estado estacionario?

Matriz de probabilidades de transición a n pasos. El elemento i,j de ΠΠΠΠn es la probabilidad de llegar de i a j en exactamente n pasos.


Ejemplo: Cadena de 2 estadosEjemplo: Cadena de 2 estados

00 11

a1-a

b

1-b

−

−+−−+

+

==

−

−=

=

bbaa

baba

abab

ban

bbaa

nn )1(1)(

11

1110

0100

ΠΠΠΠΠΠΠΠ

ΠΠΠΠππππ

[ ] [ ]

+=

+=

⇒

=+

−

−=

=

baap

babp

ppbb

aapppp

1

0

10

1010

11

1

ΠΠΠΠpp

Matriz de transición Solución en estado estacionario

Aplicación: Es un modelo para voz en paquetes.

Estado 0: inactivo (silencio). La probabilidad de que la próxima TS seaactiva es a, y la probabilidad de que permanezca en el estadoinactivo es 1-a.Estado 1: activo (habla). La probabilidad de que la próxima TS seainactiva es b, y la probabilidad de que permanezca en el estado activo es 1-b. En el estado activo, una TS contiene una celdacon probabilidad p, y se tiene un proceso de Bernoulli.


Ejemplo: Proceso de cuenta binomialEjemplo: Proceso de cuenta binomial

Ejemplo: Proceso de cuenta binomial.

Es una secuencia de variables aleatorias de Bernoulli independientes.Sn es el proceso de suma o cuenta que da el número de éxitos en lasprimeras n pruebas. En cada paso, Sn puede incrementarse en 1 con probabilidad p o quedar igual con probabilidad 1-p.

−−

−

=

LLLLL

L

L

L

pppp

pp

100010001

ΠΠΠΠ

Matriz de transición

00 11 22 n-1n-1 nnp p p p

1-p 1-p 1-p 1-p 1-p

njppjn

jSPIIS jnjnnn ≤≤−

==⇒++= − 0)1()(1 L

=01

kICon probabilidad p

Con probabilidad 1-p


Propiedades Generales de la Matriz de TransiciónPropiedades Generales de la Matriz de Transición

Matriz no negativa

Matriz Estocástica

0Π

0Π

≥

∀≥⇔≥n

ij ji,0π

( )1maxmax

de propiopar un es ,1

1==⇔=

⇔=

∑∞=∞∞ i

ijiπΠxΠ1Π1

Π11Π1

x

Norma infinito: máxima suma de valores absolutos de cada fila = 1

Radio espectral( )

( )

( ) ( )( ) ( ) 1

11

max

=≤⇒∗≤∗≤⇒∈

=

∞

∈

ΠΠΠΠ

ΠΠ

ρρρσ

λρσλ

El radio espectral es menor o igual que cualquier norma

( ) 1=Πρ

El radio espectral es unitario


Clasificación de EstadosClasificación de Estados

• Accesible: j es accesible desde i si hay alguna secuencia de transiciones de i a j con probabilidad no nula: ∃n>0/ πij(n)>0.

• Comunicantes: los estados i y j comunican si son accesibles entre sí. Se escribe i↔j. La comunicación es una relación de equivalencia: i↔j, j↔k ⇒ i↔k.

• Absorbente: Si es imposible abandonarlo: πii=1.

• Recurrente: El estado i es recurrente si la probabilidad de regresar alguna vez a él es 1.

• Periódico: Un estado es periódico con período d si sólo se puede regresar a él después de d, 2d, ..., nd pasos.

• Aperiódico o Ergódico: Periódico con período d=1. Se puede regresar a él en cualquier momento.

• Transitorio: La probabilidad de regresar al estado alguna vez es menor que 1.

∑∞

=

==1

1)(n

iii nf π

∑∞

=

<=1

1)(n

iii nf π

Recurrente

Transitorio


Clases de EstadosClases de Estados

• Cerrada: Si desde un estado interior no se puede alcanzar ningún estado exterior a la clase. Un estado absorbente es una clase cerrada con un único estado.

• Irreducible: Clase cerrada tal que ningún subclase propia es cerrada. En otros términos, la única clase cerrada es la de todos los estados.

• Dos estados pertenecen a un mismo conjunto si se comunican.

• Dos clases distintas deben ser disjuntas, pues si existe algún elemento común, los estados de una clase se pueden comunicar con los de la otra, y así resultan ser de la misma clase.

Clase cerrada

Estados absorbentes

Clase irreducible

Clase reducible


Clases de CadenasClases de Cadenas• Irreducible. Definiciones equivalentes:

– La que consiste en una única clase de equivalencia.– El único conjunto cerrado es el de todos los estados.En una cadena irreducible, todos los estados son recurrentes o son todos transitorios. En una cadena irreducible finita, no pueden ser todos los estados transitorios; luego, son todos recurrentes.

• Reducible. Opciones:1. Tiene uno o más estados absorbentes.2. Tiene un subconjunto de estados S1 desde el cual no es posible alcanzar estados fuera de S1.

• Absorbente: la que tiene al menos un estado absorbente, accesible desde cualquier otro estado.• Aperiódica: Todos sus estados son periódicos con período 1.• Regular: Es posible ir de un estado a cualquier otro en exactamente n pasos: ∃n>0/ ΠΠΠΠ(n)= ΠΠΠΠ n > 0.

Regular ⇒ Todos los estados comunican ⇒ Irreducible

• Ergódica: Irreducible, aperiódica, recurrente positiva.


Cadenas AbsorbentesCadenas AbsorbentesUna cadena es absorbente si es posible renombrar sus estados para escribir la matriz de probabilidades de transición como

=

I0RQ

Π

11 22 33 tt t+1t+1 t+rt+rt+2t+2

1 1 1

t estados transitorios r estados absorbentes

Q

I

R

0

t r

t

r

( ) ( )

[ ][ ] [ ]

( ) )0()0()(,)(

)()()1(,)()1(

)()()1()1(

)()()(

1

121

IQnInQ

IQIQQ

IQIQ

IQ

n

nnnn

nn

nnnnn

nnnn

nnn

pRQIpp0p

pRppQppI0RQ

pppp

pppI0

RQI0I0

RIQQQΠ

+−→→

+=+=+

=++

=

−→

+++=

−

∞→∞→

−

∞→

−− L


Cadenas Reducibles e IrreduciblesCadenas Reducibles e IrreduciblesMatrices de Permutación

P es una matriz de permutación si exactamente 1 elemento en cada fila y 1 elemento en cada columna es 1 y los restantes son nulos.

MPPPMPPPPP

P

PP

T

T

∈⇒∈=

±==

=

=

−

2121

1

,

1det

312

321

,100001010

APPA'APPA permuta las filas de A

permuta las columnas de A

Permuta las filas y columnas de A

Matriz ReducibleA es una matriz reducible (irreducible) si (si no) existe alguna matriz de permutación P tal que:

==

D0CB

APPA' T

Test: A ∈ℜN×N es irreducible sii: ( ) 0AI >+ −1NN

Identidad de N×N

Matriz de valores absolutos

Matriz positiva

Permutación de estados en una cadena de Markov

ΠPPΠ T='Permutar filas y columnas de ΠΠΠΠ equivale a renombrar los estados de la cadena

Cadena ReducibleUna cadena de Markov es reducible si es posible renombrar sus estados para llevar la matriz de probabilidades de transición ΠΠΠΠ a la forma

==

A0RQ

ΠPPΠ T'

En caso contrario, la cadena de Markov es irreducible.


Cadenas de Markov y GrafosCadenas de Markov y GrafosGrafo de una cadena

El grafo G(ΠΠΠΠ) de ΠΠΠΠ es el gráfico orientado sobre n nodos {N1, N2,..., Nn} en el cual hay un arco orientado de Ni a Nj si y sólo si πij≠0

Cambio de nombre de los nodos

Si P es una matriz de permutación, ( ) ( )ΠΠPP GG T =

Grafo fuertemente conexo

Para cada par de nodos (Ni, Nj ) existe una secuencia de arcos orientados que conduce de Ni a Nj.

Para cada par de nodos (Ni, Nj ) existe una secuencia de arcos orientados que conduce de Ni a Nj. ΠΠΠΠ es irreducibleΠΠΠΠ es irreducible

Todos los estados comunican. La cadena consiste en una única clase de equivalencia.

Todos los estados comunican. La cadena consiste en una única clase de equivalencia.

Clase irreducible


Descomposición Espectral de una Matriz Descomposición Espectral de una Matriz A∈ℜℜℜℜn×n es diagonalizable cuando tiene un conjunto completo de autovectores linealmente independientes.

( ) ( )

ijiTj

iTi

jiiTj

iTjji

Tj

Tjj

Tj

iTjii

Tjiii

T

Tii

Tiiii

Tiii

δ

λλλλλλ

λλµµ

λ

=

≠

≠=⇒

=⇒==⇒=

−=−

=⇔=

=

vuvu

vuvuAvuuAu

vuAvuvAv

IAIAuAuuuA

vAv

0

si 0

detdet

Autovector derecho

Autovector izquierdo

A y AT tienen iguales autovalores

Autovectores derecho e izquierdo son biortogonales

Normalización[ ] [ ]

( )

( )Tii

n

ii

T

TTTTTT

n

nn

diag

uvUVVVA

IVUVUUAUΛUAU

AVVVΛAV

uuUvvV

∑=

−

−−

−

===

=⇔=⇔

=⇔==⇔=

===

1

1

11

1

1

11

,,,

λ

λλ

ΛΛΛΛΛΛΛΛ

ΛΛΛΛΛΛΛΛ

ΛΛΛΛ K

LL Conjunto completo de autovectores l.i. ⇔ A es diagonalizable

Descomposición espectral


Teorema de PerronTeorema de Perron--FrobeniusFrobenius

Matriz primitivaA≥0, irreducible es primitiva si tiene un único autovalor r = ρ(A) de módulo máximo (es decir, un único autovalor sobre el círculo espectral).A≥0, irreducible es imprimitiva de índice h si tiene h autovalores de módulo máximo.Test de Frobenius: A≥0 es primitiva sii Am>0 para algún m≥1.Test de Wielandt: A≥0 ∈ℜnxn es primitiva sii 0A >+− 222 nn

Teorema de Perron-FrobeniusSi A≥0 es irreducible, entonces

( ) ( )( )

( )( ) ( ) ( ) 1mult geo1mult algmult geo1 :

:1)(mult alg

0

=⇒=≤≤∀=>∃

=>∈

AAAAxAAx0x

AA

AA

ρρρρ

ρρ

σρ El radio espectral es un autovalor de A

El radio espectral es positivo

El radio espectral es un autovalor simple AEl autovector asociado al radio espectral es positivo.

No existen otros autovectores no negativos aparte de x: Vector de PerronEl autovector asociado al radio espectral es único.

( ) TT A yAy ρ= El vector izquierdo de Perron tiene la misma propiedad.


Matrices primitivas e imprimitivasMatrices primitivas e imprimitivasSi A≥0 es irreducible e imprimitiva de índice h, entonces tiene h autovalores sobre el círculo espectral.

{ }hi

AS

i

h

,,2,11mult alg,,),( 21

K

K

=∀===λ

λλρλ

Teorema: Los h autovalores de A sobre el círculo espectral, son las raíces de orden h de ρ(A)

−=

= 1,,1,0:2exp)( hk

hikS K

πρ A

En este caso, A/r no es convergente, pero es sumable Cesàro:

Tk

k krr

11

1)/()/(lim yxAAI =+++ −

∞→

L

Si A≥0 es irreducible y primitiva, entonces tiene un único autovalor r = ρ(A) sobre el círculo espectral.

{ }

( ) Tk

k

k

k

n

i

Tiii

n

i

TTiii

Tjj

Tj

iii

i

n

r

nir

r

11

2111

1

21

/limlim

,,21,,,1)()(,1)(/

)(

yxAB

yxyxyxB

yByxBx

BBBABA

==

+==

=

==∀=<

====⇒==

∞→∞→

==∑∑ λλ

λλ

λλλλρλσρ

ρ

K

K

A/r es convergente


Cadenas irreducibles y aperiódicasCadenas irreducibles y aperiódicasPropiedades generales de la matriz de probabilidades de transición

( )1Π1

Π0Π

==

≥∀≥1

1ρ

nn

Π1 de propiopar un es ),1(

Radio espectral unitario

Matriz irreduciblePor el teorema de Perron-Frobenius, 1 es el vector de Perron asociado al autovalor 1. No existe otro autovector derecho no negativo. Para el mismo autovalor, existe un único autovector izquierdo p no negativo tal que

1==

1ppΠp

T

T Normalización

Matriz irreducible y primitiva

Por ser primitiva, 1 es el único autovalor sobre el círculo espectral

TTTkT

k

T

k

Tk

k

k p1ppΠpp

1pΠ

===

=

∞→∞→

∞→

)0()0(lim)(lim

lim Todas las filas son iguales. Todas las columnas tienen iguales elementos

La distribución de probabilidades estacionaria es el vector izquierdo de Perron.La cadena es aperiódica.

111

1

>∀<

+=

+=

∑∑

>

>

ii

i

Tii

ni

Tni

Tiii

T

λ

λ

λ

uv1p

uv1p

ΠΠΠΠ

ΠΠΠΠ


Cadenas irreducibles y periódicasCadenas irreducibles y periódicasMatriz irreducible e imprimitiva

TTTTTT

k

Tk

k

kk

k

p1ppppp

1pΠΠI

==−+++

=++

∞→

−

∞→

)0()1()1()0(lim

lim1

L

L

Interpretación

( )jT

j

k

n

Tk

nj

k

nn

jnnnn

k

nn

k

nn

n

knknpkZE

npZPZPZPZE

kjkZ

kjZ

jnZ

jZ

pp =

==

====⋅+=⋅=

=

=

∑∑∑

∑

∑

−

=

−

=

−

=

−

=

−

=

1

0

1

0

1

0

1

0

1

0

0

/)(/)(/

)()1()0(0)1(1)(

. tiempodel antes visitadoes estado el que vecesdefracción :/

. tiempodel antes estado al visitasde número :

no si 0 es en tiempo estado el si 1

,no si 0

es inicial estado el si 1

La fracción de tiempo a largo plazo que la cadena pasa en j es pj : componente j del vector de Perron pT. La interpretación vale también cuando la matriz es primitiva y existe un estado estacionario.

Forma canónica de Frobenius para matrices imprimitivasSi ΠΠΠΠ es imprimitiva de orden h>1, entonces existe una permutación tal que

=

−

000ΠΠ000

0Π0000Π0

ΠPP

L

L

MOOMM

L

L

1

1

23

12

h

,hh

T

La cadena es periódica de período h.


Cadenas reducibles (1)Cadenas reducibles (1)Cadena ReducibleUna cadena de Markov es reducible si es posible renombrar sus estados para llevar la matriz de probabilidades de transición ΠΠΠΠ a la forma

≡

≡≡

≡

≡

==

++

++

++

++

++

mm

rr

rr

rmrrrrrr

mrrr

mrrrr

kk

k

k

T

Π00000

0Π000000Π000ΠΠΠΠ00

ΠΠΠΠΠ0ΠΠΠΠΠΠ

X00

XX0XXX

W00VU0TSR

Z0YX

Π

Z0YX

ΠPPΠ

LL

MOMMMLMM

LL

LL

LL

MLMMMLMM

LL

LL

L

MOMM

L

L

L

2,2

1,1

2,1,

22,21,2222

12,11,11211

222

11211

'

Si X o Z es reducible

Si R, U o W es reducible, etc.

Cada Xii es irreducible o [0]1x1.

Cada ΠΠΠΠii es irreducible o [0]1x1i-ésima clase transitoria: cuando se la abandona, no se regresa a ella

Cada ΠΠΠΠr+j,r+j es irreducible.j-ésima clase ergódica. Cada clase ergódica es una cadena irreducible en sí misma

Forma canónica para matrices reducibles


Cadenas reducibles (2)Cadenas reducibles (2)

≡

≡

++

++

++

++

++

22

1211

2,2

1,1

2,1,

22,21,2222

12,11,11211

Γ0ΓΓ

Π00000

0Π000000Π000ΠΠΠΠ00


Π

mm

rr

rr

rmrrrrrr

mrrr

mrrrr

LL

MOMMMLMM

LL

LL

LL

MLMMMLMM

LL

LL

Cada ΠΠΠΠr+j,r+j es irreducible.j-ésima clase ergódica. Cada clase ergódica es una cadena irreducible en sí mismaLos autovalores unitarios de cada ΠΠΠΠr+j,r+j son simples y son raíces de la unidad.Los autovalores unitarios de ΠΠΠΠ son el conjunto de los autovalores unitarios de las submatrices ΠΠΠΠr+j,r+j .Pueden estar repetidos por aparecer en más e una submatriz ΠΠΠΠr+j,r+j .

Cada ΠΠΠΠii es irreducible o [0]1x1i-ésima clase transitoria: cuando se la abandona, no se regresa a ella

1)(nulos no ,, bloqueshay porque

pero ,1)(<⇒

≠≤=⇒=

iiijii

iiii

ijΠ

Π11Π11ΠΠ

ρρ

primitivasson de ssubmatrice las todassi lim

lim

,,1 ,

2222

112222

ΓLΓ

L1p

1pΓΓI

pΠp

=

=

=+++

+==

∞→

+−

∞→

k

k

Tm

Trk

k

Tjjj

Tj

k

mrj

MOL

K

( ) LIΓΓΓ

IΓΓ

ΓΓΓΓΓΓ

Γ0

ΓΓΓΓΠ

1211

1

1

1

0

1221211

1

0

122

22222

1211

1

0 1

1221211

1

1

1

0

1221211

22

1

0

122121111

1lim

11

ΓΓΓΓΓΓΓΓ

ΓΓΓΓΓΓΓΓΓΓΓΓ

−=

++++=

==

=

∑∑

∑

∑ ∑∑∑

∑

−

=

−

=

−−

∞→

−

=

−−

−

= +=

−−−

=

−

=

−−

−

=

−−

k

n

n

i

ini

k

k

i

iki

k

i

k

in

inik

n

n

i

ini

n

n

i

ininn

k

k

kkL

( ) 0ΓΓΓIΓ ==+++⇒<∞→

−

∞→

k

k

k

k k 11

11111

11 limlim1 Lρ

( )

( )

−=

−=+++

−

∞→

−−

∞→

L0LΓΓI0Π

L0LΓΓI0ΠΠI

121

11

121

111

lim

lim

k

k

k

k kL

Siempre

Sii todas las submatrices de ΓΓΓΓ22son primitivas


Cadenas reducibles (3)Cadenas reducibles (3)

≡

≡

++

++

++

++

++

22

1211

2,2

1,1

2,1,

22,21,2222

12,11,11211

Γ0ΓΓ

Π00000

0Π000000Π000ΠΠΠΠ00


Π

mm

rr

rr

rmrrrrrr

mrrr

mrrrr

LL

MOMMMLMM

LL

LL

LL

MLMMMLMM

LL

LL

Cada ΠΠΠΠr+j,r+j es irreducible.j-ésima clase ergódica. Cada clase ergódica es una cadena irreducible en sí misma.Toda cadena reducible eventualmente queda absorbida en una clase ergódica.Si ΠΠΠΠr+j,r+j es primitiva, la cadena llega a un estado estacionario determinado por el vector izquierdo de Perron de ΠΠΠΠr+j,r+j .Si ΠΠΠΠr+j,r+j es imprimitiva, la cadena oscila en la clase ergódica para siempre.

( )

( )

−=

−=+++

−

∞→

−−

∞→

L0LΓΓI0Π

L0LΓΓI0ΠΠI

121

11

121

111

lim

lim

k

k

k

k kL Siempre

Sii todas las submatrices de ΓΓΓΓ22son primitivas


Valor medio y autocorrelación en la cadena de Markov (t. discretValor medio y autocorrelación en la cadena de Markov (t. discreto)o)

[ ][ ]

1yxp

xpxp

yyy

x

1p

pppp

TTXnX

nTT

iiinX

n

TNN

TN

Tn

n

n

kTT

nmm

nnpxXEnm

nnpxnpxnpxn

xxx

nnkn

===

====

==

=

=

==+

∞→

∞→

∞→

∞→

∑)(lim

)0()()()()(

)(lim)()()()(

lim

)(lim)()(

2211

21

ΠΠΠΠ

ΠΠΠΠ

ΠΠΠΠ

L

L

( )( ) 222

2

2

222

)()0(

)()(

)(

)()()()(),(

)()(

)()(

)()/(

),()(),(

XXTTTTT

TkTX

XTT

k

kT

Xni

iiT

kT

n

kT

iiji j

ji

i jnnknji

i jnknjiknn

mXECmkRkC

mkR

nmXExnpnnnR

kRn

npkxx

iXPiXjXPxx

iXjXPxxXXEknnR

σ

π

=−=−=−=

−=−=

=→=

====

=→=

==

====

=====+

∞→

∞→

+

++

∑

∑∑

∑∑

∑∑

x1pyxyx1pIyx1py

x1pyxy

xy

xyxy

ΠΠΠΠ

ΠΠΠΠ

ΠΠΠΠΠΠΠΠ


Cadenas deCadenas de MarkovMarkov en Tiempo Continuo en Tiempo Continuo

ai

aj

t1 t2

πij(t1, t2)

Puntos de Poisson

Cadena de Markov en tiempo continuo: Los cambios deestado ocurren en los puntos aleatorios Tn.

),(),(),(),()()(

),(

322131

2122

21

tttttttttt

ttTT

ΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠ

ΠΠΠΠ

==

=

pp11

Propiedades básicas

Cadenas homogéneas

)()()(, 2312

ατατατ

ΠΠΠΠΠΠΠΠΠΠΠΠ =+=−=− tttt

Ecuaciones de Kolmogorov

)0()()()()()(

)()()()()()(

ΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠ

ΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠΠ

&&

&&

tttt

ddt

dtd

tt

==+

=+=+

ττττ

ττ

ττ

ΛΛΛΛΠΠΠΠΠΠΠΠ

ΠΠΠΠΠΠΠΠΛΛΛΛ

)()(

)0()(0

tt

lim

=

+==+→

&

&& ττ

Matriz de velocidadde cambio de la probabilidad de transición

Solución

t

t

e)0()()0()(e)(

ΛΛΛΛ

ΛΛΛΛ

ΠΠΠΠΠΠΠΠ

TTT ttt

ppp ===

==

100

010001

)0(

L

LLLL

L

L

IΠΠΠΠ

Condición inicial

ΛΛΛΛΛΛΛΛΠΠΠΠΠΠΠΠ

ΠΠΠΠ

)()()0()()0()()()0()(

tttttt

TTTT

TT

pppppp

===

=&&


Ecuaciones de Balance GlobalEcuaciones de Balance GlobalSolución en estado estacionario

1

0)(cte.)(

==

=⇒==

1p0p

ppp

T

T

ttΛΛΛΛ

&

Sistema de ecuaciones homogéneas

Condición adicionalp

∑∑∑

∑∑

≠

≠

=−⇒=⇒=

−=⇒=

jijijj

iji

iji

jijjjiji

iiji ppp

λλλπ

λλλ

01

0

Ecuaciones de balance global

∑∑≠≠

=ji

ijijiji

j pp λλ

Flujo de velocidad de probabilidadsaliente de jFlujo de velocidad de probabilidadsaliente de j

Flujo de velocidad de probabilidadentrante a jFlujo de velocidad de probabilidadentrante a j

ii jj

λij

λji

ll

kk


Evolución de la cadena en tiempo continuoEvolución de la cadena en tiempo continuo

0p010111

ppp

=

===

===

ΛΛΛΛ

ΛΛΛΛΠΠΠΠΠΠΠΠ

ΠΠΠΠΠΠΠΠ

ΛΛΛΛ

ΛΛΛΛ

T

tt

ttt

)()(

e)0()()0()(e)(

t

t

&[ ] [ ]

T

t

Tii

i

tTTii

i

tt

N

Tii

ii

i

Tii

ki

k

TNN

ijjTi

Tii

Ti

iii

ii

ff

1puv1puv

uv

uvIVU

vvVuuUvu

uuvv

=→+==

>>>=

=

==

==

=

=

=

∞→>∑∑

∑∑

1

21

11

eee

0

)()(

,

λλ

λλλ

λ

λ

δλλ

ΛΛΛΛ

ΛΛΛΛ

ΛΛΛΛ

ΛΛΛΛ

ΛΛΛΛ

L

LL


Valor medio y autocorrelación en la cadena de Markov (t. continuValor medio y autocorrelación en la cadena de Markov (t. continuo)o)

( )( )

[ ][ ]

1yxp

xpxp

yyy

x

1p

ppppp

TTXtX

TT

iiiX

t

TNN

TN

T

t

t

TTT

tmm

tttpxtXEtm

ttpxtpxtpxt

xxx

t

tttt

tt

===

====

==

=

=

===+

=

∞→

∞→

∞→

∞→

∑)(lim

)()0()()())(()(

)(lim)()()()(

)(lim

)(limexp)()()()(

exp)(

2211

21

ΠΠΠΠ

ΠΠΠΠ

ΛΛΛΛΠΠΠΠΛΛΛΛΠΠΠΠ

L

L

τττ

( )( ) 222

2

2

222

121

112

122121

)()0()()()(

)()(

)())(()()(),(

)(e)()()(

)()(),(

)(),(

))(())(/)((

))(,)(())()((),(

XXTTTTT

TTX

XTT

k

T

Xi

iiT

TT

n

T

iiji j

ji

iiji j

ji

i jji

i jji

mXECmRC

mR

tmtXExtptttR

Rt

tpxxtR

tpttxx

itXPitXjtXPxx

itXjtXPxxtXtXEttR

στττ

ττ

τττ

τπτ

π

τ

=−=−=−=

−=−=

=→=

====

==→=

==

==

====

=====

∞→

∞→

∑

∑∑

∑∑

∑∑

∑∑

x1pyxyx1pIyx1py

x1pyxy

xy

xyxyxy

ΠΠΠΠ

ΠΠΠΠ

ΠΠΠΠΠΠΠΠ ΛΛΛΛ


Ejemplo : Proceso de PoissonEjemplo : Proceso de Poisson

−−

−

=+=

=

−=−=

====

−−

−−−

−−−

−−

LLLL

L

L

L

&

LLLLL

L

L

LL

λλλ

λλ

λλλ

λλ

λ

π

λλ

λλλ

λλλ

λ

000

0

)0(

ee00!2/e)(ee0

!2/e)(ee

e)!(

)(]],0[en puntos [

])0(/)([)(

t

t2t

t2t

t

ΠΠΠΠΛΛΛΛ

ΠΠΠΠt

tttt

ijttijP

iXjtXPt

t

t

t

ij

ij Otra forma de obtener la matriz Λ:Λ:Λ:Λ:

λτ

λτ

ττ

ττπ

τ

ττττπ

−

+

−

−==≤=

==+==

=−=

=≤−=>=====

e1)(][

])0(/1)([)(

e)(1

][1][])0(/)([)(

1

1

1

1,

11

T

ii

T

ii

FTP

iXiXP

F

TPTPiXiXP

λπλλπλ==

−==

++ )0()0(

1,1, iiii

iiii

&

&

Solución de ΛΛΛΛ)()( tt pp =&

t1

11101

000

e!)()()()()(

e)()(e)()()(

e)()()(

λ

λλ

λ

λλλ

λλλλλ

λ

−−

−−

−

=⇒−=

=⇒−=−=

=⇒−=

nttptptptp

ttptptptptp

tptptp

n

nnnn

tt

t

&

L

&

&

]001[)0( L=p Condicióninicial


Ejemplo : Señal binaria aleatoriaEjemplo : Señal binaria aleatoria

-aa

b-b10

Puntos de Poisson

[ ] [ ][ ] [ ]

[ ][ ]

+=

+=

⇒

=+=

⇔

==

++−

+

−++

+

=

−

−==

−

−=

−=====

−=====

+−+−

+−+−

−−

−−

−

−

baap

babp

ppbpap

baba

bab

baa

baab

bbaa

PXXPPXXP

T

T

tbatba

tbatba

t

bb

aa

b

a

1

0

10

10

)()(

)()(

10

01

11

ee1

e1e

e

)0(

ee1e1e

)(

e1]`[0,en punto 11)0(/0)()(

e1]`[0,en punto 10)0(/1)()(

1p0p ΛΛΛΛ

ΠΠΠΠΛΛΛΛ

ΠΠΠΠ

ΛΛΛΛ

&

ττ

ττ

τ

τ

τ

τττπτττπ

[ ]

( )τ

τ

σ

τ

)(22

)(2

2

e

ee)(

))((

0

10

baXX

batT

T

T

T

mba

abba

aR

baatXE

baa

baa

bab

+−

+−

+=+

+

+==

+==

+=

++=

=

xy

xp

y

p

x

ΛΛΛΛ


Clientes atendidos de a uno por vez en orden de llegada•Tiempo entre arribos distribuido exponencialmente con parámetro λ.•Tiempo de servicio de un cliente distribuido exponencialmente con •parámetro µ.

Ejemplo: Cola M/M/1 (1)Ejemplo: Cola M/M/1 (1)

)()(1eeee

])[0,en partida 1y arribo 1(])[0,en partida 0y arribo 0(

))0(/)(()()(e)()] en[0, partida 1(

))0(/1)(()()(!2/e)()][0,en arribo 2(

))0(/2)(()()(e)()][0,en arribo 1(

))0(/1)(()(

1,

2

2,

1,

ττµλµτλτ

ττττπ

τµτµττ

ττπτλττ

ττπτλτλττ

ττπ

µτλτµτλτ

µτ

λτ

λτ

o

PPjXjXP

oP

jXjXPoP

jXjXPoP

jXjXP

jj

jj

jj

jj

++−→⋅+⋅=

=++=

====+→==

==−==→==

==+==+→==

==+==

−−−−

−

−

−

+

−

+

L

,...2,10)(00

)(0)(

0

)0(

11

10

==++−==+−

=

+−+−

−

==

+− jpppjpp

jjj µλµλµλ

µλµλµλµ

λλ

0pΛΛΛΛ

ΠΠΠΠΛΛΛΛ

LLLL

L

L

L

&

,...2,1)(0

11

01

=+=+==

+− jpppjpp

jjj µλµλλµ

Flujo entrante Flujo saliente


Ejemplo: Cola M/M/1 (2)Ejemplo: Cola M/M/1 (2)

00 11 jj22 j+1j+1

λ λ λ λ λ λ

µ µµ µ µ µ

111

10 0cte.1cte.

0+

+−−⇒=⇒

≥=−=−=−

jjjjjj

ppjpppp

ppµλ

µλµλµλ

,...2,1)(0

11

01

=+=+==

+− jpppjpp

jjj µλµλλµ

jj

j j

jj

nj

jjj

pppp

pp

ppp

ρρρ

ρ

ρ

ρµλ

)1(1

1

)/(

0

0

00

0

11

−=⇒

−===

=

==

∑ ∑∞

=

∞

=

−−

µλµλρ <⇔<= 1/ La tasa de arribos debe ser menorque la velocidad de servicio; de otro modo, la cola crece sin límite.


NjppNjppp

jpp

NNNN

jjjjjjj

==

=+=+==

−−

++−−

1- ,...,2,1)(0

11

1111

0011

µλµλµλ

λµ

•Transiciones limitadas a estados adyacentes.•Los arribos ocurren como un proceso de Poisson de tasa λι. Los tiempos entre arribos son vv.aa. exponenciales iid con media 1/ λι.•El tiempo entre desapariciones está distribuido exponencialmente con media 1/ µι.


Solución de las ecuaciones de balance global

00 11 jj22 j+1j+1

λ0 λ1 λ2 λj-1 λjλN-1

µ1µNµ2 µ3 µj µj+1

NN

NjppNjcteppp

jpp

NNNN

jjjjjjj

==−

===+−+==−

−−

++−−

0

1- ,...,2,10.)(00

11

1111

0011

µλµλµλ

λµ

0

1

1

01

1 ppp i

ii

i

ii

ii

ii

∏

∏

=

−

=−

− ==µ

λ

µλ

Ejemplo: Proceso de Nacimiento y Muerte GeneralEjemplo: Proceso de Nacimiento y Muerte General


•Modelo para voz en paquetes.•Duración del intervalo de silencio: fdp exponencial, 1/λ = 600 mseg.•Duración del intervalo de habla: fdp exponencial, 1/µ = 400 mseg.

∑

∏

∏

=

=

−

=−

−

=

=−=

==

N

ii

ii

i

ii

i

ii

ii

ii

p

iiN

ppp

0

0

1

1

01

1

1

,)( µµλλ

µ

λ

µλ

Ejemplo: Proceso deEjemplo: Proceso de PoissonPoisson Modulado porModulado por MarkovMarkov (MMPP)(MMPP)

00 11 jj22 j+1j+1

Νλ (Ν−1)λ (Ν−j)λ λ

µ Nµ2µ (j+1)µNN

110

0101

=+

=⇒=

pp

ppppµλλµ

4.0

6.0

1

0

=+

=

=+

=

λµλ

λµµ

p

p

Modelo para una fuente única

00 11

λ

µhablasilencio

V paquetes/seg

Modelo para N fuentes

( )2)var(

)(

1

λµλµ

λµλ

λµµ

λµλ

µλ

µλ

+=

+=

+

+

=

+

=

−−

Ni

NiE

iN

iN

piNiNi

i

Probabilidad que i fuentes entre N estén activas

Número medio de fuentes activas


Aplicación: Multiplexado Estadístico de Voz•Describe el comportamiento de multiplicadores de tramas (DCME).•Próxima generación de DCME soportada por AAL2.•Duración del intervalo de silencio: fdp exponencial, 1/λ = 600 mseg.•Duración del intervalo de habla: fdp exponencial, 1/µ = 400 mseg.

Ejemplo : Modelo MMPP del multiplexado estadístico de voz (1)Ejemplo : Modelo MMPP del multiplexado estadístico de voz (1)

10

1

10

01

)var()(

4.0,6.0

pNpiNpiE

pp

ppiN

iN

p iNiiNi

i

==

=+

==+

=

=

+

+

= −

−

λµλ

λµµ

λµµ

λµλ Probabilidad que i fuentes

entre N estén activas

N fuentesde voz

Capacidad del canal:C canales de voz

equivalentes

MUXEstadístico

kNkN

k

kNkN

k

ppkn

CkNp

pCNF

CkCkCk

kr

ppkn

kr

pCNF

−

=

−

=

−

−=

≤>−

=

−

=

=

∑

∑

)1()(1),,(

0)(

)1()( recortado tráficode Promedio

total tráficode Promediorecortado tráficode Promedio),,(

011

0

1


N fuentesde voz

Capacidad del canal:C canales de voz

equivalentes

MUXEstadístico

kNkN

kpp

kn

CkNp

pCNF −

=

−

−= ∑ )1()(1),,(

011

Freeze Out Fraction

Freeze Out Fraction

0

5

10

15

20

25

30

0 10 20 30 40 50 60

Número de Fuentes de Voz (N)

Cap

acid

ad d

el C

anal

(C)

0.1 %0.5 %1.0 %5.0 %10.0 %

Ejemplo : Modelo MMPP del multiplexado estadístico de voz (2)Ejemplo : Modelo MMPP del multiplexado estadístico de voz (2)


Aplicación: Multiplexado Estadístico de DatosCaracterización de una fuente•Duración del intervalo OFF: fdp exponencial, 1/λ = tOFF.•Duración del intervalo ON: fdp exponencial, 1/µ = tON.•Burstiness: vel. pico/vel. promedio.

Ejemplo : Modelo MMPP del multiplexado estadístico de datos (1)Ejemplo : Modelo MMPP del multiplexado estadístico de datos (1)

N fuentes Capacidad del canal:C canales

Velocidad del canal: rC

MUXEstadístico

rp

rm

Entradas

rc

Ráfaga perdida o retrasada

1///

/1//)(

)(1)(1

1

1

0

>==⇒

==

==

==

=== ∑∫

ηNrNrGrrCCNG

prrbrrpONP

ONPrtrT

dttrT

r

cppc

mp

pm

pi

ONip

T

m

Probabilidad de actividad de la fuente

Burstiness

Ganancia de multiplexado estadístico

Se debe cumplir la condición de estabilidad:

1<====c

p

c

ONp

c

m

c

arribos

brNr

rpNr

rNr

rLNS λ



ηαα

ηα

ηα

α

λµλ

λµµ

λµµ

λµλ

/4)1(21

21

/110

/1)1(

)()1()var(

)(

,

121

1

111

111

11

1

10

01

+−±−

−=

−−+=

=−+≈

=−=

=+

=+

=

=

+

+

= −

−

pp

Np

NppNp

CpNpNpC

QPpNpi

NpiE

pp

ppiN

iN

p

L

iNiiNi

i

Probabilidad de pérdida

Número de canales para la prob. de pérdida PL

Np1

)1( 11 pNp −

i

pi

CAproximación gaussiana a la distribución binomial

Throughput normalizado

[ ]1

2

112

1

)/(

1/4)1(4

Gpr

Grr

rrGrr

NrS

ppp

NG

p

m

c

mpc

c

m ====

−−+−== αηαηη



[ ]2112

1

1/4)1(4

ppp

NG −−+−== αηαηη1

)/(Gp

rGr

rrrGr

rNrS

p

m

c

mpc

c

m ====

Ganancia de Multiplexado Estadístico

0.002.004.006.008.00

10.0012.0014.0016.00

0 0.05 0.1 0.15 0.2 0.25 0.3

Relación vel. pico/vel. enlace

Gan

anci

a

b=2b=4b=6b=8b=10b=12b=14b=16b=18b=20

Throughput Normalizado

0.000.100.200.300.400.500.600.700.800.90

0 0.05 0.1 0.15 0.2 0.25 0.3

Relación vel. pico/vel. enlace

Thro

ughp

ut

b=2b=4b=8b=12b=16b=20


Prob. pérdida = 10-6


Ganancia de Multiplexado Estadístico

0.00

5.00

10.00

15.00

20.00

25.00

30.00

0 0.2 0.4 0.6 0.8 1Relación vel. pico/vel. enlace

Gan

anci

a


b=32

16

24

12

62

N=30

25

10

15

20

[ ]η

αηαη

NG

ppp

G

=

−−+−=2

112

1

1/4)1(4

Prob. pérdida 10-2

Solución simultánea de las ecuaciones


Utilidad de los modelos de MarkovUtilidad de los modelos de Markov

• El modelo de Poisson es apropiado si hay un gran número de usuarios similares e independientes.

• Si se combinan n procesos de arribos iid, no necesariamente Poisson de tasa λ/n,

– La tasa de arribos del agregado es λ.– El proceso agregado se aproxima a un

proceso de Poisson de tasa λ cuando n→∞ en condiciones bastante amplias.

• PASTA: Poisson Arrivals See Time Averages

• La distribución exponencial no tiene memoria.

– Lo que ocurre después del tiempo t es independiente de lo que ocurrió antes de t.

– El conocimiento del pasado no sirve para predecir el futuro.

• Para los tiempos de servicio:P(s>r+t / s>t) = P(s>r)

• El tiempo adicional necesario para completar el servicio del cliente que está siendo atendido, es independiente de cuándo comenzó el servicio.


Teoría de ColasTeoría de Colas

• Teorema de Little• Cola M/M/1• Cola M/M/1/K• Cola M/M/c. Fórmula Erlang-C• Cola M/M/c/c. Fórmula Erlang-B• Cola M/M/N/N/N


IntroducciónIntroducción

• Teoría de Colas: Tipos de problemas y soluciones.• Introducción a las colas de espera.• Fundamentos: Probabilidad, estadística, procesos

aleatorios.


Tipos de problemas y soluciones (1)Tipos de problemas y soluciones (1)

• El modelo de una cola de espera generalmente se usa para representar un sistema de recursos compartidos.

Usuario 1Usuario 1

Usuario NUsuario N

Recursos compartidosRecursos compartidos


Tipos de problemas y soluciones (2)Tipos de problemas y soluciones (2)Flujo entrante Flujo salienteServidorColaClientes que arriban Línea de espera Cabeza de línea Clientes atendidos

Bloqueo, pérdida o desborde

Concepto básico:•Los clientes llegan para ser atendidos. Si todos los servidores están ocupados, el cliente espera en la cola y es atendido después.•Parámetros: tasa de arribos, velocidad de atención, número de servidores, capacidad de la cola...•Medidas: tiempo de espera, utilización de los servidores, tamaño de la cola, probabilidad de rechazo...


Ejemplos Ejemplos

ServidorClientesSistema

Web serverRequerimientos de clienteServicios Web

Medio (FO, UTP, RF)Paquetes o tramasRed de acceso múltiple (LAN, LAN inalámbrica)

CanalesLlamadasConmutador de circuitos

Enlace de comunicacionesPaquetes o celdasMUX estadístico

CPU, disco, dispositivos I/O, bus...

Programas o procesosProcesador


Objetivos y métodosObjetivos y métodos

• Predecir la performance del sistema.

• Determinar cómo Dimensionar el sistema (ancho de banda)Controlar la entrada

para obtener la performancerequerida, en términos de:

Grado de servicio (GoS)Retardo

• Análisis de un modelo matemático.

• Simulación.

• Medición de sistemas reales.

Objetivos Método


FactoresFactores

Básicos• Tasa de arribos.• Tiempo de servicio.• Número de servidores.• Longitud máxima de la cola (tamaño del “buffer”).Otros• Tamaño de la población.• Disciplina de servicio (FCFS, LCFS, prioridades, vacaciones).• Modelo de carga de trabajo (tráfico).• Comportamiento del cliente: Desistir, abandonar, ...


Modelos de tráficoModelos de tráfico

Voz

Video CBR

Datos en paquetes

Imágenes

Video VBR

Dificultad del modelo

Modelos de tráfico

Dependencia de corto alcance

Dependencia de largo alcance

•Poisson•Modelos de regresión

•F-ARIMA (Fractional AutoRegressive Integrated Moving Average)•FBM (Fractional Brownian Motion)...


Tasa de arribosTamaño del Buffer

Tasa de servicio

λPaquetes/seg

µ

µ = R/8LPaquetes/seg

B paquetesL bytes/paquete

Velocidad de TransmisiónR bits/seg

Modelo de Modelo de switchswitch o de o de routerrouterLink

Port Port

Router / Switch Router / Switch


Componentes del RetardoComponentes del Retardo

µλ

Procesamiento:Tiempo desde que el paquete es recibido hasta que se le asigna un enlace de salida.

Cola: Tiempo desde que al paquete se le asigna un enlace de salida hasta que comienza la transmisión (tiempo de espera).

Transmisión:Tiempo entre la transmisión del primer bit y el último bit del paquete.

Propagación: Tiempo desde que el último bit es transmitido por la fuente hasta que el último bit es recibido por el receptor.

Dependen de la carga de tráfico y el tamaño de los paquetes


Tipos de ColasTipos de Colas

A / S / M / K / N / QA / S / M / K / N / QDisciplina de servicio:FIFO, LIFO, prioridad,...

Tamaño de la población.Puede ser finito o infinito.

Tamaño máximo de la cola,longitud del buffer o capacidad de almacenamiento.Número de servidores

Distribución del tiempo de servicio:M: exponencial (Markov)D: determinística (constante)G: General

Distribución del tiempo entre arribos:M: exponencial (Markov)D: determinística (constante)G: General

Notación de Kendall


Teoría de ColasTeoría de Colas

• Teorema de Little• Cola M/M/1• Cola M/M/1/K• Cola M/M/c. Fórmula Erlang-C• Cola M/M/c/c. Fórmula Erlang-B• Cola M/M/N/N/N


Teorema deTeorema de LittleLittle

T1

T2

Tk

A(t): arribos

D(t): partidas

N(t)=A(t)-D(t): número de clientes en el sistema t

tT

Tk

TA

kk

T TA

kkT

T TA

kk

TTTAT

TATTAT

TdttN

TtN

TdttN

)()(

1)(1)(1)(

)(

)(

10

)(

1

0

)(

1

=⋅===

=

∑∫ ∑

∫ ∑

==

=

TTTA λ̂)( =

TkTT TtN λ̂)( =

)()( TENE λ=

Número medio de clientesen el sistema

Tasa de arribos

Tiempo medio depermanencia en elsistema


Teorema deTeorema de LittleLittle: Aplicación: Aplicación

“Little” means a lot!)()(

)()(

TENEWENE q

λλ

=

=

Flujo entrante Flujo salienteServidorCola

TTiempo en el sistema

o retardo

Clientes que arriban Línea de espera Cabeza de línea Clientes atendidos

λ clientes/seg Tiempo medio de servicio:E(S) = 1/µ seg/cliente

Nqclientes en la cola

WTiempo de espera

en la cola

STiempo de

servicioN

clientes en el sistema

ρµλ

µ

+=

=+=+=

+=

)(

/)()(/1)()(

q

q

NENENEWETE

SWT

λµρµ

µρµρµλµ

−=

−=

+=+====

11

/1)(

/1)(/1)()()(/)()/1)(()(

TE

TEWETETETENEWE

ρρ

++E(W)

E(T)1/µ


Tipos de ColasTipos de Colas

A / S / M / K / N / QA / S / M / K / N / QDisciplina de servicio:FIFO, LIFO, prioridad,...

Tamaño de la población.Puede ser finito o infinito.

Tamaño máximo de la cola,longitud del buffer o capacidad de almacenamiento.Número de servidores

Distribución del tiempo de servicio:M: exponencial (Markov)D: determinística (constante)G: General

Distribución del tiempo entre arribos:M: exponencial (Markov)D: determinística (constante)G: General

Notación de Kendall


Cola M/M/1 (1)Cola M/M/1 (1)

00 11 jj22 j+1j+1

λ λ λ λ λ λ

µ µµ µ µ µ

,...2,1)(0

11

01

=+=+==

+− jpppjpp

jjj µλµλλµ

•Sistema de un único servidor.•Clientes atendidos de a uno por vez en orden de llegada.•Los clientes arriban como un proceso de Poisson de tasa λ. Los tiempos entre arribos son vv.aa. exponenciales iid con media 1/ λ.•Tiempo de servicio de un cliente distribuido exponencialmente con media 1/ µ.•El sistema puede acomodar un número ilimitado de clientes.


Solución de las ecuaciones de balance global

s

ss

qq

N

jj

NPpP

SNNE

SWNNE

SSSSTWWE

SENETTE

NNNE

jtNPp

=−=

====−

=−

===

−=−

−=−==

−=

−=

−=

−===

−==

−==

==−=

<=

ocupado)servidor (1ocupado)servidor (

)/1()(11

)(

11)(

11

)(1

/11

1)()(

)1()var(,

1)(

])([)1(

1/

0

2

22

ρµλλρ

ρρ

λρλ

ρρ

ρ

λµρρµ

ρρ

λλ

ρρσ

ρρ

ρρ

µλρ

01 p−=⇒ ρ


Cola M/M/1 (2)Cola M/M/1 (2)

ρ ρ

E(N) µE(T)

ρρ−

=1

)(NEρµ

ρ −=

−=

1/1

1)()( SETE

0

5

10

15

20

0 0,2 0,4 0,6 0,8 10

5

10

15

20

0 0,2 0,4 0,6 0,8 1


Aplicación: Multiplexado de tráficoAplicación: Multiplexado de tráfico

FDM, TDM Estadístico

Capacidad de transmisión del canal: C bit/seg.M flujos de tráfico de Poisson de tasa λ/M comparten el canal.Longitud de paquetes distribuida exponencialmente con media L.

λ/M

λ/M

λ/M

C/M

C/M

C/M

λ/M

λ/M

λ/M

Cλ

Retardo de transmisión del canal

λµλµ

µµ

−=

−=

==

MMM

T

MLMC

i

//1

/

CL=

µ1

λµ

µ

−=

=

1T

LC

Los paquetes de cada flujo se combinan en una sola cola y se transmiten con un ordenamiento FCFS.

•Se crean M canales separados, cada uno de capacidad C/M.•En FDM, el retardo de transmisión es ML/C.•En TDM, el retardo de transmisión es ML/C si el paquete es mucho más largo que 1 TS. Si L = 1 TS, el retardo de transmisión es L/C, pero debe esperar (M-1) tiempos de TS entre transmisiones.

•Un paquete tarda M veces más en la cola y en ser servido en TDM o FDM, que en multiplexado estadístico.•Sin embargo, lavarianza del retardo es menor en TDM o FDM.•TDM y FDM malgastan capacidad del canal cuando un flujo no tiene tráfico, pero eliminan la necesidad de identificar a qué flujo pertenece cada paquete.

•Un paquete tarda M veces más en la cola y en ser servido en TDM o FDM, que en multiplexado estadístico.•Sin embargo, lavarianza del retardo es menor en TDM o FDM.•TDM y FDM malgastan capacidad del canal cuando un flujo no tiene tráfico, pero eliminan la necesidad de identificar a qué flujo pertenece cada paquete.


Cola M/M/1/K (1)Cola M/M/1/K (1)Cola M/M/1 con capacidad finita. El sistema puedecontener hasta K clientes. Los que llegan cuando el sistema está lleno, son devueltos.

00 11 K-1K-122 KK

λ λ λ λ λ

µ µ µ µ µ

KjppKjppp

jpp

KK

jjj

==−=+=+

==

−

+−

µλµλµλ

µλ

1

11

10

1.,2,1)(0

L

Kjppp

pppj

KjKK

jj

jjj

,,01

1

111 1

1

00

01

L=−

−=⇒

−−==

==

++

=

−

∑ ρρ

ρ

ρρ

ρρ

0 K KK 00

ρ<1 ρ=1 ρ>1pjpj

pj

K

K

K

K

BA

K

K

KAA

BBA

BB

KKKB

K

K

KP

NENETE

pSENE

SENEP

P

pKNPP

KNE

ρρ

ρρ

ρµλλ

ρρρ

µλλ

ρλλλλλ

λλ

ρρ

ρρ

ρρ

ρ

−−

−+−

−=

−==

−−=−==

==−=−=

=−

−====

−+−

−=

+

+

+

+

+

+

11

1)1(

111

)1()()()(

111)1()()(

)()()1(

11)(

1)1(

1)(

1

1

1

1

1

1

Probabilidad de bloqueo

Tasa efectiva de arribos

Carga ofrecida

Carga satisfecha

Tasa de rechazos


Cola M/M/1/K (2)Cola M/M/1/K (2)

11 11

11

++ −−=

−−= K

K

K

K

A ρρµρ

ρρλλ

K

K

K

KKTEρ

ρρ

ρρµ −

−

−+−

−=

+

+ 11

1)1(

111)(

1

1

ρ ρ

λA/µ µE(T)

µλ /)( AANE =

0

2

4

6

8

10

0 0,5 1 1,5 20

0,2

0,4

0,6

0,8

1

0 0,5 1 1,5 2

K=2

K=10 K=10

K=2


Ejemplo: Dimensionamiento de un Ejemplo: Dimensionamiento de un bufferbuffer

)1(

11)( 1

BBA

BB

KKKB

PP

pKNPP

−=−==

−−==== +

λλλλλλ

ρρ

ρ

Probabilidad de "overflow"

1,00E-10

1,00E-09

1,00E-08

1,00E-07

1,00E-06

1,00E-05

1,00E-04

1,00E-03

1,00E-02

1,00E-01

1,00E+00

0 20 40 60 80 100 120 140 160 180 200

Tamaño del buffer

P(ov

erflo

w) 0.50.70.80.9

Capacidad del buffer requerida

0

20

40

60

80

100

120

140

160

180

200

0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0

Carga ofrecidaC

apac

idad

ρ = 0.9

0.7

0.8

0.5

ρ


Cola M/M/c (1)Cola M/M/c (1)El número de servidores es c. La tasa de partidas es kµ cuandok servidores están ocupados, pues:

≥<

=⇒

==

=>>==>=>

=⇒

−−−

ckcckk

tTPtTPtTTminPtTP

TTT

kk

k

k

µµ

µµµ

partidas de tasaocupados servidoresk

eee

)()(]),,([)(

),min( partida próxima la hasta tiempoocupados servidoresk

ttt1

1

1

L

L

L

L

00 11 c-1c-122

λ λ λ λ λ

µ 2µ 3µ (c-1)µcc

cµc+1c+1

cµ cµ

λ λ

1)(,,1)()1(

0

11

11

10

+≥+=+=+=++==

+−

+−

cjpcpcpcjpjpjp

jpp

jjj

jjj

µλµλµλµλ

µλL

1///

11

!!

1!

,,0!

11

00

0

0

<===

−

+=

+≥=

==

−−

=

−

∑

caca

ca

jap

cjpcap

cjpj

ap

cc

j

j

ccj

j

j

j

µλρµλ

ρ

ρ

L

Número medio de servidores ocupadosOcupación de 1 servidor


Cola M/M/c (2)Cola M/M/c (2)

aNEWETENE

acacCSEWETE

acacC

cacCNE

WE

acCpcjpcjNE

ca

ja

caacC

acCppcNPWP

q

q

cjc

cj

cjjq

c

j

cjc

cj

cc

cj

+=+==

+−

=+=

−=

−==

−=−=−=

−

+−

=

=−

==≥=>

∑∑

∑

∑

∞

=

−∞

=

−−

=

∞

=

−

)()()()(

1)(

),()()()(

)(),(),()(

)(

),(1

)()()(

11

!!!11),(

),(1

)()0(

11

0

µλλλ

µµ

µλµλ

ρρρ

ρρ

ρρ

Probabilidad de encontrar todos los c servidores ocupados y tener que esperar en la cola: fórmula Erlang C.

Número medio de clientes en la cola.

Tiempo medio de espera en la cola.

Tiempo medio total en el sistema (retardo).

Número medio de clientes en el sistema.


Fórmula ErlangFórmula Erlang--CC

11

0 11

!!!11),(

−−

=

−

+−

= ∑c

j

cjc

ca

ja

caacC

ρρProbabilidad de encontrar todos los c servidores ocupados y tener que esperar en la cola: fórmula Erlang C.


Fórmula ErlangFórmula Erlang--C: Tiempo de espera C: Tiempo de espera

)(),(),()(

)(acacC

cacCNE

WE q

−=

−==

µλµλ


Ejemplo: Ejemplo: Call CenterCall CenterEjemplo

Un call center recibe 600 llamadas por hora, con una duración media de 3’. El operador trabaja durante 20’’ después de cada llamada. Se quiere que el tiempo medio de espera sea 20’’. Obtener el número de operadores necesario.

a = (600/3600) ×(3×60+20) = 33.33 ErlangµE(W) = 20/(3×60) = 0.111 (Tiempo de espera normalizado)µE(W) =C(c,a)/(c-a)0.111 = C(c,33.33)/(c-33.33) c = 36 operadores.


Ejemplo: Retardo en acceso DVBEjemplo: Retardo en acceso DVB--RCSRCS

DVB-S BASIC ACCESS PROFILE BA1 BA2 BA3 BA4 BA5 BA6 BA7 BA8Forward max (Kbps) 256 256 256 512 1024 2048 4096 4096Forward min (Kbps) 8 16 32 64 128 256 512 1024Return max (Kbps) 16 32 64 128 256 512 1028 1028Return min (Kbps) 2 4 8 16 32 64 128 256Unav/month (%) 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1Activity MBH (%) 20 20 20 25 25 25 30 30

Internet access (browsing) Assumptions:Users: 1000Internet usage/month/user 20 hDay-to month ratio 1/20BH-to-day ratio 1/10

Pages/session 36Page size 50 KbytePage delivery time 2 secPage view time 60 secMean upstream packet length 80 ByteMean downstream packet length 560 ByteSimultaneous session in BH 100 i.e. 10 % usersProtocol: TCP/IP with 560 bytes/OB packet and 80 bytes/IB packet.

Qty. UnitPeak dnstream thput in BH/user 200.0 Kbit/sPeak upstream thput in BH/user 28.6 Kbit/s

Session duration 37.2 sec Pag/session *(2+60)/60Mean thput/user 6.5 Kbit/s PageSize*8/(2+60)

Mean upstream thput in BH 92.2 Kbit/s Mean dnstream thput*80/560Mean dnstream thput in BH 645.2 Kbit/s MeanThput/user*10 users

Upstream packets in BH 147.5Dnstream packets in BH 147.5 (50*1024/560)*10/(4+60)

• Tráfico elástico NRT - transferencia de archivos.• Proceso de arribo de archivos: Poisson con tasa λ.(archivos/seg)• Tamaño medio de archivo: L (bits)• Max. Bitrate de una terminal: rb (bit/seg)• Ancho de banda (capacidad total) disponible: C (bit/seg).• Objetivo: Garantizar un tiempo medio de transferencia E(T), o bien un determinado throughput promedio L/E(T) para

todas las transacciones.

Downstream UpstreamL Byte 560.0 80.0

bits 4,480.0 640.0rb Kbit/s 256.0 32.0µ paq/s 57.1 50.0λ paq/s 147.5 147.5a Erlang 2.6 2.9

40.159.2

)9.2,(3.09.2

)9.2,(10.50

1)(

:Upstream

41.166.2

)6.2,(3.06.2

)6.2,(11.57

1)(

:Downstream/,/,/

),(111)(),()()()(

=⇒<−

⇒<

−+=

=⇒<−

⇒<

−+=

===

−+=+

−=+=

cc

cCc

cCTE

cc

cCc

cCTE

rLarCcLracacC

acacCSEWETE

bbb λµµµµ

Para mantener acotado el retardo, se necesitan•4×256 = 1024 Kbit/s downstream•4×32 = 128 Kbit/s upstream.Comparar con los valores de throughput medio:•645.2 Kbit/s downstream•92.2 Kbit/s upstream.


Cola M/M/c/cCola M/M/c/cLa capacidad de la cola es igual al número total de servidores.Los clientes que arriban cuando todos los servidores están ocupados, son devueltos. 00 11 c-1c-122

λ λ λ λ λ

µ 2µ 3µ (c-1)µcc

cµ

[ ]

)],(1[)()(

)],(1[)],(1[)],(1[

)],(1[

),(1

),(!/!2/1

!/!

)(

!1

,,0!

/

20

1

00

0

0

acBSENE

acBacBcc

acBac

acBa

acBp

PacBcaaa

capcapcNP

japp

cjpj

ap

a

A

A

A

cA

Bc

cc

c

c

j

jc

jj

j

j

−==

−=−=−=

−=

−=−=

==++++

====

=⇒=

==

=

−

==∑∑

µλλ

ρµλ

µλµ

λλλλλ

µλ

L

L

Carga ofrecida

Probabilidad de que los c servidores estén ocupados =probabilidad de bloqueo: Fórmula Erlang B

Tasa efectiva de arribos

Carga soportada por cada servidor = utilización


Fórmula ErlangFórmula Erlang--BB

),(1),(),1(

!/

!/!/!2/1

!/),()(

0

2

acaBcacaBacB

ka

cacaaa

caPacBcNP c

k

k

c

c

c

B

++=+

=++++

====∑

=

L

Fórmula Erlang-B

0

2

4

6

8

10

12

14

16

18

20

0,0 1,0 2,0 3,0 4,0 5,0 6,0 7,0 8,0 9,0 10,0Tráfico total ofrecido (Erlang)

Núm

ero

de c

ircui

tos

0.1%

0.5%

1.0%

5.0%

10.0%

20.0%

Fórmula Erlang-B

0

5

10

15

20

25

30

35

40

45

50

0,0 5,0 10,0 15,0 20,0 25,0 30,0 35,0 40,0 45,0 50,0Tráfico total ofrecido (Erlang)

Núm

ero

de c

ircui

tos

0.1%

0.5%

1.0%

5.0%

10.0%

20.0%


∑

∏

∏

=

=

−

=−

−

=

=−=

==

N

ii

ii

i

ii

i

ii

ii

ii

p

iiN

ppp

0

0

1

1

01

1

1

,)( µµλλ

µ

λ

µλ

Cola M/M/N/N/NCola M/M/N/N/N

00 11 jj22 j+1j+1

Νλ (Ν−1)λ (Ν−j)λ λ

µ Nµ2µ (j+1)µNN

( )2)var(

)(

1

λµλµ

λµλ

λµµ

λµλ

µλ

µλ

+=

+=

+

+

=

+

=

−−

Ni

NiE

iN

iN

piNiNi

i


Número medio de fuentes activas

•El número de servidores es N. La tasa de partidas es kµcuando k servidores están ocupados.•La cantidad de fuentes (o “tamaño de la población”) es N. La tasa de arribos es (N-i)λ cuando hay i fuentes activas.•Es un modelo idéntico al MMPP.

Date post:	30-Jan-2018
Category:	Documents
Upload:	trinhtram
View:	241 times
Download:	4 times

Cadenas de Markov y Teoría de Colas -...

Documents