Baran S andor 2019/20 tan ev, 2. f el ev - unideb.hu · Oct 01 2012 Oct 01 2013 Oct 01 2014 Oct 01...

Idosorok elemzese

Baran Sandor

2019/20 tanev, 2. felev

Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 1 / 165

Irodalom

Peter J. Brockwell, Richard A. Davis: Introduction to Time Series and Forecasting. ThirdEdition. Springer, 2016.

Robert H. Shumway, Davif S. Stoffer: Time Series Analysis and its Applications with RExamples. Fourth Edition. Springer, 2017.

Peter J. Brockwell, Richard A. Davis: Time Series: Theory and Methods. Second Edition.Springer, 1996.

Eredmenyek, informaciok

arato.inf.unideb.hu/baran.sandor/mischu.html


Tartalom

1 Bevezetes

2 Stacionarius folyamatok

3 ARMA modellek

4 Spektralanalızis

5 ARMA folyamatok modellezese es predikcioja

6 Nem-stacionarius es szezonalis modellek


AlapfogalmakIdosor: adott t idopillanatokban rogzıtett xt megfigyelesek halmaza. xt tekintheto valamelyXt valoszınusegi valtozo egy realizaciojanak.

Diszkret ideju idosor: a megfigyelesi idopontok T halmaza diszkret, peldaul amikor valamilyenjelenseget rendszeres idokozonkent figyelunk meg.

Folytonos ideju idosor: a vizsgalt jelenseget folytonosan, valamely T idointervallumon figyel-juk meg, peldaul T = [0, 1].

Megjegyzes. {Xt , t ∈ T} egy sztochasztikus folyamat. Az {xt} megfigyelesek mellett idosor-kent hivatkozunk az azokat eloallıto {Xt} folyamatra is.

Az idosoranalızis lehetseges celjai

Az adatok kompakt leırasa a mogottes jelensegek jobb megertesehez.

A megfigyelt folyamat jovobeli ertekeinek elorejelzese.

Idoben valtozo esemenyekkel kapcsolatos hipotezisek tesztelese, pl. a globalis felmelege-des vizsgalata.

Zajszures.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 5 / 165

Pelda. Johnson & Jonhson negyedeves hozamok

Time

Quart

erl

y E

arn

ings p

er

Share

1960 1965 1970 1975 1980

05

10

15

A Johnson & Jonhson reszveny negyedeves hozama 1960 I. es 1980 IV. kozott.

84 megfigyelesi idopont: 1960 I, 1960 II, . . . , 1980 IV. T = {1, 2, . . . , 84}.Jellemzok

Fokozatosan novekvo trend. Evenkenti szabalyos valtakozas, szezonalis ingadozas.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 6 / 165

Pelda. Ausztral vorosboreladasok

Time

Month

ly S

ale

s (

kilo

liters

)

1980 1982 1984 1986 1988 1990 1992

500

1000

1500

2000

2500

3000

Ausztral vorosbortermelok havi eladasi szamai az 1980. januar – 1991 oktober idoszakra.

Jellemzok

Fokozatosan novekvo trend.Szezonalis ingadozas juliusi maximummal es januari minimummal.


Pelda. Baleseti halalozasok

Time

Accid

enta

l D

eath

(th

ousands)

1973 1974 1975 1976 1977 1978 1979

78

910

11

Az Egyesult Allamok havi baleseti halalozasi adatai az 1973. januar – 1978. december idoszakra.

Jellemzok

Nincs erzekelheto trend.Szezonalis ingadozas juliusi maximummal es februari minimummal.


Pelda. Az Egyesult Allamok nepessegi adatai

Time

Popula

tion (

mill

ions)

1800 1850 1900 1950 2000

050

100

150

200

250

300

Az Egyesult Allamok nepessege 1790 – 2010 kozott.

Jellemzok

Kvadratikus, vagy exponencialis trend.Nincs szezonalis ingadozas.


Pelda. Munkabeszuntetesek szama

Time

Str

ikes (

thousands)

1950 1955 1960 1965 1970 1975 1980

3.5

4.0

4.5

5.0

5.5

6.0

A munkabeszuntetesek eves szama az Egyesult Allamokban 1951 – 1980 kozott.

Jellemzok

Veletlennek tuno novekvo fluktuaciok.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 10 / 165

Pelda. Beszedkodolas

Time

Fre

quency (

Hz)

0 200 400 600 800 1000

01000

2000

3000

4000

Az”aaa · · · hhh” kifejezes 10 kHz mintavetelezesu jelenek 0.1 masodperces darabja.

Jellemzok

Szabalyosan ismetlodo jel.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 11 / 165

Pelda. Jel detektalas (jel-zaj modell)Modell: Xt = cos

(t10

)+ εt , t = 1, 2, . . . , 200.

Zaj: εt ∼ N (0, 0.25), t = 1, 2, . . . , 200, fuggetlen.

Time

0 50 100 150 200

−2

−1

01

2

Feladat. Az Xt folyamatot megfigyelve allıtsuk elo az ismeretlen jelet.


Pelda. A Dow Jones Industrial Average napi hozama

Apr 212006

Apr 022007

Apr 012008

Oct 012008

Oct 012009

Oct 012010

Oct 032011

Oct 012012

Oct 012013

Oct 012014

Oct 012015

DJIA Returns 2006−04−21 / 2016−04−20

−0.05

0.00

0.05

0.10

−0.05

0.00

0.05

0.10

A Dow Jones Industrial Average (DJIA) napi hozama.

Jellemzok

Stabil, zero kozeli atlagos hozam.Nagy volatilitasu periodusok, pl. a 2008-as gazdasagi valsag idejen.


IdosormodellDefinıcio. Az {xt , t ∈ T} megfigyelesek egy idosormodellje akkor van meghatarozva, ha is-merjuk a megfigyeleseket realizaciokent eloallıto {Xt , t ∈ T} sztochasztikus folyamat osszesveges dimenzios eloszlasat.

Megjegyzes. Az {X1,X2, . . .} valos erteku sztochasztikus folyamat veges dimenzios elosz-lasait meghatarozzak az

P(X1 < x1,X2 < x2, . . . ,Xn < xn

), x1, x2, . . . , xn ∈ R, n ∈ N,

egyuttes valoszınusegek, azaz ha tetszoleges n ∈ N eseten ismerjuk az (X1,X2, . . . ,Xn) velet-len vektor egyuttes eloszlasfuggvenyet.

A teljes idosor modell megadasa helyett sok esetben csupan az egyuttes eloszlasok elso-, illetvemasodik momentumait hatarozzuk meg, azaz az

EXt , valamint E(Xt ,Xs), t, s ∈ T ,

mennyisegeket, es ilyenkor az Xt folyamatnak a csak ezektol fuggo tulajdonsagaira (masod-rendu tulajdonsagok) koncentralunk.


StacionaritasDefinıcio. Legyen {Xt , t ∈ Z} egy idosor, melyre E

(X 2t

)<∞. Az {Xt} varhato ertek

fuggvenyeµX (t) := E

(Xt

), t ∈ Z,

az {Xt} kovarianciafuggvenye pedig

γX (r , s) := Cov(Xr ,Xs

)= E

[(Xr − µX (r)

)(Xs − µX (s)

)], r , s ∈ Z.

Definıcio. Az {Xt , t ∈ Z} idosor (gyengen) stacionarius, ha

(a) µX (t) nem fugg a t erteketol, azaz konstans;

(b) tetszoleges h ∈ Z eseten a γX (t + h, t) erteke fuggetlen t-tol.

Megjegyzes. Stacionarius idosor eseten a kovarianciafuggveny valojaban egyvaltozos:

γX (h) := γX (h, 0) = γX (t + h, t).


Autokovariancia, autokorrelacioDefinıcio. Legyen {Xt , t ∈ Z} egy stacionarius idosor. Az {Xt} idosor autokovariancia-fugg-venye (ACVF) a h tavolsagnal

γX (h) := Cov(Xt+h,Xt

)Az {Xt} idosor autokorrelacio-fuggvenye (ACF) a h tavolsagnal

%X (h) =γX (h)

γX (0):= Corr

(Xt+h,Xt

).

Megjegyzes. Legyenek X1,X2, . . . ,Xn, valamint Y1,Y2, . . . ,Ym valoszınusegi valtozok,E(X 2k

)<∞, E

(Y 2`

)<∞, k =1, 2, . . . , n, `=1, 2, . . . ,m, es legyen

U =n∑

k=1

akXk , V =m∑`=1

b`Y`,

ahol a1, a2, . . . , an, b1, b2, . . . , bm ∈ R. Ekkor

Cov(U,V ) =n∑

k=1

m∑`=1

akb` Cov(Xk ,Y`

).


Feher zaj{Xt} korrelalatlan, nulla varhato erteku es σ2 szorasnegyzetu valoszınusegi valtozok sorozata.Stacionarius folyamat, autokovariancia fuggvenye:

γX (h) = γX (t + h, t) =

{σ2, ha h = 0,

0, ha h 6= 0.

Jeloles: {Xt} ∼WN(0, σ2).

Specialis eset: fuggetlen, azonos eloszlasu zaj. Jeloles: {Xt} ∼ IID(0, σ2).

0 200 400 600 800 1000

−4

−2

01

23

Time

Fuggetlen standard Gauss zaj, azaz Xt ∼ N (0, 1).Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 17 / 165

Veletlen bolyongasLegyen {Xt} ∼ IID(0, σ2) es

S0 := 0, St := X1 + X2 + · · ·+ Xt , t = 1, 2, . . . .

{St , t = 0, 1, 2, . . .}: szimmetrikus veletlen bolyongas.

Ha EXt 6= 0, a bolyongas nem szimmetrikus.

Egyszeru szimmetrikus veletlen bolyongas: Xt szimmetrikus Bernoulli eloszlasu, azaz

P(Xt = 1) = P(Xt = −1) =1

2.

0 50 100 150 200

−5

05

10

Time


Veletlen bolyongas autovarianciaja

{Xt} ∼ IID(0, σ2) es {St , t = 0, 1, 2, . . .} a belole kepzett szimmetrikus veletlen bolyongas.

Momentumok:ESt = 0, E

(S2t

)= tσ2 <∞, t = 0, 1, 2, . . . .

Kovarianciak:

γS(t + h, t) = Cov(St+h, St

)= Cov

(St + Xt+1 + · · ·+ Xt+h,St

)= Cov

(St ,St

)= tσ2, t, h = 0, 1, 2, . . . .

γS(t + h, t) nem fuggetlen a t erteketol, az {St} nem stacionarius.


Elsorendu mozgoatlag, vagy MA(1) folyamatLegyen

Xt = Zt + θZt−1, t ∈ Z,ahol {Zt} ∼WN(0, σ2) es θ ∈ R.

Momentumok: EXt = 0, E(X 2t

)= σ2

(1 + θ2

)<∞, t ∈ Z.

Kovarianciak:

γX (t + h, t) =

σ2(1 + θ2

), ha h = 0,

σ2θ, ha h = ±1,

0, ha |h| > 1.

Az {Xt} MA(1) folyamat tetszoleges θ parameter eseten stacionarius.

Autokorrelacio-fuggveny (ACF):

%X (h) =

1, ha h = 0,

θ/(1 + θ2

), ha h = ±1,

0, ha |h| > 1.


Peldak MA(1) folyamatraFolyamat: Xt = Zt + θZt−1, Zt ∼ N (0, 1).

0 100 200 300 400 500

−4

−2

02

θ = 0.8

Time

0 100 200 300 400 500

−4

−2

01

23

θ = −0.3

Time


Elsorendu autoregresszıv, vagy AR(1) folyamatLegyen

Xt = φXt−1 + Zt , t ∈ Z,ahol {Zt} ∼WN(0, σ2), φ ∈ R, valamint tetszoleges s < t eseten Xs es Zt korrelalatlan.Pontosan akkor stacionarius, ha |φ| < 1. Ekkor EXt = 0.

Autokovariancia-fuggveny:

γX (h) = Cov(Xt ,Xt−h

)= Cov

(φXt−1,Xt−h

)+ Cov

(Zt ,Xt−h

)= φγX (h − 1) + 0 = · · · = φhγX (0) = γX (−h), h = 0, 1, 2, . . . .

Autokorrelacio-fuggveny:

%X (h) =γX (h)

γX (0)= φ|h|, h ∈ Z.

Variancia:

γX (0) = Cov(Xt ,Xt

)= Cov

(φXt−1 + Zt , φXt−1 + Zt

)= φ2γX (0) + σ2,

azaz γX (0) = σ2/(1− φ2

).


Peldak AR(1) folyamatra

0 50 100 150 200 250 300

−2

02

4

φ = 0.6

Time

0 50 100 150 200 250 300

−1

5−

10

−5

05

φ = 1

Time

0 50 100 150 200 250 300

−4

0−

30

−2

0−

10

0

φ = 1.01

Time

0 50 100 150 200 250 300

−4

−2

02

4

φ = −0.9

Time

0 50 100 150 200 250 300

−1

5−

50

51

01

5

φ = −1

Time

0 50 100 150 200 250 300

−1

50

−5

00

50

10

01

50

φ = −1.01

Time


Tapasztalati autokorrelacio fuggvenyx1, x2, . . . , xn: az {Xt} idosor megfigyelesei.

Cel: a megfigyelesek segıtsegevel becsuljuk meg az {Xt} autokovariancia- es autokorrelacio-fuggvenyet.

Definıcio. Az x1, x2, . . . , xn megfigyelesek tapasztalati autokovariancia-fuggvenye

γ(h) :=1

n

n−|h|∑t=1

(xt+|h| − x

)(xt − x

), −n < h < n,

ahol

x =1

n

n∑t=1

xt .

A megfigyelesek tapasztalati autokorrelacio-fuggvenye

%(h) =γ(h)

γ(0), −n < h < n.


Tulajdonsagokx1, x2, . . . , xn: az {Xt} idosor megfigyelesei.

γ(h) :=1

n

n−|h|∑t=1

(xt+|h| − x

)(xt − x

), %(h) =

γ(h)

γ(0), −n < h < n.

h ≥ 0 eseten γ(h) kozelıtoleg megegyezik az(x1, x1+h

),(x2, x2+h

), . . . ,

(xn−h, xn

)megfigyelesparok korrelaciojaval. Az n − h helyett alkalmazott azonos n normalo tag biz-tosıtja, hogy a Γn :=

[γ(i − j)

]ni ,j=1

empirikus autokovariancia-matrix nemnegatıv definit.

A Rn :=[%(i − j)

]ni ,j=1

empirikus autokorrelacio-matrix nemnegatıv definit.

Ha {Xt} ∼ IID(0, σ2), σ <∞, akkor nagy n eseten a %(1), %(2), . . . , %(h) mennyisegekkozelıtoleg fuggetlen, N

(0, 1/n

)eloszlasu valoszınusegi valtozok.

95 %-os konfidenciaintervallum: ±1.96/√n.


Peldak1. Fuggetlen standard Gauss zaj.

0 200 400 600 800 1000

−4

−2

01

23

Time

0 5 10 15 20 25 30

0.0

0.2

0.4

0.6

0.8

1.0

Lag

AC

F

2. MA(1) folyamat, θ = 0.8.

0 100 200 300 400 500

−4

−2

02

4

Time

0 5 10 15 20 25

0.0

0.2

0.4

0.6

0.8

1.0

Lag

AC

F


Idosorok dekompozıciojaKlasszikus dekompozıcios modell:

Xt = mt + st + Yt .

mt : lassan valtozo fuggveny, trend komponens.

st : periodikus fuggveny d periodussal, szezonalis komponens.

Yt : stacionarius folyamat, veletlen zaj komponens.

Trend novekedesevel novekszik az ingadozas: logaritmikus transzformacio.

Pelda. Ausztral vorosboreladasok logaritmikus transzformalasa.

Time

Month

ly S

ale

s (

kilo

liters

)

1980 1982 1984 1986 1988 1990 1992

500

1500

2500

Time

Log−

transfo

rmed M

onth

ly S

ale

s1980 1982 1984 1986 1988 1990 1992

6.5

7.0

7.5

8.0


Dekompozıcios modell vizsgalata

Dekompozıcios modell:Xt = mt + st + Yt

Modellezesi technikak:

1 Becsuljuk meg az mt es st determinisztikus komponenseket.

Amennyiben az ezek kivonasaval kapott maradekok egy stacionarius idosor megfigyelesei,illesszunk rajuk egy stacionarius idosormodellt.

2 Differenciakepzes tobbszori alkalmazasaval tavolıtsuk el mind a trendet, mind pedig a sze-zonalitast, amıg az eredmenyul kapott megfigyelesek nem tekinthetoek egy stacionariusidosor realizacioinak.

Illesszunk rajuk egy stacionarius idosormodellt.


A trend becslese, illetve eltavolıtasa

Szezonalitas nelkuli modell trenddel:

Xt = mt + Yt , t = 1, 2, . . . , n, EYt = 0.

Trendbecslesi modszerek:

a. Mozgoatlagolasu trendbecsles;

b. Exponencialis simıtas;

c. Nagyfrekvenciaju komponensek eltavolıtasa;

d. Analitikus trend illesztese.

Trend eltavolıtasa differenciakepzessel.


Mozgoatlagolasu trendbecslesModell: Xt = mt + Yt , t = 1, 2, . . . , n, EYt = 0.

Legyen d ∈ N. A d-edrendu ketoldali mozgoatlag:

d paratlan, azaz d = 2q + 1, q = 0, 1, 2, . . . :

Wt =Xt−q + Xt−q+1 + · · ·+ Xt + · · ·+ Xt+q

2q + 1;

d paros, azaz d = 2q, q = 0, 1, 2, . . . :

Wt =12Xt−q + Xt−q+1 + · · ·+ Xt + · · ·+ Xt+q−1 + 1

2Xt+q

2q,

ahol t = q + 1, q + 2, . . . , n − q.

Ha mt kozel linearis a [t − q, t + q] intervallumon, akkor pl. paratlan d eseten

Wt =1

2q + 1

q∑j=−q

mt−j+1

2q + 1

q∑j=−q

Yt−j ≈ mt , azaz mt = Wt , t=q+1, q+2, . . . , n−q.


Mozgoatlag, mint linearis szuroA mozgoatlag tekintheto ugy, mint a

∑∞j=−∞ ajXt−j linearis szuro specialis esete.

Egyutthatok d = 2q + 1 eseten:

aj =1

2q + 1, −q ≤ j ≤ q; aj = 0, |j | > q.

Ha mt = c0 + c1t, akkor∑∞

j=−∞ ajmt−j = mt : a linearis trend valtozatlanul megy at aszuron.

Spencer-fele 15-pontos mozgoatlag

Valtozatlanul engedi at a harmadfoku polinomokat, azaz ha a trend

mt = c0 + c1t + c2t2 + c3t

3.

Egyutthatok:

(a0, a1, . . . , a7) =1

320(74, 67, 46, 21, 3,−5,−6,−3); aj = a−j , |j | ≤ 7; aj = 0, |j | > 7.


Exponencialis simıtasLegyen α ∈ [0, 1]. A becsult trend:

m1 = X1; mt = αXt + (1− α)mt−1, t = 2, 3, . . . , n.

A rekurzio alapjan:

mt =t−2∑j=0

α(1− α)jXt−j + (1− α)t−1X1.

Egyoldalu mozgoatlag, az utolso kivetelevel exponencialisan lecsengo sulyokkal.

Nagyfrekvenciaju komponensek eltavolıtasa

A Fourier sorfejtesben elhagyjuk a magas frekvenciaju tagok egy reszet.

Analitikus trend illesztese

Polinomot, vagy mas parameteres fuggvenyt illesztunk legkisebb negyzetek modszerevel.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 32 / 165

Trend eltavolıtasa differenciakepzessel

B: visszaleptetes operator.

BXt := Xt−1, B jXt := B(B j−1)Xt = Xt−j , j ≥ 1.

∇: differencia operator.

∇Xt := Xt − Xt−1 = (1− B)Xt , ∇0Xt = Xt , ∇jXt := ∇(∇j−1)Xt , j ≥ 1.

Linearis trend: mt = c0 + c1t

∇mt = mt −mt−1 = c0 + c1t −(c0 + c1(t − 1)

)= c1.

Tetszoleges k-adfoku polinomialis trend konstanssa redukalhato a ∇k segıtsegevel.


Trend es szezonalitas egyuttes becsleseKlasszikus dekompozıcios modell:

Xt = mt + st + Yt , t = 1, 2, . . . , n, EYt = 0, st+d = st ,d∑

j=1

sj = 0.

Az {Xt} idosor megfigyelesei: {x1, x2, . . . , xn}.1 Becsuljuk meg a trendet d-edrendu ketoldalu mozgoatlaggal. Becsles: mt , q< t≤ n−q.2 Minden k = 1, 2, . . . , d eseten szamoljuk ki a

{(xk+jd − mk+jd) : q < k + jd ≤ n − q}

szezonalis elteresek wk atlagat. A szezonalis komponens becslese:

sk = wk −1

d

d∑j=1

wj , k = 1, 2, . . . , d , es sk = sk−d , k < d .

3 Szamıtsuk ki a szezonalitastol megfosztott adatokat: dt := xt − st , t = 1, 2, . . . , n.4 A {dt} megfigyelesekbol hatarozzuk meg az mt becsult trendet valamelyik modszerrel.5 Becsuljuk meg a modell maradekait: Yt = xt − mt − st , t = 1, 2, . . . , n.


Trend es szezonalitas eltavolıtasa differenciakepzessel

Klasszikus dekompozıcios modell:

Xt = mt + st + Yt , t = 1, 2, . . . , n, EYt = 0, st+d = st ,d∑

j=1

sj = 0.

∇d : d-lepeses differencia operator.

∇dXt := Xt − Xt−d = (1− Bd)Xt .

Alkalmazzuk a ∇d operatort a dekompozıcios modellre:

∇dXt = mt −mt−d + Yt − Yt−d .

A ∇ alkalmas hatvanyanak alkalmazasaval kiszurhetjuk az mt −mt−d trendet.


Az autokorrelacio jelentosege{Xt , t ∈ Z}: stacionarius idosor, EXt = µ, Var(Xt) = σ2.

Autokovariancia-fuggveny (ACVF): γ(h) = Cov(Xt+h,Xt

), h ∈ Z.

Autokorrelacio-fuggveny (ACF): %(h) = γ(h)/γ(0), h ∈ Z.

Pelda. Legyen {Xt , t ∈ Z} Gauss folyamat es megfigyeljuk az Xn erteket. Keressuk az Xn azon fuggvenyet, aminegyzetes kozepben a legjobban kozelıti az Xn+h erteket.

Az E[Xn+h − f (Xn)

]2minimumat ado fuggveny: f (Xn) = E

(Xn+h|Xn

).

(Xn+h,Xn) egyuttes eloszlasa normalis. Az Xn+h felteteles eloszlasa az Xn = xn feltetel mellett:

N(µ+ %(h)(xn − µ), σ2(1− %(h)2

)), azaz E

(Xn+h|Xn

)= µ+ %(h)(Xn − µ).

E[Xn+h − E

(Xn+h|Xn

)]2= Var

(Xn+h|Xn

)= σ2(1− %(h)2

).

Minel kozelebb van a |%(h)| erteke az 1-hez, annal pontosabb a becsles.

Pelda. Legyen {Xt , t ∈ Z} tetszoleges. Keressuk a megfigyelt Xn valtozonak az Xn+h erteket negyzetes kozep-ben legjobban kozelıto `(Xn) = aXn + b fuggvenyet.

Az E[Xn+h − aXn − b

]2minimumat ado fuggveny: `(Xn) = µ+ %(h)(Xn − µ).

Az `(Xn) legjobb linearis elorejelzes negyzetes elterese: E[Xn+h − `

(Xn

)]2= Var

(Xn+h|Xn

)= σ2

(1− %(h)2

).


Az autokovariancia tulajdonsagai

Allıtas. Legyen γ(h) egy stacionarius idosor autokovariancia-fuggvenye. Ekkor

γ(0) ≥ 0;

tetszoleges h eseten |γ(h)| ≤ γ(0);

tetszoleges h eseten γ(h) = γ(−h), azaz γ(h) paros fuggveny.

Definıcio. Egy κ : Z→ R fuggveny nemnegatıv definit, ha tetszoleges n ∈ N esa = (a1, a2, . . . , an)> ∈ Rn eseten

n∑k,`=1

akκ(k − `)a` ≥ 0.

Tetel. Egy κ : Z→ R fuggveny pontosan akkor autokovariancia-fuggvenye valamelystacionarius idosornak, ha paros es nemnegatıv definit.


Eros stacionaritasDefinıcio. Az {Xt , t ∈ Z} idosor erosen stacionarius, ha a vegesdimenzios eloszlasai eltolas-invariansak, azaz tetszoleges n ∈ N es h ∈ Z eseten

(X1,X2, . . . ,Xn)>d= (X1+h,X2+h, . . . ,Xn+h)>,

vagyis a ket veletlen vektor eloszlasa megegyezik.

Tetel. Legyen {Xt , t ∈ Z} egy erosen stacionarius idosor. Ekkor a kovetkezoek teljesulnek.

Az Xt valoszınusegi valtozok azonos eloszlasuak.

Tetszoleges t, h ∈ Z eseten (Xt ,Xt+h)>d= (X1,X1+h)>.

Ha tetszoleges t ∈ Z eseten E(X 2t

)<∞, akkor {Xt} (gyengen) stacionarius.

Megjegyzesek.

A (gyenge) stacionaritasbol nem kovetkezik az eros stacionaritas.

A fuggetlen, azonos eloszlasu sorozat erosen stacionarius.


Erosen stacionarius idosor konstrukcioja{Zt}: fuggetlen, azonos eloszlasu sorozat. g : Rq+1 → R: merheto fuggveny, q ∈ N.

A {Zt} szuresevel kapott idosor tagjai: Xt = g(Zt ,Zt−1, . . . ,Zt−q).

Tulajdonsagai:

Erosen stacionarius.

q-osszefuggo, azaz ha |t − s| > q, akkor Xt es Xs fuggetlen.

Definıcio. Egy {Xt} stacionarius idosor q-korrelalt, ha tetszoleges |h|>q eseten γ(h)=0.

Peldak. WN(0, σ2): 0-korrelalt; MA(1) folyamat: 1-korrelalt.

Definıcio. Legyen {Zt} ∼WN(0, σ2), q ∈ N, valamint θ1, θ2, . . . , θq ∈ R. Az

Xt = Zt + θ1Zt−1 + θ2Zt−2 + · · ·+ θqZt−q

folyamatot q-adrendu mozgoatlag vagy MA(q) folyamatnak nevezzuk.

Allıtas. Tetszoleges 0 varhato erteku stacionarius q-korrelalt idosor felırhato mint egy MA(q)folyamat.


Linearis folyamatokDefinıcio. Az {Xt} idosor egy linearis folyamat, ha minden t ∈ Z eseten felırhato

Xt =∞∑

j=−∞ψjZt−j

alakban, ahol {Zt} ∼WN(0, σ2), a {ψt} pedig konstansok egy olyan sorozata, melyre∑∞j=−∞ |ψj | <∞.

B: visszaleptetes operator. Ha {Xt} egy idosor, BXt = Xt−1, B jXt := B(B j−1)Xt = Xt−j .

Linearis folyamat megadasa: Xt = Ψ(B)Zt , ahol Ψ(B) :=∑∞

j=−∞ ψjBj .

Ψ(B): linearis szuro, amit a {Zt} folyamatra alkalmazunk.

Definıcio. Egy {Xt} linearis folyamatot mozgoatlag vagy MA(∞) folyamatnak nevezunk,ha j < 0 eseten ψj = 0, azaz

Xt =∞∑j=0

ψjZt−j .


Stacionarius folyamatok linearis szureseAllıtas. Legyen {Yt} egy nulla varhato erteku stacionarius folyamat γY autokovariancia-fuggvennyel. Ha

∑∞j=−∞ |ψj | <∞ (a {ψj} sorozat abszolut szummabilis), akkor az

Xt =∞∑

j=−∞ψjYt−j = Ψ(B)Yt

szurt folyamat szinten nulla varhato erteku es stacionarius, autokovariancia-fuggvenye pedig

γX (h) =∞∑

j=−∞

∞∑k=−∞

ψjψkγY (h + k − j).

Amennyiben {Yt} ∼WN(0, σ2), azaz {Xt} egy linearis folyamat,

γX (h) =∞∑

j=−∞ψjψj+hσ

2.


Bizonyıtas

Legyen Sn,t :=∑n

j=−n ψjYt−j az n-edik reszletosszege az Xt-t definialo sornak es legyen m < n.

E(Sn,t − Sm,t

)2= E

( ∑j :(m+1)≤|j|≤n

ψjYt−j

)2

≤∑

j :(m+1)≤|j|≤n

∑k:(m+1)≤|k|≤n

∣∣ψjψkE(Yt−jYt−k)∣∣

≤ γY (0)∑

j :(m+1)≤|j|≤n

∑k:(m+1)≤|k|≤n

∣∣ψjψk

∣∣ ≤ γY (0)

( ∑j :(m+1)≤|j|≤n

∣∣ψj

∣∣)2

→ 0, ha m, n→∞.

Sn,t negyzetes kozepben Cauchy sorozat, ıgy Sn,tL2−→ Xt , ha n→∞. Xt jol definialt. EYt = 0, ıgy

E(Xt

)=

∞∑j=−∞

ψjE(Yt−j

)= 0.

γx(h) = E(Xt+hXt

)= E

[( ∞∑j=−∞

ψjYt+h−j

)( ∞∑k=−∞

ψkYt−k

)]=

∞∑j=−∞

∞∑k=−∞

ψjψkE(Yt+h−jYt−k

)=

∞∑j=−∞

∞∑k=−∞

ψjψkγY (h + k − j).

Ha {Yt} ∼WN(0, σ2), akkor γY (h + k − j) = σ2 ha k = j − h, es 0 egyebkent. �


Pelda. Stacionarius AR(1) folyamat

Stacionarius AR(1) folyamat: azXt = φXt−1 + Zt , t ∈ Z, (1)

stacionarius megoldasa, ahol {Zt} ∼WN(0, σ2), |φ| < 1, es tetszoleges s < t eseten Xs es Zt korrelalatlan.

Egzisztencia: Legyen

Xt :=∞∑j=0

φjZt−j .

Mivel |φ| < 1, ıgy∑∞

j=0 |φj | <∞, azaz az {Xt} linearis folyamat jol definialt.

{Xt} megoldja az (1) egyenletet es stacionarius 0 varhato ertekkel. Autokovariancia-fuggvenye:

γx(h) =∞∑j=0

φjφj+hσ2 =σ2φh

1− φ2, h ≥ 0.

Unicitas: Legyen {Yt} az (1) egyenlet tetszoleges stacionarius megoldasa, azaz EY 2t <∞ es fuggetlen t-tol.

Yt = φYt−1 + Zt = Zt + φZt−1 + φ2Yt−2 = · · · = Zt + φZt−1 + · · ·φkZt−k + φk+1Yt−k−1.

E(Yt −

k∑j=0

φjZt−j

)2= φ2k+2EY 2

t−k−1 → 0, ha k →∞.

Igy Yt megegyezik a∑∞

j=0 φjZt−j negyzetes kozepben vett osszeggel, ami az Xt definıcioja is. �


Linearis szurok egymas utani alkalmazasa

{Yt}: nulla varhato erteku stacionarius folyamat.

Linearis szurok:

α(B) =∞∑

j=−∞αjB

j , β(B) =∞∑

j=−∞βjB

j , ahol∞∑

j=−∞|αj | <∞,

∞∑j=−∞

|βj | <∞.

A ket szuro egymas utani alkalmazasaval (konvoluciojaval) kapott folyamat:

Wt = Ψ(B)Yt =∞∑

j=−∞ψjYt−j , ahol

Ψ(B) = α(B)β(B) = β(B)α(B), azaz ψj =∞∑

k=−∞αkβj−k =

∞∑k=−∞

βkαj−k .


Pelda. Stacionarius AR(1) folyamat eloallıtasa

AR(1) egyenlet:

Xt = φXt−1 + Zt ⇐⇒ Xt − φXt−1 = Zt ⇐⇒ Φ(B)Xt = Zt , ahol Φ(B) = 1− φB.

A Φ(x) = 1− φx polinom inverze: Π(x) :=1

Φ(x)=

1

1− φx =∞∑j=0

φjx j .

Ha |φ| < 1, akkor a Π(B) =∑∞

j=0 φjB j linearis szuro jol definialt es Ψ(B) := Π(B)Φ(B) = 1.

Alkalmazzuk a Π(B) operatort a Φ(B)Xt = Zt egyenlet mindket oldalara:

Xt = Π(B)Zt =∞∑j=0

φjZt−j .

Pelda. AR(1) folyamat |φ| > 1 eseten

Xt =−φ−1Zt+1+φ−1Xt+1 =−φ−1Zt+1−φ−2Zt+2+φ−2Xt+2 = · · · =−φ−1Zt+1−· · ·−φ−k−1Zt+k+1+φ−k−1Xt+k+1.

Az AR(1) egyenlet egyertelmu stacionarius megoldasa: Xt = −∞∑j=1

φ−jZt+j .

Problema: Xt a zajfolyamat jovobeli ertekeitol fugg, s < t eseten Xs es Zt nem korrelalatlan. Az {Xt}idosor nem kauzalis.


Az ARMA(1,1) folyamatDefinıcio. Az {Xt} idosort ARMA(1,1) folyamatnak nevezzuk, ha stacionarius es tetszole-ges t eseten eleget tesz az

Xt − φXt−1 = Zt + θZt−1 (2)

egyenletnek, ahol {Zt} ∼WN(0, σ2) es φ+ θ 6= 0.

Stacionarius megoldas meghatarozasa. A (2) egyenlet operatorokkal felırt alakja:

Φ(B)Xt = Θ(B)Zt , ahol Φ(B) = 1− φB es Θ(B) = 1 + θB.

Ha |φ| < 1, akkor a Π(B) =∑∞

j=0 φjB j linearis szuro jol definialt es Π(B)Φ(B) = 1.

Xt = Π(B)Θ(B)Zt = (1 + φB + φ2B2 + · · · )(1 + θB)Zt

=(1 + (φ+ θ)B + (φ+ θ)φB2 + (φ+ θ)φ2B3 + · · ·

)Zt = Zt + (φ+ θ)

∞∑j=1

φj−1Zt−j .

{Xt} egy MA(∞) folyamat, (2) egyertelmu stacionarius megoldasa. Kauzalis, Xt csak a Zs , s≤ t, fuggvenye.

Ha |φ| > 1, akkor a Φ(B) operator inverze X (B) = −∑∞

j=1 φ−jB−j .

Xt = X (B)Θ(B)Zt = −θφ−1Zt − (φ+ θ)∞∑j=1

φ−j−1Zt+j .

{Xt} a (2) egyertelmu stacionarius megoldasa. Nem kauzalis.


InvertalhatosagARMA(1,1) folyamat:

Xt − φXt−1 = Zt + θZt−1, {Zt} ∼WN(0, σ2), φ+ θ 6= 0.

Ha Zt kifejezheto az Xs , s ≤ t fuggvenyekent, akkor az {Xt} idosor invertalhato.

Az invertalhatosag vizsgalata. Ha |θ|<1, akkor a Θ(B) = 1+θB operator inverze Ξ(B)=∑∞

j=0(−θ)jB j ,ami jol definialt (az egyutthatok abszolut szummabilisek). A Φ(B)Xt = Θ(B)Zt egyenletbol:

Zt = Ξ(B)Φ(B)Xt = (1− θB + (−θ)2B2 + · · · )(1− φB)Zt = Xt − (φ+ θ)∞∑j=1

(−θ)j−1Xt−j .

|θ| < 1 eseten az ARMA(1,1) folyamat invertalhato.

Ha |θ| > 1, akkor

Zt = −φθ−1Xt + (φ+ θ)∞∑j=1

(−θ)−j−1Xt+j .

|θ| > 1 eseten az ARMA(1,1) folyamat nem invertalhato


Az ARMA(1,1) folyamat stacionaritasaARMA(1,1) folyamat:


Az ARMA(1,1) folyamatot definialo egyenletnek pontosan akkor letezik stacionariusmegoldasa, ha φ 6= ±1.

Ha |φ| < 1, akkor az {Xt} idosor kauzalis, az egyertelmu stacionarius megoldas:

Xt = Zt + (φ+ θ)∞∑j=1

φj−1Zt−j . EXt = 0, Var(Xt) = σ2(

1 +(φ+ θ)2

1− φ2

).

Ha |φ| > 1, akkor az {Xt} idosor nem kauzalis, az egyertelmu stacionarius megoldas:

Xt = −θφ−1Zt − (φ+ θ)∞∑j=1

φ−j−1Zt+j .


Az ARMA(1,1) folyamat invertalhatosagaARMA(1,1) folyamat:


Ha |θ| < 1, akkor az {Xt} idosor invertalhato:

Zt = Xt − (φ+ θ)∞∑j=1

(−θ)j−1Xt−j .

Ha |θ| > 1, akkor az {Xt} idosor nem invertalhato:

Zt = −φθ−1Xt + (φ+ θ)∞∑j=1

(−θ)−j−1Xt+j .

Megjegyzes. Ha |φ| > 1, es |θ| > 1, azaz az {Xt} idosor se nem kauzalis, se nem inver-talhato, akkor konstrualhato olyan {Wt} feher zaj, hogy {Xt} a {Wt} zajra nezve markauzalis es invertalhato lesz. Elegendo csak a kauzalis es invertalhato ARMA(1,1) folyamatok-kal foglalkozni.


A mintaatlag konvergenciajaAllıtas. Legyen {Xt} egy stacionarius idosor, aminek varhato erteke µ, autokovariancia-fuggvenye pedig γ(h), valamint legyen Xn = 1

n (X1 + X2 + · · ·+ Xn). Ekkor n→∞ eseten

Var(Xn) = E(Xn − µ)2 → 0, ha γ(n)→ 0,

nE(Xn − µ)2 →∞∑

h=−∞γ(h), ha

∞∑h=−∞

∣∣γ(h)∣∣ <∞.

Bizonyıtas. A stacionaritas miatt E(Xn) = µ.

E(Xn − µ)2 = Var(Xn) =1

n2

n∑k=1

n∑`=1

Cov(Xk ,X`) =1

n2

n∑k−`=−n

(n − |k − `|

)γ(k − `) =

1

n

n∑h=−n

(1− |h|

n

)γ(h).

Ha h→∞ eseten γ(h)→ 0, akkor n→∞ mellett az egyenloseg jobb oldala nullahoz tart. Igy XnL2−→ µ.

Ha∑∞

h=−∞

∣∣γ(h)∣∣ <∞, akkor a dominalt konvergencia tetel miatt

limn→∞

nE(Xn − µ)2 = limn→∞

n∑h=−n

(1− |h|

n

)γ(h) =

∞∑h=−∞

γ(h).

�Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 51 / 165

Konfidenciaintervallum a mintaatlagra{Xt}: stacionarius, Gauss idosor.

n1/2(Xn − µ) ∼ N

(0,

n∑h=−n

(1− |h|

n

)γ(h)

).

Linearis folyamatokra (pl. ARMA) nagy n eseten Xn eloszlasa kozel N(µ, 1n

∑∞h=−∞ γ(h)

).

Nagy n eseten 95 %-os aszimptotikus konfidenciaintervallum a µ varhato ertekre:(Xn − 1.96ν1/2/

√n, Xn + 1.96ν1/2/

√n), ahol ν =

∞∑h=−∞

γ(h).

ν nagymintas becslese: ν =∑√n

h=−√n

(1− |h|/

√n)γ(h).

Pelda. µ varhato erteku AR(1) folyamat: Xt − µ = φ(Xt−1 − µ) + Zt , ahol |φ| < 1 es {Zt} ∼WN(0, σ2).

γ(h) =σ2φ|h|

1− φ2, ıgy ν =

(1 + 2

∞∑h=1

φh

)σ2

1− φ2=

σ2

(1− φ)2.

A φ es σ erteke alalaban nem ismert, a becsleseikkel helyettesıtendoek.


Az autokorrelacio-fuggveny aszimptotikajaAz autokovariancia- es autokorrelacio fuggveny becslesei:

γ(h) =1

n

n−|h|∑t=1

(Xt+|h| − Xn

)(Xt − Xn

)es %(h) =

γ(h)

γ(0), −n < h < n.

Mindket becsles torzıtott, de eleg nagy n eseten a torzıtas mar elhanyagolhato.

Tetel. Legyen {Xt} egy stacionarius linearis folyamat, azaz

Xt − µ =∞∑

j=−∞ψjZt−j , {Zt} ∼ IID(0, σ2), ahol

∞∑j=−∞

|ψj | <∞ es EZ 4t <∞.

Ekkor tetszoleges k eseten a %k =(%(1), %(2), . . . , %(k)

)>aszimptotikusan normalis %k

varhato ertek vektorral es n−1W kovarianciamatrixszal, ahol %k =(%(1), %(2), . . . , %(k)

)>,

a W =[wij

]ki ,j=1

matrix elemei pedig a Bartlett formulaval adhatoak meg, azaz

wij =∞∑k=1

{%(k + i) + %(k − i)− 2%(i)%(k)

}{%(k + j) + %(k − j)− 2%(j)%(k)

}.


Peldak

A kovarianciamatrix elemei: wij =∑∞

k=1

{%(k + i) + %(k − i)− 2%(i)%(k)

}{%(k + j) + %(k − j)− 2%(j)%(k)

}.

1. Fuggeten, azonos eloszlasu zaj. Ha {Xt} ∼ IID(0, σ2), akkor %(h) = 0, ha |h| > 0.

wij =

{1, ha i = j ,

0, ha i 6= j .

Nagy n eseten a %(1), %(2), . . . , %(k) becslesek kozelıtoleg fuggetlen normalisak 0 varhato ertekkel es 1/nszorasnegyzettel.

2. MA(1) folyamat. Ha {Xt} MA(1) folyamat, azaz Xt = Zt + θZt−1, ahol {Zt} ∼WN(0, σ2), akkor

%(h) =

1, ha h = 0,

θ/(1 + θ2

), ha h = ±1,

0, ha |h| > 1.

Nagy n eseten n−1/2(%(h)− %(h)

)szorasnegyzete kozel whh, ahol

whh =

{1− 3%2(1) + 4%4(1), ha h = 1,

1 + 2%2(1), ha h > 1.


Peldak

A kovarianciamatrix elemei: wij =∑∞

k=1

{%(k + i) + %(k − i)− 2%(i)%(k)

}{%(k + j) + %(k − j)− 2%(j)%(k)

}.

3. AR(1) folyamat. Ha {Xt} stacionarius AR(1) folyamat, azaz

Xt = φXt−1 + Zt , ahol |φ| < 1 es {Zt} ∼ IID(0, σ2),

akkor %(h) = φ|h|.

Nagy n eseten n−1/2(%(h)− %(h)

)szorasnegyzete kozel whh, ahol

whh =h∑

k=1

φ2h(φ−k − φk)2 +∞∑

k=h+1

φ2k(φ−h − φh)2 =(1− φ2h)(1 + φ2)

1− φ2− 2hφ2h.

95 %-os becsult aszimptotikus konfidenciaintervallum a %(h) becsult autokorrelaciora:(%(h)− 1.96

√whh/n, %(h) + 1.96

√whh/n

).


Stacionarius folyamat linearis predikcioja{Xt}: stacionarius idosor ismert µ varhato ertekkel es γ autokovariancia-fuggvennyel.

Cel. Hatarozzuk meg az Xn+h, h > 0 ertekenek az {Xn,Xn−1, . . . ,X1} megfigyelesekenalapulo negyzetes kozepben vett legjobb linearis predikciojat. A PnXn+h predikcio alakja:

PnXn+h = a0 + a1Xn + a2Xn−1 + · · ·+ anX1.

Pn: az {X1,X2, . . . ,Xn} veges multon alapulo predikcios operator.

PnXn+h: az Xn+h ortogonalis projekcioja az {X1,X2, . . . ,Xn} altal felfeszıtett alterre.

Minimalizalando fuggveny:

S(a0, a1, . . . , an) = E(Xn+h − a0 − a1Xn − a2Xn−1 − · · · − anX1

)2.

S alulrol korlatos, kvadratikus fuggveny. Biztosan letezik egy (a0, a1, . . . , an) minimumhelye,melyre

∂S(a0, a1, . . . , an)

∂aj= 0, j = 0, 1, . . . , n.


A normalegyenletek megoldasa

Minimalizalando fuggveny: S(a0, a1, . . . , an) = E(Xn+h − a0 − a1Xn − a2Xn−1 − · · · − anX1

)2.

Normalegyenletek:

E

[Xn+h − a0 −

n∑i=1

aiXn+1−i

]= 0 ⇐⇒ a0 = µ

(1−

n∑i=1

ai

),

E

[(Xn+h − a0 −

n∑i=1

aiXn+1−i

)Xn+1−j

]= 0 ⇐⇒ γ(h + j − 1) =

n∑i=1

aiγ(i − j), j = 1, 2, . . . , n.

Matrix alak: Γnan = γn(h), ahol

Γn =[γ(i − j)

]ni,j=1

, an = (a1, a2, . . . , an)>, γn(h) =(γ(h), γ(h + 1), . . . , γ(h + n − 1)

)>.

Az Xn+h negyzetes kozepben vett legjobb linearis predikcioja:

PnXn+h = µ+n∑

i=1

ai(Xn+1−i − µ

), ahol an a Γnan = γn(h) egyenletrendszer megoldasa.

A predikcio hibaja:

E(Xn+h − PnXn+h

)2= γ(0)− 2

n∑i=1

aiγ(h + i − 1) +n∑

i=1

n∑j=1

aiγ(i − j)aj = γ(0)− a>n γn(h).


A predikcio tulajdonsagai{Xt}: stacionarius idosor ismert µ varhato ertekkel es γ autokovariancia-fuggvennyel.

PnXn+h: az Xn+h, h > 0 ertekenek az {Xn,Xn−1, . . . ,X1} megfigyeleseken alapulo negy-zetes kozepben vett legjobb linearis predikcioja.

Tulajdonsagok

1 PnXn+h = µ+n∑

i=1

ai(Xn+1−i − µ

), ahol γ(h + j − 1) =

n∑i=1

aiγ(i − j), j =1, 2, . . . , n.

2 E(Xn+h − PnXn+h

)2= γ(0)−

n∑i=1

aiγ(h + i − 1).

3 E(Xn+h − PnXn+h

)= 0.

4 E[(Xn+h − PnXn+h

)Xj

]= 0, j = 1, 2, . . . , n.

Megjegyzes. Legyen Yt = Xt − µ. Ekkor PnXn+h = µ+ PnYn+h, azaz elegendo a µ = 0esettel foglalkozni.


Pelda: AR(1) folyamat egylepeses predikcioja

Stacionarius AR(1) folyamat:

Xt = φXt−1 + Zt , t ∈ Z, {Zt} ∼WN(0, σ2), |φ| < 1.

Az Xn+1 ertekenek az {Xn,Xn−1, . . . ,X1} megfigyeleseken alapulo negyzetes kozepben vett legjobb linearispredikcioja:

PnXn+1 =n∑

i=1

aiXn+1−i = a>n X n, ahol an = (a1, a2, . . . , an)>, X n = (Xn,Xn−1, . . . ,X1)>,

valamint 1 φ φ2 · · · φn−1

φ 1 φ · · · φn−2

......

.... . .

...φn−1 φn−2 φn−3 · · · 1

a1a2...an

=

φφ2

...φn

.Megoldas: an = (φ, 0, . . . , 0)>.

PnXn+1 = φXn, E(Xn+1−PnXn+1

)2= γ(0)−

n∑i=1

aiγ(i) = γ(0)−φγ(1) = γ(0)(1−φ2) =

σ2

1− φ2

(1−φ2) = σ2.


Rekurzıv becslesek

{Xt}: stacionarius idosor 0 varhato ertekkel es ismert γ autokovariancia-fuggvennyel.

Xn+1 egylepeses predikcioja az {Xn,Xn−1, . . . ,X1} alapjan:

PnXn+1 = φn1Xn + φn2Xn−1 + · · ·+ φnnX1 = φ>n X n.

Γn =[γ(i − j)

]ni ,j=1

regularis: az egyutthatokat definialo egyenletrendszer megoldasa

φn = Γ−1n γn, ahol γn =(γ(1), γ(2), . . . , γ(n)

)>.

A predikcio negyzetes kozepben vett hibaja:

νn := E(Xn+1 − PnXn+1

)2= γ(0)− φ>n γn = γ(0)− γ>n Γ−1n γn.

Rekurzıv algoritmus. Allıtsuk elo az Xn+2 egylepeses Pn+1Xn+2 predikciojat a PnXn+1

predikcio φn egyutthatoi segıtsegevel.


Durbin-Levinson algoritmusTetel. Legyen {Xt} egy stacionarius idosor nulla varhato ertekkel es γ autokovariancia-fuggvennyel, melyre γ(0) > 0 es h→∞ eseten γ(h)→ 0. Ekkor a

PnXn+1 = φn1Xn + φn2Xn−1 + · · ·+ φnnX1

egyepeses predikcio φnj egyutthatoira es νn = E(Xn+1 − PnXn+1

)2negyzetes hibajara

teljesulnek az alabbi rekurzıv osszefuggesek.

φnn =

[γ(n)−

n−1∑j=1

φn−1,j γ(n − j)

]ν−1n−1, φn1

...φn,n−1

=

φn−1,1...

φn−1,n−1

− φnnφn−1,n−1...φn−1,1

,valamint

νn = νn−1[1− φ2nn

],

ahol φ11 = γ(1)/γ(0), ν0 = γ(0).Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 61 / 165

Bizonyıtas

Legyen

γn =(γ(1), γ(2), . . . , γ(n)

)>, γ(r)

n =(γ(n), γ(n − 1), . . . , γ(1)

)>,

φn =(φn1, φn2, . . . , φnn

)>φ(r)

n =(φnn, φn,n−1, . . . , φn1

)>.

Rekurzio: φ11 = γ(1)/γ(0), ν0 = γ(0),

φnn =[γ(n)−

(γ

(r)n−1

)>φn−1

]ν−1n−1,

(φn1, φn2, . . . , φn,n−1

)>= φn−1 − φnn φ

(r)n−1, νn = νn−1

[1− φ2

nn

].

1. lepes. A rekurzionak eleget tevo φn megoldasa a Γnφn =γn egyenletnek, ahol Γn =[γ(i−j)

]ni,j=1

.

Teljes indukcio. Mivel Γ1 =γ(0), γ1 =γ(1), φ1 =φ11, az n = 1 esetben teljesul az allıtas, azaz Γ1φ1 =γ1.

Legyen n = k, es tegyuk fel, hogy φk megoldasa a Γkφk = γk egyenletnek. Ekkor Γkφ(r)k = γ

(r)k is igaz.

Γk+1φk+1 =

[Γk γ

(r)k(

γ(r)k

)>γ(0)

] [φk − φk+1,k+1 φ

(r)k

φk+1,k+1

]=

[Γkφk − φk+1,k+1 Γkφ

(r)k + φk+1,k+1γ

(r)k(

γ(r)k

)>φk − φk+1,k+1 (γ

(r)k

)>φ

(r)k + γ(0)φk+1,k+1

]

=

[γk − φk+1,k+1γ

(r)k + φk+1,k+1γ

(r)k(

γ(r)k

)>φk − φk+1,k+1

[γ(0)− (γ

(r)k

)>φ

(r)k

]] =

[γk(

γ(r)k

)>φk − φk+1,k+1νk

]=

[γk

γ(k+1)

]= γk+1,

mivel νn = γ(0)− γ>n φn = γ(0)− (γ(r)n

)>φ(r)

n .


Bizonyıtas

Rekurzio: φ11 = γ(1)/γ(0), ν0 = γ(0),

φnn =[γ(n)−

(γ

(r)n−1

)>φn−1

]ν−1n−1,

(φn1, φn2, . . . , φn,n−1

)>= φn−1 − φnn φ

(r)n−1, νn = νn−1

[1− φ2

nn

].

2. lepes. A νn = E(Xn+1 − φ>n X n

)2negyzetes hibara teljesul, hogy ν0 = γ(0) es νn = νn−1

[1− φ2

nn

].

Mivel P0X1 := EX1 = 0, a kapcsolodo negyzetes hiba ν0 = E(X1 − 0

)2= Var(X1) = γ(0).

Mivel PnXn+1 = φ>n X n az Xn+1 negyzetes kozepben vett legjobb linearis becslese,

νn = γ(0)− φ>n γn = γ(0)−(φn1, φn2, . . . , φn,n−1

)>γn−1 − φnnγ(n)

= γ(0)− φ>n−1γn−1 + φnn

(φ

(r)n−1

)>γn−1 − φnnγ(n) = νn−1 − φnn

(γ(n)−

(φ

(r)n−1

)>γn−1

)= νn−1 − φ2

nnνn−1 = νn−1

[1− φ2

nn

].

�


Egylepeses predikcio altalanos idosor eseten{Xt}: idosor nulla varhato ertekkel es veges masodik momentummal, azaz EX 2

t <∞, t ∈ Z.

Negyzetes kozepben vett legjobb egylepeses linearis prediktor:

Xn+1 =

{0, ha n = 0,

PnXn+1, ha n = 1, 2, . . . ,ahol PnXn+1 =

n∑`=1

an`Xn+1−`.

Az egylepeses predikcio hibaja, innovacio: Un = Xn − Xn.

Matrixos alak: Un = AnX n, ahol Un = (U1,U2, . . . ,Un)>, X n = (X1,X2, . . . ,Xn)>, es

An =

1 0 0 · · · 0−a11 1 0 · · · 0−a22 −a21 1 · · · 0

......

.... . .

...−an−1,n−1 −an−1,n−2 −an−1,n−3 · · · 1

.An regularis. Ha {Xt} stacionarius, ak` = a`.


A prediktor kiszamıtasaEgylepeses predikcio-vektor: X n :=

(0,P1X2, . . . ,Pn−1Xn

)>.

Innovacio-vektor: Un = X n − X n = AnX n.

X n = X n−Un = CnUn−Un = ΘnUn = Θn

(X n−X n

), ahol Cn = A−1n , Θn = Cn−In,

Cn =

1 0 0 · · · 0θ11 1 0 · · · 0θ22 θ21 1 · · · 0

......

.... . .

...θn−1,n−1 θn−1,n−2 θn−1,n−3 · · · 1

, Θn =

0 0 0 · · · 0

θ11 0 0 · · · 0θ22 θ21 0 · · · 0

......

.... . .

...θn−1,n−1 θn−1,n−2 θn−1,n−3 · · · 0

.

Rekurzio az egylepeses prediktorra:

Xn+1 =

{0, ha n = 0,∑n

`=1 θn`(Xn+1−` − Xn+1−`

), ha n = 1, 2, . . . .

Szukseg van a θn` egyutthatokra. Rekurzıvan szamolhatoak.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 65 / 165

Innovacios algoritmusTetel. Legyen {Xt} egy idosor nulla varhato ertekkel es legyen κ(i , j) := E

(Xi ,Xj

), ahol a[

κ(i , j)]ni ,j=1

matrixrol feltesszuk, hogy tetszoleges n ∈ N eseten regularis. Ekkor az Xn+1

egylepeses prediktor es annak νn := E(Xn+1 − Xn+1

)2negyzetes hibaja a kovetkezokeppen

adhato meg:

Xn+1 =

{0, ha n = 0,∑n

`=1 θn`(Xn+1−` − Xn+1−`

), ha n = 1, 2, . . . ,

valamintν0 = κ(1, 1),

θn,n−k = ν−1k

(κ(n + 1, k + 1)−

∑k−1`=0 θk,k−` θn,n−` ν`

), k = 0, 1, . . . , n − 1,

νn = κ(n + 1, n + 1)−∑n−1

`=0 θ2n,n−` ν`.

Megjegyzes. Az θn` egyutthatokat es a νn hibat megado egyenleteknel a rekurzio:

ν0; θ11, ν1; θ22, θ21, ν2; θ33, θ32, θ31, ν3; . . . .


Kulonbsegek a ket algoritmus kozottDurbin-Levinson algoritmus: Az Xn+1 predikcioja az Xn,Xn−1, . . . ,X1 mult

Xn+1 =n∑`=1

φn`Xn+1−`

alaku linearis kombinacioja. Az algoritmus ennek a φn` egyutthatoit adja meg.

Innovacios algoritmus: Az Xn+1 predikcioja az Xn − Xn,Xn−1 − Xn−1, . . . ,X1 − X1 mult

Xn+1 =n∑`=1

θn`(Xn+1−` − Xn+1−`

)alaku linearis kombinacioja, ahol az Xn − Xn,Xn−1 − Xn−1, . . . ,X1 − X1 innovacok korrela-latlanok. Az algoritmus ennek a θn` egyutthatoit adja meg.

A θn0 = 1 valasztassal megadhato az Xn+1 reprezentacioja is az innovaciok fuggvenyekent:

Xn+1 = Xn+1 − Xn+1 + Xn+1 =n∑`=0

θn`(Xn+1−` − Xn+1−`

).


Pelda: MA(1) folyamat egylepeses predikcioja

Innovacios algoritmus: Xn+1 =∑n`=1 θn`

(Xn+1−` − Xn+1−`

), n = 1, 2, . . . , ahol

ν0 = κ(1, 1),

θn,n−k = ν−1k

(κ(n + 1, k + 1)−

∑k−1`=0 θk,k−` θn,n−` ν`

), k = 0, 1, . . . , n − 1,

νn = κ(n + 1, n + 1)−∑n−1`=0 θ

2n,n−` ν`.

MA(1) folyamat: Xt = Zt + θZt−1, t ∈ Z, ahol {Zt} ∼WN(0, σ2).

Kovarianciak: κ(i , i) = σ2(1 + θ2

); κ(i , i + 1) = σ2θ; κ(i , j) = 0, ha |i − j | > 1.

Rekurzio:

ν0 = σ2(1 + θ2), θn` = 0, ` = 2, 3, . . . , n,

θn1 = ν−1n−1σ

2θ, νn = σ2[1 + θ2 − ν−1n−1σ

2θ2].

Egylepeses prediktor:Xn+1 = θn1

(Xn − Xn

).


Pelda: MA(1) folyamat egylepeses predikcioja

Rekurzio: ν0 = σ2(1 + θ2

), θn` = 0, ` = 2, 3, . . . , n, θn1 = ν−1

n−1σ2θ, νn = σ2

[1 + θ2 − ν−1

n−1σ2θ2].

MA(1) folyamat egylepeses predikcioja: Xn+1 = θn1(Xn − Xn

). Negyzetes hiba: νn := E

(Xn+1 − Xn+1

)2.

MA(1) folyamat: Xt = Zt − 0.8Zt−1, t ∈ Z, ahol {Zt} ∼WN(0, 1).

ν0 = 1.6400,

θ11 = −0.4878, ν1 = 1.2498,

θ21 = −0.6401, θ22 = 0, ν2 = 1.1279,

θ31 = −0.7093, θ32 = 0, θ33 = 0, ν3 = 1.0726,

θ41 = −0.7459, θ42 = 0, θ43 = 0, θ44 = 0, ν4 = 1.0433.

Ha |θ| < 1, akkor n→∞ eseten θn1 → θ es νn → σ2.

Durbin-Levinson algoritmus: Xn+1 =∑n`=1 φn`Xn+1−`.

ν0 = 1.6400,

φ11 = −0.4878, ν1 = 1.2498,

φ21 = −0.6401, φ22 = −0.3123, ν2 = 1.1279,

φ31 = −0.7093, φ32 = −0.4540, φ33 = −0.2215, ν3 = 1.0726,

φ41 = −0.7459, φ42 = −0.5290, φ43 = −0.3386, φ44 = −0.1652, ν4 = 1.0433.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 69 / 165

Rekurzio a h-lepeses prediktorraPnXn+h: az Xn+h ortogonalis projekcioja az {Xn,Xn−1, . . . ,X1} altal felfeszıtett alterbe.

Pn

(Xn+k − Pn+k−1Xn+k

)= Pn

(Xn+k − Xn+k

)= 0, k ≥ 1.

Ezek alapjan

PnXn+h = PnPn+h−1Xn+h = PnXn+h = Pn

(n+h−1∑j=1

θn+h−1,j

(Xn+h−j − Xn+h−j

))

=n+h−1∑j=1

θn+h−1,jPn


)=

n+h−1∑j=h

θn+h−1,j


).

Negyzetes hiba:

E(Xn+h − PnXn+h

)2= EX 2

n+h − E(PnXn+h

)2= κ(n + h, n + h)−

n+h−1∑j=h

θ2n+h−1,jνn+h−j−1,

ahol κ(i , j) = EXiXj ismert, θn,j es νj az innovacios algoritmusbol szamolhato.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 70 / 165

Predikcio vegtelen multbolPm,nXn+h: az Xn+h legjobb predikcioja az Xm, . . . ,X0,X1, . . . ,Xn (m < 0) alapjan.

Nagy |m| eseten jol kozelıti az alabbi negyzetes kozepben vett hatarertek:

PnXn+h = l.i.m.m→∞

Pm,nXn+h.

Pn: az {Xt ,−∞ < t ≤ n} vegtelen multon alapulo predikcios operator.

{Xt}: stacionarius idosor 0 varhato ertekkel es ismert γ autokovariancia-fuggvennyel.

Normalegyenletek: E[(Xn+h − PnXn+h

)Xn+1−i

]= 0, i = 1, 2, . . . .

Lehetseges megoldasi mod, ha feltesszuk, hogy a predikcio linearis: PnXn+h =∞∑j=1

αjXn+1−j .

E

[(Xn+h −

∞∑j=1

αjXn+1−j

)Xn+1−i

]= 0 ⇐⇒

∞∑j=1

γ(i−j)αj = γ(h+i−1), i = 1, 2, . . . .

Az egyenletrendszer megoldasa meghatarozza a PnXn+h predikciot, ha a sor konvergens.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 71 / 165

Pelda: ARMA(1,1) folyamat

{Xt}: kauzalis, invertalhato ARMA(1,1) folyamat.

Xt − φXt−1 = Zt + θZt−1, ahol {Zt} ∼WN(0, σ2), φ+ θ 6= 0, |φ| < 1, |θ| < 1.

Kauzalitas: Xn+1 = Zn+1 + (φ+ θ)∞∑j=1

φj−1Zn+1−j . Invertalhatosag: Zn+1 = Xn+1− (φ+ θ)∞∑j=1

(−θ)j−1Xn+1−j .

E

[(Xn+1 − (φ+ θ)

∞∑j=1

(−θ)j−1Xn+1−j

)Xn+1−i

]= E

(Zn+1Xn+1−i

)= 0, i = 1, 2, . . . ,

azaz

PnXn+1 = (φ+ θ)∞∑j=1

(−θ)j−1Xn+1−j .

Az elozohoz hasonloan:

PnXn+1 = (φ+ θ)∞∑j=1

φj−1Zn+1−j .

Ezek alapjan Xn+1 − PnXn+1 = Zn+1, a predikcio negyzetes hibaja EZ 2n+1 = σ2.


Wold felbontasDefinıcio. Azt mondjuk, hogy az {Xt} idosor determinisztikus, ha E

(Xn+1 − PnXn+1

)2= 0,

ahol Pn az {Xt ,−∞ < t ≤ n} vegtelen multon alapulo predikcios operator.

Pelda.Xt = A cos(ωt) + B sin(ωt),

ahol ω ∈ (0, π), valamint A es B korrelalatlan valoszınusegi valtozok nulla varhato ertekkel es σ2 szoras-negyzettel.

Xn = (2 cosω)Xn−1 − Xn−2 = Pn−1Xn, n ∈ Z.

Az {Xt} stacionarius idosor determinisztikus.

Tetel (Wold felbontas). Ha {Xt} egy nem determinisztikus stacionarius idosor, akkor

Xt =∞∑j=0

ψjZt−j + Vt , ahol

1 ψ0 = 1,∑∞

j=0 ψ2j <∞,

2 {Zt} ∼WN(0, σ2),

3 Cov(Zs ,Vt) = 0, ∀ s, t ∈ Z,

4 Zt = PtZt , ∀ t ∈ Z,

5 Vt = PsVt , ∀ s, t ∈ Z,

6 {Vt} determinisztikus.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 73 / 165

ARMA(p, q) folyamatok

Definıcio. {Xt} egy ARMA(p,q) folyamat, ha stacionarius es tetszoleges t ∈ Z eseten

Xt − φ1Xt−1 − · · · − φpXt−p = Zt + θ1Zt−1 + · · ·+ θqZt−q, ahol {Zt} ∼WN(0, σ2),

valamint a Φ(z) = 1− φ1z − · · · − φpzp es Θ(z) = 1 + θ1z + · · ·+ θqzq polinomoknak

nincs kozos gyoke.

{Xt} egy µ varhato erteku ARMA(p, q) folyamat, ha {Xt − µ} egy ARMA(p, q) folyamat.

Operatoralak a B visszaleptetes operator segıtsegevel:

Φ(B)Xt = Θ(B)Zt .

{Xt} egy p-edrendu autoregresszıv folyamat (AR(p) folyamat), ha Θ(z) ≡ 1.

{Xt} egy q-adrendu mozgoatlag folyamat (MA(q) folyamat), ha Φ(z) ≡ 1.


Stacionarius megoldasAz ARMA(1,1) folyamatnak pontosan akkor letezik stacionarius megoldasa, ha φ1 6= ±1.

Ekvivalens feltetel: Φ(z) = 1− φ1z 6= 0, ha z = ±1.

Allıtas. A Φ(B)Xt = Θ(B)Zt ARMA egyenletnek pontosan akkor letezik egy {Xt} stacio-narius megoldasa (ami egyertelmu megoldas), ha

Φ(z) = 1− φ1z − · · · − φpzp 6= 0, ha |z | = 1,

azaz a Φ(z) polinomnak nincs gyoke a komplex egysegkoron.

Bizonyıtas. Ha |z | = 1 eseten Φ(z) 6= 0, a gyoktenyezos felbontas miatt letezik δ > 0, melyre

1

Φ(z)=

∞∑j=−∞

χjzj , 1− δ < |z | < 1 + δ, valamint

∞∑j=−∞

|χj | <∞.

1/Φ(B) egy linearis szuro abszolut szummabilis egyutthatokkal: X (B) := 1/Φ(B) =∑∞

j=−∞ χjBj .

Xt = X (B)Φ(B)Xt = X (B)Θ(B)Zt = Ψ(B)Zt =∞∑

j=−∞

ψjZt−j , ahol Ψ(z) = X (z)Θ(z) =∞∑

j=−∞

ψjzj .

Egyertelmuseg igazolasa ugyanaz, mint az ARMA(1,1) eseten. �Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 76 / 165

KauzalitasDefinıcio. Az {Xt} ARMA(p, q) folyamat kauzalis, vagy a {Zt} zaj kauzalis fuggvenye, haletezik olyan {ψt} sorozat, melyre

∑∞j=0 |ψj | <∞ es

Xt =∞∑j=0

ψjZt−j , t ∈ Z.

Az ARMA(1,1) folyamat pontosan akkor kauzalis, ha |φ1| < 1.

Ekvivalens feltetel: Φ(z) = 1− φ1z 6= 0, ha |z | ≤ 1.

Allıtas. A Φ(B)Xt = Θ(B)Zt egyenlettel definialt {Xt} ARMA folyamat pontosan akkorkauzalis, ha

Φ(z) = 1− φ1z − · · · − φpzp 6= 0, ha |z | ≤ 1,

azaz a Φ(z) polinom gyokei kıvul esnek a komplex egysegkoron.

Bizonyıtas. Az 1/Φ(z) gyoktenyezos felbontasanak tagjai A/(1− αz)r alakuak. A feltetel mellett ezek mind-

egyikere teljesul, hogy |α| < 1. �


Az egyutthatok meghatarozasaARMA (p, q) folyamat:

Φ(B)Xt = Θ(B)Zt , ahol Φ(z) = 1− φ1z − · · · − φpzp, Θ(z) = 1 + θ1z + · · ·+ θqzq.

Kauzalis reprezentacio: .

Xt =Ψ(B)Zt , ahol Ψ(z) =∞∑j=0

ψjzj = Θ(z)/Φ(z) ⇐⇒ Φ(z)Ψ(z) = Θ(z), azaz

(1− φ1z − · · · − φpzp

)(ψ0 + ψ1z + ψ2z

2 + · · ·)

= 1 + θ1z + · · ·+ θqzq.

Egyenlove teve a z j , j = 0, 1, , 2 . . . , egyutthatoit:

1 = ψ0, θ1 = ψ1 − ψ0φ1, θ2 = ψ2 − ψ1φ1 − ψ0φ2, · · · ,

azaz

ψj −p∑

k=1

φkψj−k = θj , j = 0, 1, 2, . . . ,

ahol θ0 := 1, θj := 0 ha j > q, es ψj := 0, ha j < 0.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 78 / 165

InvertalhatosagDefinıcio. Az {Xt} ARMA(p, q) folyamat invertalhato, ha letezik olyan {πt} sorozat,melyre

∑∞j=0 |πj | <∞ es

Zt =∞∑j=0

πjXt−j , t ∈ Z.

Allıtas. A Φ(B)Xt = Θ(B)Zt egyenlettel definialt {Xt} ARMA folyamat pontosan akkorinvertalhato, ha

Θ(z) = 1 + θ1z + · · ·+ θqzq 6= 0, ha |z | ≤ 1,

azaz a Θ(z) polinom gyokei kıvul esnek a komplex egysegkoron.

Az egyutthatok meghatarozasa:

πj +

q∑k=1

θkπj−k = φj , j = 0, 1, 2, . . . ,

ahol φ0 := −1, φj := 0 ha j > p, es πj := 0, ha j < 0.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 79 / 165

Az autokovariancia-fuggveny meghatarozasa: MA(∞) reprezentacio{Xt} kauzalis ARMA (p, q) folyamat:

Φ(B)Xt = Θ(B)Zt , {Zt} ∼WN(0, σ2),

ahol Φ(z) = 1− φ1z − · · · − φpzp, Θ(z) = 1 + θ1z + · · ·+ θqzq.

MA(∞) eloallıtas:

Xt =∞∑j=0

ψjZt−j , ahol∞∑j=0

ψjzj = Θ(z)/Φ(z), |z | ≤ 1.

Az autokovariancia-fuggveny (ACVF) az MA(∞) reprezentacio alapjan:

γ(h) = E(Xt+hXt

)= σ2

∞∑j=0

ψjψj+|h|.


Pelda. ARMA(1,1) folyamat

Kauzalis ARMA(1,1) folyamat: Xt − φXt−1 = Zt + θZt−1, ahol {Zt} ∼WN(0, σ2), |φ| < 1.


γ(0) = σ2∞∑j=0

ψ2j = σ2

[1 + (φ+ θ)2

∞∑j=0

φ2j

]= σ2

[1 +

(φ+ θ)2

1− φ2

].

γ(1) = σ2∞∑j=0

ψj+1ψj = σ2

[φ+ θ + (φ+ θ)2φ

∞∑j=0

φ2j

]= σ2

[φ+ θ +

(φ+ θ)2φ

1− φ2

].

γ(h) = φh−1γ(1), h ≥ 2.

Pelda. MA(q) folyamat

MA(q) folyamat: Xt = Zt + θ1Zt−1 + · · ·+ θqZt−q, ahol {Zt} ∼WN(0, σ2).


γ(h) =

{σ2∑q−|h|

j=0 θjθj+|h|, ha |h| ≤ q,

0, ha |h| > q,ahol θ0 := 1.


Az autokovariancia-fuggveny meghatarozasa: differenciaegyenlet-rendszerARMA (p, q) egyenlet:

Xt − φ1Xt−1 − · · · − φpXt−p = Zt + θ1Zt−1 + · · ·+ θqZt−q, ahol {Zt} ∼WN(0, σ2).

Mindket oldal szorzoja: Xt−k =∑∞

j=0 ψjZt−k−j , k = 0, 1, 2, . . . . Varhato ertek:

γ(k)− φ1γ(k − 1)− · · · − φpγ(k − p) = σ2∞∑j=0

θk+jψj , 0 ≤ k < m, (3)

γ(k)− φ1γ(k − 1)− · · · − φpγ(k − p) = 0, k ≥ m, (4)

ahol m = max{p, q + 1}, ψj := 0 ha j < 0, θ0 := 1, es θj := 0 ha j /∈ {0, 1, . . . , q}.

A (4) homogen linearis differenciaegyenlet-rendszer altalanos megoldasa:

γ(h) =∑i=1

ri−1∑j=0

αijhjξ−hi , h ≥ m − p,

ξi : a Φ(z) = 1− φ1z − · · · − φpzp polinom gyoke ri multiplicitassal, i = 1, 2, . . . , `.

αij egyutthatok, γ(0), . . . , γ(m−p−1) autokovarianciak a (3) kezdeti ertekekbol.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 82 / 165


γ(k)− φ1γ(k − 1)− · · · − φpγ(k − p) = σ2∞∑j=0

θk+jψj , 0 ≤ k < m,

γ(k)− φ1γ(k − 1)− · · · − φpγ(k − p) = 0, k ≥ m,

ahol m = max{p, q + 1}, ψj := 0, ha j < 0, θ0 := 1, es θj := 0, ha j /∈ {0, 1, . . . , q}.

Kauzalis ARMA(1,1) folyamat: Xt − φXt−1 = Zt + θZt−1, |φ| < 1, ψ0 = 1, ψj = (φ+ θ)φj−1, j = 1, 2, . . . .

Kezdeti ertekek:γ(0)− φγ(1) = σ2(1 + θ(φ+ θ)

), γ(1)− φγ(0) = σ2θ.

Differenciaegyenlet:γ(k)− φγ(k − 1) = 0, k ≥ 2.

Megoldas:γ(h) = αφh, h ≥ 1.

Egyenletek az α konstansra es a γ(0) szorasnegyzetre:

γ(0)− αφ2 = σ2(1 + θ(φ+ θ)), αφ− φγ(0) = σ2θ.

Megoldas:

γ(0) = σ2

[1 +

(φ+ θ)2

1− φ2

], α =

σ2

φ

[φ+ θ +

(φ+ θ)2φ

1− φ2

].


Pelda. AR(2) folyamat

γ(k)− φ1γ(k − 1)− · · · − φpγ(k − p) = σ2∞∑j=0

θk+jψj , 0 ≤ k < m,

γ(k)− φ1γ(k − 1)− · · · − φpγ(k − p) = 0, k ≥ m,

ahol m = max{p, q + 1}, ψj := 0, ha j < 0, θ0 := 1, es θj := 0, ha j /∈ {0, 1, . . . , q}.

Kauzalis AR(2) folyamat:(1− ξ−1

1 B)(

1− ξ−12 B

)Xt = Zt , |ξ1|, |ξ2| > 1, ξ1 6= ξ2.

Hagyomanyos parameterezes: Xt − φ1Xt−1 − φ2Xt−2 = Zt , ahol φ1 = ξ−11 + ξ−1

2 , φ2 = −ξ−11 ξ−1

2 .

Kezdeti ertekek:γ(0)− φ1γ(1)− φ2γ(2) = σ2, γ(1)− φ1γ(0)− φ2γ(1) = 0.

Differenciaegyenlet:γ(k)− φ1γ(k − 1)− φ2γ(k − 2) = 0, k ≥ 2.

Megoldas:

γ(h) = α1ξ−h1 + α2ξ

−h2 =

σ2ξ21ξ22

(ξ1ξ2 − 1)(ξ2 − ξ1)

[(ξ21 − 1)−1ξ1−h

1 − (ξ22 − 1)−1ξ1−h2

], h ≥ 0.

Komplex konjugalt gyokok: ξ1 = reiω, ξ2 = re−iω.

γ(h) =σ2r 4−h sin(hω + ψ)

(r 2 − 1)(r 4 − 2r 2 cos 2ω + 1) sinω, tanψ =

r 2 + 1

r 2 − 1tanω.


Parcialis autokorrelacio-fuggvenyDefinıcio. Egy {Xt} stacionarius folyamat parcialis autokorrelacio-fuggvenye (PACF)

α(0) = 0, α(1) = Corr(X2,X1) = %(1),

α(k) = Corr(Xk+1 − P(Xk+1 | X2,X3, . . . ,Xk),X1 − P(X1 | X2,X3, . . . ,Xk)

), k ≥ 2,

ahol P(Xk+1 | X2,X3, . . . ,Xk) es P(X1 | X2,X3, . . . ,Xk) rendre az Xk+1 es X1 projek-cioja az {X2,X3, . . . ,Xk} altal felfeszıtett alterre.

Tetel. Egy {Xt} stacionarius folyamat parcialis autokorrelacio-fuggvenye

α(0) = 0, α(h) = φhh, h ≥ 1,

ahol φhh a φn = Γ−1h γh vektor utolso komponense, valamint Γh =[γ(i − j)

]hi ,j=1

es

γh =(γ(1), γ(2), . . . , γ(h)

)>.

Megjegyzes. φhh a PhXh+1 = φh1Xh + φh2Xh−1 + · · ·+ φhhX1 egylepeses predikcional azX1 egyutthatoja.


Pelda. AR(p) folyamat

Kauzalis AR(p) folyamat: Xt − φ1Xt−1 − · · · − φpXt−p = Zt , {Zt} ∼WN(0, σ2).

Az Xh+1 legjobb linearis predikcioja az {X1,X2, . . . ,Xh} alapjan (h > p):

Xh+1 = φ1Xh + φ2Xh−1 + · · ·+ φpXh+1−p.

Az {Xt} AR(p) folyamat parcialis autokorrelacio-fuggvenye:

α(p) = φp, α(h) = 0, ha h > p.

Pelda. MA(1) folyamat

Invertalhato MA(1) folyamat: Xt = Zt + θZt−1, {Zt} ∼WN(0, σ2), |θ| < 1.

Autokorrelacio-fuggveny: %(0) = 1, %(1) = θ/(1 + θ2), %(h) = 0, ha h > 1.

Az {Xt} MA(1) folyamat parcialis autokorrelacio-fuggvenye:

α(1) =θ

1 + θ2, α(2) = − θ2

1 + θ2 + θ4= −θ

2(1− θ2)

1− θ6 ,

altalanosan

α(h) = − (−θ)h

1 + θ2 + · · ·+ θ2h= − (−θ)h(1− θ2)

1− θ2(h+1), h ≥ 1.


ARMA folyamatok predikcioja{Xt} kauzalis ARMA (p, q) folyamat: Φ(B)Xt = Θ(B)Zt , {Zt} ∼WN(0, σ2).

Innovacios algoritmus: rekurzıv eljaras a nulla varhato erteku es veges szorasnegyzetu idoso-rok egylepeses predikciojara. Szukseges az autokovarianciak ismerete.

Az {Xt} helyett alkalmazzuk a kovetkezo folyamatra:

Wt =

{σ−1Xt , t = 1, 2, . . . ,m,

σ−1Φ(B)Xt , t > m,ahol m = max(p, q).

Jeloles: θ0 := 1, θj := 0, j > q. Felteheto, hogy p ≥ 1, q ≥ 1.

γX : az {Xt} autokovariancia-fuggvenye.

κ(i , j)=E(Wi ,Wj)=

σ−2γX (i−j), 1≤ i , j≤m

σ−2[γX (i−j)−

∑p`=1 φ`γX (`−|i−j |)

], min(i , j)≤m<max(i , j)≤2m,∑q

`=0 θ`θ`+|i−j |, min(i , j)>m,

0, egyebkent.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 87 / 165

Innovacios algoritmus a transzformalt folyamatra{Xt} kauzalis ARMA (p, q) folyamat: Φ(B)Xt = Θ(B)Zt , {Zt} ∼WN(0, σ2).

Wt =

{σ−1Xt , t = 1, 2, . . . ,m,

σ−1[Xt − φ1Xt−1 − · · · − φpXt−p

], t > m,

ahol m = max(p, q).

Innovacios algoritmus: Wn+1 =

{∑nj=1 θnj(Wn+1−j − Wn+1−j), 1 ≤ n < m,∑qj=1 θnj(Wn+1−j − Wn+1−j), n ≥ m.

θnj es rn = E(Wn+1 − Wn+1)2 negyzetes hiba az innovacios algoritmusbol.

Xn [Wn], n ≥ 1, felırhato a Wj [Xj ], 1 ≤ j ≤ n, linearis kombinaciojakent.

Az {X1,X2, . . . ,Xn} es {W1,W2, . . . ,Wn} alterekre vett PXn es PW

n projekciok megegyeznek.

Wn+1 = PnWn+1, Xn+1 = PnXn+1, ahol Pn = PXn = PW

n .

Wt =

{σ−1Xt , t=1, 2, . . . ,m,

σ−1[Xt−φ1Xt−1− · · · −φpXt−p

], t>m,

=⇒ Xt−Xt =σ[Wt−Wt

], t≥1.


Innovacios algoritmus az ARMA (p, q) folyamatraInnovacios algoritmus a {Wt} traszformalt folyamatra:

Wn+1 =

{∑nj=1 θnj(Wn+1−j − Wn+1−j), 1 ≤ n < m,∑qj=1 θnj(Wn+1−j − Wn+1−j), n ≥ m,

rn = E(Wn+1 − Wn+1)2.

Innovaciok kapcsolata: Xt − Xt = σ[Wt − Wt

], t ≥ 1.

Predikciok kapcsolata:

Wt =

{σ−1Xt , t = 1, 2, . . . ,m,

σ−1[Xt − φ1Xt−1 − · · · − φpXt−p

], t > m.

Innovacios algoritmus az {Xt} ARMA (p, q) folyamatra:

Xn+1 =

{∑nj=1 θnj(Xn+1−j − Xn+1−j), 1 ≤ n < m,

φ1Xn + · · ·+ φpXn+1−p +∑q

j=1 θnj(Xn+1−j − Xn+1−j), n ≥ m.

Negyzetes hiba: E(Xn+1 − Xn+1)2 = σ2E(Wn+1 − Wn+1)2 = σ2rn.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 89 / 165

Peldak

Xn+1 =

{∑nj=1 θnj(Xn+1−j − Xn+1−j), 1 ≤ n < m,

φ1Xn + · · ·+ φpXn+1−p +∑q

j=1 θnj(Xn+1−j − Xn+1−j), n ≥ m.

MA(q) folyamat elorejelzese

Egylepeses predikcio az ARMA(1, q) folyamatra φ1 = 0 mellett (m = q).

Xn+1 =

min(n,q)∑j=1

θnj(Xn+1−j − Xn+1−j), n ≥ 1.

θnj : innovacios algoritmus a {Wt} segedfolyamat κ(i , j) kovarianciai segıtsegevel. Wt = σ−1Xt , t ≥ 1.

κ(i , j) = σ−1γX (i − j) =

q−|i−j|∑`=0

θ`θ`+|i−j|.

AR(p) folyamat elorejelzese

Egylepeses predikcio az ARMA(p, 0) folyamatra (m = p).

Xn+1 = φ1Xn + · · · −+φpXn+1−p, n ≥ p.


Pelda. ARMA(1, 1) folyamat

Kauzalis ARMA(1, 1) folyamat:

Xt − φXt−1 = Zt + θZt−1, {Zt} ∼WN(0, σ2), |θ| < 1.

Egylepeses predikcio:Xn+1 = φXn + θn1(Xn − Xn), n ≥ 1.

Autokovarianciak:

γ(0) = σ2

[1 +

(φ+ θ)2

1− φ2

], γ(1) = σ2

[φ+ θ +

(φ+ θ)2φ

1− φ2

].

A {Wt} segedfolyamat kovarianciai:

κ(i , j) =

(1 + 2θφ+ θ2)/(1− φ2), i = j = 1,

1 + θ2, i = j ≥ 2,

θ, |i − j | = 1, i ≥ 1,

0, egyebkent.

Az innovacios algoritmus rekurzioi:

r0 = (1 + 2θφ+ θ2)/(1− φ2), θn1 = θ/rn−1, rn = 1 + θ2 − θ2/rn−1.


Spektalis surusegfuggveny{Xt}: nulla varhato erteku stacionarius idosor abszolut szummabilis γ autokovarianca-fugg-vennyel, azaz

∑∞h=−∞

∣∣γ(h)∣∣ <∞.

Az {Xt} spektralis surusegfuggvenye

f (λ) =1

2π

∞∑h=−∞

e−ihλγ(h), −∞ < λ <∞, ahol eiλ = cos(λ) + i sin(λ).

A spektralis surusegfuggvenyt definialo sor konvergens. Az f fuggvenyt elegendo a ]− π, π]intervallumon vizsgalni.

Tulajdonsagoka) f paros, azaz f (λ) = f (−λ).

b) Tetszoleges λ ∈ [−π, π] eseten f (λ) ≥ 0.

c) γ(h) =∫ π−π e

ihλf (λ)dλ =∫ π−π cos(hλ)f (λ)dλ.


Bizonyıtas

sin(h) paratlan, cos(h) es γ(h) paros fuggveny.

f (−λ) =1

2π

∞∑h=−∞

[cos(−hλ) + i sin(−hλ)

]γ(−h) =

1

2π

∞∑h=−∞

[cos(hλ) + i sin(hλ)

]γ(h) = f (λ).

Tetszoleges N ∈ N eseten legyen

fN(λ) =1

2πNE

(∣∣∣ N∑`=1

X`e−i`λ

∣∣∣2) =1

2πNE

( N∑`=1

X`e−i`λ

N∑k=1

Xkeikλ)

=1

2πN

∑|h|<N

(N − |h|

)e−ihλγ(h).

Az osszegzesi tartomany szimmetriaja miatt fN(λ) ≥ 0, N ∈ N.

limN→∞

fN(λ) =1

2π

∞∑h=−∞

e−ihλγ(h) = f (λ) =⇒ f (λ) ≥ 0.

∫ π

−πeikλf (λ)dλ =

∫ π

−π

1

2π

∞∑h=−∞

ei(k−h)λγ(h)dλ =1

2π

∞∑h=−∞

γ(h)

∫ π

−πei(k−h)λdλ = γ(k),

mivel ∫ π

−πei(k−h)λdλ =

{2π, ha h = k,

0, egyebkent. �Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 94 / 165

A spektralis surusegfuggveny altalanos definıciojaDefinıcio. Az f fuggveny spektralis surusegfuggvenye egy γ autokovariancia-fuggvennyelrendelkezo {Xt} stacionarius idosornak, ha eleget tesz a kovetkezo ket feltetelnek.

(i) Tetszoleges λ ∈]− π, π] eseten f (λ) ≥ 0.(ii) γ(h) =

∫ π−π e

ihλf (λ)dλ, h ∈ Z.

Megjegyzesek.1 A fenti definıcio nem koveteli meg a γ(h) autokovarianciak abszolut szummabilitasat.2 A γ autokovariancia-fuggveny az f (λ) Fourier-transzformaltja. A Fourier-transzformalt

egyertelmusege miatt a spektralis surusegfuggveny egyertelmu.

Pelda. Feher zaj

Ha {Xt} ∼WN(0, σ2), akkor γ(0) = σ2 es γ(h) = 0 ha h 6= 0.

f (λ) =σ2

2π, −π ≤ λ ≤ π, mivel

∫ π

−πeihλdλ =

{2π, ha h = 0,

0, egyebkent.

A spektrum minden egyes λ frekvenciaja azonos mertekben jarul hozza a folyamat varianciajahoz. A feher

fenyrol felteteleztek (tevesen), hogy a lathato tartomany minden szıne ugyanolyan intenzitassal van benne a

spektrumaban (a spektrum konstans).Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 95 / 165

A spektralis surusegfuggveny karakterizalasaAllıtas. Az f :]− π, π]→ R pontosan akkor spektralis surusegfuggvenye valamely valos er-teku stacionarius folyamatnak, ha

(i) f (λ) = f (−λ),(ii) f (λ) ≥ 0,(iii)

∫ π−π f (λ)dλ <∞.

Bizonyıtas. Ha γ(h) abszolut szummabilis, akkor (i) – (iii) kovetkezik az f (λ) igazolt tulajdonsagaibol. Azaltalanos eset kijon az inverz Fourier-transzformalt tulajdonsagaibol.

Tegyuk fel, hogy az f (λ) fuggvenyre teljesul (i) – (iii) es legyen

γ(h) =

∫ π

−πeihλf (λ)dλ.

(i) miatt γ(−h) = γ(h), azaz γ paros fuggveny. Legyen ar ∈ R, r = 1, 2, . . . , n. Ekkorn∑

r,s=1

arγ(r − s)as =

∫ π

−π

n∑r,s=1

arasei(r−s)λf (λ)dλ =

∫ π

−π

∣∣∣∣ n∑r=1

areirλ

∣∣∣∣2f (λ)dλ ≥ 0,

azaz γ nemnegatıv definit. Igy γ valamely stacionarius folyamat autokovariancia-fuggvenye, aminek f a

spektralis surusegfuggvenye. �Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 96 / 165

Az autokovariancia-fuggveny karakterizaciojaKovetkezmeny. Egy γ(h) abszolut szummabilis fuggveny pontosan akkor autokovariancia-fuggvenye valamely stacionarius idosornak, ha paros es tetszoleges λ ∈ ]− π, π] eseten

f (λ) =1

2π

∞∑h=−∞

e−ihλγ(h) ≥ 0.

Ebben az esetben az f fuggveny a γ spektralis surusegfuggvenye.

Pelda. Legyen

κ(h) =

1, ha h = 0,

%, ha h = ±1,

0, egyebkent.

κ paros es

f (λ) =1

2π

∞∑h=−∞

e−ihλκ(h) =1

2π

[1 + %

(eiλ + e−iλ)] =

1

2π

[1 + 2% cos(λ)

].

f (λ) pontosan akkor nemnegatıv minden λ ∈ ]− π, π] eseten, ha |%| ≤ 1/2. κ pontosan akkor autokovari-

ancia-fuggvenye valamely stacionarius idosornak, ha |%| ≤ 1/2.


Spektralis reprezentacioTetel. (Az ACVF spektralis reprezentacioja) Egy az egesz szamokon ertelmezett γ fuggvenypontosan akkor autokovariancia-fuggvenye valamely stacionarius idosornak, ha letezik olyan a[−π, π] intervallumon ertelmezett monoton novekvo, jobbrol folytonos es korlatos F fugg-veny, melyre F (−π) = 0 es tetszoleges h ∈ Z eseten

γ(h) =

∫[−π,π]

eihλdF (λ).

Az F fuggvenyt a γ spektralis eloszlasfuggvenyenek nevezzuk.

Megjegyzesek.1 F altalanosıtott eloszlasfuggveny a [−π, π] intervallumon abban az ertelemben, hogy

G (λ) = F (λ)/F (π) eloszlasfuggveny a [−π, π] intervallumon.2 F (π) = γ(0) = Var(X1), ıgy az {Xt} idosor % autokorrelacio-fuggvenyenek spektralis

reprezentacioja

%(h) =

∫[−π,π]

eihλdG (λ).


Folytonos es diszkret spektrumF a γ autokovariancia-fuggveny spektralis eloszlasfuggvenye: γ(h) =

∫[−π,π] e

ihλdF (λ).

Definıcio. Ha letezik olyan a [−π, π] intervallumon definialt f fuggveny, melyre

F (λ) =

∫ λ

−πf (y)dy , λ ∈ [−π, π],

akkor az idosor spektruma folytonos, f pedig az idosor spektralis surusegfuggvenye.

Ha F egy diszkret altalanosıtott eloszlasfuggveny, azaz G (λ) = F (λ)/F (π) egy diszkreteloszlasfuggveny, akkor azt mondjuk, hogy az idosor spektruma diszkret.

Pelda. A, B: korrelalatlan standardizalt valoszınusegi valtozok, E(A) = E(B) = 0, Var(A) = Var(B) = 1.

Xt = A cos(ωt) + B sin(ωt).

{Xt} stacionarius, autokovariancia-fuggvenye γ(h) = cos(ωh).

γ(h) = cos(ωh) =

∫[−π,π]

eihλdF (λ), ahol F (λ) =

0, ha λ < −ω,

0.5, ha −ω ≤ λ < ω,

1, ha λ ≥ ω.{Xt} spektruma diszkret.


Pelda: Kauzalis AR(1) folyamat

Xt = φXt−1 + Zt , t ∈ Z, {Zt} ∼WN(0, σ2), |φ| < 1.

Autokovariancia-fuggveny: γ(h) = σ2φ|h|

1−φ2 .

Spektralis surusegfuggveny:

f (λ)=σ2

2π(1−φ2)

[1 +

∞∑h=1

φh(eihλ+e−ihλ)]=σ2

2π(1−φ2)

[1 +

φeiλ

1−φeiλ +φe−iλ

1−φe−iλ

]=σ2

2π

[1−2φ cos(λ) +φ2]−1

.

Pelda: MA(1) folyamat

Xt = Zt + θZt−1, t ∈ Z, {Zt} ∼WN(0, σ2).

Autokovariancia-fuggveny: γ(h) =

σ2(1 + θ2), ha h = 0,

σ2θ, ha h = ±1,

0, ha |h| > 1.Spektralis surusegfuggveny:

f (λ)=σ2

2π

[1 + θ2 + θ

(eiλ + e−iλ)] =

σ2

2π

[1 + 2θ cos(λ) + θ2

].


Fourier-frekvenciak{Xt} stacionarius idosor. A γ autokovariancia-fuggveny az f spektralis surusegfuggvenyFourier-transzformaltja. f a γ inverz Fourier-transzformaltja.

γ: az {Xt} idosor {x1, x2, . . . , xn} megfigyeleseibol kapott tapasztalati autokovariancia-fuggveny. A γ tapasztalati megfeleloje.

Cel: Adjuk meg a f (λ) tapasztalati megfelelojet az {x1, x2, . . . , xn} segıtsegevel.

Az n mintaelemszamhoz tartozo Fourier-frekvenciak:

ωk =2πk

n∈ ]− π, π], k = −

⌊n − 1

2

⌋, . . . ,

⌊n2

⌋, ahol bac := max{n ∈ Z, n ≤ a}.

ω = 2πn : alapfrekvencia ( 1n Hz, 2π

n rad/s); 0 = 0 · ω: DC komponens;

ωk = k · ω, k 6= 0, 1: felharmonikusok.

ek :=1√n

[eiωk , e2iωk , . . . , eniωk

]> ∈ Cn, k = −⌊n − 1

2

⌋, . . . ,

⌊n2

⌋.{

ek

}: a Cn ortonormalt bazisa, eke` = 1 ha k = ` es 0 egyebkent (a: a konjugaltja).


Diszkret Fourier-transzformaltCn ortonormalt bazisa:

ek :=1√n

[eiωk , e2iωk , . . . , eniωk

]> ∈ Cn, ωk =2πk

n, k = −

⌊n − 1

2

⌋, . . . ,

⌊n2

⌋.

x =[x1, x2, . . . , xn

]>∈ Cn reprezentacioja x =

bn/2c∑k=−b(n−1)/2c

akek ; ak =ekx =1√n

n∑t=1

xte−itωk .

Definıcio. Az{ak}

sorozatot az{x1, x2, . . . , xn

}sorozat diszkret Fourier-transzformalt-

janak nevezzuk.

Megjegyzes.

xt =

bn/2c∑k=−b(n−1)/2c

ak[

cos(ωkt) + i sin(ωkt)], t = 1, 2, . . . , n.

xt a DC komponens (konstans), valamint az alapfrekvenciaju, es a felharmonikusokhoz tarto-zo szinusz hullamok linearis kombinacioja.


PeriodogramDefinıcio. Az {x1, x2, . . . , xn} minta periodogramja

In(λ) =1

n

∣∣∣∣ n∑t=1

xte−itλ

∣∣∣∣2.Megjegyzes. Ha λ = ωk = 2πk/n, akkor In(ωk) = |ak |2. Ezek alapjan

‖x‖2 =n∑

t=1

|xt |2 = xx =

bn/2c∑k=−b(n−1)/2c

|ak |2 =

bn/2c∑k=−b(n−1)/2c

In(ωk).

In(ωk): megadja, hogy az ωk frekvenciahoz tartozo Fourier-komponens mennyivel jarulhozza az ‖x‖2 ertekehez.

Parseval egyenloseg:

‖x‖2 =

bn/2c∑k=−b(n−1)/2c

|ak |2.


PeriodogramA γ autokovariancia-fuggveny es f spektralis surusegfuggveny kapcsolata:

2πf (λ) =∞∑

h=−∞γ(h)e−ihλ, λ ∈ [−π, π], ha

∞∑h=−∞

∣∣γ(h)∣∣ <∞.

Allıtas. Legyenek x1, x2, . . . , xn tetszoleges valos szamok es legyen ωk egy tetszoleges2πk/n ∈ ]− π, π] alaku nem nulla Fourier-frekvencia. Ekkor

In(ωk) =∑|h|<n

γ(h)e−ihωk ,

ahol γ az x1, x2, . . . , xn tapasztalati autokovariancia-fuggvenye.

Bizonyıtas. Ha ωk 6= 0, az ortogonalitas miatt∑n

t=1 e−itωk = eke0 = 0. Igy

In(ωk) =1

n

∣∣∣∣ n∑t=1

xte−itωk

∣∣∣∣2 =1

n

∣∣∣∣ n∑t=1

(xt − x

)e−itωk

∣∣∣∣2 =1

n

n∑s=1

n∑t=1

(xs − x

)(xt − x

)e−i(s−t)ωk =

∑|h|<n

γ(h)e−ihωk .

�Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 104 / 165

A spektralis surusegfuggveny becslese

2πf (λ) =∞∑

h=−∞γ(h)e−ihλ, λ ∈ [−π, π] es In(ωk) =

∑|h|<n

γ(h)e−ihωk , ωk =2πk

n6=0.

In(λ)/(2π): az f (λ) spektralis surusegfuggveny termeszetes becslese lehet.

Stacionarius idosorok eleg nagy csaladjara igazolhato, hogy rogzıtett 0<λ1< · · ·<λm<πfrekvenciakra

limn→∞

P(In(λ1)<x1, . . . , In(λm)<xm

)=

{∏m`=1

(1− exp

{−x`

2πf (λ`)

}), ha x1, . . . , xm>0,

0, egyebkent.(In(λ1), . . . , In(λm)

)>hatareloszlasa: fuggetlen exponencialis eloszlasok szorzata.

A hatareloszlas varhato ertek vektora:(2πf (λ1), . . . , 2πf (λm)

)>.

Problema. A becsles nem konzisztens. Tetszoleges λ ∈]0, π[ es ε > 0 eseten

limn→∞

P(∣∣In(λ)− 2πf (λ)

∣∣ > ε)

= p > 0.


A periodogram simıtasaAlapelv. Adott λ eseten atlagoljuk a periodogram ertekeket a λ kornyeki frekvenciakon.

Definıcio. Az f (λ) spektralis surusegfuggveny diszkret spektralis atlagolasu becslese

f (λ) =1

2π

∑|j |≤mn

Wn(j)In(g(n, λ) + 2πj/n

),

ahol a g(n, λ) a λ ertekehez legkozelebbi felharmonikus (az ω = 2π/n alapfrekvenciatobbszorose), az mn savszelessegre teljesul, hogy n→∞ eseten mn →∞ es mn/n→ 0,a Wn sulyfuggvenyek pedig szimmetrikus valoszınusegi eloszlast alkotnak, azaz

Wn(j) = Wn(−j), Wn(j) ≥ 0, j = −mn,−mn + 1, . . . ,mn,∑|j |≤mn

Wn(j) = 1,

valamint ∑|j |≤mn

W 2n (j)→ 0, ha n→∞.


Konzisztencia

Tetel. Legyen {Xt} egy linearis folyamat, azaz

Xt =∞∑

j=−∞ψjZt−j , {Zt} ∼ IID(0, σ2),

∞∑j=−∞

|ψj ||j |1/2 <∞, EZ 4t <∞.

Ha f az f spektralis surusegfuggveny diszkret spektralis atlagolasu becslese, akkor tetszo-leges λ, ω ∈ [0, π] eseten

a) limn→∞

Ef (λ) = f (λ);

b) limn→∞

( ∑|j |≤mn

W 2n (j)

)−1Cov

(f (λ), f (ω)

)=

2f 2(λ), ha λ = ω = 0 vagy π,

f 2(λ), ha 0 < λ = ω < π,

0, ha λ 6= ω.

Megjegyzes.∑|j |≤mn

W 2n (j)→ 0 biztosıtja, hogy n→∞ eseten Var

(f (λ)

)→ 0.


Pelda. Egyszeru mozgoatlag

Legyen mn =√n es

Wn(j) =

{(2mn + 1

)−1, ha |j | ≤ mn,

0, egyebkent.

Ha n→∞, akkor

mn →∞, mn/n→ 0,∑|j|≤mn

W 2n (j) =

(2mn + 1

)−1 → 0.

A spektralsurusegfuggveny becslese:

f (λ) =1

2π

√n∑

j=−√n

1

2√n + 1

In(g(n, λ) + 2πj/n

).

A tetel felteteleinek eleget tevo linearis folyamatok eseten (pl. ARMA folyamatok)

limn→∞

(2√n + 1

)Var

(f (λ)

)=

{2f 2(λ), ha λ = 0 vagy λ = π,

f 2(λ), ha 0 < λ < π.


Idofuggetlen linearis szurokDefinıcio. Azt mondjuk, hogy az {Yt} folyamat egy az {Xt} folyamatra alkalmazottC = {ct,k , t, k ∈ Z} linearis szuro kimenete, ha

Yt =∞∑

k=−∞ct,kXk , t ∈ Z.

A szuro idoinvarians, ha a ct,t−k sulyok fuggetlenek a t idotol.

Legyen peldaul ct,t−k = ψk . Ekkor

Yt =∞∑

k=−∞ψkXt−k es Yt−s =

∞∑k=−∞

ψkXt−k−s .

Az {Yt−s , t ∈ Z} idoeltolt folyamat eloallıtasahoz ugyanazt a Ψ = {ψj , j ∈ Z} linearisszurot alkalmazzuk az {Xt−s , t ∈ Z} folyamatra, mint {Yt} eloallıtasahoz az {Xt} folya-matra. A Ψ idoinvarians linearis szuro (TFL: Time-Invariant Linear Filter) kauzalis, ha j < 0eseten ψj = 0.


Peldak

1. Linearis folyamat.

Xt =∞∑

j=−∞

ψjZt−j , t ∈ Z, ahol {Zt} ∼WN(0, σ2),

es Ψ = {ψj , j ∈ Z} egy abszolut szummabilis idofuggetlen linearis szuro.

2.Yt = aX−t , t ∈ Z.

A szuro linearis, de nem idofuggetlen, mivel ct,t−k = 0, ha k 6= 2t, azaz fugg a t erteketol.

3. Egyszeru mozgoatlag.

Yt =1

2q + 1

q∑j=−q

Xt−j , t ∈ Z.

Idofuggetlen linearis szuro

ψj =

{(2q + 1)−1, ha |j | ≤ q,

0, egyebkent.


Szurt folyamat spektralis surusegfuggvenye

Tetel. Legyen {Xt} egy nulla varhato erteku stacionarius folyamat, melynek spektralis suru-segfuggvenye fX (λ). Legyen tovabba Ψ = {ψj , j ∈ Z} egy abszolut szummabilis idofugget-len linearis szuro. Ekkor az

Yt =∞∑

j=−∞ψjXt−j

idosor is nulla varhato erteku stacionarius folyamat, melynek spektralis surusegfuggvenye

fY (λ) =∣∣Ψ(e−iλ)

∣∣2fX (λ) = Ψ(e−iλ)Ψ(eiλ)fX (λ), ahol Ψ(e−iλ) =∞∑

j=−∞ψje−ijλ.

A Ψ(e−iλ) fuggvenyt a szuro atviteli fuggvenyenek (transzferfuggvenyenek), annak a∣∣Ψ(e−iλ)∣∣2 komplex negyzetet pedig a szuro teljesıtmeny atviteli fuggvenyenek nevezzuk.


Bizonyıtas

Korabban igazoltuk: nulla varhato erteku stacionarius folyamat szuresevel kapott folyamat szinten nulla varhatoerteku es stacionarius, autokovariancia-fuggvenye pedig

γY (h) =∞∑

j=−∞

∞∑k=−∞

ψjψkγX (h + k − j).

{Xt} spektralis surusegfuggvenye fX (λ), azaz

γX (h + k − j) =

∫ π

−πei(h−j+k)λfX (λ)dλ.

Ezek alapjan

γY (h) =∞∑

j=−∞

∞∑k=−∞

ψjψk

∫ π

−πei(h−j+k)λfX (λ)dλ =

∫ π

−π

(∞∑

j=−∞

ψje−ijλ

)(∞∑

k=−∞

ψkeikλ

)eihλfX (λ)dλ

=

∫ π

−πeihλ

∣∣∣∣∣∞∑

j=−∞

ψje−ijλ

∣∣∣∣∣2

fX (λ)dλ =

∫ π

−πeihλ∣∣Ψ(e−iλ)

∣∣2fX (λ)dλ,

azaz az {Yt} spektralis surusegfuggvenye fY (λ) =∣∣Ψ(e−iλ)

∣∣2fX (λ) = Ψ(e−iλ)Ψ(eiλ)fX (λ). �


ARMA folyamat spektralis surusegfuggvenye

Tetel. Legyen {Xt} egy kauzalis ARMA (p, q) folyamat, azaz

Φ(B)Xt = Θ(B)Zt , {Zt} ∼WN(0, σ2),

ahol Φ(z) = 1− φ1z − · · · − φpzp, Θ(z) = 1 + θ1z + · · ·+ θqzq. Ekkor az {Xt} spektralis

surusegfuggvenye

fX (λ) =σ2

2π

∣∣Θ(e−iλ)∣∣2∣∣Φ(e−iλ)∣∣2 , −π ≤ λ ≤ π.

Bizonyıtas. Az {Xt} a {Zt} feher zajbol egy olyan idofuggetlen linearis szuro segıtsegevel allıthato elo, mely-nek atviteli fuggvenye:

Ψ(e−iλ) =Θ(e−iλ)

Φ(e−iλ).

Mivel a {Zt} feher zaj spektralis surusegfuggvenye fZ (λ) = σ2/(2π), a tetel allıtasa a szurt folyamat spekt-

ralis surusegfuggvenyet megado tetel kovetkezmenye. �


Pelda. AR(2) folyamat

Xt − φ1Xt−1 − φ2Xt−2 = Zt , azaz Φ(z) = 1− φ1z − φ2z2.


fX (λ) =σ2

2π(1− φ1e−iλ − φ2e−2iλ)(1− φ1eiλ − φ2e2iλ)

=σ2

2π(1 + φ2

1 + 2φ2 + φ22 + 2(φ1φ2 − φ1) cos(λ)− 4φ2 cos2(λ)

) .Pelda. ARMA(1,1) folyamat

Xt − φXt−1 = Zt + θYt−1, azaz Φ(z) = 1− φz , Θ(z) = 1 + θz .


fX (λ) =σ2(1 + θeiλ)(1 + θe−iλ)

2π(1− φeiλ)(1− φe−iλ)=

σ2(1 + θ2 + 2θ cos(λ)

)2π(1 + φ2 − 2φ cos(λ)

) .Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 114 / 165

ARMA modellezesx1, x2, . . . , xn: egy stacionarius idosor megfigyelt ertekei.

Cel: hatarozzunk meg egy az adatokra megfeleloen illeszkedo ARMA(p, q) modellt.

Feladatok:

A p es q rendek meghatarozasa.

A varhato ertek becslese.

A φ1, φ2, . . . , φp AR es θ1, θ2, . . . , θq MA parameterek becslese.

A feher zaj σ szorasanak a becslese.

Specialis eset: p es q ismert, valamint a varhato ertek nulla (a megfigyelesekbol ki lettvonva a mintaatlag).

Illesztendo modell: kauzalis ARMA(p, q) folyamat, azaz

Φ(B)Xt = Θ(B)Zt , {Zt} ∼WN(0, σ2),



Yule-Walker egyenletekKauzalis AR(p) modell:

Xt − φ1Xt−1 − · · · − φpXt−p = Zt , {Zt} ∼WN(0, σ2); Xt =∞∑j=0

ψjZt−j , ψ0 = 1.

Szorozzuk meg az AR egyenletet Xt−j , j = 0, 1, . . . , p, valtozoval, majd varhato ertek.

γ(0)− φ1γ(1)− φ2γ(2)− · · · − φpγ(p) = σ2,

γ(1)− φ1γ(0)− φ2γ(1)− · · · − φpγ(p − 1) = 0,

γ(2)− φ1γ(1)− φ2γ(0)− · · · − φpγ(p − 2) = 0,

...

γ(p)− φ1γ(p − 1)− φ2γ(p − 2)− · · · − φpγ(1) = 0.

Matrixos alak:Γpφ = γp, σ2 = γ(0)− φ>γp,

ahol Γp =[γ(i − j)

]pi ,j=1

, φ = (φ1, φ2, . . . , φp)> es γp =(γ(1), γ(2), . . . , γ(p)

)>.


Yule-Walker becslesek

γ(j), j = 0, 1, . . . , p: az autokovarianciak becslese az x1, x2, . . . , xn minta alapjan.

A φ es σ2 parameterek φ es σ2 becsleseinek meghatarozasara szolgalo empirikus Yule-Walker egyenletrendszer

Γpφ = γp, σ2 = γ(0)− φ>γp,

ahol Γp =[γ(i − j)

]pi ,j=1

, φ = (φ1, φ2, . . . , φp)> es γp =(γ(1), γ(2), . . . , γ(p)

)>.

Ha γ(0) > 0, akkor Γm, m ∈ N, regularis.

Definıcio. A φ es σ2 parameterek φ es σ2 Yule-Walker becslesei

φ = (φ1, φ2, . . . , φp)> = R−1p %p es σ2 = γ(0)[1− %>p R−1p %p

],

ahol Rp =[%(i − j)

]pi ,j=1

, es %p =(%(1), %(2), . . . , %(p)

)>= γp/γ(0).


Az illesztett AR modell tulajdonsagaiφ es σ2: a φ es σ2 Yule-Walker becslesei az x1, x2, . . . , xn minta alapjan.

Illesztett AR(p) modell:

Xt − φ1Xt−1 − · · · − φpXt−p = Zt , {Zt} ∼WN(0, σ2)

Igazolhato, hogy Φ(z) = 1− φ1z − · · · − φpzp 6= 0, ha |z | ≤ 1: az illesztett modell kauzalis.

Az illesztett modell γF autokovarianciai:

γF (h)− φ1γF (h − 1)− · · · − φpγF (h − p) =

{0, h = 1, 2, . . . , p,

σ2, h = 0.

Ezek alapjan: γF (h) = γ(h), h = 0, 1, . . . , p.

Igazolhato, hogy nagy n eseten φ eloszlasa kozelıtoleg

Np

(φ, n−1σ2Γ−1p

).

Alkalmas a konfidenciaintervallumok meghatarozasara.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 119 / 165

Az AR folyamat rendjenek meghatarozasaDefinıcio. Az x1, x2, . . . , xn minta alapjan illesztett Yule-Walker AR(m) modell

Xt − φm1Xt−1 − · · · − φmmXt−m = Zt , {Zt} ∼WN(0, νm),

ahol

φm = (φm1, φm2, . . . , φmm)> = R−1m %m es νm = γ(0)[1− %>mR−1m %m

].

AR(p) folyamat eseten a φmm parcialis autokorrelacio nulla, ha m > p.

φmm: az m-lepeses empirikus parcialis autokorrelacio.

Igazolhato, hogy amennyiben a minta egy {Xt} kauzalis AR(p) folyamatbol szarmazik, akkorm > p eseten φmm eloszlasa kozel N (0, 1/n).

95 %-os konfidenciaintervallum φmm ertekere: ±1.96n−1/2.

A p rend becslese legyen az a legkisebb m ertek, melyre |φkk | < 1.96n−1/2, ha k > m.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 120 / 165

Gauss idosor likelihood fuggvenye{Xt}: Gauss idosor, EXt = 0, κ(i , j) = E(Xi ,Xj). Megfigyelesek: X n = (X1,X2, . . . ,Xn)>.

Γn = E(X nX>n

): a megfigyelesek kovarianciamatrixa. Feltetel: det Γn 6= 0.

Az X n likelihood fuggvenye:

L(Γn) = (2π)−n/2(det Γn)−1/2 exp(− 1

2X>n Γ−1n X n

).

Az X n egylepeses predikcio-vektora: X n = (X1, X2, . . . , Xn)>, ahol

X1 = 0 es Xj = E(Xj |X1, . . . ,Xj−1) = Pj−1Xj , j ≥ 2.

Az Xn − Xn,Xn−1 − Xn−1, . . . ,X1 − X1 innovacok korrelalatlanok.

Innovacios algoritmus: rekurzıv algoritmus az

Xn+1 =n∑`=1

θn`(Xn+1−` − Xn+1−`

)eloallıtas θn` egyutthatoinak es a predikcio νn = E(Xn+1 − Xn+1)2 hibajanak kiszamıtasara.


A likelihood fuggveny rekurzıv eloallıtasaX n = (X1,X2, . . . ,Xn)>: az {Xt} Gauss idosor megfigyelesei.

X n = (X1, X2, . . . , Xn)>: az X n egylepeses predikcio-vektora.

Dn: a X n − X n kovarianciamatrixa; diagonalis, foatloja ν0, ν1, . . . , νn−1.

Cn: az innovacios algoritmusnal hasznalt also haromszogmatrix, elemei a θk` egyutthatok.

X n = Cn

(X n − X n

)=⇒ Γn = E

(X nX>n

)= CnDnC

>n .

Az X n likelihood fuggvenye: L(Γn) = (2π)−n/2(det Γn)−1/2 exp(− 1

2X>n Γ−1n X n

).

X>n Γ−1n X n =(X n − X n

)>D−1n

(X n − X n

)=

n∑j=1

(Xj − Xj)

2/νj−1,

det Γn = (detCn)2 detDn = ν0ν1 · · · νn−1.

A likelihood fuggveny rekurzıv alakja:

L(Γn) =1√

(2π)nν0ν1 · · · νn−1exp

(− 1

2

n∑j=1

(Xj − Xj)

2/νj−1

).


ARMA folyamat likelihood fuggvenye.{Xt} kauzalis ARMA (p, q) folyamat: Φ(B)Xt = Θ(B)Zt , {Zt} ∼WN(0, σ2).

Innovacios algoritmus az {Xt} folyamatra: rekurzıv algoritmus a

Xn+1 =

{∑nj=1 θnj(Xn+1−j − Xn+1−j), 1 ≤ n < m,

φ1Xn + · · ·+ φpXn+1−p +∑q

j=1 θnj(Xn+1−j − Xn+1−j), n ≥ m = max(p, q),

predikcio θnj egyutthatoinak es az E(Xn+1 − Xn+1)2 = σ2rn negyzetes hiba rn tagjanakmeghatarozasara.

Egy ARMA folyamat Gauss likelihood fuggvenye

L(φ,θ, σ2) =1√

(2πσ2)nr0r1 · · · rn−1exp

(− 1

2σ2

n∑j=1

(Xj − Xj)

2/rj−1

),

ahol φ = (φ1, φ2, . . . , φp)> es θ = (θ1, θ2, . . . , θq)>.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 123 / 165

Log-likelihood fuggvenyARMA (p, q) folyamat log-likelihood fuggvenye:

ln L(φ,θ, σ2)=−1

2

[n ln 2π+n lnσ2+

n∑j=1

ln rj−1+S(φ,θ)

σ2

], ahol S(φ,θ) :=

n∑j=1

(Xj−Xj)

2

rj−1.

Xj es rj fuggetlen a σ2 erteketol.

∂

∂σ2ln L(φ,θ, σ2)=− n

2σ2+

S(φ,θ)

2σ4= 0 ⇐⇒ σ2 =

S(φ,θ)

n,

es a megoldas maximumhely.

Maximalizalando:

ln L(φ,θ, S(φ,θ)/n) = −1

2

[ln 2π + n ln

(S(φ,θ)/n

)+

n∑j=1

ln rj−1 + n

].


Maximum likelihood es legkisebb negyzetes becslesAllıtas. A φ, θ es σ2 maximum likelihood (ML) becslesei:

σ2 =S(φ, θ)

n, ahol S(φ,θ) =

n∑j=1

(Xj − Xj)

2/rj−1,

φ es θ pedig az

`(φ,θ) := ln(S(φ,θ)/n

)+

1

n

n∑j=1

ln rj−1

minimumhelyei.

Az `(φ,θ) fuggveny minimumat altalaban numerikusan lehet csak meghatarozni. Az optima-lizalas kezdoerteket peldaul a Yule-Walker egyenletek megoldasa adhatja.

Definıcio. A φ es θ parameterek φ es θ legkisebb negyzetes becslesei az S(φ,θ)fuggveny minimumhelyei, a σ2 legkisebb negyzetes becslese pedig

σ2 = S(φ, θ)/(n − p − q).


A maximum likelihood becsles aszimptotikus tulajdonsagaiβ: a β = (φ1, . . . , φp, θ1, . . . , θq)> vektor maximum likelihood becslese.

Igazolhato, hogy ha az

Φ(B)Xt = Θ(B)Zt , {Zt} ∼WN(0, σ2),

ARMA folyamat kauzalis es invertalhato, akkor nagy mintaelemszam eseten β eloszlasa kozel

Np+q

(β, n−1V (β)

).

Az aszimptotikus kovarianciamatrix p, q ≥ 1 eseten

V (β) = σ2[

EU tU>t EU tV>tEV tU>t EV tV>t

]−1,

a p=0 esetben V (β) = σ2[EV tV>t

]−1, q=0 eseten pedig V (β) = σ2

[EU tU>t

]−1, ahol

U t = (Ut ,Ut−1, . . . ,Ut+1−p)> es V t = (Vt ,Vt−1, . . . ,Vt+1−q)>

rendre a Φ(B)Ut = Zt es Θ(B)Vt = Zt egyenleteknek eleget tevo {Ut} es {Vt} autoreg-resszıv folyamatok megfigyelesei.


Pelda. AR(p) folyamat

EU tU>t =Γp =[γ(i−j)

]pi,j=1

, a Yule-Walker egyenleteknel hasznalt kovarianciamatrix. Igy V (φ)=σ2Γ−1p .

AR(1) : Γ1 =σ2

1− φ21

; V (φ) = 1− φ21.

AR(2) : Γ2 =σ2

(1+φ2)[(1−φ2)2−φ2

1

] [1− φ2 φ1

φ1 1− φ2

]; V (φ) =

[1− φ2

2 −φ1(1 + φ2)−φ1(1 + φ2) 1− φ2

2

].

Pelda. MA(q) folyamat

EV tV>t =Γ∗q : a V1,V2, . . . ,Vq kovarianciamatrixa, ahol {Vt} autoregresszıv folyamat, melyre

Vt + θ1Vt−1 + · · ·+ θqVt−q = Zt , {Zt} ∼WN(0, σ2).

MA(1) : V (φ) = 1− θ21.

MA(2) : V (φ) =

[1− θ22 θ1(1− θ2)

θ1(1− θ2) 1− θ22

].



{Xt}: kauzalis, invertalhato ARMA(1,1) folyamat:

Xt − φXt−1 = Zt + θZt−1, {Zt} ∼WN(0, σ2), |φ| < 1, |θ| < 1.

Segedfolyamatok:

Ut − φUt−1 = Zt , Ut =∞∑j=0

φjZt−j , es Vt + θVt−1 = Zt , Vt =∞∑j=0

(−θ)jZt−j .

A segedfolyamatok szorasnegyzete es kovarianciaja:

EU2t =

σ2

1− φ2, EV 2

t =σ2

1− θ2 , EUtVt =σ2

1 + φθ.

A maximum likelihood becsles aszimptotikus kovarianciamatrixa:

V (φ, θ) =

[(1− φ2)−1 (1 + φθ)−1

(1 + φθ)−1 (1− θ2)−1

]−1

=1 + φθ

(φ+ θ)2

[(1− φ2)(1 + φθ) −(1− θ2)(1− φ2)−(1− θ2)(1− φ2) (1− θ2)(1 + φθ)

].


Kullback-Leibler elteres

X : n-dimenzios veletlen vektor, surusegfuggvenye az{f (·;ψ), ψ ∈ Ψ

}eloszlascsalad eleme.

Definıcio. Az f (·;ψ) es f (·; θ) eloszlasok Kullback-Leibler (KL) elterese

d(ψ‖θ) := ∆(ψ|θ)−∆(θ|θ),

ahol

∆(ψ|θ) := Eθ(− 2 ln f (X ;ψ)

)=

∫Rn

−2 ln f (x ;ψ)f (x ; θ)dx

az f (·;ψ) eloszlasnak az f (·; θ) eloszlasra vonatkozo Kullback-Leibler indexe.

Megjegyzes.

1 Altalaban d(ψ‖θ) 6= d(θ‖ψ), azaz a Kullback-Leibler elteres nem szimmetrikus.

2 d(ψ‖θ) ≥ 0, es az egyenloseg szukseges es elegseges feltetele, hogy f (x ;ψ) = f (x ; θ).


A folyamat rendjenek becsleseX1,X2, . . . ,Xn: egy ϑ = (β, σ2) parameteru ARMA folyamat megfigyelesei, ahol a p es qrendek az AR es MA parametereket tartalmazo β dimenziojaban jelennek meg.

Cel: keressuk azt az ARMA modellt, melynek a valodi (ϑ parameteru) modelltol valo be-csult KL elterese a legkisebb.

Feltetel: mind a valodi, mind a lehetseges modellek Gauss folyamatok; ML becsles.

X1,X2, . . . ,Xn: egy ϑ = (β, σ2) parameteru Gauss ARMA folyamat megfigyelesei.

−2 ln LX (β, σ2) = ln 2π+n lnσ2 +n∑

j=1

ln rj−1 +SX (β)

σ2, ahol SX (β) :=

n∑j=1

(Xj−Xj)

2

rj−1.

ϑ =(β, σ2

): a ϑ ML becslese X1,X2, . . . ,Xn alapjan.

−2 ln LX(β, σ2

)= ln 2π + n ln σ2 +

n∑j=1

ln rj−1 + n.


ARMA modellek Kullback-Leibler eltereseY1,Y2, . . . ,Yn: a ϑ parameteru Gauss ARMA folyamat egy fuggetlen realizacioja. A Yj

predikciok negyzetes hibai megegyeznek az Xj predikciok negyzetes hibaival.

−2 ln LY (β, σ2) = ln 2π + n lnσ2 +n∑

j=1

ln rj−1 +SY (β)

σ2, ahol SY (β) :=

n∑j=1

(Yj−Yj)

2

rj−1.

− 2 ln LY(β, σ2

)= −2 ln LX

(β, σ2

)+ σ−2SY

(β)− n.

A valodi es becsult modell Kullback-Leibler indexenek varhato erteke:

Eϑ(∆(ϑ|ϑ)

)= Eβ,σ2

(− 2 ln LY

(β, σ2

))= Eβ,σ2

(− 2 ln LX

(β, σ2

))+ Eβ,σ2

(σ−2SY

(β))−n

Igazolhato, hogy nagy n eseten: Eβ,σ2

(σ−2SY

(β))≈ 2(p + q + 1)n/(n − p − q − 2).

Ezek alapjan

−2 ln LX(β, σ2

)+ 2(p + q + 1)n/(n − p − q − 2)− n, ahol σ2 = SX

(β)/n,

az Eϑ(∆(ϑ|ϑ)

)aszimptotikusan torzıtatlan becslese.


Akaike informacios kriteriumX1,X2, . . . ,Xn: egy ϑ = (β, σ2) parameteru Gauss ARMA folyamat megfigyelesei.

ϑ =(β, σ2

): a ϑ ML becslese X1,X2, . . . ,Xn alapjan.

Minimalizalando a valodi es becsult modell Kullback-Leibler elteresenek varhato erteke:

Eϑ(d(ϑ‖ϑ)

)= Eϑ

(∆(ϑ|ϑ)

)−∆(ϑ|ϑ).

Eϑ(∆(ϑ|ϑ)

)aszimptotikusan torzıtatlan becslese:

−2 ln LX(β, σ2

)+ 2(p + q + 1)n/(n − p − q − 2)− n, ahol σ2 = SX

(β)/n.

Definıcio. Kauzalis es invertalhato ARMA(p, q) folyamatra a korrigalt Akaike informacios kri-terium (AICC)

AICC(β) := −2 ln LX

(β,SX

(β)/n)

+ 2(p + q + 1)n/(n − p − q − 2).

Az ARMA modell illesztesehez valasszunk olyan p es q rendeket, melyekre az AICC(β)

erteke minimalis, ahol β a β ML becslese.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 132 / 165

Az informacios kriterium valtozataiAICC: AICC(β) := −2 ln LX

(β,SX

(β)/n)

+ 2(p + q + 1)n/(n − p − q − 2).

Definıcio. Kauzalis es invertalhato ARMA folyamatra az Akaike informacios kriterium (AIC)

AIC(β) := −2 ln LX

(β,SX

(β)/n)

+ 2(p + q + 1).

Az AIC hajlamos felulbecsulni a p rendet. Ezt korrigalja az AICC nagyobb bunteto tagja, barn→∞ eseten az AICC es AIC statisztikak aszimptotikusan ekvivalensek.

Definıcio. Kauzalis es invertalhato ARMA folyamatra a Bayes informacios kriterium (BIC)

BIC(β) := (n−p−q) ln[nσ2/(n−p−q)

]+n(1+ln

√2π)

+(p+q) ln

[( n∑t=1

X 2t −nσ2

)/(p+q)

],

ahol σ2 a feher zaj szorasnegyzetenek ML becslese.

Ha az X1,X2, . . . ,Xn megfigyelesek egy ARMA(p, q) folyamatbol szarmaznak, p es qpedig a p es q rendeknek a BIC minimalizalasaval kapott becslesei, akkor n→∞ esetenp → p es q → q majdnem biztosan.


ModelldiagnosztikaX1,X2, . . . ,Xn: egy ARMA(p, q) folyamat megfigyelesei.

φ, θ, σ2: az ARMA(p, q) modell φ, θ es σ2 parametereinek ML becslesei.

Xt

(φ, θ

): az illesztett modell X1,X2, . . . ,Xt−1 megfigyeleseken alapulo egylepeses predikcioja.

A predikcio maradekai:

Wt =(Xt − Xt

(φ, θ

))/(rt−1

(φ, θ

))1/2, t = 1, 2, . . . , n.

Amennyiben a φ, θ, σ2 becslesek a valodi parameterek lennenek, {Wt} feher zaj lenne σ2

varianciaval.

Jo modellillesztes eseten a {Wt} viselkedesenek tukroznie kell a folyamatot generalo {Zt}feher zaj viselkedeset, azaz {Wt} aszimptotikusan

korrelalatlan, ha {Zt} ∼WN(0, σ2);

fuggetlen, ha {Zt} ∼ IID(0, σ2);

normalis, ha Zt ∼ N (0, σ2).


Atskalazott maradekokφ, θ: az ARMA modell φ, θ parametereinek ML becslesei az X1,X2, . . . ,Xn alapjan.

Xt

(φ, θ

): az illesztett modell X1,X2, . . . ,Xt−1 megfigyeleseken alapulo egylepeses predikcioja.

A predikcio maradekai: Wt =(Xt − Xt

(φ, θ

))/(rt−1

(φ, θ

))1/2, t = 1, 2, . . . , n.

Atskalazott maradekok:

Rt = Wt/σ, ahol σ =

√√√√1

n

n∑t=1

W 2t

a modellt generalo feher zaj szorasanak becslese.

Tesztelendo

vizualisan, hogy az {Rt , t = 1, 2, . . . , n} feher zajkent viselkedik-e;

az atskalazott maradekok korrelalatlanok (ACF, PACF vizsgalata);

Gauss folyamat eseten a maradekok standard normalitasa (hisztogram, PP-plot, QQ-plot,normalitas tesztek).


ARIMA modellekNem stacionarius idosorokbol gyakran differenciakepzessel kaphatunk stacionariusat.

Definıcio. Az {Xt} egy ARIMA(p, d , q) folyamat, ha Yt := (1− B)dXt egy kauzalisARMA(p, q) folyamat (ARIMA: Autoregresszıv Integralt Mozgoatlag).

Az {Xt} folyamatot leıro egyenlet:

Φ(B)(1− B)dXt = Θ(B)Zt , {Zt} ∼WN(0, σ2),

ahol Φ(z) = 1− φ1z − · · · − φpzp, Θ(z) = 1 + θ1z + · · ·+ θqzq es Φ(z) 6= 0 ha |z | ≤ 1.

Megjegyzes.

1 d ≥ 1 eseten a differenciakepzes kiszur tetszoleges legfeljebb d-edrendu polinomialistrendet.

2 A φ, θ es σ2 parameterek becsleset az{

(1− B)dXt

}d-szeres differencialt folyamat

megfigyeleseibol kell szamolni.


Pelda

{Xt}: ARIMA(1,1,0) folyamat

(1− φB)(1− B)Xt = Zt , {Zt} ∼WN(0, σ2), |φ| < 1.

Xt = X0 +t∑

j=1

Yt , t ≥ 1, ahol Yt = ∇Xt = (1− B)Xt =∞∑j=0

φjZt−j .

ARIMA(1,1,0)

Time

0 100 200 300 400

−20

020

40

60

80

ARIMA(1,1,0) realizacio X0 = 0, φ = 0.8, σ2 = 1 parameterekkel.


Pelda

0 10 20 30 40

0.0

0.2

0.4

0.6

0.8

1.0

Lag

AC

F

0 10 20 30 40

−0

.20

.20

.61

.0

Lag

Pa

rtia

l A

CF

0 100 200 300 400

−4

−2

02

4

ARIMA(1,1,0) differencia


Pelda

0 10 20 30 40

0.0

0.2

0.4

0.6

0.8

1.0

Lag

AC

F

0 10 20 30 40

0.0

0.2

0.4

0.6

0.8

Lag

Pa

rtia

l A

CF

ARIMA(1,1,0) folyamat elsorendu differenciajanak becsult autokorrelacioi es parcialis autokorrelacioi.

Eredeti modell: (1− 0.8B)(1− B)Xt = Zt , azaz (1− 1.8B + 0.8B2)Xt = Zt , {Zt} ∼WN(0, 1).

AR(1) modell a ∇Xt folyamatra.

ML becsles: (1− 0.793B)(1− B)Xt = Zt , {Zt} ∼WN(0, 0.979), AICC = 1131.794.

YW becsles: (1− 0.781B)(1− B)Xt = Zt , {Zt} ∼WN(0, 0.980), AICC = 1131.994.

AR(2) modell az eredeti folyamatra, felteve, hogy EXt = 0.

ML becsles: (1− 1.793B + 0.796B2)Xt = Zt , {Zt} ∼WN(0, 0.986), AICC = 1146.368.

YW becsles: (1− 1.190B + 0.198B2)Xt = Zt , {Zt} ∼WN(0, 2.008), AICC = 1427.917.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 140 / 165

Az ARIMA modellezes korlataiARIMA(p, d , q) modell: Φ∗(B)Xt ≡ Φ(B)(1− B)dXt = Θ(B)Zt , {Zt} ∼WN(0, σ2).

Az ARIMA modell a stacionaritas hianyanak egy nagyon specialis formajat ırja le: a Φ∗(z)polinomnak az 1 d-szeres gyoke.

ARIMA modell jellemzoi: lassan csokkeno pozitıv ACF.

Lassan csokkeno oszcillalo ACF: a Φ∗(z) polinomnak van gyoke az eiω kozeleben valamilyen0 6= ω ∈]− π, π] frekvencia eseten.

Pelda. {Xt} egy AR(2) folyamat: Xt −(2r−1 cosω

)Xt−1 + r−2Xt−2 = Zt , {Zt} ∼WN(0, 1).

AR(2) polinom:1− (2r−1 cosω

)B + r−2B2 =

(1− r−1eiωB

)(1− r−1e−iωB

).

Autokovariancia:

γ(h) =σ2r 4−h sin(hω + ψ)

(r 2 − 1)(r 4 − 2r 2 cos 2ω + 1) sinω, h ≥ 0, tanψ =

r 2 + 1

r 2 − 1tanω.

Autokorrelacio:

%(h) = r−h sin(hω + ψ)

sinψ=⇒ %(h)→ cos(hω), ha r ↘ 1.


Pelda

Legyen r = 1.005 es ω = π/3. Az {Xt} folyamat:

Xt − 0.9950Xt−1 + 0.9901Xt−2 = Zt , {Zt} ∼WN(0, 1).

Autokorrelacio:

%(h) = 1.005−h sin(hπ/3 + ψ)

sinψ, ahol ψ = 1.5679 = 0.9982 · π

2.

Csillapıtott szinusz hullam 1/1.005 = 0.995 csillapıtassal es 6 periodussal.

AR(2)

Time

0 100 200 300 400

−10

−5

05

10

0 10 20 30 40

−1.0

−0.5

0.0

0.5

1.0

LagA

CF


Pelda

Lehetseges megoldasok a folyamat stacionariussa tetelere:

Az 1− (2r−1 cosω)B + r−2B2 operator alkalmazasa az r = 1 es ω = π/3 parameterekkel, azaz az

Ut = (1− B + B2)Xt vizsgalata

A 6 periodus miatt az Vt = (1− B6)Xt vizsgalata.

0 10 20 30 40

0.0

0.4

0.8

Lag

AC

F

Ut

0 10 20 30 40

−0.5

0.0

0.5

1.0

LagA

CF

Vt


IdosormodellezesAz idosorok modellezese a kovetkezo lepesekre bonthato:

1 Az adatokat generalo modell identifikalasa.(a) Esetleges elozetes transzformacio a variancia stabilizalasara.

(b) Az esetleges trend es/vagy szezonalis ingadozas eltavolıtasa.

(c) Az illesztendo ARMA modell(ek) meghatarozasa (a p es q rend megadasa).

2 Az ARMA modell(ek) parametereinek becslese, modellszelekcio.(a) Az illesztendo ARMA modell(ek) parametereinek becslese.

(b) Az optimalis modell kivalasztasa.

(c) A vegso modell becsult parameterek vizsgalata. A nem szignifikans parameterek eltavolıtasaes a fennmarado parameterek ujrabecslese.

(d) Esetleges egyseggyokok kezelese.

3 A kapott modell illeszkedesenek vizsgalata a maradekok segıtsegevel.I Nem megfelelo illeszkedes: visszateres a 2. ponthoz.

I Megfelelo illeszkedes: elorejelzes az illesztett modell segıtsegevel.


Identifikacios technikak. Box-Cox traszformacioARMA modell illesztes: feltetelezi a stacionaritast. A stacionaritas hianya leolvashato maga-bol az idosor grafjabol es/vagy a tapasztalati autokorrelacio-fuggvenybol.

Definıcio. Az {Xt} idosor λ ≥ 0 parameteru Box-Cox traszformaltja

Yt = hλ(Xt) :=

{(Xλt − 1

)/λ, Xt ≥ 0, λ > 0,

ln(Xt), Xt > 0, λ = 0.

Alkalmazhato, ha az idosor ertekenek novekedesevel novekszik az ingadozas. Az esetek jelen-tos reszeben a h0, vagy a h0.5 transzformacio eredmenyre vezet.

Pelda. Ausztral vorosboreladasok logaritmikus transzformalasa.

Mo

nth

ly S

ale

s (

kilo

lite

rs)

1980 1982 1984 1986 1988 1990 1992

50

01

00

02

00

03

00

0

Lo

g−

tra

nsfo

rme

d M

on

thly

Sa

les

1980 1982 1984 1986 1988 1990 19926

.57

.07

.58

.0


Identifikacios technikak. Trend es szezonalitasA trend, illetve a szezonalis ingadozas detektalasa altalaban az (esetlegesen mar transzformalt)idosor grafja segıtsegevel tortenik.

Trend: lassan lecsengo autokorrelacio-fuggveny.

Szezonalitas: kozel periodikus autokorrelacio-fuggveny.

Pelda. Ausztral vorosboreladasok logaritmikus transzformaltja.

0 10 20 30 40

−0

.20

.20

.61

.0

Lag

AC

F

0 10 20 30 40

−0

.40

.00

.20

.40

.6

LagP

art

ial A

CF


Identifikacios technikak. Trend es szezonalitas eltavolıtasaA trend es szezonalis ingadozas kiszuresenek technikai:

(i) az idosor dekompozıcioja trendre, szezonalis komponensre es veletlen maradekra;(ii) differenciakepzes.

Pelda. Transzformaciok az ausztral vorosboreladasok logaritmikus transzformaltjara:

(i) a linearis trend, es a 12 periodusu szezonalis komponens eltavolıtasa;

(ii) 12-lepeses (szezonalis)differenciakepzes, azaz az (1− B12) operator alkalmazasa.

Detr

ended M

onth

ly S

ale

s

1980 1982 1984 1986 1988 1990 1992

−0.3

−0.1

0.0

0.1

0.2

Seasonally

Diffe

renced M

onth

ly S

ale

s

1982 1984 1986 1988 1990 1992

−0.4

−0.2

0.0

0.2


Identifikacios technikak. ACF es PACF vizsgalataA mar transzformalt modell tapasztalati ACF es PACF vizsgalata alapjan megadhatoak a pes q rendek lehetseges ertekeit.

Gyakorlat: pmax es qmax megadasa es az osszes 0 ≤ p ≤ pmax es 0 ≤ q ≤ qmax vizsgalata.

Pelda. {Xt}: az ausztral vorosboreladasok idosora.

Transzformaciok: Yt = (1− B12) lnXt .

Az {Yt} becsult autokorrelacioi es es parcialis autokorrelacioi:

0 10 20 30 40

−0.4

0.0

0.4

0.8

Lag

AC

F

0 10 20 30 40

−0.3

−0.1

0.1

0.3

Lag

Part

ial A

CF


Parameterbecslesek, modellszelekcio{Yt}: a transzformalt es nulla atlaguva tett idosor.

ARMA modell illesztes az {Yt} megfigyeleseire. Modellszelekcio valamelyik informacios kri-terium alapjan (AICC, AIC, BIC).

Akaike informacios kriteriumok:

AICC(φ,θ) := −2 ln L(φ,θ,S

(φ,θ

)/n)

+ 2(p + q + 1)n/(n − p − q − 2),

AIC(φ,θ) := −2 ln L(φ,θ,S

(φ,θ

)/n)

+ 2(p + q + 1).

L(φ,θ, σ2

): a

(φ,θ, σ2

)parameteru Gauss ARMA(p, q) folyamat likelihood fuggvenye.

S(φ,θ

): az egylepeses predikcio korrigalt negyzetes elterese.

Rogzıtett p es q eseten a φ es θ ML becslese minimalizalja az AICC (AIC) erteket.

Gyakorlat: hatarozzuk meg a parameterek ML becsleset az osszes szoba joheto p es q er-tekre, majd valasszuk ki azt, amelyik a legkisebb AICC (AIC) erteket eredmenyezi.

Az ARMA parameterek szignifikanciajanak vizsgalata a standard hibaik alapjan: t-proba.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 149 / 165

Pelda

{Xt}: az ausztral vorosboreladasok idosora. Transzformaciok: Yt = (1− B12) lnXt , Vt = Yt − Y .

Az ACF alapjan AR(12) egy lehetseges modell:(1− 0.243B − 0.700B2 − 0.019B3 − 0.026B4 − 0.196B5 + 0.027B6 + 0.010B7 − 0.136B8 − 0.006B9

− 0.093B10 + 0.120B11 + 0.373B12)Vt = Zt , {Zt} ∼WN(0, 0.0135), AIC=−160.02, BIC=−119.87.

Standard hibak vizsgalata: a 2,3,4,6,7,9,10 es 11 lepeses AR egyutthatok nullanak tekinthetoek. A modell:(1−0.261B−0.217B5−0.140B8+0.389B12)Vt = Zt , {Zt} ∼WN(0, 0.0140), AIC=−173.56, BIC=−159.22.

Alternatıv modell: ARMA(1,12). AIC=−174.59, BIC=−131.58

Standard hibak vizsgalata: az 1,3,4,6,7,9 es 11 lepeses MA egyutthatok nullanak tekinthetoek. A modell:(1− 0.286B

)Vt =

(1 + 0.127B2 + 0.183B5+ 0.178B8 + 0.181B10 − 0.554B12)Zt ,

{Zt} ∼WN(0, 0.0120), AIC=−185.01, BIC=−164.94.

A kapott modell maradekai Gauss feher zajkent viselkednek.


Egyseggyok problema

{Xt}: ARMA folyamat:

Φ(B)Xt = Θ(B)Zt , {Zt} ∼WN(0, σ2),

ahol Φ(z) = 1− φ1z − · · · − φpzp es Θ(z) = 1 + θ1z + · · ·+ θqzq.

Egyseggyok problema: A Φ(z) AR vagy Θ(z) MA polinomnak gyoke van a komplex egy-segkoron.

Peldak

Az AR polinomnak gyoke van az 1 kozeleben: differenciakepzes, amıg a {∇dXt} auto-korrelacio-fuggvenye gyorsan csokkenove nem valik. ARIMA(p, d , q) modell illesztese.

Az MA polinomnak gyoke van az 1 kozeleben: az adatok tuldifferencialtak.

Cel: az egyseggyokok felismerese (hipotezisvizsgalat) es kezelese a modellalkotas soran.


Egyseggyokok az autoregresszional{Xt}: kauzalis AR(1) folyamat:

Xt − µ = φ1(Xt−1 − µ) + Zt , {Zt} ∼WN(0, σ2), |φ1| < 1, µ = EXt .

X1,X2, . . . ,Xn: az {Xt} idosor megfigyelt ertekei.

φ1: a φ1 AR parameter ML becslese. Nagy n eseten a φ1 aszimptotikus eloszlasa

N(φ1, (1− φ1)2/n

)A φ1 = 1 eset mas hatareloszlast eredmenyez: lehetoseget ad a

H0 : φ1 = 1; H1 : φ1 < 1,

hipotezisek tesztelesere.

φ1 = 1: az {Xt} folyamat egy veletlen bolyongas, azaz

Xt − µ = (Xt−1 − µ) + Zt = X0 − µ+t∑

j=1

Zj .


Kulonbsegek a becslesek hatareloszlasaban{Xt}: Gauss AR(1) folyamat: Xt = φXt−1 + Zt , ahol X0 = 0 es Zt ∼ N (0, 1).

φn: a φ legkisebb negyzetes (es ML) becslese az {X1,X2, . . . ,Xn} megfigyelesek alapjan:

φn =

∑nk=1 Xk−1Xk∑nk=1 X

2k−1

.

Kauzalis eset: |φ| < 1; a becsles aszimptotikusan normalis.

n1/2(φn − φ)D−→ N

(0, 1− φ2

).

Egyseggyok: φ = 1; a becsles nem aszimptotikusan normalis.

n(φn − φ)D−→∫ 10 W(t) dW(t)∫ 10 W2(t) dt

=12(X 2

1 − 1)∫ 10 W2(t) dt

.

{W(t) : t ∈ [0, 1]}: standard Wiener folyamat.

X 21 : egy szabadsagi foku khi-negyzet eloszlasu valoszınusegi valtozo.


Dickey-Fuller proba{Xt}: AR(1) folyamat: Xt − µ = φ1(Xt−1 − µ) + Zt . Atparameterezes:

∇Xt = Xt − Xt−1 = µ− Xt−1 + φ1(Xt−1 − µ) + Zt , azaz ∇Xt = φ∗0 + φ∗1Xt−1 + Zt ,

ahol φ∗0 = µ(1− φ1) es φ∗1 = φ1 − 1.

φ∗0, φ∗1: a φ∗0, φ

∗1 parameterek legkisebb negyzetes becslesei; a

∑nt=2

(∇Xt−φ∗0−φ∗1Xt−1

)2erteket minimalizaljak.

A φ∗1 becsult standard hibaja

SE(φ∗1)

=

√√√√∑nt=2

(∇Xt − φ∗0 − φ∗1Xt−1

)2/(n − 3)∑n

t=2(Xt − X )2, ahol X =

1

n − 1

n−1∑t=1

Xt .

Dickey es Fuller (1979): a H0 : φ∗1 = 0 mellett meghataroztak a

τµ = φ∗1/SE(φ∗1)

hatareloszlasat, ha n→∞.

A hatareloszlas kvantilisei numerikusan adhatoak meg.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 154 / 165

Altalanos autoregresszıv folyamat{Xt}: AR(p) folyamat:

Xt − µ = φ1(Xt−1 − µ) + · · ·+ φp(Xt−p − µ) + Zt , {Zt} ∼WN(0, σ2).

Atparameterezes:

∇Xt = φ∗0 + φ∗1Xt−1 + φ∗2∇Xt−1 + · · ·+ φ∗p∇Xt−p+1 + Zt ,

ahol φ∗0 = µ(1− φ1 − · · · − φp), φ∗1 =∑p

i=1 φi − 1 es φ∗j = −∑p

i=j φi , j = 2, 3, . . . , p.

Ha 1 gyoke a Φ(z) = 1− φ1z − · · · − φpzp AR polinomnak, akkor 0 = Φ(1) = −φ∗1, tehat{∇Xt} egy AR(p − 1) folyamat.

H0 : 1 az AR polinom egyseggyoke ⇐⇒ H0 : φ∗1 = 0.

φ∗1: a φ∗1 legkisebb negyzetes becslese; becsult standard hibaja SE(φ∗1). A

τµ = φ∗1/SE(φ∗1)

probastatisztika hatareloszlasa megegyezik az AR(1) folyamat eseten kapott hatareloszlassal.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 155 / 165

Egyseggyokok a mozgoatlagnal{Xt}: kauzalis es invertalhato ARMA(p, q) folyamat:

Φ(B)Xt = Θ(B)Zt , {Zt} ∼WN(0, σ2).

Yt := ∇Xt : differencialt folyamat. Nem invertalhato ARMA(p, q + 1) folyamat, a mozgoatlagpolinomja Θ(z)(1− z).

Egyseggyok tesztelese a mozgoatlagnal: annak a tesztelese, hogy az idosor tuldifferencialt.

Alternatıv alkalmazas: a mozgoatlagra vonatkozo egyseggyok teszt segıtsegevel kulonbsegettudunk tenne a

∇kXt = a + Vt es Xt = c0 + c1t + · · ·+ cktk + Wt

alaku modellek kozott, ahol {Vt} es {Wt} invertalhato ARMA folyamatok.

Elso modell: a {∇kXt} folyamatnak nincs egyseggyoke a mozgoatlagnal.

Masodik modell: a {∇kXt} folyamatnak k-szoros egyseggyoke van a mozgoatlagnal.


Egyseggyok tesztek MA(1) folyamatra{Xt}: MA(1) folyamat: Xt = Zt + θZt−1, {Zt} ∼WN(0, σ2).

X1,X2, . . . ,Xn: az {Xt} idosor megfigyelt ertekei. Hipotezisek:

H0 : θ = −1; H1 : θ > −1.

Davis es Dunsmuir (1996): θ = −1 mellett meghataroztak az n(θ + 1) hatareloszlasat, han→∞, ahol θ a θ ML becslese. Jobboldali kritikus tartomany.

Likelihood-hanyados:

λn := −2 ln(L(− 1, S(−1)/n

)/L(θ, σ2

)).

L(θ, σ2

): a minta Gauss likelihood fuggvenye. S(θ)/n: a σ2 becslese a θ mellett.

Davis, Chen es Dunsmuir (1995): θ = −1 mellett meghataroztak az λn hatareloszlasat, han→∞. Jobboldali kritikus tartomany.

Az altalanos MA(p) eset nem teljesen megoldott.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 157 / 165

ARIMA modellek predikcioja{Xt}: ARIMA(p, d , q) folyamat, azaz {Yt} kauzalis ARMA(p, q) folyamat, ahol

(1− B)dXt = Yt , t = 1, 2, . . . .

(X1−d ,X2−d , . . . ,X0) es Yt , t > 0, korrelalatlanok.

A differenciaegyenlet atırasa:

Xt = Yt −d∑

j=1

(d

j

)(−1) jXt−j , t = 1, 2, . . . .

Megfigyelt ertekek: X1−d ,X2−d , . . . ,Xn; az {Yt} megfigyelesei Y1,Y2, . . . ,Yn.

Pn: az n idopontig vett megfigyeleseken alapulo legjobb linearis predikcio; ortogonalis projek-cio az {X1−d ,X2−d , . . . ,Xn} (ekvivalensen az {X1−d , . . . ,X0,Y1, . . . ,Yn}) altal felfeszıtettalterbe.


A predikcio kiszamıtasa

ARIMA egyenlet:

Xt = Yt −d∑

j=1

(d

j

)(−1) jXt−j , t = 1, 2, . . . .

Egyenlet a predikciokra:

PnXn+h = PnYn+h −d∑

j=1

(d

j

)(−1) jPnXn+h−j .

(X1−d ,X2−d , . . . ,X0) es Yt , t > 0, korrelalatlanok: PnYn+h az Yn+h legjobb linearis pre-dikcioja az {Y1,Y2, . . . ,Yn} alapjan. Kiszamıthato az ARMA modellre vonatkozo innovaciosalgoritmussal.

PnXn+h: rekurzio. Kiindulo ertekek: PnXn+1−j = Xn+1−j , j = 1, 2, . . . .

Kiszamıthato PnXn+1, majd PnXn+2,PnXn+3, . . . .


Szezonalis ARIMA modellekDefinıcio. Az {Xt} egy s periodusu szezonalis ARIMA(p, d , q)× (P,D,Q)s (SARIMA) fo-lyamat, ha az

Yt := (1− B)d(1− Bs)DXt

differencialt folyamat egy a

Φ(B)Φ(Bs)Yt = Θ(B)Θ(Bs)Zt , {Zt} ∼WN(0, σ2),

egyenlettel definialt kauzalis ARMA folyamat, ahol

Φ(z) = 1− φ1z − · · · − φpzp, Φ(z) = 1− Φ1z − · · · − ΦPzP ,

Θ(z) = 1 + θ1z + · · ·+ θqzq, Θ(z) = 1 + Θ1z + · · ·+ ΘQz

Q .

Megjegyzes. {Yt} pontosan akkor kauzalis, ha |z | ≤ 1 eseten Φ(z) 6= 0 es Φ(z) 6= 0. Agyakorlatban a D erteke egynel ritkan nagyobb, a P es Q rendek pedig tipikusan haromalatt vannak.


A differencialt folyamat ARMA reprezentacioja

Differencialt folyamat: Yt := (1− B)d(1− Bs)DXt .

ARMA egyenlet: Φ(B)Φ(Bs)Yt = Θ(B)Θ(Bs)Zt .

Ekvivalens egyenlet: Φ∗(B)Yt = Θ∗(B)Zt .

Φ∗(z), Θ∗(z): p + sP, illetve q + sQ rendu polinomok. Ha p < s es q < s, akkor azegyutthatoikra teljesul:

φ∗is+j = φ∗isφ∗j , i = 1, 2, . . . ; j = 1, 2, . . . , s − 1,

θ∗is+j = θ∗isθ∗j , i = 1, 2, . . . ; j = 1, 2, . . . , s − 1.

Klasszikus dekompozıcios modell: Xt = mt + st + Yt . Az st szezonalis komponens cikluson-kent szabalyosan ismetlodik.

SARIMA modell: megengedi a veletlenseget a szezonalis ismetlodes soran.


Pelda. Evek kozotti modell

{Yt} megfigyelesei: havi adatok r evre. Tablazatos alak:

Ev/Honap 1 2 · · · 12

1 Y1 Y2 · · · Y12

2 Y13 Y14 · · · Y24

3 Y25 Y26 · · · Y36

......

......

...r Y1+12(r−1) Y2+12(r−1) · · · Y12+12(r−1)

Mindegyik oszlop onmagaban is egy idosornak tekintheto. Tegyuk fel, hogy ezeket ugyanaz az ARMA(P,Q)folyamat generalja, azaz a j-edik honap Yj+12t , t = 0, 1, . . . , r − 1, megfigyeleseire teljesul

Yj+12t = Φ1Yj+12(t−1) + · · ·+ ΦPYj+12(t−P) + Uj+12t + Θ1Uj+12(t−1) + · · ·+ ΘQUj+12(t−Q),

ahol {Uj+12t , t = . . . ,−1, 0, 1, . . .} ∼WN(0, σ2U), j = 1, 2, . . . , 12. Az {Ut} nem feltetlenul feher zaj.

Kompakt alak:

Φ(B12)Yt = Θ(B12)Ut , ahol Φ(z) = 1− Φ1z − · · · − ΦPzP , Θ(z) = 1 + Θ1z + · · ·+ ΘQz

Q ,

valamint {Uj+12t , t = . . . ,−1, 0, 1, . . .} ∼WN(0, σ2U), j = 1, 2, . . . , 12.


Peldak

Evek kozotti modell:

Φ(B12)Yt = Θ(B12)Ut , ahol Φ(z) = 1− Φ1z − · · · − ΦPzP , Θ(z) = 1 + Θ1z + · · ·+ ΘQz

Q .

1. P = 0, Q = 1, Θ1 = −0.6. A kapott modell: Xt = Ut − 0.6Ut−12.

2. P = 1, Q = 0, Φ1 = 0.8. A kapott modell: Yt − 0.8Yt−12 = Ut .

Ha {Ut} feher zaj, akkor az egyes honapokhoz tartozo ARMA folyamatok mindket modellnel korrelalatlanok.

0 10 20 30 40 50 60

−0.5

0.0

0.5

1.0

Lag

AC

F

Xt

0 10 20 30 40 50 60

0.0

0.4

0.8

Lag

AC

F

Yt


SARIMA modell eloallıtasaEvek kozotti modell:

Φ(B12)Yt = Θ(B12)Ut , ahol Φ(z) = 1−Φ1z−· · ·−ΦPzP , Θ(z) = 1+Θ1z+· · ·+ΘQz

Q .

{Ut} feher zaj: az egyes honapokhoz tartozo ARMA folyamatok korrelalatlanok.

Modell az {Ut} zajra:

Φ(B)Ut = Θ(B)Zt , {Zt} ∼WN(0, σ2),


{Uj+12t , t = . . . ,−1, 0, 1, . . .} mar nem feltetlenul feher zaj (j = 1, 2, . . . , 12), de a gya-korlatban EUjUj+12t erteke kicsi, ha t = ±1,±2, . . . .

Kombinalt modell az {Yt} folyamatra:

Φ(B)Φ(B12)Yt = Θ(B)Θ(B12)Zt .


SARIMA modell identifikacioja

ARIMA(p, d , q)× (P,D,Q)s modell az {Xt} folyamatra :

Φ(B)Φ(Bs)Yt = Θ(B)Θ(Bs)Zt , {Zt} ∼WN(0, σ2), ahol Yt := (1− B)d(1− Bs)DXt .

1 Az (esetlegesen mar transzformalt) X1,X2, . . . ,Xn megfigyelesek alapjan adjunk olyan des D ertekeket, melyekkel az Yt differencialt megfigyelesek stacionariusnak latszanak.

2 Vizsgaljuk meg az {Yt} megfigyeleseinek a ks, k = 1, 2, . . ., lepeses ACF es PACFertekeit. Adjunk olyan P es Q rendeket, melyekre ezek az ertekek rendre megfelelnekegy ARMA(P,Q) folyamat ACF es PACF ertekeinek.

3 Adjunk olyan p es q rendeket, melyekre az 1, 2, . . . , s lepeses ACF es PACF ertekekmegfelelnek egy ARMA(p, q) folyamat ACF es PACF ertekeinek.

4 Az esetleges alternatıvak kozul az informacios kriteriumok segıtsegevel valasszuk ki a leg-jobban illeszkedot.

Masik megkozelıtes: illesszunk egy hianyos ARMA modellt a differencialt megfigyelesekre.


Date post:	18-Jan-2021
Category:	Documents
Upload:	others
View:	3 times
Download:	0 times

Baran S andor 2019/20 tan ev, 2. f el ev - unideb.hu · Oct 01 2012 Oct 01 2013 Oct 01 2014 Oct 01...

Documents