Idosorok elemzese
Baran Sandor
2019/20 tanev, 2. felev
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 1 / 165
Irodalom
Peter J. Brockwell, Richard A. Davis: Introduction to Time Series and Forecasting. ThirdEdition. Springer, 2016.
Robert H. Shumway, Davif S. Stoffer: Time Series Analysis and its Applications with RExamples. Fourth Edition. Springer, 2017.
Peter J. Brockwell, Richard A. Davis: Time Series: Theory and Methods. Second Edition.Springer, 1996.
Eredmenyek, informaciok
arato.inf.unideb.hu/baran.sandor/mischu.html
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 2 / 165
Tartalom
1 Bevezetes
2 Stacionarius folyamatok
3 ARMA modellek
4 Spektralanalızis
5 ARMA folyamatok modellezese es predikcioja
6 Nem-stacionarius es szezonalis modellek
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 3 / 165
AlapfogalmakIdosor: adott t idopillanatokban rogzıtett xt megfigyelesek halmaza. xt tekintheto valamelyXt valoszınusegi valtozo egy realizaciojanak.
Diszkret ideju idosor: a megfigyelesi idopontok T halmaza diszkret, peldaul amikor valamilyenjelenseget rendszeres idokozonkent figyelunk meg.
Folytonos ideju idosor: a vizsgalt jelenseget folytonosan, valamely T idointervallumon figyel-juk meg, peldaul T = [0, 1].
Megjegyzes. {Xt , t ∈ T} egy sztochasztikus folyamat. Az {xt} megfigyelesek mellett idosor-kent hivatkozunk az azokat eloallıto {Xt} folyamat- ra is.
Az idosoranalızis lehetseges celjai
Az adatok kompakt leırasa a mogottes jelensegek jobb megertesehez.
A megfigyelt folyamat jovobeli ertekeinek elorejelzese.
Idoben valtozo esemenyekkel kapcsolatos hipotezisek tesztelese, pl. a globalis felmelege-des vizsgalata.
Zajszures.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 5 / 165
Pelda. Johnson & Jonhson negyedeves hozamok
Time
Quart
erl
y E
arn
ings p
er
Share
1960 1965 1970 1975 1980
05
10
15
A Johnson & Jonhson reszveny negyedeves hozama 1960 I. es 1980 IV. kozott.
84 megfigyelesi idopont: 1960 I, 1960 II, . . . , 1980 IV. T = {1, 2, . . . , 84}.Jellemzok
Fokozatosan novekvo trend. Evenkenti szabalyos valtakozas, szezonalis ingadozas.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 6 / 165
Pelda. Ausztral vorosboreladasok
Time
Month
ly S
ale
s (
kilo
liters
)
1980 1982 1984 1986 1988 1990 1992
500
1000
1500
2000
2500
3000
Ausztral vorosbortermelok havi eladasi szamai az 1980. januar – 1991 oktober idoszakra.
Jellemzok
Fokozatosan novekvo trend.Szezonalis ingadozas juliusi maximummal es januari minimummal.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 7 / 165
Pelda. Baleseti halalozasok
Time
Accid
enta
l D
eath
(th
ousands)
1973 1974 1975 1976 1977 1978 1979
78
910
11
Az Egyesult Allamok havi baleseti halalozasi adatai az 1973. januar – 1978. december idoszakra.
Jellemzok
Nincs erzekelheto trend.Szezonalis ingadozas juliusi maximummal es februari minimummal.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 8 / 165
Pelda. Az Egyesult Allamok nepessegi adatai
Time
Popula
tion (
mill
ions)
1800 1850 1900 1950 2000
050
100
150
200
250
300
Az Egyesult Allamok nepessege 1790 – 2010 kozott.
Jellemzok
Kvadratikus, vagy exponencialis trend.Nincs szezonalis ingadozas.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 9 / 165
Pelda. Munkabeszuntetesek szama
Time
Str
ikes (
thousands)
1950 1955 1960 1965 1970 1975 1980
3.5
4.0
4.5
5.0
5.5
6.0
A munkabeszuntetesek eves szama az Egyesult Allamokban 1951 – 1980 kozott.
Jellemzok
Veletlennek tuno novekvo fluktuaciok.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 10 / 165
Pelda. Beszedkodolas
Time
Fre
quency (
Hz)
0 200 400 600 800 1000
01000
2000
3000
4000
Az”aaa · · · hhh” kifejezes 10 kHz mintavetelezesu jelenek 0.1 masodperces darabja.
Jellemzok
Szabalyosan ismetlodo jel.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 11 / 165
Pelda. Jel detektalas (jel-zaj modell)Modell: Xt = cos
(t10
)+ εt , t = 1, 2, . . . , 200.
Zaj: εt ∼ N (0, 0.25), t = 1, 2, . . . , 200, fuggetlen.
Time
0 50 100 150 200
−2
−1
01
2
Feladat. Az Xt folyamatot megfigyelve allıtsuk elo az ismeretlen jelet.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 12 / 165
Pelda. A Dow Jones Industrial Average napi hozama
Apr 212006
Apr 022007
Apr 012008
Oct 012008
Oct 012009
Oct 012010
Oct 032011
Oct 012012
Oct 012013
Oct 012014
Oct 012015
DJIA Returns 2006−04−21 / 2016−04−20
−0.05
0.00
0.05
0.10
−0.05
0.00
0.05
0.10
A Dow Jones Industrial Average (DJIA) napi hozama.
Jellemzok
Stabil, zero kozeli atlagos hozam.Nagy volatilitasu periodusok, pl. a 2008-as gazdasagi valsag idejen.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 13 / 165
IdosormodellDefinıcio. Az {xt , t ∈ T} megfigyelesek egy idosormodellje akkor van meghatarozva, ha is-merjuk a megfigyeleseket realizaciokent eloallıto {Xt , t ∈ T} sztochasztikus folyamat osszesveges dimenzios eloszlasat.
Megjegyzes. Az {X1,X2, . . .} valos erteku sztochasztikus folyamat veges dimenzios elosz-lasait meghatarozzak az
P(X1 < x1,X2 < x2, . . . ,Xn < xn
), x1, x2, . . . , xn ∈ R, n ∈ N,
egyuttes valoszınusegek, azaz ha tetszoleges n ∈ N eseten ismerjuk az (X1,X2, . . . ,Xn) velet-len vektor egyuttes eloszlasfuggvenyet.
A teljes idosor modell megadasa helyett sok esetben csupan az egyuttes eloszlasok elso-, illetvemasodik momentumait hatarozzuk meg, azaz az
EXt , valamint E(Xt ,Xs), t, s ∈ T ,
mennyisegeket, es ilyenkor az Xt folyamatnak a csak ezektol fuggo tulajdonsagaira (masod-rendu tulajdonsagok) koncentralunk.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 14 / 165
StacionaritasDefinıcio. Legyen {Xt , t ∈ Z} egy idosor, melyre E
(X 2t
)<∞. Az {Xt} varhato ertek
fuggvenyeµX (t) := E
(Xt
), t ∈ Z,
az {Xt} kovarianciafuggvenye pedig
γX (r , s) := Cov(Xr ,Xs
)= E
[(Xr − µX (r)
)(Xs − µX (s)
)], r , s ∈ Z.
Definıcio. Az {Xt , t ∈ Z} idosor (gyengen) stacionarius, ha
(a) µX (t) nem fugg a t erteketol, azaz konstans;
(b) tetszoleges h ∈ Z eseten a γX (t + h, t) erteke fuggetlen t-tol.
Megjegyzes. Stacionarius idosor eseten a kovarianciafuggveny valojaban egyvaltozos:
γX (h) := γX (h, 0) = γX (t + h, t).
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 15 / 165
Autokovariancia, autokorrelacioDefinıcio. Legyen {Xt , t ∈ Z} egy stacionarius idosor. Az {Xt} idosor autokovariancia-fugg-venye (ACVF) a h tavolsagnal
γX (h) := Cov(Xt+h,Xt
)Az {Xt} idosor autokorrelacio-fuggvenye (ACF) a h tavolsagnal
%X (h) =γX (h)
γX (0):= Corr
(Xt+h,Xt
).
Megjegyzes. Legyenek X1,X2, . . . ,Xn, valamint Y1,Y2, . . . ,Ym valoszınusegi valtozok,E(X 2k
)<∞, E
(Y 2`
)<∞, k =1, 2, . . . , n, `=1, 2, . . . ,m, es legyen
U =n∑
k=1
akXk , V =m∑`=1
b`Y`,
ahol a1, a2, . . . , an, b1, b2, . . . , bm ∈ R. Ekkor
Cov(U,V ) =n∑
k=1
m∑`=1
akb` Cov(Xk ,Y`
).
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 16 / 165
Feher zaj{Xt} korrelalatlan, nulla varhato erteku es σ2 szorasnegyzetu valoszınusegi valtozok sorozata.Stacionarius folyamat, autokovariancia fuggvenye:
γX (h) = γX (t + h, t) =
{σ2, ha h = 0,
0, ha h 6= 0.
Jeloles: {Xt} ∼WN(0, σ2).
Specialis eset: fuggetlen, azonos eloszlasu zaj. Jeloles: {Xt} ∼ IID(0, σ2).
0 200 400 600 800 1000
−4
−2
01
23
Time
Fuggetlen standard Gauss zaj, azaz Xt ∼ N (0, 1).Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 17 / 165
Veletlen bolyongasLegyen {Xt} ∼ IID(0, σ2) es
S0 := 0, St := X1 + X2 + · · ·+ Xt , t = 1, 2, . . . .
{St , t = 0, 1, 2, . . .}: szimmetrikus veletlen bolyongas.
Ha EXt 6= 0, a bolyongas nem szimmetrikus.
Egyszeru szimmetrikus veletlen bolyongas: Xt szimmetrikus Bernoulli eloszlasu, azaz
P(Xt = 1) = P(Xt = −1) =1
2.
0 50 100 150 200
−5
05
10
Time
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 18 / 165
Veletlen bolyongas autovarianciaja
{Xt} ∼ IID(0, σ2) es {St , t = 0, 1, 2, . . .} a belole kepzett szimmetrikus veletlen bolyongas.
Momentumok:ESt = 0, E
(S2t
)= tσ2 <∞, t = 0, 1, 2, . . . .
Kovarianciak:
γS(t + h, t) = Cov(St+h, St
)= Cov
(St + Xt+1 + · · ·+ Xt+h,St
)= Cov
(St ,St
)= tσ2, t, h = 0, 1, 2, . . . .
γS(t + h, t) nem fuggetlen a t erteketol, az {St} nem stacionarius.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 19 / 165
Elsorendu mozgoatlag, vagy MA(1) folyamatLegyen
Xt = Zt + θZt−1, t ∈ Z,ahol {Zt} ∼WN(0, σ2) es θ ∈ R.
Momentumok: EXt = 0, E(X 2t
)= σ2
(1 + θ2
)<∞, t ∈ Z.
Kovarianciak:
γX (t + h, t) =
σ2(1 + θ2
), ha h = 0,
σ2θ, ha h = ±1,
0, ha |h| > 1.
Az {Xt} MA(1) folyamat tetszoleges θ parameter eseten stacionarius.
Autokorrelacio-fuggveny (ACF):
%X (h) =
1, ha h = 0,
θ/(1 + θ2
), ha h = ±1,
0, ha |h| > 1.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 20 / 165
Peldak MA(1) folyamatraFolyamat: Xt = Zt + θZt−1, Zt ∼ N (0, 1).
0 100 200 300 400 500
−4
−2
02
θ = 0.8
Time
0 100 200 300 400 500
−4
−2
01
23
θ = −0.3
Time
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 21 / 165
Elsorendu autoregresszıv, vagy AR(1) folyamatLegyen
Xt = φXt−1 + Zt , t ∈ Z,ahol {Zt} ∼WN(0, σ2), φ ∈ R, valamint tetszoleges s < t eseten Xs es Zt korrelalatlan.Pontosan akkor stacionarius, ha |φ| < 1. Ekkor EXt = 0.
Autokovariancia-fuggveny:
γX (h) = Cov(Xt ,Xt−h
)= Cov
(φXt−1,Xt−h
)+ Cov
(Zt ,Xt−h
)= φγX (h − 1) + 0 = · · · = φhγX (0) = γX (−h), h = 0, 1, 2, . . . .
Autokorrelacio-fuggveny:
%X (h) =γX (h)
γX (0)= φ|h|, h ∈ Z.
Variancia:
γX (0) = Cov(Xt ,Xt
)= Cov
(φXt−1 + Zt , φXt−1 + Zt
)= φ2γX (0) + σ2,
azaz γX (0) = σ2/(1− φ2
).
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 22 / 165
Peldak AR(1) folyamatra
0 50 100 150 200 250 300
−2
02
4
φ = 0.6
Time
0 50 100 150 200 250 300
−1
5−
10
−5
05
φ = 1
Time
0 50 100 150 200 250 300
−4
0−
30
−2
0−
10
0
φ = 1.01
Time
0 50 100 150 200 250 300
−4
−2
02
4
φ = −0.9
Time
0 50 100 150 200 250 300
−1
5−
50
51
01
5
φ = −1
Time
0 50 100 150 200 250 300
−1
50
−5
00
50
10
01
50
φ = −1.01
Time
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 23 / 165
Tapasztalati autokorrelacio fuggvenyx1, x2, . . . , xn: az {Xt} idosor megfigyelesei.
Cel: a megfigyelesek segıtsegevel becsuljuk meg az {Xt} autokovariancia- es autokorrelacio-fuggvenyet.
Definıcio. Az x1, x2, . . . , xn megfigyelesek tapasztalati autokovariancia-fuggvenye
γ(h) :=1
n
n−|h|∑t=1
(xt+|h| − x
)(xt − x
), −n < h < n,
ahol
x =1
n
n∑t=1
xt .
A megfigyelesek tapasztalati autokorrelacio-fuggvenye
%(h) =γ(h)
γ(0), −n < h < n.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 24 / 165
Tulajdonsagokx1, x2, . . . , xn: az {Xt} idosor megfigyelesei.
γ(h) :=1
n
n−|h|∑t=1
(xt+|h| − x
)(xt − x
), %(h) =
γ(h)
γ(0), −n < h < n.
h ≥ 0 eseten γ(h) kozelıtoleg megegyezik az(x1, x1+h
),(x2, x2+h
), . . . ,
(xn−h, xn
)megfigyelesparok korrelaciojaval. Az n − h helyett alkalmazott azonos n normalo tag biz-tosıtja, hogy a Γn :=
[γ(i − j)
]ni ,j=1
empirikus autokovariancia-matrix nemnegatıv definit.
A Rn :=[%(i − j)
]ni ,j=1
empirikus autokorrelacio-matrix nemnegatıv definit.
Ha {Xt} ∼ IID(0, σ2), σ <∞, akkor nagy n eseten a %(1), %(2), . . . , %(h) mennyisegekkozelıtoleg fuggetlen, N
(0, 1/n
)eloszlasu valoszınusegi valtozok.
95 %-os konfidenciaintervallum: ±1.96/√n.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 25 / 165
Peldak1. Fuggetlen standard Gauss zaj.
0 200 400 600 800 1000
−4
−2
01
23
Time
0 5 10 15 20 25 30
0.0
0.2
0.4
0.6
0.8
1.0
Lag
AC
F
2. MA(1) folyamat, θ = 0.8.
0 100 200 300 400 500
−4
−2
02
4
Time
0 5 10 15 20 25
0.0
0.2
0.4
0.6
0.8
1.0
Lag
AC
F
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 26 / 165
Idosorok dekompozıciojaKlasszikus dekompozıcios modell:
Xt = mt + st + Yt .
mt : lassan valtozo fuggveny, trend komponens.
st : periodikus fuggveny d periodussal, szezonalis komponens.
Yt : stacionarius folyamat, veletlen zaj komponens.
Trend novekedesevel novekszik az ingadozas: logaritmikus transzformacio.
Pelda. Ausztral vorosboreladasok logaritmikus transzformalasa.
Time
Month
ly S
ale
s (
kilo
liters
)
1980 1982 1984 1986 1988 1990 1992
500
1500
2500
Time
Log−
transfo
rmed M
onth
ly S
ale
s1980 1982 1984 1986 1988 1990 1992
6.5
7.0
7.5
8.0
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 27 / 165
Dekompozıcios modell vizsgalata
Dekompozıcios modell:Xt = mt + st + Yt
Modellezesi technikak:
1 Becsuljuk meg az mt es st determinisztikus komponenseket.
Amennyiben az ezek kivonasaval kapott maradekok egy stacionarius idosor megfigyelesei,illesszunk rajuk egy stacionarius idosormodellt.
2 Differenciakepzes tobbszori alkalmazasaval tavolıtsuk el mind a trendet, mind pedig a sze-zonalitast, amıg az eredmenyul kapott megfigyelesek nem tekinthetoek egy stacionariusidosor realizacioinak.
Illesszunk rajuk egy stacionarius idosormodellt.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 28 / 165
A trend becslese, illetve eltavolıtasa
Szezonalitas nelkuli modell trenddel:
Xt = mt + Yt , t = 1, 2, . . . , n, EYt = 0.
Trendbecslesi modszerek:
a. Mozgoatlagolasu trendbecsles;
b. Exponencialis simıtas;
c. Nagyfrekvenciaju komponensek eltavolıtasa;
d. Analitikus trend illesztese.
Trend eltavolıtasa differenciakepzessel.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 29 / 165
Mozgoatlagolasu trendbecslesModell: Xt = mt + Yt , t = 1, 2, . . . , n, EYt = 0.
Legyen d ∈ N. A d-edrendu ketoldali mozgoatlag:
d paratlan, azaz d = 2q + 1, q = 0, 1, 2, . . . :
Wt =Xt−q + Xt−q+1 + · · ·+ Xt + · · ·+ Xt+q
2q + 1;
d paros, azaz d = 2q, q = 0, 1, 2, . . . :
Wt =12Xt−q + Xt−q+1 + · · ·+ Xt + · · ·+ Xt+q−1 + 1
2Xt+q
2q,
ahol t = q + 1, q + 2, . . . , n − q.
Ha mt kozel linearis a [t − q, t + q] intervallumon, akkor pl. paratlan d eseten
Wt =1
2q + 1
q∑j=−q
mt−j+1
2q + 1
q∑j=−q
Yt−j ≈ mt , azaz mt = Wt , t=q+1, q+2, . . . , n−q.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 30 / 165
Mozgoatlag, mint linearis szuroA mozgoatlag tekintheto ugy, mint a
∑∞j=−∞ ajXt−j linearis szuro specialis esete.
Egyutthatok d = 2q + 1 eseten:
aj =1
2q + 1, −q ≤ j ≤ q; aj = 0, |j | > q.
Ha mt = c0 + c1t, akkor∑∞
j=−∞ ajmt−j = mt : a linearis trend valtozatlanul megy at aszuron.
Spencer-fele 15-pontos mozgoatlag
Valtozatlanul engedi at a harmadfoku polinomokat, azaz ha a trend
mt = c0 + c1t + c2t2 + c3t
3.
Egyutthatok:
(a0, a1, . . . , a7) =1
320(74, 67, 46, 21, 3,−5,−6,−3); aj = a−j , |j | ≤ 7; aj = 0, |j | > 7.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 31 / 165
Exponencialis simıtasLegyen α ∈ [0, 1]. A becsult trend:
m1 = X1; mt = αXt + (1− α)mt−1, t = 2, 3, . . . , n.
A rekurzio alapjan:
mt =t−2∑j=0
α(1− α)jXt−j + (1− α)t−1X1.
Egyoldalu mozgoatlag, az utolso kivetelevel exponencialisan lecsengo sulyokkal.
Nagyfrekvenciaju komponensek eltavolıtasa
A Fourier sorfejtesben elhagyjuk a magas frekvenciaju tagok egy reszet.
Analitikus trend illesztese
Polinomot, vagy mas parameteres fuggvenyt illesztunk legkisebb negyzetek modszerevel.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 32 / 165
Trend eltavolıtasa differenciakepzessel
B: visszaleptetes operator.
BXt := Xt−1, B jXt := B(B j−1)Xt = Xt−j , j ≥ 1.
∇: differencia operator.
∇Xt := Xt − Xt−1 = (1− B)Xt , ∇0Xt = Xt , ∇jXt := ∇(∇j−1)Xt , j ≥ 1.
Linearis trend: mt = c0 + c1t
∇mt = mt −mt−1 = c0 + c1t −(c0 + c1(t − 1)
)= c1.
Tetszoleges k-adfoku polinomialis trend konstanssa redukalhato a ∇k segıtsegevel.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 33 / 165
Trend es szezonalitas egyuttes becsleseKlasszikus dekompozıcios modell:
Xt = mt + st + Yt , t = 1, 2, . . . , n, EYt = 0, st+d = st ,d∑
j=1
sj = 0.
Az {Xt} idosor megfigyelesei: {x1, x2, . . . , xn}.1 Becsuljuk meg a trendet d-edrendu ketoldalu mozgoatlaggal. Becsles: mt , q< t≤ n−q.2 Minden k = 1, 2, . . . , d eseten szamoljuk ki a
{(xk+jd − mk+jd) : q < k + jd ≤ n − q}
szezonalis elteresek wk atlagat. A szezonalis komponens becslese:
sk = wk −1
d
d∑j=1
wj , k = 1, 2, . . . , d , es sk = sk−d , k < d .
3 Szamıtsuk ki a szezonalitastol megfosztott adatokat: dt := xt − st , t = 1, 2, . . . , n.4 A {dt} megfigyelesekbol hatarozzuk meg az mt becsult trendet valamelyik modszerrel.5 Becsuljuk meg a modell maradekait: Yt = xt − mt − st , t = 1, 2, . . . , n.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 34 / 165
Trend es szezonalitas eltavolıtasa differenciakepzessel
Klasszikus dekompozıcios modell:
Xt = mt + st + Yt , t = 1, 2, . . . , n, EYt = 0, st+d = st ,d∑
j=1
sj = 0.
∇d : d-lepeses differencia operator.
∇dXt := Xt − Xt−d = (1− Bd)Xt .
Alkalmazzuk a ∇d operatort a dekompozıcios modellre:
∇dXt = mt −mt−d + Yt − Yt−d .
A ∇ alkalmas hatvanyanak alkalmazasaval kiszurhetjuk az mt −mt−d trendet.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 35 / 165
Az autokorrelacio jelentosege{Xt , t ∈ Z}: stacionarius idosor, EXt = µ, Var(Xt) = σ2.
Autokovariancia-fuggveny (ACVF): γ(h) = Cov(Xt+h,Xt
), h ∈ Z.
Autokorrelacio-fuggveny (ACF): %(h) = γ(h)/γ(0), h ∈ Z.
Pelda. Legyen {Xt , t ∈ Z} Gauss folyamat es megfigyeljuk az Xn erteket. Keressuk az Xn azon fuggvenyet, aminegyzetes kozepben a legjobban kozelıti az Xn+h erteket.
Az E[Xn+h − f (Xn)
]2minimumat ado fuggveny: f (Xn) = E
(Xn+h|Xn
).
(Xn+h,Xn) egyuttes eloszlasa normalis. Az Xn+h felteteles eloszlasa az Xn = xn feltetel mellett:
N(µ+ %(h)(xn − µ), σ2(1− %(h)2
)), azaz E
(Xn+h|Xn
)= µ+ %(h)(Xn − µ).
E[Xn+h − E
(Xn+h|Xn
)]2= Var
(Xn+h|Xn
)= σ2(1− %(h)2
).
Minel kozelebb van a |%(h)| erteke az 1-hez, annal pontosabb a becsles.
Pelda. Legyen {Xt , t ∈ Z} tetszoleges. Keressuk a megfigyelt Xn valtozonak az Xn+h erteket negyzetes kozep-ben legjobban kozelıto `(Xn) = aXn + b fuggvenyet.
Az E[Xn+h − aXn − b
]2minimumat ado fuggveny: `(Xn) = µ+ %(h)(Xn − µ).
Az `(Xn) legjobb linearis elorejelzes negyzetes elterese: E[Xn+h − `
(Xn
)]2= Var
(Xn+h|Xn
)= σ2
(1− %(h)2
).
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 37 / 165
Az autokovariancia tulajdonsagai
Allıtas. Legyen γ(h) egy stacionarius idosor autokovariancia-fuggvenye. Ekkor
γ(0) ≥ 0;
tetszoleges h eseten |γ(h)| ≤ γ(0);
tetszoleges h eseten γ(h) = γ(−h), azaz γ(h) paros fuggveny.
Definıcio. Egy κ : Z→ R fuggveny nemnegatıv definit, ha tetszoleges n ∈ N esa = (a1, a2, . . . , an)> ∈ Rn eseten
n∑k,`=1
akκ(k − `)a` ≥ 0.
Tetel. Egy κ : Z→ R fuggveny pontosan akkor autokovariancia-fuggvenye valamelystacionarius idosornak, ha paros es nemnegatıv definit.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 38 / 165
Eros stacionaritasDefinıcio. Az {Xt , t ∈ Z} idosor erosen stacionarius, ha a vegesdimenzios eloszlasai eltolas-invariansak, azaz tetszoleges n ∈ N es h ∈ Z eseten
(X1,X2, . . . ,Xn)>d= (X1+h,X2+h, . . . ,Xn+h)>,
vagyis a ket veletlen vektor eloszlasa megegyezik.
Tetel. Legyen {Xt , t ∈ Z} egy erosen stacionarius idosor. Ekkor a kovetkezoek teljesulnek.
Az Xt valoszınusegi valtozok azonos eloszlasuak.
Tetszoleges t, h ∈ Z eseten (Xt ,Xt+h)>d= (X1,X1+h)>.
Ha tetszoleges t ∈ Z eseten E(X 2t
)<∞, akkor {Xt} (gyengen) stacionarius.
Megjegyzesek.
A (gyenge) stacionaritasbol nem kovetkezik az eros stacionaritas.
A fuggetlen, azonos eloszlasu sorozat erosen stacionarius.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 39 / 165
Erosen stacionarius idosor konstrukcioja{Zt}: fuggetlen, azonos eloszlasu sorozat. g : Rq+1 → R: merheto fuggveny, q ∈ N.
A {Zt} szuresevel kapott idosor tagjai: Xt = g(Zt ,Zt−1, . . . ,Zt−q).
Tulajdonsagai:
Erosen stacionarius.
q-osszefuggo, azaz ha |t − s| > q, akkor Xt es Xs fuggetlen.
Definıcio. Egy {Xt} stacionarius idosor q-korrelalt, ha tetszoleges |h|>q eseten γ(h)=0.
Peldak. WN(0, σ2): 0-korrelalt; MA(1) folyamat: 1-korrelalt.
Definıcio. Legyen {Zt} ∼WN(0, σ2), q ∈ N, valamint θ1, θ2, . . . , θq ∈ R. Az
Xt = Zt + θ1Zt−1 + θ2Zt−2 + · · ·+ θqZt−q
folyamatot q-adrendu mozgoatlag vagy MA(q) folyamatnak nevezzuk.
Allıtas. Tetszoleges 0 varhato erteku stacionarius q-korrelalt idosor felırhato mint egy MA(q)folyamat.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 40 / 165
Linearis folyamatokDefinıcio. Az {Xt} idosor egy linearis folyamat, ha minden t ∈ Z eseten felırhato
Xt =∞∑
j=−∞ψjZt−j
alakban, ahol {Zt} ∼WN(0, σ2), a {ψt} pedig konstansok egy olyan sorozata, melyre∑∞j=−∞ |ψj | <∞.
B: visszaleptetes operator. Ha {Xt} egy idosor, BXt = Xt−1, B jXt := B(B j−1)Xt = Xt−j .
Linearis folyamat megadasa: Xt = Ψ(B)Zt , ahol Ψ(B) :=∑∞
j=−∞ ψjBj .
Ψ(B): linearis szuro, amit a {Zt} folyamatra alkalmazunk.
Definıcio. Egy {Xt} linearis folyamatot mozgoatlag vagy MA(∞) folyamatnak nevezunk,ha j < 0 eseten ψj = 0, azaz
Xt =∞∑j=0
ψjZt−j .
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 41 / 165
Stacionarius folyamatok linearis szureseAllıtas. Legyen {Yt} egy nulla varhato erteku stacionarius folyamat γY autokovariancia-fuggvennyel. Ha
∑∞j=−∞ |ψj | <∞ (a {ψj} sorozat abszolut szummabilis), akkor az
Xt =∞∑
j=−∞ψjYt−j = Ψ(B)Yt
szurt folyamat szinten nulla varhato erteku es stacionarius, autokovariancia-fuggvenye pedig
γX (h) =∞∑
j=−∞
∞∑k=−∞
ψjψkγY (h + k − j).
Amennyiben {Yt} ∼WN(0, σ2), azaz {Xt} egy linearis folyamat,
γX (h) =∞∑
j=−∞ψjψj+hσ
2.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 42 / 165
Bizonyıtas
Legyen Sn,t :=∑n
j=−n ψjYt−j az n-edik reszletosszege az Xt-t definialo sornak es legyen m < n.
E(Sn,t − Sm,t
)2= E
( ∑j :(m+1)≤|j|≤n
ψjYt−j
)2
≤∑
j :(m+1)≤|j|≤n
∑k:(m+1)≤|k|≤n
∣∣ψjψkE(Yt−jYt−k)∣∣
≤ γY (0)∑
j :(m+1)≤|j|≤n
∑k:(m+1)≤|k|≤n
∣∣ψjψk
∣∣ ≤ γY (0)
( ∑j :(m+1)≤|j|≤n
∣∣ψj
∣∣)2
→ 0, ha m, n→∞.
Sn,t negyzetes kozepben Cauchy sorozat, ıgy Sn,tL2−→ Xt , ha n→∞. Xt jol definialt. EYt = 0, ıgy
E(Xt
)=
∞∑j=−∞
ψjE(Yt−j
)= 0.
γx(h) = E(Xt+hXt
)= E
[( ∞∑j=−∞
ψjYt+h−j
)( ∞∑k=−∞
ψkYt−k
)]=
∞∑j=−∞
∞∑k=−∞
ψjψkE(Yt+h−jYt−k
)=
∞∑j=−∞
∞∑k=−∞
ψjψkγY (h + k − j).
Ha {Yt} ∼WN(0, σ2), akkor γY (h + k − j) = σ2 ha k = j − h, es 0 egyebkent. �
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 43 / 165
Pelda. Stacionarius AR(1) folyamat
Stacionarius AR(1) folyamat: azXt = φXt−1 + Zt , t ∈ Z, (1)
stacionarius megoldasa, ahol {Zt} ∼WN(0, σ2), |φ| < 1, es tetszoleges s < t eseten Xs es Zt korrelalatlan.
Egzisztencia: Legyen
Xt :=∞∑j=0
φjZt−j .
Mivel |φ| < 1, ıgy∑∞
j=0 |φj | <∞, azaz az {Xt} linearis folyamat jol definialt.
{Xt} megoldja az (1) egyenletet es stacionarius 0 varhato ertekkel. Autokovariancia-fuggvenye:
γx(h) =∞∑j=0
φjφj+hσ2 =σ2φh
1− φ2, h ≥ 0.
Unicitas: Legyen {Yt} az (1) egyenlet tetszoleges stacionarius megoldasa, azaz EY 2t <∞ es fuggetlen t-tol.
Yt = φYt−1 + Zt = Zt + φZt−1 + φ2Yt−2 = · · · = Zt + φZt−1 + · · ·φkZt−k + φk+1Yt−k−1.
E(Yt −
k∑j=0
φjZt−j
)2= φ2k+2EY 2
t−k−1 → 0, ha k →∞.
Igy Yt megegyezik a∑∞
j=0 φjZt−j negyzetes kozepben vett osszeggel, ami az Xt definıcioja is. �
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 44 / 165
Linearis szurok egymas utani alkalmazasa
{Yt}: nulla varhato erteku stacionarius folyamat.
Linearis szurok:
α(B) =∞∑
j=−∞αjB
j , β(B) =∞∑
j=−∞βjB
j , ahol∞∑
j=−∞|αj | <∞,
∞∑j=−∞
|βj | <∞.
A ket szuro egymas utani alkalmazasaval (konvoluciojaval) kapott folyamat:
Wt = Ψ(B)Yt =∞∑
j=−∞ψjYt−j , ahol
Ψ(B) = α(B)β(B) = β(B)α(B), azaz ψj =∞∑
k=−∞αkβj−k =
∞∑k=−∞
βkαj−k .
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 45 / 165
Pelda. Stacionarius AR(1) folyamat eloallıtasa
AR(1) egyenlet:
Xt = φXt−1 + Zt ⇐⇒ Xt − φXt−1 = Zt ⇐⇒ Φ(B)Xt = Zt , ahol Φ(B) = 1− φB.
A Φ(x) = 1− φx polinom inverze: Π(x) :=1
Φ(x)=
1
1− φx =∞∑j=0
φjx j .
Ha |φ| < 1, akkor a Π(B) =∑∞
j=0 φjB j linearis szuro jol definialt es Ψ(B) := Π(B)Φ(B) = 1.
Alkalmazzuk a Π(B) operatort a Φ(B)Xt = Zt egyenlet mindket oldalara:
Xt = Π(B)Zt =∞∑j=0
φjZt−j .
Pelda. AR(1) folyamat |φ| > 1 eseten
Xt =−φ−1Zt+1+φ−1Xt+1 =−φ−1Zt+1−φ−2Zt+2+φ−2Xt+2 = · · · =−φ−1Zt+1−· · ·−φ−k−1Zt+k+1+φ−k−1Xt+k+1.
Az AR(1) egyenlet egyertelmu stacionarius megoldasa: Xt = −∞∑j=1
φ−jZt+j .
Problema: Xt a zajfolyamat jovobeli ertekeitol fugg, s < t eseten Xs es Zt nem korrelalatlan. Az {Xt}idosor nem kauzalis.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 46 / 165
Az ARMA(1,1) folyamatDefinıcio. Az {Xt} idosort ARMA(1,1) folyamatnak nevezzuk, ha stacionarius es tetszole-ges t eseten eleget tesz az
Xt − φXt−1 = Zt + θZt−1 (2)
egyenletnek, ahol {Zt} ∼WN(0, σ2) es φ+ θ 6= 0.
Stacionarius megoldas meghatarozasa. A (2) egyenlet operatorokkal felırt alakja:
Φ(B)Xt = Θ(B)Zt , ahol Φ(B) = 1− φB es Θ(B) = 1 + θB.
Ha |φ| < 1, akkor a Π(B) =∑∞
j=0 φjB j linearis szuro jol definialt es Π(B)Φ(B) = 1.
Xt = Π(B)Θ(B)Zt = (1 + φB + φ2B2 + · · · )(1 + θB)Zt
=(1 + (φ+ θ)B + (φ+ θ)φB2 + (φ+ θ)φ2B3 + · · ·
)Zt = Zt + (φ+ θ)
∞∑j=1
φj−1Zt−j .
{Xt} egy MA(∞) folyamat, (2) egyertelmu stacionarius megoldasa. Kauzalis, Xt csak a Zs , s≤ t, fuggvenye.
Ha |φ| > 1, akkor a Φ(B) operator inverze X (B) = −∑∞
j=1 φ−jB−j .
Xt = X (B)Θ(B)Zt = −θφ−1Zt − (φ+ θ)∞∑j=1
φ−j−1Zt+j .
{Xt} a (2) egyertelmu stacionarius megoldasa. Nem kauzalis.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 47 / 165
InvertalhatosagARMA(1,1) folyamat:
Xt − φXt−1 = Zt + θZt−1, {Zt} ∼WN(0, σ2), φ+ θ 6= 0.
Ha Zt kifejezheto az Xs , s ≤ t fuggvenyekent, akkor az {Xt} idosor invertalhato.
Az invertalhatosag vizsgalata. Ha |θ|<1, akkor a Θ(B) = 1+θB operator inverze Ξ(B)=∑∞
j=0(−θ)jB j ,ami jol definialt (az egyutthatok abszolut szummabilisek). A Φ(B)Xt = Θ(B)Zt egyenletbol:
Zt = Ξ(B)Φ(B)Xt = (1− θB + (−θ)2B2 + · · · )(1− φB)Zt = Xt − (φ+ θ)∞∑j=1
(−θ)j−1Xt−j .
|θ| < 1 eseten az ARMA(1,1) folyamat invertalhato.
Ha |θ| > 1, akkor
Zt = −φθ−1Xt + (φ+ θ)∞∑j=1
(−θ)−j−1Xt+j .
|θ| > 1 eseten az ARMA(1,1) folyamat nem invertalhato
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 48 / 165
Az ARMA(1,1) folyamat stacionaritasaARMA(1,1) folyamat:
Xt − φXt−1 = Zt + θZt−1, {Zt} ∼WN(0, σ2), φ+ θ 6= 0.
Az ARMA(1,1) folyamatot definialo egyenletnek pontosan akkor letezik stacionariusmegoldasa, ha φ 6= ±1.
Ha |φ| < 1, akkor az {Xt} idosor kauzalis, az egyertelmu stacionarius megoldas:
Xt = Zt + (φ+ θ)∞∑j=1
φj−1Zt−j . EXt = 0, Var(Xt) = σ2(
1 +(φ+ θ)2
1− φ2
).
Ha |φ| > 1, akkor az {Xt} idosor nem kauzalis, az egyertelmu stacionarius megoldas:
Xt = −θφ−1Zt − (φ+ θ)∞∑j=1
φ−j−1Zt+j .
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 49 / 165
Az ARMA(1,1) folyamat invertalhatosagaARMA(1,1) folyamat:
Xt − φXt−1 = Zt + θZt−1, {Zt} ∼WN(0, σ2), φ+ θ 6= 0.
Ha |θ| < 1, akkor az {Xt} idosor invertalhato:
Zt = Xt − (φ+ θ)∞∑j=1
(−θ)j−1Xt−j .
Ha |θ| > 1, akkor az {Xt} idosor nem invertalhato:
Zt = −φθ−1Xt + (φ+ θ)∞∑j=1
(−θ)−j−1Xt+j .
Megjegyzes. Ha |φ| > 1, es |θ| > 1, azaz az {Xt} idosor se nem kauzalis, se nem inver-talhato, akkor konstrualhato olyan {Wt} feher zaj, hogy {Xt} a {Wt} zajra nezve markauzalis es invertalhato lesz. Elegendo csak a kauzalis es invertalhato ARMA(1,1) folyamatok-kal foglalkozni.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 50 / 165
A mintaatlag konvergenciajaAllıtas. Legyen {Xt} egy stacionarius idosor, aminek varhato erteke µ, autokovariancia-fuggvenye pedig γ(h), valamint legyen Xn = 1
n (X1 + X2 + · · ·+ Xn). Ekkor n→∞ eseten
Var(Xn) = E(Xn − µ)2 → 0, ha γ(n)→ 0,
nE(Xn − µ)2 →∞∑
h=−∞γ(h), ha
∞∑h=−∞
∣∣γ(h)∣∣ <∞.
Bizonyıtas. A stacionaritas miatt E(Xn) = µ.
E(Xn − µ)2 = Var(Xn) =1
n2
n∑k=1
n∑`=1
Cov(Xk ,X`) =1
n2
n∑k−`=−n
(n − |k − `|
)γ(k − `) =
1
n
n∑h=−n
(1− |h|
n
)γ(h).
Ha h→∞ eseten γ(h)→ 0, akkor n→∞ mellett az egyenloseg jobb oldala nullahoz tart. Igy XnL2−→ µ.
Ha∑∞
h=−∞
∣∣γ(h)∣∣ <∞, akkor a dominalt konvergencia tetel miatt
limn→∞
nE(Xn − µ)2 = limn→∞
n∑h=−n
(1− |h|
n
)γ(h) =
∞∑h=−∞
γ(h).
�Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 51 / 165
Konfidenciaintervallum a mintaatlagra{Xt}: stacionarius, Gauss idosor.
n1/2(Xn − µ) ∼ N
(0,
n∑h=−n
(1− |h|
n
)γ(h)
).
Linearis folyamatokra (pl. ARMA) nagy n eseten Xn eloszlasa kozel N(µ, 1n
∑∞h=−∞ γ(h)
).
Nagy n eseten 95 %-os aszimptotikus konfidenciaintervallum a µ varhato ertekre:(Xn − 1.96ν1/2/
√n, Xn + 1.96ν1/2/
√n), ahol ν =
∞∑h=−∞
γ(h).
ν nagymintas becslese: ν =∑√n
h=−√n
(1− |h|/
√n)γ(h).
Pelda. µ varhato erteku AR(1) folyamat: Xt − µ = φ(Xt−1 − µ) + Zt , ahol |φ| < 1 es {Zt} ∼WN(0, σ2).
γ(h) =σ2φ|h|
1− φ2, ıgy ν =
(1 + 2
∞∑h=1
φh
)σ2
1− φ2=
σ2
(1− φ)2.
A φ es σ erteke alalaban nem ismert, a becsleseikkel helyettesıtendoek.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 52 / 165
Az autokorrelacio-fuggveny aszimptotikajaAz autokovariancia- es autokorrelacio fuggveny becslesei:
γ(h) =1
n
n−|h|∑t=1
(Xt+|h| − Xn
)(Xt − Xn
)es %(h) =
γ(h)
γ(0), −n < h < n.
Mindket becsles torzıtott, de eleg nagy n eseten a torzıtas mar elhanyagolhato.
Tetel. Legyen {Xt} egy stacionarius linearis folyamat, azaz
Xt − µ =∞∑
j=−∞ψjZt−j , {Zt} ∼ IID(0, σ2), ahol
∞∑j=−∞
|ψj | <∞ es EZ 4t <∞.
Ekkor tetszoleges k eseten a %k =(%(1), %(2), . . . , %(k)
)>aszimptotikusan normalis %k
varhato ertek vektorral es n−1W kovarianciamatrixszal, ahol %k =(%(1), %(2), . . . , %(k)
)>,
a W =[wij
]ki ,j=1
matrix elemei pedig a Bartlett formulaval adhatoak meg, azaz
wij =∞∑k=1
{%(k + i) + %(k − i)− 2%(i)%(k)
}{%(k + j) + %(k − j)− 2%(j)%(k)
}.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 53 / 165
Peldak
A kovarianciamatrix elemei: wij =∑∞
k=1
{%(k + i) + %(k − i)− 2%(i)%(k)
}{%(k + j) + %(k − j)− 2%(j)%(k)
}.
1. Fuggeten, azonos eloszlasu zaj. Ha {Xt} ∼ IID(0, σ2), akkor %(h) = 0, ha |h| > 0.
wij =
{1, ha i = j ,
0, ha i 6= j .
Nagy n eseten a %(1), %(2), . . . , %(k) becslesek kozelıtoleg fuggetlen normalisak 0 varhato ertekkel es 1/nszorasnegyzettel.
2. MA(1) folyamat. Ha {Xt} MA(1) folyamat, azaz Xt = Zt + θZt−1, ahol {Zt} ∼WN(0, σ2), akkor
%(h) =
1, ha h = 0,
θ/(1 + θ2
), ha h = ±1,
0, ha |h| > 1.
Nagy n eseten n−1/2(%(h)− %(h)
)szorasnegyzete kozel whh, ahol
whh =
{1− 3%2(1) + 4%4(1), ha h = 1,
1 + 2%2(1), ha h > 1.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 54 / 165
Peldak
A kovarianciamatrix elemei: wij =∑∞
k=1
{%(k + i) + %(k − i)− 2%(i)%(k)
}{%(k + j) + %(k − j)− 2%(j)%(k)
}.
3. AR(1) folyamat. Ha {Xt} stacionarius AR(1) folyamat, azaz
Xt = φXt−1 + Zt , ahol |φ| < 1 es {Zt} ∼ IID(0, σ2),
akkor %(h) = φ|h|.
Nagy n eseten n−1/2(%(h)− %(h)
)szorasnegyzete kozel whh, ahol
whh =h∑
k=1
φ2h(φ−k − φk)2 +∞∑
k=h+1
φ2k(φ−h − φh)2 =(1− φ2h)(1 + φ2)
1− φ2− 2hφ2h.
95 %-os becsult aszimptotikus konfidenciaintervallum a %(h) becsult autokorrelaciora:(%(h)− 1.96
√whh/n, %(h) + 1.96
√whh/n
).
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 55 / 165
Stacionarius folyamat linearis predikcioja{Xt}: stacionarius idosor ismert µ varhato ertekkel es γ autokovariancia-fuggvennyel.
Cel. Hatarozzuk meg az Xn+h, h > 0 ertekenek az {Xn,Xn−1, . . . ,X1} megfigyelesekenalapulo negyzetes kozepben vett legjobb linearis predikciojat. A PnXn+h predikcio alakja:
PnXn+h = a0 + a1Xn + a2Xn−1 + · · ·+ anX1.
Pn: az {X1,X2, . . . ,Xn} veges multon alapulo predikcios operator.
PnXn+h: az Xn+h ortogonalis projekcioja az {X1,X2, . . . ,Xn} altal felfeszıtett alterre.
Minimalizalando fuggveny:
S(a0, a1, . . . , an) = E(Xn+h − a0 − a1Xn − a2Xn−1 − · · · − anX1
)2.
S alulrol korlatos, kvadratikus fuggveny. Biztosan letezik egy (a0, a1, . . . , an) minimumhelye,melyre
∂S(a0, a1, . . . , an)
∂aj= 0, j = 0, 1, . . . , n.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 56 / 165
A normalegyenletek megoldasa
Minimalizalando fuggveny: S(a0, a1, . . . , an) = E(Xn+h − a0 − a1Xn − a2Xn−1 − · · · − anX1
)2.
Normalegyenletek:
E
[Xn+h − a0 −
n∑i=1
aiXn+1−i
]= 0 ⇐⇒ a0 = µ
(1−
n∑i=1
ai
),
E
[(Xn+h − a0 −
n∑i=1
aiXn+1−i
)Xn+1−j
]= 0 ⇐⇒ γ(h + j − 1) =
n∑i=1
aiγ(i − j), j = 1, 2, . . . , n.
Matrix alak: Γnan = γn(h), ahol
Γn =[γ(i − j)
]ni,j=1
, an = (a1, a2, . . . , an)>, γn(h) =(γ(h), γ(h + 1), . . . , γ(h + n − 1)
)>.
Az Xn+h negyzetes kozepben vett legjobb linearis predikcioja:
PnXn+h = µ+n∑
i=1
ai(Xn+1−i − µ
), ahol an a Γnan = γn(h) egyenletrendszer megoldasa.
A predikcio hibaja:
E(Xn+h − PnXn+h
)2= γ(0)− 2
n∑i=1
aiγ(h + i − 1) +n∑
i=1
n∑j=1
aiγ(i − j)aj = γ(0)− a>n γn(h).
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 57 / 165
A predikcio tulajdonsagai{Xt}: stacionarius idosor ismert µ varhato ertekkel es γ autokovariancia-fuggvennyel.
PnXn+h: az Xn+h, h > 0 ertekenek az {Xn,Xn−1, . . . ,X1} megfigyeleseken alapulo negy-zetes kozepben vett legjobb linearis predikcioja.
Tulajdonsagok
1 PnXn+h = µ+n∑
i=1
ai(Xn+1−i − µ
), ahol γ(h + j − 1) =
n∑i=1
aiγ(i − j), j =1, 2, . . . , n.
2 E(Xn+h − PnXn+h
)2= γ(0)−
n∑i=1
aiγ(h + i − 1).
3 E(Xn+h − PnXn+h
)= 0.
4 E[(Xn+h − PnXn+h
)Xj
]= 0, j = 1, 2, . . . , n.
Megjegyzes. Legyen Yt = Xt − µ. Ekkor PnXn+h = µ+ PnYn+h, azaz elegendo a µ = 0esettel foglalkozni.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 58 / 165
Pelda: AR(1) folyamat egylepeses predikcioja
Stacionarius AR(1) folyamat:
Xt = φXt−1 + Zt , t ∈ Z, {Zt} ∼WN(0, σ2), |φ| < 1.
Az Xn+1 ertekenek az {Xn,Xn−1, . . . ,X1} megfigyeleseken alapulo negyzetes kozepben vett legjobb linearispredikcioja:
PnXn+1 =n∑
i=1
aiXn+1−i = a>n X n, ahol an = (a1, a2, . . . , an)>, X n = (Xn,Xn−1, . . . ,X1)>,
valamint 1 φ φ2 · · · φn−1
φ 1 φ · · · φn−2
......
.... . .
...φn−1 φn−2 φn−3 · · · 1
a1a2...an
=
φφ2
...φn
.Megoldas: an = (φ, 0, . . . , 0)>.
PnXn+1 = φXn, E(Xn+1−PnXn+1
)2= γ(0)−
n∑i=1
aiγ(i) = γ(0)−φγ(1) = γ(0)(1−φ2) =
σ2
1− φ2
(1−φ2) = σ2.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 59 / 165
Rekurzıv becslesek
{Xt}: stacionarius idosor 0 varhato ertekkel es ismert γ autokovariancia-fuggvennyel.
Xn+1 egylepeses predikcioja az {Xn,Xn−1, . . . ,X1} alapjan:
PnXn+1 = φn1Xn + φn2Xn−1 + · · ·+ φnnX1 = φ>n X n.
Γn =[γ(i − j)
]ni ,j=1
regularis: az egyutthatokat definialo egyenletrendszer megoldasa
φn = Γ−1n γn, ahol γn =(γ(1), γ(2), . . . , γ(n)
)>.
A predikcio negyzetes kozepben vett hibaja:
νn := E(Xn+1 − PnXn+1
)2= γ(0)− φ>n γn = γ(0)− γ>n Γ−1n γn.
Rekurzıv algoritmus. Allıtsuk elo az Xn+2 egylepeses Pn+1Xn+2 predikciojat a PnXn+1
predikcio φn egyutthatoi segıtsegevel.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 60 / 165
Durbin-Levinson algoritmusTetel. Legyen {Xt} egy stacionarius idosor nulla varhato ertekkel es γ autokovariancia-fuggvennyel, melyre γ(0) > 0 es h→∞ eseten γ(h)→ 0. Ekkor a
PnXn+1 = φn1Xn + φn2Xn−1 + · · ·+ φnnX1
egyepeses predikcio φnj egyutthatoira es νn = E(Xn+1 − PnXn+1
)2negyzetes hibajara
teljesulnek az alabbi rekurzıv osszefuggesek.
φnn =
[γ(n)−
n−1∑j=1
φn−1,j γ(n − j)
]ν−1n−1, φn1
...φn,n−1
=
φn−1,1...
φn−1,n−1
− φnnφn−1,n−1...φn−1,1
,valamint
νn = νn−1[1− φ2nn
],
ahol φ11 = γ(1)/γ(0), ν0 = γ(0).Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 61 / 165
Bizonyıtas
Legyen
γn =(γ(1), γ(2), . . . , γ(n)
)>, γ(r)
n =(γ(n), γ(n − 1), . . . , γ(1)
)>,
φn =(φn1, φn2, . . . , φnn
)>φ(r)
n =(φnn, φn,n−1, . . . , φn1
)>.
Rekurzio: φ11 = γ(1)/γ(0), ν0 = γ(0),
φnn =[γ(n)−
(γ
(r)n−1
)>φn−1
]ν−1n−1,
(φn1, φn2, . . . , φn,n−1
)>= φn−1 − φnn φ
(r)n−1, νn = νn−1
[1− φ2
nn
].
1. lepes. A rekurzionak eleget tevo φn megoldasa a Γnφn =γn egyenletnek, ahol Γn =[γ(i−j)
]ni,j=1
.
Teljes indukcio. Mivel Γ1 =γ(0), γ1 =γ(1), φ1 =φ11, az n = 1 esetben teljesul az allıtas, azaz Γ1φ1 =γ1.
Legyen n = k, es tegyuk fel, hogy φk megoldasa a Γkφk = γk egyenletnek. Ekkor Γkφ(r)k = γ
(r)k is igaz.
Γk+1φk+1 =
[Γk γ
(r)k(
γ(r)k
)>γ(0)
] [φk − φk+1,k+1 φ
(r)k
φk+1,k+1
]=
[Γkφk − φk+1,k+1 Γkφ
(r)k + φk+1,k+1γ
(r)k(
γ(r)k
)>φk − φk+1,k+1 (γ
(r)k
)>φ
(r)k + γ(0)φk+1,k+1
]
=
[γk − φk+1,k+1γ
(r)k + φk+1,k+1γ
(r)k(
γ(r)k
)>φk − φk+1,k+1
[γ(0)− (γ
(r)k
)>φ
(r)k
]] =
[γk(
γ(r)k
)>φk − φk+1,k+1νk
]=
[γk
γ(k+1)
]= γk+1,
mivel νn = γ(0)− γ>n φn = γ(0)− (γ(r)n
)>φ(r)
n .
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 62 / 165
Bizonyıtas
Rekurzio: φ11 = γ(1)/γ(0), ν0 = γ(0),
φnn =[γ(n)−
(γ
(r)n−1
)>φn−1
]ν−1n−1,
(φn1, φn2, . . . , φn,n−1
)>= φn−1 − φnn φ
(r)n−1, νn = νn−1
[1− φ2
nn
].
2. lepes. A νn = E(Xn+1 − φ>n X n
)2negyzetes hibara teljesul, hogy ν0 = γ(0) es νn = νn−1
[1− φ2
nn
].
Mivel P0X1 := EX1 = 0, a kapcsolodo negyzetes hiba ν0 = E(X1 − 0
)2= Var(X1) = γ(0).
Mivel PnXn+1 = φ>n X n az Xn+1 negyzetes kozepben vett legjobb linearis becslese,
νn = γ(0)− φ>n γn = γ(0)−(φn1, φn2, . . . , φn,n−1
)>γn−1 − φnnγ(n)
= γ(0)− φ>n−1γn−1 + φnn
(φ
(r)n−1
)>γn−1 − φnnγ(n) = νn−1 − φnn
(γ(n)−
(φ
(r)n−1
)>γn−1
)= νn−1 − φ2
nnνn−1 = νn−1
[1− φ2
nn
].
�
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 63 / 165
Egylepeses predikcio altalanos idosor eseten{Xt}: idosor nulla varhato ertekkel es veges masodik momentummal, azaz EX 2
t <∞, t ∈ Z.
Negyzetes kozepben vett legjobb egylepeses linearis prediktor:
Xn+1 =
{0, ha n = 0,
PnXn+1, ha n = 1, 2, . . . ,ahol PnXn+1 =
n∑`=1
an`Xn+1−`.
Az egylepeses predikcio hibaja, innovacio: Un = Xn − Xn.
Matrixos alak: Un = AnX n, ahol Un = (U1,U2, . . . ,Un)>, X n = (X1,X2, . . . ,Xn)>, es
An =
1 0 0 · · · 0−a11 1 0 · · · 0−a22 −a21 1 · · · 0
......
.... . .
...−an−1,n−1 −an−1,n−2 −an−1,n−3 · · · 1
.An regularis. Ha {Xt} stacionarius, ak` = a`.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 64 / 165
A prediktor kiszamıtasaEgylepeses predikcio-vektor: X n :=
(0,P1X2, . . . ,Pn−1Xn
)>.
Innovacio-vektor: Un = X n − X n = AnX n.
X n = X n−Un = CnUn−Un = ΘnUn = Θn
(X n−X n
), ahol Cn = A−1n , Θn = Cn−In,
Cn =
1 0 0 · · · 0θ11 1 0 · · · 0θ22 θ21 1 · · · 0
......
.... . .
...θn−1,n−1 θn−1,n−2 θn−1,n−3 · · · 1
, Θn =
0 0 0 · · · 0
θ11 0 0 · · · 0θ22 θ21 0 · · · 0
......
.... . .
...θn−1,n−1 θn−1,n−2 θn−1,n−3 · · · 0
.
Rekurzio az egylepeses prediktorra:
Xn+1 =
{0, ha n = 0,∑n
`=1 θn`(Xn+1−` − Xn+1−`
), ha n = 1, 2, . . . .
Szukseg van a θn` egyutthatokra. Rekurzıvan szamolhatoak.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 65 / 165
Innovacios algoritmusTetel. Legyen {Xt} egy idosor nulla varhato ertekkel es legyen κ(i , j) := E
(Xi ,Xj
), ahol a[
κ(i , j)]ni ,j=1
matrixrol feltesszuk, hogy tetszoleges n ∈ N eseten regularis. Ekkor az Xn+1
egylepeses prediktor es annak νn := E(Xn+1 − Xn+1
)2negyzetes hibaja a kovetkezokeppen
adhato meg:
Xn+1 =
{0, ha n = 0,∑n
`=1 θn`(Xn+1−` − Xn+1−`
), ha n = 1, 2, . . . ,
valamintν0 = κ(1, 1),
θn,n−k = ν−1k
(κ(n + 1, k + 1)−
∑k−1`=0 θk,k−` θn,n−` ν`
), k = 0, 1, . . . , n − 1,
νn = κ(n + 1, n + 1)−∑n−1
`=0 θ2n,n−` ν`.
Megjegyzes. Az θn` egyutthatokat es a νn hibat megado egyenleteknel a rekurzio:
ν0; θ11, ν1; θ22, θ21, ν2; θ33, θ32, θ31, ν3; . . . .
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 66 / 165
Kulonbsegek a ket algoritmus kozottDurbin-Levinson algoritmus: Az Xn+1 predikcioja az Xn,Xn−1, . . . ,X1 mult
Xn+1 =n∑`=1
φn`Xn+1−`
alaku linearis kombinacioja. Az algoritmus ennek a φn` egyutthatoit adja meg.
Innovacios algoritmus: Az Xn+1 predikcioja az Xn − Xn,Xn−1 − Xn−1, . . . ,X1 − X1 mult
Xn+1 =n∑`=1
θn`(Xn+1−` − Xn+1−`
)alaku linearis kombinacioja, ahol az Xn − Xn,Xn−1 − Xn−1, . . . ,X1 − X1 innovacok korrela-latlanok. Az algoritmus ennek a θn` egyutthatoit adja meg.
A θn0 = 1 valasztassal megadhato az Xn+1 reprezentacioja is az innovaciok fuggvenyekent:
Xn+1 = Xn+1 − Xn+1 + Xn+1 =n∑`=0
θn`(Xn+1−` − Xn+1−`
).
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 67 / 165
Pelda: MA(1) folyamat egylepeses predikcioja
Innovacios algoritmus: Xn+1 =∑n`=1 θn`
(Xn+1−` − Xn+1−`
), n = 1, 2, . . . , ahol
ν0 = κ(1, 1),
θn,n−k = ν−1k
(κ(n + 1, k + 1)−
∑k−1`=0 θk,k−` θn,n−` ν`
), k = 0, 1, . . . , n − 1,
νn = κ(n + 1, n + 1)−∑n−1`=0 θ
2n,n−` ν`.
MA(1) folyamat: Xt = Zt + θZt−1, t ∈ Z, ahol {Zt} ∼WN(0, σ2).
Kovarianciak: κ(i , i) = σ2(1 + θ2
); κ(i , i + 1) = σ2θ; κ(i , j) = 0, ha |i − j | > 1.
Rekurzio:
ν0 = σ2(1 + θ2), θn` = 0, ` = 2, 3, . . . , n,
θn1 = ν−1n−1σ
2θ, νn = σ2[1 + θ2 − ν−1n−1σ
2θ2].
Egylepeses prediktor:Xn+1 = θn1
(Xn − Xn
).
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 68 / 165
Pelda: MA(1) folyamat egylepeses predikcioja
Rekurzio: ν0 = σ2(1 + θ2
), θn` = 0, ` = 2, 3, . . . , n, θn1 = ν−1
n−1σ2θ, νn = σ2
[1 + θ2 − ν−1
n−1σ2θ2].
MA(1) folyamat egylepeses predikcioja: Xn+1 = θn1(Xn − Xn
). Negyzetes hiba: νn := E
(Xn+1 − Xn+1
)2.
MA(1) folyamat: Xt = Zt − 0.8Zt−1, t ∈ Z, ahol {Zt} ∼WN(0, 1).
ν0 = 1.6400,
θ11 = −0.4878, ν1 = 1.2498,
θ21 = −0.6401, θ22 = 0, ν2 = 1.1279,
θ31 = −0.7093, θ32 = 0, θ33 = 0, ν3 = 1.0726,
θ41 = −0.7459, θ42 = 0, θ43 = 0, θ44 = 0, ν4 = 1.0433.
Ha |θ| < 1, akkor n→∞ eseten θn1 → θ es νn → σ2.
Durbin-Levinson algoritmus: Xn+1 =∑n`=1 φn`Xn+1−`.
ν0 = 1.6400,
φ11 = −0.4878, ν1 = 1.2498,
φ21 = −0.6401, φ22 = −0.3123, ν2 = 1.1279,
φ31 = −0.7093, φ32 = −0.4540, φ33 = −0.2215, ν3 = 1.0726,
φ41 = −0.7459, φ42 = −0.5290, φ43 = −0.3386, φ44 = −0.1652, ν4 = 1.0433.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 69 / 165
Rekurzio a h-lepeses prediktorraPnXn+h: az Xn+h ortogonalis projekcioja az {Xn,Xn−1, . . . ,X1} altal felfeszıtett alterbe.
Pn
(Xn+k − Pn+k−1Xn+k
)= Pn
(Xn+k − Xn+k
)= 0, k ≥ 1.
Ezek alapjan
PnXn+h = PnPn+h−1Xn+h = PnXn+h = Pn
(n+h−1∑j=1
θn+h−1,j
(Xn+h−j − Xn+h−j
))
=n+h−1∑j=1
θn+h−1,jPn
(Xn+h−j − Xn+h−j
)=
n+h−1∑j=h
θn+h−1,j
(Xn+h−j − Xn+h−j
).
Negyzetes hiba:
E(Xn+h − PnXn+h
)2= EX 2
n+h − E(PnXn+h
)2= κ(n + h, n + h)−
n+h−1∑j=h
θ2n+h−1,jνn+h−j−1,
ahol κ(i , j) = EXiXj ismert, θn,j es νj az innovacios algoritmusbol szamolhato.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 70 / 165
Predikcio vegtelen multbolPm,nXn+h: az Xn+h legjobb predikcioja az Xm, . . . ,X0,X1, . . . ,Xn (m < 0) alapjan.
Nagy |m| eseten jol kozelıti az alabbi negyzetes kozepben vett hatarertek:
PnXn+h = l.i.m.m→∞
Pm,nXn+h.
Pn: az {Xt ,−∞ < t ≤ n} vegtelen multon alapulo predikcios operator.
{Xt}: stacionarius idosor 0 varhato ertekkel es ismert γ autokovariancia-fuggvennyel.
Normalegyenletek: E[(Xn+h − PnXn+h
)Xn+1−i
]= 0, i = 1, 2, . . . .
Lehetseges megoldasi mod, ha feltesszuk, hogy a predikcio linearis: PnXn+h =∞∑j=1
αjXn+1−j .
E
[(Xn+h −
∞∑j=1
αjXn+1−j
)Xn+1−i
]= 0 ⇐⇒
∞∑j=1
γ(i−j)αj = γ(h+i−1), i = 1, 2, . . . .
Az egyenletrendszer megoldasa meghatarozza a PnXn+h predikciot, ha a sor konvergens.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 71 / 165
Pelda: ARMA(1,1) folyamat
{Xt}: kauzalis, invertalhato ARMA(1,1) folyamat.
Xt − φXt−1 = Zt + θZt−1, ahol {Zt} ∼WN(0, σ2), φ+ θ 6= 0, |φ| < 1, |θ| < 1.
Kauzalitas: Xn+1 = Zn+1 + (φ+ θ)∞∑j=1
φj−1Zn+1−j . Invertalhatosag: Zn+1 = Xn+1− (φ+ θ)∞∑j=1
(−θ)j−1Xn+1−j .
E
[(Xn+1 − (φ+ θ)
∞∑j=1
(−θ)j−1Xn+1−j
)Xn+1−i
]= E
(Zn+1Xn+1−i
)= 0, i = 1, 2, . . . ,
azaz
PnXn+1 = (φ+ θ)∞∑j=1
(−θ)j−1Xn+1−j .
Az elozohoz hasonloan:
PnXn+1 = (φ+ θ)∞∑j=1
φj−1Zn+1−j .
Ezek alapjan Xn+1 − PnXn+1 = Zn+1, a predikcio negyzetes hibaja EZ 2n+1 = σ2.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 72 / 165
Wold felbontasDefinıcio. Azt mondjuk, hogy az {Xt} idosor determinisztikus, ha E
(Xn+1 − PnXn+1
)2= 0,
ahol Pn az {Xt ,−∞ < t ≤ n} vegtelen multon alapulo predikcios operator.
Pelda.Xt = A cos(ωt) + B sin(ωt),
ahol ω ∈ (0, π), valamint A es B korrelalatlan valoszınusegi valtozok nulla varhato ertekkel es σ2 szoras-negyzettel.
Xn = (2 cosω)Xn−1 − Xn−2 = Pn−1Xn, n ∈ Z.
Az {Xt} stacionarius idosor determinisztikus.
Tetel (Wold felbontas). Ha {Xt} egy nem determinisztikus stacionarius idosor, akkor
Xt =∞∑j=0
ψjZt−j + Vt , ahol
1 ψ0 = 1,∑∞
j=0 ψ2j <∞,
2 {Zt} ∼WN(0, σ2),
3 Cov(Zs ,Vt) = 0, ∀ s, t ∈ Z,
4 Zt = PtZt , ∀ t ∈ Z,
5 Vt = PsVt , ∀ s, t ∈ Z,
6 {Vt} determinisztikus.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 73 / 165
ARMA(p, q) folyamatok
Definıcio. {Xt} egy ARMA(p,q) folyamat, ha stacionarius es tetszoleges t ∈ Z eseten
Xt − φ1Xt−1 − · · · − φpXt−p = Zt + θ1Zt−1 + · · ·+ θqZt−q, ahol {Zt} ∼WN(0, σ2),
valamint a Φ(z) = 1− φ1z − · · · − φpzp es Θ(z) = 1 + θ1z + · · ·+ θqzq polinomoknak
nincs kozos gyoke.
{Xt} egy µ varhato erteku ARMA(p, q) folyamat, ha {Xt − µ} egy ARMA(p, q) folyamat.
Operatoralak a B visszaleptetes operator segıtsegevel:
Φ(B)Xt = Θ(B)Zt .
{Xt} egy p-edrendu autoregresszıv folyamat (AR(p) folyamat), ha Θ(z) ≡ 1.
{Xt} egy q-adrendu mozgoatlag folyamat (MA(q) folyamat), ha Φ(z) ≡ 1.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 75 / 165
Stacionarius megoldasAz ARMA(1,1) folyamatnak pontosan akkor letezik stacionarius megoldasa, ha φ1 6= ±1.
Ekvivalens feltetel: Φ(z) = 1− φ1z 6= 0, ha z = ±1.
Allıtas. A Φ(B)Xt = Θ(B)Zt ARMA egyenletnek pontosan akkor letezik egy {Xt} stacio-narius megoldasa (ami egyertelmu megoldas), ha
Φ(z) = 1− φ1z − · · · − φpzp 6= 0, ha |z | = 1,
azaz a Φ(z) polinomnak nincs gyoke a komplex egysegkoron.
Bizonyıtas. Ha |z | = 1 eseten Φ(z) 6= 0, a gyoktenyezos felbontas miatt letezik δ > 0, melyre
1
Φ(z)=
∞∑j=−∞
χjzj , 1− δ < |z | < 1 + δ, valamint
∞∑j=−∞
|χj | <∞.
1/Φ(B) egy linearis szuro abszolut szummabilis egyutthatokkal: X (B) := 1/Φ(B) =∑∞
j=−∞ χjBj .
Xt = X (B)Φ(B)Xt = X (B)Θ(B)Zt = Ψ(B)Zt =∞∑
j=−∞
ψjZt−j , ahol Ψ(z) = X (z)Θ(z) =∞∑
j=−∞
ψjzj .
Egyertelmuseg igazolasa ugyanaz, mint az ARMA(1,1) eseten. �Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 76 / 165
KauzalitasDefinıcio. Az {Xt} ARMA(p, q) folyamat kauzalis, vagy a {Zt} zaj kauzalis fuggvenye, haletezik olyan {ψt} sorozat, melyre
∑∞j=0 |ψj | <∞ es
Xt =∞∑j=0
ψjZt−j , t ∈ Z.
Az ARMA(1,1) folyamat pontosan akkor kauzalis, ha |φ1| < 1.
Ekvivalens feltetel: Φ(z) = 1− φ1z 6= 0, ha |z | ≤ 1.
Allıtas. A Φ(B)Xt = Θ(B)Zt egyenlettel definialt {Xt} ARMA folyamat pontosan akkorkauzalis, ha
Φ(z) = 1− φ1z − · · · − φpzp 6= 0, ha |z | ≤ 1,
azaz a Φ(z) polinom gyokei kıvul esnek a komplex egysegkoron.
Bizonyıtas. Az 1/Φ(z) gyoktenyezos felbontasanak tagjai A/(1− αz)r alakuak. A feltetel mellett ezek mind-
egyikere teljesul, hogy |α| < 1. �
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 77 / 165
Az egyutthatok meghatarozasaARMA (p, q) folyamat:
Φ(B)Xt = Θ(B)Zt , ahol Φ(z) = 1− φ1z − · · · − φpzp, Θ(z) = 1 + θ1z + · · ·+ θqzq.
Kauzalis reprezentacio: .
Xt =Ψ(B)Zt , ahol Ψ(z) =∞∑j=0
ψjzj = Θ(z)/Φ(z) ⇐⇒ Φ(z)Ψ(z) = Θ(z), azaz
(1− φ1z − · · · − φpzp
)(ψ0 + ψ1z + ψ2z
2 + · · ·)
= 1 + θ1z + · · ·+ θqzq.
Egyenlove teve a z j , j = 0, 1, , 2 . . . , egyutthatoit:
1 = ψ0, θ1 = ψ1 − ψ0φ1, θ2 = ψ2 − ψ1φ1 − ψ0φ2, · · · ,
azaz
ψj −p∑
k=1
φkψj−k = θj , j = 0, 1, 2, . . . ,
ahol θ0 := 1, θj := 0 ha j > q, es ψj := 0, ha j < 0.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 78 / 165
InvertalhatosagDefinıcio. Az {Xt} ARMA(p, q) folyamat invertalhato, ha letezik olyan {πt} sorozat,melyre
∑∞j=0 |πj | <∞ es
Zt =∞∑j=0
πjXt−j , t ∈ Z.
Allıtas. A Φ(B)Xt = Θ(B)Zt egyenlettel definialt {Xt} ARMA folyamat pontosan akkorinvertalhato, ha
Θ(z) = 1 + θ1z + · · ·+ θqzq 6= 0, ha |z | ≤ 1,
azaz a Θ(z) polinom gyokei kıvul esnek a komplex egysegkoron.
Az egyutthatok meghatarozasa:
πj +
q∑k=1
θkπj−k = φj , j = 0, 1, 2, . . . ,
ahol φ0 := −1, φj := 0 ha j > p, es πj := 0, ha j < 0.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 79 / 165
Az autokovariancia-fuggveny meghatarozasa: MA(∞) reprezentacio{Xt} kauzalis ARMA (p, q) folyamat:
Φ(B)Xt = Θ(B)Zt , {Zt} ∼WN(0, σ2),
ahol Φ(z) = 1− φ1z − · · · − φpzp, Θ(z) = 1 + θ1z + · · ·+ θqzq.
MA(∞) eloallıtas:
Xt =∞∑j=0
ψjZt−j , ahol∞∑j=0
ψjzj = Θ(z)/Φ(z), |z | ≤ 1.
Az autokovariancia-fuggveny (ACVF) az MA(∞) reprezentacio alapjan:
γ(h) = E(Xt+hXt
)= σ2
∞∑j=0
ψjψj+|h|.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 80 / 165
Pelda. ARMA(1,1) folyamat
Kauzalis ARMA(1,1) folyamat: Xt − φXt−1 = Zt + θZt−1, ahol {Zt} ∼WN(0, σ2), |φ| < 1.
Autokovariancia-fuggveny:
γ(0) = σ2∞∑j=0
ψ2j = σ2
[1 + (φ+ θ)2
∞∑j=0
φ2j
]= σ2
[1 +
(φ+ θ)2
1− φ2
].
γ(1) = σ2∞∑j=0
ψj+1ψj = σ2
[φ+ θ + (φ+ θ)2φ
∞∑j=0
φ2j
]= σ2
[φ+ θ +
(φ+ θ)2φ
1− φ2
].
γ(h) = φh−1γ(1), h ≥ 2.
Pelda. MA(q) folyamat
MA(q) folyamat: Xt = Zt + θ1Zt−1 + · · ·+ θqZt−q, ahol {Zt} ∼WN(0, σ2).
Autokovariancia-fuggveny:
γ(h) =
{σ2∑q−|h|
j=0 θjθj+|h|, ha |h| ≤ q,
0, ha |h| > q,ahol θ0 := 1.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 81 / 165
Az autokovariancia-fuggveny meghatarozasa: differenciaegyenlet-rendszerARMA (p, q) egyenlet:
Xt − φ1Xt−1 − · · · − φpXt−p = Zt + θ1Zt−1 + · · ·+ θqZt−q, ahol {Zt} ∼WN(0, σ2).
Mindket oldal szorzoja: Xt−k =∑∞
j=0 ψjZt−k−j , k = 0, 1, 2, . . . . Varhato ertek:
γ(k)− φ1γ(k − 1)− · · · − φpγ(k − p) = σ2∞∑j=0
θk+jψj , 0 ≤ k < m, (3)
γ(k)− φ1γ(k − 1)− · · · − φpγ(k − p) = 0, k ≥ m, (4)
ahol m = max{p, q + 1}, ψj := 0 ha j < 0, θ0 := 1, es θj := 0 ha j /∈ {0, 1, . . . , q}.
A (4) homogen linearis differenciaegyenlet-rendszer altalanos megoldasa:
γ(h) =∑i=1
ri−1∑j=0
αijhjξ−hi , h ≥ m − p,
ξi : a Φ(z) = 1− φ1z − · · · − φpzp polinom gyoke ri multiplicitassal, i = 1, 2, . . . , `.
αij egyutthatok, γ(0), . . . , γ(m−p−1) autokovarianciak a (3) kezdeti ertekekbol.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 82 / 165
Pelda. ARMA(1,1) folyamat
γ(k)− φ1γ(k − 1)− · · · − φpγ(k − p) = σ2∞∑j=0
θk+jψj , 0 ≤ k < m,
γ(k)− φ1γ(k − 1)− · · · − φpγ(k − p) = 0, k ≥ m,
ahol m = max{p, q + 1}, ψj := 0, ha j < 0, θ0 := 1, es θj := 0, ha j /∈ {0, 1, . . . , q}.
Kauzalis ARMA(1,1) folyamat: Xt − φXt−1 = Zt + θZt−1, |φ| < 1, ψ0 = 1, ψj = (φ+ θ)φj−1, j = 1, 2, . . . .
Kezdeti ertekek:γ(0)− φγ(1) = σ2(1 + θ(φ+ θ)
), γ(1)− φγ(0) = σ2θ.
Differenciaegyenlet:γ(k)− φγ(k − 1) = 0, k ≥ 2.
Megoldas:γ(h) = αφh, h ≥ 1.
Egyenletek az α konstansra es a γ(0) szorasnegyzetre:
γ(0)− αφ2 = σ2(1 + θ(φ+ θ)), αφ− φγ(0) = σ2θ.
Megoldas:
γ(0) = σ2
[1 +
(φ+ θ)2
1− φ2
], α =
σ2
φ
[φ+ θ +
(φ+ θ)2φ
1− φ2
].
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 83 / 165
Pelda. AR(2) folyamat
γ(k)− φ1γ(k − 1)− · · · − φpγ(k − p) = σ2∞∑j=0
θk+jψj , 0 ≤ k < m,
γ(k)− φ1γ(k − 1)− · · · − φpγ(k − p) = 0, k ≥ m,
ahol m = max{p, q + 1}, ψj := 0, ha j < 0, θ0 := 1, es θj := 0, ha j /∈ {0, 1, . . . , q}.
Kauzalis AR(2) folyamat:(1− ξ−1
1 B)(
1− ξ−12 B
)Xt = Zt , |ξ1|, |ξ2| > 1, ξ1 6= ξ2.
Hagyomanyos parameterezes: Xt − φ1Xt−1 − φ2Xt−2 = Zt , ahol φ1 = ξ−11 + ξ−1
2 , φ2 = −ξ−11 ξ−1
2 .
Kezdeti ertekek:γ(0)− φ1γ(1)− φ2γ(2) = σ2, γ(1)− φ1γ(0)− φ2γ(1) = 0.
Differenciaegyenlet:γ(k)− φ1γ(k − 1)− φ2γ(k − 2) = 0, k ≥ 2.
Megoldas:
γ(h) = α1ξ−h1 + α2ξ
−h2 =
σ2ξ21ξ22
(ξ1ξ2 − 1)(ξ2 − ξ1)
[(ξ21 − 1)−1ξ1−h
1 − (ξ22 − 1)−1ξ1−h2
], h ≥ 0.
Komplex konjugalt gyokok: ξ1 = reiω, ξ2 = re−iω.
γ(h) =σ2r 4−h sin(hω + ψ)
(r 2 − 1)(r 4 − 2r 2 cos 2ω + 1) sinω, tanψ =
r 2 + 1
r 2 − 1tanω.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 84 / 165
Parcialis autokorrelacio-fuggvenyDefinıcio. Egy {Xt} stacionarius folyamat parcialis autokorrelacio-fuggvenye (PACF)
α(0) = 0, α(1) = Corr(X2,X1) = %(1),
α(k) = Corr(Xk+1 − P(Xk+1 | X2,X3, . . . ,Xk),X1 − P(X1 | X2,X3, . . . ,Xk)
), k ≥ 2,
ahol P(Xk+1 | X2,X3, . . . ,Xk) es P(X1 | X2,X3, . . . ,Xk) rendre az Xk+1 es X1 projek-cioja az {X2,X3, . . . ,Xk} altal felfeszıtett alterre.
Tetel. Egy {Xt} stacionarius folyamat parcialis autokorrelacio-fuggvenye
α(0) = 0, α(h) = φhh, h ≥ 1,
ahol φhh a φn = Γ−1h γh vektor utolso komponense, valamint Γh =[γ(i − j)
]hi ,j=1
es
γh =(γ(1), γ(2), . . . , γ(h)
)>.
Megjegyzes. φhh a PhXh+1 = φh1Xh + φh2Xh−1 + · · ·+ φhhX1 egylepeses predikcional azX1 egyutthatoja.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 85 / 165
Pelda. AR(p) folyamat
Kauzalis AR(p) folyamat: Xt − φ1Xt−1 − · · · − φpXt−p = Zt , {Zt} ∼WN(0, σ2).
Az Xh+1 legjobb linearis predikcioja az {X1,X2, . . . ,Xh} alapjan (h > p):
Xh+1 = φ1Xh + φ2Xh−1 + · · ·+ φpXh+1−p.
Az {Xt} AR(p) folyamat parcialis autokorrelacio-fuggvenye:
α(p) = φp, α(h) = 0, ha h > p.
Pelda. MA(1) folyamat
Invertalhato MA(1) folyamat: Xt = Zt + θZt−1, {Zt} ∼WN(0, σ2), |θ| < 1.
Autokorrelacio-fuggveny: %(0) = 1, %(1) = θ/(1 + θ2), %(h) = 0, ha h > 1.
Az {Xt} MA(1) folyamat parcialis autokorrelacio-fuggvenye:
α(1) =θ
1 + θ2, α(2) = − θ2
1 + θ2 + θ4= −θ
2(1− θ2)
1− θ6 ,
altalanosan
α(h) = − (−θ)h
1 + θ2 + · · ·+ θ2h= − (−θ)h(1− θ2)
1− θ2(h+1), h ≥ 1.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 86 / 165
ARMA folyamatok predikcioja{Xt} kauzalis ARMA (p, q) folyamat: Φ(B)Xt = Θ(B)Zt , {Zt} ∼WN(0, σ2).
Innovacios algoritmus: rekurzıv eljaras a nulla varhato erteku es veges szorasnegyzetu idoso-rok egylepeses predikciojara. Szukseges az autokovarianciak ismerete.
Az {Xt} helyett alkalmazzuk a kovetkezo folyamatra:
Wt =
{σ−1Xt , t = 1, 2, . . . ,m,
σ−1Φ(B)Xt , t > m,ahol m = max(p, q).
Jeloles: θ0 := 1, θj := 0, j > q. Felteheto, hogy p ≥ 1, q ≥ 1.
γX : az {Xt} autokovariancia-fuggvenye.
κ(i , j)=E(Wi ,Wj)=
σ−2γX (i−j), 1≤ i , j≤m
σ−2[γX (i−j)−
∑p`=1 φ`γX (`−|i−j |)
], min(i , j)≤m<max(i , j)≤2m,∑q
`=0 θ`θ`+|i−j |, min(i , j)>m,
0, egyebkent.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 87 / 165
Innovacios algoritmus a transzformalt folyamatra{Xt} kauzalis ARMA (p, q) folyamat: Φ(B)Xt = Θ(B)Zt , {Zt} ∼WN(0, σ2).
Wt =
{σ−1Xt , t = 1, 2, . . . ,m,
σ−1[Xt − φ1Xt−1 − · · · − φpXt−p
], t > m,
ahol m = max(p, q).
Innovacios algoritmus: Wn+1 =
{∑nj=1 θnj(Wn+1−j − Wn+1−j), 1 ≤ n < m,∑qj=1 θnj(Wn+1−j − Wn+1−j), n ≥ m.
θnj es rn = E(Wn+1 − Wn+1)2 negyzetes hiba az innovacios algoritmusbol.
Xn [Wn], n ≥ 1, felırhato a Wj [Xj ], 1 ≤ j ≤ n, linearis kombinaciojakent.
Az {X1,X2, . . . ,Xn} es {W1,W2, . . . ,Wn} alterekre vett PXn es PW
n projekciok megegyeznek.
Wn+1 = PnWn+1, Xn+1 = PnXn+1, ahol Pn = PXn = PW
n .
Wt =
{σ−1Xt , t=1, 2, . . . ,m,
σ−1[Xt−φ1Xt−1− · · · −φpXt−p
], t>m,
=⇒ Xt−Xt =σ[Wt−Wt
], t≥1.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 88 / 165
Innovacios algoritmus az ARMA (p, q) folyamatraInnovacios algoritmus a {Wt} traszformalt folyamatra:
Wn+1 =
{∑nj=1 θnj(Wn+1−j − Wn+1−j), 1 ≤ n < m,∑qj=1 θnj(Wn+1−j − Wn+1−j), n ≥ m,
rn = E(Wn+1 − Wn+1)2.
Innovaciok kapcsolata: Xt − Xt = σ[Wt − Wt
], t ≥ 1.
Predikciok kapcsolata:
Wt =
{σ−1Xt , t = 1, 2, . . . ,m,
σ−1[Xt − φ1Xt−1 − · · · − φpXt−p
], t > m.
Innovacios algoritmus az {Xt} ARMA (p, q) folyamatra:
Xn+1 =
{∑nj=1 θnj(Xn+1−j − Xn+1−j), 1 ≤ n < m,
φ1Xn + · · ·+ φpXn+1−p +∑q
j=1 θnj(Xn+1−j − Xn+1−j), n ≥ m.
Negyzetes hiba: E(Xn+1 − Xn+1)2 = σ2E(Wn+1 − Wn+1)2 = σ2rn.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 89 / 165
Peldak
Xn+1 =
{∑nj=1 θnj(Xn+1−j − Xn+1−j), 1 ≤ n < m,
φ1Xn + · · ·+ φpXn+1−p +∑q
j=1 θnj(Xn+1−j − Xn+1−j), n ≥ m.
MA(q) folyamat elorejelzese
Egylepeses predikcio az ARMA(1, q) folyamatra φ1 = 0 mellett (m = q).
Xn+1 =
min(n,q)∑j=1
θnj(Xn+1−j − Xn+1−j), n ≥ 1.
θnj : innovacios algoritmus a {Wt} segedfolyamat κ(i , j) kovarianciai segıtsegevel. Wt = σ−1Xt , t ≥ 1.
κ(i , j) = σ−1γX (i − j) =
q−|i−j|∑`=0
θ`θ`+|i−j|.
AR(p) folyamat elorejelzese
Egylepeses predikcio az ARMA(p, 0) folyamatra (m = p).
Xn+1 = φ1Xn + · · · −+φpXn+1−p, n ≥ p.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 90 / 165
Pelda. ARMA(1, 1) folyamat
Kauzalis ARMA(1, 1) folyamat:
Xt − φXt−1 = Zt + θZt−1, {Zt} ∼WN(0, σ2), |θ| < 1.
Egylepeses predikcio:Xn+1 = φXn + θn1(Xn − Xn), n ≥ 1.
Autokovarianciak:
γ(0) = σ2
[1 +
(φ+ θ)2
1− φ2
], γ(1) = σ2
[φ+ θ +
(φ+ θ)2φ
1− φ2
].
A {Wt} segedfolyamat kovarianciai:
κ(i , j) =
(1 + 2θφ+ θ2)/(1− φ2), i = j = 1,
1 + θ2, i = j ≥ 2,
θ, |i − j | = 1, i ≥ 1,
0, egyebkent.
Az innovacios algoritmus rekurzioi:
r0 = (1 + 2θφ+ θ2)/(1− φ2), θn1 = θ/rn−1, rn = 1 + θ2 − θ2/rn−1.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 91 / 165
Spektalis surusegfuggveny{Xt}: nulla varhato erteku stacionarius idosor abszolut szummabilis γ autokovarianca-fugg-vennyel, azaz
∑∞h=−∞
∣∣γ(h)∣∣ <∞.
Az {Xt} spektralis surusegfuggvenye
f (λ) =1
2π
∞∑h=−∞
e−ihλγ(h), −∞ < λ <∞, ahol eiλ = cos(λ) + i sin(λ).
A spektralis surusegfuggvenyt definialo sor konvergens. Az f fuggvenyt elegendo a ]− π, π]intervallumon vizsgalni.
Tulajdonsagoka) f paros, azaz f (λ) = f (−λ).
b) Tetszoleges λ ∈ [−π, π] eseten f (λ) ≥ 0.
c) γ(h) =∫ π−π e
ihλf (λ)dλ =∫ π−π cos(hλ)f (λ)dλ.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 93 / 165
Bizonyıtas
sin(h) paratlan, cos(h) es γ(h) paros fuggveny.
f (−λ) =1
2π
∞∑h=−∞
[cos(−hλ) + i sin(−hλ)
]γ(−h) =
1
2π
∞∑h=−∞
[cos(hλ) + i sin(hλ)
]γ(h) = f (λ).
Tetszoleges N ∈ N eseten legyen
fN(λ) =1
2πNE
(∣∣∣ N∑`=1
X`e−i`λ
∣∣∣2) =1
2πNE
( N∑`=1
X`e−i`λ
N∑k=1
Xkeikλ)
=1
2πN
∑|h|<N
(N − |h|
)e−ihλγ(h).
Az osszegzesi tartomany szimmetriaja miatt fN(λ) ≥ 0, N ∈ N.
limN→∞
fN(λ) =1
2π
∞∑h=−∞
e−ihλγ(h) = f (λ) =⇒ f (λ) ≥ 0.
∫ π
−πeikλf (λ)dλ =
∫ π
−π
1
2π
∞∑h=−∞
ei(k−h)λγ(h)dλ =1
2π
∞∑h=−∞
γ(h)
∫ π
−πei(k−h)λdλ = γ(k),
mivel ∫ π
−πei(k−h)λdλ =
{2π, ha h = k,
0, egyebkent. �Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 94 / 165
A spektralis surusegfuggveny altalanos definıciojaDefinıcio. Az f fuggveny spektralis surusegfuggvenye egy γ autokovariancia-fuggvennyelrendelkezo {Xt} stacionarius idosornak, ha eleget tesz a kovetkezo ket feltetelnek.
(i) Tetszoleges λ ∈]− π, π] eseten f (λ) ≥ 0.(ii) γ(h) =
∫ π−π e
ihλf (λ)dλ, h ∈ Z.
Megjegyzesek.1 A fenti definıcio nem koveteli meg a γ(h) autokovarianciak abszolut szummabilitasat.2 A γ autokovariancia-fuggveny az f (λ) Fourier-transzformaltja. A Fourier-transzformalt
egyertelmusege miatt a spektralis surusegfuggveny egyertelmu.
Pelda. Feher zaj
Ha {Xt} ∼WN(0, σ2), akkor γ(0) = σ2 es γ(h) = 0 ha h 6= 0.
f (λ) =σ2
2π, −π ≤ λ ≤ π, mivel
∫ π
−πeihλdλ =
{2π, ha h = 0,
0, egyebkent.
A spektrum minden egyes λ frekvenciaja azonos mertekben jarul hozza a folyamat varianciajahoz. A feher
fenyrol felteteleztek (tevesen), hogy a lathato tartomany minden szıne ugyanolyan intenzitassal van benne a
spektrumaban (a spektrum konstans).Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 95 / 165
A spektralis surusegfuggveny karakterizalasaAllıtas. Az f :]− π, π]→ R pontosan akkor spektralis surusegfuggvenye valamely valos er-teku stacionarius folyamatnak, ha
(i) f (λ) = f (−λ),(ii) f (λ) ≥ 0,(iii)
∫ π−π f (λ)dλ <∞.
Bizonyıtas. Ha γ(h) abszolut szummabilis, akkor (i) – (iii) kovetkezik az f (λ) igazolt tulajdonsagaibol. Azaltalanos eset kijon az inverz Fourier-transzformalt tulajdonsagaibol.
Tegyuk fel, hogy az f (λ) fuggvenyre teljesul (i) – (iii) es legyen
γ(h) =
∫ π
−πeihλf (λ)dλ.
(i) miatt γ(−h) = γ(h), azaz γ paros fuggveny. Legyen ar ∈ R, r = 1, 2, . . . , n. Ekkorn∑
r,s=1
arγ(r − s)as =
∫ π
−π
n∑r,s=1
arasei(r−s)λf (λ)dλ =
∫ π
−π
∣∣∣∣ n∑r=1
areirλ
∣∣∣∣2f (λ)dλ ≥ 0,
azaz γ nemnegatıv definit. Igy γ valamely stacionarius folyamat autokovariancia-fuggvenye, aminek f a
spektralis surusegfuggvenye. �Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 96 / 165
Az autokovariancia-fuggveny karakterizaciojaKovetkezmeny. Egy γ(h) abszolut szummabilis fuggveny pontosan akkor autokovariancia-fuggvenye valamely stacionarius idosornak, ha paros es tetszoleges λ ∈ ]− π, π] eseten
f (λ) =1
2π
∞∑h=−∞
e−ihλγ(h) ≥ 0.
Ebben az esetben az f fuggveny a γ spektralis surusegfuggvenye.
Pelda. Legyen
κ(h) =
1, ha h = 0,
%, ha h = ±1,
0, egyebkent.
κ paros es
f (λ) =1
2π
∞∑h=−∞
e−ihλκ(h) =1
2π
[1 + %
(eiλ + e−iλ)] =
1
2π
[1 + 2% cos(λ)
].
f (λ) pontosan akkor nemnegatıv minden λ ∈ ]− π, π] eseten, ha |%| ≤ 1/2. κ pontosan akkor autokovari-
ancia-fuggvenye valamely stacionarius idosornak, ha |%| ≤ 1/2.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 97 / 165
Spektralis reprezentacioTetel. (Az ACVF spektralis reprezentacioja) Egy az egesz szamokon ertelmezett γ fuggvenypontosan akkor autokovariancia-fuggvenye valamely stacionarius idosornak, ha letezik olyan a[−π, π] intervallumon ertelmezett monoton novekvo, jobbrol folytonos es korlatos F fugg-veny, melyre F (−π) = 0 es tetszoleges h ∈ Z eseten
γ(h) =
∫[−π,π]
eihλdF (λ).
Az F fuggvenyt a γ spektralis eloszlasfuggvenyenek nevezzuk.
Megjegyzesek.1 F altalanosıtott eloszlasfuggveny a [−π, π] intervallumon abban az ertelemben, hogy
G (λ) = F (λ)/F (π) eloszlasfuggveny a [−π, π] intervallumon.2 F (π) = γ(0) = Var(X1), ıgy az {Xt} idosor % autokorrelacio-fuggvenyenek spektralis
reprezentacioja
%(h) =
∫[−π,π]
eihλdG (λ).
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 98 / 165
Folytonos es diszkret spektrumF a γ autokovariancia-fuggveny spektralis eloszlasfuggvenye: γ(h) =
∫[−π,π] e
ihλdF (λ).
Definıcio. Ha letezik olyan a [−π, π] intervallumon definialt f fuggveny, melyre
F (λ) =
∫ λ
−πf (y)dy , λ ∈ [−π, π],
akkor az idosor spektruma folytonos, f pedig az idosor spektralis surusegfuggvenye.
Ha F egy diszkret altalanosıtott eloszlasfuggveny, azaz G (λ) = F (λ)/F (π) egy diszkreteloszlasfuggveny, akkor azt mondjuk, hogy az idosor spektruma diszkret.
Pelda. A, B: korrelalatlan standardizalt valoszınusegi valtozok, E(A) = E(B) = 0, Var(A) = Var(B) = 1.
Xt = A cos(ωt) + B sin(ωt).
{Xt} stacionarius, autokovariancia-fuggvenye γ(h) = cos(ωh).
γ(h) = cos(ωh) =
∫[−π,π]
eihλdF (λ), ahol F (λ) =
0, ha λ < −ω,
0.5, ha −ω ≤ λ < ω,
1, ha λ ≥ ω.{Xt} spektruma diszkret.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 99 / 165
Pelda: Kauzalis AR(1) folyamat
Xt = φXt−1 + Zt , t ∈ Z, {Zt} ∼WN(0, σ2), |φ| < 1.
Autokovariancia-fuggveny: γ(h) = σ2φ|h|
1−φ2 .
Spektralis surusegfuggveny:
f (λ)=σ2
2π(1−φ2)
[1 +
∞∑h=1
φh(eihλ+e−ihλ)]=σ2
2π(1−φ2)
[1 +
φeiλ
1−φeiλ +φe−iλ
1−φe−iλ
]=σ2
2π
[1−2φ cos(λ) +φ2]−1
.
Pelda: MA(1) folyamat
Xt = Zt + θZt−1, t ∈ Z, {Zt} ∼WN(0, σ2).
Autokovariancia-fuggveny: γ(h) =
σ2(1 + θ2), ha h = 0,
σ2θ, ha h = ±1,
0, ha |h| > 1.Spektralis surusegfuggveny:
f (λ)=σ2
2π
[1 + θ2 + θ
(eiλ + e−iλ)] =
σ2
2π
[1 + 2θ cos(λ) + θ2
].
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 100 / 165
Fourier-frekvenciak{Xt} stacionarius idosor. A γ autokovariancia-fuggveny az f spektralis surusegfuggvenyFourier-transzformaltja. f a γ inverz Fourier-transzformaltja.
γ: az {Xt} idosor {x1, x2, . . . , xn} megfigyeleseibol kapott tapasztalati autokovariancia-fuggveny. A γ tapasztalati megfeleloje.
Cel: Adjuk meg a f (λ) tapasztalati megfelelojet az {x1, x2, . . . , xn} segıtsegevel.
Az n mintaelemszamhoz tartozo Fourier-frekvenciak:
ωk =2πk
n∈ ]− π, π], k = −
⌊n − 1
2
⌋, . . . ,
⌊n2
⌋, ahol bac := max{n ∈ Z, n ≤ a}.
ω = 2πn : alapfrekvencia ( 1n Hz, 2π
n rad/s); 0 = 0 · ω: DC komponens;
ωk = k · ω, k 6= 0, 1: felharmonikusok.
ek :=1√n
[eiωk , e2iωk , . . . , eniωk
]> ∈ Cn, k = −⌊n − 1
2
⌋, . . . ,
⌊n2
⌋.{
ek
}: a Cn ortonormalt bazisa, eke` = 1 ha k = ` es 0 egyebkent (a: a konjugaltja).
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 101 / 165
Diszkret Fourier-transzformaltCn ortonormalt bazisa:
ek :=1√n
[eiωk , e2iωk , . . . , eniωk
]> ∈ Cn, ωk =2πk
n, k = −
⌊n − 1
2
⌋, . . . ,
⌊n2
⌋.
x =[x1, x2, . . . , xn
]>∈ Cn reprezentacioja x =
bn/2c∑k=−b(n−1)/2c
akek ; ak =ekx =1√n
n∑t=1
xte−itωk .
Definıcio. Az{ak}
sorozatot az{x1, x2, . . . , xn
}sorozat diszkret Fourier-transzformalt-
janak nevezzuk.
Megjegyzes.
xt =
bn/2c∑k=−b(n−1)/2c
ak[
cos(ωkt) + i sin(ωkt)], t = 1, 2, . . . , n.
xt a DC komponens (konstans), valamint az alapfrekvenciaju, es a felharmonikusokhoz tarto-zo szinusz hullamok linearis kombinacioja.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 102 / 165
PeriodogramDefinıcio. Az {x1, x2, . . . , xn} minta periodogramja
In(λ) =1
n
∣∣∣∣ n∑t=1
xte−itλ
∣∣∣∣2.Megjegyzes. Ha λ = ωk = 2πk/n, akkor In(ωk) = |ak |2. Ezek alapjan
‖x‖2 =n∑
t=1
|xt |2 = xx =
bn/2c∑k=−b(n−1)/2c
|ak |2 =
bn/2c∑k=−b(n−1)/2c
In(ωk).
In(ωk): megadja, hogy az ωk frekvenciahoz tartozo Fourier-komponens mennyivel jarulhozza az ‖x‖2 ertekehez.
Parseval egyenloseg:
‖x‖2 =
bn/2c∑k=−b(n−1)/2c
|ak |2.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 103 / 165
PeriodogramA γ autokovariancia-fuggveny es f spektralis surusegfuggveny kapcsolata:
2πf (λ) =∞∑
h=−∞γ(h)e−ihλ, λ ∈ [−π, π], ha
∞∑h=−∞
∣∣γ(h)∣∣ <∞.
Allıtas. Legyenek x1, x2, . . . , xn tetszoleges valos szamok es legyen ωk egy tetszoleges2πk/n ∈ ]− π, π] alaku nem nulla Fourier-frekvencia. Ekkor
In(ωk) =∑|h|<n
γ(h)e−ihωk ,
ahol γ az x1, x2, . . . , xn tapasztalati autokovariancia-fuggvenye.
Bizonyıtas. Ha ωk 6= 0, az ortogonalitas miatt∑n
t=1 e−itωk = eke0 = 0. Igy
In(ωk) =1
n
∣∣∣∣ n∑t=1
xte−itωk
∣∣∣∣2 =1
n
∣∣∣∣ n∑t=1
(xt − x
)e−itωk
∣∣∣∣2 =1
n
n∑s=1
n∑t=1
(xs − x
)(xt − x
)e−i(s−t)ωk =
∑|h|<n
γ(h)e−ihωk .
�Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 104 / 165
A spektralis surusegfuggveny becslese
2πf (λ) =∞∑
h=−∞γ(h)e−ihλ, λ ∈ [−π, π] es In(ωk) =
∑|h|<n
γ(h)e−ihωk , ωk =2πk
n6=0.
In(λ)/(2π): az f (λ) spektralis surusegfuggveny termeszetes becslese lehet.
Stacionarius idosorok eleg nagy csaladjara igazolhato, hogy rogzıtett 0<λ1< · · ·<λm<πfrekvenciakra
limn→∞
P(In(λ1)<x1, . . . , In(λm)<xm
)=
{∏m`=1
(1− exp
{−x`
2πf (λ`)
}), ha x1, . . . , xm>0,
0, egyebkent.(In(λ1), . . . , In(λm)
)>hatareloszlasa: fuggetlen exponencialis eloszlasok szorzata.
A hatareloszlas varhato ertek vektora:(2πf (λ1), . . . , 2πf (λm)
)>.
Problema. A becsles nem konzisztens. Tetszoleges λ ∈]0, π[ es ε > 0 eseten
limn→∞
P(∣∣In(λ)− 2πf (λ)
∣∣ > ε)
= p > 0.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 105 / 165
A periodogram simıtasaAlapelv. Adott λ eseten atlagoljuk a periodogram ertekeket a λ kornyeki frekvenciakon.
Definıcio. Az f (λ) spektralis surusegfuggveny diszkret spektralis atlagolasu becslese
f (λ) =1
2π
∑|j |≤mn
Wn(j)In(g(n, λ) + 2πj/n
),
ahol a g(n, λ) a λ ertekehez legkozelebbi felharmonikus (az ω = 2π/n alapfrekvenciatobbszorose), az mn savszelessegre teljesul, hogy n→∞ eseten mn →∞ es mn/n→ 0,a Wn sulyfuggvenyek pedig szimmetrikus valoszınusegi eloszlast alkotnak, azaz
Wn(j) = Wn(−j), Wn(j) ≥ 0, j = −mn,−mn + 1, . . . ,mn,∑|j |≤mn
Wn(j) = 1,
valamint ∑|j |≤mn
W 2n (j)→ 0, ha n→∞.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 106 / 165
Konzisztencia
Tetel. Legyen {Xt} egy linearis folyamat, azaz
Xt =∞∑
j=−∞ψjZt−j , {Zt} ∼ IID(0, σ2),
∞∑j=−∞
|ψj ||j |1/2 <∞, EZ 4t <∞.
Ha f az f spektralis surusegfuggveny diszkret spektralis atlagolasu becslese, akkor tetszo-leges λ, ω ∈ [0, π] eseten
a) limn→∞
Ef (λ) = f (λ);
b) limn→∞
( ∑|j |≤mn
W 2n (j)
)−1Cov
(f (λ), f (ω)
)=
2f 2(λ), ha λ = ω = 0 vagy π,
f 2(λ), ha 0 < λ = ω < π,
0, ha λ 6= ω.
Megjegyzes.∑|j |≤mn
W 2n (j)→ 0 biztosıtja, hogy n→∞ eseten Var
(f (λ)
)→ 0.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 107 / 165
Pelda. Egyszeru mozgoatlag
Legyen mn =√n es
Wn(j) =
{(2mn + 1
)−1, ha |j | ≤ mn,
0, egyebkent.
Ha n→∞, akkor
mn →∞, mn/n→ 0,∑|j|≤mn
W 2n (j) =
(2mn + 1
)−1 → 0.
A spektralsurusegfuggveny becslese:
f (λ) =1
2π
√n∑
j=−√n
1
2√n + 1
In(g(n, λ) + 2πj/n
).
A tetel felteteleinek eleget tevo linearis folyamatok eseten (pl. ARMA folyamatok)
limn→∞
(2√n + 1
)Var
(f (λ)
)=
{2f 2(λ), ha λ = 0 vagy λ = π,
f 2(λ), ha 0 < λ < π.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 108 / 165
Idofuggetlen linearis szurokDefinıcio. Azt mondjuk, hogy az {Yt} folyamat egy az {Xt} folyamatra alkalmazottC = {ct,k , t, k ∈ Z} linearis szuro kimenete, ha
Yt =∞∑
k=−∞ct,kXk , t ∈ Z.
A szuro idoinvarians, ha a ct,t−k sulyok fuggetlenek a t idotol.
Legyen peldaul ct,t−k = ψk . Ekkor
Yt =∞∑
k=−∞ψkXt−k es Yt−s =
∞∑k=−∞
ψkXt−k−s .
Az {Yt−s , t ∈ Z} idoeltolt folyamat eloallıtasahoz ugyanazt a Ψ = {ψj , j ∈ Z} linearisszurot alkalmazzuk az {Xt−s , t ∈ Z} folyamatra, mint {Yt} eloallıtasahoz az {Xt} folya-matra. A Ψ idoinvarians linearis szuro (TFL: Time-Invariant Linear Filter) kauzalis, ha j < 0eseten ψj = 0.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 109 / 165
Peldak
1. Linearis folyamat.
Xt =∞∑
j=−∞
ψjZt−j , t ∈ Z, ahol {Zt} ∼WN(0, σ2),
es Ψ = {ψj , j ∈ Z} egy abszolut szummabilis idofuggetlen linearis szuro.
2.Yt = aX−t , t ∈ Z.
A szuro linearis, de nem idofuggetlen, mivel ct,t−k = 0, ha k 6= 2t, azaz fugg a t erteketol.
3. Egyszeru mozgoatlag.
Yt =1
2q + 1
q∑j=−q
Xt−j , t ∈ Z.
Idofuggetlen linearis szuro
ψj =
{(2q + 1)−1, ha |j | ≤ q,
0, egyebkent.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 110 / 165
Szurt folyamat spektralis surusegfuggvenye
Tetel. Legyen {Xt} egy nulla varhato erteku stacionarius folyamat, melynek spektralis suru-segfuggvenye fX (λ). Legyen tovabba Ψ = {ψj , j ∈ Z} egy abszolut szummabilis idofugget-len linearis szuro. Ekkor az
Yt =∞∑
j=−∞ψjXt−j
idosor is nulla varhato erteku stacionarius folyamat, melynek spektralis surusegfuggvenye
fY (λ) =∣∣Ψ(e−iλ)
∣∣2fX (λ) = Ψ(e−iλ)Ψ(eiλ)fX (λ), ahol Ψ(e−iλ) =∞∑
j=−∞ψje−ijλ.
A Ψ(e−iλ) fuggvenyt a szuro atviteli fuggvenyenek (transzferfuggvenyenek), annak a∣∣Ψ(e−iλ)∣∣2 komplex negyzetet pedig a szuro teljesıtmeny atviteli fuggvenyenek nevezzuk.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 111 / 165
Bizonyıtas
Korabban igazoltuk: nulla varhato erteku stacionarius folyamat szuresevel kapott folyamat szinten nulla varhatoerteku es stacionarius, autokovariancia-fuggvenye pedig
γY (h) =∞∑
j=−∞
∞∑k=−∞
ψjψkγX (h + k − j).
{Xt} spektralis surusegfuggvenye fX (λ), azaz
γX (h + k − j) =
∫ π
−πei(h−j+k)λfX (λ)dλ.
Ezek alapjan
γY (h) =∞∑
j=−∞
∞∑k=−∞
ψjψk
∫ π
−πei(h−j+k)λfX (λ)dλ =
∫ π
−π
(∞∑
j=−∞
ψje−ijλ
)(∞∑
k=−∞
ψkeikλ
)eihλfX (λ)dλ
=
∫ π
−πeihλ
∣∣∣∣∣∞∑
j=−∞
ψje−ijλ
∣∣∣∣∣2
fX (λ)dλ =
∫ π
−πeihλ∣∣Ψ(e−iλ)
∣∣2fX (λ)dλ,
azaz az {Yt} spektralis surusegfuggvenye fY (λ) =∣∣Ψ(e−iλ)
∣∣2fX (λ) = Ψ(e−iλ)Ψ(eiλ)fX (λ). �
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 112 / 165
ARMA folyamat spektralis surusegfuggvenye
Tetel. Legyen {Xt} egy kauzalis ARMA (p, q) folyamat, azaz
Φ(B)Xt = Θ(B)Zt , {Zt} ∼WN(0, σ2),
ahol Φ(z) = 1− φ1z − · · · − φpzp, Θ(z) = 1 + θ1z + · · ·+ θqzq. Ekkor az {Xt} spektralis
surusegfuggvenye
fX (λ) =σ2
2π
∣∣Θ(e−iλ)∣∣2∣∣Φ(e−iλ)∣∣2 , −π ≤ λ ≤ π.
Bizonyıtas. Az {Xt} a {Zt} feher zajbol egy olyan idofuggetlen linearis szuro segıtsegevel allıthato elo, mely-nek atviteli fuggvenye:
Ψ(e−iλ) =Θ(e−iλ)
Φ(e−iλ).
Mivel a {Zt} feher zaj spektralis surusegfuggvenye fZ (λ) = σ2/(2π), a tetel allıtasa a szurt folyamat spekt-
ralis surusegfuggvenyet megado tetel kovetkezmenye. �
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 113 / 165
Pelda. AR(2) folyamat
Xt − φ1Xt−1 − φ2Xt−2 = Zt , azaz Φ(z) = 1− φ1z − φ2z2.
Spektralis surusegfuggveny:
fX (λ) =σ2
2π(1− φ1e−iλ − φ2e−2iλ)(1− φ1eiλ − φ2e2iλ)
=σ2
2π(1 + φ2
1 + 2φ2 + φ22 + 2(φ1φ2 − φ1) cos(λ)− 4φ2 cos2(λ)
) .Pelda. ARMA(1,1) folyamat
Xt − φXt−1 = Zt + θYt−1, azaz Φ(z) = 1− φz , Θ(z) = 1 + θz .
Spektralis surusegfuggveny:
fX (λ) =σ2(1 + θeiλ)(1 + θe−iλ)
2π(1− φeiλ)(1− φe−iλ)=
σ2(1 + θ2 + 2θ cos(λ)
)2π(1 + φ2 − 2φ cos(λ)
) .Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 114 / 165
ARMA modellezesx1, x2, . . . , xn: egy stacionarius idosor megfigyelt ertekei.
Cel: hatarozzunk meg egy az adatokra megfeleloen illeszkedo ARMA(p, q) modellt.
Feladatok:
A p es q rendek meghatarozasa.
A varhato ertek becslese.
A φ1, φ2, . . . , φp AR es θ1, θ2, . . . , θq MA parameterek becslese.
A feher zaj σ szorasanak a becslese.
Specialis eset: p es q ismert, valamint a varhato ertek nulla (a megfigyelesekbol ki lettvonva a mintaatlag).
Illesztendo modell: kauzalis ARMA(p, q) folyamat, azaz
Φ(B)Xt = Θ(B)Zt , {Zt} ∼WN(0, σ2),
ahol Φ(z) = 1− φ1z − · · · − φpzp, Θ(z) = 1 + θ1z + · · ·+ θqzq.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 116 / 165
Yule-Walker egyenletekKauzalis AR(p) modell:
Xt − φ1Xt−1 − · · · − φpXt−p = Zt , {Zt} ∼WN(0, σ2); Xt =∞∑j=0
ψjZt−j , ψ0 = 1.
Szorozzuk meg az AR egyenletet Xt−j , j = 0, 1, . . . , p, valtozoval, majd varhato ertek.
γ(0)− φ1γ(1)− φ2γ(2)− · · · − φpγ(p) = σ2,
γ(1)− φ1γ(0)− φ2γ(1)− · · · − φpγ(p − 1) = 0,
γ(2)− φ1γ(1)− φ2γ(0)− · · · − φpγ(p − 2) = 0,
...
γ(p)− φ1γ(p − 1)− φ2γ(p − 2)− · · · − φpγ(1) = 0.
Matrixos alak:Γpφ = γp, σ2 = γ(0)− φ>γp,
ahol Γp =[γ(i − j)
]pi ,j=1
, φ = (φ1, φ2, . . . , φp)> es γp =(γ(1), γ(2), . . . , γ(p)
)>.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 117 / 165
Yule-Walker becslesek
γ(j), j = 0, 1, . . . , p: az autokovarianciak becslese az x1, x2, . . . , xn minta alapjan.
A φ es σ2 parameterek φ es σ2 becsleseinek meghatarozasara szolgalo empirikus Yule-Walker egyenletrendszer
Γpφ = γp, σ2 = γ(0)− φ>γp,
ahol Γp =[γ(i − j)
]pi ,j=1
, φ = (φ1, φ2, . . . , φp)> es γp =(γ(1), γ(2), . . . , γ(p)
)>.
Ha γ(0) > 0, akkor Γm, m ∈ N, regularis.
Definıcio. A φ es σ2 parameterek φ es σ2 Yule-Walker becslesei
φ = (φ1, φ2, . . . , φp)> = R−1p %p es σ2 = γ(0)[1− %>p R−1p %p
],
ahol Rp =[%(i − j)
]pi ,j=1
, es %p =(%(1), %(2), . . . , %(p)
)>= γp/γ(0).
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 118 / 165
Az illesztett AR modell tulajdonsagaiφ es σ2: a φ es σ2 Yule-Walker becslesei az x1, x2, . . . , xn minta alapjan.
Illesztett AR(p) modell:
Xt − φ1Xt−1 − · · · − φpXt−p = Zt , {Zt} ∼WN(0, σ2)
Igazolhato, hogy Φ(z) = 1− φ1z − · · · − φpzp 6= 0, ha |z | ≤ 1: az illesztett modell kauzalis.
Az illesztett modell γF autokovarianciai:
γF (h)− φ1γF (h − 1)− · · · − φpγF (h − p) =
{0, h = 1, 2, . . . , p,
σ2, h = 0.
Ezek alapjan: γF (h) = γ(h), h = 0, 1, . . . , p.
Igazolhato, hogy nagy n eseten φ eloszlasa kozelıtoleg
Np
(φ, n−1σ2Γ−1p
).
Alkalmas a konfidenciaintervallumok meghatarozasara.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 119 / 165
Az AR folyamat rendjenek meghatarozasaDefinıcio. Az x1, x2, . . . , xn minta alapjan illesztett Yule-Walker AR(m) modell
Xt − φm1Xt−1 − · · · − φmmXt−m = Zt , {Zt} ∼WN(0, νm),
ahol
φm = (φm1, φm2, . . . , φmm)> = R−1m %m es νm = γ(0)[1− %>mR−1m %m
].
AR(p) folyamat eseten a φmm parcialis autokorrelacio nulla, ha m > p.
φmm: az m-lepeses empirikus parcialis autokorrelacio.
Igazolhato, hogy amennyiben a minta egy {Xt} kauzalis AR(p) folyamatbol szarmazik, akkorm > p eseten φmm eloszlasa kozel N (0, 1/n).
95 %-os konfidenciaintervallum φmm ertekere: ±1.96n−1/2.
A p rend becslese legyen az a legkisebb m ertek, melyre |φkk | < 1.96n−1/2, ha k > m.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 120 / 165
Gauss idosor likelihood fuggvenye{Xt}: Gauss idosor, EXt = 0, κ(i , j) = E(Xi ,Xj). Megfigyelesek: X n = (X1,X2, . . . ,Xn)>.
Γn = E(X nX>n
): a megfigyelesek kovarianciamatrixa. Feltetel: det Γn 6= 0.
Az X n likelihood fuggvenye:
L(Γn) = (2π)−n/2(det Γn)−1/2 exp(− 1
2X>n Γ−1n X n
).
Az X n egylepeses predikcio-vektora: X n = (X1, X2, . . . , Xn)>, ahol
X1 = 0 es Xj = E(Xj |X1, . . . ,Xj−1) = Pj−1Xj , j ≥ 2.
Az Xn − Xn,Xn−1 − Xn−1, . . . ,X1 − X1 innovacok korrelalatlanok.
Innovacios algoritmus: rekurzıv algoritmus az
Xn+1 =n∑`=1
θn`(Xn+1−` − Xn+1−`
)eloallıtas θn` egyutthatoinak es a predikcio νn = E(Xn+1 − Xn+1)2 hibajanak kiszamıtasara.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 121 / 165
A likelihood fuggveny rekurzıv eloallıtasaX n = (X1,X2, . . . ,Xn)>: az {Xt} Gauss idosor megfigyelesei.
X n = (X1, X2, . . . , Xn)>: az X n egylepeses predikcio-vektora.
Dn: a X n − X n kovarianciamatrixa; diagonalis, foatloja ν0, ν1, . . . , νn−1.
Cn: az innovacios algoritmusnal hasznalt also haromszogmatrix, elemei a θk` egyutthatok.
X n = Cn
(X n − X n
)=⇒ Γn = E
(X nX>n
)= CnDnC
>n .
Az X n likelihood fuggvenye: L(Γn) = (2π)−n/2(det Γn)−1/2 exp(− 1
2X>n Γ−1n X n
).
X>n Γ−1n X n =(X n − X n
)>D−1n
(X n − X n
)=
n∑j=1
(Xj − Xj)
2/νj−1,
det Γn = (detCn)2 detDn = ν0ν1 · · · νn−1.
A likelihood fuggveny rekurzıv alakja:
L(Γn) =1√
(2π)nν0ν1 · · · νn−1exp
(− 1
2
n∑j=1
(Xj − Xj)
2/νj−1
).
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 122 / 165
ARMA folyamat likelihood fuggvenye.{Xt} kauzalis ARMA (p, q) folyamat: Φ(B)Xt = Θ(B)Zt , {Zt} ∼WN(0, σ2).
Innovacios algoritmus az {Xt} folyamatra: rekurzıv algoritmus a
Xn+1 =
{∑nj=1 θnj(Xn+1−j − Xn+1−j), 1 ≤ n < m,
φ1Xn + · · ·+ φpXn+1−p +∑q
j=1 θnj(Xn+1−j − Xn+1−j), n ≥ m = max(p, q),
predikcio θnj egyutthatoinak es az E(Xn+1 − Xn+1)2 = σ2rn negyzetes hiba rn tagjanakmeghatarozasara.
Egy ARMA folyamat Gauss likelihood fuggvenye
L(φ,θ, σ2) =1√
(2πσ2)nr0r1 · · · rn−1exp
(− 1
2σ2
n∑j=1
(Xj − Xj)
2/rj−1
),
ahol φ = (φ1, φ2, . . . , φp)> es θ = (θ1, θ2, . . . , θq)>.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 123 / 165
Log-likelihood fuggvenyARMA (p, q) folyamat log-likelihood fuggvenye:
ln L(φ,θ, σ2)=−1
2
[n ln 2π+n lnσ2+
n∑j=1
ln rj−1+S(φ,θ)
σ2
], ahol S(φ,θ) :=
n∑j=1
(Xj−Xj)
2
rj−1.
Xj es rj fuggetlen a σ2 erteketol.
∂
∂σ2ln L(φ,θ, σ2)=− n
2σ2+
S(φ,θ)
2σ4= 0 ⇐⇒ σ2 =
S(φ,θ)
n,
es a megoldas maximumhely.
Maximalizalando:
ln L(φ,θ, S(φ,θ)/n) = −1
2
[ln 2π + n ln
(S(φ,θ)/n
)+
n∑j=1
ln rj−1 + n
].
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 124 / 165
Maximum likelihood es legkisebb negyzetes becslesAllıtas. A φ, θ es σ2 maximum likelihood (ML) becslesei:
σ2 =S(φ, θ)
n, ahol S(φ,θ) =
n∑j=1
(Xj − Xj)
2/rj−1,
φ es θ pedig az
`(φ,θ) := ln(S(φ,θ)/n
)+
1
n
n∑j=1
ln rj−1
minimumhelyei.
Az `(φ,θ) fuggveny minimumat altalaban numerikusan lehet csak meghatarozni. Az optima-lizalas kezdoerteket peldaul a Yule-Walker egyenletek megoldasa adhatja.
Definıcio. A φ es θ parameterek φ es θ legkisebb negyzetes becslesei az S(φ,θ)fuggveny minimumhelyei, a σ2 legkisebb negyzetes becslese pedig
σ2 = S(φ, θ)/(n − p − q).
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 125 / 165
A maximum likelihood becsles aszimptotikus tulajdonsagaiβ: a β = (φ1, . . . , φp, θ1, . . . , θq)> vektor maximum likelihood becslese.
Igazolhato, hogy ha az
Φ(B)Xt = Θ(B)Zt , {Zt} ∼WN(0, σ2),
ARMA folyamat kauzalis es invertalhato, akkor nagy mintaelemszam eseten β eloszlasa kozel
Np+q
(β, n−1V (β)
).
Az aszimptotikus kovarianciamatrix p, q ≥ 1 eseten
V (β) = σ2[
EU tU>t EU tV>tEV tU>t EV tV>t
]−1,
a p=0 esetben V (β) = σ2[EV tV>t
]−1, q=0 eseten pedig V (β) = σ2
[EU tU>t
]−1, ahol
U t = (Ut ,Ut−1, . . . ,Ut+1−p)> es V t = (Vt ,Vt−1, . . . ,Vt+1−q)>
rendre a Φ(B)Ut = Zt es Θ(B)Vt = Zt egyenleteknek eleget tevo {Ut} es {Vt} autoreg-resszıv folyamatok megfigyelesei.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 126 / 165
Pelda. AR(p) folyamat
EU tU>t =Γp =[γ(i−j)
]pi,j=1
, a Yule-Walker egyenleteknel hasznalt kovarianciamatrix. Igy V (φ)=σ2Γ−1p .
AR(1) : Γ1 =σ2
1− φ21
; V (φ) = 1− φ21.
AR(2) : Γ2 =σ2
(1+φ2)[(1−φ2)2−φ2
1
] [1− φ2 φ1
φ1 1− φ2
]; V (φ) =
[1− φ2
2 −φ1(1 + φ2)−φ1(1 + φ2) 1− φ2
2
].
Pelda. MA(q) folyamat
EV tV>t =Γ∗q : a V1,V2, . . . ,Vq kovarianciamatrixa, ahol {Vt} autoregresszıv folyamat, melyre
Vt + θ1Vt−1 + · · ·+ θqVt−q = Zt , {Zt} ∼WN(0, σ2).
MA(1) : V (φ) = 1− θ21.
MA(2) : V (φ) =
[1− θ22 θ1(1− θ2)
θ1(1− θ2) 1− θ22
].
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 127 / 165
Pelda. ARMA(1,1) folyamat
{Xt}: kauzalis, invertalhato ARMA(1,1) folyamat:
Xt − φXt−1 = Zt + θZt−1, {Zt} ∼WN(0, σ2), |φ| < 1, |θ| < 1.
Segedfolyamatok:
Ut − φUt−1 = Zt , Ut =∞∑j=0
φjZt−j , es Vt + θVt−1 = Zt , Vt =∞∑j=0
(−θ)jZt−j .
A segedfolyamatok szorasnegyzete es kovarianciaja:
EU2t =
σ2
1− φ2, EV 2
t =σ2
1− θ2 , EUtVt =σ2
1 + φθ.
A maximum likelihood becsles aszimptotikus kovarianciamatrixa:
V (φ, θ) =
[(1− φ2)−1 (1 + φθ)−1
(1 + φθ)−1 (1− θ2)−1
]−1
=1 + φθ
(φ+ θ)2
[(1− φ2)(1 + φθ) −(1− θ2)(1− φ2)−(1− θ2)(1− φ2) (1− θ2)(1 + φθ)
].
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 128 / 165
Kullback-Leibler elteres
X : n-dimenzios veletlen vektor, surusegfuggvenye az{f (·;ψ), ψ ∈ Ψ
}eloszlascsalad eleme.
Definıcio. Az f (·;ψ) es f (·; θ) eloszlasok Kullback-Leibler (KL) elterese
d(ψ‖θ) := ∆(ψ|θ)−∆(θ|θ),
ahol
∆(ψ|θ) := Eθ(− 2 ln f (X ;ψ)
)=
∫Rn
−2 ln f (x ;ψ)f (x ; θ)dx
az f (·;ψ) eloszlasnak az f (·; θ) eloszlasra vonatkozo Kullback-Leibler indexe.
Megjegyzes.
1 Altalaban d(ψ‖θ) 6= d(θ‖ψ), azaz a Kullback-Leibler elteres nem szimmetrikus.
2 d(ψ‖θ) ≥ 0, es az egyenloseg szukseges es elegseges feltetele, hogy f (x ;ψ) = f (x ; θ).
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 129 / 165
A folyamat rendjenek becsleseX1,X2, . . . ,Xn: egy ϑ = (β, σ2) parameteru ARMA folyamat megfigyelesei, ahol a p es qrendek az AR es MA parametereket tartalmazo β dimenziojaban jelennek meg.
Cel: keressuk azt az ARMA modellt, melynek a valodi (ϑ parameteru) modelltol valo be-csult KL elterese a legkisebb.
Feltetel: mind a valodi, mind a lehetseges modellek Gauss folyamatok; ML becsles.
X1,X2, . . . ,Xn: egy ϑ = (β, σ2) parameteru Gauss ARMA folyamat megfigyelesei.
−2 ln LX (β, σ2) = ln 2π+n lnσ2 +n∑
j=1
ln rj−1 +SX (β)
σ2, ahol SX (β) :=
n∑j=1
(Xj−Xj)
2
rj−1.
ϑ =(β, σ2
): a ϑ ML becslese X1,X2, . . . ,Xn alapjan.
−2 ln LX(β, σ2
)= ln 2π + n ln σ2 +
n∑j=1
ln rj−1 + n.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 130 / 165
ARMA modellek Kullback-Leibler eltereseY1,Y2, . . . ,Yn: a ϑ parameteru Gauss ARMA folyamat egy fuggetlen realizacioja. A Yj
predikciok negyzetes hibai megegyeznek az Xj predikciok negyzetes hibaival.
−2 ln LY (β, σ2) = ln 2π + n lnσ2 +n∑
j=1
ln rj−1 +SY (β)
σ2, ahol SY (β) :=
n∑j=1
(Yj−Yj)
2
rj−1.
− 2 ln LY(β, σ2
)= −2 ln LX
(β, σ2
)+ σ−2SY
(β)− n.
A valodi es becsult modell Kullback-Leibler indexenek varhato erteke:
Eϑ(∆(ϑ|ϑ)
)= Eβ,σ2
(− 2 ln LY
(β, σ2
))= Eβ,σ2
(− 2 ln LX
(β, σ2
))+ Eβ,σ2
(σ−2SY
(β))−n
Igazolhato, hogy nagy n eseten: Eβ,σ2
(σ−2SY
(β))≈ 2(p + q + 1)n/(n − p − q − 2).
Ezek alapjan
−2 ln LX(β, σ2
)+ 2(p + q + 1)n/(n − p − q − 2)− n, ahol σ2 = SX
(β)/n,
az Eϑ(∆(ϑ|ϑ)
)aszimptotikusan torzıtatlan becslese.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 131 / 165
Akaike informacios kriteriumX1,X2, . . . ,Xn: egy ϑ = (β, σ2) parameteru Gauss ARMA folyamat megfigyelesei.
ϑ =(β, σ2
): a ϑ ML becslese X1,X2, . . . ,Xn alapjan.
Minimalizalando a valodi es becsult modell Kullback-Leibler elteresenek varhato erteke:
Eϑ(d(ϑ‖ϑ)
)= Eϑ
(∆(ϑ|ϑ)
)−∆(ϑ|ϑ).
Eϑ(∆(ϑ|ϑ)
)aszimptotikusan torzıtatlan becslese:
−2 ln LX(β, σ2
)+ 2(p + q + 1)n/(n − p − q − 2)− n, ahol σ2 = SX
(β)/n.
Definıcio. Kauzalis es invertalhato ARMA(p, q) folyamatra a korrigalt Akaike informacios kri-terium (AICC)
AICC(β) := −2 ln LX
(β,SX
(β)/n)
+ 2(p + q + 1)n/(n − p − q − 2).
Az ARMA modell illesztesehez valasszunk olyan p es q rendeket, melyekre az AICC(β)
erteke minimalis, ahol β a β ML becslese.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 132 / 165
Az informacios kriterium valtozataiAICC: AICC(β) := −2 ln LX
(β,SX
(β)/n)
+ 2(p + q + 1)n/(n − p − q − 2).
Definıcio. Kauzalis es invertalhato ARMA folyamatra az Akaike informacios kriterium (AIC)
AIC(β) := −2 ln LX
(β,SX
(β)/n)
+ 2(p + q + 1).
Az AIC hajlamos felulbecsulni a p rendet. Ezt korrigalja az AICC nagyobb bunteto tagja, barn→∞ eseten az AICC es AIC statisztikak aszimptotikusan ekvivalensek.
Definıcio. Kauzalis es invertalhato ARMA folyamatra a Bayes informacios kriterium (BIC)
BIC(β) := (n−p−q) ln[nσ2/(n−p−q)
]+n(1+ln
√2π)
+(p+q) ln
[( n∑t=1
X 2t −nσ2
)/(p+q)
],
ahol σ2 a feher zaj szorasnegyzetenek ML becslese.
Ha az X1,X2, . . . ,Xn megfigyelesek egy ARMA(p, q) folyamatbol szarmaznak, p es qpedig a p es q rendeknek a BIC minimalizalasaval kapott becslesei, akkor n→∞ esetenp → p es q → q majdnem biztosan.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 133 / 165
ModelldiagnosztikaX1,X2, . . . ,Xn: egy ARMA(p, q) folyamat megfigyelesei.
φ, θ, σ2: az ARMA(p, q) modell φ, θ es σ2 parametereinek ML becslesei.
Xt
(φ, θ
): az illesztett modell X1,X2, . . . ,Xt−1 megfigyeleseken alapulo egylepeses predikcioja.
A predikcio maradekai:
Wt =(Xt − Xt
(φ, θ
))/(rt−1
(φ, θ
))1/2, t = 1, 2, . . . , n.
Amennyiben a φ, θ, σ2 becslesek a valodi parameterek lennenek, {Wt} feher zaj lenne σ2
varianciaval.
Jo modellillesztes eseten a {Wt} viselkedesenek tukroznie kell a folyamatot generalo {Zt}feher zaj viselkedeset, azaz {Wt} aszimptotikusan
korrelalatlan, ha {Zt} ∼WN(0, σ2);
fuggetlen, ha {Zt} ∼ IID(0, σ2);
normalis, ha Zt ∼ N (0, σ2).
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 134 / 165
Atskalazott maradekokφ, θ: az ARMA modell φ, θ parametereinek ML becslesei az X1,X2, . . . ,Xn alapjan.
Xt
(φ, θ
): az illesztett modell X1,X2, . . . ,Xt−1 megfigyeleseken alapulo egylepeses predikcioja.
A predikcio maradekai: Wt =(Xt − Xt
(φ, θ
))/(rt−1
(φ, θ
))1/2, t = 1, 2, . . . , n.
Atskalazott maradekok:
Rt = Wt/σ, ahol σ =
√√√√1
n
n∑t=1
W 2t
a modellt generalo feher zaj szorasanak becslese.
Tesztelendo
vizualisan, hogy az {Rt , t = 1, 2, . . . , n} feher zajkent viselkedik-e;
az atskalazott maradekok korrelalatlanok (ACF, PACF vizsgalata);
Gauss folyamat eseten a maradekok standard normalitasa (hisztogram, PP-plot, QQ-plot,normalitas tesztek).
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 135 / 165
ARIMA modellekNem stacionarius idosorokbol gyakran differenciakepzessel kaphatunk stacionariusat.
Definıcio. Az {Xt} egy ARIMA(p, d , q) folyamat, ha Yt := (1− B)dXt egy kauzalisARMA(p, q) folyamat (ARIMA: Autoregresszıv Integralt Mozgoatlag).
Az {Xt} folyamatot leıro egyenlet:
Φ(B)(1− B)dXt = Θ(B)Zt , {Zt} ∼WN(0, σ2),
ahol Φ(z) = 1− φ1z − · · · − φpzp, Θ(z) = 1 + θ1z + · · ·+ θqzq es Φ(z) 6= 0 ha |z | ≤ 1.
Megjegyzes.
1 d ≥ 1 eseten a differenciakepzes kiszur tetszoleges legfeljebb d-edrendu polinomialistrendet.
2 A φ, θ es σ2 parameterek becsleset az{
(1− B)dXt
}d-szeres differencialt folyamat
megfigyeleseibol kell szamolni.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 137 / 165
Pelda
{Xt}: ARIMA(1,1,0) folyamat
(1− φB)(1− B)Xt = Zt , {Zt} ∼WN(0, σ2), |φ| < 1.
Xt = X0 +t∑
j=1
Yt , t ≥ 1, ahol Yt = ∇Xt = (1− B)Xt =∞∑j=0
φjZt−j .
ARIMA(1,1,0)
Time
0 100 200 300 400
−20
020
40
60
80
ARIMA(1,1,0) realizacio X0 = 0, φ = 0.8, σ2 = 1 parameterekkel.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 138 / 165
Pelda
0 10 20 30 40
0.0
0.2
0.4
0.6
0.8
1.0
Lag
AC
F
0 10 20 30 40
−0
.20
.20
.61
.0
Lag
Pa
rtia
l A
CF
0 100 200 300 400
−4
−2
02
4
ARIMA(1,1,0) differencia
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 139 / 165
Pelda
0 10 20 30 40
0.0
0.2
0.4
0.6
0.8
1.0
Lag
AC
F
0 10 20 30 40
0.0
0.2
0.4
0.6
0.8
Lag
Pa
rtia
l A
CF
ARIMA(1,1,0) folyamat elsorendu differenciajanak becsult autokorrelacioi es parcialis autokorrelacioi.
Eredeti modell: (1− 0.8B)(1− B)Xt = Zt , azaz (1− 1.8B + 0.8B2)Xt = Zt , {Zt} ∼WN(0, 1).
AR(1) modell a ∇Xt folyamatra.
ML becsles: (1− 0.793B)(1− B)Xt = Zt , {Zt} ∼WN(0, 0.979), AICC = 1131.794.
YW becsles: (1− 0.781B)(1− B)Xt = Zt , {Zt} ∼WN(0, 0.980), AICC = 1131.994.
AR(2) modell az eredeti folyamatra, felteve, hogy EXt = 0.
ML becsles: (1− 1.793B + 0.796B2)Xt = Zt , {Zt} ∼WN(0, 0.986), AICC = 1146.368.
YW becsles: (1− 1.190B + 0.198B2)Xt = Zt , {Zt} ∼WN(0, 2.008), AICC = 1427.917.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 140 / 165
Az ARIMA modellezes korlataiARIMA(p, d , q) modell: Φ∗(B)Xt ≡ Φ(B)(1− B)dXt = Θ(B)Zt , {Zt} ∼WN(0, σ2).
Az ARIMA modell a stacionaritas hianyanak egy nagyon specialis formajat ırja le: a Φ∗(z)polinomnak az 1 d-szeres gyoke.
ARIMA modell jellemzoi: lassan csokkeno pozitıv ACF.
Lassan csokkeno oszcillalo ACF: a Φ∗(z) polinomnak van gyoke az eiω kozeleben valamilyen0 6= ω ∈]− π, π] frekvencia eseten.
Pelda. {Xt} egy AR(2) folyamat: Xt −(2r−1 cosω
)Xt−1 + r−2Xt−2 = Zt , {Zt} ∼WN(0, 1).
AR(2) polinom:1− (2r−1 cosω
)B + r−2B2 =
(1− r−1eiωB
)(1− r−1e−iωB
).
Autokovariancia:
γ(h) =σ2r 4−h sin(hω + ψ)
(r 2 − 1)(r 4 − 2r 2 cos 2ω + 1) sinω, h ≥ 0, tanψ =
r 2 + 1
r 2 − 1tanω.
Autokorrelacio:
%(h) = r−h sin(hω + ψ)
sinψ=⇒ %(h)→ cos(hω), ha r ↘ 1.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 141 / 165
Pelda
Legyen r = 1.005 es ω = π/3. Az {Xt} folyamat:
Xt − 0.9950Xt−1 + 0.9901Xt−2 = Zt , {Zt} ∼WN(0, 1).
Autokorrelacio:
%(h) = 1.005−h sin(hπ/3 + ψ)
sinψ, ahol ψ = 1.5679 = 0.9982 · π
2.
Csillapıtott szinusz hullam 1/1.005 = 0.995 csillapıtassal es 6 periodussal.
AR(2)
Time
0 100 200 300 400
−10
−5
05
10
0 10 20 30 40
−1.0
−0.5
0.0
0.5
1.0
LagA
CF
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 142 / 165
Pelda
Lehetseges megoldasok a folyamat stacionariussa tetelere:
Az 1− (2r−1 cosω)B + r−2B2 operator alkalmazasa az r = 1 es ω = π/3 parameterekkel, azaz az
Ut = (1− B + B2)Xt vizsgalata
A 6 periodus miatt az Vt = (1− B6)Xt vizsgalata.
0 10 20 30 40
0.0
0.4
0.8
Lag
AC
F
Ut
0 10 20 30 40
−0.5
0.0
0.5
1.0
LagA
CF
Vt
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 143 / 165
IdosormodellezesAz idosorok modellezese a kovetkezo lepesekre bonthato:
1 Az adatokat generalo modell identifikalasa.(a) Esetleges elozetes transzformacio a variancia stabilizalasara.
(b) Az esetleges trend es/vagy szezonalis ingadozas eltavolıtasa.
(c) Az illesztendo ARMA modell(ek) meghatarozasa (a p es q rend megadasa).
2 Az ARMA modell(ek) parametereinek becslese, modellszelekcio.(a) Az illesztendo ARMA modell(ek) parametereinek becslese.
(b) Az optimalis modell kivalasztasa.
(c) A vegso modell becsult parameterek vizsgalata. A nem szignifikans parameterek eltavolıtasaes a fennmarado parameterek ujrabecslese.
(d) Esetleges egyseggyokok kezelese.
3 A kapott modell illeszkedesenek vizsgalata a maradekok segıtsegevel.I Nem megfelelo illeszkedes: visszateres a 2. ponthoz.
I Megfelelo illeszkedes: elorejelzes az illesztett modell segıtsegevel.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 144 / 165
Identifikacios technikak. Box-Cox traszformacioARMA modell illesztes: feltetelezi a stacionaritast. A stacionaritas hianya leolvashato maga-bol az idosor grafjabol es/vagy a tapasztalati autokorrelacio-fuggvenybol.
Definıcio. Az {Xt} idosor λ ≥ 0 parameteru Box-Cox traszformaltja
Yt = hλ(Xt) :=
{(Xλt − 1
)/λ, Xt ≥ 0, λ > 0,
ln(Xt), Xt > 0, λ = 0.
Alkalmazhato, ha az idosor ertekenek novekedesevel novekszik az ingadozas. Az esetek jelen-tos reszeben a h0, vagy a h0.5 transzformacio eredmenyre vezet.
Pelda. Ausztral vorosboreladasok logaritmikus transzformalasa.
Mo
nth
ly S
ale
s (
kilo
lite
rs)
1980 1982 1984 1986 1988 1990 1992
50
01
00
02
00
03
00
0
Lo
g−
tra
nsfo
rme
d M
on
thly
Sa
les
1980 1982 1984 1986 1988 1990 19926
.57
.07
.58
.0
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 145 / 165
Identifikacios technikak. Trend es szezonalitasA trend, illetve a szezonalis ingadozas detektalasa altalaban az (esetlegesen mar transzformalt)idosor grafja segıtsegevel tortenik.
Trend: lassan lecsengo autokorrelacio-fuggveny.
Szezonalitas: kozel periodikus autokorrelacio-fuggveny.
Pelda. Ausztral vorosboreladasok logaritmikus transzformaltja.
0 10 20 30 40
−0
.20
.20
.61
.0
Lag
AC
F
0 10 20 30 40
−0
.40
.00
.20
.40
.6
LagP
art
ial A
CF
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 146 / 165
Identifikacios technikak. Trend es szezonalitas eltavolıtasaA trend es szezonalis ingadozas kiszuresenek technikai:
(i) az idosor dekompozıcioja trendre, szezonalis komponensre es veletlen maradekra;(ii) differenciakepzes.
Pelda. Transzformaciok az ausztral vorosboreladasok logaritmikus transzformaltjara:
(i) a linearis trend, es a 12 periodusu szezonalis komponens eltavolıtasa;
(ii) 12-lepeses (szezonalis)differenciakepzes, azaz az (1− B12) operator alkalmazasa.
Detr
ended M
onth
ly S
ale
s
1980 1982 1984 1986 1988 1990 1992
−0.3
−0.1
0.0
0.1
0.2
Seasonally
Diffe
renced M
onth
ly S
ale
s
1982 1984 1986 1988 1990 1992
−0.4
−0.2
0.0
0.2
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 147 / 165
Identifikacios technikak. ACF es PACF vizsgalataA mar transzformalt modell tapasztalati ACF es PACF vizsgalata alapjan megadhatoak a pes q rendek lehetseges ertekeit.
Gyakorlat: pmax es qmax megadasa es az osszes 0 ≤ p ≤ pmax es 0 ≤ q ≤ qmax vizsgalata.
Pelda. {Xt}: az ausztral vorosboreladasok idosora.
Transzformaciok: Yt = (1− B12) lnXt .
Az {Yt} becsult autokorrelacioi es es parcialis autokorrelacioi:
0 10 20 30 40
−0.4
0.0
0.4
0.8
Lag
AC
F
0 10 20 30 40
−0.3
−0.1
0.1
0.3
Lag
Part
ial A
CF
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 148 / 165
Parameterbecslesek, modellszelekcio{Yt}: a transzformalt es nulla atlaguva tett idosor.
ARMA modell illesztes az {Yt} megfigyeleseire. Modellszelekcio valamelyik informacios kri-terium alapjan (AICC, AIC, BIC).
Akaike informacios kriteriumok:
AICC(φ,θ) := −2 ln L(φ,θ,S
(φ,θ
)/n)
+ 2(p + q + 1)n/(n − p − q − 2),
AIC(φ,θ) := −2 ln L(φ,θ,S
(φ,θ
)/n)
+ 2(p + q + 1).
L(φ,θ, σ2
): a
(φ,θ, σ2
)parameteru Gauss ARMA(p, q) folyamat likelihood fuggvenye.
S(φ,θ
): az egylepeses predikcio korrigalt negyzetes elterese.
Rogzıtett p es q eseten a φ es θ ML becslese minimalizalja az AICC (AIC) erteket.
Gyakorlat: hatarozzuk meg a parameterek ML becsleset az osszes szoba joheto p es q er-tekre, majd valasszuk ki azt, amelyik a legkisebb AICC (AIC) erteket eredmenyezi.
Az ARMA parameterek szignifikanciajanak vizsgalata a standard hibaik alapjan: t-proba.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 149 / 165
Pelda
{Xt}: az ausztral vorosboreladasok idosora. Transzformaciok: Yt = (1− B12) lnXt , Vt = Yt − Y .
Az ACF alapjan AR(12) egy lehetseges modell:(1− 0.243B − 0.700B2 − 0.019B3 − 0.026B4 − 0.196B5 + 0.027B6 + 0.010B7 − 0.136B8 − 0.006B9
− 0.093B10 + 0.120B11 + 0.373B12)Vt = Zt , {Zt} ∼WN(0, 0.0135), AIC=−160.02, BIC=−119.87.
Standard hibak vizsgalata: a 2,3,4,6,7,9,10 es 11 lepeses AR egyutthatok nullanak tekinthetoek. A modell:(1−0.261B−0.217B5−0.140B8+0.389B12)Vt = Zt , {Zt} ∼WN(0, 0.0140), AIC=−173.56, BIC=−159.22.
Alternatıv modell: ARMA(1,12). AIC=−174.59, BIC=−131.58
Standard hibak vizsgalata: az 1,3,4,6,7,9 es 11 lepeses MA egyutthatok nullanak tekinthetoek. A modell:(1− 0.286B
)Vt =
(1 + 0.127B2 + 0.183B5+ 0.178B8 + 0.181B10 − 0.554B12)Zt ,
{Zt} ∼WN(0, 0.0120), AIC=−185.01, BIC=−164.94.
A kapott modell maradekai Gauss feher zajkent viselkednek.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 150 / 165
Egyseggyok problema
{Xt}: ARMA folyamat:
Φ(B)Xt = Θ(B)Zt , {Zt} ∼WN(0, σ2),
ahol Φ(z) = 1− φ1z − · · · − φpzp es Θ(z) = 1 + θ1z + · · ·+ θqzq.
Egyseggyok problema: A Φ(z) AR vagy Θ(z) MA polinomnak gyoke van a komplex egy-segkoron.
Peldak
Az AR polinomnak gyoke van az 1 kozeleben: differenciakepzes, amıg a {∇dXt} auto-korrelacio-fuggvenye gyorsan csokkenove nem valik. ARIMA(p, d , q) modell illesztese.
Az MA polinomnak gyoke van az 1 kozeleben: az adatok tuldifferencialtak.
Cel: az egyseggyokok felismerese (hipotezisvizsgalat) es kezelese a modellalkotas soran.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 151 / 165
Egyseggyokok az autoregresszional{Xt}: kauzalis AR(1) folyamat:
Xt − µ = φ1(Xt−1 − µ) + Zt , {Zt} ∼WN(0, σ2), |φ1| < 1, µ = EXt .
X1,X2, . . . ,Xn: az {Xt} idosor megfigyelt ertekei.
φ1: a φ1 AR parameter ML becslese. Nagy n eseten a φ1 aszimptotikus eloszlasa
N(φ1, (1− φ1)2/n
)A φ1 = 1 eset mas hatareloszlast eredmenyez: lehetoseget ad a
H0 : φ1 = 1; H1 : φ1 < 1,
hipotezisek tesztelesere.
φ1 = 1: az {Xt} folyamat egy veletlen bolyongas, azaz
Xt − µ = (Xt−1 − µ) + Zt = X0 − µ+t∑
j=1
Zj .
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 152 / 165
Kulonbsegek a becslesek hatareloszlasaban{Xt}: Gauss AR(1) folyamat: Xt = φXt−1 + Zt , ahol X0 = 0 es Zt ∼ N (0, 1).
φn: a φ legkisebb negyzetes (es ML) becslese az {X1,X2, . . . ,Xn} megfigyelesek alapjan:
φn =
∑nk=1 Xk−1Xk∑nk=1 X
2k−1
.
Kauzalis eset: |φ| < 1; a becsles aszimptotikusan normalis.
n1/2(φn − φ)D−→ N
(0, 1− φ2
).
Egyseggyok: φ = 1; a becsles nem aszimptotikusan normalis.
n(φn − φ)D−→∫ 10 W(t) dW(t)∫ 10 W2(t) dt
=12(X 2
1 − 1)∫ 10 W2(t) dt
.
{W(t) : t ∈ [0, 1]}: standard Wiener folyamat.
X 21 : egy szabadsagi foku khi-negyzet eloszlasu valoszınusegi valtozo.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 153 / 165
Dickey-Fuller proba{Xt}: AR(1) folyamat: Xt − µ = φ1(Xt−1 − µ) + Zt . Atparameterezes:
∇Xt = Xt − Xt−1 = µ− Xt−1 + φ1(Xt−1 − µ) + Zt , azaz ∇Xt = φ∗0 + φ∗1Xt−1 + Zt ,
ahol φ∗0 = µ(1− φ1) es φ∗1 = φ1 − 1.
φ∗0, φ∗1: a φ∗0, φ
∗1 parameterek legkisebb negyzetes becslesei; a
∑nt=2
(∇Xt−φ∗0−φ∗1Xt−1
)2erteket minimalizaljak.
A φ∗1 becsult standard hibaja
SE(φ∗1)
=
√√√√∑nt=2
(∇Xt − φ∗0 − φ∗1Xt−1
)2/(n − 3)∑n
t=2(Xt − X )2, ahol X =
1
n − 1
n−1∑t=1
Xt .
Dickey es Fuller (1979): a H0 : φ∗1 = 0 mellett meghataroztak a
τµ = φ∗1/SE(φ∗1)
hatareloszlasat, ha n→∞.
A hatareloszlas kvantilisei numerikusan adhatoak meg.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 154 / 165
Altalanos autoregresszıv folyamat{Xt}: AR(p) folyamat:
Xt − µ = φ1(Xt−1 − µ) + · · ·+ φp(Xt−p − µ) + Zt , {Zt} ∼WN(0, σ2).
Atparameterezes:
∇Xt = φ∗0 + φ∗1Xt−1 + φ∗2∇Xt−1 + · · ·+ φ∗p∇Xt−p+1 + Zt ,
ahol φ∗0 = µ(1− φ1 − · · · − φp), φ∗1 =∑p
i=1 φi − 1 es φ∗j = −∑p
i=j φi , j = 2, 3, . . . , p.
Ha 1 gyoke a Φ(z) = 1− φ1z − · · · − φpzp AR polinomnak, akkor 0 = Φ(1) = −φ∗1, tehat{∇Xt} egy AR(p − 1) folyamat.
H0 : 1 az AR polinom egyseggyoke ⇐⇒ H0 : φ∗1 = 0.
φ∗1: a φ∗1 legkisebb negyzetes becslese; becsult standard hibaja SE(φ∗1). A
τµ = φ∗1/SE(φ∗1)
probastatisztika hatareloszlasa megegyezik az AR(1) folyamat eseten kapott hatareloszlassal.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 155 / 165
Egyseggyokok a mozgoatlagnal{Xt}: kauzalis es invertalhato ARMA(p, q) folyamat:
Φ(B)Xt = Θ(B)Zt , {Zt} ∼WN(0, σ2).
Yt := ∇Xt : differencialt folyamat. Nem invertalhato ARMA(p, q + 1) folyamat, a mozgoatlagpolinomja Θ(z)(1− z).
Egyseggyok tesztelese a mozgoatlagnal: annak a tesztelese, hogy az idosor tuldifferencialt.
Alternatıv alkalmazas: a mozgoatlagra vonatkozo egyseggyok teszt segıtsegevel kulonbsegettudunk tenne a
∇kXt = a + Vt es Xt = c0 + c1t + · · ·+ cktk + Wt
alaku modellek kozott, ahol {Vt} es {Wt} invertalhato ARMA folyamatok.
Elso modell: a {∇kXt} folyamatnak nincs egyseggyoke a mozgoatlagnal.
Masodik modell: a {∇kXt} folyamatnak k-szoros egyseggyoke van a mozgoatlagnal.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 156 / 165
Egyseggyok tesztek MA(1) folyamatra{Xt}: MA(1) folyamat: Xt = Zt + θZt−1, {Zt} ∼WN(0, σ2).
X1,X2, . . . ,Xn: az {Xt} idosor megfigyelt ertekei. Hipotezisek:
H0 : θ = −1; H1 : θ > −1.
Davis es Dunsmuir (1996): θ = −1 mellett meghataroztak az n(θ + 1) hatareloszlasat, han→∞, ahol θ a θ ML becslese. Jobboldali kritikus tartomany.
Likelihood-hanyados:
λn := −2 ln(L(− 1, S(−1)/n
)/L(θ, σ2
)).
L(θ, σ2
): a minta Gauss likelihood fuggvenye. S(θ)/n: a σ2 becslese a θ mellett.
Davis, Chen es Dunsmuir (1995): θ = −1 mellett meghataroztak az λn hatareloszlasat, han→∞. Jobboldali kritikus tartomany.
Az altalanos MA(p) eset nem teljesen megoldott.Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 157 / 165
ARIMA modellek predikcioja{Xt}: ARIMA(p, d , q) folyamat, azaz {Yt} kauzalis ARMA(p, q) folyamat, ahol
(1− B)dXt = Yt , t = 1, 2, . . . .
(X1−d ,X2−d , . . . ,X0) es Yt , t > 0, korrelalatlanok.
A differenciaegyenlet atırasa:
Xt = Yt −d∑
j=1
(d
j
)(−1) jXt−j , t = 1, 2, . . . .
Megfigyelt ertekek: X1−d ,X2−d , . . . ,Xn; az {Yt} megfigyelesei Y1,Y2, . . . ,Yn.
Pn: az n idopontig vett megfigyeleseken alapulo legjobb linearis predikcio; ortogonalis projek-cio az {X1−d ,X2−d , . . . ,Xn} (ekvivalensen az {X1−d , . . . ,X0,Y1, . . . ,Yn}) altal felfeszıtettalterbe.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 158 / 165
A predikcio kiszamıtasa
ARIMA egyenlet:
Xt = Yt −d∑
j=1
(d
j
)(−1) jXt−j , t = 1, 2, . . . .
Egyenlet a predikciokra:
PnXn+h = PnYn+h −d∑
j=1
(d
j
)(−1) jPnXn+h−j .
(X1−d ,X2−d , . . . ,X0) es Yt , t > 0, korrelalatlanok: PnYn+h az Yn+h legjobb linearis pre-dikcioja az {Y1,Y2, . . . ,Yn} alapjan. Kiszamıthato az ARMA modellre vonatkozo innovaciosalgoritmussal.
PnXn+h: rekurzio. Kiindulo ertekek: PnXn+1−j = Xn+1−j , j = 1, 2, . . . .
Kiszamıthato PnXn+1, majd PnXn+2,PnXn+3, . . . .
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 159 / 165
Szezonalis ARIMA modellekDefinıcio. Az {Xt} egy s periodusu szezonalis ARIMA(p, d , q)× (P,D,Q)s (SARIMA) fo-lyamat, ha az
Yt := (1− B)d(1− Bs)DXt
differencialt folyamat egy a
Φ(B)Φ(Bs)Yt = Θ(B)Θ(Bs)Zt , {Zt} ∼WN(0, σ2),
egyenlettel definialt kauzalis ARMA folyamat, ahol
Φ(z) = 1− φ1z − · · · − φpzp, Φ(z) = 1− Φ1z − · · · − ΦPzP ,
Θ(z) = 1 + θ1z + · · ·+ θqzq, Θ(z) = 1 + Θ1z + · · ·+ ΘQz
Q .
Megjegyzes. {Yt} pontosan akkor kauzalis, ha |z | ≤ 1 eseten Φ(z) 6= 0 es Φ(z) 6= 0. Agyakorlatban a D erteke egynel ritkan nagyobb, a P es Q rendek pedig tipikusan haromalatt vannak.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 160 / 165
A differencialt folyamat ARMA reprezentacioja
Differencialt folyamat: Yt := (1− B)d(1− Bs)DXt .
ARMA egyenlet: Φ(B)Φ(Bs)Yt = Θ(B)Θ(Bs)Zt .
Ekvivalens egyenlet: Φ∗(B)Yt = Θ∗(B)Zt .
Φ∗(z), Θ∗(z): p + sP, illetve q + sQ rendu polinomok. Ha p < s es q < s, akkor azegyutthatoikra teljesul:
φ∗is+j = φ∗isφ∗j , i = 1, 2, . . . ; j = 1, 2, . . . , s − 1,
θ∗is+j = θ∗isθ∗j , i = 1, 2, . . . ; j = 1, 2, . . . , s − 1.
Klasszikus dekompozıcios modell: Xt = mt + st + Yt . Az st szezonalis komponens cikluson-kent szabalyosan ismetlodik.
SARIMA modell: megengedi a veletlenseget a szezonalis ismetlodes soran.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 161 / 165
Pelda. Evek kozotti modell
{Yt} megfigyelesei: havi adatok r evre. Tablazatos alak:
Ev/Honap 1 2 · · · 12
1 Y1 Y2 · · · Y12
2 Y13 Y14 · · · Y24
3 Y25 Y26 · · · Y36
......
......
...r Y1+12(r−1) Y2+12(r−1) · · · Y12+12(r−1)
Mindegyik oszlop onmagaban is egy idosornak tekintheto. Tegyuk fel, hogy ezeket ugyanaz az ARMA(P,Q)folyamat generalja, azaz a j-edik honap Yj+12t , t = 0, 1, . . . , r − 1, megfigyeleseire teljesul
Yj+12t = Φ1Yj+12(t−1) + · · ·+ ΦPYj+12(t−P) + Uj+12t + Θ1Uj+12(t−1) + · · ·+ ΘQUj+12(t−Q),
ahol {Uj+12t , t = . . . ,−1, 0, 1, . . .} ∼WN(0, σ2U), j = 1, 2, . . . , 12. Az {Ut} nem feltetlenul feher zaj.
Kompakt alak:
Φ(B12)Yt = Θ(B12)Ut , ahol Φ(z) = 1− Φ1z − · · · − ΦPzP , Θ(z) = 1 + Θ1z + · · ·+ ΘQz
Q ,
valamint {Uj+12t , t = . . . ,−1, 0, 1, . . .} ∼WN(0, σ2U), j = 1, 2, . . . , 12.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 162 / 165
Peldak
Evek kozotti modell:
Φ(B12)Yt = Θ(B12)Ut , ahol Φ(z) = 1− Φ1z − · · · − ΦPzP , Θ(z) = 1 + Θ1z + · · ·+ ΘQz
Q .
1. P = 0, Q = 1, Θ1 = −0.6. A kapott modell: Xt = Ut − 0.6Ut−12.
2. P = 1, Q = 0, Φ1 = 0.8. A kapott modell: Yt − 0.8Yt−12 = Ut .
Ha {Ut} feher zaj, akkor az egyes honapokhoz tartozo ARMA folyamatok mindket modellnel korrelalatlanok.
0 10 20 30 40 50 60
−0.5
0.0
0.5
1.0
Lag
AC
F
Xt
0 10 20 30 40 50 60
0.0
0.4
0.8
Lag
AC
F
Yt
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 163 / 165
SARIMA modell eloallıtasaEvek kozotti modell:
Φ(B12)Yt = Θ(B12)Ut , ahol Φ(z) = 1−Φ1z−· · ·−ΦPzP , Θ(z) = 1+Θ1z+· · ·+ΘQz
Q .
{Ut} feher zaj: az egyes honapokhoz tartozo ARMA folyamatok korrelalatlanok.
Modell az {Ut} zajra:
Φ(B)Ut = Θ(B)Zt , {Zt} ∼WN(0, σ2),
ahol Φ(z) = 1− φ1z − · · · − φpzp, Θ(z) = 1 + θ1z + · · ·+ θqzq.
{Uj+12t , t = . . . ,−1, 0, 1, . . .} mar nem feltetlenul feher zaj (j = 1, 2, . . . , 12), de a gya-korlatban EUjUj+12t erteke kicsi, ha t = ±1,±2, . . . .
Kombinalt modell az {Yt} folyamatra:
Φ(B)Φ(B12)Yt = Θ(B)Θ(B12)Zt .
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 164 / 165
SARIMA modell identifikacioja
ARIMA(p, d , q)× (P,D,Q)s modell az {Xt} folyamatra :
Φ(B)Φ(Bs)Yt = Θ(B)Θ(Bs)Zt , {Zt} ∼WN(0, σ2), ahol Yt := (1− B)d(1− Bs)DXt .
1 Az (esetlegesen mar transzformalt) X1,X2, . . . ,Xn megfigyelesek alapjan adjunk olyan des D ertekeket, melyekkel az Yt differencialt megfigyelesek stacionariusnak latszanak.
2 Vizsgaljuk meg az {Yt} megfigyeleseinek a ks, k = 1, 2, . . ., lepeses ACF es PACFertekeit. Adjunk olyan P es Q rendeket, melyekre ezek az ertekek rendre megfelelnekegy ARMA(P,Q) folyamat ACF es PACF ertekeinek.
3 Adjunk olyan p es q rendeket, melyekre az 1, 2, . . . , s lepeses ACF es PACF ertekekmegfelelnek egy ARMA(p, q) folyamat ACF es PACF ertekeinek.
4 Az esetleges alternatıvak kozul az informacios kriteriumok segıtsegevel valasszuk ki a leg-jobban illeszkedot.
Masik megkozelıtes: illesszunk egy hianyos ARMA modellt a differencialt megfigyelesekre.
Baran Sandor Idosorok elemzese 2019/20 tanev, 2. felev 165 / 165