AST416Astronomide Sayısal Çözümleme - II

5. Model Testi, Karşılaştırma ve En İyi Modelin Seçimi

"All models are wrong"

George Box

1976, Science and Statistics, Journal of the American Statistical Association

"All models are wrong but some are useful"

George Box

Launer & Wilkinson, 1979, Robustness in the strategy of scientific model building, Academic Press

"truth … is much too complicated to allow anything but approximations"

John von Neumann, 1947

Bu derste neler öğreneceksiniz?• Artıklar (Residuals)

• Artık Kareler Toplamı (Residual Sum of Squares)

• Kök Ortalama Kare Hatası/Sapması (Root Mean Square Error/Deviation)

• Gecikme Grafiği (Lag Plot)

• Durbin-Watson İstatistiği Uyumlama Testi

• Serbestlik Derecesi (Degrees of Freedom)

• Sıfır Hipotezi, H0 (Null Hypothesis)

• Güven Aralığı – Güven Düzeyi (Confidence Interval – Confidence Level)

• Anlamlılık Seviyesi (Statistical Significance)

• Ki-kare ve Ki-kare Testi (Pearson’s Chi-squared Test)

• İndirgenmiş Ki-kare (Reduced Chi-squared)

• Kovaryans ve Kovaryans Matrisi (Covariance Matrix)

• p Değeri (p-value)

• Varyans Analizi (Analysis of Variance – ANOVA)

• F-Testi

• Akaike Bilgi Ölçütü (Akaike Information Criterion)

• Bayes Bilgi Ölçütü (Bayesian Information Criterion)

• Veriyi Dışlamak!

Artıklar (Residuals)

• Bir uyumlama işlemisonunda, gözlemsel veri ileuyumlama eğrisinin değerleriarasındaki farklara artık denir.

• Artıkların dağılımı ve trendi,uyumlamada kullanılanyöntemin veya modelin nekadar başarılı veya kabuledilebilir olduğunun birölçütü olarak kullanılabilir.

Artıklar (Residuals)

• Bir uyumlama işlemisonunda, gözlemsel veri ileuyumlama eğrisinin değerleriarasındaki farklara artık denir.

• Artıkların dağılımı ve trendi,uyumlamada kullanılanyöntemin veya modelin nekadar başarılı veya kabuledilebilir olduğunun birölçütü olarak kullanılabilir.

Artıklar (Residuals)

• Bakıra ait X-ışın bölge kırınım tayfına yapılan uyumlama işlemi ve artıkları. a) Uyumlama işleminde iki uçlumodel kullanılmıştır. b) Tek uçlu model uyumlanmıştır.

Artıklar (Residuals)

Artıklar (Residuals)

• Değişen varyans sorunu sözkonusu olduğu durumlarda,doğrudan artıklara bakmakyerine, normalize artıklarabakmak anlamlı olabilir.

• Ri, normalize artıkları, yiölçüm değerlerini, y(xi) modeldeğerlerini ve αi ölçümhatalarını göstermektedir.

Artık Kareler Toplamı (Residual Sum of Squares)

• Uyumlama sonrası elde edilen artıkların kareleri toplamı, artıkların uyumlama değerlerinden ne kadar farklı olduğunu gösterir.

• Bu değer, bir uyumlama işleminin ne kadar başarılı olduğunun doğrudan bir göstergesi değildir.

Kök Ortalama Kare Hatası/Sapması (Root Mean Square Error/Deviation)• Uyumlama sonrası elde edilen artıkların karekök ortalamaları, artıkların

uyumlama etrafında ne kadar saçıldığını gösterir.

• Bu değer de, bir uyumlama işleminin ne kadar başarılı olduğunun doğrudan bir göstergesi değildir.

• Bir ölçümün değerlerindeki bağlıdeğişkenin, sırası değiştirilerek kendideğerlerine göre çizdirilen grafiklerdir.

• Bir sıra kaydırılarak çizilen gecikmegrafiklerine birinci dereceden gecikmegrafiği adı verilir. Genellikle birincidereceden gecikme grafiklerikullanılmaktadır.

• Bu grafiklerin kullanılmasıyla aşağıdakiözellikler sınanabilir:

• Model uygunluğu

• Aykırı değerleri

• Verinin rastgeleliği

• Seri korelasyon/otokorelasyon (hatanın birsonraki veri grubuna aktarılması)

• Dönemli dalgalanmalar

Gecikme Grafiği (Lag Plot)

• Model uygunluğuGecikme grafiğinin şekli uygulanabilecek modelin yapısına ilişkin fikir verebilmektedir.Örneğin gecikme grafiğinin

• Lineer bir trende sahip olması, otoregresif (modelin bir önceki bağlı değişkene görelideğiştiği) modellerin kullanılabileceği,

• Eliptik bir şekle sahip olması, değişimin baskın bir sinüsel yapıya sahip olduğu bilgileriniverebilir.

Gecikme Grafiği (Lag Plot)

• Seri korelasyon/otokorelasyon

Gecikme Grafiği (Lag Plot)

• Verinin rastgeleliği

• Dönemli dalgalanmalar

Gecikme Grafiği (Lag Plot)

Durbin-Watson İstatistiği Uyumlama Testi• Durbin-Watson istatistiği kullanılarak model uyumlamanın

başarısı test edilebilir.

Burada D, Durbin-Watson istatistiği, Ri , uyumlama sonrasıelde edilen artıklar, Ri-1 ise i-1 sırasıyla başlayan artıklardır.

• D’nin alacağı değerlere göre aşağıdaki çıkarımlar yapılabilir:• D = 0; artıklar sistematik olarak korelasyon göstermektedir.

• D = 2; artıklar normal dağılıma sahiptir.

• D = 4; artıklar sistematik olarak antikorelasyona sahiptir.

a) D = 1.97

b) D = 1.12

Durbin-Watson İstatistiği Uyumlama Testi

Serbestlik Derecesi (Degrees of Freedom)• Serbest olarak değişebilen değerlerin sayısıdır.

• Örnek dağılımın eleman sayısına bağlıdır.

• Bir uyumlama söz konusu ise kullanılan parametre sayısına da bağlı olur.

• Eleman sayısının fazla olması serbest olarak değişebilecek değerlerin sayısının fazlaolması anlamına gelir.

• Bir örnek dağılım için,

df = N -1

Burada serbestlik derecesi df, eleman sayısı ise N’dir. Örnek dağılım, bir ana dağılımdanüretilmekte olduğu için, örnek dağılımın ortalama değeri, ana dağılımın ortalama temsiletmelidir. Bu durum serbestlik derecesinin 1 azalması anlamına gelir.

• Eğri uyumlama durumunda,

df = N – m

Burada m, uyumlamada kullanılan parametre sayısıdır. Uyumlamada kullanılanparametre sayısının fazla olması serbest olarak değişebilen değerlerin sayısınınparametre sayısı kadar azalması anlamına gelir.

Sıfır Hipotezi, H0 (Null Hypothesis)• Genellikle gözlenen bir olayın sadece rastgele süreçler ile oluştuğunu belirten

hipotezdir.

• Gözleme ilişkin alternatif hipotezin (H1) geçerliliğinin test edilmesi için kullanılır.

• Sıfır hipotezinin yanlışlanamaması durumunda gözlenen olayın sadece rastgelesüreçlerden kaynaklandığı (ya da sıfır hipotezinin geçerliliği) kabul edilir. Sıfırhipotezinin yanlışlanması durumunda alternatif hipotezin doğruluğu kanıtlanmışolmaz. Ancak gözlenen olgunun sadece rastgele süreçlerden (ya da sıfır hipotezininöngördüğü süreçlerden kaynaklanmadığı sonucuna varılır.

• Sıfır hipotezinin yanlışlanması için, alternatif hipotezin gerçekleşebilme ihtimalinin,rastgele süreçler ile (ya da sıfır hipotezinin ilgilendiği dağılıma göre) benzer olayıngözlenebilme ihtimalinden anlamlı bir mertebede yüksek olması gerekir.

• Örneğin; bir bitkiyi sulamanın, bitkinin büyüme hızıyla alakalı olduğunu söyleyen biralternatif hipotezin kabul edilebilmesi için, bitkinin büyüme hızıyla sulama arasında birilişki olmadığını söyleyen sıfır hipotezinin yanlışlanması gerekir.

• Örneğin; piramitleri uzaylıların inşa ettiğini iddia eden alternatif hipotezin kabuledilebilmesi için, piramitleri uzaylıların inşa etmediğini iddia eden sıfır hipotezininyanlışlanması gerekir.

Sıfır Hipotezi, H0 (Null Hypothesis)

• Sıfır hipotezi hata türleri• Tip I Hata, Sıfır hipotezinin doğruluğuna rağmen reddetmek: doğruluğun kontrol edildiği

olasılık olması gerekenden yüksektir. Örnek sayısının azlığından da oluşabilir.

• Tip II Hata, Sıfır hipotezinin yanlışlığına rağmen kabul etmek: doğruluğun kontrol edildiğiolasılık çok düşüktür.

Güven Aralığı – Güven Düzeyi (Confidence Interval – Confidence Level)

Güven Aralığı (Confidence Interval)• %95 güven aralığında bulunan bir değer, deney/gözlem

tekrarlanmaya devam edilirse tekrarların %95’inde, gerçekdeğer bulunan güven aralığında çıkacaktır anlamına gelir.

Güven Aralığı (Confidence Interval)• t-değeri tablosu

Güven Aralığı (Confidence Interval)

Z değeri ise kısaca 68-95-99.7 kuralı olarak bilinen,normal dağılımın standartsapması değerlerinekarşılık, bu standartsapma değerlerininkapsadığı yüzdelik dilimitemsil etmektedir.

Örn: %95 güven seviyesiiçin z değeri 1.96 olur.

Güven Aralığı (Confidence Interval)

Anlamlılık Seviyesi (Statistical Significance)• Bir alternatif hipotezin kanıtlanmaya çalışıldığı (örn. bir uyumlama işleminin

yapıldığı) bir deneyde, gözlenen olayın gerçekleşebilme ihtimalinin bir kritikdeğerden (α) büyük olması durumunda istatistiksel olarak anlamlı olduğusonucuna varılır.

• Gözlenen olayın rastgele süreçlerden meydana gelip gelmediği test edilmekistendiği için, olayın gerçekleşme ihtimali bir normal dağılım kullanılarakincelenir. Eğer olaya ilişkin dağılımın rastgele dağılım olmadığı biliniyorsailgili dağılım kullanılır.

• Ancak yeterli sayıda örnek dağılım elemanı bulunmuyorsa normal dağılımyerine, düşük serbestlik derecelerine daha duyarlı olan t-dağılımı kullanılır.

• Istatistiksel anlamlılığın belirlenebilmesi için kullanılan kritik değer α, birolasılık değeri anlamındadır. Farklı bilim dallarında farklı değerleri kabulgörülmektedir. Gözlenen olgunun rastgeleliğinin büyük oranda beklenirolduğu durumda daha küçük olasılık değerleri verilmesi uygun olur.

• Anlamlılık seviyesi, toplam olasılık olan 1’den güven seviyesinin farkıdır.

Anlamlılık Seviyesi (Statistical Significance)

• Sıfır hipotezi doğru ise ve normaldağılım sergilemesi bekleniyorsa,normal dağılımca beklenen en olasıdeğer ortalama değerdir.

• Bu durumda kritik olasılık değeri (α)belirlendiği takdirde, kritik değere göreortalamaya daha yakın olan toplamolasılık değerleri sıfır hipotezinin kabuledilmesi anlamına gelir. Bu durumdasıfır hipotezi 1- α güven aralığında kabuledilmiş olur.

• Eğer gözlenen olay, sıfır hipotezi ilebeklenen olasılıktan kritik değere göredaha düşük bir toplam ihtimale sahipse(yani kritik değerden daha küçükse) sıfırhipotezi yanlışlanmış olur ve bualternatif hipotezin anlamlılık seviyesi αolur.

Ki-kare (Chi-square)

Ki-kare (Chi-square)

Ki-kare değeri aynıparametre sayısına sahipiki modelin doğrudankarşılaştırılması için birgösterge olarakkullanılabilir.

• Bir gözlem verisinin, gözlenen olaya ilişkin teori ile tutarlılığının sınanmasıdır. Bu testtesıfır hipotezi “teorik yaklaşım gözlem verisi ile tutarlıdır.” olur.

• Sıfır hipotezi doğru ise uyumlama sonrası artıkları, rastgele hatalardan kaynaklanır venormal dağılım gösterir.

• Sıfır hipotezi doğru ise her bir gözlem verisinin uyumlama eğrisinden rastgele farklarınıntoplamı ki-kare dağılımı vereceğinden ki-kare testi uygulanabilir.

• Test adımları şu şekildedir:

1. Ki-kare değeri hesaplanır.

2. Serbestlik derecesi hesaplanır.

3. Bir güven aralığı seçilir.

4. Ki-kare tablolarından ilgili serbestlik derecesi ve güven aralığına karşılık gelenkritik ki-kare değeri, hesaplanan ki-kare ile karşılaştırılır.

5. Hesaplanan ki-kare değeri, tablodaki kritik değerden küçük ise sıfır hipotezi(gözlem verisinin teori ile tutarlı olduğu) kabul edilir. Eğer büyük ise sıfır hipoteziyanlışlanmış olur (teori gözlem ile tutarlı değildir).

• Ki-kare değeri aynı parametre sayısına sahip iki modelin doğrudan karşılaştırılması içinbir gösterge olarak da kullanılabilir.

Ki-kare Testi (Pearson’s Chi-squaredTest)

Ki-kare Testi (Pearson’s Chi-squaredTest)• Ki-kare tablosu

Örneğin, serbestlik derecesi 5 olan bir uyumlama işleminde ki-kare değeri 10 ise, sıfır hipotezi-gözlem uyumluluğu %10 ile%5 arasındadır. Eğer kritik değer α, 0.1 (%10) seçilmişse sıfırhipotezi 100*(1- α) güven seviyesinde reddedilir; eğer kritikdeğer %5 (1 - 2σ) seçilmişse sıfır hipotezi kabul edilir.

İndirgenmiş Ki-kare (Reduced Chi-squared)

Kovaryans

• Kovaryans cov(a,b): rastgele iki değişken arasındaki lineer ilişkiyi verenistatistiksel ölçüttür.

• Bir değişkenin (X) değerinde değişim olması durumunda diğerdeğişkenin (Y) değerinde ne yönlü bir değişim olduğunu belirtir.

Burada E[i], X değişkenin beklenen değeridir. Beklenen değer olarakortalama değer alınabilir.

• Kovaryans değeri, değişkenlerin değerlerinin birbirlerine göre hangiyönde (pozitif, negative ya da sıfır) lineer ilişkiye sahip olduğunu söyler.

Kovaryans

• Yandaki örnekte x ve ydeğişkenlerinindeğerleri ve ilgilikovaryans hesabıgörülmektedir.

• Burada,

cov(x,y) = 962.4/9

cov(x,y) = 106.93

elde edilir. Bu rakamınbüyüklüğü değil, işaretikovaryansın yönünü verirve bu örnek için pozitifkovaryans bulunmaktadır.

Yani x değerleri arttıkça, ydeğerleri de artmaktadır.

• Değişkenlerin birbirlerine göre kovaryans değerlerinin bulunduğu matrisekovaryans martisi adı verilir.

• Bu matriste farklı parametre ikililerinin birbirlerine göre nasıl bir lineer ilişkiyesahip oldukları hakkında bilgi elde edilebilir.

• Bu bilgi ile sadece uyumlamanın istatistiksel başarısı dışında, modelin fizikselanlamına uygun ikili parametre ilişkilerinin bulunup bulunmadığı test edilebilir.

Kovaryans Matrisi

Kovaryans Matrisi

• Bir uyumlama işleminde kullanılan model parametrelerinin kovaryansmatrisi, parametrelerin beklenen değerleri (örn. en küçük kareleryaklaşımı ile elde edilen en iyi değerleri) etrafındaki değişimlerinin birdiğer parametre ile lineer ilişkide olup olmadığı elde edilir.

• Bunun için parametrelerin en iyi değerleri hesaplanır. Bu değerlerkovaryans hesabında E[X] değerleridir.

• E[X] değeri bir miktar azaltılır ve arttırılır.

• Buna karşılık E[Y] değerlerinin hangi değerleri aldığı elde edilir.

• cov(X,Y) değeri hesaplanır ve matriste karşılık geldiği satır ve sütuna görekaydedilir.

• Kovaryans matrisin diagonal değerleri (cov(X,X), cov(Y,Y),..) oparametrenin varyans değeridir.

• Kovaryans hesabı yapan bazı programlar (kodlar) bu eksende doğrudanilgili parametrenin değerini verebilir.

p Değeri (p-value)• Sıfır hipotezinin doğru olması durumunda, gözlenen

olayların beklenen olasılıkta ya da daha endergörülmesi olasılığı değeridir.

• Eğer uyumlamada kullanılan model (yani hipotez)doğru kabul edilirse, uyumlama ile elde edilen ki-karedeğerinin ya da daha büyük bir ki-karenin sadecerastlantı ile elde edilebilme ihtimalini veren değerdir.

• Eğer p değeri küçük değilse, gözlem verisi model ileuyumludur denilebilir. Model ile beklenen ki-karedeğerinin (ya da daha büyük ki-kare değerlerinin)sadece rastgelelilik ile elde edilebilmesi olasıdır.

• Eğer p değeri küçük ise, gözlem verisi model ile uyumludeğildir. Yani gözlem verileri, model ile beklenendeğerlerden büyük farklılık göstermektedir. Başka birdeyişle gözlem verilerinin, kabul edilen hipoteze göreelde edilebilmesi olası değildir.

p Değeri (p-value)• p değeri ihtiyaca göre örneğin 0.05, 0.01, 0.001 gibi değerleri

alabilir.

• Yapılan testte ilgilenilen bölgeye göre üç farklı anlama sahipolabilir.

• Sağ taraflı

• Sol taraflı

• Iki taraflı

• Eğer p değeri, seçilen bir güven seviyesinden daha küçük ise sıfırhipotezi reddedilir. Bu durum, verinin sıfır hipotezi dışındaalternatif bir hipotezin açıklanabilmesine uygun olmasındankaynaklanmaktadır.

• Ancak ki-kare değeri gözlem verilerindeki hata üzerindenhesaplandığı için,

• Gözlem hataları olması gerekenden küçük ise ki-kare değeri olası olmayan miktardabüyük hesaplanır.

• Gözlem hataları olması gerekenden büyük ise ki-kare değeri olası olmayan miktardaküçük hesaplanır.

• Yani sıfır hipotezinin yorumlanmasından önce gözlem verisininhataları gözden geçirilmelidir.

• Sıfır hipotezinin reddedilmesi, alternatif hipotezi doğrulamaz!

Varyans Analizi (Analysis of Variance – ANOVA)• Örnek grupları arasındaki ortalamala farklarını, temelde, grupların varyansları üzerinden analiz

eden istatistiksel yöntemlerdir.

• Örnek gruplar iki veya daha fazla sayıda olabilir.

• ANOVA’nın temelleri istatistikçi ve biyolog Ronald A. Fisher tarafından atılmıştır.

• ANOVA’nın temel varsayımları:

• Örnek gruplar normal dağılım göstermektedir.

• Gözlemlere ilişkin hatalar birbirlerinden bağımsızdır.

• Aykırı gözlemler bulunmamaktadır ya da ayıklanmıştır.

• Farklı örnek gruplarda, her bağımsız değişkene ilişkin varyans değerleri eşittir.

• ANOVA’nın sıfır hipotezi, tüm örnek grupların ortalama değerleri birbirlerine eşittir.

• Alternatif hipotez ise, örnek grupların ortalama değerleri birbirlerine eşit değildir.

• Test edilen olguya ilişkin ortalama değeri değiştirebilecek tek bir etkinin (faktörün) bulunmasıdurumunda ana etken (ing. main effect) test edilmiş olur.

• Eğer olguya ilişkin birden fazla etki bulunuyorsa bu etkiler arasındaki ilişki de ortayaçıkartılabileceği için etkileşim etkeni (ing. interaction effect) de test edilebilir. Bu durumda,

• Sıfır hipotezi, “etkileşim yoktur.”

• Alternatif hipotez, “etkileşim vardır.” olur.

Varyans Analizi (Analysis of Variance – ANOVA)• Deneysel araştırma alanlarında (örn. biyoloji, tıp, kimya) kullanılabildiği gibi, deneysel

olmayan araştırma alanlarında (örn. astronomi) de kullanılabilmektedir.

• Deneysel araştırmalara örnek olarak; bir ilacın farklı dozajlarının sonuç etkide değişime sebepolup olmadığı testi yapılabilir. Böyle bir testte, tek bir değişken (dozaj) bulunduğundan buteste tek yönlü ANOVA (ing. one way ANOVA) denilir.

• Eğer bu deneyde farklı dozajların farklı cinsiyetlere etkileri ve cinsiyetler arası bir farklılığınolup olmadığı test edilmek istenirse iki değişken olması sebebiyle (dozaj ve cinsiyet) bu testeiki yönlü ANOVA (ing. two way ANOVA) denilir.

• ANOVA’nın temel adımları şu şekildedir:• Sıfır ve alternatif hipotezin tanımlanması

• Kritik olasılık değerinin (α) tanımlanması

• Serbestlik derecesinin hesaplanması

• Hipotez seçim kararının belirlenmesi

• Test istatistiği değerinin belirlenmesi

• Sonucun belirlenmesi ve yorumlanması

• Model uyumlamada, farklı modellerden en iyi uyumu sağlayanın seçilebilmesi için, ANOVA’dakullanılan yöntemlerden biri olan F-testi kullanılabilir.

F-Testi• Bir gözlem verisine yapılan iki farklı model uyumlamanın

karşılaştırılıp hangisinin istatistiksel olarak daha başarılı biruyumlama olduğunun belirlenmesi için kullanılansınamalardan birisidir.

• “F” adı, varyans analizinin temellerini atan istatistikçi vebiyolog Ronald A. Fisher’a ithafen verilmiştir.

• Model seçimi için F-testinin temel adımları şöyledir:• Karşılaştırılması istenen iki uyumlamanın artık kareler toplamının

(residual sum of squares, RSS) hesaplanması

• Her iki uyumlama işlemine dair serbestlik derecelerininhesaplanması

• Kritik olasılık değeri α’nın belirlenmesi

• F değerinin hesaplanması

• Sonucun belirlenmesi ve yorumlaması

F-Testi• F değeri yandaki şekilde hesaplanır.

Burada RSSi, ilgili uyumlamanın artıkkareler toplamı, pi, ilgili modeldekullanılan parametre sayısı, n ise gözlemsayısıdır.

• Eğer modellerin parametre sayıları aynı iseF değeri yandaki şekilde hesaplanabilir.

• Bu hesapta 1 numaralı modelin ‘dahabasit’ model, yani daha az parametresayısı içeren model olması gerekir.

• Artık kareler toplamlarının serbestlikderecelerine oranı bir ki-kare dağılımı, ki-kare dağılımlarının oranları ise bir Fdağılımı verir.

• Böylece hesaplanan F değeri, bir F dağılımıüzerinde kritik bir olasılık değeri (α) ilekarşılaştırılabilir bir değer olur.

F-Testi

• Örneğin, yandaki tabloda birincisütundaki zaman değerlerine karşılıkikinci sütundaki ölçüm değerlerigörülmektedir.

• Bu veri setine biri üstel (exponential),diğeri bir kuvvet yasası olan (power law)iki model uyumlaması yapılabilir.

• Bu modellerden hangisinin veriyi daha iyitemsil edebildiğini doğrudan uyumlamaeğrilerinden ya da artıklardan anlamamızher zaman mümkün olmaz.

F-Testi• Uyumlamanın iyiliğini ölçebilecek

istatistiksel yöntemlerin bazıları anlamlıbir seçim yapmaya yeterli olmayabilir.

F-Testi• İki modelden hangisinin daha iyi uyumlama sonucu verdiğinin anlaşılması için F-

testi uygulanabilir.

• F-testinde sıfır hipotezi, ‘1. model (üstel), istatistiksel olarak daha iyi uyumlamayapmıştır’ olarak seçilebilir.

• Buna göre F = 16.5310 / 102.6796 = 0.1608 olarak hesaplanır.

• Her iki model uyumlamanın serbestlik derecesi de

df = N – m = 10 – 2 = 8’dir.

• Serbestlik derecesi her iki model için de 8 olan ve F değeri 0.1608 olan bir Ftestinde, p değeri 0.9909 olarak hesaplanır.

• Kritik olasılık değeri α, 0.1, 0.05, 0.01 (%10, %5, %1) gibi değerlerden hangisinialırsa alsın sıfır hipotezi (1. modelin daha iyi olması) reddedilemez. Böylece sıfırhipotezi kabul edilir.

• Sıfır hipotezinin reddedilmemesi kararının güvenilirliği %99.09’dur.

F-Testi• F-testinde sıfır hipotezi, ‘1.

model (üstel), istatistikselolarak daha iyi uyumlamayapmıştır’ olarak seçilebilir.

• F = 0.1608

• Her iki modeluyumlamanın serbestlikderecesi

df = N – m = 10 – 2 = 8

• p = 0.9909

http://homepage.divms.uiowa.edu/~mbognar/applets/f.html

F-Testi• F-testinde sıfır hipotezi, ‘2.

model (kuvvet yasası),istatistiksel olarak daha iyiuyumlama yapmıştır’ olarakseçilseydi.

• F = 102.6796/16.5310

F = 6.2113

• df = N – m = 10 – 2 = 8

• p = 0.00911 olurdu.

• Kritik olasılık değerimiz 0.01(%1) dahi olsa sıfır hipotezinireddedebilirdik.

http://homepage.divms.uiowa.edu/~mbognar/applets/f.html

Akaike Bilgi Ölçütü (Akaike Information Criterion)• AIC, bir modelin başarısını veren ölçütlerden biridir.

• Doğrudan bir modelin başarısını verebildiği gibi, farklı modellerinkarşılaştırılabilmesini de sağlar.

• Bir sıfır hipotezi sınaması türünde değerlendirme yapmadığı için bir modelin mutlakdoğruluğu ile ilgili bir bilgi vermez. Dolayısıyla ilgilenilen modellerin tamamınınveriye iyi uyumlama sağlamaması durumunun göstergesi değildir.

• AIC değeri küçük olan modelin başarısı daha yüksektir.

• Burada k, modeled kullanılan parametrelerin sayısıdır. L^ ise modelin doğruluğudurumunda gözlem verisinin olabilirlik fonksiyonudur (likelihood function).

• Olabilirlik fonksiyonu, bir modelin önerdiği olasılık dağılımına göre tüm verilerin bu model ileoluşabilme olasılıklarının çarpımıdır. AIC ya da bir çok hesapta olabilirlik fonksiyonunun kendisikullanılabildiği gibi, kolay hesaplanabilirliği sebebiyle logaritması da kullanılmaktadır.

• Görüldüğü gibi parametre sayısının artması durmunda AIC değeri artar. Yanimodelde kullanılan parametre sayısının fazlalığı, modelin gerçek değişimden çokgürültü modellemeye doğru eğilimde bulunacağı kabulu yapılır. Dolayısıyla daha azparametre sayısına sahip (daha basit) modelerin seçilmesi yönünde bir dengesağlamış olur.

Akaike Bilgi Ölçütü (Akaike Information Criterion)• Eğer uyumlama yapılmak istenen veri sayısı çok küçük ise AIC daha fazla

parametreye sahip olan modelin seçilmesine sebep olur. Bu sebep ile AICdüzeltmesi (AIC correction, AICc) tanımı yapılmıştır.

• Sağ taraftaki bölümde n, gözlem verisi sayısı, k ise parametre sayısıdır.

• AIC ya da AICc kullanımı için sınır koşul olarak n/k < 40 kullanılır. Yani gözlem verisisayısı, modeldeki parametre sayısından en az 40 kat büyük ise AIC kullanılabilir. Budurumda parametre sayısı fazlalığının etkisi ihmal edilebilecek kadar küçük kalır.Eğer bu oran 40’tan daha az ise AICc kullanılmalıdır.

• AIC ya da AICc değeri pozitif ya da negatif olabilir. Başarılı model her zaman dahaküçük değere sahip olandır.

• AIC, farklı sayıda veriye sahip uyumlama işlemlerinde kullanılamaz.

• AIC, bir sıfır hipotezi sınaması olmadığı için sonuçta anlamlılık düzeyi, hipotez redidgibi ifadeler kullanılmamalıdır.

Akaike Bilgi Ölçütü (Akaike Information Criterion)

• Model uyumlamada AIC hesabı yandaki şekilde yapılabilir.

• Burada n, gözlem sayısı; RSS, artık kareler toplamı; k, modelde kullanılan parametresayısıdır.

• Model seçimi durumunda,• Modellerin tamamının AIC değerleri hesaplanır.

• En düşük AIC değere sahip olan model baz alınarak AIC farkları hesaplanır.

• Tüm modellerin olabilirlik fonksiyonuna ilişkin aşağıdaki yaklaşım yapılır. Burada her modelin elde veriüzerinden hesaplanabilecek olabilirlik fonksiyonları, AIC farklarının üstel bir ifadesi ile orantılıdır denilmektedir.

• Akaike ağırlıkları hesaplanır. Bu değer tüm modellerin olabilirlik fonksiyonlarının kullanılan tüm modellerintoplam olabilirliklerine oranıdır.

Akaike Bilgi Ölçütü (Akaike Information Criterion)

• Örneğin, 3 farklı model için RSS,AICc, Δi, wi hesapları bulunmaktadır.

• Sonuç ağırlıklarına göre 1 numaralımodelin, 2 numaralı modele göre0.6758 / 0.2816 = 2.4 kat dahayüksek olabilirliğe sahip olduğusöylenebilir.

• Yine 1 numaralı modelin, 3 numaralımodele göre 0.6758 / 0.0427 = 15.8kat daha yüksek olabilirliğe sahiptir.

Bayes Bilgi Ölçütü (Bayesian Information Criterion)

• BIC, bir modelin başarısını veren bir ölçüttür.

• AIC ile yakından ilişkilidir. Ancak ilave parametrelere daha hassastır.

• Burada n, gözlem sayısı, k, modelde kullanılan parametre sayısı ve L^, modele göregözlem verilerinin olabilirlik fonksiyonudur.

• BIC değerinin küçük olduğu modeller veriyi uyumlamada daha başarılıdır denilebilir.

• Eğri uyumlama işleminde aşağıdaki şekilde kullanılabilir. Burada RSS, artık karelertoplamıdır.

• Farklı modellerin BIC değerleri arasındaki fark ΔBIC aşağıdaki şekilde yorumlanabilir.• 0 < ΔBIC < 2, yüksek BIC değerli modele karşı güçlü bir kanıt yoktur.

• 2 < ΔBIC < 6, yüksek BIC değerli modele karşı ‘pozitif’ bir kanıt vardır.

• 6 < ΔBIC < 10, yüksek BIC değerli modele karşı ‘güçlü’ bir kanıt vardır.

• ΔBIC > 10, yüksek BIC değerli modele karşı ‘çok güçlü’ bir kanıt vardır.

Veriyi Dışlamak!• Gözlem verisi içerisinde genel trende uymayan gözlemlerin bulunması her

zaman olasıdır.

• Bu tür verilere aykırılar (outliers) adı verilir.

• Şu ana kadar gördüğümüz eğri uyumlama yöntemleri, uyumlama test vekarşılaştırma yöntemlerinin tamamı aykırı noktalardan etkilenmektedir.

• Bu sebep ile aykırı noktaların ayıklanması uygun olabilecektir.

• Bu işlem için Chauvenet kriteri (Chauvenet’s criterion) kullanılabilir.

• Chauvenet kriteri, normal bir dağılım göstermesi beklenen bir veride, her birgözlemin ortalama değerden ne kadarlık standart sapma kadar uzaklıktaolduğunun kontrol edilmesine dayanır.

• Veri setinin ortalama değeri ve standart sapması elde edilir.

• Aykırı olması muhtemel gözlemlerin ortalamadan kaç standart sapma uzaklıkta olduğuhesaplanır.

ABS(xout – xmean) / σ

• Bu farkın normal dağılımda (ya da ilgili dağılımda) ne olasılıkla elde edilebileceği hesaplanır.

• Bu olasılık verideki eleman sayısıyla çarpılır.

• Çarpım sonucu 0.5’ten küçük ise muhtemel aykırı veriden çıkarılıp, kalan verinin ortalaması vestandart sapması tekrar hesaplanır.

Veriyi Dışlamak!• Örneğin bir gözlemin sonuçları aşağıdaki gibidir:

9, 10, 10, 10, 11, 50

• 6 elemanlı bu veri setinin ortalama değeri 16.7, standart sapması 16.34’tür.

• 50 değeri potansiyel aykırı olarak, ortalamadan 33.3 kadar farklı bir değerdir ve,

33.3 / 16.34 = 2.038 standart sapma kadar ortalamadan ayrılmıştır.

• Normal dağılımda 2.038 standart sapmaya sahip bir verinin elde edilmesi olasılığı 0.05’tir.

• Chauvenet kriterine göre

0.05 * 6 = 0.03’tür ve 0.3 < 0.5 olduğundan 50 değeri veriden çıkarılır.

• Kalan gözlem elemanlarının ortalama sapması 10, standart sapması 0.7 olur.

• Gözlem verilerinin çıkarılması dikkat edilmesi gereken bir konudur. Gözlemler içerisinde aykırıgörünen noktaların, bu ölçüm değerlerine sahip olma durumuna ilişkin bir açıklamanın yapılması,gözlem verilerinin nasıl bir dağılım sergilemesi gerektiğinin iyi biliniyor olması (önceden yapılandeneyler ya da teori ile) ve gözlem verisinde az miktarda elamanın olmaması gerekmektedir.

• Chauvenet kriteri dışında birçok farklı aykırı nokta ayıklama yöntemleri bulunmaktadır. Yapılançalışmanın türüne veya ayıklama yöntemlerinin güvenilirliğine göre seçim yapmak gerekebilir.

Kaynaklar

• Measurements and their Uncertainties, Ifan G. Hughes & Thomas P.A. Hase, Oxford University Press, 2010

• Data Reduction and Error Analysis for the Physical Sciences, Philip R. Bevington & D. Keith Robinson, MC Graw Hill, 2003

• Görseller; www.stat.uiowa.edu/~mbognar/applets