Analiza datelor-programare SAS

8/15/2019 Analiza datelor-programare SAS

1/21

ACADEMIA DE STUDII ECONOMICE; FACULTATEA DE CIBERNETICĂ, STATISTICĂ ȘIINFORMATICĂ ECONOMICĂ; SPECIALIZAREA CIBERNETICĂ ECONOMICĂ

PROIECT LA

ANALIZA DATELOR

1


2/21


În cadrul acestui proiect au fost supuse analizei 8 variabile, fiecare având un set de 41 deobserva ii. Observa iile sunt reprezentate de cele 41 de jude e ale României. Sunt folositeț ț țvariabilele următoare suprafa a arabilă, suprafa a a!ricolă, vii i pepiniere viticole, livezi iț ț ș ș pepiniere pomicole, ve!eta ie forestieră, ape i băl i, suprafa ă cu construc ii, căi de comunica iiț ș ț ț ț ț

i căi ferate.ș

În tabelul din "#cel, cât i $n pro!ramul S%S Studio, variabilele au fost notate $n felulșurmător pentru facilitarea pro!ramării $n S%S

• Suprafata%rabila• Suprafata%!ricola• &iiSi'epiniere&iticole•

(iveziSi'epiniere'omicole• &e!etatie)orestiera• %peSi*alti• Suprafata+u+onstructii• +aie+omunicatiiSi+ai)erate.

&ariabilele sunt $n număr de 8 i toate au ca unitate de măsură -ectarul-a/. În func ie deș țnatura lor, datele sunt cantitative, iar $n func ie de natura valorilor pe care le iau, sunt de tipțdiscret. 0oate valorile au fost preluate de pe siteul 2nstitutului 3a ional de Statisticăț.23SS".ro.

2

http://www.insse.ro/http://www.insse.ro/


3/21


atele ini iale suntț

Fig. 1. Matricea ini ială a datelorț

SURSA : © 1998 - 2016 INSIUU! NAI"NA! #$ SAISI%A

3


4/21


Matricea de corela ie a datelorț

+orela ia este o metodă statistică utilizată pentru a determina rela iile dintre variabile.ț ț+oeficientul de corela ie e o valoare cantitativă ce descrie rela ia dintre două sau mai multeț țvariabile. "l variază $ntre 1 i 1, unde valorile e#treme presupun o rela ie perfectă $ntreș țvariabile, $n timp ce 5 $nseamnă o lipsă totală de rela ie liniară. %ce ti coeficien i constituieț ș țelementele matricii de corela ie.ț

6atricea de corela ie este simetrică i descrie le!ăturile dintre variabilele initiale.ț ș

6atricea de corela ie a datelor realizată $n "#cel/ esteț

Fig. 2. Matricea de corela ie a datelorț

Se poate observa o corela ie puternic pozitivă coeficientul de corela ie este aproape de 1/ț ț$ntre variabilele +aie+omunicatiiSi+ai)erate i Suprafata%!ricola, precum i $ntreș șSuprafata%!ricola i Suprafata%rabila.ș

"#istă i corela ii ne!ative. O corela ie slab ne!ativă se $nre!istrează $ntre variabileleș ț ț+aie+omunicatiiSi+ai)erate i &iiSi'epiniere&iticole, iar o corela ie puternic ne!ativă seș ț$nre!istrează $ntre variabilele &e!etatie)orestiera i Suprafata%rabila o valoare mai apropiată deș

1/.

4


5/21


Anali&a co'(onentelor (rinci(ale

%naliza componentelor principale este o te-nică de analiză multidimensională care are cascop determinarea unor noi variabile, numite componente principale i e#primate sub formașcombina iilor liniare de variabilele ori!inale, astfel $ncât aceste noi variabile să fie caracterizatețde o variabilitate ma#imă.

%naliza componentelor principale este recomandată $n cazul $ntâmpinării unor problemede simplificare a spa iului cauzal, de reducere a dimensionalită ii, de eliminare a redundan elorț ț ținforma ionale etc.ț

În cazul acestei analize, dimensionalitatea datelor este justificată pe baza matricei deobserva7ii 41 de observa7ii cu 8 caracteristici, $n total 98 de date. Redundan7a datelor este justificată pe baza matricei de corela7ie calculate mai sus din care reiese faptul că $ntre variabilee#istă corela7ii puternice con7ine valori apropiate de 1 sau 1/, deci e#istă suprapuneriinforma7ionale pe care vom dori să le eliminăm.

)ectorii *i +alorile (ro(rii

Înainte de a efectua analiza, trebuie să stabilim care sunt vectorii proprii. %ce tia au unșrol important $n determinarea componentelor principale.

+um componentele principale sunt combina ii liniare de variabile ori!inale, le putemț privi sub forma unui vector de forma i : a1i/ ; #1 < a9i/ ; #9 < = < ani/ ; #n , unde #1, #9, =, #n sunt variabilele ori!inale i aș j coordonatele vectorilor proprii corespunzătorimatricii de covarian ă a variabilelor ori!inale/ ponderile din tabelul de mai josț

5


6/21


Fig. ,. )ectorii (ro(rii

+omponentele principale sunt variabile vectoriale abstracte, definite sub forma unorcombina ii liniare de variabilele ori!inale i care au următoarele proprietă i fundamentaleț ș ț sunt necorelate două câte două i suma pătratelor care definesc combina ia liniară ceș țcorespunde unei componente principale este e!ală cu unitatea> prima componentă principală este o combina ie liniară normalizată a cărei varian ă esteț țma#imă, cea dea doua componentă principală este o combina ie liniară necorelată cu primațcomponentă principală i care are o varian ă cât mai mare posibilă, $nsă mai mică decât cea aș ț primei componente etc.

in defini ia componentelor principale ne dăm seama că trebuie să ale!em doar aceleț

componente principale care au cele mai mari valori proprii i care pot capta suficientă informa ieș țdin variabilele ori!inale. 'entru aceasta, vom folosi mai jos anumite criterii de ale!ere acomponentelor principale.

Fig. . )alorile (ro(rii

6


7/21


În prima coloană sunt valorile proprii ce e#primă varian a e#plicată prin fiecare nouățcomponentă principală i corela ia dintre noua variabilă i variabilele vec-i. % doua coloanăș ț șreprezintă diferen a dintre două componente consecutive. În a treia coloană a tabelului estețe#primat procentul din iner ia totală a norului de puncte re inut pe fiecare a#ă. În a patra coloanăț țeste e#primat procentul cumulativ al componentelor precedente.

%riterii de deter'inare a n'ărlide co'(onente (rinci(ale

acă aplicăm criteriul lui ?aiser, avem componente principale re inute $n analizățdeoarece a patra valoare proprie devine subunitară, iar acest lucru ne spune să nu acceptăm o a patra componentă principală.

'rimele valori proprii sunt mai mari decât 1 criteriul lui ?aiser/ i putem spune cășavem componente principale care sintetizează toate cele 8 variabile ori!inale.

'rin prima componentă se asi!ură concesia a 45,@AB din varian a totală.ț &arian a celei dea doua componente este e!ală cu valoarea proprie 1,CD4@5 i re ine 1D,DBț ș ț

din varian a totală. 'rimele două componente re in @5,@B din varian a totală.ț ț ț

&arian a celei dea treia componenteț este e!ală cu valoarea proprie 1,55595@81 i re ine 19,C5Bș țdin varian a totală. 'rimele componente re in A,15B din varian a totală.ț ț ț

În sc-imb, daca ne luăm după criteriul procentului de acoperire, ar trebui să admitem unnumăr de componente principale $n analiză astfel incât să avem un procent cumulativ deinforma ie captată de peste 85B, iar $n acest caz va trebui să considerăm $n analiză 4 componenteț principale.

escre terea cantită ii de informa ie con inute $n fiecare componentă principală esteș ț ț țilustrată $n !raficele de mai jos. În primul !rafic putem vedea cantitatea procentuală de

informa ie con inută $n fiecare componentă, iar $n cel deal doilea avem $n plus i procentulț ț șcumulat de informa ie pe parcurs ce admitem $n analiză mai multe componente.ț

7


8/21


Fig. /. raicl +alorilor (ro(rii Fig. 6. )arian a c'lată a co'(onentelorț

'e !rafic am identificat diferen ele semnificative e#istente $ntre valorile proprii i amț ștrasat o paralelă la abscisă deasupra ultimei astfel de diferen e, iar numărul de valori propriițaflate $n partea superioară dreptei reprezintă numărul de componente principale. upă trasarea

dreptei putem afirma pe baza !raficului că primele trei valori proprii sunt i componenteleș principale i e#plică o parte din mul imea norului de puncte.ș ț

Eraficul din fi!ura 8 e#primă le!ătura dintre componentele principale i varian aș țcumulată pe care acestea o conservă. 'rima componentă principală re ine 45,@AB din varian aț țtotală, a doua componentă principală re ine @5,@B din varian a totală i a a mai departe.ț ț ș ș

În pro!ramul S%S, vom putea efectua analiza componentelor principale cu ajutorulcodului următor

ODS GRAPHICS ON;

PROC PRINCOMP DATA=sem_sas.Firme COV OUT=Scoruri N=8 OUTSTAT=sas_ACP

!"os=#a""$;

VAR Su!ra%aaAra&i"a Su!ra%aaA'rico"a ViiSiPe!i(iereViico"e )i*e+iSiPe!i(ierePomico"e

Ve'eaieForesiera A!eSi,a"i Su!ra%aaCuCo(srucii CaiDeComu(icaiiSiCaiFerae;

TIT)- Re+u"ae A(a"i+a Com!o(e(e"or Pri(ci!a"e;

RUN;

8


9/21


%naliza se realizează pe matricea de corela ie. În OF0'F0ul din S%S vor fi afi ateț șurmătoarele informa iiț

Fig. . Re&ltatele anali&ei co'(onentelor (rinci(ale

9


10/21


Anali&a cl*ter

%naliza cluster poate fi definită ca reprezentând o mul ime de principii, metode iț șal!oritmi de clasificare, având ca scop or!anizarea datelor sub forma unor structureinforma ionale semnificative, relevante.ț

+u ajutorul acestei analize, se clasifică unită ile $n clase !rupuri/ relativ omo!ene.țFnită ile din interiorul unei clase trebuie să fie asemănătoare $ntre ele, $n timp ce unită ileț țapar inând unor clase diferite trebuie să fie cât mai diferite. În limbaj statistic, aceasta $nseamnățminimizarea varian ei reziduale, din interiorul se!mentelor ob inute i ma#imizarea varian eiț ț ș țe#plicată, dintre se!mente.

+lusterizarea este o formă de sinteză informa ională, dar vizează observa iile, nuț țvariabilele. +u ajutorul analizei cluster ne propunem $mpăr irea celor 41 de jude e $n clase câtț țmai omo!ene $n interior i cât mai etero!ene $ntre ele. Repartizarea obiectelor pe clase se poateșface cu ajutorul unor metode ierar-ice sau cu ajutorul unor al!oritmi de parti ionare.ț

6etodele ierar-ice se numesc astfel deoarece e#istă o ierar-ie $ntre clase, fiecareclasă mai mică fiind inclusa $ntro clasă mai mare, până când se ajun!e la o sin!ură clasă. Se!rupează mai $ntâi obiectele aflate la distan ă minimă, i odată !rupate, două obiecte devin oț șclasă, i se !rupează cu alte clase pe baza distan ei dintre clase. "#istă mai multe metode deș țcalcul a distan ei $ntre clase, care !enerează diferite metode ierar-ice de analiză cluster.ț

Fig. 8. Vectorii proprii ai matricei de corelație

1


11/21


Fig.9. Gruparea obiectelor pe clustere

În platforma S%S am stabilit să !rupăm unită ile elementare $n 95 de clase. %cestea suntț$n iruite $n prima coloană, $n ordine descrescătoare. )recven a fiecăreia este eviden iată $nș ț țcoloana a patra.

O $mpăr ire corectă a datelor pe clustere este demonstrată de valori cuprinse $ntre 9 i 4ț ș pentru +ubic +lusterin! +riterion +++/. &alorile 59 arată o $mpăr ire acceptabilă. În mareț parte, datele sunt bine $mpăr ite.ț

+onform valorilor 'S"FO), numărul bun de clustere se află $n dreptul celei mai marivalori din apropierea numărului dorit de clustere, i anume 95.ș

&alorile lui 'S"FO tSGuared ne indică faptul ca datele ar trebui să fie $mpăr ite $n țclase. Între clasele i 4 se inre!istrează cea mai mare diferen ă o cre tere bruscă/.ș ț ș

11


12/21


P!"#$% & '#&()*) "%+$%* -.#)+ /! 0*&'! 0&$! #$!(%)! .'#$!, SAS .%"! *&/)'.-))! #$!) 0$)#!$))

Fig. 10. Criteriile de alegere a numărului de clustere

C-"-$+ %$)), "%+$%* -.#)+ /! 0*&'! 0&$! #$!(%)! $!)"%# !'#! 4

12


13/21


Fig. 11. Analiza grupării datelor (clusterelor

S! #$&'!& - .!$.!"/)0%*&$ .! 0!& +&) +&$! /)'#&" N%+$%* /! 0*%'#!$!!'#! / /! "%+$%* /! /$!.#! 0% 0&$! '! )"#!$'!0#!& .!$.!"/)0%*&$&

P!"#$% !"!$&$!& /!"/-$&+!), '& )"#$-/%' " .*-$+& SAS %$+#-$%* 0-/

PROC TREE DATA=WORK.wholesale_clus OUT=WORK.wholesale NCLUSTERS=3;title De!"#o$#a%a ;COP& Su'#a(ataA#a)ila Su'#a(ataA$#icola *iiSiPe'i!ie#e*iticoleLi+e,iSiPe'i!ie#ePo%icole *e$etatie-o#estie#a A'eSialti Su'#a(ataCuCo!st#uctiiCaiDeCo%u!icatiiSiCai-e#ate;RUN;

13


14/21


Fig. 1!. "endograma

R!.$!!"#&$!& $&0 & *-)0)) +!#-/!) /! &"&*) 0*%'#!$ /! #). )!$&$:)0 !'#!

%" -()!0# $&0 "%+)# &$(-$! &* 0*&')0$)) '&% /!"/-$&+A0!&'#& !'#! 0!& +&) )+.-$#&"# -$+ /! &"&*)N%+$%* /! 0*%'#!$! !'#! / /! "%+$%* /! )"#!$'!0)) & %"!) #)!#%$) /%. -

/$!&.# .&$&*!* 0% &('0)'& ) $&+%$!*! &$(-$!*%) C-+.-"!"& !0$%) 0*%'#!$ !'#!/ /! 0*%'#!$!*! &


15/21


Anali&a di*cri'inantă

%naliza discriminantă reprezintă procesul de utilizare a unei !ame variate de metode,te-nici i al!oritmi $n scopul de a determina care dintre caracteristicile unor anumite obiecte aușcea mai mare relevan ă din punct de vedere al recunoa terii apartenen ei acestor obiecte laț ș țanumite clase aprioric definite i de a stabili apartenen a cea mai probabilă a obiectelor la diferiteș țclase.

Stabilirea apartenen ei obiectelor unei populaț ții la anumite clase are la bază proprietă ilețsau caracteristicile obiectelor respective, care sunt reprezentate la nivel formal prin intermediulunor variabile, notate cu #1, #9, =., #n.

)undamentul teoretic al analizei discriminante de tip )is-er este reprezentat de analizavarian ei.ț

%riteril li Fi*3er define te o modalitate de deducere a func iilor discriminant pe bazaș țanalizei comparative dintre variabilitatea intra!rupală i variabilitatea inter!rupală, la nivelulșclaselor sau !rupelor popula iei analizate. )unc iile discriminant deduse pe baza criteriului luiț ț)is-er se mai numesc i func ii scor i sunt func ii liniare.ș ț ș ț

O func ie discriminant de tip )is-er se determină ca o combina ie liniară de variabileleț țdiscriminant, combina ie ai cărei coeficien i sunt componente ale unui vector propriu al matricii.ț țin această modalitate de definire rezultă, $n mod implicit, că pot fi identificate mai multe

func ii discriminant. 3umărul ma#im posibil de func ii discriminant care pot fi identificate peț ț baza criteriului lui )is-er este e!al cu numărul de valori proprii distincte i strict pozitive aleșmatricii. eoarece această matrice este de dimeniune n#n, $n situa ia $n care ea este strict pozitivțdefinită i are ran!ul ma#im, rezultă că numărul total de func ii discriminant care pot fiș țdeterminate este e!al cu n.

3otăm cele n valori proprii ale matricii cu H1, H9, =, Hn i vom presupune că ele suntșordonate din punct devedere al valorilor pe care le au

'rin utilizarea procedurii 2S+R26 din S%S datele de intrare vor fi privite ca un set dedate de antrenate , de $nvă are. 'e baza acestui set de antrenare poate fi determinată $n continuarețapartenten a formei la clasă pentru o altă observa ie. )unctia discriminant sau criteriul deț țclasificare este determinat ca o măsură a distan elor pătrate !eneralizate.ț

15


16/21


Fig. 12. S'arl anali&ei

'rimele două tabele ne furnizează informa ii de bază despre datele analizate, cum ar fițnumărul de observa ii citite i numărul de observa ii considerate $n analiză.ț ș ț

În cel deal doilea tabel observăm $mpăr irea pe clase a datelor, respectiv frecven ele iț ț ș propor iile fiecărei clase.ț

16


17/21


Fig. 1,. Matricea di*tan elorț

6ai sus avem matricea distan elor pătrate !eneralizate i func ia distriminant ce se poateț ș țciti de pe liniile matricii. 'utem observa că distan a $ntre clusterul 1 i 9 este de 1@,85, $ntreț șclusterul 1 i distan a este de 41CA, $ntre clusterul 9 i distan a este 4185.ș ț ș ț

17


18/21


Fig. 1. Matricea corectitdinii cla*iicării

6ai sus avem matricea corectitudinii clasificării, unde pe linii avem clasele reale, iar pecoloane avem clasele predictate.

• În clasa 1, cele 9@ observa ii au fost $ncadrate corect $n clasa 1155B/.ț• În clasa 9, cele 14 observa ii au fost $ncadrate corect $n clasa 9155B/, neavândț

nici o observa ie $ncadrată !re it.ț ș• În clasa avem o observa ie $ncadrată corect.ț

in al doilea tabel reiese faptul că datele sunt corect $ncadrate.

18


19/21


4i5liograie

I%3%(2J% %0"(ORK L E-eor!-e Ru#anda, "ditura %S" *ucure#) 9551

19


20/21


AN$7

!roc im!or ou=a(/reea /aa%i"e=01ome0(a(/reeacori(a20AD.3"s3 /&ms=3"s3;

'uessi('ro4s=555;

ru(;

!roc !ri(com! /aa=a(/reea ou=scoruri sa(/ar/ ousa=saisici;

*ar Su!ra%aaAra&i"a66CaiDeComu(icaiiSiCaiFerae;

ru(;

)I,NAM- sem_sas CA)- ,I,)IOT-CA;

PROC IMPORT DATAFI)-=701ome0(a(/reeacori(a20AD.3"s37

D,MS=)S

OUT=9OR:.41o"esa"e;

G-TNAM-S=-S;

RUN;

PROC PRINT DATA=sem_sas.Firme;

ID De(umire; RUN;

PROC SORT DATA=sem_sas.%irme;

, /e(umire;

ru(;

!roc u(i*ariae /aa=9OR:.41o"esa"e;

i"e A(a"i+a saisica a %iecarei *aria&i"e;

*ar Su!ra%aaAra&i"a Su!ra%aaA'rico"a ViiSiPe!i(iereViico"e )i*e+iSiPe!i(ierePomico"e


ru(;

ODS GRAPHICS ON;

PROC PRINCOMP DATA=sem_sas.Firme COV OUT=Scoruri N=8 OUTSTAT=sas_ACP

!"os=#a""$;

2


21/21


VAR Su!ra%aaAra&i"a Su!ra%aaA'rico"a ViiSiPe!i(iereViico"e )i*e+iSiPe!i(ierePomico"e


TIT)- Re+u"ae A(a"i+a Com!o(e(e"or Pri(ci!a"e;

ru(;

!roc corr /aa=Scoruri ou!=re+_corr;

*ar Su!ra%aaAra&i"a Su!ra%aaA'rico"a ViiSiPe!i(iereViico"e )i*e+iSiPe!i(ierePomico"e


4i1 !ri(5 !ri(< !ri(;

ru(;

PROC M-ANS DATA=%irme N STD M-AN MAD-C=

Date post:	05-Jul-2018
Category:	Documents
Upload:	andreea-corina
View:	250 times
Download:	0 times

Analiza datelor-programare SAS

Documents