Статистически методи за химични цели Кратка дефиниция: приложение на статистиката в различни области на химията. Статистиката е математическа дисциплина, която изучава получаването на информация чрез анализ и интерпретация на емпирични данни, използвайки теорията на вероятностите. Статистическата дейност включва също планирането и организирането на събирането на данни чрез проучвания и експерименти.

Обхваща (основни етапи на статистическите изследвания): � планиране на експеримента � събиране на експериментални данни � обобщение, описание и анализ на експерименталните резултати � интерпретация на резултатите: - формулиране и проверка на хипотези; - установяване на функционални зависимости; - оформяне на изводи и заключения

� вземане на решения

Основни задачи (цели): � описание на експериментални резултати (дескриптивна статистика) � проверка на хипотези (χ2-тест, t-тест, F-тест) � установяване на функционални зависимости (корелация, линейна или нелинейна регресия)

� създаване на модели, вземане на решения и др.

Основни понятия: � Масово явление - когато в множество единични явления се повтарят определени закономерности, валидни за общността от единици като цяло.

� Статистическа съвкупност - това е съвкупност от голям брой единици (случаи), които характеризират дадено (масово) явление – Генерална съвкупност (популация): цялата група от обекти, над които е възможно да се извърши дадено статистическо наблюдение. Обхваща всички случаи (единици, обекти) на изследваното масово явление.

– Извадка (представителна съвкупност) - групата от обекти (частта от генералната съвкупност), над която е извършено дадено статистическо наблюдение или съвкупността от експериментални измервания, направени в различни моменти върху един и същ обект. Смята се, че чрез характеристиките на извадката могат да се определят свойствата на генералната съвкупност. В зависимост от извадковия метод, броят на наблюденията в извадката може да е по-малък, равен, или дори по-голям от генералната съвкупност. От една генерална статистическа съвкупност могат да се направят повече от една извадки.

- изпитване (опит) – всяко наблюдение или измерване - обем на съвкупността – броят на единиците в статистическата съвкупност

Измеряемите характеристики на генералната статистическа съвкупност (например математическото очакване и дисперсията) се наричат параметри на съвкупността, а измеряемите характеристики на извадката (като средноаритметична стойност или дисперсия) се наричат статистики на извадката.

� Статистически признаци – изразяват свойствата (качествата, проявите и отношенията) на отделните единици на дадено явление. Най-общо статистическите признаци са качествени и количествени.

� Статистически данни са събраната, организирана и анализирана информация, необходима за изследване на дадено явление. За представяне на измерените данни

(числата) от наблюденията при статистическата съвкупност се използват статистически редове. Когато в статистическата съвкупност са обособени интервали с долна и горна граница, статистическият ред е интервален. Статистическите редове, т.е. резултатите от групирането на наблюденията, се нанасят в статистически таблици. В таблиците се подреждат не само статистическите данни, но и резултатите от статистическата им обработка.

� Променливи (величини): наблюдаваните или измервани характеристики или параметри. Най-общо казано, променливите биват качествени и количествени. По-детайлно, основните видове променливи са:

– номинални – именни променливи, отличаващи се качествено от останалите (пол, цвят, форма). Не могат да бъдат сортирани и сравнявани.

– ординални – променливи, които могат да се сравняват, но не и да се съотнасят – пример – изпитни оценки, качество на живот...

– интервални – променливи, за които интервалите могат да се интерпретират и съотнасят (примерно доходи, брой на поколението)

– абсолютни – такива интервални променливи, за които има нулева точка на измерването (възраст, тегло, ръст, кръвно налягане, време за реакция и др.).

От процедурно-изчислителна гледна точка променливите се делят на: – номинални (качествени, категорийни), – ординални (оценъчни) и – метрични (измеряеми).

От гледна точка на количественото им представяне, те биват: – дискретни (с предварително известни възможни стойности) и – непрекъснати (с безкраен брой възможни стойности в определен интервал).

� Статистическо разпределение – описва интервал, в който могат да попадат стойностите на дадена случайна променлива и вероятността променливата да попадне в даден участък от стойности. Отчита факта, че всяко измерване е извършено с някаква точност, т.е., ако направим множество измервания на един и същ параметър (или върху множество от обекти, или многократно върху един и същ обект), резултатите няма да се повтарят, а ще са разпръснати по случаен (или закономерен) начин. Разпределението описва вероятността резултатите да попадат в определен интервал ако са разпръснати по случаен (съгласно теорията на вероятностите) начин.

Пробовземане (Sampling)

Извадковите методи за вземане на проби представляват процедури за избор на елементи за наблюдение (изпитване) от дадена генерална статистическа съвкупност.

Методите за подбор на извадката се подразделят на два класа: 1. Методи без разбиване на генералната съвкупност на части Това са случаите на:

– прост случаен подбор без връщане, – прост случаен подбор с връщане

2. Методи с разбиване на генералната съвкупност на части Това са случаите на :

– типичен подбор – механичен подбор – сериен подбор.

При подбор без разбиване на генералната съвкупност обектите на генералната съвкупност с обем N първо трябва да се номерират от 1 до N. След това от численото множество f1; f2; : : : ;Ng се прави случаен избор на n числа. Тези числа определят номерата на обектите от генералната съвкупност, които образуват нужната извадка с обем n.

От подборите с разбиване на генералната съвкупност на части заслужава да обърнем

внимание на типичния подбор, което ще направим малко по-долу. Изисквания към извадката:

За да се получат достоверни изводи от изследването, извадката трябва да отразява основните черти на генералната съвкупност. Затова при формирането на извадката трябва да се спазят следните изисквания:

Извадката не трябва да е пристрастна (преднамерена). Така например няма да се получи реална представа за ръста и теглото на учениците в страната, ако се проведе проучване за тези показатели в едно спортно училище. Отстраняването на пристрастността на избора, доколкото това е възможно, се извършва със случайна извадка.

Извадката трябва да е случайна, т.е. елементите на извадката трябва да се избират случайно и по такъв начин, че всички елементи на генералната съвкупност да имат равни шансове да попаднат в нея. Получаването на случайна извадка се извършва със статистическата техника на случайния избор (процедура на рандомизация), чрез използване на генератори на случайни числа, включени в много софтуерни пакети. В случая, когато елементите на изследваната генерална съвкупност са номерирани, освен чисто случайна извадка, от въпросната генерална съвкупност може да се реализира т.нар. „систематична извадка”. За целта се избира случайно един произволен елемент на генералната съвкупност и дадено цяло число K, наречено „стъпка” на систематичната извадка. След това, започвайки от този случайно избран елемент, се избират всички елементи на генералната съвкупност, които отстоят на цяло число стъпки от него. Лесно се съобразява, че когато от генерална съвкупност с N елемента трябва да се избере систематична извадка с обем n, стъпката K е равна на [N/n] – цялата част на частното N/n.

Обемът на извадката трябва да е достатъчно голям. При малък обем на извадката не може да се получи реална представа за свойствата на генералната съвкупност. Затова е желателно този обем да бъде по възможност по-голям. От друга страна, прекомерното увеличаване на обема на извадката не винаги е възможно или пък е нежелателно (поради оскъпяване на изследването или унищожаване на извадката при изследването). Изборът на обема n на извадката е разумен компромис между горните противоречиви изисквания и зависи от естеството на конкретното статистическо изследване.

Извадката трябва да е представителна (репрезентативна), т.е. изборът на представителите да се извършва така, че да отразяват структурата на генералната съвкупност. Съгласно закона за големите числа, може да се твърди, че извадката ще бъде представителна, ако е случайна и нейният обем е достатъчно голям. Тъй като това невинаги е възможно при подбор без разбиване на генералната съвкупност на части, в някои случаи е целесъобразно извадката да се извлече с типичен подбор, при който обектите се извличат не от цялата генерална съвкупност, а от всяка нейна „типична” част. Например ако лекарство се произвежда от две поточни линии, то подборът се прави не от цялата съвкупност от произведени лекарства, а от продукциите на всяка поточна линия поотделно. Типичният подбор се прилага, когато изследваният признак се колебае забележимо в различните „типични” части на генералната съвкупност. За да се получи типичен подбор на извадката, първо се разбива генералната съвкупност на краен брой подмножества, m, които са относително еднородни по отношение на изследвания признак.

Нека обемите на тези подмножества са съответно N1;N2; : : : ;N m, където N1 + N2 + ··· + Nm = N. Нека от всяко такова подмножество по случаен начин са подбрани извадки с обеми съответно n1; n2; : : : ; nm и n1+n2+ ··· +nm = n. Тогава подборът на обединената извадка с обем n ще бъде типичен, ако са изпълнени условията:

m

m

N

n

N

n

N

n ≈≈≈ L

2

2

1

1

Дескриптивна (описателна) статистика

Дава количествено описание на основните свойства и характеристики на дадено множество от данни. Задачата на дескриптивния анализ е да обобщи количествено събраните данни, и да оцени основните им статистически параметри, а не да проверява хипотези или да обосновава изводи за дадена популация. Основните елементи на дескриптивната статистика са:

� Централни тенденции (математическо очакване): – средни стойности

� средноаритметични: ∑=

=n

iia xx

1

най-често използвани, но чувствителни към по-големи отклонения на малък брой данни (напр. xi >> ax )

� средногеометрични: nn

iig xx ∏

==

1; използват се за сравняване на

показатели, зависещи от произведението на няколко променливи на един и същ обект (напр. сравняване на обеми abcV = ; gx ще даде среден

размер, позволяващ лесно сравняване)

� среднохармонични:

∑=

=

n

i i

h

x

nx

1

1; в биологията тези стойности се

използват в популационната генетика при изчисляване на обема на размножаващи се популации, особено при наличие на близкородствено кръстосване в малки групи

– медиана – стойност, разделяща наблюденията наполовина – персентили – стойности на дадена променлива, под които попада определен процент от статистическите наблюдения. В този смисъл, медианата е вторият квартил (квартилите показват граници на 25% от наблюденията)

– мода – най-голямата стойност от всички статистически наблюдения � Дисперсия

– размах (интервал) – разлика между максимална и минимална стойност: minmax xxR −=

– дисперсия:

( )

11

2

−

−=∑=

n

xx

S

n

iai

– стандартно отклонение: Ss =σ

� Форма на статистическото разпределение – симетрия

� симетрични разпределения � асиметрични разпределения

– кюртозис (стръмнина, ширина) � лептокюртни (тесни, стръмни, заострени) � мезокюртни (нормални) � платикюртни (разширени, плоски)

Най-често срещани статистически разпределения � Пуасоново

– дава вероятността за наблюдаване на n дискретни събития за интервал от време T, когато средният брой събития за единица време е λ, предполагайки, че тези събития са независими

– функция на вероятността:

Pn

en

( )!

λ λ λ= −

– параметър: λ – математическо очакване: λ; – дисперсия: λ – примери и приложения: случайни събития с малка вероятност

� покълване на коренчета � заболяване при контакт с инфекция � развитие на колонии микроорганизми

� Биномно – описва се чрез опита на Бернули: дава вероятността за k благоприятни изхода от

n независими опита P n p C p qk

n k n k( , ) = − (забележка q = 1 – p)

( )Cn

k n kkn =

−!

! !

– параметри: n, p – математическо очакване: np; – дисперсия: np(1- p) – примери и приложения: алтернативни събития с постоянна вероятност

� проява (или не) на генетично унаследени признаци � хвърляне на зарче или монета

� Нормално – функция на плътността на вероятността:

( )f x e

x

( ) =−

−1

2 2

2

2

2

πσ

µσ

– параметри: µ, σ – математическо очакване: µ; – дисперсия: σ 2 – приложения − почти във всички области, при работа с непрекъснати данни; почти всички останали разпределения могат да бъдат апроксимирани с нормално

– нормиране: превръща всяко нормално разпределение в нормално разпределение с µ = 0; σ = 1. Извършва се чрез замяна на всяка наблюдавана стойност xi с

σµ−

= ii

xx*

� χχχχ2, на Стюдънт, F-разпределение

Статистически изводи и проверка на хипотези t-тест (тест на Стюдънт) Този тест позволява да се сравняват две извадки (или резултати от множество измервания) даже ако те са с различен обем. Опростено казано, t-тестът сравнява разликата между средните стойности на две извадки, отнесена към стандартната грешка на данните. Процедура 1. Формулира се т.н. “нулева хипотеза” - очакването, което проверява този тест. Използването на нулева хипотеза, т.е., твърдение, че двете сравнявани извадки не се различават статистиески, облекчава изчисленията. 2. Събират се експерименталните данни - извършва се експеримент, в който се събират данни за изследваните обекти, но се извършват и измервания за т.н. “отрицателна” контрола (обекти, които не са подложени на външно въздействие, без добавяне на токсично или лекарствено вещество например), както и по възможност, измервания, наричани “положителна” контрола (с добавяне на вещество с известна токсичност или лечебна ефективност) 3. Определя се обемът на всяка извадка (n1 и n2) 4. За всяка извадка се изчисляват:

– средноаритметичните стойности ( x1 и x2 ) → xx

n

ii

n

= =∑

1

– дисперсиите (S1 и S2) → Sx x

n

ii

n

=−

−=∑ ( )2

1

1

– комбинираната стандартна грешка от двете извадки → sS

n

S

nx1 2

1

1

2

2,

= +

– числото t като абсолютна стойност на разликата между средноаритметичните стойности,

разделена на комбинираната стандартна грешка → tx x

sx

=−1 2

1 2,

– от таблицата със стойностите на t сравнете изчислената стойност на t с табличната, при ниво на значимост 0.05 и брой на степените свобода (n1 + n2 – 2) – ако изчислената стойност на t превишава табличната, казваме, че средноаритметичните стойности на двете извадки са достоверно различни или са със значима разлика за избраното ниво на значимост (в случая 0.05) 5. Ако е установена значима разлика, трябва да отхвърлим нулевата хипотеза и да приемем алтернативната. В противен случай приемаме нулевата хипотеза, т. е., решаваме, че наблюдаваните различия между двете извадки не са значими (статистически достоверни). Командата за t-тест в Microsoft Excel е: TTEST(array1;array2;tails;type) В нея array1 е областта, където са данните от първата извадка (примерно D2:D8 - колона D, редове от 2 до 8); array2 - областта на данните от втората извадка; tails - показва дали тестът е едностранен или двустранен, както в нашия случай (tails = 2); type - в нашия случай сме приели, че сравняваме извадки със сходна дисперсия (type = 2). Тази команда показва нивото на значимост, с което нулевата хипотеза може да бъде отхвърлена, т.е., ако в клетката с TTEST има стойност, по-малка от избраното ниво на значимост (примерно 0.05), нулевата хипотеза може да бъде отхвърлена; ако е по-голямо, тя трябва да бъде приета.

χ2 -тест (χ2 -статистика)

Статистиката χ2 – сравнява съответствието между две или повече групи от категорийни данни (ВАЖНО: този тест може да се използва само за оценка на действителен брой появи на признаци или качествени характеристики, а не на проценти, пропорции, части, средни стойности и др. подобни).

Най-често този тест се използва в два случая:

– за сравняване на резултатите от алтернативни и категорийни разпределения (ефективност на лекарство – излекувани или не; токсичност на отровни препарати – оживели или не плевели или вредители; брой клетки в различен стадий на делене и др.)

– за оценяване на съвпадението на вероятностни разпределения (например, наблюдаван брой организми с определени унаследени признаци спрямо очаквания им брой съгласно теорията за наследствеността).

Процедура 1. Попълва се таблица с наблюдаваните стойности и техните суми 2. Формулира се „нулева хипотеза”, както и алтернативната хипотеза 3. Изчисляват се очакваните стойности (стойностите, които би трябвало да се получат, ако е валидна нулевата хипотеза) и се попълва таблица с тях

4. Изчислява се стойността на статистиката χ2: ( )

∑−

=E

EO

x

xx 22χ , където xO са наблюдаваните

стойности, а xЕ – очакваните 5. Сравнява се изчислената стойност на χ2 с табличната, при ниво на значимост 0.05 и съответния брой на степените свобода (най-често се определя по формулата

( )( )11 −−= RC NNDf ,

където NC е броят на колоните (признаците, характеристиките), а NR – броят на редовете (групите, категориите)).

6. Ако изчислената стойност на χ2 превишава табличната, нулевата хипотеза се отхвърля и се приема алтернативната. В противен случай нулевата хипотеза се приема, т. е., смята се, че наблюдаваните различия между двете извадки не са значими (статистически достоверни).

Командата за χ2-тест в Microsoft Excel е: CHITEST(actual_range,expected_range) в нея actual_range е областта, където са данните от таблицата с наблюдавани стойности (примерно D2:D8 - колона D, редове от 2 до 8), а expected_range - областта на таблицата с очаквани стойности. Тази команда показва нивото на значимост, с което нулевата хипотеза може да бъде отхвърлена, т.е., ако в клетката с CHITEST има стойност, по-малка от избраното ниво на значимост (примерно 0.05), нулевата хипотеза може да бъде отхвърлена; ако е по-голямо, тя трябва да бъде приета.

Корелационен и регресионен анализ Този статистически анализ позволява да се решава третата основна задача на биостатистиката – установяване на функционални зависимости. Когато при изучаване на различни биологични явления или обекти съществуват причинно-следствени връзки, те могат да бъдат установени и количествено охарактеризирани с помощта на т.н. корелационен и регресионен анализ. Корелационният анализ спада към т.н. точкови анализи. Той се заключава в изчисляването на т.н. корелационен коефициент, който може да има стойности в интервала ±1.

Корелационен коефициент:

∑ ∑∑ ∑

∑ ∑∑

= == =

= ==

−

−

−=

n

i

n

iii

n

i

n

iii

n

i

n

iii

n

iii

xy

yynxxn

yxyxn

r

1

2

1

2

1

2

1

2

1 11

Абсолютна Силна Слаба Няма Слаба Силна Абсолютна

Чрез корелационен анализ може да се установява само линейна зависимост, при това с наклон, различен

от нула. Значително повече възможности предоставя регресионният анализ. Той позволява не само

да се установи праволинейна функционална зависимост между изследваните променливи, но и да се изчислят наклона и отреза на правата линия. В по-сложните му разновидности е възможно установяване на линейни зависимости на повече от две променливи, а чрез добре подбрани математически трансформации, е възможно да се линеаризират и опишат редица нелинейни функции.

Линейни уравнения: baxy ii += ;

Наклон:

∑ ∑

∑ ∑∑

= =

= ==

−

−=

n

i

n

iii

n

i

n

iii

n

iii

xxn

yxyxn

a

1

2

1

2

1 11 ; Отрез: xayn

xay

b

n

ii

n

ii

−=−

=∑∑== 11

Анализ на експериментални данни: стъпка по стъпка 1. Формулира се изследователския въпрос, на който трябва да отговори изследването 2. Въпросът се реформулира като нулева и алтернативна хипотеза 3. Определят се променливите, свързани с въпроса 4. Определя се типа на всяка една променлива 5. Избира се най-подходящия статистически тест въз основа на

a. броя на променливите b. вида на променливите c. съответствието на параметрите на разпределение d. подложената на тест хипотеза

6. Извършва се експеримента 7. Проверяват се получените данни за съответствие с изискванията на избрания тест

(нормалност, хомосцедастност). Ако не отговарят на изискванията, избира се подходящ тест 8. Прилага се избраният тест и се интерпретира резултата 9. Представят се получените резултати, най-често графично и/или таблично

Доверителен интервал

Изводи (дедуктивни) Значимост

Популация (генерална съвкупност) Вероятностни

Извадки Невероятностни

Повторения (реплики)

Групиране

Планиране на експеримента

Чувствителност и специфичност

Статистическа мощност (вероятността за неправилно отхвърляне на нулевата

хипотеза) Оценка на обема на

извадката Стандартна грешка

s

на Стюдънт (t-тест)

χ2-тест О - наблюдавани стойности; Е - очаквани стойности

F-тест (на Фишер)

Статистически изводи и проверка на хипотези

Тестове

z-тест (нормален)

Корелация

Линейна регресия

y = bx + a (b - наклон; a - отрез)

Корелационен и регресионен

анализ

Нелинейна регресия

брой ППХ

Чувствителност = ------------------------------ брой ППХ + брой НОХ

брой ПОХ

Специфичност = ------------------------------ брой ПОХ + брой НПХ

ППХ = правилно приети хипотези НОХ = неправилно отхвърлени хипотези ПОХ = правилно отхвърлени хипотези НПХ = неправилно приети хипотези

Таблица на граничните стойности на t за различни нива на значимост и брой на степените свобода

Ниво на значимост, p

и съответстващите гранични стойности на t за всяка стойност на броя на степените свобода

Степени свобода

0.1 0.05 0.01 0.001

1 6.31 12.71 63.66 636.62

2 2.92 4.30 9.93 31.60

3 2.35 3.18 5.84 12.92

4 2.13 2.78 4.60 8.61

5 2.02 2.57 4.03 6.87

6 1.94 2.45 3.71 5.96

7 1.89 2.37 3.50 5.41

8 1.86 2.31 3.36 5.04

9 1.83 2.26 3.25 4.78

10 1.81 2.23 3.17 4.59

11 1.80 2.20 3.11 4.44

12 1.78 2.18 3.06 4.32

13 1.77 2.16 3.01 4.22

14 1.76 2.14 2.98 4.14

15 1.75 2.13 2.95 4.07

16 1.75 2.12 2.92 4.02

17 1.74 2.11 2.90 3.97

18 1.73 2.10 2.88 3.92

19 1.73 2.09 2.86 3.88

20 1.72 2.09 2.85 3.85

21 1.72 2.08 2.83 3.82

22 1.72 2.07 2.82 3.79

23 1.71 2.07 2.82 3.77

24 1.71 2.06 2.80 3.75

25 1.71 2.06 2.79 3.73

26 1.71 2.06 2.78 3.71

27 1.70 2.05 2.77 3.69

28 1.70 2.05 2.76 3.67

29 1.70 2.05 2.76 3.66

30 1.70 2.04 2.75 3.65

40 1.68 2.02 2.70 3.55

60 1.67 2.00 2.66 3.46

120 1.66 1.98 2.62 3.37

∞ 1.65 1.96 2.58 3.29

Таблица на граничните стойности на разпределението χ2 за различни нива на значимост и степени свобода (Df)

Нива на значимост Df 0.5 0.1 0.05 0.02 0.01 0.001

1 0.455 2.706 3.841 5.412 6.635 10.827

2 1.386 4.605 5.991 7.824 9.21 13.815

3 2.366 6.251 7.815 9.837 11.345 16.268 4 3.357 7.779 9.488 11.668 13.277 18.465 5 4.351 9.236 11.07 13.388 15.086 20.517