Математическая статистика, весна 2015: Лекция 2....

Лекция 2. Статистики первого типа. Точеченые оценкии их свойства

Грауэр Л.В., Архипова О.А.

CS center

Санкт-Петербург, 2015

Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2015 1 / 48

Cодержание

Содержание

1 Статистики первого типаСтатистики первого типаТеоремы непрерывностиПредельное распределение статистик первого типа

2 Точечные оценкиСвойства точечных оценокМетоды построения точечных оценокНеравенство Рао-Крамера


Статистики первого типа Статистики первого типа

Статистики

Рассмотрим генеральную совокупность ξ и выборку X[n]

Определение 1

Статистикой будем называть любую борелевскую функцию, заданнуюна выборочном пространстве, S(X[n]).

Примеры

X =1

n

n∑i=1

Xi

S(X[n]) = supx|F (x)− F ∗n (x)|



Статистики первого типа

Рассмотрим функционал G (F ), заданный на множестве функцийраспределения:

G (F ) = h

∞∫−∞

g(x)dF (x)

,

где g : R→ Rm — заданная борелевская функция,h : Rm → Rl некоторая борелевская функция, непрерывная в точкеa =

∫∞−∞ g(x)dFξ(x) ∈ Rm.

Назовем статистику S(X[n]) = G (F ∗n ) статистикой первого типа.Таким образом,

S(X[n]) = G (F ∗n ) = h

(∫ ∞−∞

g(x)dF ∗n (x)

)= h

(1

n

n∑i=1

g(Xi )

).



Примеры

a∗k =1

n

n∑i=1

X ki

h(t) ≡ t, g(x) = xk , G (F ∗n ) = a∗k

s2 =1

n

n∑i=1

(Xi − X )2

s2 =1

n

n∑i=1

X 2i − X 2

h(t1, t2) ≡ t2 − t21 , g(x) = (g1(x), g2(x)) = (x , x2)



Теорема 1

Пусть S(X[n]) = G (F ∗n ) — статистика первого типа, тогда имеет местосходимость:

S(X[n])п.н.−−−→

n→∞h(a) = G (Fξ).

Пусть у ξ существует ak = Eξk ∈ R , тогда

a∗kп.н.−−−→

n→∞ak .

Пусть у ξ существует a0k = E (ξ − Eξ)k ∈ R , тогда

a0∗k

п.н.−−−→n→∞

a0k .



Рассмотрим случайный вектор ξ = (ξ1, . . . , ξm)T с m компонентами.Пусть имеется выборка:

(X1,X2, . . . ,Xn) =

X11 X12 . . . X1n

X21 X22 . . . X2n

. . . . . . . . . . . .Xm1 Xm2 . . . Xnm

.

Рассмотрим компоненты ξk и ξl , им соответствуют элементы выборки:Xk1, . . . ,Xkn и Xl1, . . . ,Xln.

1

n

n∑i=1

XkiXliп.н.−−−→

n→∞E (ξkξl), Xk Xl

п.н.−−−→n→∞

EξkEξl ,

тогда имеет место сходимость почти наверное для выборочногокоэффициента корреляции:

%(ξkξl) =cov(ξk , ξl)√

s2k s

2l

п.н.−−−→n→∞

%(ξkξl).


Статистики первого типа Теоремы непрерывности

Теоремы непрерывности

Теорема 2

Пусть η — случайная величина, заданная на вероятностномпространстве (Ω,F ,P), последовательность случайных величин ηnтакже задана на (Ω,F ,P). Пусть борелевская функция H : R −→ Rнепрерывна на борелевском множестве B ∈ B(R), Pη ∈ B = 1, тогдасправедливы утверждения:

1 Если ηnп.н.−−−→

n→∞η, тогда H(ηn)

п.н.−−−→n→∞

H(η).

2 Если ηnp−−−−→

n−→∞η, тогда H(ηn)

p−−−−→n−→∞

H(η).



Теорема 3

Пусть борелевская функция H : Rm → Rk непрерывна на B ∈ B(Rm) иPη ∈ B = 1. Пусть ηTn = (η1n, . . . , ηmn)

d−−−→n→∞

η, тогда

H(ηn)d−−−→

n→∞H(η).



Теорема 4

Пусть последовательность случайных величин ηn сходится пораспределению к случайной величине η, ηn

d−−−−→n−→∞

η. Пусть функцияH : R→ R — борелевская функция. Числовая последовательностьbn −−−→

n→∞0, причем bn 6= 0 для любого n. Тогда справедливы

утверждения:1 Если функция H дифференцируема в точке a ∈ R, то

H(a + bnηn)− H(a)

bn

d−−−−→n−→∞

H ′(a)η.

2 Если функция H дифференцируема в некоторой окрестноститочки a, H ′(a) = 0, и существует H ′′(a), то

H(a + bnηn)− H(a)

b2n

d−−−−→n−→∞

1

2H ′′(a)η2.

Аналогичная теорема выполняется и для многомерного случаяГрауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2015 10 / 48

Статистики первого типа Предельное распределение статистик первого типа

Предельное распределение статистик первого типа

Пусть задана статистика первого типа:

S(X[n]) = G (F ∗n ) = h

(1

n

n∑i=1

g(Xi )

),

где G (F ) = h(∫∞−∞ g(x)dF (x)

),∫∞−∞ g(x)dFξ(x) = a ∈ Rm, т. е.

G (Fξ) = h(a).



Теорема 5

Пусть имеется выборка X[n] из генеральной совокупности ξ с функцией

распределения Fξ и S(X[n]) = h

(1n

n∑i=1

g(Xi )

)— статистика I типа,

борелевские функции h : R −→ R, g : R −→ R, тогда справедливыутверждения:

1 Если существует h′(a), то

√n(S(X[n])− h(a)

) d−−−−→n−→∞

h′(a)ζ,

где ζ — случайная величина, распределенная нормально спараметрами (0,Dg(ξ)), ζ ∼ N(0,

√Dg(ξ)).

2 Если h′(a) = 0 и существует h′′(a), то

n(S(X[n])− h(a)

) d−−−−→n−→∞

1

2h′′(a)ζ2.



Теорема 6

Пусть задана статистика I типа S(X[n]) = h

(1n

n∑i=1

g(Xi )

)и

борелевские функции h : Rm → R, g : R→ Rm, тогда справедливыутверждения:

1 Если существует h′(a) =(∂h∂t1, . . . , ∂h∂tm

)∣∣∣t=a

, где

a = Eg(ξ) = (Eg1(ξ), . . . ,Egm(ξ)), то

√n(S(X[n])− h(a)

) d−−−→n→∞

h′(a)ζT ,

где случайный вектор ζ = (ζ1, . . . , ζm) подчиняется многомерномунормальному распределению с параметрами (0,Dg(ξ)),ζ ∼ N(0,

√Dg(ξ)).

2 Если h′(a) = 0 и существует h′′(a), то

n(S(X[n])− h(a)

) d−−−−→n−→∞

1

2ζh′′(a)ζT .



Пример

Рассмотрим ξ, для которой Eξ = α > 0, Dξ = σ2.Рассмотрим статистику 1/X .Покажем, что 1/X — статистика первого типа.

h(t) = 1/t, g(x) = x

1/X = h

(1

n

n∑i=1

g(Xi )

).

a =

+∞∫−∞

g(x)dFξ(x) = Eg(ξ) = Eξ = α,

Тогда 1/X = h( 1n

∑ni=1 g(xi )) является статистикой первого типа.

Из теоремы 5 следует, что√n

(1

X− 1

α

)d−−−→

n→∞ζ

(−1

α2

)= −ζ 1

α2, где ζ ∼ N(0, σ).


Точечные оценки Свойства точечных оценок

Точечные оценки

Рассмотрим генеральную совокупность ξ и ее функцию распределенияFξ(x ; θ), где θ = (θ1, . . . , θm) — неизвестные параметры враспределении случайной величины ξ.По имеющейся выборке X[n] = (X1, . . . ,Xn) необходимо построитьоценку для этих параметров.


Пусть θ ∈ Θ ⊂ R. Под оценкой понимается статистика θ(X[n]) такая,что получившееся значение можно рассматривать как точечнуюоценку параметра θ (θ(X[n]) ∼ θ).



Пример

ξ ∼ N(a, σ), a неизвестно

Возможные оценки параметра a

X =1

n

n∑i=1

Xi

X0.1 =1

[0.9n]

[0.95n]∑i=[0.05n]+1

X (i)

x∗med =

X(k+1), n = 2k + 1X(k)+X(k+1)

2 , n = 2k

Какую оценку считать «хорошей»?



Свойства точечных оценок

1. Несмещенность.


Пусть параметр θ ∈ Θ ⊂ R. Говорят, что оценка θ(X[n]) являетсянесмещенной оценкой параметра θ, если

E θ(X[n]) = θ (1)для любого θ ∈ Θ.


Говорят, что оценка θ(X[n]) является асимптотически несмещеннойоценкой параметра θ, если

E θ(X[n]) −−−→n→∞

θ (2)

для любого θ ∈ Θ.



Свойство несмещенности позволяет агрегировать информацию,накопленную в различных научных центрах.Пусть θ1 — несмещенная оценка параметра θ, полученная в некоторомнаучном центре, θ2 — несмещенная оценка того же параметра,полученная в другом научном центре. Предполагая, что техническаяоснащенность научных центров одинаковая, будем считать, чтодисперсии оценок одинаковы:

D(θi ) = E (θi − θ)2 = σ2(θ),

E (θi ) = θ, i = 1, 2.

Рассмотрим новую оценку:

θ =θ1 + θ2

2, E θ =

E θ1 + E θ2

2= θ,

тогда имеют место равенства:

D θ = E (θ − θ)2 =1

4E(θ1 − θ) + (θ2 − θ)2 =

σ2(θ)

2.



Примеры

Рассмотрим выборочную дисперсию, проверим, выполнено лисвойство несмещенности:

Es2 = E

1

n

n∑k=1

(Xk − a1 −

1

n

n∑i=1

(Xi − a1)

)2

=

= E

1

n

n∑k=1

(Xk − a1)2 −

(1

n

n∑k=1

(Xk − a1)

)2 =

=1

n

n∑k=1

E (Xk − a1)2 − 1

n2

n∑k=1

σ2 = σ2 − 1

nσ2 =

n − 1

nσ2

Cледовательно, s2 — смещенная оценка, однако она являетсяасимптотически несмещенной оценкой: Es2 −−−→

n→∞σ2.



Рассмотрим исправленную оценку дисперсии:

s2 =n

n − 1s2 =

1

n − 1

n∑k=1

(Xk − X )2,

что доказывает, что s2 — несмещенная оценка дисперсии.

Выборочное среднее является несмещенной оценкой дляматематического ожидания:

EX = E

1

n

n∑k=1

Xk

=

1

n

n∑k=1

EXk = Eξ = a1.



2. Состоятельность.


Пусть параметр θ ∈ Θ ⊂ R. Говорят, что оценка θ(X[n]) состоятельна,если

θ(X[n])p−−−→

n→∞θ (3)



Оценка θ(X[n]) называется сильно состоятельной оценкой параметра θ,если

θ(X[n])п.н.−−−→

n→∞θ (4)




Пусть существует Eξk , тогда a∗k — статистика первого рода, где a∗k —эмпирический момент порядка k . Тогда a∗k → ak = Eξk , то есть, a∗kявляется сильно состоятельной оценкой.

Пусть существует E (ξ − Eξ)k , тогда a0∗k =

1

n

n∑i=1

(Xi − X )k — сильно

состоятельная оценка для теоретического момента, то есть:

a0∗k

п.н.−−−→n→∞

a0k = E (ξ − Eξ)k .

Xп.н−−−→

n→∞a1 = Eξ,

s2 =1

n

n∑k=1

(xk − X )2 п.н−−−→n→∞

a02 = Dξ.



3. Эффективность.Рассмотрим некоторый класс оценок K = θ(X[n]) параметра θ.


Говорят, что оценка θ∗(X[n]) ∈ K является эффективной оценкойпараметра θ в классе K , если для любой другой оценки θ ∈ K имеетместо неравенство:

E (θ∗ − θ)2 6 E (θ − θ)2 (5)


Класс несмещенных оценок обозначим через

K0 =θ(X[n]) : E θ = θ,∀θ ∈ Θ

.



Рассмотрим случай, когда m > 1, то есть, θ = (θ1, . . . , θm).Для любого y ∈ Rm определим αy = (θ, y) = θ1y1 + . . .+ θmym.Тогда α∗y = (θ∗, y) — оценка параметра αy .


Будем говорить, что оценка θ∗ ∈ K является эффективной оценкойпараметра θ = (θ1, . . . , θm) в классе K , если для любой другой оценкиθ ∈ K и любого y ∈ Rm при любом допустимом значении θ ∈ Θ имеетместо неравенство:

E (α∗y − αy )2 6 E (αy − αy )2, (6)

где αy = (θ, y).



Теорема 7

Пусть несмещенные оценки θ1 и θ2 параметра θ ∈ Θ ⊂ R являютсяэффективными, тогда оценки θ1 и θ2 почти наверное совпадают.


Оценка θ эффективна в классе K0, или просто эффективна, еслиD θ − D θ 0 (неотрицательно определенная матрица), где θ ∈ K0 длялюбого θ ∈ Θ ⊂ Rk .



4. Асимптотическая нормальность.


Пусть оценивается параметр θ ∈ Θ ⊂ R. Оценка θ называетсяасимптотически нормальной оценкой параметра θ с коэффициентомрассеивания σ2(θ), если

√n(θ − θ)

d−−−→n→∞

ζ ∼ N(0, σ(θ)). (7)

Из этого определения следует, что для любого x ∈ R имеет местосходимость:

P√

n(θ − θ) 6 x−−−−→n−→∞

1√2πσ(θ)

x∫−∞

e− y2

2σ2(θ) dy .




Пусть оценивается параметр θ ∈ Θ ⊂ Rm. Оценка θ = (θ1, . . . , θm)называется асимптотически нормальной с матрицей рассеивания Σ(θ),если имеет место сходимость по распределению:

√n(θ − θ)

d−−−→n→∞

η ∼ N(0,Σ(θ)).



5. Асимптотическая эффективность.


Оценка θ называется асимптотически эффективной в класс K оценокпараметра θ ∈ Θ ⊂ R, если

limn→∞

E (θ − θ)2

E (θ − θ)26 1

для любого параметра θ ∈ Θ ⊂ R и любой оценки θ ∈ K .



Статистическая оценка считается «хорошей», если она обладает хотябы некоторыми из свойств 1-5.


Точечные оценки Методы построения точечных оценок

Методы построения точечных оценок

Метод моментовПусть требуется оценить параметр θ ∈ Θ ⊂ R по имеющейся выборкеX[n] = (X1, . . . ,Xn). Рассмотрим борелевскую функцию g(x) : R→ R и

определим функцию m(θ) =∞∫−∞

g(x)dFξ(x ; θ).

Далее положим, что

∞∫−∞

g(x)dF ∗n (x) =1

n

n∑i=1

g(Xi ) = g . (8)

Получим уравнение

m(θ) = g =1

n

n∑i=1

g(Xi ). (9)



Предположим, что уравнение (9) имеет единственное решение θ(X[n]),тогда будем это решение называть оценкой θ неизвестного параметраθ, полученной по методу моментов:

θ(X[n]) = m−1

(1

n

n∑i=1

g(Xi )

).

Метод моментов легко обобщить на многомерный случай, при этом,g(x) = (g1(x), . . . , gk(x)), где k — число неизвестных параметров, тоесть, θ = (θ1, . . . , θk)T ∈ Θ ⊂ Rk .



Свойства оценок, построенных по методу моментов:1 Если функция m−1(y) непрерывна на всей области определения,

то оценка по методу моментов сильно состоятельна.2 Если m′(θ) 6= 0 для всех θ ∈ Θ, тогда оценка по методу моментов

асимптотически нормальна с коэффициентом рассеяния Dg(ξ)(m′(θ))2 ,

где θ — истинное значение параметра.



Пример

Пусть ξ ∼ N(a, σ), тогда θ = (a, σ2)T ∈ Θ = R× R+. Выберемg(x) = (x , x2), тогда

Eg(ξ) =

(EξEξ2

)=

(a

σ2 + a2

),

Нетрудно показать, что

g =

1n

n∑k=1

Xk

1n

n∑k=1

X 2k

=

(X

s2 + X 2

),

Следовательно, оценки по методу моментов имеют следующий вид:a = X ,σ2 = s2.



Пример

Рассмотрим равномерно распределенную случайную величину ξ сплотностью распределения:

fξ(x) =

1θ , x ∈ [0, θ];0, x /∈ [0, θ].

Так как неизвестный параметр один, то g(x) = x . Вычислимматематическое ожидание:

Eg(ξ) = Eξ =

θ∫0

x1

θdx =

1

2θx2 =

θ

2.

Уравнение имеет вид:θ

2= X ,

откуда получаем оценку:

θ = 2X = 21

n

n∑k=1

Xi .



Метод максимального правдоподобия построения точечныхоценок.

Пусть ξ — непрерывная случайная величина с плотностьюраспределения fξ(x , θ).

Совместная плотность распределения выборки имеет вид:

fX[n](X[n]|θ) =

n∏i=1

fξ(Xi ; θ), где θ = (θ1, . . . , θm) ∈ Θ.

Пусть ξ — дискретная случайная величина с распределениемвероятностей pξ(z , θ).

Совместное вероятностное распределение выборки имеет вид:

pX[n](X[n]|θ) =

n∏i=1

pξ(Xi ; θ) где θ = (θ1, . . . , θm) ∈ Θ.




Если генеральная совокупность имеет плотность распределения fξ, тофункцией правдоподобия выборки X[n] будем называть функцию

L(X[n], θ) =n∏

i=1

fξ(Xi ; θ).


Если генеральная совокупность ξ — дискретная случайная величина свозможными значениями zi и соответствующими вероятностямиpξ(zi ; θ), то функцией правдоподобия выборки X[n] будем называтьфункцию

L(X[n], θ) =n∏

i=1

pξ(Xi ; θ).



Для нахождения оценки параметра θ решаем задачу:

maxθ∈Θ

L(X[n], θ).


Оценкой максимального правдоподобия параметра θ называетсяоценка

θ(X[n]) = arg maxθ∈Θ

L(X[n], θ), (10)

если решение задачи максимизации существует и единственно.

Часто вместо функции L(X[n], θ) рассматривают функцию ln L(X[n], θ),поскольку функция ln(t) является строго возрастающей функциейсвоего аргумента t, и данный переход правомерен.



Свойства оценок максимального правдоподобия:

Если функция правдоподобия непрерывно дифференцируема, ивыполнены некоторые условия гладкости, то можно доказать, чтооценки метода максимального правдоподобия —

сильно состоятельны,асимптотически эффективны иасимптотически нормальны.



Пример

Рассмотрим случайную величину ξ ∼ N(a, σ) с плотностьюраспределения

fξ(x) =1√2πσ

e−(x−a)2

2σ2 .

Функция правдоподобия имеет вид:

L(X[n], a, σ2) =

n∏i=1

fξ(Xi ; a, σ2) =

1

(2π)n2σn

e

−n∑

i=1(Xi−a)2

2σ2 .

Тогда

ln L = ln1

((2π)12σ)n

−

n∑i=1

(Xi − a)2

2σ2,

продифференцируем по a: ∂ ln L/∂a = 0, или∑n

i=1 Xi − an = 0, откудаa = X .



Продифференцируем по σ:

∂ ln L

∂σ= −n

σ+

n∑i=1

(Xi − a)2

σ3= 0,

nσ2 =n∑

i=1

(xi − a)2,

откуда находим решение:

σ2 =1

n

n∑i=1

(Xi − a)2 =1

n

n∑i=1

(Xi − X )2 = s2.

Нетрудно проверить, что X и s2 доставляют максимум функцииправдоподобия.



Пример

Пусть случайная величина ξ подчиняется равномерномураспределению с плотностью:

f (x , θ) =

1θ , x ∈ [0, θ];0, x 6∈ [0, θ].

Запишем функцию правдоподобия:

L(X[n], θ) =n∏

i=1

f (Xi ; θ) =

1θn , если для ∀i : Xi ∈ [0, θ];0, если ∃i : Xi 6∈ [0, θ].

Построим вариационный ряд X(1) ≤ . . . ≤ X(n). Таким образом,получаем:

L(X[n], θ) =

1θn , X(n) ∈ [0, θ];0, ∃k : X(k) 6∈ [0, θ].

Очевидно, что оценка максимального правдоподобия θ(X[n]) = X(n).Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2015 41 / 48

Точечные оценки Неравенство Рао-Крамера

Неравенство Рао-Крамера

Пусть имеется выборка X[n] из генеральной совокупности ξ с функциейраспределения Fξ(x ; θ) и плотностью распределения fξ(x ; θ), гдеθ ∈ Θ ⊂ R — неизвестный параметр. Функция правдоподобия имеетвид:

L(X[n], θ) =n∏

i=1

fξ(Xi ; θ),

совместная плотность выборки имеет вид:

fX[n](x , θ) = L(x , θ) =

n∏i=1

fξ(xi ; θ).



Имеет место следующее равенство:∫Rn

L(x , θ)dx = 1. (11)

Пусть имеется оценка θ(X[n]) неизвестного параметра θ, и справедливоследующее равенство:

E θ =

∫Rn

θ(x1, . . . , xn)L(x , θ)dx = h(θ). (12)

Обозначим через In(θ) математическое ожидание:

In(θ) = E

(∂ ln L(X(n), θ)

∂θ

)2

=

∫Rn

(∂ ln L(x , θ)

∂θ

)2

L(x , θ)dx .




Величина In(θ), если математическое ожидание существует и конечно,называется информационным количеством Фишера (соответствующимвыборке объема n).

Будем предполагать, что выполнены условия регулярности:Для информационного количества Фишера выполненонеравенство 0 < In(θ) <∞ для любого θ ∈ Θ.Равенства (11) и (12) можно продифференцировать и получитьследующие уравнения: ∫

Rn

∂L(x , θ)

∂θdx = 0, (13)

∫Rn

θ(x1, . . . , xn)∂L(x , θ)

∂θdx = h′(θ). (14)

Множество N = x ∈ Rn : L(x , θ) = 0 не зависит от θ.Грауэр Л.В., Архипова О.А. (CSC) Точеченые оценки и их свойства Санкт-Петербург, 2015 44 / 48


Теорема 8 (Неравенство Рао-Крамера)

Пусть имеется генеральная совокупность ξ c функцией распределенияFξ(y , θ), где θ ∈ Θ ⊂ R. Задана выборка X[n] из генеральнойсовокупности ξ, и выполнены условия регулярности, тогда имеет местонеравенство:

D θ >(h′(θ))2

In(θ). (15)

Если E θ = θ для любого θ ∈ Θ (то есть, оценка — несмещенная), тосправедливо неравенство:

D θ ≥ 1

In(θ).



По определению In(θ) = E(∂ ln L∂θ

)2.

In(θ) = nI1(θ),

где I1(θ) — информационное количество Фишера, соответствующееодному наблюдению. Как видим, наблюдается линейный ростинформации.

Из неравенства Рао-Крамера можно сделать вывод, что врегулярном случае дисперсия не может убывать быстрее чем 1/n.Для «хороших» оценок дисперсия должна убывать, разбросдолжен становиться меньше с ростом n.Для несмещенных оценок при выполнении условий регулярностиоценка эффективна, если неравенство Рао-Крамера выполненокак равенство.



Пример

Пусть ξ ∼ N(a, σ2), методы максимального правдоподобия и моментовдали оценку a = X , которая является сильно состоятельной,несмещенной, асимптотически нормальной оценкой. Выясним,обращается ли неравенство Рао-Крамера в равенство. Действительно,можно заметить, что

∂ ln L

∂a=

n∑i=1

(Xi − a)

σ2=

n

σ2(X − a),

где

L(X[n], a) =1

(2π)n2σn

e−

n∑i=1

(Xi−a)2

2σ2 .

Случайные величины X и nσ2 (X − a) пропорциональны, следовательно,

X — эффективная оценка.



Биллингсли П.Сходимость вероятностных мер. — М.: Изд. Наука, 1977.

Боровков А.А.Теория вероятностей. — М.: Изд. Наука, 1986.

Боровков А.А.Математическая статистика. — М.: Изд. Наука, 1984.


Date post:	21-Jul-2015
Category:	Documents
Upload:	cs-center
View:	383 times
Download:	2 times

Математическая статистика, весна 2015: Лекция 2....

Documents