Состоятельность точечной оценки. Статистическое оценивание. Сравнение оценок и эффективность

13.07.202327.05.2017

Одним из основных требований при построении оценок является получение оценок с минимальной дисперсией или минимальным рассеянием (если они существуют). В связи с этим в математической статистике введено понятие эффективных оценок ,

Применительно к смещенным оценкам параметра сигнала оценка называется эффективной, если среднее значение квадрата отклонения оценки от истинного значения оцениваемого параметра I не превышает среднее значение квадрата отклонения любой другой оценки у, т. е. выполняется неравенство

Для несмещенной оценки рассеяние оценки совпадает с ее дисперсией следовательно, эффективная несмещенная оценка определяется как оценка с минимальной дисперсией.

С. Рао и Крамер независимо друг от друга получили выражения для нижних границ условных дисперсий и рассеяний оценок, которые являются дисперсиями и рассеяниями эффективных оценок при условии, что таковые существуют для данных параметров.

Приведем вывод этого выражения, полагая, что необходимые допущения справедливы.

Оценку параметра у представим в сокращенной записи где X - многомерная выборка из реализации на интервале времени

Усредним выражение

по всевозможным значениям многомерной выборки X, которая описывается условной плотностью вероятности Учитывая известное соотношение для производной натурального логарифма после усреднения получаем

В силу свойства нормировки плотности вероятности последнее слагаемое в (1.3.3) равно нулю. Интеграл от первого слагаемого представляет среднее значение оценки

С учетом последнего усредненное значение можно записать в виде

Левая часть этого выражения представляет собой среднее значение произведения двух случайных величин с конечными значениями первых двух моментов. При этих условиях для случайных величин справедливо известное из математической статистики неравенство Буняковского - Шварца

которое переходит в равенство, если случайные величины связаны детерминированной зависимостью . С учетом (1.3.6) из выражения (1.3.5) можно получить

Для несмещенных оценок и оценок с постоянным смещением дисперсия оценки удовлетворяет неравенству Рао-Крамера

Необходимо отметить, что во всех соотношениях усреднение производится по многомерной выборке наблюдаемых данных X (при непрерывной обработке - по всевозможным реализациям а

произшодные берутся в точке истинного значения оцениваемого параметра.

Знак равенства в выражениях (1,3.7) и (1-3.8) достигается только для эффективных оценок.

Применительно к выражению (1.3.7) рассмотрим условия, при которых неравенство обращается в равенство, т. е. оценка параметра является эффективной смещенной оценкойю Согласно (1.3.6) для этого необходимо, чтобы коэффициент взаимной корреляции между был равен единице, т. е. чтобы эти случайные функции были связаны детерминированной линейной зависимостью.

Действительно, представим производную логарифма функции правдоподобия в виде

где функция, которая не зависит от оценки у и выборки наблюдаемых данных, но может зависеть от оцениваемого параметра При подстановке (1.3.5) и (1.3.9) в неравенство (1.3.7) оно переходит в равенство. Однако представление производной логарифма функции правдоподобия в виде (1.3.9) возможно, если для оценки у выполняется условие достаточности (1.2.9), из которого следует, что

и, следовательно, если производная логарифма отношения правдоподобия линейно зависит от достаточной оценки, то коэффициент пропорциональности не зависит от выборки

Таким образом, для существования смещенной эффективной оценки необходимо выполнение двух условий: оценка должна быть достаточной (1.2.9) и должно выполняться соотношение (1.3.9). Аналогичные ограничения налагаются на существование эффективных несмещенных оценок, при которых в выражении (1.3.8) знак неравенства переходит в равенство.

Полученное выше выражение для нижней границы дисперсии смещенной оценки справедливо и для нижней границы рассеяния смещенной оценки, так как т. е.

Последнее неравенство переходит в равенство, если кроме условия достаточности оценки справедливо соотношение

где имеет тот же смысл, что и в выражении (1.3.9).

Формула (1.3.10) выводится аналогично (1.3.7), если в исходном выражении (1.3.2) вместо рассматривать

Из характера условий (1.2.9) и (1.3.9) видно, что эффективные оценки существуют только в весьма специфических случаях. Также следует отметить, что эффективная оценка обязательно принадлежит к классу достаточных оценок, в то время как достаточная оценка не обязательно будет эффективной.

Анализ выражения для дисперсии эффективной смешенной оценки 1.3.7) показывает, что могут существовать смещенные оценки, которые обеспечивают меньшую дисперсию оценки, чем несмещенные. Для этого необходимо, чтобы производная от смещения имела отрицательное значение и по абсолютной величине в точке истинного значения параметра была близка к единице.

Поскольку в большинстве случаев интерес представляет средний квадрат результирующей ошибки оценки (рассеяние), имеет смысл говорить и о среднем квадрате ошибки оценки, который для любой оценки ограничен снизу:

При этом для эффективных оценок имеет место знак равенства.

Нетрудно показать, что соотношения (1.3.10) и (1.3.12) совпадают, если выполняются соответственно условия (1.3.11) и (1.3.9). Действительно, подставив в числитель и знаменатель (1.3.10) значения, выраженные через функции получим (1.3.12).

Используя рассмотренные выше свойства эффективных оценок уточним их определение. Будем называть оценку у эффективной, если для нее либо выполняются условия (1.2.9) и (1.3.11), либо при заданном смещении она обладает дисперсией

или рассеянием

либо при нулевом смещении эта оценка имеет дисперсию

Отметим, что характеристики эффективной оценки (1.3.13) - (1.3.15) могут быть вычислены и для тех параметров, для которых эффективной оценки не существует. В этом случае величины (1.3.13) -(1.3.15) определяют нижнюю границу (недостижимую) для соответствующих характеристик оценки.

Для сравнения реальных оценок с эффективными в математической статистике введено понятие относительной эффективности оценок, представляющее отношение среднего квадрата отклонения эффективной оценки относительно истинного значения параметра к среднему квадрату отклонения реальной оценки относительно истинного значения параметра:

Здесь у - реальная оценка, эффективность которой равна эффективная оценка.

Из определения дисперсии эффективной оценки (1.3.1) видно, что относительная эффективность оценки изменяется в пределах

Кроме понятия эффективных оценок существует понятие асимптотически эффективных оценок. При этом предполагается, что для достаточно большого времени наблюдения или неограниченного увеличения отношения сигнал/помеха предельное значение относительной эффективности реальной оценки равно единице. Это означает, что при асимптотически эффективной оценке дисперсия оценки для заданного смещения определяется выражением (1.3.13), а при отсутствии смещения - выражением (1.3.15).

Пусть texvc не найден; См. math/README - справку по настройке.): X_1,\ldots, X_n,\ldots - выборка для распределения , зависящего от параметра Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \theta \in \Theta . Тогда оценка Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \hat{\theta} \equiv \hat{\theta}(X_1,\ldots,X_n) называется состоятельной, если

Невозможно разобрать выражение (Выполняемый файл texvc по вероятности при Невозможно разобрать выражение (Выполняемый файл texvc .

В противном случае оценка называется несостоятельной.

Оценка Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \hat{\theta} называется си́льно состоя́тельной , если

Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \hat{\theta} \to \theta,\quad \forall \theta\in \Theta почти наверное при Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): n \to \infty .

На практике «увидеть» сходимость «почти наверное» не представляется возможным, поскольку выборки конечны. Таким образом, для прикладной статистики достаточно требовать состоятельности оценки. Более того, оценки, которые были бы состоятельными, но не сильно состоятельными, «в жизни» встречаются очень редко. Закон больших чисел для одинаково распределённых и независимых величин с конечным первым моментом выполнен и в усиленном варианте, всякие крайние порядковые статистики тоже сходятся в силу монотонности не только по вероятности, но и почти наверное.

Признак

Если оценка сходится к истинному значению параметра "в среднем квадратичном" или если оценка асимптотически несмещенная и её дисперсия стремится к нулю, то такая оценка будет состоятельной.

Свойства

Из свойств сходимостей случайных величин имеем, что сильно состоятельная оценка всегда состоятельна. Обратное, вообще говоря, неверно.
Поскольку дисперсия состоятельных оценок стремится к нулю, часто со скоростью порядка 1/n, то состоятельные оценки сравниваются между собой асимптотической дисперсией случайной величины Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \sqrt {n} (\hat{\theta}-\theta) (асимптотическое математическое ожидание этой величины равно нулю).

Связанные понятия

Оценка называется суперсостоятельной , если дисперсия случайной величины Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): n (\hat{\theta}-\theta) стремится к конечной величине. То есть скорость сходимости оценки к истинному значению существенно выше чем у состоятельной оценки. Суперсостоятельными, например, оказываются оценки параметров регрессии коинтегрированных временных рядов.

Примеры

Выборочное среднее Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \bar{X} = \frac{1}{n} \sum\limits_{i=1}^n X_i является сильно состоятельной оценкой математического ожидания Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): X_i .
Периодограмма является несмещённой , но несостоятельной оценкой спектральной плотности .

См. также

Напишите отзыв о статье "Состоятельная оценка"

Отрывок, характеризующий Состоятельная оценка

Искренний, глубоко-печальный рассказ Изидоры омертвил болью наши детские сердца, даже не давая время очнуться... Казалось, не было предела бесчеловечным мукам, причиняемым чёрствыми душами уродливых палачей этой удивительной и мужественной женщине!.. Мне было искренне боязно и тревожно, только лишь думая о том, что же ждало нас по окончании её потрясающего рассказа!..
Я посмотрела на Стеллу – моя воинственная подружка испуганно жалась к Анне, не сводя с Изидоры потрясённо- округлившихся глаз... Видимо, даже её – такую храбрую и не сдающуюся – ошеломила людская жестокость.
Да, наверняка, мы со Стеллой видели больше, чем другие дети в свои 5-10 лет. Мы уже знали, что такое потеря, знали, что означает боль... Но нам ещё предстояло очень многое пережить, чтобы понять хоть малую часть того, что чувствовала сейчас Изидора!.. И я лишь надеялась, что мне никогда не придётся такого на себе по-настоящему испытать...
Я зачарованно смотрела на эту прекрасную, смелую, удивительно одарённую женщину, не в силах скрыть навернувшихся на глаза горестных слёз... Как же «люди» смели зваться ЛЮДЬМИ, творя с ней такое?!. Как Земля вообще терпела такую преступную мерзость, разрешая топтать себя, не разверзнув при этом своих глубин?!.
Изидора всё ещё находилась от нас далеко, в своих глубоко-ранящих воспоминаниях, и мне честно совсем не хотелось, чтобы она продолжала рассказывать дальше... Её история терзала мою детскую душу, заставляя сто раз умирать от возмущения и боли. Я не была к этому готова. Не знала, как защититься от такого зверства... И казалось, если сейчас же не прекратится вся эта раздирающая сердце повесть – я просто умру, не дождавшись её конца. Это было слишком жестоко и не поддавалось моему нормальному детскому пониманию...
Но Изидора, как ни в чём не бывало, продолжала рассказывать дальше, и нам ничего не оставалось, как только окунутся с ней снова в её исковерканную, но такую высокую и чистую, не дожитую земную ЖИЗНЬ...
Проснулась я на следующее утро очень поздно. Видимо тот покой, что подарил мне своим прикосновением Север, согрел моё истерзанное сердце, позволяя чуточку расслабиться, чтобы новый день я могла встретить с гордо поднятой головой, что бы этот день мне ни принёс... Анна всё ещё не отвечала – видимо Караффа твёрдо решил не позволять нам общаться, пока я не сломаюсь, или пока у него не появится в этом какая-то большая нужда.
Изолированная от моей милой девочки, но, зная, что она находится рядом, я пыталась придумать разные-преразные способы общения с ней, хотя в душе прекрасно знала – ничего не удастся найти. Караффа имел свой надёжный план, который не собирался менять, согласуя с моим желанием. Скорее уж наоборот – чем больше мне хотелось увидеть Анну, тем дольше он собирался её держать взаперти, не разрешая встречу. Анна изменилась, став очень уверенной и сильной, что меня чуточку пугало, так как, зная её упёртый отцовский характер, я могла только представить, как далеко она могла в своём упорстве пойти... Мне так хотелось, чтобы она жила!.. Чтобы палач Караффы не посягал на её хрупкую, не успевшую даже полностью распуститься, жизнь!.. Чтобы у моей девочки всё ещё было только впереди...

Для того, чтобы статистические оценки давали хорошее приближение оцениваемых параметров, они должны быть несмещенные, эффективные и состоятельные.

Несмещенной называется статистическая оценка параметра, математическое ожидание которой равно оцениваемому параметру при любом объеме выборки.

Смещенной называется статистическая оценка
параметра, математическое ожидание которой не равно оцениваемому параметру.

Эффективной называется статистическая оценка
параметра, которая при заданном объеме выборкиимеет наименьшую дисперсию.

Состоятельной называется статистическая оценка
параметра, которая при
стремится по вероятности к оцениваемому параметру.

т.е.для любого

.

Для выборок различного объема получаются различные значения среднего арифметического и статистической дисперсии. Поэтому среднее арифметическое и статистическая дисперсия являются случайными величинами, для которых существуют математическое ожидание и дисперсия.

Вычислим математическое ожидание среднего арифметического и дисперсии. Обозначим через математическое ожидание случайной величины

Здесь в качестве случайных величин рассматриваются: – С.В., значения которой равны первым значениям, полученным для различных выборок объемаиз генеральной совокупности,
–С.В., значения которой равны вторым значениям, полученным для различных выборок объемаиз генеральной совокупности, …,
– С.В., значения которой равны-м значениям, полученным для различных выборок объемаиз генеральной совокупности. Все эти случайные величины распределены по одному и тому же закону и имеют одно и то же математическое ожидание.

Из формулы (1) следует, что среднее арифметическое является несмещенной оценкой математического ожидания, так как математическое ожидание среднего арифметического равно математическому ожиданию случайной величины. Эта оценка является также состоятельной. Эффективность данной оценки зависит от вида распределения случайной величины
. Если, например,
распределена нормально, оценка математического ожидания с помощью среднего арифметического будет эффективной.

Найдем теперь статистическую оценку дисперсии.

Выражение для статистической дисперсии можно преобразовать следующим образом

(2)

Найдем теперь математическое ожидание статистической дисперсии

. (3)

Учитывая, что
(4)

получим из (3)-

Из формулы (6) видно, что математическое ожидание статистической дисперсии отличается множителем от дисперсии, т.е. является смещенной оценкой дисперсии генеральной совокупности. Это связано с тем, что вместо истинного значения
, которое неизвестно, в оценке дисперсии используется статистическое среднее.

Поэтому введем исправленную статистическую дисперсию

(7)

Тогда математическое ожидание исправленной статистической дисперсии равно

т.е. исправленная статистическая дисперсия является несмещенной оценкой дисперсии генеральной совокупности. Полученная оценка является также состоятельной.

К оцениваемому параметру.

Определения

Пусть $X_1,\ldots, X_n,\ldots$ - выборка для распределения , зависящего от параметра $\theta \in \Theta$ . Тогда оценка $\hat{\theta} \equiv \hat{\theta}(X_1,\ldots,X_n)$ называется состоятельной, если

по вероятности при

n \to \infty

В противном случае оценка называется несостоятельной.

Оценка $\hat{\theta}$ называется си́льно состоя́тельной , если

\hat{\theta} \to \theta,\quad \forall \theta\in \Theta

почти наверное при

n \to \infty

Признак

Если оценка сходится к истинному значению параметра "в среднем квадратичном" или если оценка асимптотически несмещенная и её дисперсия стремится к нулю, то такая оценка будет состоятельной.

Свойства

Из свойств сходимостей случайных величин имеем, что сильно состоятельная оценка всегда состоятельна. Обратное, вообще говоря, неверно.
Поскольку дисперсия состоятельных оценок стремится к нулю, часто со скоростью порядка 1/n, то состоятельные оценки сравниваются между собой асимптотической дисперсией случайной величины $\sqrt {n} (\hat{\theta}-\theta)$ (асимптотическое математическое ожидание этой величины равно нулю).

Связанные понятия

Оценка называется суперсостоятельной , если дисперсия случайной величины $n (\hat{\theta}-\theta)$ стремится к конечной величине. То есть скорость сходимости оценки к истинному значению существенно выше чем у состоятельной оценки. Суперсостоятельными, например, оказываются оценки параметров регрессии коинтегрированных временных рядов.

Примеры

Выборочное среднее $\bar{X} = \frac{1}{n} \sum\limits_{i=1}^n X_i$ является сильно состоятельной оценкой математического ожидания $X_i$ .
Периодограмма является несмещённой , но несостоятельной оценкой спектральной плотности .

См. также

Напишите отзыв о статье "Состоятельная оценка"

Отрывок, характеризующий Состоятельная оценка

– О, господи помилуй, – прибавил опять дьякон.
– Вы пройдите вот туда то, они там. Она и есть. Все убивалась, плакала, – сказала опять баба. – Она и есть. Вот сюда то.
Но Пьер не слушал бабу. Он уже несколько секунд, не спуская глаз, смотрел на то, что делалось в нескольких шагах от него. Он смотрел на армянское семейство и двух французских солдат, подошедших к армянам. Один из этих солдат, маленький вертлявый человечек, был одет в синюю шинель, подпоясанную веревкой. На голове его был колпак, и ноги были босые. Другой, который особенно поразил Пьера, был длинный, сутуловатый, белокурый, худой человек с медлительными движениями и идиотическим выражением лица. Этот был одет в фризовый капот, в синие штаны и большие рваные ботфорты. Маленький француз, без сапог, в синей шипели, подойдя к армянам, тотчас же, сказав что то, взялся за ноги старика, и старик тотчас же поспешно стал снимать сапоги. Другой, в капоте, остановился против красавицы армянки и молча, неподвижно, держа руки в карманах, смотрел на нее.
– Возьми, возьми ребенка, – проговорил Пьер, подавая девочку и повелительно и поспешно обращаясь к бабе. – Ты отдай им, отдай! – закричал он почти на бабу, сажая закричавшую девочку на землю, и опять оглянулся на французов и на армянское семейство. Старик уже сидел босой. Маленький француз снял с него последний сапог и похлопывал сапогами один о другой. Старик, всхлипывая, говорил что то, но Пьер только мельком видел это; все внимание его было обращено на француза в капоте, который в это время, медлительно раскачиваясь, подвинулся к молодой женщине и, вынув руки из карманов, взялся за ее шею.
Красавица армянка продолжала сидеть в том же неподвижном положении, с опущенными длинными ресницами, и как будто не видала и не чувствовала того, что делал с нею солдат.
Пока Пьер пробежал те несколько шагов, которые отделяли его от французов, длинный мародер в капоте уж рвал с шеи армянки ожерелье, которое было на ней, и молодая женщина, хватаясь руками за шею, кричала пронзительным голосом.
– Laissez cette femme! [Оставьте эту женщину!] – бешеным голосом прохрипел Пьер, схватывая длинного, сутоловатого солдата за плечи и отбрасывая его. Солдат упал, приподнялся и побежал прочь. Но товарищ его, бросив сапоги, вынул тесак и грозно надвинулся на Пьера.
– Voyons, pas de betises! [Ну, ну! Не дури!] – крикнул он.
Пьер был в том восторге бешенства, в котором он ничего не помнил и в котором силы его удесятерялись. Он бросился на босого француза и, прежде чем тот успел вынуть свой тесак, уже сбил его с ног и молотил по нем кулаками. Послышался одобрительный крик окружавшей толпы, в то же время из за угла показался конный разъезд французских уланов. Уланы рысью подъехали к Пьеру и французу и окружили их. Пьер ничего не помнил из того, что было дальше. Он помнил, что он бил кого то, его били и что под конец он почувствовал, что руки его связаны, что толпа французских солдат стоит вокруг него и обыскивает его платье.

Зависимые и независимые события. Произведение событий. Понятие условной вероятности. Теорема умножения вероятностей (с доказательством).

Формулы полной вероятности и Байеса (с доказательством). Примеры.

Повторные независимые испытания. Формула Бернулли (с выводом). Примеры.

Локальная теорема Муавра-Лапласа, условия ее применимости. Свойства функции Дх). Пример.

Асимптотическая формула Пуассона и условия ее применимости. Пример.

Интегральная теорема Муавра-Лапласа и условия ее применимости. Функция Лапласа ф(х) и ее свойства. Пример.

Следствия из интегральной теоремы Муавра-Лапласа (с выводом). Примеры.

Математическое ожидание дискретной случайной величины и его свойства (с выводом). Примеры.

Дисперсия дискретной случайной величины и ее свойства (с выводом). Примеры.

Функция распределения случайной величины, ее определение, свойства и график.

Непрерывная случайная величина (нов). Вероятность отдельно взятого значения нсв. Математическое ожидание и дисперсия нсв.

Плотность вероятности непрерывной случайной величины, ее определение, свойства и график.

Случайная величина, распределенная по биномиальному закону, ее математическое ожидание и дисперсия. Закон распределения Пуассона.

Математическое ожидание и дисперсия числа и частости наступлений события в п повторных независимых испытаниях (с выводом).

Определение нормального закона распределения. Теоретико-вероятностный смысл его параметров. Нормальная кривая и зависимость ее положения и формы от параметров.

Функция распределения нормально распределенной случайной величины и ее выражение через функцию Лапласа.

Формулы для определения вероятности: а) попадания нормально распределенной случайной величины в заданный интервал; б) ее отклонения от математического ожидания. Правило «трехсигм».

Понятие двумерной (/7-мерной) случайной величины. Примеры. Таблица ее распределения. Одномерные распределения ее составляющих. Условные распределения и их нахождение по таблице распределения.

Ковариация и коэффициент корреляции случайных величин. Связь между екоррелированностью и независимостью случайных величин.

Понятие о двумерном нормальном законе распределения. Условные математические ожидания и дисперсии.

Неравенство Маркова (лемма Чебышева) (с выводом). Пример.

Неравенство Чебышева (с выводом) и его частные случаидля случайной величины, распределенной по биномиальному закону, и для частости события.

Теорема Чебышева (с доказательством), ее значение и следствие. Пример.

Закон больших чисел. Теорема Бернулли (с доказательством) и ее значение. Пример.

Неравенство Чебышева для средней арифметической случайных величин (с выводом).

Центральная предельная теорема. Понятие о теореме Ляпунова и ее значение. Пример.

Вариационный ряд, его разновидности. Средняя арифметическая и дисперсия ряда. Упрощенный способ их расчета.

Понятие об оценке параметров генеральной совокупности. Свойства оценок: несмещенность, состоятельность, эффективность.

Оценка генеральной доли по собственно-случайной выборке. Несмещенность и состоятельность выборочной доли.

Оценка генеральной средней по собственно-случайной выборке. Несмещенность и состоятельность выборочной средней.

Оценка генеральной дисперсии по собственно-случайной выборке. Смещенность и состоятельность выборочной дисперсии (без вывода). Исправленная выборочная дисперсия.

Понятие об интервальном оценивании. Доверительная вероятность и доверительный интервал. Предельная ошибка выборки. Ошибки репрезентативности выборки (случайные и систематические).

Формула доверительной вероятности при оценке генеральной средней. Средняя квадратическая ошибка повторной и бесповторной выборок и построение доверительного интервала для генеральной средней.

Определение необходимого объема повторной и бесповторной выборок при оценке генеральной средней и доли.

Статистическая гипотеза и статистический критерий. Ошибки 1-го и 2-го рода. Уровень значимости и мощность критерия. Принцип практической уверенности.

Построение теоретического закона распределения по опытным данным. Понятие о критериях согласия.

Критерий согласия х2-Пирсона и схема его применения.

Функциональная, статистическая и корреляционная зависимости. Различия между ними. Основные задачи теории корреляции.

Линейная парная регрессия. Система нормальных уравнений для определения параметров прямых регрессии. Выборочная ковариация. Формулы для расчета коэффициентов регрессии.

Упрощенный способ:

Оценка тесноты связи. Коэффициент корреляции (выборочный), его свойства и оценка достоверности.

Понятие об оценке параметров генеральной совокупности. Свойства оценок: несмещенность, состоятельность, эффективность.

Сформулируем задачу оценки параметров в общем виде . Пусть распределение признака Х - генеральной совокупности - задается функцией вер-тей (для дискретной СВ Х) или плотностью вер-ти
(для непрерывной СВ Х), к-ая содержит неизвестный параметр. Напр, это параметр λ в распределении Пуассона или параметры а и
для нормального закона распределения и т.д.

Для вычисления параметра исследовать все элементы генеральной совокупности не представляется возможным. Поэтому о параметрепытаются судить по выборке, состоящей из значений (вариантов)
. Эти значения можно рассматривать как частные значения (реализации) n независимых случайных величин
каждая из к-ых имеет тот же закон распределения, что и сама СВ Х.

Определение . Оценкой параметраназывают всякую функцию результатов наблюдений над СВ Х (иначе - статистику), с помощью к-ой судят о значении параметра:

Поскольку
- случайные величины, то и оценка(в отличие от оцениваемого параметра- величины неслучайной, детерминированной) является случайной величиной, зависящей от закона распределения СВ Х и числа n.

О качестве оценки следует судить не по индивидуальным ее значениям, а лишь по распределению ее значений в большой сети испытаний, т.е. по выборочному распределению оценки.

Если значения оценки концентрируются около истинного значения параметра, т.е. основная часть массы выборочного распределения оценки сосредоточена в малой окрестности оцениваемого параметра, то с большой вер-тью можно считать, что оценкаотличается от параметралишь на малую величину. Поэтому, чтобы значениебыло близко к, надо, очевидно, потребовать, чтобы рассеяние случайной величиныотносительно, выражаемое, например, матем-ким ожиданием квадрата отклонения оценки от оцениваемого параметра
, было по возможности меньшим. Таково основное условие, к-му должна удовлетворять «наилучшая» оценка.

Свойства оценок.

Определение . Оценка параметраназываетсянесмещенной , если ее мат-кое ожидание равно оцениваемому параметру, т.е.
.

в противном случае оценка называется смещенной .

Если это равенство не выполняется, то оценка , полученная по разным выборкам, будет в среднем либо завышать значение(если
, либо занижать его (если
). Требование несмещенности гарантирует отсутствие систематических ошибок при оценивании.

Если при конечном объеме выборки n
, т.е. смещение оценки
, но
, то такая оценканазываетсяасимптотически несмещенной .

Определение . Оценка параметраназываетсясостоятельной , если она удовлетворяет закону больших чисел, т.е. сходится по вер-ти к оцениваемому параметру:

, или .

В случае использования состоятельных оценок оправдывается увеличение объема выборки, т.к. при этом становятся маловероятными значительные ошибки при оценивании. Поэтому практический смысл имеют только состоятельные оценки. Если оценка состоятельна, то практически достоверно, что при достаточно большом n
.

Если оценка параметраявляется несмещенной, а ее дисперсия
при n → ∞, то оценкаявляется и состоятельной. Это непосредственно вытекает из неравенства Чебышева:

Определение . Несмещенная оценка параметра сназываетсяэффективной , если она имеет наименьшую дисперсию среди всех возможных несмещенных оценок параметра , вычисленных по выборкам одного и того же объема n.

Т.к. для не смещенной оценки
есть ее дисперсия, то эф-ть являетсярешающим свойством , определяющим качество оценки.

Эффективность оценки определяют отношением: .

где и - соот-но дисперсии эффективной и данной оценок. Чем ближе е к 1, тем эффективнее оценка. Если е → 1 при n → ∞, то такая оценка называется асuмптотически эффективной.