Асимптотическая нормальность. Эффективные оценки. Эмпирические свойства.

Асимптотическая нормальность

Асимптотически нормальная оценка

Асимптотически нормальная оценка

Асимптотически нормальная оценка

Точечная оценка ${\hat{\theta }}_n$ неизвестного параметра $\theta$ называется асимптотически нормальной с дисперсией ${\sigma }^2(\theta )$, если при $n\to \infty$ случайная величина $\sqrt{n}({\hat{\theta }}_n-\theta )$ сходится по распределению к нормальному закону распределения со средним $0$ и дисперсией ${\sigma }^2(\theta )$

$$\sqrt{n}({\hat{\theta }}_n-\theta )\stackrel{d}{\to }N(0,{\sigma }^2(\theta ))$$

Коэффициент рассеивания

Дисперсию ${\sigma }^2(\theta )$ называют коэффициентом рассеивания.

Смысл асимптотической нормальности

Сравнивать оценки в смысле среднеквадратического подхода не всегда «удобно». Тогда применяется сравнение оценок в смысле асимптотического нормального подхода, о котором говорится далее.

Ссылка на оригинал

Состоятельность через асимптотическую нормальность

Состоятельность через асимптотическую нормальность

Состоятельность асимптотически нормальной оценки

Если оценка ${\hat{\theta }}_n$ является асимптотически нормальной, то она является и состоятельной.
Без доказательства.

Ссылка на оригинал

Асимптотическая нормальность среднего

Асимптотическая нормальность среднего

Асимптотическая нормальность среднего функции от выборки

Пусть функция $g(y)$ такова, что $Var(g(X_k))\ne 0$ и $Var(g(X_k))<\infty$.
Тогда статистика $\overline{g(X)}=\frac{1}{n}{\sum }_{k=1}^{n}g(X_k)$ является асимптотически нормальной оценкой для математического ожидания $Eg(X_k)$ с коэффициентом рассеивания ${\sigma }^2(\theta )=Var(g(X_k))$.

Без доказательства.

Связь с методом моментов

Статистика $\overline{g(X)}$ – выборочный аналог момента $Eg(X_k)$, на котором строится метод моментов.

Ссылка на оригинал

Асимптотическая нормальность функции от среднего

Асимптотическая нормальность функции от среднего

Асимптотическая нормальность функции от среднего

Пусть функция $m(y)$ непрерывно дифференцируема в точке $a=Eg(X_k)$ и $m^{\prime }(a)=m^{\prime }(y){|}_{y=a}\ne 0$.
Тогда оценка $\hat{\theta }=m\left(\overline{g(X)}\right)$ является асимптотически нормальной оценкой для

$$\theta =m(Eg(X_k))=m(a)$$

с коэффициентом рассеивания ${\sigma }^2(\theta )={\left(m^{\prime }(a)\right)}^2\cdot Var(g(X_k))$.

Без доказательства.

Связь с методом моментов

Оценка метода моментов имеет вид $m\left(\overline{g(X)}\right)$ (функция от выборочного среднего) и является асимптотически нормальной.
Заметьте, что здесь $m$ обозначает $h^{-1}$ из описания метода моментов.

Ссылка на оригинал

Сравнение оценок в смысле асимптотического нормального подхода

Асимптотически-нормальное сравнение оценок

Сравнение оценок в смысле асимптотического нормального подхода

Пусть оценки ${\hat{\theta }}_n$ и ${\tilde{\theta }}_n$ неизвестного параметра $\theta$ являются асимптотически нормальными с коэффициентами рассеивания соответственно ${\sigma }_1^2(\theta )$ и ${\sigma }_2^2(\theta )$.
Оценка ${\hat{\theta }}_n$ лучше оценки ${\tilde{\theta }}_n$, если для $\forall \theta \in \Theta$ справедливо

$${\sigma }_1^2(\theta )\le {\sigma }_2^2(\theta ),$$

и хотя бы для одного $\theta$ неравенство строгое.

Ссылка на оригинал

Пример сравнения оценок

Пример сравнения оценок в смысле асимптотического нормального подхода

Сравнение оценок для распределения Пуассона

Пусть выборка $X_1,X_2,\dots ,X_n$ соответствует распределению Пуассона с параметром $\theta$.
В качестве оценок параметра $\theta$ возьмём

$${\hat{\theta }}_n=\bar{X},{\tilde{\theta }}_n=\sqrt{{\bar{\alpha }}_2+\frac{1}{4}}-\frac{1}{2}$$

Сравнить их в смысле асимптотического нормального подхода.

Решение

• Первая оценка ${\hat{\theta }}_n=\bar{X}$ при $g(y)=y$. По теореме об асимптотической нормальности среднего

  $${\sigma }_1^2(\theta )=Var(X_k)=\theta .$$

• Вторая оценка ${\tilde{\theta }}_n=\sqrt{{\bar{\alpha }}_2+\frac{1}{4}}-\frac{1}{2}$ строится по второму моменту, поэтому $g(y)=y^2$:

  $$g(y)=y^2,m(y)=\sqrt{y+\frac{1}{4}}-\frac{1}{2},E{X}_k^2={\theta }^2+\theta .$$

  Здесь $E{X}_k^2=\theta +{\theta }^2$ (выразили через дисперсию), а $m(y)$ выражает параметр через момент: решая ${\theta }^2+\theta =y$ относительно $\theta$, получаем $m(y)=\sqrt{y+\frac{1}{4}}-\frac{1}{2}$.
  По теореме об асимптотической нормальности функции от среднего

  $$\begin{array}{rlr}& m^{\prime }(y)=\frac{1}{2\sqrt{y+\frac{1}{4}}},& m^{\prime }(E{X}_k^2)=\frac{1}{2\sqrt{{\theta }^2+\theta +\frac{1}{4}}}=\frac{1}{2\theta +1},\\ & Var(X_k^2)=4{\theta }^3+6{\theta }^2+\theta ,& {\sigma }_2^2(\theta )=\frac{4{\theta }^3+6{\theta }^2+\theta }{(2\theta +1{)}^2}=\theta \left(1+\frac{2\theta }{(2\theta +1{)}^2}\right).\end{array}$$

  Дисперсия $Var(X_k^2)=4{\theta }^3+6{\theta }^2+\theta$ вычислена через моменты Пуассона.

Сравнение. Так как ${\sigma }_1^2(\theta )=\theta <{\sigma }_2^2(\theta )$, то в смысле асимптотического подхода оценка ${\hat{\theta }}_n$ лучше ${\tilde{\theta }}_n$.

Ссылка на оригинал

---

Эффективные оценки

Класс смещения

Класс смещения

Класс смещения

Разобьем множество оценок на подклассы с одинаковым смещением.
$K_b$ – класс оценок, имеющих одинаковое смещение $b(\theta )$:

$$K_b=\{{\hat{\theta }}_n\mid E{\hat{\theta }}_n=\theta +b(\theta )\},K_0=\{{\hat{\theta }}_n\mid E{\hat{\theta }}_n=\theta \}$$

Ссылка на оригинал

Эффективная оценка в терминах классов смещения

Эффективная оценка в терминах классов смещения

Эффективная оценка в классе нулевого смещения

Эффективная оценка в смысле среднеквадратического подхода в классе $K_0$ (оценка с наименьшей дисперсией) называется эффективной.

Эффективная оценка в классе ненулевого смещения

Эффективной оценкой в смысле среднеквадратического подхода в классе ненулевого смещения $K_b$ называется оценка с наименьшей дисперсией среди всех оценок этого класса.

Почему это верно

Условие эффективности можно представить в следующем виде:

$$\begin{array}{rl}& {\hat{\theta }}_n-\theta =({\hat{\theta }}_n-E{\hat{\theta }}_n)+(E{\hat{\theta }}_n-\theta )\\ & ({\hat{\theta }}_n-\theta {)}^2=({\hat{\theta }}_n-E{\hat{\theta }}_n{)}^2+2({\hat{\theta }}_n-E{\hat{\theta }}_n)\cdot (E{\hat{\theta }}_n-\theta )+(E{\hat{\theta }}_n-\theta {)}^2\end{array}$$

Заметим, что $(E{\hat{\theta }}_n-\theta )$ это смещение, то есть $b(\theta )$ – const. Возьмём математическое ожидание

$$E({\hat{\theta }}_n-\theta {)}^2=E({\hat{\theta }}_n-E{\hat{\theta }}_n{)}^2+2b(\theta )\cdot E({\hat{\theta }}_n-E{\hat{\theta }}_n)+b(\theta {)}^2$$

Заметим, что $E({\hat{\theta }}_n-E{\hat{\theta }}_n{)}^2$ – это дисперсия, а $E({\hat{\theta }}_n-E{\hat{\theta }}_n)=0$, так как $E{\hat{\theta }}_n$ константа и вынося её по свойству линейности мы получаем $E{\hat{\theta }}_n-E{\hat{\theta }}_n=0$. Учитывая всё это получаем

$$E({\hat{\theta }}_n-\theta {)}^2=Var({\hat{\theta }}_n)+b(\theta {)}^2$$

Смещение в одном и том же классе одинаково, а значит что их эффективность определяется только дисперсией.

Неэффективность попарного сравнения

Попарное сравнение оценок в соответствующем классе – не лучший метод отыскания эффективной оценки.

Ссылка на оригинал

Единственность эффективной оценки

Единственность эффективной оценки

Единственность эффективной оценки

Пусть оценки ${\hat{\theta }}_n\in K_b$ и ${\tilde{\theta }}_n\in K_b$ – две эффективные оценки неизвестного параметра $\theta$ в одном классе смещения $K_b$. Тогда с вероятностью $1$ они совпадают:

$$P\{{\hat{\theta }}_n={\tilde{\theta }}_n\}=1.$$

Без доказательства.

Ссылка на оригинал

Носитель семейства распределений

Носитель семейства распределений

Носитель семейства распределений

Любое множество $C\subseteq \mathbb{R}$ такое, что для $\forall \theta \in \Theta$ выполняется $P\{X_k\in C\}=1$, называется носителем семейства распределений ${\mathcal{F}}_{\xi }(\theta )$.

Ссылка на оригинал

Неравенство Рао-Крамера

Неравенство Рао-Крамера

Неравенство Рао-Крамера

Пусть имеется выборка $X=(X_1,X_2,\dots ,X_n)$ из распределения ${\mathcal{F}}_{\xi }(\theta )$, $\theta \in \Theta$, и семейство ${\mathcal{F}}_{\xi }(\theta )$ удовлетворяет условиям:

1. Существует носитель $C$ семейства ${\mathcal{F}}_{\xi }(\theta )$, для которого $\forall y\in C$ функция $\sqrt{f_{\theta }(y)}$ непрерывно дифференцируема по $\theta$ при всех $\theta \in \Theta$.
2. Информация Фишера $I(\theta )=E{\left(\frac{\partial }{\partial \theta }\ln f_{\theta }(X_k)\right)}^2$ существует, положительна и непрерывна при всех $\theta \in \Theta$.

Тогда для любой несмещённой оценки ${\hat{\theta }}_n\in K_0$, дисперсия которой ограничена на любом компакте области $\Theta$, справедливо

$$Var{\hat{\theta }}_n=E({\hat{\theta }}_n-\theta {)}^2\ge \frac{1}{nI(\theta )}.$$

Без доказательства.

Информация Фишера

Величину $I(\theta )=E{\left(\frac{\partial }{\partial \theta }\ln f_{\theta }(X_k)\right)}^2$ называют информацией Фишера.

Неравенство для смещённых оценок

В классе смещённых оценок со смещением $b(\theta )$ неравенство принимает вид

$$E({\hat{\theta }}_n-\theta {)}^2\ge \frac{(1+b^{\prime }(\theta ){)}^2}{nI(\theta )}+b^2(\theta ),Var{\hat{\theta }}_n\ge \frac{(1+b^{\prime }(\theta ){)}^2}{nI(\theta )}.$$

R-эффективность

Если найдётся оценка, обращающая неравенство в равенство, то она эффективна (R-эффективна).

Ссылка на оригинал

Пример проверки эффективности оценки

Пример проверки эффективности оценки через неравенство Рао-Крамера

Проверка эффективности выборочного среднего для показательного распределения

Пусть $X_1,X_2,\dots ,X_n\sim \mathcal{E}(1/\theta )$ (показательное распределение). Проверить, будет ли оценка ${\hat{\theta }}_n=\bar{X}$ эффективной по неравенству Рао-Крамера.

Решение

Плотность распределения

$$f_{\theta }(t)=\{\begin{array}{ll}\frac{1}{\theta }{e}^{-t/\theta },& t\ge 0\\ 0,& t<0\end{array}$$

Найдём информацию Фишера $I(\theta )$:

$$\ln f_{\theta }(X_k)=-\ln \theta -\frac{X_k}{\theta },\frac{\partial }{\partial \theta }\ln f_{\theta }(X_k)=-\frac{1}{\theta }+\frac{X_k}{{\theta }^2}=\frac{X_k-\theta }{{\theta }^2}.$$ $$I(\theta )=E{\left(\frac{\partial }{\partial \theta }\ln f_{\theta }(X_k)\right)}^2=\frac{E(X_k-\theta {)}^2}{{\theta }^4}=\frac{Var(X_k)}{{\theta }^4}=\frac{{\theta }^2}{{\theta }^4}=\frac{1}{{\theta }^2}.$$

Найдём дисперсию оценки:

$$Var({\hat{\theta }}_n)=Var(\bar{X})=\frac{1}{n}Var(X_k)=\frac{{\theta }^2}{n}.$$

Сравним с границей Рао-Крамера:

$$Var(\bar{X})=\frac{{\theta }^2}{n}=\frac{1}{nI(\theta )}=\frac{1}{n\cdot \frac{1}{{\theta }^2}}=\frac{{\theta }^2}{n}.$$

Неравенство обращается в равенство, значит оценка $\bar{X}$ эффективна (R-эффективна).

Ссылка на оригинал

---

Эмпирические свойства

Свойства эмпирической функции распределения

Свойства эмпирической функции распределения

Свойства эмпирической функции распределения ${\mathcal{F}}_n^{\ast }(t)$ как оценки истинной функции распределения $\mathcal{F}(t)$. Без доказательств.

Несмещённость

${\mathcal{F}}_n^{\ast }(t)$ – несмещённая оценка $\mathcal{F}(t)$.

Дисперсия оценки

$$Var({\mathcal{F}}_n^{\ast }(t))=\frac{\mathcal{F}(t)(1-\mathcal{F}(t))}{n}$$

Асимптотическая нормальность

${\mathcal{F}}_n^{\ast }(t)$ – асимптотически нормальная оценка $\mathcal{F}(t)$:

$$\sqrt{n}({\mathcal{F}}_n^{\ast }(t)-\mathcal{F}(t))\stackrel{d}{\to }\eta ,n\to \infty ,$$

где $\eta \sim N(0,\mathcal{F}(t)(1-\mathcal{F}(t)))$.

Связь с биномиальным распределением

$$n\cdot {\mathcal{F}}_n^{\ast }(t)\sim Bin(n,\mathcal{F}(t))$$

Ссылка на оригинал

Теорема Гливенко-Кантелли

Теорема Гливенко-Кантелли

Теорема Гливенко-Кантелли

Пусть имеется выборка $X=(X_1,X_2,\dots ,X_n)$, которая имеет неизвестное распределение с функцией распределения ${\mathcal{F}}_{\xi }$. Пусть ${\mathcal{F}}_n^{\ast }$ – эмпирическая функция распределения, построенная по этой выборке. Тогда их разность сходится по вероятности абсолютно

$$\underset{t\in \mathbb{R}}{\sup }|{\mathcal{F}}_n^{\ast }(t)-{\mathcal{F}}_{\xi }(t)|\stackrel{P}{\to }0,n\to \infty .$$

Следствие

Если рассматривать отдельно каждую точку, то $\forall t\in \mathbb{R}$

$${\mathcal{F}}_n^{\ast }(t)\stackrel{P}{\to }{\mathcal{F}}_{\xi }(t),n\to \infty .$$

Ссылка на оригинал

Теорема Колмогорова

Теорема Колмогорова (распределение Колмогорова)

Теорема Колмогорова

Пусть имеется выборка $X=(X_1,X_2,\dots ,X_n)$, которая имеет неизвестный закон распределения с непрерывной функцией распределения $\mathcal{F}$.
Пусть ${\mathcal{F}}_n^{\ast }$ – эмпирическая функция распределения, построенная по этой выборке. Тогда

$$\sqrt{n}\underset{t\in \mathbb{R}}{\sup }|{\mathcal{F}}_n^{\ast }(t)-\mathcal{F}(t)|\stackrel{d}{\to }\eta ,n\to \infty ,$$

где $\eta$ – случайная величина, имеющая распределение Колмогорова с непрерывной функцией распределения

$$K(x)=\sum _{k=-\infty }^{+\infty }(-1{)}^k{e}^{-2k^2{x}^2},x\ge 0.$$

Ссылка на оригинал

Свойства выборочного среднего

Свойства выборочного среднего

Свойства выборочного среднего

Выборочное среднее является несмещённой, состоятельной и асимптотически нормальной оценкой математического ожидания.

Доказательство

Несмещённость и состоятельность доказаны ранее. Докажем асимптотическую нормальность:

$$\sqrt{n}(\bar{X}-E{X}_k)\stackrel{d}{\to }N(0,Var(X_k)),n\to \infty .$$

Применим ЦПТ:

$$\sqrt{n}(\bar{X}-E{X}_k)=\frac{n(\bar{X}-E{X}_k)}{\sqrt{n}}=\frac{n\bar{X}-nE{X}_k}{\sqrt{n}}=$$ $$=\frac{{\sum }_{k=1}^n{X}_k-nE{X}_k}{\sqrt{n}}=\frac{{\sum }_{k=1}^n(X_k-E{X}_k)}{\sqrt{n}}=$$ $$=\sigma \cdot \frac{{\sum }_{k=1}^n(X_k-E{X}_k)}{\sqrt{n}\sigma }\stackrel{d}{\to }\sigma \cdot N(0,1)=N(0,Var(X_k)),\sigma =\sqrt{Var(X_k)}.$$

где $\sigma \cdot N(0,1)=N(0,{\sigma }^2)$ – свойство нормального закона.

Следствие для выборочного момента

Выборочный $k$-ый начальный момент является несмещённой, состоятельной и асимптотически нормальной оценкой $k$-ого начального момента.

Ссылка на оригинал

Свойства выборочной дисперсии

Свойства выборочной дисперсии

Свойства выборочной дисперсии $s^2$ и исправленной выборочной дисперсии $\widehat{s^2}$ как оценок дисперсии.

Состоятельность

Оценки $s^2$ и $\widehat{s^2}$ являются состоятельными оценками дисперсии.

Смещённость

Оценка $s^2$ – асимптотически несмещённая, а $\widehat{s^2}$ – несмещённая оценка дисперсии.

Асимптотическая нормальность

Оценки $s^2$ и $\widehat{s^2}$ являются асимптотически нормальными оценками дисперсии:

$$\sqrt{n}(s^2-Var(X_k))\stackrel{d}{\to }N(0,Var((X_k-E{X}_k{)}^2)),n\to \infty .$$

Альтернативная формула

$$s^2=\frac{1}{n}\sum _{k=1}^n{X}_k^2-{\bar{X}}^2$$

Доказательство

$$s^2=\frac{1}{n}\sum _{k=1}^n(X_k-\bar{X}{)}^2=\frac{1}{n}\sum _{k=1}^n(X_k^2-2X_k\bar{X}+{\bar{X}}^2)=$$ $$=\frac{1}{n}\sum _{k=1}^n{X}_k^2-2\bar{X}\cdot \frac{1}{n}\sum _{k=1}^n{X}_k+{\bar{X}}^2\cdot \frac{1}{n}\sum _{k=1}^{n}1=$$ $$=\frac{1}{n}\sum _{k=1}^n{X}_k^2-2{\bar{X}}^2+{\bar{X}}^2=\frac{1}{n}\sum _{k=1}^n{X}_k^2-{\bar{X}}^2$$

Ссылка на оригинал

---

Список использованных источников

Материал подготовлен на основе

1. Конспект лекций по ТВиМС от 13.05.2026. Лектор Литвинова В. В.
2. Бородин А. Н. Элементарный курс теории вероятностей и математической статистики : учебное пособие для вузов / А. Н. Бородин. — 10 е изд., стер. — Санкт Петербург : Лань, 2024. — 256 с. : ил. — Текст : непосредственный
3. Гмурман, В. Е. Теория вероятностей и математическая статистика: учебник для вузов / В. Е. Гмурман. – 12-е изд. – Москва: Издательство Юрайт, 2024. – 479 с. – (Высшее образование)
4. Нейросеть Claude (только для оформления)