Методы нахождения точечных оценок

Метод подстановки

Метод подстановки

Метод подстановки

Метод подстановки является наиболее простым методом получения точечных оценок. Метод состоит в том, что в качестве оценки неизвестного параметра $\theta$ выбирается соответствующая выборочная числовая характеристика.

Применения метода подстановки для оценки

Пусть дана независимая выборка из нормального распределения:

$$X_1,\dots ,X_n\sim N(\theta ,{\theta }^2)$$

Оценкой математического ожидания $EX$ будет выборочное среднее:

$$\begin{array}{rl}EX\sim \bar{X}& =\frac{1}{n}\sum _{k=1}^n{X}_k\\ \widehat{{\theta }_n}& =\bar{X}\end{array}$$

Оценкой дисперсии $VarX$ будет выборочная дисперсия:

$$\begin{array}{rl}VarX\sim s^2& =\frac{1}{n}\sum _{k=1}^n(X_k-\bar{X}{)}^2\\ \widehat{{\theta }_n^2}& =s^2\\ \widehat{{\theta }_n}& =s\end{array}$$

Наличие нескольких оценок одного параметра

Полученные оценки являются разными для одного параметра $\theta$, для выбора лучшей мы сравниваем их характеристики.

Свойства метода подстановки

Все оценки, рассчитанные по методу подстановки, являются состоятельными, однако их несмещённость и эффективность не гарантированы. Примером смещённой оценки, рассмотренной ранее, является выборочная дисперсия.

Ссылка на оригинал

---

Метод моментов

Метод моментов

Метод моментов

Пусть выборка $X=(X_1,X_2,\dots ,X_n)\sim {\mathcal{F}}_{\xi }(\theta )$, где $\theta \in \Theta$. Выбираем функцию $g(y)$ такую, чтобы существовал момент:

$$Eg(X_k)=h(\theta )$$

И функция $h$ была обратима во множестве $\Theta$. Тогда в качестве оценки ${\hat{\theta }}_n$ параметра $\theta$ возьмем решение уравнения:

$$\frac{1}{n}\sum _{k=1}^{n}g(X_k)=h({\hat{\theta }}_n)$$

Другой вариант записи

$${\hat{\theta }}_n=h^{-1}\left(\frac{1}{n}\sum _{k=1}^{n}g(X_k)\right)$$

Выбор функции

Чаще всего в качестве функции $g(y)$ берут $y^k$.

Условие состоятельности

Если функция $h^{-1}$ непрерывна, то оценка является состоятельной.

Отсутствие несмещенности

Чаще всего оценки, найденные методом моментов, не являются несмещенными.

Ссылка на оригинал

Примеры применения метода моментов

Примеры применения метода моментов

Пример №1. Равномерное распределение для одного параметра

Пусть дана выборка из равномерного распределения:

$$X_1,\dots ,X_n\sim U[0;\theta ]$$

Необходимо найти точечную оценку ${\hat{\theta }}_n$ по методу моментов .

Решение

Выбираем функцию $g(y)=y$, то есть $E{X}_k=h(\theta )$. Математическое ожидание равномерного распределения с подставленными параметрами $a=0$ и $b=\theta$:

$$E{X}_k=\frac{0+\theta }{2}=\frac{\theta }{2}=h(\theta )$$

Мы нашли функцию $h$. Приравняем найденную функцию $h$ от оценки к выборочному начальному моменту первого порядка и решим уравнение:

$$\begin{array}{rl}h({\hat{\theta }}_n)& =\underset{\bar{X}}{\underbrace{\frac{1}{n}\sum _{k=1}^n{X}_k}}\\ \frac{{\hat{\theta }}_n}{2}& =\bar{X}\\ {\hat{\theta }}_n& =2\bar{X}\end{array}$$

Пример №2. Нормальное распределения с одним параметром

Пусть дана выборка из нормального распределения:

$$X_1,\dots ,X_n\sim N(\theta ;1)$$

Необходимо найти точечную оценку ${\hat{\theta }}_n$ по методу моментов.

Решение

Выбираем функцию $g(y)=y$, для которой $E{X}_k=h(\theta )$. Известно, что математическое ожидание случайной величины $\xi \sim N(a;{\sigma }^2)$ равно параметру $a$. В нашем случае $a=\theta$, следовательно:

$$E{X}_k=\theta =h(\theta )$$

Приравняем функцию $h$ от оценки к выборочному среднему и найдем итоговую оценку:

$$\begin{array}{rl}h({\hat{\theta }}_n)& =\overline{X}\\ {\hat{\theta }}_n& =\overline{X}\end{array}$$

Пример №3. Равномерное распределение для двух параметров

Пусть дана выборка из равномерного распределения:

$$X_1,\dots ,X_n\sim U[{\theta }_1;{\theta }_2]$$

Необходимо найти точечные оценки ${\hat{\theta }}_1,{\hat{\theta }}_2$ по методу моментов.

Решение

Выбираем функции $g_1(y)=y$ и $g_2(y)=y^2$, то есть $E{X}_k=h_1({\theta }_1,{\theta }_2)$ и $E{X}_k^2=h_2({\theta }_1,{\theta }_2)$. Математическое ожидание равномерного распределения и начальный момент второго порядка (выраженный через дисперсию) равны:

$$\begin{array}{rl}E{X}_k& =\frac{{\theta }_1+{\theta }_2}{2}=h_1({\theta }_1,{\theta }_2)\\ E{X}_k^2& =\frac{({\theta }_2-{\theta }_1{)}^2}{12}+{\left(\frac{{\theta }_1+{\theta }_2}{2}\right)}^2=h_2({\theta }_1,{\theta }_2)\end{array}$$

Мы нашли функции $h_1$ и $h_2$. Приравняем найденные функции от оценок к выборочным моментам первого и второго порядка и решим систему уравнений:

$$\{\begin{array}{l}{h}_1({\hat{\theta }}_1,{\hat{\theta }}_2)=\underset{\overline{X}}{\underbrace{\frac{1}{n}\sum _{k=1}^n{X}_k}}\\ h_2({\hat{\theta }}_1,{\hat{\theta }}_2)=\underset{\overline{X^2}}{\underbrace{\frac{1}{n}\sum _{k=1}^n{X}_k^2}}\end{array}⟹\{\begin{array}{l}\frac{{\hat{\theta }}_1+{\hat{\theta }}_2}{2}=\overline{X}\\ \frac{({\hat{\theta }}_2-{\hat{\theta }}_1{)}^2}{12}+{\left(\frac{{\hat{\theta }}_1+{\hat{\theta }}_2}{2}\right)}^2=\overline{X^2}\end{array}$$

Разность момента 2-го порядка и квадрата 1-го равна выборочной дисперсии $s^2$:

$$\{\begin{array}{l}{\hat{\theta }}_1+{\hat{\theta }}_2=2\overline{X}\\ \frac{({\hat{\theta }}_2-{\hat{\theta }}_1{)}^2}{12}+(\overline{X}{)}^2=\overline{X^2}\end{array}⟹\{\begin{array}{l}{\hat{\theta }}_1+{\hat{\theta }}_2=2\overline{X}\\ ({\hat{\theta }}_2-{\hat{\theta }}_1{)}^2=12\underset{s^2}{\underbrace{(\overline{X^2}-{\overline{X}}^2)}}\end{array}$$

Учитывая, что по условию ${\hat{\theta }}_2>{\hat{\theta }}_1$, извлекаем корень:

$$\{\begin{array}{l}{\hat{\theta }}_1+{\hat{\theta }}_2=2\overline{X}\\ {\hat{\theta }}_2-{\hat{\theta }}_1=2\sqrt{3}s\end{array}$$

Складывая и вычитая уравнения системы, получаем итоговые оценки:

$$\begin{array}{rl}{\hat{\theta }}_1& =\overline{X}-\sqrt{3}s\\ {\hat{\theta }}_2& =\overline{X}+\sqrt{3}s\end{array}$$

Пример №4. Дискретное распределение

Пусть дана выборка из дискретного распределения, заданного таблицей:

$$\begin{array}{cccc}{X}_k& -1& 0& 2\\ n_k& 10& 7& 3\\ p_k& \frac{1}{2}+2\theta & \frac{1}{4}-\theta & \frac{1}{4}-\theta \end{array}$$

Необходимо найти точечную оценку ${\hat{\theta }}_n$ по методу моментов.

Убедимся, что сумма вероятностей равна единице:

$$\sum p_k=\frac{1}{2}+2\theta +\frac{1}{4}-\theta +\frac{1}{4}-\theta =1$$

Решение через начальный момент первого порядка

Выбираем функцию $g(y)=y$. Вычислим математическое ожидание $E{X}_k$, чтобы найти функцию $h(\theta )$:

$$\begin{array}{rl}E{X}_k& =\sum x_k\cdot p_k=-1\cdot \left(\frac{1}{2}+2\theta \right)+0\cdot \left(\frac{1}{4}-\theta \right)+2\cdot \left(\frac{1}{4}-\theta \right)=\\ & =-\frac{1}{2}-2\theta +\frac{1}{2}-2\theta =-4\theta =h(\theta )\end{array}$$

Вычислим выборочное среднее $\bar{X}$ (при объеме выборки $n=10+7+3=20$):

$$\bar{X}=\frac{1}{n}\sum x_k\cdot n_k=\frac{1}{20}(-1\cdot 10+0\cdot 7+2\cdot 3)=-\frac{4}{20}=-\frac{1}{5}$$

Приравняем найденную функцию $h$ от оценки к выборочному среднему и решим уравнение:

$$\begin{array}{rl}& h({\hat{\theta }}_n)=\bar{X}\\ & -4{\hat{\theta }}_n=-\frac{1}{5}\\ & {\hat{\theta }}_n=\frac{1}{20}\end{array}$$

Неудачный выбор функции:

Если взять $g(y)=|y|$, то теоретический момент не будет зависеть от параметра:

$$\begin{array}{rl}E|X_k|& =\sum |x_k|\cdot p_k=|-1|\cdot \left(\frac{1}{2}+2\theta \right)+0+|2|\cdot \left(\frac{1}{4}-\theta \right)=\\ & =\frac{1}{2}+2\theta +\frac{2}{4}-2\theta =1\end{array}$$

параметр $\theta$ уничтожается, составить уравнение для поиска оценки невозможно

Решение через логарифмическую функцию

Выберем другую функцию: $g(y)=\ln (2+y)$. Вычислим математическое ожидание $E(\ln (2+X_k))$:

$$\begin{array}{rl}E(\ln (2+X_k))& =\sum \ln (2+x_k)\cdot p_k=\\ & =\underset{0}{\underbrace{\ln 1}}\cdot \left(\frac{1}{2}+2\theta \right)+\ln 2\cdot \left(\frac{1}{4}-\theta \right)+\ln 4\cdot \left(\frac{1}{4}-\theta \right)=\\ & =\frac{1}{4}\ln 2-\theta \ln 2+\frac{2}{4}\ln 2-2\theta \ln 2=\\ & =\frac{3}{4}\ln 2-3\theta \ln 2=h(\theta )\end{array}$$

Найдем соответствующий эмпирический момент:

$$\begin{array}{rl}& \overline{\ln (2+X_k)}=\frac{1}{n}\sum \ln (2+x_k)\cdot n_k=\frac{1}{20}(\ln 1\cdot 10+\ln 2\cdot 7+\ln 4\cdot 3)=\\ & =\frac{1}{20}(7\ln 2+6\ln 2)=\frac{13\ln 2}{20}\end{array}$$

Приравняем функцию $h$ от оценки к найденному эмпирическому моменту:

$$\begin{array}{rl}& h({\hat{\theta }}_n)=\overline{\ln (2+X_k)}\\ & \frac{3}{4}\ln 2-3{\hat{\theta }}_n\ln 2=\frac{13\ln 2}{20}\end{array}$$

Разделим обе части на $\ln 2$ и решим уравнение:

$$\begin{array}{rl}& \frac{3}{4}-3{\hat{\theta }}_n=\frac{13}{20}\\ & 15-60{\hat{\theta }}_n=13\\ & 60{\hat{\theta }}_n=2⟹{\hat{\theta }}_n=\frac{1}{30}\end{array}$$

Ссылка на оригинал

---

Метод максимального правдоподобия

Функция правдоподобия

Функция правдоподобия

Функция правдоподобия

Пусть $X=(X_1,X_2,\dots X_n)\sim {\mathcal{F}}_{\xi }(\theta )$ где $\theta \in \Theta$
Функцией правдоподобия из выборки называется

• Для дискретного случая – вероятности случайного вектора $X=(X_1,X_2,\dots X_n)$

$$L(X,\theta )=P_{\theta }\{\xi =X_1\}\cdot P_{\theta }\{\xi =X_2\}\cdot \dots P_{\theta }\{\xi =X_n\}=\prod _{k=1}^n{P}_{\theta }\{\xi =X_k\}$$

• Для непрерывного случая – совместная функция плотности случайного вектора $X=(X_1,X_2,\dots X_n)$

  $$L(X,\theta )=f_{\theta }(X_1)\cdot f_{\theta }(X_2)\cdot \dots f_{\theta }(X_n)=\prod _{k=1}^n{f}_{\theta }(X_k)$$

Ссылка на оригинал

Суть метода максимального правдоподобия

Метод максимального правдоподобия

Метод максимального правдоподобия

Заключается в том, что в качестве оценки параметра $\theta$ выбирается такая оценка, которая достигает максимума функции правдоподобия

$$\widehat{{\theta }_n}=\mathrm{argma}{\mathrm{x}}_{\theta }(L(X,\theta ))$$

Использование логарифма функции

Очень часто рассматривают не саму функцию правдоподобия а её логарифм.

$$l(X,\theta )=\ln L(X,\theta )$$

Так можно сделать потому что логарифм возрастающая функция и если он на каком-то значение достигает своего максимума, то и сама функция достигает максимальное значение в этом же векторе или точке.

Характеристика оценок полученных по ММП

Все оценки, полученные по методу максимального правдоподобия, являются состоятельными и, по крайней мере, асимптотически несмещёнными и асимптотически эффективными. Если для неизвестного параметра существует эффективная оценка, то метод максимального правдоподобия даёт именно эту оценку.

Ссылка на оригинал

Примеры на метод максимального правдоподобия

Примеры применения метода максимального правдоподобия

Пример для дискретного распределения Пуассона

Дана выборка соответствующая распределению Пуассона $X_1,X_2,\dots ,X_n\sim П(\theta )$.
Найти оценку параметра $\theta$ по методу максимального правдоподобия.

Решение

Вероятность принять конкретное значение $P\{\xi =k\}=\frac{e^{-\theta }}{k!}{\theta }^k$
Распишем функцию правдоподобия

$$\begin{array}{rl}& L(X_1,X_2,\dots ,X_n,\theta )=P\{\xi =X_1\}\cdot P\{\xi =X_2\}\dots P\{\xi =X_n\}=\\ & =\frac{e^{-\theta }}{X_1!}{\theta }^{X_1}\cdot \frac{e^{-\theta }}{X_2!}{\theta }^{X_2}\dots \frac{e^{-\theta }}{X_n!}{\theta }^{X_n}=\frac{e^{-n\theta }}{X_1!\cdot X_2!\dots X_n!}\cdot {\theta }^{X_1+\cdots +X_n}\end{array}$$

С полученной функцией работать неудобно, но мы можем взять от неё логарифм

$$\begin{array}{rl}& l(X_1,\dots ,X_n,\theta )=\ln \left(\frac{e^{-n\theta }}{X_1!\cdot X_2!\dots X_n!}\cdot {\theta }^{X_1+\cdots +X_n}\right)=\\ & =\ln e^{-n\theta }-\ln (X_1!\cdot X_2!\dots X_n!)+\ln {\theta }^{(X_1+\cdots +X_n)}=\\ & =-n\theta -\ln (X_1!\cdot X_2!\dots X_n!)+(X_1+\cdots +X_n)\ln \theta \end{array}$$

Далее для поиска экстремума необходимо продифференцировать функцию по параметру $\theta$

$$l_{\theta }^{\prime }=-n+(X_1+\cdots +X_n)\cdot \frac{1}{\theta }$$

Приравняем производную к нулю и найдём оценку, помним что при оценке мы заменяем $\theta$ на ${\hat{\theta }}_n$

$$\begin{array}{rl}& -n+(X_1+\cdots +X_n)\cdot \frac{1}{{\hat{\theta }}_n}=0\\ & (X_1+\cdots +X_n)\cdot \frac{1}{{\hat{\theta }}_n}=n\\ & \frac{1}{{\hat{\theta }}_n}=\frac{n}{(X_1+\cdots +X_n)}\\ & {\hat{\theta }}_n=\frac{(X_1+\cdots +X_n)}{n}=\bar{X}\end{array}$$

В качестве оценки мы получили выборочное среднее

Пример для непрерывного нормального распределения

Дана выборка соответствующая нормальному распределению $X_1,X_2,\dots ,X_n\sim N(\theta ;1)$.
Найти оценку параметра $\theta$ по методу максимального правдоподобия.

Решение

Совместная функция плотности имеет вид:

$$f_{\theta }(X_k)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{(X_k-\theta {)}^2}{2}}$$

Распишем функцию правдоподобия

$$\begin{array}{rl}& L(X_1,\dots ,X_n,\theta )=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{(X_1-\theta {)}^2}{2}}\cdot \frac{1}{\sqrt{2\pi }}{e}^{-\frac{(X_2-\theta {)}^2}{2}}\dots \frac{1}{\sqrt{2\pi }}{e}^{-\frac{(X_n-\theta {)}^2}{2}}=\\ & ={\left(\frac{1}{2\pi }\right)}^{n/2}\cdot e^{\left(-\frac{(X_1-\theta {)}^2}{2}-\cdots -\frac{(X_n-\theta {)}^2}{2}\right)}\end{array}$$

Возьмём от неё логарифм

$$l(X_1,\dots ,X_n,\theta )=\frac{n}{2}\cdot \ln \left(\frac{1}{2\pi }\right)+\left(-\frac{(X_1-\theta {)}^2}{2}-\cdots -\frac{(X_n-\theta {)}^2}{2}\right)\ln e$$

Для поиска экстремума возьмём производную по $\theta$ и приравняем к её к нулю

$$\begin{array}{rl}{l}_{\theta }(X_1,\dots ,X_n,\theta {)}^{\prime }& =-\frac{2(X_1-\theta )(-1)}{2}-\cdots -\frac{2(X_n-\theta )(-1)}{2}\\ & (X_1-{\hat{\theta }}_n)+\cdots +(X_n-{\hat{\theta }}_n)=0\\ & X_1+\cdots +X_n-n{\hat{\theta }}_n=0\\ & {\hat{\theta }}_n=\frac{X_1+\cdots +X_n}{n}=\bar{X}\end{array}$$

В качестве оценки мы получили выборочное среднее

Пример поиска для заданного дискретного распределения

Дано дискретное распределение

$$\begin{array}{cccc}{x}_k& -1& 0& 2\\ n_k& 10& 7& 3\\ p_k& \frac{1}{2}+2\theta & \frac{1}{4}-\theta & \frac{1}{4}-\theta \end{array}$$

Найти оценку параметра $\theta$ по методу максимального правдоподобия.

Решение

Распишем функцию правдоподобия

$$L(X_1,\dots X_{20},\theta )={\left(\frac{1}{2}+2\theta \right)}^{10}\cdot {\left(\frac{1}{4}-\theta \right)}^7\cdot {\left(\frac{1}{4}-\theta \right)}^3=$$

Упростим и возьмём от неё логарифм

$$l(X_1,X_2,\dots ,X_{20},\theta )=10\ln \left(\frac{1}{2}+2\theta \right)+10\ln \left(\frac{1}{4}-\theta \right)$$

Для поиска экстремума возьмём производную по $\theta$

$$l_{\theta }^{\prime }=10\cdot \frac{1}{\left(\frac{1}{2}+2\theta \right)}\cdot 2+10\cdot \frac{1}{\left(\frac{1}{4}-\theta \right)}\cdot (-1)=\frac{20}{\left(\frac{1}{2}+2\theta \right)}-\frac{10}{\left(\frac{1}{4}-\theta \right)}$$

Приравняем к нулю и найдём оценку (экстремум)

$$\begin{array}{rl}\frac{20}{\left(\frac{1}{2}+2{\hat{\theta }}_n\right)}& -\frac{10}{\left(\frac{1}{4}-{\hat{\theta }}_n\right)}=0\\ \frac{20}{\left(\frac{1}{2}+2{\hat{\theta }}_n\right)}& =\frac{10}{\left(\frac{1}{4}-{\hat{\theta }}_n\right)}\\ 5-20{\hat{\theta }}_n& =5+20{\hat{\theta }}_n|:5\\ 1-4{\hat{\theta }}_n& =1+4{\hat{\theta }}_n\\ {\hat{\theta }}_n& =0\end{array}$$

Пример когда у функции отсутствует экстремум

Дана выборка соответствующая равномерному распределению $X_1,X_2,\dots ,X_n\sim \mathcal{U}[0,\theta ]$.
Найти оценку параметра $\theta$ по методу максимального правдоподобия.

Решение

Совместная функция плотности имеет вид

$$f_{\theta }(X_k)=\{\begin{array}{ll}\frac{1}{\theta },& X_k\in [0,\theta ]\\ 0& X_k\notin [0,\theta ]\end{array}$$

Распишем функцию правдоподобия обязательно используя индикатор

Зачем нужен индикатор

Если взять функцию правдоподобия только от $\frac{1}{\theta }$ то мы получим

$$L(X_1,X_2,\dots X_n,\theta )=\frac{1}{\theta }\cdot \frac{1}{\theta }\dots \frac{1}{\theta }=\frac{1}{{\theta }^n}={\theta }^{-n}$$

Взяв производную мы получим строго отрицательные значения $(n\ge 1,\theta >0)$

$$({\theta }^{-n}{)}^{\prime }=-\frac{n}{{\theta }^{n+1}}<0$$

Это означает, что функция монотонно убывает, и у неё нет экстремума.
Правильным решением будет использовать индикатор учитывая оба значения плотности.

$$L(X_1,X_2,\dots X_n,\theta )=\frac{1}{\theta }\cdot {\mathbb{I}}_{[0,\theta ]}(X_1)\dots \frac{1}{\theta }\cdot {\mathbb{I}}_{[0,\theta ]}(X_n)=\frac{1}{{\theta }^n}\cdot \prod _{k=1}^n{\mathbb{I}}_{[0,\theta ]}(X_k)$$

• Произведение индикаторов равно единице только тогда, когда все элементы выборки попадают в интервал $[0,\theta ]$, то есть выборочный максимум $X_{(n)}$ не превосходит $\theta$.
• Мы ищем максимум функции, чем $\theta$ меньше, тем $\frac{1}{{\theta }^n}$ больше.

Учитывая оба этих условия получаем:

$$\{\begin{array}{l}\theta \ge X_{(n)}\\ \theta \to \min \end{array}⟹{\hat{\theta }}_n=X_{(n)}$$

Ссылка на оригинал

---

Список использованных источников

Материал подготовлен на основе

1. Видео. Лекция 17. Метод моментов. Метод максимального правдоподобия.
2. Конспект лекций по ТВиМС от 06.05.2026. Лектор Литвинова В. В.
3. Бородин А. Н. Элементарный курс теории вероятностей и математической статистики : учебное пособие для вузов / А. Н. Бородин. — 10 е изд., стер. — Санкт Петербург : Лань, 2024. — 256 с. : ил. — Текст : непосредственный
4. Гмурман, В. Е. Теория вероятностей и математическая статистика: учебник для вузов / В. Е. Гмурман. – 12-е изд. –Москва: Издательство Юрайт, 2024. – 479 с. – (Высшее образование)
5. Нейросеть NotebookLM только для оформления