Примеры применения метода максимального правдоподобия

Пример для дискретного распределения Пуассона

Дана выборка соответствующая распределению Пуассона $X_1,X_2,\dots ,X_n\sim П(\theta )$.
Найти оценку параметра $\theta$ по методу максимального правдоподобия.

Решение

Вероятность принять конкретное значение $P\{\xi =k\}=\frac{e^{-\theta }}{k!}{\theta }^k$
Распишем функцию правдоподобия

$$\begin{array}{rl}& L(X_1,X_2,\dots ,X_n,\theta )=P\{\xi =X_1\}\cdot P\{\xi =X_2\}\dots P\{\xi =X_n\}=\\ & =\frac{e^{-\theta }}{X_1!}{\theta }^{X_1}\cdot \frac{e^{-\theta }}{X_2!}{\theta }^{X_2}\dots \frac{e^{-\theta }}{X_n!}{\theta }^{X_n}=\frac{e^{-n\theta }}{X_1!\cdot X_2!\dots X_n!}\cdot {\theta }^{X_1+\cdots +X_n}\end{array}$$

С полученной функцией работать неудобно, но мы можем взять от неё логарифм

$$\begin{array}{rl}& l(X_1,\dots ,X_n,\theta )=\ln \left(\frac{e^{-n\theta }}{X_1!\cdot X_2!\dots X_n!}\cdot {\theta }^{X_1+\cdots +X_n}\right)=\\ & =\ln e^{-n\theta }-\ln (X_1!\cdot X_2!\dots X_n!)+\ln {\theta }^{(X_1+\cdots +X_n)}=\\ & =-n\theta -\ln (X_1!\cdot X_2!\dots X_n!)+(X_1+\cdots +X_n)\ln \theta \end{array}$$

Далее для поиска экстремума необходимо продифференцировать функцию по параметру $\theta$

$$l_{\theta }^{\prime }=-n+(X_1+\cdots +X_n)\cdot \frac{1}{\theta }$$

Приравняем производную к нулю и найдём оценку, помним что при оценке мы заменяем $\theta$ на ${\hat{\theta }}_n$

$$\begin{array}{rl}& -n+(X_1+\cdots +X_n)\cdot \frac{1}{{\hat{\theta }}_n}=0\\ & (X_1+\cdots +X_n)\cdot \frac{1}{{\hat{\theta }}_n}=n\\ & \frac{1}{{\hat{\theta }}_n}=\frac{n}{(X_1+\cdots +X_n)}\\ & {\hat{\theta }}_n=\frac{(X_1+\cdots +X_n)}{n}=\bar{X}\end{array}$$

В качестве оценки мы получили выборочное среднее

Пример для непрерывного нормального распределения

Дана выборка соответствующая нормальному распределению $X_1,X_2,\dots ,X_n\sim N(\theta ;1)$.
Найти оценку параметра $\theta$ по методу максимального правдоподобия.

Решение

Совместная функция плотности имеет вид:

$$f_{\theta }(X_k)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{(X_k-\theta {)}^2}{2}}$$

Распишем функцию правдоподобия

$$\begin{array}{rl}& L(X_1,\dots ,X_n,\theta )=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{(X_1-\theta {)}^2}{2}}\cdot \frac{1}{\sqrt{2\pi }}{e}^{-\frac{(X_2-\theta {)}^2}{2}}\dots \frac{1}{\sqrt{2\pi }}{e}^{-\frac{(X_n-\theta {)}^2}{2}}=\\ & ={\left(\frac{1}{2\pi }\right)}^{n/2}\cdot e^{\left(-\frac{(X_1-\theta {)}^2}{2}-\cdots -\frac{(X_n-\theta {)}^2}{2}\right)}\end{array}$$

Возьмём от неё логарифм

$$l(X_1,\dots ,X_n,\theta )=\frac{n}{2}\cdot \ln \left(\frac{1}{2\pi }\right)+\left(-\frac{(X_1-\theta {)}^2}{2}-\cdots -\frac{(X_n-\theta {)}^2}{2}\right)\ln e$$

Для поиска экстремума возьмём производную по $\theta$ и приравняем к её к нулю

$$\begin{array}{rl}{l}_{\theta }(X_1,\dots ,X_n,\theta {)}^{\prime }& =-\frac{2(X_1-\theta )(-1)}{2}-\cdots -\frac{2(X_n-\theta )(-1)}{2}\\ & (X_1-{\hat{\theta }}_n)+\cdots +(X_n-{\hat{\theta }}_n)=0\\ & X_1+\cdots +X_n-n{\hat{\theta }}_n=0\\ & {\hat{\theta }}_n=\frac{X_1+\cdots +X_n}{n}=\bar{X}\end{array}$$

В качестве оценки мы получили выборочное среднее

Пример поиска для заданного дискретного распределения

Дано дискретное распределение

$$\begin{array}{cccc}{x}_k& -1& 0& 2\\ n_k& 10& 7& 3\\ p_k& \frac{1}{2}+2\theta & \frac{1}{4}-\theta & \frac{1}{4}-\theta \end{array}$$

Найти оценку параметра $\theta$ по методу максимального правдоподобия.

Решение

Распишем функцию правдоподобия

$$L(X_1,\dots X_{20},\theta )={\left(\frac{1}{2}+2\theta \right)}^{10}\cdot {\left(\frac{1}{4}-\theta \right)}^7\cdot {\left(\frac{1}{4}-\theta \right)}^3=$$

Упростим и возьмём от неё логарифм

$$l(X_1,X_2,\dots ,X_{20},\theta )=10\ln \left(\frac{1}{2}+2\theta \right)+10\ln \left(\frac{1}{4}-\theta \right)$$

Для поиска экстремума возьмём производную по $\theta$

$$l_{\theta }^{\prime }=10\cdot \frac{1}{\left(\frac{1}{2}+2\theta \right)}\cdot 2+10\cdot \frac{1}{\left(\frac{1}{4}-\theta \right)}\cdot (-1)=\frac{20}{\left(\frac{1}{2}+2\theta \right)}-\frac{10}{\left(\frac{1}{4}-\theta \right)}$$

Приравняем к нулю и найдём оценку (экстремум)

$$\begin{array}{rl}\frac{20}{\left(\frac{1}{2}+2{\hat{\theta }}_n\right)}& -\frac{10}{\left(\frac{1}{4}-{\hat{\theta }}_n\right)}=0\\ \frac{20}{\left(\frac{1}{2}+2{\hat{\theta }}_n\right)}& =\frac{10}{\left(\frac{1}{4}-{\hat{\theta }}_n\right)}\\ 5-20{\hat{\theta }}_n& =5+20{\hat{\theta }}_n|:5\\ 1-4{\hat{\theta }}_n& =1+4{\hat{\theta }}_n\\ {\hat{\theta }}_n& =0\end{array}$$

Пример когда у функции отсутствует экстремум

Дана выборка соответствующая равномерному распределению $X_1,X_2,\dots ,X_n\sim \mathcal{U}[0,\theta ]$.
Найти оценку параметра $\theta$ по методу максимального правдоподобия.

Решение

Совместная функция плотности имеет вид

$$f_{\theta }(X_k)=\{\begin{array}{ll}\frac{1}{\theta },& X_k\in [0,\theta ]\\ 0& X_k\notin [0,\theta ]\end{array}$$

Распишем функцию правдоподобия обязательно используя индикатор

Зачем нужен индикатор

Если взять функцию правдоподобия только от $\frac{1}{\theta }$ то мы получим

$$L(X_1,X_2,\dots X_n,\theta )=\frac{1}{\theta }\cdot \frac{1}{\theta }\dots \frac{1}{\theta }=\frac{1}{{\theta }^n}={\theta }^{-n}$$

Взяв производную мы получим строго отрицательные значения $(n\ge 1,\theta >0)$

$$({\theta }^{-n}{)}^{\prime }=-\frac{n}{{\theta }^{n+1}}<0$$

Это означает, что функция монотонно убывает, и у неё нет экстремума.
Правильным решением будет использовать индикатор учитывая оба значения плотности.

$$L(X_1,X_2,\dots X_n,\theta )=\frac{1}{\theta }\cdot {\mathbb{I}}_{[0,\theta ]}(X_1)\dots \frac{1}{\theta }\cdot {\mathbb{I}}_{[0,\theta ]}(X_n)=\frac{1}{{\theta }^n}\cdot \prod _{k=1}^n{\mathbb{I}}_{[0,\theta ]}(X_k)$$

• Произведение индикаторов равно единице только тогда, когда все элементы выборки попадают в интервал $[0,\theta ]$, то есть выборочный максимум $X_{(n)}$ не превосходит $\theta$.
• Мы ищем максимум функции, чем $\theta$ меньше, тем $\frac{1}{{\theta }^n}$ больше.

Учитывая оба этих условия получаем:

$$\{\begin{array}{l}\theta \ge X_{(n)}\\ \theta \to \min \end{array}⟹{\hat{\theta }}_n=X_{(n)}$$