Примеры применения метода моментов

Пример №1. Равномерное распределение для одного параметра

Пусть дана выборка из равномерного распределения:

$$X_1,\dots ,X_n\sim U[0;\theta ]$$

Необходимо найти точечную оценку ${\hat{\theta }}_n$ по методу моментов .

Решение

Выбираем функцию $g(y)=y$, то есть $E{X}_k=h(\theta )$. Математическое ожидание равномерного распределения с подставленными параметрами $a=0$ и $b=\theta$:

$$E{X}_k=\frac{0+\theta }{2}=\frac{\theta }{2}=h(\theta )$$

Мы нашли функцию $h$. Приравняем найденную функцию $h$ от оценки к выборочному начальному моменту первого порядка и решим уравнение:

$$\begin{array}{rl}h({\hat{\theta }}_n)& =\underset{\bar{X}}{\underbrace{\frac{1}{n}\sum _{k=1}^n{X}_k}}\\ \frac{{\hat{\theta }}_n}{2}& =\bar{X}\\ {\hat{\theta }}_n& =2\bar{X}\end{array}$$

Пример №2. Нормальное распределения с одним параметром

Пусть дана выборка из нормального распределения:

$$X_1,\dots ,X_n\sim N(\theta ;1)$$

Необходимо найти точечную оценку ${\hat{\theta }}_n$ по методу моментов.

Решение

Выбираем функцию $g(y)=y$, для которой $E{X}_k=h(\theta )$. Известно, что математическое ожидание случайной величины $\xi \sim N(a;{\sigma }^2)$ равно параметру $a$. В нашем случае $a=\theta$, следовательно:

$$E{X}_k=\theta =h(\theta )$$

Приравняем функцию $h$ от оценки к выборочному среднему и найдем итоговую оценку:

$$\begin{array}{rl}h({\hat{\theta }}_n)& =\overline{X}\\ {\hat{\theta }}_n& =\overline{X}\end{array}$$

Пример №3. Равномерное распределение для двух параметров

Пусть дана выборка из равномерного распределения:

$$X_1,\dots ,X_n\sim U[{\theta }_1;{\theta }_2]$$

Необходимо найти точечные оценки ${\hat{\theta }}_1,{\hat{\theta }}_2$ по методу моментов.

Решение

Выбираем функции $g_1(y)=y$ и $g_2(y)=y^2$, то есть $E{X}_k=h_1({\theta }_1,{\theta }_2)$ и $E{X}_k^2=h_2({\theta }_1,{\theta }_2)$. Математическое ожидание равномерного распределения и начальный момент второго порядка (выраженный через дисперсию) равны:

$$\begin{array}{rl}E{X}_k& =\frac{{\theta }_1+{\theta }_2}{2}=h_1({\theta }_1,{\theta }_2)\\ E{X}_k^2& =\frac{({\theta }_2-{\theta }_1{)}^2}{12}+{\left(\frac{{\theta }_1+{\theta }_2}{2}\right)}^2=h_2({\theta }_1,{\theta }_2)\end{array}$$

Мы нашли функции $h_1$ и $h_2$. Приравняем найденные функции от оценок к выборочным моментам первого и второго порядка и решим систему уравнений:

$$\{\begin{array}{l}{h}_1({\hat{\theta }}_1,{\hat{\theta }}_2)=\underset{\overline{X}}{\underbrace{\frac{1}{n}\sum _{k=1}^n{X}_k}}\\ h_2({\hat{\theta }}_1,{\hat{\theta }}_2)=\underset{\overline{X^2}}{\underbrace{\frac{1}{n}\sum _{k=1}^n{X}_k^2}}\end{array}⟹\{\begin{array}{l}\frac{{\hat{\theta }}_1+{\hat{\theta }}_2}{2}=\overline{X}\\ \frac{({\hat{\theta }}_2-{\hat{\theta }}_1{)}^2}{12}+{\left(\frac{{\hat{\theta }}_1+{\hat{\theta }}_2}{2}\right)}^2=\overline{X^2}\end{array}$$

Разность момента 2-го порядка и квадрата 1-го равна выборочной дисперсии $s^2$:

$$\{\begin{array}{l}{\hat{\theta }}_1+{\hat{\theta }}_2=2\overline{X}\\ \frac{({\hat{\theta }}_2-{\hat{\theta }}_1{)}^2}{12}+(\overline{X}{)}^2=\overline{X^2}\end{array}⟹\{\begin{array}{l}{\hat{\theta }}_1+{\hat{\theta }}_2=2\overline{X}\\ ({\hat{\theta }}_2-{\hat{\theta }}_1{)}^2=12\underset{s^2}{\underbrace{(\overline{X^2}-{\overline{X}}^2)}}\end{array}$$

Учитывая, что по условию ${\hat{\theta }}_2>{\hat{\theta }}_1$, извлекаем корень:

$$\{\begin{array}{l}{\hat{\theta }}_1+{\hat{\theta }}_2=2\overline{X}\\ {\hat{\theta }}_2-{\hat{\theta }}_1=2\sqrt{3}s\end{array}$$

Складывая и вычитая уравнения системы, получаем итоговые оценки:

$$\begin{array}{rl}{\hat{\theta }}_1& =\overline{X}-\sqrt{3}s\\ {\hat{\theta }}_2& =\overline{X}+\sqrt{3}s\end{array}$$

Пример №4. Дискретное распределение

Пусть дана выборка из дискретного распределения, заданного таблицей:

$$\begin{array}{cccc}{X}_k& -1& 0& 2\\ n_k& 10& 7& 3\\ p_k& \frac{1}{2}+2\theta & \frac{1}{4}-\theta & \frac{1}{4}-\theta \end{array}$$

Необходимо найти точечную оценку ${\hat{\theta }}_n$ по методу моментов.

Убедимся, что сумма вероятностей равна единице:

$$\sum p_k=\frac{1}{2}+2\theta +\frac{1}{4}-\theta +\frac{1}{4}-\theta =1$$

Решение через начальный момент первого порядка

Выбираем функцию $g(y)=y$. Вычислим математическое ожидание $E{X}_k$, чтобы найти функцию $h(\theta )$:

$$\begin{array}{rl}E{X}_k& =\sum x_k\cdot p_k=-1\cdot \left(\frac{1}{2}+2\theta \right)+0\cdot \left(\frac{1}{4}-\theta \right)+2\cdot \left(\frac{1}{4}-\theta \right)=\\ & =-\frac{1}{2}-2\theta +\frac{1}{2}-2\theta =-4\theta =h(\theta )\end{array}$$

Вычислим выборочное среднее $\bar{X}$ (при объеме выборки $n=10+7+3=20$):

$$\bar{X}=\frac{1}{n}\sum x_k\cdot n_k=\frac{1}{20}(-1\cdot 10+0\cdot 7+2\cdot 3)=-\frac{4}{20}=-\frac{1}{5}$$

Приравняем найденную функцию $h$ от оценки к выборочному среднему и решим уравнение:

$$\begin{array}{rl}& h({\hat{\theta }}_n)=\bar{X}\\ & -4{\hat{\theta }}_n=-\frac{1}{5}\\ & {\hat{\theta }}_n=\frac{1}{20}\end{array}$$

Неудачный выбор функции:

Если взять $g(y)=|y|$, то теоретический момент не будет зависеть от параметра:

$$\begin{array}{rl}E|X_k|& =\sum |x_k|\cdot p_k=|-1|\cdot \left(\frac{1}{2}+2\theta \right)+0+|2|\cdot \left(\frac{1}{4}-\theta \right)=\\ & =\frac{1}{2}+2\theta +\frac{2}{4}-2\theta =1\end{array}$$

параметр $\theta$ уничтожается, составить уравнение для поиска оценки невозможно

Решение через логарифмическую функцию

Выберем другую функцию: $g(y)=\ln (2+y)$. Вычислим математическое ожидание $E(\ln (2+X_k))$:

$$\begin{array}{rl}E(\ln (2+X_k))& =\sum \ln (2+x_k)\cdot p_k=\\ & =\underset{0}{\underbrace{\ln 1}}\cdot \left(\frac{1}{2}+2\theta \right)+\ln 2\cdot \left(\frac{1}{4}-\theta \right)+\ln 4\cdot \left(\frac{1}{4}-\theta \right)=\\ & =\frac{1}{4}\ln 2-\theta \ln 2+\frac{2}{4}\ln 2-2\theta \ln 2=\\ & =\frac{3}{4}\ln 2-3\theta \ln 2=h(\theta )\end{array}$$

Найдем соответствующий эмпирический момент:

$$\begin{array}{rl}& \overline{\ln (2+X_k)}=\frac{1}{n}\sum \ln (2+x_k)\cdot n_k=\frac{1}{20}(\ln 1\cdot 10+\ln 2\cdot 7+\ln 4\cdot 3)=\\ & =\frac{1}{20}(7\ln 2+6\ln 2)=\frac{13\ln 2}{20}\end{array}$$

Приравняем функцию $h$ от оценки к найденному эмпирическому моменту:

$$\begin{array}{rl}& h({\hat{\theta }}_n)=\overline{\ln (2+X_k)}\\ & \frac{3}{4}\ln 2-3{\hat{\theta }}_n\ln 2=\frac{13\ln 2}{20}\end{array}$$

Разделим обе части на $\ln 2$ и решим уравнение:

$$\begin{array}{rl}& \frac{3}{4}-3{\hat{\theta }}_n=\frac{13}{20}\\ & 15-60{\hat{\theta }}_n=13\\ & 60{\hat{\theta }}_n=2⟹{\hat{\theta }}_n=\frac{1}{30}\end{array}$$