Введение в математическую статистику

Выборочный метод

Генеральная совокупность

Генеральная совокупность

Генеральная совокупность

Совокупность объектов, явлений или процессов, из которых производится выборка.

Измеряется через объем совокупности ($N$) – число объектов генеральной совокупности.

Ссылка на оригинал

Выборочная совокупность

Выборочная совокупность

Выборочная совокупность ($n$-выборка)

Совокупность $n$ случайно отобранных объектов из генеральной совокупности.

Основные свойства корректности выборки

1. Выборка должна быть случайной, то есть все элементы должны иметь одинаковый шанс попасть в выборку.
2. Выборка должна быть репрезентативной, то есть она должна отражать все свойства генеральной совокупности.

Ссылка на оригинал

Повторная выборка

Повторная выборка

Повторная выборка

Выборка, при которой отобранный случайным образом объект обязательно возвращается в генеральную совокупность перед отбором следующего объекта.

Ссылка на оригинал

Бесповторная выборка

Бесповторная выборка

Бесповторная выборка

Выборка, при которой отобранным случайным образом объект больше в генеральную совокупность не возвращается.

Ссылка на оригинал

Реализация выборки

Реализация выборки

Реализация выборки

Пусть есть случайная величина $\xi$, наблюдаемая в эксперименте, и у неё есть распределение ${\mathcal{F}}_{\xi }$.
Проведем эксперимент $n$ раз в одинаковых условиях. В результате чего получим конкретные значения $\xi$ в $n$ экспериментах – $x_1,x_2,\dots ,x_n$.
Этот набор константных величин называется реализацией выборки

$$x=(x_1,x_2,\dots ,x_n)$$

Переменность реализации выборки

Если мы еще раз проведем эксперимент $n$ раз, то получим уже новый набор чисел, т.е. $x_1,x_2,\dots ,x_n$ являются переменными величинами, значения которых совпадает со значениями случайной величины $\xi$.

Ссылка на оригинал

Выборка из распределения

Выборка из распределения

Выборка из распределения (до того как СВ приняла значение)

Выборкой из распределения или просто выборкой объема $n$ называется последовательность $n$ независимых одинаково распределённых случайных величин, имеющих распределение ${\mathcal{F}}_{\xi }$:

$$X=(X_1,X_2,\dots ,X_n)$$

Математический смысл выборки

Выборка является случайным вектором, следовательно, все свойства случайного вектора верны и для нее.

Ссылка на оригинал

Выборочный закон распределения

Выборочный закон распределения

Выборочное (эмперическое) распределение

Пусть $x_1,x_2\dots x_n$ – реализация выборки.
Построим новую случайную величину ${\xi }^{\ast }$, со значениями $x_i$ и вероятностями $p_i=\frac{1}{n}$ и запишем её распределение:

$$\begin{array}{ccccc}{x}_i& x_1& x_2& \dots & x_n\\ p_i& \frac{1}{n}& \frac{1}{n}& \dots & \frac{1}{n}\end{array}$$

Функция распределения ${\mathcal{F}}_n^{\ast }(t)$ задается через индикатор $\mathbb{I}$:

$${\mathcal{F}}_n^{\ast }(t)=\frac{1}{n}\sum _{k=1}^n{\mathbb{I}}_{(x_k,+\infty )}(t)$$

Для реализации выборки $x_1\le x_2\le \cdots \le x_n$ функция имеет ступенчатый вид:

$${\mathcal{F}}_n^{\ast }(t)=\{\begin{array}{ll}0,& t\le x_1\\ \frac{1}{n},& t\in (x_1;x_2]\\ \frac{2}{n},& t\in (x_2;x_3]\\ \dots & \dots \\ 1,& t>x_n\end{array}$$

Математическое ожидание выборочного распределения

Математическое ожидание построенной случайной величины ${\xi }^{\ast }$ совпадает с выборочным средним $\bar{x}$:

$$E{\xi }^{\ast }=\sum _{i=1}^n{x}_i{p}_i=\sum _{i=1}^n{x}_i\cdot \frac{1}{n}=\frac{1}{n}\sum _{i=1}^n{x}_i=\bar{x}$$

Дисперсия выборочного распределения

Вычисление дисперсии для ${\xi }^{\ast }$ через разность моментов:

$$Var{\xi }^{\ast }=E({\xi }^{\ast }{)}^2-(E{\xi }^{\ast }{)}^2=\sum _{i=1}^n{x}_i^2\cdot p_i-{\bar{x}}^2=\sum _{i=1}^n{x}_i^2\cdot \frac{1}{n}-{\bar{x}}^2=\frac{1}{n}\sum _{i=1}^n{x}_i^2-{\bar{x}}^2=\overline{x^2}-{\bar{x}}^2$$

Расчет по определению:

$$Var{\xi }^{\ast }=\sum _{i=1}^n(x_i-E{\xi }^{\ast }{)}^2{p}_i=\sum _{i=1}^n(x_i-\bar{x}{)}^2\cdot \frac{1}{n}=\frac{1}{n}\sum _{i=1}^n(x_i-\bar{x}{)}^2$$

Ссылка на оригинал

Эмпирическая функция распределения

Эмпирическая функция распределения

Эмпирическая функция распределения (как случайная функция)

Если рассматривать именно выборку $X_1,X_2,\dots ,X_n$ то вычисляемые на их основе характеристики также будут являться случайными величинами, используемыми для описания исходной величины $\xi$.

Функция распределения такого выборочного распределения называется эмпирической функцией распределения ${\mathcal{F}}_n^{\ast }(t):\Omega \times \mathbb{R}\to [0,1]$:

$${\mathcal{F}}_n^{\ast }(t)=\frac{1}{n}\sum _{k=1}^n{\mathbb{I}}_{(X_k,+\infty )}(t)$$

где ${\mathbb{I}}_{\{X_k<t\}}$ – индикатор события

Наследование свойств

Поскольку ${\mathcal{F}}_n^{\ast }(t)$ является полноценной функцией распределения, для нее выполняются все классические свойства функции распределения.

Ссылка на оригинал

Вариационный ряд

Вариационный ряд

Вариационный ряд

Возьмем выборку $X_1,X_2,\dots ,X_n$ и упорядочим в ней элементы. Полученная выборка $X_{(1)},X_{(2)},\dots ,X_{(n)}$ называется вариационным рядом.
$X_{(1)}\le X_{(2)}\le \cdots \le X_{(n)}.$
$X_{(1)}$ – выборочный минимум
$X_{(n)}$ – выборочный максимум
$X_{(k)}$ – $k$-я выборочная статистика
$|X_{(n)}-X_{(1)}$| – размах выборки

Ссылка на оригинал

Гистограмма

Гистограмма

Гистограмма

Ступенчатая фигура, состоящая из прямоугольников, основаниями которых служат полуинтервалы шириной $h$, а высотами – отрезки длиной $\frac{n_i}{h}$ (гистограмма частот) или $\frac{{\omega }_i}{h}$ (гистограмма относительных частот).
Здесь $n_i$ – количество данных, попавших в $i$-ый интервал, $\omega$ – частота попадания данных в $i$-ый интервал.
Является графическим представлением выборки.

Ссылка на оригинал

Выборочные характеристики

Выборочные характеристики

Математический смысл характеристик

Все выборочные характеристики представляют собой функции случайных величин.
Каждая характеристика является случайной величиной со своим собственным законом распределения.

Выборочное среднее

Выборочное среднее выборки – величина, являющаяся эмпирическим аналогом математического ожидания:

$$\bar{X}=\frac{1}{n}\sum _{k=1}^n{X}_k$$

Выборочная дисперсия

$$s^2=\frac{1}{n}\sum _{k=1}^n(X_k-\bar{X}{)}^2$$

Исправленная выборочная дисперсия

$$\widehat{s^2}=\frac{1}{n-1}\sum _{k=1}^n(X_k-\bar{X}{)}^2$$

Выборочные моменты

Выборочный начальный момент порядка $r$

$${\bar{\alpha }}_r=\frac{1}{n}\sum _{k=1}^n{X}_k^r$$

Выборочный центральный момент порядка $r$

$${\bar{\mu }}_r=\frac{1}{n-1}\sum _{k=1}^n(X_k-\bar{X}{)}^r$$

Выборочные коэффициенты формы

Выборочный коэффициент ассиметрии

$${\bar{A}}_S=\frac{{\bar{\mu }}_3}{(\sqrt{D_B}{)}^3}$$

Выборочный коэффициент эксцесса

$${\bar{E}}_S=\frac{{\bar{\mu }}_4}{(\sqrt{D_B}{)}^4}-3$$

Выборочные структурные характеристики

• Выборочная мода ($\overline{Mo}$) – варианта, имеющая наибольшую частоту в вариационном ряду.
• Выборочная медиана ($\overline{Me}$) – значение, которое делит вариационный ряд на две части, равные по числу вариант.

Ссылка на оригинал

---

Точечная оценка

Точечная оценка параметра

Точечная оценка параметра

Пусть имеется выборка $X=(X_1,X_2,\dots ,X_n)$, которая имеет распределение ${\mathcal{F}}_{\xi }$, зависящее от параметра $\theta$ (${\mathcal{F}}_{\xi }(\theta )$, где $\theta \in \Theta$).

Точечной оценкой параметра $\theta$ называется статистика (функция СВ):

$${\hat{\theta }}_n=\psi (X_1,X_2,\dots ,X_n)$$

Значение которой, при заданной реализации выборки, принимают за приближенное значение параметра $\theta$.

Параметр $\theta$ как вектор

Если взять например нормальный закон $N(\underset{E\xi }{\underbrace{{\theta }_1}},\underset{Var\xi }{\underbrace{{\theta }_2^2}})$, то мы получим $\theta =\left(\begin{array}{c}{\theta }_1\\ {\theta }_2\end{array}\right)$

Пример оценки параметра для распределения Пуассона

Пусть $X=(X_1,X_2,\dots ,X_n)\sim \Pi (\theta )$ – выборка из закона Пуассона.

Так как математическое ожидание равно самому параметру $E\xi =\theta$, то в качестве оценки можно взять выборочное среднее:

$${\hat{\theta }}_n=\bar{X}=\frac{1}{n}\sum _{k=1}^n{X}_k$$

Ссылка на оригинал

Несмещенная оценка

Несмещенная оценка

Несмещенная оценка параметра

Точечная оценка ${\hat{\theta }}_n$ неизвестного параметра $\theta$ называется несмещенной, если ее математическое ожидание равно оцениваемому параметру:

$$E{\hat{\theta }}_n=\theta$$

Смысл несмещенности

Выполнение этого равенства означает отсутствие систематической ошибки. Это гарантирует, что в среднем оценка не завышает $(E\hat{\theta }>0)$ и не занижает $(E\hat{\theta }<0)$ истинное значение параметра $\theta$.

Смещённая оценка

Если оценка смещённая, то её смещение можно представить как

$$b(\theta )=E{\hat{\theta }}_n-\theta$$

Несмещенность выборочного среднего

Пусть имеется выборка $X=(X_1,X_2,\dots ,X_n)\sim {\mathcal{F}}_{\xi }(\theta )$, где неизвестный параметр $\theta$ равен математическому ожиданию элементов выборки: $\theta =E{X}_k$.
Если в качестве точечной оценки параметра $\theta$ взять выборочное среднее:

$${\hat{\theta }}_n=\bar{X}=\frac{1}{n}\sum _{k=1}^n{X}_k$$

То данная статистика всегда является несмещенной оценкой для математического ожидания.

Доказательство

$$E{\hat{\theta }}_n=E\left(\frac{1}{n}\sum _{k=1}^n{X}_k\right)=\frac{1}{n}E\left(\sum _{k=1}^n{X}_k\right)=\frac{1}{n}\sum _{k=1}^{n}E(X_k)=\frac{1}{n}\sum _{k=1}^n\theta =\theta$$

Ссылка на оригинал

Асимптотически несмещенная оценка

Асимптотическая несмещенная оценка

Асимптотическая несмещенная оценка

Точечная оценка параметра $\widehat{{\theta }_n}$ неизвестного параметра $\theta$ называется асимптотически несмещенной, если $E\widehat{{\theta }_n}\to \theta$ при $n\to \infty$

Ссылка на оригинал

Состоятельная оценка

Состоятельная оценка

Состоятельная оценка

Оценка $\hat{\theta }$ неизвестно параметра $\theta$ называется состоятельной если $\hat{\theta }$ стремится по вероятности к параметру $\theta$.

Значимость состоятельности

Требование состоятельности означает, что последовательность оценок $\hat{\theta }$ приближаются к параметру $\theta$ при увеличении количества данных.

Пример доказательства состоятельности оценки

Пусть $X=(X_1,X_2,\dots ,X_n)\sim {\mathcal{F}}_{\xi }(\theta )$, где $\theta =E{X}_k$.
Возьмем в качестве оценки ${\hat{\theta }}_n=\bar{X}=\frac{1}{n}{\sum }_{k=1}^n{X}_k$.
Показать состоятельность.

Решение

Сумма математических ожиданий всех величин в выборке будет равна

$$\sum _{k=1}^{n}E(X_k)=\underset{n\text{ раз}}{\underbrace{\theta +\theta +\cdots +\theta }}=n\cdot \theta$$

Заметим, что

$$\theta =\frac{1}{n}\cdot n\theta =\frac{1}{n}\sum _{k=1}^{n}E(X_k)$$

Покажем, что она состоятельная. Согласно ЗБЧ

$$\forall \epsilon >0\underset{n\to \infty }{\lim }P\left(\left|\underset{\widehat{{\theta }_n}}{\underbrace{\frac{1}{n}\sum _{k=1}^n{X}_k}}-\underset{\theta }{\underbrace{\frac{1}{n}\sum _{k=1}^{n}E(X_k)}}\right|<\epsilon \right)=1$$

Ссылка на оригинал

Достаточное условие состоятельности оценки

Достаточное условие состоятельности оценки

Достаточное условие состоятельности оценки

Если оценка ${\hat{\theta }}_n$ является несмещенной и ее дисперсия стремится к нулю ($Var{\hat{\theta }}_n\to 0$, при $n\to \infty$), то оценка является состоятельной.

Без доказательства.

Пример проверки состоятельности для выборочного среднего

Покажем состоятельность выборочного среднего $\bar{X}$

$$Var({\hat{\theta }}_n)=Var(\bar{X})=Var\left(\frac{1}{n}\sum _{k=1}^n{X}_k\right)=\frac{1}{n^2}Var\left(\sum _{k=1}^n{X}_k\right)\boxed{=}$$

Так как элементы выборки независимы и одинаково распределены, дисперсия суммы равна сумме дисперсий, а сами дисперсии равны:

$$\boxed{=}\frac{1}{n^2}\sum _{k=1}^{n}Var(X_k)=\frac{1}{n^2}\cdot n\cdot Var(X)=\frac{Var(X)}{n}\stackrel{n\to \infty }{\to }0$$

Дисперсия стремится к нулю, следовательно, оценка состоятельна.

Ссылка на оригинал

Пример точечной оценки

Пример точечной оценки

Оценка вероятности успеха

Пусть $p=P(A)$ – вероятность успеха, $q=P(\bar{A})=1-p$ – вероятность неудачи. В одном эксперименте получаем случайную величину $X$ – количество успехов в одном испытании, что соответствует распределению Бернулли.

$$\begin{array}{ccc}{x}_k& 0& 1\\ p_k& q& p\end{array}$$ $$EX=p,VarX=pq$$

Возьмем в качестве оценки параметра $p$ среднее арифметическое количества успехов в $n$ испытаниях.

$${\hat{\theta }}_n=\frac{1}{n}(X_1+\cdots +X_n)$$

Проверка свойств оценки

Тогда вычисляем математическое ожидание:

$$E{\hat{\theta }}_n=E\left(\frac{1}{n}(X_1+\cdots +X_n)\right)=\frac{1}{n}nE{X}_k=p$$

Оценка несмещенная.

Вычисляем дисперсию:

$$Var{\hat{\theta }}_n=Var\left(\frac{1}{n}(X_1+\cdots +X_n)\right)=\frac{1}{n^2}nVar{X}_k=\frac{pq}{n}\stackrel{n\to \infty }{\to }0$$

Так как дисперсия стремится к нулю, то выполняется достаточное условие состоятельности, оценка состоятельная.

Ссылка на оригинал

Эффективная оценка

Эффективная оценка

Эффективная оценка

Точечная оценка ${\hat{\theta }}_n$ неизвестного параметра $\theta$ называется эффективной, если она оптимальна в среднеквадратичном смысле. То есть она имеет минимальное математическое ожидание квадрата отклонения от параметра среди всех возможных оценок:

$$E({\hat{\theta }}_n-\theta {)}^2\le E({\tilde{\theta }}_n-\theta {)}^2$$

Где ${\tilde{\theta }}_n$ – любая другая оценка параметра $\theta$.

Смысл эффективности

Эффективность гарантирует наименьший разброс значений оценки вокруг своего среднего. Это требование максимально раскрывается для несмещенных оценок, поскольку их среднее совпадает с истинным параметром $\theta$, обеспечивая минимальный разброс относительно самой искомой величины.

Эффективность несмещенных оценок

Если эффективная оценка ищется строго в классе несмещенных оценок, то эффективной будет являться оценка, имеющая наименьшую дисперсию. (т.к. если оценка несмещенная, то $E{\hat{\theta }}_n=\theta$. Значит, $E({\hat{\theta }}_n-\theta {)}^2=E({\hat{\theta }}_n-E{\hat{\theta }}_n{)}^2=Var{\hat{\theta }}_n$

Ссылка на оригинал

Отсутствие абсолютно наилучшей оценки

Отсутствие абсолютно наилучшей оценки

Отсутствие абсолютно наилучшей оценки

В классе всех возможных оценок наилучшей в смысле среднеквадратического подхода оценки не существует.
Без доказательства.

Ссылка на оригинал

---

Список использованных источников

Материал подготовлен на основе

1. Видео. Лекция 16. Введение в мат.статистику. Выборочный метод. Метод моментов.
2. Конспект лекций по ТВиМС от 29.04.2026. Лектор Литвинова В. В.
3. Бородин А. Н. Элементарный курс теории вероятностей и математической статистики : учебное пособие для вузов / А. Н. Бородин. — 10 е изд., стер. — Санкт Петербург : Лань, 2024. — 256 с. : ил. — Текст : непосредственный
4. Гмурман, В. Е. Теория вероятностей и математическая статистика: учебник для вузов / В. Е. Гмурман. – 12-е изд. –Москва: Издательство Юрайт, 2024. – 479 с. – (Высшее образование)
5. Нейросеть NotebookLM только для оформления