Ковариация и коэффициент корреляции

Ковариация

Ковариация

Ковариация

Величина, равная математическому ожиданию произведения отклонений случайных величин $\xi$ и $\eta$ от своих математических ожиданий.

$$cov(\xi ,\eta )=E((\xi -E\xi )\cdot (\eta -E\eta ))$$

Ковариация для дискретных случайных величин

$$cov(\xi ,\eta )=\sum _i\sum _j(x_i-E\xi )(y_j-E\eta )p_{ij}$$

Ковариация для непрерывных случайных величин

$$cov(\xi ,\eta )={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }(x-E\xi )(y-E\eta )f_{\xi \eta }(x,y)dxdy$$

Ссылка на оригинал

Свойства ковариации

Свойства ковариации

Связь дисперсии и ковариации

$$cov(\xi ,\xi )=Var\xi$$

Доказательство

$$cov(\xi ,\xi )=E({\xi }^{o2})=E(\xi -E\xi {)}^2=Var\xi$$

Расчетная формула ковариации

$$cov(\xi ,\eta )=E(\xi \cdot \eta )-E\xi \cdot E\eta$$

Доказательство

\begin{aligned} & cov(\xi, \eta) = E(\xi - E\xi)(\eta-E \eta) = E(\xi \cdot \eta - \xi \cdot E\eta-\eta \cdot E\xi+E\xi \cdot E\eta) = \\ & = E(\xi \cdot \eta) - E(\xi \cdot E \eta)-E(\eta \cdot E \xi)+E (E\xi \cdot E\eta) \\ & = E(\xi \cdot \eta)-E \xi \cdot E\eta- E\eta \cdot E\xi+E\xi \cdot E\eta = E(\xi \cdot \eta) - E\xi \cdot E\eta \end{aligned} $$ ^ae50f4

Ковариация независимых СВ

Если случайные величины $\xi$ и $\eta$ – независимы $⟹cov(\xi ,\eta )=0$

Доказательство

По свойству независимых случайных величин

$$E(\xi \cdot \eta )=E\xi \cdot E\eta$$

Воспользуемся расчётной формулой

$$cov(\xi ,\eta )=E(\xi ,\eta )-E\xi \cdot E\eta =E\xi \cdot E\eta -E\xi \cdot E\eta =0$$

Инвариантность сдвига

Если к случайной величине добавить константу, её ковариация не изменится

$$cov(\xi +a,\eta )=cov(\xi ,\eta )$$

где $a$ – константа

Доказательство

$$\begin{array}{rl}& cov(\xi +a,\eta )=E((\xi +a)\cdot \eta )-E(\xi +a)\cdot E\eta =E(\xi \cdot \eta +a\eta )-(E\xi +a)\cdot E\eta \\ & =E(\xi \cdot \eta )+aE\eta -E\xi \cdot E\eta -aE\eta =E(\xi \cdot \eta )-E\xi \cdot E\eta =cov(\xi ,\eta )\end{array}$$

Билинейность ковариации

$cov(a\xi +b\eta ,c\xi +d\eta )=ac\cdot Var\xi +bd\cdot Var\eta +(ad+bc)cov(\xi ,\eta )$

Доказательство

Обозначим отклонения величин от их матожиданий как $\mathring{\xi }=\xi -E\xi$ и $\mathring{\eta }=\eta -E\eta$.
По определению ковариации:

$$\begin{array}{rl}& cov(a\xi +b\eta ,c\xi +d\eta )=E[(a\mathring{\xi }+b\mathring{\eta })(c\mathring{\xi }+d\mathring{\eta })]=\\ & =E[ac{\mathring{\xi }}^2+ad\mathring{\xi }\mathring{\eta }+bc\mathring{\eta }\mathring{\xi }+bd{\mathring{\eta }}^2]=\\ & =ac\underset{Var\xi }{\underbrace{E({\mathring{\xi }}^2)}}+(ad+bc)\underset{cov(\xi ,\eta )}{\underbrace{E(\mathring{\xi }\mathring{\eta })}}+bd\underset{Var\eta }{\underbrace{E({\mathring{\eta }}^2)}}=\\ & \\ & =ac\cdot Var\xi +(ad+bc)cov(\xi ,\eta )+bd\cdot Var\eta \end{array}$$

Свойство ограниченности абсолютной величины ковариации

Абсолютная величина ковариации не превышает среднего геометрического дисперсий этих случайных величин:

$$|\text{cov}(\xi ,\eta )|\le \sqrt{\text{Var}\xi \cdot \text{Var}\eta }$$

Доказательство

Рассмотрим математическое ожидание ${\xi }^0=(\frac{\xi -E\xi }{\sqrt{\text{Var}\xi }}\pm \frac{\eta -E\eta }{\sqrt{\text{Var}\eta }}{)}^2$
Поскольку значения ${\xi }^0$ всегда $\ge 0$ то и её мат ожидание $\ge 0$

$$\begin{array}{rl}& E{\left(\frac{\xi -E\xi }{\sqrt{\text{Var}\xi }}\pm \frac{\eta -E\eta }{\sqrt{\text{Var}\eta }}\right)}^2\ge 0\\ & E\left(\frac{(\xi -E\xi {)}^2}{\text{Var}\xi }\pm 2\frac{(\xi -E\xi )(\eta -E\eta )}{\sqrt{\text{Var}\xi }\cdot \sqrt{\text{Var}\eta }}+\frac{(\eta -E\eta {)}^2}{\text{Var}\eta }\right)\ge 0\end{array}$$

Воспользуемся свойством аддитивности мат. ожидания, а затем вынесем константы

$$\begin{array}{rl}& E\frac{(\xi -E\xi {)}^2}{\text{Var}\xi }\pm 2E\frac{(\xi -E\xi )(\eta -E\eta )}{\sqrt{\text{Var}\xi }\cdot \sqrt{\text{Var}\eta }}+E\frac{(\eta -E\eta {)}^2}{\text{Var}\eta }\ge 0\\ & \frac{1}{\text{Var}\xi }\underset{\text{Var}\xi }{\underbrace{E(\xi -E\xi {)}^2}}\pm \frac{2}{\sqrt{\text{Var}\xi }\sqrt{\text{Var}\eta }}\underset{\text{cov}(\xi ,\eta )}{\underbrace{E((\xi -E\xi )(\eta -E\eta ))}}+\frac{1}{\text{Var}\eta }\underset{\text{Var}\eta }{\underbrace{E(\eta -E\eta {)}^2}}\ge 0\\ & 1\pm \frac{2\text{cov}(\xi ,\eta )}{\sqrt{\text{Var}\xi }\cdot \sqrt{\text{Var}\eta }}+1\ge 0\\ & \pm \frac{2\text{cov}(\xi ,\eta )}{\sqrt{\text{Var}\xi }\cdot \sqrt{\text{Var}\eta }}\ge -2|:2\cdot \sqrt{\text{Var}\xi }\cdot \sqrt{\text{Var}\eta }\\ & \{\begin{array}{l}\text{cov}(\xi ,\eta )\ge -\sqrt{\text{Var}\xi }\cdot \sqrt{\text{Var}\eta }\\ \text{cov}(\xi ,\eta )\le \sqrt{\text{Var}\xi }\cdot \sqrt{\text{Var}\eta }\end{array}\\ & |\text{cov}(\xi ,\eta )|\le \sqrt{\text{Var}\xi }\cdot \sqrt{\text{Var}\eta }\end{array}$$

Ссылка на оригинал

---

Корреляция

Корреляция

Коэффициент корреляции

Мерой тесноты линейной зависимости двух случайных величин $\xi$ и $\eta$ выступает отношение их ковариации к произведению СКО :

$$corr(\xi ,\eta )=\frac{cov(\xi ,\eta )}{\sqrt{Var\xi }\cdot \sqrt{Var\eta }}$$

Ссылка на оригинал

Свойства корреляции

Свойства корреляции

Все свойства являются следствиями из определения корреляции и свойств ковариации

Свойство ограниченности

Абсолютная величина коэффициента корреляции не превышает единицы:

$$|corr(\xi ,\eta )|\le 1$$

Свойство корреляции с самой собой

Корреляция случайной величины с самой собой равна единице:

$$corr(\xi ,\xi )=1$$

Свойство независимых величин

Если случайные величины $\xi$ и $\eta$ независимы, то корреляция $corr(\xi ,\eta )=0$

Внимание

Обратное НЕВЕРНО

Корреляция как мера линейной зависимости

$$\eta =a\xi +b⟺\{\begin{array}{l}corr(\xi ,\eta )=1,a>0\\ corr(\xi ,\eta )=-1,a<0\end{array}$$

Ссылка на оригинал

Примеры поиска корреляции

Примеры поиска корреляции

Расчет коэффициента корреляции дискретного вектора

Дан двумерный дискретный случайный вектор $(\xi ,\eta )$, заданный таблицей совместного распределения:

$$\begin{array}{ccc}\xi \backslash \eta & 0& 1\\ -1& 0,2& 0,1\\ 1& 0,4& 0,3\end{array}$$

Требуется найти коэффициент корреляции $\text{corr}(\xi ,\eta )$.

Решение

Запишем маргинальные распределения

$$\xi \sim \begin{array}{ccc}{x}_i& -1& 1\\ p_i& 0,3& 0,7\end{array}$$ $$\eta \sim \begin{array}{ccc}{y}_j& 0& 1\\ q_j& 0,6& 0,4\end{array}$$

Далее посчитаем математические ожидания для каждой СВ и их произведения

$$\begin{array}{rl}& E\xi =\sum x_i{p}_i=-1\cdot 0,3+1\cdot 0,7=-0,3+0,7=0,4\\ & E\eta =\sum y_j{q}_j=0\cdot 0,6+1\cdot 0,4=0,4\\ & E(\xi \cdot \eta )=\sum _{i,j}{x}_i{y}_j\cdot p_{ij}=-1\cdot 0\cdot 0,2+(-1)\cdot 1\cdot 0,1+1\cdot 0\cdot 0,4+\\ & +1\cdot 1\cdot 0,3=-0,1+0,3=0,2\end{array}$$

Находим ковариацию

$$\text{cov}(\xi ,\eta )=0,2-0,4\cdot 0,4=0,2-0,16=0,04$$

Для корреляции находим дисперсию каждой СВ по формуле

$$\begin{array}{rl}& E{\xi }^2=\sum x_i^2\cdot p_i=(-1{)}^2\cdot 0,3+1^2\cdot 0,7=1\\ & \text{Var}\xi =E{\xi }^2-(E\xi {)}^2=1-0,4^2=1-0,16=0,84\\ & E{\eta }^2=\sum y_j^2\cdot q_j=0^2\cdot 0,6+1^2\cdot 0,4=0,4\\ & \text{Var}\eta =E{\eta }^2-(E\eta {)}^2=0,4-0,4^2=0,4-0,16=0,24\end{array}$$

Подставляем найденные значения в определение корреляции

$$\begin{array}{rl}& \text{corr}(\xi ,\eta )=\frac{0,04}{\sqrt{0,84}\cdot \sqrt{0,24}}=\frac{4}{\sqrt{84}\cdot \sqrt{24}}=\\ & =\frac{4}{2\sqrt{21}\cdot 2\sqrt{6}}=\frac{1}{\sqrt{3\cdot 7\cdot 3\cdot 2}}=\frac{1}{3\sqrt{14}}=\frac{\sqrt{14}}{42}\approx 0,09\end{array}$$

Расчет коэффициента корреляции непрерывных величин

Дана непрерывная случайная величина $\xi$ с заданной плотностью распределения:

$$f_{\xi }(x)=\{\begin{array}{ll}c{x}^2,& x\in [-1;1]\\ 0,& x\in (-\infty ;-1)\cup (1;+\infty )\end{array}$$

Задана случайная величина $\eta ={\xi }^2$. Требуется найти коэффициент корреляции $\text{corr}(\xi ,\eta )$.

Решение

Найдем неизвестную константу $c$, используя свойство плотности:

$$\begin{array}{rl}& {\int }_{-\infty }^{+\infty }f(x)dx=1={\int }_{-1}^{1}c{x}^{2}dx=c\cdot \frac{x^3}{3}{|}_{-1}^1=\frac{c}{3}+\frac{c}{3}=\frac{2c}{3}=1⟹c=\frac{3}{2}\end{array}$$

Найдем ковариацию по стандартной формуле:

$$\text{cov}(\xi ,\eta )=E(\xi \cdot \eta )-E\xi \cdot E\eta =E(\xi \cdot {\xi }^2)-E\xi \cdot E{\xi }^2=E{\xi }^3-E\xi \cdot E{\xi }^2$$

Вычислим необходимые математические ожидания:

$$\begin{array}{rl}& E\xi ={\int }_{-\infty }^{+\infty }x\cdot f(x)dx={\int }_{-1}^{1}x\cdot \frac{3}{2}{x}^{2}dx=\frac{3}{2}{\int }_{-1}^1{x}^{3}dx=\frac{3}{2}\cdot \frac{x^4}{4}{|}_{-1}^1=\frac{3}{8}-\frac{3}{8}=0\\ & E{\xi }^3={\int }_{-\infty }^{+\infty }{x}^3\cdot f(x)dx={\int }_{-1}^1{x}^3\cdot \frac{3}{2}{x}^{2}dx=\frac{3}{2}{\int }_{-1}^1{x}^{5}dx=\frac{3}{2}\cdot \frac{x^6}{6}{|}_{-1}^1=\frac{1}{4}-\frac{1}{4}=0\end{array}$$

Подставим полученные значения в формулу ковариации:

$$\text{cov}(\xi ,\eta )=0-0\cdot E{\xi }^2=0$$

Так как ковариация равна нулю, то и коэффициент корреляции равен нулю

Расчет коэффициента корреляции непрерывного вектора

Дана двумерная непрерывная случайная величина $(\xi ,\eta )$ с заданной плотностью распределения:

$$f(x,y)=\{\begin{array}{ll}c\cdot x,& (x,y)\in D\\ 0,& (x,y)\notin D\end{array}$$

Требуется найти коэффициент корреляции $\text{corr}(\xi ,\eta )$.

Решение

Найдем неизвестную константу $c$, используя свойство плотности

$${\iint }_{D}f(x,y)dxdy=1$$

$$\begin{array}{rl}& {\int }_0^{1}dx{\int }_0^{\sqrt{x}}c\cdot xdy={\int }_0^{1}c\cdot x\cdot y{|}_0^{\sqrt{x}}dx={\int }_0^{1}c\cdot x\sqrt{x}dx=\\ & =c{\int }_0^1{x}^{\frac{3}{2}}dx=c\cdot \frac{x^{\frac{5}{2}}}{\frac{5}{2}}{|}_0^1=c\cdot \frac{2}{5}=1⟹c=\frac{5}{2}\end{array}$$

Найдем ковариацию по стандартной формуле:

$$\text{cov}(\xi ,\eta )=E(\xi \cdot \eta )-E\xi \cdot E\eta$$

Для этого сначала вычислим маргинальные плотности распределения по свойству НСВ:

• Берём $x$ за константу
  

$$f_{\xi }(x)={\int }_{-\infty }^{+\infty }f(x,y)dy={\int }_0^{\sqrt{x}}\frac{5}{2}xdy=\frac{5}{2}xy{|}_0^{\sqrt{x}}=\frac{5}{2}x\cdot \sqrt{x}=\frac{5}{2}{x}^{\frac{3}{2}}\cdot {\mathbb{I}}_D(x)$$

• Берём $y$ за константу
  

$$f_{\eta }(y)={\int }_{y^2}^1\frac{5}{2}xdx=\frac{5}{2}\cdot \frac{x^2}{2}{|}_{y^2}^1=\frac{5}{4}(1-y^4)\cdot {\mathbb{I}}_D(y)$$

Вычислим необходимые математические ожидания:

$$\begin{array}{rl}& E\xi ={\int }_{-\infty }^{+\infty }x\cdot f_{\xi }(x)dx={\int }_0^{1}x\cdot \frac{5}{2}{x}^{\frac{3}{2}}dx=\frac{5}{2}{\int }_0^1{x}^{\frac{5}{2}}dx=\frac{5}{2}\cdot \frac{x^{\frac{7}{2}}}{\frac{7}{2}}{|}_0^1=\frac{5}{7}\\ & \\ & E\eta ={\int }_{-\infty }^{+\infty }y\cdot f_{\eta }(y)dy={\int }_0^{1}y\cdot \frac{5}{4}(1-y^4)dy=\frac{5}{4}\left(\frac{y^2}{2}-\frac{y^6}{6}\right){|}_0^1=\\ & \frac{5}{4}\left(\frac{1}{2}-\frac{1}{6}\right)=\frac{5}{4}\cdot \frac{1}{3}=\frac{5}{12}\\ & \\ & E(\xi \cdot \eta )={\iint }_{D}x\cdot y\cdot f(x,y)dxdy={\int }_0^{1}dx{\int }_0^{\sqrt{x}}x\cdot y\cdot \frac{5}{2}xdy={\int }_0^1\frac{5}{2}{x}^2\cdot \frac{y^2}{2}{|}_0^{\sqrt{x}}dx\\ & ={\int }_0^1\frac{5}{4}{x}^2\cdot xdx=\frac{5}{4}{\int }_0^1{x}^{3}dx=\frac{5}{4}\cdot \frac{x^4}{4}{|}_0^1=\frac{5}{16}\end{array}$$

Подставим полученные значения в формулу ковариации:

$$\text{cov}(\xi ,\eta )=\frac{5}{16}-\frac{5}{7}\cdot \frac{5}{12}=\frac{5}{4}\left(\frac{1}{4}-\frac{5}{21}\right)=\frac{5}{4}\cdot \frac{1}{84}=\frac{5}{336}$$

Найдем дисперсии случайных величин:

$$\begin{array}{rl}& E{\xi }^2={\int }_0^1{x}^2\cdot f_{\xi }(x)dx={\int }_0^1{x}^2\cdot \frac{5}{2}{x}^{\frac{3}{2}}dx=\frac{5}{2}\cdot \frac{x^{\frac{9}{2}}}{\frac{9}{2}}{|}_0^1=\frac{5}{9}\\ & \text{Var}\xi =E{\xi }^2-(E\xi {)}^2=\frac{5}{9}-{\left(\frac{5}{7}\right)}^2=\frac{20}{441}\\ & \\ & E{\eta }^2={\int }_0^1{y}^2\cdot f_{\eta }(y)dy={\int }_0^1{y}^2\cdot \frac{5}{4}(1-y^4)dy=\frac{5}{4}\left(\frac{y^3}{3}-\frac{y^7}{7}\right){|}_0^1=\\ & =\frac{5}{4}\left(\frac{1}{3}-\frac{1}{7}\right)=\frac{5}{21}\\ & \text{Var}\eta =E{\eta }^2-(E\eta {)}^2=\frac{5}{21}-{\left(\frac{5}{12}\right)}^2=\frac{65}{1008}\end{array}$$

Вычислим итоговую корреляцию:

$$\text{corr}(\xi ,\eta )=\frac{\text{cov}(\xi ,\eta )}{\sqrt{\text{Var}\xi }\cdot \sqrt{\text{Var}\eta }}=\frac{\frac{5}{336}}{\sqrt{\frac{20}{441}}\cdot \sqrt{\frac{65}{1008}}}=\frac{3\sqrt{91}}{104}\approx 0,275$$

Ссылка на оригинал

---

Список использованных источников

Материал подготовлен на основе

1. Конспект лекций по ТВиМС от 01.04.2026. Лектор Литвинова В. В.
2. Бородин А. Н. Элементарный курс теории вероятностей и математической статистики : учебное пособие для вузов / А. Н. Бородин. — 10 е изд., стер. — Санкт Петербург : Лань, 2024. — 256 с. : ил. — Текст : непосредственный
3. Гмурман, В. Е. Теория вероятностей и математическая статистика: учебник для вузов / В. Е. Гмурман. – 12-е изд. – Москва: Издательство Юрайт, 2024. – 479 с. – (Высшее образование)
4. Нейросеть NotebookLM только для оформления