Понятие случайной величины. Закон распределения случайной величины¶
Случайная величина - переменная, которая в результате испытания в зависимости от случая принимает одно из возможных значениий.
Примеры случайных величин:
- Число родившихся детей в городе Москве
- Количестов людей, которые придут сегодня на ужин
- Расход интернет-траффика школьниками за вечер в байтах
- Время, которое пройдет до следующего дождя
Случайная величина называется дискретной, если множество ее возможных значений конечно или счетно. Под непрерывной будем понимать случайную величину, множество значений которой (бесконечное) есть некоторый интервал (конечный или бесконечной) числовой оси.
Более строгое теоретико-множественное определение:
Определение. Случайной величиной X называется функция, заданная на множестве элементарных исходов. Т.е. $X = f(\omega)$, где $\omega$ - элементарный исход, принадлежащий пространству $\Omega$.
Определение. Законом распределения случайной величины называется всякое соотношение, устанавливающее связь между возможными значениями случайной величины и соответствующими ими вероятностями. Для дискретной случайной величины закон распределения может быть задан в виде таблицы:
| $x_1$ | $x_2$ | ... | $x_n$ |
|---|---|---|---|
| $p_1$ | $p_2$ | ... | $p_n$ |
Замечание: Заметим, что единица "распределена" между $x_1 \dots x_n$ в том смысле, что $\sum_{i=1}^{n}P(X = x_i) = \sum_{i=1}^{n}p_i = 1$
Если соединить точки $(x_i, p_i)$, то получим кривую, которая называется полигоном распределения вероятностей:
Независимые случайные величины¶
Две случайные величины называются независимыми если закон распределения одной из них не меняется от того, какие возможные значения приняла другая случайная величина. Пример. Где случайные величины зависимы, а где - нет?
- X - выигрыш от первого билета в одной лотерее, Y - выигрыш от первого билета в другой лотерее
- X - выиграш от первого билета в лотерее, Y - выигрыш от второго билета
- X - вероятность того, что завтра будет солнечно, Y - вероятность того, что послезватра будет доджливо
- X - вероятность того, что на игральном кубике выпало четное число, Y - вероятность того, что на игральном кубике выпало число кратное 3
Математические операции над случайными величиными:¶
- Произведением kX случайной величины X на константу k называется случайная величина, которая принимает значения $k x_1 \dots k x_n$ с вероятностями $p_1 \dots p_n$.
- m-й степенью $X^m$ случайной велчины Х называется случайная величина, которая принимает значения ${x_1}^m \dots {x_n}^m$ с вероятностями $p_1 \dots p_n$.
Пример. Дана случайная величина X:
| $x_i$ | -2 | 1 | 2 |
|---|---|---|---|
| $p_i$ | 0.5 | 0.3 | 0.2 |
Найти закон распределения случайных величин а) $Y = 3X$ б) $Z = X^2$
- Суммой (разностью или произведением) случайных величин X и Y называется случайная величина, которая принимает все возможные значения вида $x_i + y_i$ ($x_i - y_i$, $x_i y_i$), где $i = 1, \dots, n$, $j = 1, \dots, n$ с вероятностями $p_{ij}$ того, что случайная величина X примет значение $x_i$, а случайная величина $Y$ примет значение $y_j$:
Если случайные величины независимы, то $p_{ij} = P(X = x_i) P(Y = y_j) = p_i p_j$
Задача. Даны случайные величины X и Y:
| $x_i$ | 0 | 2 | 4 |
|---|---|---|---|
| $p_i$ | 0.5 | 0.2 | 0.3 |
| $y_i$ | -2 | 0 | 2 |
|---|---|---|---|
| $p_i$ | 0.1 | 0.6 | 0.3 |
Найти закон распределения случайных величин а) $Z = X - Y$ б) $U = XY$
Ответ:
| $z_i$ | -2 | 0 | 2 | 4 | 6 |
|---|---|---|---|---|---|
| $p_i$ | 0.15 | 0.36 | 0.26 | 0.2 | 0.03 |
| $u_i$ | -8 | -4 | 0 | 4 | 8 |
|---|---|---|---|---|---|
| $p_i$ | 0.03 | 0.02 | 0.80 | 0.06 | 0.09 |
Математическое ожидание случайной величины¶
Задача. Есть два стрелка. И известны законы распределения числа очков, выбиваемых каждым из них:
Вопрос: кто же из них стреляет лучше?
Определение. Математическим ожиданием (или средним значением) M(X) дискретной случайной величины X, принимающей конечное число значений, называют число: $$M(X) = \sum_{i}^{n} x_i p_i $$ Замечание. В английской литературе математическое ожидание, или просто матожидание называется словом expectation и обозначается как E[X].
Вопрос: Чему равно матожидание числа попаданий первого и второго стрелков из примера выше?
Механическая интерпретация: грузики в точках $X_i$ с весами $p_i$ и условием $\sum p_i = 1$. Где будет матожидание?
Замечание 2. Если дискретная величина принимает бесконечное, но счетное множество значений, то МО (матожидание) определяется так: $$M(X) = \sum_{i}^{\infty} x_i p_i $$
Вопрос: Может ли существовать такая дискретная случайная величина у которой матожидание не определено?
Ответ: Оказывается, что может. Например, если X задана так:
| $x_i$ | 2 | 4 | 8 | ... |
|---|---|---|---|---|
| $p_i$ | 1/2 | 1/4 | 1/8 | ... |
То X не имеет математического ожидания, т.к. $\sum\frac{2^i}{2^i}$ равна бесконечности.
Свойства математического ожидания:¶
- $М(C) = C$
- $M(kX) = k M(X)$
- $M(X\pm Y) = M(X)\pm M(Y)$
Доказательство: $M(X\pm Y) = \sum_{i=1}^{n} \sum_{j=1}^{m}(x_i \pm y_j)p_{ij} = \sum_{i=1}^{n} \sum_{j=1}^{m}x_ip_{ij} \pm \sum_{i=1}^{n} \sum_{j=1}^{m}y_jp_{ij} = \sum_{i=1}^{n} x_i \sum_{j=1}^{m}p_{ij} + \sum_{j=1}^{m} y_j \sum_{i=1}^{n}p_{ij} = \sum_{i=1}^n x_i p_i \pm \sum_{j=1}^m y_j p_j = M(X) \pm M(Y)$
- M(XY) = M(X) * M(Y), если X и Y независимы
- $M(X \pm C) = M(X) \pm C$
- $M(X - M(X)) = 0$
... Вернемся к примеру со стрелками. Мы выяснили, что срденее число попаданий у них одинаковое, но вот "разброс" оказывается совершенно разным. Давайте придумаем какую-нибудь меру разброса:
Дисперсией D(X) случайное величины X называется: $D(X) = M(X - a)^2$, где a = $M(X)$.
Замечание 0. В западной литературе дисперсию часто обозначают буквой V от слова variance.
Замечание 1. Выбор именно дисперсии мерой рассеяния обоснован тем, что матожидание квадрата отклонения случайной величины X от некоторой константы $C$ минимально именно тогда, когда эта случайная величина равна М(X). То есть:
$min_C M(X-C)^2 = M(X-a)^2 = D(X)$
Замечание 2. Оказывается, что если взять в качестве меры рассеяния более естественную (на первый взгляд) меру рассеяния $\sum |X_i - a|$, то ее минимизирует другая интересная мера случайной величины - медиана.
Замечание 3. Физической интерпретацией дисперсии является момент инерции: $J_a = \sum_{i}^{n}m_i {r_i}^2$. Момент инерции - очень важная величина в физике, аналогичная массе тела, что показывают следующие формулы:
$ L = J_a \omega$ - момент количества движения (изменяется только под действием внешних сил)
$M = J_a \omega'$ - момент силы равен произведению момента инерции на угловое ускорение
$E_k = \frac{J_a \omega^2}{2}$ - кинетическая энкргия твердого тела, вращающегося вокруг неподвижной оси
где $\omega$ - угловая скорость.
(Подробнее см. например тут https://yunc.org/%D0%9C%D0%BE%D0%BC%D0%B5%D0%BD%D1%82_%D0%B8%D0%BD%D0%B5%D1%80%D1%86%D0%B8%D0%B8)
Определение. Среднеквадратичным отклонением называется корень из дисперсии:
$\sigma_x = \sqrt{D(x)}$
Вопрос: Зачем он нужен вообще? Уже есть дисперсия ведь..
Пример. Возьмем распределение:
| $x_i$ | 0 | 2 | 4 |
|---|---|---|---|
| $p_i$ | 0.5 | 0.2 | 0.3 |
Чему равна дисперсия?
Свойства дисперсии:¶
- $D(C) = 0$
- $D(k X) = k^2 D(X)$ (в ДЗ)
- $D(X) = M(X^2) - [M(X)]^2$
- $D(X \pm Y) = D(X) + D(Y)$ если $X$ и $Y$ - независимы.
Докажем последние два свойства:
Обозначим M(X) за a. Тогда $D(X) = M(x-a)^2 = M(X^2 - 2aX + a^2) = M(X^2) - 2aM(X) + a^2 = M(X^2) - a^2$
Обозначим M(X) за $a_x$, а M(Y) - за $a_y$. Тогда $D(X \pm Y) = M(X^2) \pm 2 a_x a_y + M(Y^2) - {a_x}^2 \mp 2 a_x a_y - {a_y}^2 = [M(X^2) - {a_x}^2] + [M(Y^2) - {a_y}^2] = D(X) + D(Y)$
Замечание. Случайная величина X - случайна, а вот ее числовые характеристики (дисперсия, матожидание, медиана, ...) - нет.
Финансовая интерпретация. Пусть известны возможные доходности какого-нибудь актива (например, акции) за определенный промежуток времени - $x_i$ и соответствующие им вероятности $p_i$ за тот же промежуток времени. Каков тогда смысл матожидания X и дисперсии?
Матожидание - $M(X)$ - средняя (прогнозная) доходность
Стандартное отклонение $\sigma_x = \sqrt{D(X)}$ - мера отклонения, колебаний доходности актива вокру среднего, риск данного актива. Или, выражаясь экономическим языком, волатильность актива.
... вернемся к сюжету о распределении Бернулли и попытаемся понять откуда берутся разные числа в теоремах Муавра-Лаплпса.
Дискретная случайная величина имеет биномиальный закон распределения с параметрами n и p, если она принимает значения $0, \dots , n$ с веротностями:
$P(X = m) = C_{n}^{m} p^m q^{n-m}$
Теорема. Матожидание случайной величины, распределенной по биномиальному закону равно $M(X) = np$, дисперсия равна $D(X) = npq$
Напомним формулировку теоремы Муавра-Лапласа:
Если вероятность p наступления события А в каждом испытании постоянна и отлична от 0 и 1, то и вероятность того, что А произойдет в m из n испытаний при достаточно большом n приближенно равна: \begin{equation} P_{m,n} \approx \frac{f(x)}{\sqrt{npq}} \end{equation} где \begin{equation} f(x) = \frac{1}{\sqrt{2 \pi}} e ^ {-\frac{x^2}{2}} \end{equation} - функция Гаусса
и \begin{equation} x = \frac{m - np}{\sqrt{npq}} \end{equation}
Нормальное распределение как пример распределения непрерывной случайной величины¶
Определение. Непрерывная случайная величина имеет нормальный закон распределения (или распределение Гаусса) с параметрами $a$ и $\sigma^2$, если ее плотность вероятности имеет вид:
$p(x) = \frac{1}{\sigma \sqrt{2 \pi}} e ^ {-\frac{(x-a)^2}{2 \sigma ^2}} $
Чему равны матожидание и дисперсия нормального распределения?
Утверждение. Матожидание случайной величины, заданной плотностью выше, равно $a$, а дисперсия - $\sigma^2$.
График:
Откуда же берется формула нормального распределения? (Объяснение № 2)¶
"По-простому":
Если $X_1, X_2, \dots X_n, \dots$ - независимые одинаково распределенные случайные величины с матожиданием $\mu$ и дисперсией $\sigma^2$, то среднее арифметическое $\frac{X_1 + \dots + X_n}{n}$ является случайной величиной, распределение которой стремится при $n \to \infty$ к нормальному распределению с параметрами $\mu$ и $\sigma / \sqrt{n}$.
Более строгая формулировка:
Замечание 1. Теперь мы можем гораздо лучше понять "смысл" теорем Муавра-Лапласа:
Локальная теорема Муавра-Лапласа Если вероятность p наступления события А в каждом испытании постоянна и отлична от 0 и 1, то и вероятность того, что А произойдет в m из n испытаний при достаточно большом n приближенно равна: \begin{equation} P_{m,n} \approx \frac{f(x)}{\sqrt{npq}} \end{equation} где \begin{equation} f(x) = \frac{1}{\sqrt{2 \pi}} e ^ {-\frac{x^2}{2}} \end{equation} - функция Гаусса
и \begin{equation} x = \frac{m - np}{\sqrt{npq}} \end{equation}
Интегральная теорема Муавра-Лапласа Если вероятность p наступления события A в каждом испытании постоянна и отлична от 0 и 1, то вероятность того, что число m наступления события А в n независимых испытаниях заключена в пределах от a до b (включительно) при достаточно большом n равна: \begin{equation} P_n(a <= m <= b) \approx \frac{1}{2}[F(x_2) - F(x_1)] \end{equation} где \begin{equation} F(x) = \frac{2}{\sqrt{2\pi}}\int_0^x e^{-t^2}dt \end{equation} - функция (или интеграл непрерывностей) Лапласа \begin{equation} x_1 = \frac{a-np}{\sqrt{npq}}, x_2 = \frac{b-np}{\sqrt{npq}} \end{equation}
Замечание 2. Привидем еще одно обоснование того, почему предельное распределение (нормальное распределение) имеет такую "жуткую" формулу:
- Если величины X и Y независимы, то плотность величины Z, равной сумме X и Y считается по формуле свертки:
$f_{Z}(x) = \int_{\infty}^{\infty} f_{X}(y) f_{Y}(x - y)$ https://ru.wikipedia.org/wiki/%D0%A1%D0%B2%D1%91%D1%80%D1%82%D0%BA%D0%B0_(%D0%BC%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7)
- Пусть X - с.в. с параметрами 0 и $\sigma^2$. Посмотрим тогда на выражение $ \frac{1}{\sqrt{n}}(X_1 + \dots + X_{2n}) = \frac{1}{\sqrt{n}}(X_1 + \dots X_n) + \frac{1}{\sqrt{n}}(X_{n+1} + \dots X_{2n})$ как на сумму двух одинаковых распределений с параметрами (почти) 0 и 1, но это выражение также равно $ \sqrt{2} \cdot [\frac{1}{\sqrt{2n}}({X_1 + \dots + X_{2n}})]$. А выражение в квадратных скобках также должно быть случайной величиной, распределение которой должно иметь параметры 0 и 1
Таким образом (с точносью до множителя) предельное распределение должно быть инвариантно относительно свертки! А такое распределение более-менее одно.
- Множитель в функции плотности является нормирующим: $\int \frac{1}{\sqrt{2 \pi}} e^{-x^2 / 2} = 1$
Неравенство Чебышева¶
...еще одно лирическое отсступление: неравенство Чебышева (очень простой, но крутой факт!)
Теорема (неравенство Маркова): Если случайная величина X принимает только неотрицательные значения (!!!), и имеет математическое ожидание, то для любого положительного A будет верно неравенство:
\begin{equation} P(X > A) \le \frac{M(X)}{A} \end{equation}Теорема (неравенство Чебышева). Для любой случайной величины, имеющей матожидание и дисперсию, справедливо неравенство:
\begin{equation} P(|X - a| > \epsilon) \le \frac{D(X)}{\epsilon^2} \end{equation}Замечание: Теперь у нас есть простой, но очень эффективный способ оценивать отклонения от ожидаемого значения!
Пример (правило трех сигм): Оцените вероятнгость того, что отклонение любой случайной величины от ее среднего значения будет не больше, чем $3 \sigma$.