Независимость (теория вероятностей)

В теории вероятностей два случайных события называются независимыми, если наступление одного из них не изменяет вероятность наступления другого. Аналогично, две случайные величины называют независимыми, если известное значение одной из них не дает информации о другой.

Будем считать, что дано фиксированное вероятностное пространство ${\displaystyle (\Omega ,\;{\mathcal {F}},\;\mathbb {P} )}$.

Определение 1. Два события ${\displaystyle A,B\in {\mathcal {F}}}$ независимы, если

появление события ${\displaystyle A}$ не меняет вероятности появления события ${\displaystyle B}$.

Замечание 1. В том случае, если вероятность одного события, скажем ${\displaystyle B}$, ненулевая, то есть ${\displaystyle \mathbb {P} (B)>0}$, определение независимости эквивалентно:

${\displaystyle \mathbb {P} (A\mid B)=\mathbb {P} (A),}$

то есть условная вероятность события ${\displaystyle A}$ при условии ${\displaystyle B}$ равна безусловной вероятности события ${\displaystyle A}$.

Определение 2. Пусть есть семейство (конечное или бесконечное) случайных событий ${\displaystyle \{A_{i}\}_{i\in I}\subset {\mathcal {F}}}$, где ${\displaystyle I}$ — произвольное индексное множество. Тогда эти события попарно независимы, если любые два события из этого семейства независимы, то есть

${\displaystyle \mathbb {P} (A_{i}\cap A_{j})=\mathbb {P} (A_{i})\cdot \mathbb {P} (A_{j}),\;\forall i\neq j.}$

Определение 3. Пусть есть семейство (конечное или бесконечное) случайных событий ${\displaystyle \{A_{i}\}_{i\in I}\subset {\mathcal {F}}}$. Тогда эти события совместно независимы, если для любого конечного набора этих событий ${\displaystyle \{A_{i_{k}}\}_{k=1}^{N}}$ верно:

${\displaystyle \mathbb {P} (A_{i_{1}}\cap \ldots \cap A_{i_{N}})=\mathbb {P} (A_{i_{1}})\cdot \ldots \cdot \mathbb {P} (A_{i_{N}}).}$

Замечание 2. Совместная независимость, очевидно, влечет попарную независимость. Обратное, вообще говоря, неверно.

Пример 1. Пусть брошены три уравновешенные монеты. Определим события следующим образом:

• ${\displaystyle A_{1}}$: монеты 1 и 2 упали одной и той же стороной;
• ${\displaystyle A_{2}}$: монеты 2 и 3 упали одной и той же стороной;
• ${\displaystyle A_{3}}$: монеты 1 и 3 упали одной и той же стороной;

Легко проверить, что любые два события из этого набора независимы. Все же три в совокупности зависимы, ибо зная, например, что события ${\displaystyle A_{1}}$ и ${\displaystyle A_{2}}$ произошли, мы знаем точно, что ${\displaystyle A_{3}}$ также произошло. Более формально: ${\displaystyle \mathbb {P} (A_{i}\cap A_{j})={\frac {1}{4}}={\frac {1}{2}}\cdot {\frac {1}{2}}=\mathbb {P} (A_{i})\cdot \mathbb {P} (A_{j})\quad \forall i\neq j}$. С другой стороны, ${\displaystyle \mathbb {P} (A_{1}\cap A_{2}\cap A_{3})={\frac {1}{4}}\neq {\frac {1}{2}}\cdot {\frac {1}{2}}\cdot {\frac {1}{2}}=\mathbb {P} (A_{1})\cdot \mathbb {P} (A_{2})\cdot \mathbb {P} (A_{3})}$.

Определение 4. Пусть ${\displaystyle {\mathcal {A}}_{1},\;{\mathcal {A}}_{2}\subset {\mathcal {F}}}$ две сигма-алгебры на одном и том же вероятностном пространстве. Они называются независимыми, если любые их представители независимы между собой, то есть:

${\displaystyle \mathbb {P} (A_{1}\cap A_{2})=\mathbb {P} (A_{1})\cdot \mathbb {P} (A_{2}),\;\forall A_{1}\in {\mathcal {A}}_{1},\;A_{2}\in {\mathcal {A}}_{2}}$.

Если вместо двух имеется целое семейство (возможно бесконечное) сигма-алгебр, то для него определяется попарная и совместная независимость очевидным образом.

Определение 5. Пусть дано семейство случайных величин ${\displaystyle (X_{i})_{i\in I}}$, так что ${\displaystyle X_{i}\colon \Omega \to \mathbb {R} ,\;\forall i\in I}$. Тогда эти случайные величины попарно независимы, если попарно независимы порождённые ими сигма-алгебры ${\displaystyle \{\sigma (X_{i})\}_{i\in I}}$. Случайные величины независимы в совокупности, если таковы порождённые ими сигма-алгебры.

Следует отметить, что на практике, если это не выводится из контекста, считается, что независимость означает независимость в совокупности.

Определение, данное выше, эквивалентно любому другому из нижеперечисленных. Две случайные величины ${\displaystyle X,\;Y}$ независимы тогда и только тогда, когда:

• Для любых ${\displaystyle A,\;B\in {\mathcal {B}}(\mathbb {R} )}$:

${\displaystyle \mathbb {P} (X\in A,\;Y\in B)=\mathbb {P} (X\in A)\cdot \mathbb {P} (Y\in B)=\mathbb {P} (\left\{\omega :X(\omega )\in A,~\omega \in \Omega \right\})\cdot \mathbb {P} (\left\{\omega :Y(\omega )\in B,~\omega \in \Omega \right\}).}$

• Для любых борелевских функций ${\displaystyle f,\;g\colon \mathbb {R} \to \mathbb {R} }$ случайные величины ${\displaystyle f(X),\;g(Y)}$ независимы.
• Для любых ограниченных борелевских функций ${\displaystyle f,\;g\colon \mathbb {R} \to \mathbb {R} }$:

${\displaystyle \mathbb {E} \left[f(X)g(Y)\right]=\mathbb {E} \left[f(X)\right]\cdot \mathbb {E} \left[g(Y)\right].}$

• Пусть ${\displaystyle \mathbb {P} ^{X,\;Y}}$ — распределение случайного вектора ${\displaystyle (X,\;Y)}$, ${\displaystyle \mathbb {P} ^{X}}$ — распределение ${\displaystyle X}$ и ${\displaystyle \mathbb {P} ^{Y}}$ — распределение ${\displaystyle Y}$. Тогда ${\displaystyle X,\;Y}$ независимы тогда и только тогда, когда

${\displaystyle \mathbb {P} ^{X,\;Y}=\mathbb {P} ^{X}\otimes \mathbb {P} ^{Y},}$

где ${\displaystyle \otimes }$ обозначает (прямое) произведение мер.

• Пусть ${\displaystyle F_{X,\;Y},\;F_{X},\;F_{Y}}$ — кумулятивные функции распределения ${\displaystyle (X,\;Y),\;X,\;Y}$ соответственно. Тогда ${\displaystyle X,\;Y}$ независимы тогда и только тогда, когда

${\displaystyle F_{X,\;Y}(x,\;y)=F_{X}(x)\cdot F_{Y}(y).}$

• Пусть случайные величины ${\displaystyle X,\;Y}$ дискретны. Тогда они независимы тогда и только тогда, когда

${\displaystyle \mathbb {P} (X=i,\;Y=j)=\mathbb {P} (X=i)\cdot \mathbb {P} (Y=j).}$

• Пусть случайные величины ${\displaystyle X,\;Y}$ совместно абсолютно непрерывны, то есть их совместное распределение имеет плотность ${\displaystyle f_{X,\;Y}(x,\;y)}$. Тогда они независимы ��огда и только тогда, когда

${\displaystyle f_{X,\;Y}(x,\;y)=f_{X}(x)\cdot f_{Y}(y),\;\forall (x,\;y)\in \mathbb {R} ^{2}}$,

где ${\displaystyle f_{X}(x),\;f_{Y}(y)}$ — плотности случайных величин ${\displaystyle X}$ и ${\displaystyle Y}$ соответственно.

• Пусть случайные величины ${\displaystyle X,\;Y}$ — независимы и обладают конечной дисперсией. Тогда они не являются коррелированными.
• Любой набор независимых в совокупности случайных величин является попарно независимым, но не все попарно независимые наборы являются независимыми в совокупности. Последнее демонстрирует пример с подбрасыванием монетки, приведённый С. Н. Бернштейном.

В общем случае для любого ${\displaystyle n\geqslant 2}$ можно говорить о ${\displaystyle n}$-арной независимости. Идея схожа: семейство случайных величин является ${\displaystyle n}$-арно независимым, если любое его подмножество мощности ${\displaystyle n}$ является независимым в совокупности. ${\displaystyle n}$-арная независимость использовалась в теоретической информатике для доказательства теоремы о задаче MAXEkSAT.

• Произведение мер
• Теорема Тонелли — Фубини
• Лемма Бореля — Кантелли
• Закон нуля или единицы Колмогорова
• Копула

• Russell, Stuart. Artificial Intelligence: A Modern Approach / Stuart Russell, Peter Norvig. — Prentice Hall, 2002. — P. 478. — ISBN 0-13-790395-2.

В статье не хватает ссылок на источники (см. рекомендации по поиску). Информация должна быть проверяема, иначе она может быть удалена. Вы можете отредактировать статью, добавив ссылки на авторитетные источники в виде сносок. (14 мая 2011)