Анализ независимых компонент

Анализ независимых компонент пытается разложить множественный сигнал на независимые негауссовые сигналы. Например звук обычно является сигналом, который состоит из сложения в каждый момент одиночных t-сигналов, идущих из нескольких источников. Вопрос заключается в том, возможно ли разделить эти источники, выделяя их из общего сигнала. Если допущение статистической независимости верно, слепое разделение независимых компонент смешанного сигнала даст очень хорошие результаты. Метод также применяется для анализа сигналов, которые могут быть и не смешанными.

Простым приложением АНК является «задача о шумной вечеринке», когда собеседники слышат друг друга, выделяя голос собеседника из общего сигнала, состоящего из шума одновременно говорящих людей в помещении и шумной улицы за окном. Обычно задача упрощается предположением, что задержка по времени или эхо отсутствуют. Заметим, что отфильтрованный и задержанный сигнал является копией зависимой компоненты, и тогда допущение статистической независимости не нарушено.

Важно также учитывать, что если представлено ${\textstyle N}$  источников, нужно по меньшей мере ${\textstyle N}$  наблюдений (например микрофонов, если наблюдаемый сигнал — аудио), чтобы обнаружить исходные сигналы. В этом случае матрица квадратна (${\textstyle J=D}$  , где ${\textstyle D}$  входная размерность данных, а ${\textstyle J}$  — размерность модели). Иначе получаем и исследуем недоопределённый (${\textstyle J>D}$ ) или переопределённый (${\textstyle J<D}$ ) случай.

Метод АНК — разделение смешанных сигналов, базируется на двух допущениях и трёх эффектах источников смешанного сигнала, что даёт очень хорошие результаты. Двумя допущениями являются:

1. Источники сигналов независимы друг от друга.
2. Значения каждого источника сигнала имеют негауссово распределение.

Тремя эффектами источника смешанного сигнала являются:

1. Независимость: как в и допущении 1, источники сигналов независимы, однако их смесь не является независимой от источников, потому что смесь сигналов имеет одни и те же источники.
2. Нормальность: согласно центральной предельной теореме, распределение суммы независимых случайных переменных с конечной дисперсией стремится к гауссовому распределению. Попросту говоря, сумма двух независимых случайных переменных обычно имеет распределение более близкое к гауссовому, чем любое из двух исходных случайных переменных. Здесь мы рассматриваем каждый сигнал как случайную переменную.
3. Сложность: временна́я сложность любой смеси сигналов больше, чем сложность одного сигнала, более простого по его составляющим.

Эти принципы составляют базовые основы АНК. Если сигналы, которые нам удалось извлечь из смеси, независимы, подобно исходным сигналам, и имеют негауссовые гистограммы или имеют малую сложность, подобную сигналу источников, они должны быть сигналами источников^[2][3].

АНК находит независимые компоненты (которые называются факторами, скрытыми переменными или источниками) путём максимизации статистической независимости оцениваемых компонент. Можно выбрать один из многих путей для определения заменителя независимости, и этот выбор определит форму алгоритма АНК. Два наиболее широких определения независимости АНК:

1. Минимизация взаимной информации
2. Максимизация негауссовости

Семейство алгоритмов АНК с минимизацией взаимной информации (англ. Minimization-of-Mutual information, MMI) использует такие меры, как расхождение Кульбака — Лейблера и максимальная энтропия. Семейство алгоритмов АНК с максимизацией негауссовости использует коэффициент эксцесса и негэнтропию.

Типичным алгоритмам АНК свойственно использование следующих методов:

• центрирование (вычитание среднего и создание нулевого среднего для сигнала);
• избавление от корреляции^[англ.] (обычно с помощью спектрального разложения матрицы);
• снижение размерности в качестве препроцессорных шагов для снижения сложности проблемы и создания действительного итеративного алгоритма.

Декорреляция и снижение размерности могут быть получены методом главных компонент или сингулярным разложением. Декорреляция обеспечивает методу такие условия, когда все размерности трактуются одинаково и установлены априори до прогона алгоритма. Хорошо известные алгоритмы для АНК: infomax^[англ.], FastICA^[англ.], JADE^[англ.], ядерный независимый компонентный анализ^[англ.] и многие другие. В общем случае АНК не сможет определить действительное число источников сигналов, единственно правильный порядок или масштаб (включая знак) сигналов.

АНК важен для слепого разделения сигнала и имеет много практических приложений. Метод тесно связан с поиском (или даже является частным случаем поиска) факториального кодирования^[англ.] данных, то есть нового векторного представления каждого вектора данных таким образом, чтобы он был однозначно закодирован результирующим кодовым вектором (кодирование без потерь), при этом компоненты кода статистически независимы.

Линейный анализ независимых компонент может быть разделён на случай без шумов и случай с шумами, где АНК без шумов является частым случаем АНК с шумом. Нелинейный АНК следует считать отдельным случаем.

Данные представлены наблюдаемым случайным вектором ${\displaystyle {\boldsymbol {x}}=(x_{1},\ldots ,x_{m})^{T}}$ , а скрытые компоненты случайным вектором ${\displaystyle {\boldsymbol {s}}=(s_{1},\ldots ,s_{n})^{T}}$ . Задачей построения алгоритма является преобразование наблюдаемых данных ${\displaystyle {\boldsymbol {x}}}$  с помощью статического преобразования ${\displaystyle {\boldsymbol {W}}}$  в наблюдаемый вектор максимально независимых компонент ${\displaystyle {\boldsymbol {s}}={\boldsymbol {W}}{\boldsymbol {x}}}$ , измеренных некоторой функцией независимости ${\displaystyle F(s_{1},\ldots ,s_{n})}$ .

Компоненты ${\displaystyle x_{i}}$  наблюдаемого случайного вектора ${\displaystyle {\boldsymbol {x}}=(x_{1},\ldots ,x_{m})^{T}}$  генерируются как сумма независимых компонент ${\displaystyle s_{k}}$ , ${\displaystyle k=1,\ldots ,n}$ :

${\displaystyle x_{i}=a_{i,1}s_{1}+\cdots +a_{i,k}s_{k}+\cdots +a_{i,n}s_{n}}$ 

взвешенных весами ${\displaystyle a_{i,k}}$ .

Та же генерирующая модель может быть записана в векторном виде как ${\displaystyle {\boldsymbol {x}}=\sum _{k=1}^{n}{\boldsymbol {s}}_{k}{\boldsymbol {a}}_{k}}$ , где наблюдаемый случайный вектор ${\displaystyle x}$  представлен базисными векторами ${\displaystyle {\boldsymbol {a}}_{k}=({\boldsymbol {a}}_{1,k},\ldots ,{\boldsymbol {a}}_{m,k})^{T}}$ . Базисные вектора ${\displaystyle {\boldsymbol {a}}_{k}}$  образуют столбцы матрицы смешивания ${\displaystyle {\boldsymbol {A}}=({\boldsymbol {a}}_{1},\ldots ,{\boldsymbol {a}}_{n})}$  и генерирующая формула может быть записана как ${\displaystyle {\boldsymbol {x}}={\boldsymbol {A}}{\boldsymbol {s}}}$ , где ${\displaystyle {\boldsymbol {s}}=(s_{1},\ldots ,s_{n})^{T}}$ .

Если дана модель и реализации ${\displaystyle x_{1},\ldots ,x_{N}}$  случайного вектора ${\displaystyle {\boldsymbol {x}}}$ , задачей является оценка как матрицы смешивания ${\displaystyle {\boldsymbol {A}}}$ , так и источников ${\displaystyle {\boldsymbol {s}}}$ . Это делается путём адаптивного вычисления векторов ${\displaystyle {\boldsymbol {w}}}$  и установления функции цены, которая либо максимизирует негауссовость вычисленного ${\displaystyle s_{k}={\boldsymbol {w}}^{T}{\boldsymbol {x}}}$  или минимизирует взаимную информацию. В некоторых случаях априорное знание распределения вероятности источников может быть использовано в функции цены.

Исходные источники ${\displaystyle {\boldsymbol {s}}}$  могут быть извлечены путём умножения наблюдаемых сигналов ${\displaystyle {\boldsymbol {x}}}$  на обратную к матрице смешивания ${\displaystyle {\boldsymbol {W}}={\boldsymbol {A}}^{-1}}$ , которая известна также как не смешивающая матрица. Здесь предполагается, что матрица смешивания квадратная (${\displaystyle n=m}$ ). Если число базисных векторов больше размерности наблюдаемых векторов ${\displaystyle n>m}$ , задача является переопределённой, но остаётся разрешимой с помощью псевдообратной матрицы.

С добавочным предположением о нулевом среднем и не коррелирующим гауссовым шумом ${\displaystyle n\sim N(0,\operatorname {diag} (\Sigma ))}$ , модель АНК принимает форму ${\displaystyle {\boldsymbol {x}}={\boldsymbol {A}}{\boldsymbol {s}}+n}$ .

Смесь источников не обязательно должна быть линейной. Используя нелинейную функцию смешивания ${\displaystyle f(\cdot |\theta )}$  с параметрами ${\displaystyle \theta }$  нелинейной моделью АНК будет ${\displaystyle x=f(s|\theta )+n}$ .

Независимые компоненты различимы с точностью до перестановки и масштабирования источников. Эта различимость требует, чтобы:

• Максимум один из источников ${\displaystyle s_{k}}$  был гауссовым,
• Число наблюдаемых смесей ${\displaystyle m}$  должно быть не меньше числа компонент ${\displaystyle n}$ : ${\displaystyle m\geqslant n}$ . Это эквивалентно высказыванию, что матрица смеси ${\displaystyle {\boldsymbol {A}}}$  должна иметь полный ранг, чтобы существовала обратная ей смесь.

Специальным вариантом АНК является Бинарный АНК, в котором как источники сигнала, так и мониторы имеют двоичную форму, а наблюдения от мониторов являются дизъюнктивной смесью бинарных независимых источников. Задача, как было показано, имеет приложения во многих областях, включая медицинскую диагностику, многокластерное назначение, сетевую томографию^[англ.] и управление ресурсами интернета.

Пусть ${\displaystyle {x_{1},x_{2},\ldots ,x_{m}}}$  является набором бинарных переменных из ${\displaystyle m}$  мониторов и ${\displaystyle {y_{1},y_{2},\ldots ,y_{n}}}$  является набором бинарных переменных из ${\displaystyle n}$  источников. Связи источник-монитор представлены (неизвестной) смешанной матрицей ${\textstyle {\boldsymbol {G}}}$ , где ${\displaystyle g_{ij}=1}$  указывает, что сигнал от i-го источника может наблюдаться j-м монитором. Система работает следующим образом: в любое время, если источник ${\displaystyle i}$  активен (${\displaystyle y_{i}=1}$ ) и он связан с монитором ${\displaystyle j}$  (${\displaystyle g_{ij}=1}$ ), то монитор ${\displaystyle j}$  будет наблюдать некоторую активность (${\displaystyle x_{j}=1}$ ). Формально мы имеем:

${\displaystyle x_{i}=\bigvee _{j=1}^{n}(g_{ij}\wedge y_{j}),i=1,2,\ldots ,m,}$ 

где ${\displaystyle \wedge }$  является булевым И (англ. AND), а ${\displaystyle \vee }$  является булевым ИЛИ (англ. OR). Заметим, что шум не моделируется явно, а трактуется как независимые источники.

Описанная выше проблема может быть эвристически решена^[4] (при предположении, что переменные непрерывны) путём применения метода FastICA^[англ.] на бинарных наблюдаемых данных для получения смешанной матрицы ${\textstyle {\boldsymbol {G}}}$  (получены вещественные значения), затем применяем технику округления на ${\textstyle {\boldsymbol {G}}}$  для получения бинарных значений. Этот подход, как было показано, даёт крайне неточный результат.

Другим методом является использование динамического программирования — матрица рекурсивно разбивает наблюдения ${\textstyle {\boldsymbol {X}}}$  на подматрицы и алгоритм вывода прогоняется на этих подматрицах. Ключевое наблюдение, которое ведёт к этому алгоритму: подматрица ${\textstyle {\boldsymbol {X}}^{0}}$  матрицы ${\textstyle {\boldsymbol {X}}}$ , где ${\textstyle x_{ij}=0\forall j}$  соответствует несмещённой матрице наблюдений скрытых компонент, которые не имеют связи с ${\displaystyle i}$ -м монитором. Результаты экспериментов^[5] показывают, что этот подход точен при умеренном уровне шумов.

Аппарат обобщённой бинарной АНК^[6] вводит более широкое описание проблемы, которое не требует какого-либо знания о порождающей модели. Другими словами, этот метод пытается разложить источник на независимые компоненты (на столько, насколько возможно создать алгоритм без потери какой-либо информации) без предварительных допущений применения способа, при помощи которого он был получен. Хотя эта задача достаточно сложна, она может быть точно решена с помощью метода ветвей и границ или точно ограничена сверху умножением матрицы на вектор.

Смеси сигналов имеют тенденцию к получению гауссовой плотности вероятности, а сигналы источников имеют тенденцию к негауссовой плотности вероятности. Каждый источник сигнала может быть выделен из набора смесей сигналов путём вычисления скалярного произведения вектора весов и той смеси сигналов, на которой это скалярное произведение даёт ортогональную проекцию смеси сигналов. Следующая задача заключается в нахождении вектора весов. Один из методов — поиск наилучшей проекции^[2][7].

Поиск наилучшей проекции ищет одну проекцию за шаг, при условии, что выделенный сигнал будет настолько негауссовым, насколько это возможно. Это контрастирует с АНК, который обычно выделяет M сигналов одновременно из M смесей сигналов, что требует оценки ${\displaystyle M\times M}$  несмешивающей матрицы. Одним из практических преимуществ поиска наилучшей проекции над АНК является то, что может выделяться менее M сигналов, если требуется, где каждый источник сигнала выделяется из смеси M сигналов используя M-элементный вектор весов.

Мы можем использовать коэффициент эксцесса для извлечения сигнала с несколькими источниками путём нахождения правильных векторов весов с использованием поиска наилучшей проекции.

Коэффициент эксцесса плотности вероятности сигнала, для конечной выборки вычисляется как

${\displaystyle K={\frac {\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{4}]}{(\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{2}])^{2}}}-3}$ 

где ${\displaystyle \mathbf {\overline {y}} }$  является выборочным средним ${\displaystyle \mathbf {y} }$  выделенных сигналов. Константа 3 обеспечивает, чтобы гауссовы сигналы имели нулевой коэффициент эксцесса, супергауссовы сигналы имели положительный коэффициент эксцесса, а субгауссовы сигналы имели отрицательный коэффициент эксцесса. Знаменатель равен дисперсии ${\displaystyle \mathbf {y} }$  и он обеспечивает, чтобы измеренный коэффициент эксцесса получал дисперсию сигнала. Целью поиска наилучшей проекции является максимизация коэффициента эксцесса и сделать выделенный сигнал настолько ненормальным, насколько возмо��но.

Используя коэффициент эксцесса как меру ненормальности мы можем теперь проверить насколько коэффициент эксцесса сигнала ${\displaystyle \mathbf {y} =\mathbf {w} ^{T}\mathbf {x} }$ , извлечённого из набора M смесей ${\displaystyle \mathbf {x} =(x_{1},x_{2},\ldots ,x_{M})^{T}}$ , изменяется по мере того, как вектор весов ${\displaystyle \mathbf {w} }$  вращается вокруг начала координат. Если задано, что каждый источник сигнала ${\displaystyle \mathbf {s} }$  является супергауссовым, мы можем ожидать

1. коэффициент эксцесса извлечённого сигнала ${\displaystyle \mathbf {y} }$  максимален в точности тогда, когда ${\displaystyle \mathbf {y} =\mathbf {s} }$ .
2. коэффициент эксцесса извлечённого сигнала ${\displaystyle \mathbf {y} }$  максимален, когда ${\displaystyle \mathbf {w} }$  ортогонален проекциям осей ${\displaystyle S_{1}}$  или ${\displaystyle S_{2}}$ , поскольку мы знаем, что вектор оптимального веса должен быть ортогонален преобразованным осям ${\displaystyle S_{1}}$  и ${\displaystyle S_{2}}$ .

Для смеси сигналов от разных источников мы можем использовать коэффициент эксцесса ортогонализации Грама ― Шмидта (ОГШ) для извлечения сигналов. Если дана смесь M сигналов в M-мерном пространстве, ОГШ проектирует эти точки данных в (M-1)-мерное пространство с помощью вектора весов. Мы можем гарантировать независимость выделенных сигналов с помощью ОГШ.

С целью поиска правильного значения ${\displaystyle \mathbf {w} }$  мы можем использовать метод градиентного спуска. Прежде всего, мы избавляемся от корреляции и преобразуем ${\displaystyle \mathbf {x} }$  в новую смесь ${\displaystyle \mathbf {z} }$ , которая имеет единичную дисперсию и ${\displaystyle \mathbf {z} =(z_{1},z_{2},\ldots ,z_{M})^{T}}$ . Этот процесс может быть выполнен путём применения сингулярного разложения к ${\displaystyle \mathbf {x} }$ ,

${\displaystyle \mathbf {x} =\mathbf {U} \mathbf {D} \mathbf {V} ^{T}}$ 

Масштабируем каждый вектор ${\displaystyle U_{i}=U_{i}/\operatorname {E} (U_{i}^{2})}$  и положим ${\displaystyle \mathbf {z} =\mathbf {U} }$ . Сигнал, выделенный взвешенным вектором ${\displaystyle \mathbf {w} }$ , равен ${\displaystyle \mathbf {y} =\mathbf {w} ^{T}\mathbf {z} }$ . Если вектор весов w имеет единичную длину, то есть ${\displaystyle \operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{2}]=1}$ , тогда коэффициент эксцесса можно переписать как:

${\displaystyle K={\frac {\operatorname {E} [\mathbf {y} ^{4}]}{(\operatorname {E} [\mathbf {y} ^{2}])^{2}}}-3=\operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{4}]-3.}$ 

Процесс обновления для ${\displaystyle \mathbf {w} }$ :

${\displaystyle \mathbf {w} _{new}=\mathbf {w} _{old}-\eta \operatorname {E} [\mathbf {z} (\mathbf {w} _{old}^{T}\mathbf {z} )^{3}].}$ 

где ${\displaystyle \eta }$  является малой константой для гарантирования, что ${\displaystyle \mathbf {w} }$  сходится к оптимальному решению. После каждого обновления мы нормализуем ${\displaystyle \mathbf {w} _{new}={\frac {\mathbf {w} _{new}}{|\mathbf {w} _{new}|}}}$  и множество ${\displaystyle \mathbf {w} _{old}=\mathbf {w} _{new}}$  и повторяем процесс обновления пока он не сойдётся. Мы можем использовать также другой алгоритм для обновления вектора весов ${\displaystyle \mathbf {w} }$ .

Другим подходом является использование негэнтропии^[8] вместо коэффициента эксцесса. Негэнтропия является устойчивым методом по отношению коэффициента эксцесса, поскольку коэффициент эксцесса очень чувствителен к выбросам. Метод негэнтропии основывается на важном свойстве распределения Гаусса — нормальная случайная величина имеет наибольшую энтропию среди всех непрерывных случайных переменных с одинаковой дисперсией. Это также является причиной, почему мы хотим найти наиболее негауссовые переменные. Простое доказательство можно найти в статье дифференциальной энтропии.

${\displaystyle J(x)=S(y)-S(x)\,}$ 

y являются гауссовой случайной переменной некоторой ковариантной матрицы,

${\displaystyle S(x)=-\int p_{x}(u)\log p_{x}(u)du}$ 

Аппроксимация для негэнтропии равна

${\displaystyle J(x)={\frac {1}{12}}(E(x^{3}))^{2}+{\frac {1}{48}}(kurt(x))^{2}}$ 

Доказательство можно найти на странице 131 книги «Анализ независимых компонент», которую написали Аапо Хювяринен, Юха Кархунен и Эркки Ойя^[3]. Эта аппроксимация также страдает теми же проблемами, что и коэффициент эксцесса (чувствительность к выбросам). Разрабатывались и другие подходы^[9]

${\displaystyle J(y)=k_{1}(E(G_{1}(y)))^{2}+k_{2}(E(G_{2}(y))-E(G_{2}(v))^{2}}$ 

Выбор ${\displaystyle G_{1}}$  и ${\displaystyle G_{2}}$ 

${\displaystyle G_{1}={\frac {1}{a_{1}}}\log(\cosh(a_{1}u))}$  и ${\displaystyle G_{2}=-\exp(-{\frac {u^{2}}{2}})}$ 

АНК, по существу, является многомерной параллельной версией поиска наилучшей проекции. В то время как поиск наилучшей проекции выделяет серию сигналов по одному из смеси M сигналов, АНК выделяет M сигналов параллельно. Это приводит к большей устойчивости АНК по сравнению с поиском наилучшей проекции^[2].

Метод поиска наилучшей проекции, чтобы обеспечить независимость выделяемых сигналов, использует ортогонализацию Грама ― Шмидта, в то время как АНК использует метод infomax^[англ.] и оценку максимального правдоподобия для обеспечения независимости выделяемого сигнала. Ненормальность выделяемого сигнала достигается с помощью соответствующей модели.

Процесс АНК, основанный на infomax^[англ.], коротко: если дана смесь сигналов ${\displaystyle \mathbf {x} }$  и набор одинаковых независимых функций распределения ${\displaystyle g}$ , мы ищем несмешивающую матрицу ${\displaystyle \mathbf {W} }$ , которая максимизирует совместную энтропию сигналов ${\displaystyle \mathbf {Y} =g(\mathbf {y} )}$ , где ${\displaystyle \mathbf {y} =\mathbf {Wx} }$  являются сигналами, отобранными по ${\displaystyle \mathbf {W} }$ . Если дана оптимальная ${\displaystyle \mathbf {W} }$ , сигналы ${\displaystyle \mathbf {Y} }$  имеют максимальную энтропию и, потому, независимы, что гарантирует, что выделенные сигналы ${\displaystyle \mathbf {y} =g^{-1}(\mathbf {Y} )}$  также независимы. Функция ${\displaystyle g}$  обратима и является моделью сигнала. Заметим, что если плотность вероятности модели источника сигнала ${\displaystyle p_{s}}$  соответствует плотности вероятности выделенного сигнала ${\displaystyle p_{\mathbf {y} }}$ , то максимизация совместной энтропии ${\displaystyle Y}$  также максимизирует количество взаимной информации между ${\displaystyle \mathbf {x} }$  и ${\displaystyle \mathbf {Y} }$ . По этой причине, использование энтропии для выделения независимых сигналов известно как infomax^[англ.].

Рассмотрим энтропию векторной переменной ${\displaystyle \mathbf {Y} =g(\mathbf {y} )}$ , где ${\displaystyle \mathbf {y} =\mathbf {Wx} }$  является набором сигналов, выделенных несмешивающей матрицей ${\displaystyle \mathbf {W} }$ . Для конечного набора значений, выбранных из распределения с плотностью вероятности ${\displaystyle p_{\mathbf {y} }}$ , энтропия ${\displaystyle \mathbf {Y} }$  может быть оценена как:

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {Y} }(\mathbf {Y} ^{t})}$ 

Совместная плотность вероятности ${\displaystyle p_{\mathbf {Y} }}$ , как можно показать, связана с совместной плотностью вероятности ${\displaystyle p_{\mathbf {y} }}$  извлечённых сигналов с помощью многомерной формы:

${\displaystyle p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}}$ 

где ${\displaystyle \mathbf {J} ={\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}}$  является матрицей Якоби. Мы имеем ${\displaystyle |\mathbf {J} |=g'(\mathbf {y} )}$ , и ${\displaystyle g'}$  является плотностью вероятности, принятых для источников сигналов ${\displaystyle g'=p_{s}}$ , поэтому,

${\displaystyle p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}={\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}}$ 

поэтому,

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}}$ 

Мы знаем, что когда ${\displaystyle p_{\mathbf {y} }=p_{s}}$ , ${\displaystyle p_{\mathbf {Y} }}$  является однородным распределением, а ${\displaystyle H({\mathbf {Y} })}$  максимизирована. Поскольку

${\displaystyle p_{\mathbf {y} }(\mathbf {y} )={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}|}}={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|\mathbf {W} |}}}$ 

где ${\displaystyle |\mathbf {W} |}$  является абсолютным значением определителя несмешивающей матрицы ${\displaystyle \mathbf {W} }$ . Поэтому,

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {x} }(\mathbf {x} ^{t})}{|\mathbf {W} |p_{\mathbf {s} }(\mathbf {y} ^{t})}}}$ 

так что,

${\displaystyle H(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |+H(\mathbf {x} )}$ 

поскольку ${\displaystyle H(\mathbf {x} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {x} }(\mathbf {x} ^{t})}$ , и максимизация ${\displaystyle \mathbf {W} }$  не влияет на ${\displaystyle H_{\mathbf {x} }}$ , мы можем максимизировать функцию

${\displaystyle h(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |}$ 

чтобы получить независимость извлечённого сигнала.

Если имеется M маргинальных плотностей вероятности модели, совместные плотности вероятности ${\displaystyle p_{\mathbf {s} }}$  независимы и используют супергауссову модель плотности вероятности для источников сигналов ${\displaystyle p_{\mathbf {s} }=(1-\tanh(\mathbf {s} )^{2})}$ , то мы получаем

${\displaystyle h(\mathbf {Y} )={\frac {1}{N}}\sum _{i=1}^{M}\sum _{t=1}^{N}\ln(1-\tanh(\mathbf {w_{i}^{T}x^{t}} )^{2})+\ln |\mathbf {W} |}$ 

В сумме, если задана наблюдаемая смесь сигнала ${\displaystyle \mathbf {x} }$ , соответствующий набор извлечённых сигналов ${\displaystyle \mathbf {y} }$  и модель источника сигнала ${\displaystyle p_{\mathbf {s} }=g'}$ , мы можем найти оптимальную несмешивающую матрицу ${\displaystyle \mathbf {W} }$  и сделать извлечённые сигналы независимыми и негауссовыми. Подобно ситуации с поиском наилучшей проекции, мы можем использовать метод градиентного спуска для поиска оптимального решения несмешивающей матрицы.

Оценка максимального правдоподобия (англ. Maximum likelihood estimation, MLE) является стандартным статистическим средством для нахождения значений параметров (например, несмешивающей матрицы ${\displaystyle \mathbf {W} }$ ), которые обеспечивают лучшее соответствие некоторых данных (например, извлечённых сигналов ${\displaystyle y}$ ) для данной модели (например, совместной плотности вероятности (ПВ) ${\displaystyle p_{s}}$  источников сигналов)^[2].

Модель максимального правдоподобия включает спецификацию плотности вероятности, которая в этом случае является плотностью вероятности ${\displaystyle p_{s}}$  сигналов неизвестного источника ${\displaystyle s}$ . При использовании максимального правдоподобия целью является нахождение несмешивающей матрицы, которая даёт извлечённые сигналы ${\displaystyle y=\mathbf {W} x}$  с совместной плотностью вероятности, которые максимально подобны совместной плотностью вероятности ${\displaystyle p_{s}}$  сигналов неизвестного источника ${\displaystyle s}$ .

Оценка максимального правдоподобия основывается на предположении, что если модель плотности вероятности ${\displaystyle p_{s}}$  и модель параметров ${\displaystyle \mathbf {A} }$  правильны, то должна быть получена высокая вероятность для ${\displaystyle x}$ , что эти данные действительно наблюдаемы. Обратно, если ${\displaystyle \mathbf {A} }$  далёк от верных значений параметров, то следует ожидать низкую вероятность наблюдения данных.

При оценке максимального правдоподобия мы называем вероятность наблюдаемых данных для данного набора значений параметров модели (например, плотности вероятности ${\displaystyle p_{s}}$  и матрицы ${\displaystyle \mathbf {A} }$ ) правдоподобностью значений параметров модели, заданной наблюдаемыми данными.

Мы определяем функцию правдоподобия ${\displaystyle \mathbf {L(W)} }$  матрицы ${\displaystyle \mathbf {W} }$ :

${\displaystyle \mathbf {L(W)} =p_{s}(\mathbf {W} x)|\det \mathbf {W} |.}$ 

Это равно плотности вероятности в ${\displaystyle x}$ , поскольку ${\displaystyle s=\mathbf {W} x}$ .

Тогда, если мы хотим найти ${\displaystyle \mathbf {W} }$ , то наиболее вероятно иметь сгенерированные наблюдаемые смеси ${\displaystyle x}$  из неизвестных источников сигналов ${\displaystyle s}$  с плотностью вероятности ${\displaystyle p_{s}}$ , то нам нужно лишь найти ${\displaystyle \mathbf {W} }$ , которая максимизирует правдоподобность ${\displaystyle \mathbf {L(W)} }$ . Несмешивающая матрица, которая максимизирует равенство, известна как оценка максимального правдоподобия оптимальной несмешивающей матрицей.

Распространённой практикой является использование логарифма правдоподобия, поскольку его проще всего вычислить. Так как логарифм является монотонной функцией, матрица ${\displaystyle \mathbf {W} }$ , которая максимизирует функция ${\displaystyle \mathbf {L(W)} }$ , также максимизирует его логарифм ${\displaystyle \ln \mathbf {L(W)} }$ . Это позволяет взять логарифм в равенстве выше, что даёт логарифм функции правдоподобия

${\displaystyle \ln \mathbf {L(W)} =\sum _{i}\sum _{t}\ln p_{s}(w_{i}^{T}x_{t})+N\ln |\det \mathbf {W} |}$ 

Если мы подставим широко используемую модель плотности вероятности с высоким коэффициентом эксцесса для источников сигналов ${\displaystyle p_{s}=(1-\tanh(s)^{2})}$ , мы получим

${\displaystyle \ln \mathbf {L(W)} ={1 \over N}\sum _{i}^{M}\sum _{t}^{N}\ln(1-\tanh(w_{i}^{T}x_{t})^{2})+\ln |\det \mathbf {W} |}$ 

Матрица ${\displaystyle \mathbf {W} }$ , максимизирующая эту функцию, является оценкой максимального правдоподобия.

Раннюю общую основу для анализа независимых компонент предложили Дженни Эро и Бернард Анс в 1984 году^[10], затем к ним присоединился Христиан Джуттен с 1985 года^[11][12][13]. Наиболее ясно этот метод изложил Пьер Комон в 1994 году^[14]. В 1995 году Тони Белл и Терри Седжновски предложили быстрый и эффективный алгоритм АНК, основанный на принципе infomax^[англ.], который ввёл Ральф Линскер в 1987 г.

Многие алгоритмы, реализующие АНК, доступны и описаны в литературе, относящейся к данной области. Алгоритм FastICA, который разработали Аапо Хювяринен и Эркки Ойя, широко используется, включая производственные приложения. В нём применен коэффициент эксцесса в качестве функции цены. Другие примеры скорее связаны со слепым разделением сигнала, в основе которого лежит более общий подход. Например, можно опустить допущение независимости и разделить попарно коррелирующие сигналы, а следовательно, избежать статистически «зависимых» сигналов. Сепп Хохрайтер и Юрген Шмидхубер показали, как получить нелинейный АНК или осуществить разделение источников, если они являются побочным продуктом регуляризации (1999)^[15]. Их метод не требует бесспорного и строгого знания о числе независимых источников.

АНК может быть расширен на анализ нефизических сигналов. Например, АНК был применён для обнаружения тем обсуждения в архивах новостей.

Некоторые из приложений АНК перечислены ниже^[2]:

• оптическое изображение нейронов^[16]
• сортировка импульсов нейронов sorting^[17]
• распознавание лица^[18]
• моделирование рецепторного поля главных зрительных нейронов^[19]
• предсказание цен на рынке бумаг^[20]
• мобильная телефонная связь^[21]
• определение зрелости помидор на основе цвета^[22]
• удаление объектов, таких как мигание глаза, из данных электроэнцефалограммы^[23]
• анализ изменений в экспрессии гена со временем в экспериментах по секвенированию РНК в отдельной клетке cell^[24]
• изучение функциональной МРТ мозга в состоянии покоя^{[англ.][25]}

• Что есть анализ независимых компонент? (Аапо Хювяринен)
• Обучающий курс: Анализ независимых компонент (Аапо Хювяринен)
• Обучающий курс: Анализ независимых компонент
• FastICA как пакет для Matlab, на языках R и C++
• Инструментальные средства ICALAB для Matlab, разработанный в RIKEN
• Инструментальные средства высокоэффективного анализа сигналов даёт реализацию на языке C++ методов FastICA и Infomax
• Инструментальные средства ICA — Инструментальные средства Matlab для ICA с Bell-Sejnowski, Molgedey-Schuster и mean field ICA. Разработано в DTU.
• Демонстрация задачи о шумной вечеринке Архивная копия от 13 марта 2010 на Wayback Machine
• Инструментальное средство EEGLAB ICA для электроэнцефалограмм для Matlab, разработанное в UCSD.
• Инструментальные средства FMRLAB ICA функциональной магнитно-резонансной томографии для Matlab, разработанное в UCSD
• MELODIC, часть библиотеки FMRIB^[англ.].
• Обсуждение ICA, используемой в контексте биометрических представлений объектов
• Алгоритмы FastICA, CuBICA, JADE и TDSEP для языка Python
• Инструментальные средства Group ICA и Fusion ICA
• Обучающий курс: Использование ICA для очищения сигналов энцефалограммы