Метод релевантных векторов

Метод релевантных векторов (МРВ, англ. Relevance Vector Machine, RVM) — это техника машинного обучения, которая использует байесовский вывод для получения решений на принципе экономности для регрессии и вероятностной классификации^[1]. МРВ имеет тот же функциональный вид, что и метод опорных векторов, но обеспечивает вероятностную классификацию.

Метод, фактически, эквивалентен модели гауссовского процесса с функцией ковариации^[англ.]:

${\displaystyle k(\mathbf {x} ,\mathbf {x'} )=\sum _{j=1}^{N}{\frac {1}{\alpha _{j}}}\varphi (\mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})}$,

где ${\displaystyle \varphi }$ является ядерной функцией^[англ.] (обычно, гауссианом), ${\displaystyle \alpha _{j}}$ являются априорными дисперсиями вектора весов ${\displaystyle w\sim N(0,\alpha ^{-1}I)}$, а ${\displaystyle \mathbf {x} _{1},\ldots ,\mathbf {x} _{N}}$ являются входными векторами тренировочного набора^{[англ.][2]}.

По сравнению с методами опорных векторов байесовская формулировка МРВ позволяет избежать необходимости использования свободных параметров (что, обычно, требует постоптимизации на основе перекрёстных проверок). Однако МРВ использует метод обучения, подобный EM-алгоритму, а потому существует риск скатывания в локальный минимум. Это отличает его от стандартных алгоритмов на основе последовательной минимальной оптимизации^[англ.], используемой методами опорных векторов и гарантирующей нахождение глобального оптимума (на выпуклой задаче).

Метод релевантных векторов запатентован в США^[англ.] компанией Microsoft^[3].

• Ядерный метод
• Масштабирование Платта^[англ.]: превращает SVM в вероятностную модель

• dlib Библиотека на языке C++
• Библиотека ядерных машин
• rvmbinary: пакет на языке R для двоичной классификации
• scikit-rvm
• fast-scikit-rvm, Обучающий курс по методу релевантных векторов

• WEB-страничка Типпинга о Разреженных байесовских моделях и Методе релевантных векторов
• Обучающий курс по методу релевантных векторов Тристана Флетчера
• Обучающий курс по методу релевантных векторов
• Сравнение метода релевантных векторов и метода опорных векторов

Для улучшения этой статьи желательно: Проверить качество перевода с иностранного языка. Исправить статью согласно стилистическим правилам Википедии. После исправления проблемы исключите её из списка. Удалите шаблон, если устранены все недостатки.