Метод релевантных векторов

Метод, фактически, эквивалентен модели гауссовского процесса с функцией ковариации^[англ.]:

${\displaystyle k(\mathbf {x} ,\mathbf {x'} )=\sum _{j=1}^{N}{\frac {1}{\alpha _{j}}}\varphi (\mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})}$ ,

где ${\displaystyle \varphi }$  является ядерной функцией^[англ.] (обычно, гауссианом), ${\displaystyle \alpha _{j}}$  являются априорными дисперсиями вектора весов ${\displaystyle w\sim N(0,\alpha ^{-1}I)}$ , а ${\displaystyle \mathbf {x} _{1},\ldots ,\mathbf {x} _{N}}$  являются входными векторами тренировочного набора^{[англ.][2]}.

По сравнению с методами опорных векторов байесовская формулировка МРВ позволяет избежать необходимости использования свободных параметров (что, обычно, требует постоптимизации на основе перекрёстных проверок). Однако МРВ использует метод обучения, подобный EM-алгоритму, а потому существует риск скатывания в локальный минимум. Это отличает его от стандартных алгоритмов на основе последовательной минимальной оптимизации^[англ.], используемой методами опорных векторов и гарантирующей нахождение глобального оптимума (на выпуклой задаче).

Метод релевантных векторов запатентован в США^[англ.] компанией Microsoft^[3].

• Ядерный метод
• Масштабирование Платта^[англ.]: превращает SVM в вероятностную модель

• dlib Библиотека на языке C++
• Библиотека ядерных машин
• rvmbinary: пакет на языке R для двоичной классификации
• scikit-rvm
• fast-scikit-rvm, Обучающий курс по методу релевантных векторов

• WEB-страничка Типпинга о Разреженных байесовских моделях и Методе релевантных векторов
• Обучающий курс по методу релевантных векторов Тристана Флетчера
• Обучающий курс по методу релевантных векторов
• Сравнение метода релевантных векторов и метода опорных векторов