T9.md

Линейная классификация. Отступ

Линейная классификация - один из способов решения задачи линейной классификации, в данном случае мы рассматриваем задачу бинарной классификации. Скажем, что нам даны обучающие данные $\mathcal{D} = {(x_i, y_i)}_{i = 1}^{|\mathcal{D}|}$, даны классы $y_i \in Y = {-1, +1}$. При классификации, то есть когда мы получаем от функции некоторое число, нам нужно посмотреть на его знак (если отрицательный, то это класс $-1$, иначе - $+1$):

$$ a_\theta(x, , \mathcal{D}) = \text{sign}(f(x, , \theta)), $$

где $a_\theta$ - алгоритм, $f(x, , \theta)$ - функция распознавания, $\theta$ - вектор параметров. Мы снова решаем задачи оптимальных значений $\theta$. При этом, мы пользуемся здесь тем, что объекты (хорошо) различимы.

Функция отступа (margin) для объекта $x_i$ представляет из себя следующую формулу ошибки предсказания:

$$ M_i(\theta) = y_if(x_i, , \theta) $$

Это (перемножение с классом) связано с тем, что нам важен знак предсказания, так как $y_i \in {-1, , +1}$. При $M_i(\theta) < 0$, объект классифицирован некорректно.

Пусть нам даны $f_j : X \to \mathbb{R}, ~ j = 1, \ldots, n$ (то, что будет предсказывать) - численные признаки, тогда линейный классификатор выглядит следующим образом:

$$ a_{\theta}(x,,\mathcal{D}) = \text{sign}{\left(\sum_{i = 1}^{n}{\theta_if_i(x)} - \theta_0\right)} = \text{sign}(\langle x, \theta \rangle) $$