svm支持向量机

支持向量机，因其英文名为support vector machine，故一般简称svm
通俗来讲，它是一种二分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器
其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。
如果是线性不可分的，则需要通过核函数。


1/分类标准的起源：logistic回归
理解svm，咱们必须先弄清楚一个概念：线性分类器
  给定一些数据点，它们分别属于两个不同的类，现在要找到一个线性分类器把这些数据分成两类。
  如果用x(x1,x2,x3,x4......)表示数据点，用y表示类别（y可以取1或者-1，分别代表两个不同的类）
  一个线性分类器的学习目标便是要在n维的数据空间中找到一个超平面（hyper plane）                                                  
复制代码

     可能有读者对类别取1或-1有疑问，事实上，这个1或-1的分类标准起源于logistic回归。

    Logistic回归目的是从特征学习出一个0/1分类模型，而这个模型是将特征组合作为自变量，
由于自变量的取值范围是负无穷到正无穷，
因此，使用logistic函数（或称作sigmoid函数）将自变量映射到(0,1)上

2/线性分类的一个例子
    下面举个简单的例子。如下图所示
    现在有一个二维平面，平面上有两种不同的数据，分别用圈和叉表示。
    由于这些数据是线性可分的，所以可以用一条直线将这两类数据分开，这条直线就相当于一个超平面，
    超平面一边的数据点所对应的y全是-1 ，另一边所对应的y全是1。
复制代码

3/函数间隔与几何间隔
复制代码

  分割超平面函数：
       用函数f(x)表示，
       如果f(x)=0，则说明数据点位于超平面上，
       如果f(x)>0，则对应y=1的数据点
       如果f(x)<0，则对应y=-1的数据点
       
       
  间隔函数：
       数据点到分割超平面的距离
       可以观察数据点到分割超平面的距离的符号与类标记y的符号是否一致来判断分类是否正确。
       这样就可以调整分割超平面的位置。
       
       
       
4/最大间隔分类器的定义
   对一个数据点进行分类，当数据点到分割超平面的‘间隔’越大，分类的可信度也就越大。
   所以为了分类的可信度尽量大，需要让所选择的分割超平面能够最大化这个“间隔”值，这个间隔值就是下图中过的GAP的一半  
   
   
复制代码