详解支持向量机。

详解支持向量机。

基础：平面方程

在空间坐标系内，平面的方程均可用三元一次方程Ax+By+Cz+D=0来表示。

一、截距式

设平面方程为Ax+By+Cz+D=0,若D不等于0，取a=-D/A,b=-D/B,c=-D/C,则得平面的截距式方程： x/a+y/b+z/c=1 [1]  它与三 坐标轴的 交点分别为P(a,0,0),Q(0,b,0),R(0,0,c)，其中，a,b,c依次称为该平面在x,y,z轴上的 截距。

二、点法式

n为平面的法向量， n=(A,B,C),M,M'为平面上任意两点， 则有n·MM'=0,  MM'=(x-x0,y-y0,z-z0)， 从而得平面的点法式方程： A(x-x0)+B(y-y0)+C(z-z0)=0 [1] 
　　
　　
　　 三点求平面可以取 向量积为 法线 任一 三元一次方程的图形总是一个平面，其中x,y,z的 系数就是该平面的一个 法向量的坐标。 两平面互相垂直相当于A1A2+B1B2+C1C2=0 两平面平行或重合相当于A1/A2=B1/B2=C1/C2 点到平面的距离=abs(Ax0+By0+Cz0+D)/sqrt(A^2+B^2+C^2) 求解过程:面内外两点连线在法向量上的映射Prj(小n)(带箭头P1P0)=数量积

    点到平面距离的证明过程：

三、一般式

Ax+By+Cz+D=0 [1]  ，其中A,B,C,D为已知常数，并且A,B,C不同时为零。

四、法线式

xcosα+ycosβ+zcosγ=p  [1] ，其中cosα、cosβ、cosγ是平面法矢量的 方向余弦，p为原点到平面的距离。

支持向量机

    1.基础概要

        支持向量机(support Vector Machine，SVN)是一种有监督的分类算法，通过探求风险最小来提高学习机的泛化能力，实现经验风险和置信范围的最小化。

        求解目标：求得一个最优超平面

其中W是超平面的法向量，决定了超平面的方向，b是位移项，决定了超平面到原点的距离。显然，超平面可以被W和b确定。样本空间任意一点到超平面的距离为W*X+B/||W||(点到距离的公式前面已经证明了)

   

   

如何求最优超平面(最大间隔分离超平面)？

       

基于目标函数和约束条件，定义拉格朗日函数：