支持向量机方法,支持向量机是有监督还是无监督好,支持向量机是监督还是非监督

　　支持向量基@[拉格朗日乘数法对偶问题KKT条件核函数铰链损失]

　　当有多个超平面来划分样本时，选择对训练样本的局部扰动具有最佳容限的超平面。

　　超平面的法向量除以区间支持向量为w=(w1；w2；wd)w=(w1；w2；Wd)，那么超平面就是wTx b=0wTx b=0。从任意点X到超平面(w，b)的距离为

　　r=wTx bw.r=wTx b‖w‖。

　　假设超平面对样本分类正确，对于(xi，yi)D(xi，yi)D，如果yi=1yi=1，则有wTxi b0wTxi b0；如果yi=1yi=1，则有wTxi b0wTxi b0。制造

　　{wTxi b 1，wTxi b1，yi=1 yi=1 { wTxi b1，yi=1 wTxi b1，yi=1

　　Wtxb=1 wtxb=1为“支持向量”，支持向量之间的距离，即“区间”为=2w=2‖w‖。

　　求具有“最大间距”的超平面，即最大化w1‖w‖1等价于最小化w2‖w‖2。所以支持向量基的基本形式是

　　最小12w2最小12‖w‖2

　　s.t .易(wTxi b)1s.t .易(wTxi b)1

　　对偶问题将拉格朗日乘子法应用于基本问题得到其“对偶问题”，求解对偶问题效率更高。类型的基本拉格朗日函数是

　　L(w，b，)=12w2I=1mI(1 yi(wTxi b))L(w，b，)=12‖w‖2I=1mI(1 yi(wTxi b))

　　设L对W和B的偏导数为0，代入L的对偶问题为

　　maxI=1mI 12I=1mj=1mIjyiyjxTixjmaxI=1mI 12I=1mj=1mIjyiyjxiTxj

　　s.t.i=1miyi=0s.t.i=1miyi=0

　　i0i0

　　上述过程需要满足KKT条件。

　　i0yif(xi)10i(yif(xi)1)=0{i0yif(xi)10i(yif(xi)1)=0

　　求解对偶问题的SMO算法。思路是一次选取两个变量i，ji，j，固定其他参数，更新i，ji，j，直到收敛。

　　违反KKT条件越大，变量更新引起的目标函数值降低越大，所以每次选取的样本尽量不同。

　　核如果样本不是线性可分的，可以把样本从原始空间映射到更高维的特征空间，这样样本就可以在更高维的空间中线性可分。

　　设(x)(x)表示映射x后的特征向量，则特征空间中的超平面为f(x)=wt(x)BF(x)=wt(x)b，存在与上述类似的原问题和对偶问题。计算对偶涉及内积计算，对于无限维很难。因此，特征空间的内积被定义为原始样本空间的“核函数”。常用核函数：

线性核

无奈的小白菜核

　　软间距和正则化防止过拟合，允许软间距，即最大化间距，同时不满足最小样本数并引入松弛变量。所以优化函数是

　　min 12w2cI=1m0/1(yi(wTxi b)1)min 12‖w‖2cI=1m0/1(yi(wTxi b)1)

　　“0-1损失函数”是不连续的。一般使用备选损失函数，如

hinge损失

　　Python sklearn实现import pandas as PD import numpy as NP from sk learn import SVM from sk learn . model _ selection import train _ test _ split、Cross _ val _ score import matplotlib . py plot as PLT import matplotlib as mpl # txt也可以用read_csv读取为dataframe，以及所需的列行数。loc取数表示为某行iris=PD . read _ CSV( E: study data iris . txt ，sep=，，skiprows=[1])X=iris.loc[:[萼片长度，萼片宽度]]y=iris.loc[:[class]]x_train，x_test，y_train，y_test=train_test_split(X，y，test_size=0.3)clf=svm。SVC(C=0.8，kernel=rbf ，gamma=20，decision _ function _ shape= ovr )clf . fit(x _ train，Y _ train) print clf。score (x _ test，y _ test) #准确率0.778优缺点：仅考虑支持向量，模型鲁棒性高，适合小样本。在线性可分性的情况下，SVM等价于logistic回归，非线性核可以用来求解线性可分性。

　　缺点：噪声敏感，难以实现大规模训练样本，多分类存在困难。

　　提示如果特征的数量很大，这与样本的数量相似，LR或线性核SVM；被选中；如果特征数较少，样本数一般，选择无助的大白菜核SVM；如果特征数量少，样本数量大，就变成了第一种情况，手动添加一些特征。