1、 支持向量机（支持向量机（SVM）第一部分第一部分 支持向量支持向量分类分类机机第二部分第二部分 支持向量支持向量回归回归机机第三部分第三部分 Libsvm软件软件简介简介第部分第部分 引例引例第部分第部分 引例引例案例案例1：意大利葡萄酒：意大利葡萄酒种类识别种类识别nwine数据(chapter12_wine.mat)记录的是意大利同一地区3中不同品种的葡萄酒13中化学成分含量。共有178个样本。n利用SVM建立分类分类模型，达到自动分类葡萄酒品种的目的。分类分类问题的数学表示问题的数学表示已知：训练集包含已知：训练集包含 个样本点：个样本点：说明：说明：是输入向量，其分量称为特征或属性是
2、输入向量，其分量称为特征或属性 是输出指标是输出指标.问题：对一个新的数据问题：对一个新的数据 ，推断它所对应的输出，推断它所对应的输出l11(,),(,)llTxyxynixR1,2,Niyyx?1,2,Ny 分类问题目标属性是分类问题目标属性是离散离散的的案例案例2：上证指数开盘：上证指数开盘指数预测指数预测nChapter14_sh.mat数据记录的是从1990年12月19日到2009年8月19日期间4579个交易日每日上证综合指数的各项指标。分别记录当天上证指数的开盘指数：指数最高值，指数最低值，收盘指数，当日交易量，当日交易额。n利用SVM建立的回归回归模型对开盘指数进行预测。回归回
3、归问题的数学表示问题的数学表示已知：训练集包含已知：训练集包含 个样本点：个样本点：说明：说明：是输入向量，其分量称为特征或属性是输入向量，其分量称为特征或属性 是输出数值是输出数值.问题：对一个新的数据问题：对一个新的数据 ，推断它所对应的输出，推断它所对应的输出l11(,),(,)llTxyxynixRiyRx?y 回归问题目标属性是回归问题目标属性是连续连续的的第一部分第一部分 支持向量支持向量分类分类机机 1.线性可分问题线性可分问题 代表+1代表-1怎样将数据分类？w Tx+b=0w Tx+b0代表+1代表-1哪一个“最好”呢？最大间隔最大间隔代表+1代表-1支持支持向量向量“Pre
4、dict Class=+1”zone“Predict Class=-1”zonewTx+b=1wTx+b=0wTx+b=-1wwwxxMT2)(间隔宽度间隔宽度Mxx1 iff 1iiTybxw1 iff 1iiTybxwibxwyiTi,1)(目标目标1：将所有的点正确分类：将所有的点正确分类目标目标2：最大化间隔宽度：最大化间隔宽度w2 maxn最优分类面问题可以表示成约束优化问题最优分类面问题可以表示成约束优化问题2,1min 2.()1,1,.,w biiwstyw xbil 只要求得该问题的最优解只要求得该问题的最优解 ，从而可以构造出划分，从而可以构造出划分超平面超平面 ，得出决策
5、函数，得出决策函数 。*,w b*()0Twxb*()sgn()Tf xwxbwTx+b=1wTx+b=0wTx+b=-12.近似线性可分问题近似线性可分问题不要求所有训练点都被正确分不要求所有训练点都被正确分类类，对每个训练点引入，对每个训练点引入松弛变松弛变量量 并满足约束。并满足约束。0i可用可用 度量错划分程度。度量错划分程度。1Tiiiy w xb1lii两个目标：1.间隔尽可能大 2.错划程度尽可能小2,11min 2.()1,1,0,1,liw biTiiiiwCsty w xbilil参数参数C C由用户给定由用户给定:x?(x)3.非线性可分问题非线性可分问题2,1()1mi
6、n 2.()1,1,0,1,liw biTiiiiwCs ty wlxbili*1()iliiiwyx*|01()()jljTiijjiSjibyyxx*1|01()()()()()()jTTiTlliijiiij Sjijif xwbyxyxxxyx 为以上优化问题对应的对偶优化问题的最优解为以上优化问题对应的对偶优化问题的最优解参数参数C C由用户给定由用户给定常用核函数n线性核:n多项式核:n高斯核（RBF）：nSigmoid核:(,)TijijK x xxx(,)()TdijijK x xxxr2(,)exp()ijijK x xxx(,)tanh()TijijK x xxxr(,)(
7、)()TijijK x xxxtanh()xxxxeexee2,111min 2.(),1,0,1,0liw biTiiiiwlsty wxbilil -SVC-SVC参数参数 由用户给定由用户给定多分类问题多分类问题na.一对其余法(OvR)：训练时依次把某个类别的样本归为一类,其他剩余的样本归为另一类，这样就训练出了N个SVM。当对一个未知样本进行分类时，得票最多的类别即为该未知样本的类别。nb.一对一法（OvO）：在任意两类样本之间设计一个SVM，因此N个类别的样本就需要设计 N(N-1)/2个SVM。当对一个未知样本进行分类时，得票最多的类别即为该未知样本的类别。OvO与与OvR示意图
8、示意图第二部分第二部分 支持向量回归机支持向量回归机 y=wTx+b+y=wTx+b-y=wTx+b2w,bTiiTii1minw2s.t.w xby,i1,ly(w xb),i1,l n有少量的样本有少量的样本落在落在-带外，对带外，对落在落在-带外的样带外的样本进行惩罚。本进行惩罚。y=wT.x+b+lilibxwyliybxwtsnCwiiiiTiiiiTniiibw,1,0,1,)(,1,)(.)(121min*1*2*,y=wT.x+by=wT.x+b-SVR参数参数 由用户给定由用户给定lilibxwyliybxwtslCwiiiiTiiiiTliiibwii,1,0,1,)(,1
9、,)(.)(121min*1*2,*-SVR参数参数 由用户给定由用户给定第三部分第三部分 Libsvm简介简介nLIBSVM是台湾大学林智仁(Lin Chih-Jen)教授等开发设计的软件。https:/www.csie.ntu.edu.tw/cjlin/libsvm/nlibsvm工具箱有C-SVC,-SVC,-SVR,-SVR等多种模型可供使用。libsvm采用OvO算法支持多分类问题。nMATLAB自带的svm实现函数是svmtrain和svmclassify函数，实现C-SVC模型，且仅支持二分类问题。Libsvm的使用的使用n准备工作：将准备工作：将libsvm3.22解压解压n准
10、备工作：安装准备工作：安装Visual C+编译器（不同的编译器（不同的matlab版本需要安装不同的编译器，版本需要安装不同的编译器，matlab2015,matlab2016安装安装Visual Studio 2015即可）即可）全选否则有可能导致编译不通过1.选择编译器：在命令窗口中输入选择编译器：在命令窗口中输入mex-setup注：步骤注：步骤1和和2均在均在 libsvm-3.22matlab目录下操作目录下操作2.编译文件编译文件(make)：在命令窗口中输入：在命令窗口中输入make此时可以使用此时可以使用libsvm软件包了软件包了n利用svmtrain建立模型model=s
11、vmtrain(traindata_y,traindata_x,options)n利用svmpredict预测predict_y,accuracy(mse),decision_values=svmpredict(testdata_y,testdata_x,model);n可用的选项如下n-s svm类型：SVM设置类型(默认0)n0-C-SVCn1-SVCn2 一类SVMn3-SVRn4-SVRn-t 核函数类型：核函数设置类型(默认2)n0 线性：uvn1 多项式：(r*uv+coef0)degreen2 RBF函数：exp(-r|u-v|2)n3 sigmoid：tanh(r*uv+coe
12、f0)n-d degree：核函数中的degree设置(针对多项式核函数)(默认3)n-g r(gama)：核函数中的gamma函数设置(针对多项式/rbf/sigmoid核函数)(默认1/k)n-r coef0：核函数中的coef0设置(针对多项式/sigmoid核函数)(默认0)n-c cost：设置C-SVC，-SVR和 -SVR的参数(损失函数)(默认1)n-n nu：设置 -SVC，一类SVM和 -SVR的参数(默认0.5)n-p p：设置-SVR 中损失函数p的值(默认0.1)n -v n:n折交叉验证。n以上这些参数设置可以按照SVM的类型和核函数所支持的参数进行任意组合。如果设
13、置的参数在函数或SVM类型中没有也不会产生影响，程序不会接受该参数；如果应有的参数设置不正确，参数将采用默认值。回归问题常用的性能度量：均方误差分类问题常用的性能度量：分类错误率m2iii 11(f(x)y)mmiii 11f(x)ym1,AI(A)0为为真真，否否则则参数设置不同，模型的性能往往有显著差别。对参数的设置进行设定，就是所谓的“参数调节(调参调参)”。将训练数据分为训练集和验证集。基于验证集上的性能来进行模型选择和调参。nk-折交叉验证：将训练数据A分为训练集和验证集，将数据集A随机分为k组数据，每次将其中一组数据作为验证集，剩下k-1组数据作为训练集进行训练。k一般取5或者10
14、。10折交叉验证示意图折交叉验证示意图当svmtrain使用使用-v参数参数时，此时svmtrain返回的不再是一个结构体，而是交叉验证的精度。对于分类分类问题，返回的是交叉验证下的平均分类准确率平均分类准确率；对于回归回归问题，返回的是交叉验证下的平均均方根误差。平均均方根误差。怎样选择合适的参数？怎样选择合适的参数？对不同的参数，模型会有不同的精度，尽可能地选择使交叉验证精度最优的参数。把参数当成自变量，精度当成因变量，选择参数的问题就相当于一个优化问题。可考虑用网格搜索法，智能优化算法比如遗传算法、粒子群算法等等。数据规范化：数据规范化：We recommend linearlyscal
15、ing each attribute to the range-1,1 or 0,1.n Min-max 规范化(Matlab命令：mapminmax)mapminmax processes input and target data by mapping it from its original range to the range-1 1.n z-score规范化(Matlab命令：mapstd)mapstd processes input and target data by mapping its mean and standard deviations to 0 and 1 respectively.n数据提取和预处理数据提取和预处理n建立建立SVM模型（模型（确定模型的参数确定模型的参数）n利用建立的利用建立的SVM模型进行预测模型进行预测n结果分析结果分析利用利用SVM建模步骤建模步骤
