支持向量机理论及应用

产、人脸识别、石油期货价格预测、高光谱反演、水资源质量分类评价等方面的应用。关键词：支持向量机;SVM理论;SVM应用Abstract: Support Vector Machines (SVM) is a kind of novel machine learning method,and a classifier based on statistical learning theory.This article has summarized the main contents of statistical learning theory first,and then introduced and analysed the basic principle of support vector machine (SVM), classics algorithm and the basic thought, summarized the application of the

Support Vector Machines (SVM) in the chemical production, face recognition, oil futures price forecasting, hyperspectral inversion,

the quality evaluation of the classification water resources and so on.Key words:Support vector machine;Theory;Application中图分类号:TP11 文献标识码:A 文章编号:2096-4390( 2019 )02-0013-02统计学习理论是一种机器学习理论，该理论与其他统计学 方法的不同之处主要在于其使用了统计的方法。统计学习理论 R(必/U(3)+ h丄 ln( —J+ 1)------

—ln(“/4)是对小样本进行统计估计和预测进行研究的理论，该理论主要

包括经验风险最小化准则下统计学习一致性的条件;在这些条

件下关于统计学习方法推广性的界的结论;在这些界的基础上

由上可知,学习机的实际风险是由两部分组成的:一部分是 建立的小样本归纳推理准则；实现新的准则的实际方法这四个 置信范围;另一部分是经验风险即训练误差。同时，最小化经验

方面内容叫风睑和置信范围可以实现实际风险的最小化，而结构风险最小 支持向量机(Support Vector Machines),简称SVM,是建立化原则(SRM)旨在实现经验风险和置信范围这两项的最小化。在统计学习理论基础上的一种新型的机器学习方法。它是以分 1.3支持向量机理论和基本思想析统计理论为基础上，并在此基础上形成的一种模式分类方 SVM是由Vapnik等人根据统计学习理论提出的一种新的 法，也同时也是SRM准则的具体实现叫 研究SVM最重要的工 机器学习方法。该方法是以VC维理论和结构风险最小化原则 作就是对支持向量机的本质特征进行分析，它最初是由线性可 为基础的叫具有克服特征空间中的维数灾难的特征，使网络的 分问题中的最优分类面问题发展而来的,在解决完了模式识别 收敛速度加快，样本被错分的界和风险泛函得到控制等特点。的问题之后,继而被推广到了函数回归以及密度估计的领域当

其基本思想是通过定义最优线性超平面，并将寻找最优线

中叫支持向量机算法的应用十分广泛，支持向量机算法除了可 性超平面的算法看作是求解一个凸规划问题。SVM寻求的是一 以被应用于模式识别的领域，也可以广泛的应用在自然语言的 个最优超平面，通过该超平面将两类模式正确地分类，同时使

处理技术当中，可见支持向量机算法的作用会越来越突出叫得两类样本点到该超平面的最小距离之和最大。该优化问题可

1支持向量机通过求解拉格朗日函数的鞍点得出曲鶴樊继伟等冋提出了一种 1.1经验风险最小化原则基于改进的概率选择方法的主动支持向量机算法，该算法根据 在学习问题当中,学习的目标在于实现期望风险的最小化。 置信因子在实验的过程中挑选最佳的样本组并计算其概率，该 但是，由于概率测度F ( x , y)未知，同时只有样本数据可以作 算法极大地提高了遥感图像的分类精度，同时也弥补了其他算

为利用的信息，仅仅依据能够应用的有限的信息样本，并不能 法的一些不足的地方，但是算法的终止条件有待进一步研究完 合理计算岀分析期望的风险。为了解决这个问题，传统的学习 善。方法通过采用经验风险最小化(Empirical Risk Minimization,

1.4核函数ERM)准则，即使用样本定义经验风险。很多不可分线性问题，在某个高位特征空间中合理筛选符

凡异)=1(儿了(兀4))合分类样本情况的非线性变换映射.确保能够得到高维空间目 < 1=1标样本线性可分。一些传统的学习方法是经验风险最小化原则的具体实现， 有3种常见的核函数：如我们熟悉的最小二乘法、神经网络等其他学习方法叫在实际 a. 径向有机函数(RBF)问题的应用当中.样本数目不能接近无穷大。可以看出，在样本

K(xry,) = R』x,，y)+i] |有限情况下，经验风险最小并不一定就是最小期望风险叫1.2结构风险最小化原则b. 多项式核函数著名的结构风险最小化原则(Structural Risk Minimization,

SRM)是一种新的统计技术。统计学习理论系统地研究了经验风 Ka，yJ = expl *-歸>0险与函数集中各类数字的实际风险之间的关系。c.内积为Sigmoid函数-14- 科学技术创新2019.02K(Xi，yJ = tanh(c(x, xj +1)1.5多分类和支持向量机算法支持向量机的多分类问题主要有一对一(one against one)和 _对多(one against all)两种方法。在石油期货价格预测过程当中.可以采用滞后阶数寻优方

法，输入石油期货价格序列的一阶差分以及其若干滞后值。通

过验证集中技术可以获得参数的最优值円2.4高光谱反演近年来，支持向量机(SVM)作为新兴学科已经被广泛应用到

配对分类是每2个类别能够形成2类分类器，可以适当解 农业遥感中。张录达等采用4种核函数，对小麦样品蛋白质含

决n类问题，此时需要支持向量机数量是\"*— 1) / 2,并通过 量与近红外光谱进行SVM回归建模，并与偏最小二乘回归模型 使用n*(n-l)/2分类器来确定测试样本的类别。对于一对 (PLS)的预测结果进行比较，结果表明SVM回归模型的效果更

多的情况，在每一个类i中都构造两类分类器，该分类器能够分 好㈣。2.5质量分类评价和其他应用析n类问题，此时需要的支持向量机个数为no在对分类器进行

采用“一对一”的SVM多类别分类算法.建立支持向量机的 训练的过程当中，需要的正例样本是i类样本，所需的负例样本

是n-1的样本。对于层次分类，它可以对所有类别进行分类，进 水资源质量分类评价模型，核函数取径向基函数，对农村地表 一步规划和分析两个下级子类，反复循环，直到得到的类为单 水质量分级进行预测评价,在只能获得水质物质含量的前提下

独类别为止。这两种算法都肯能会在一定程度上提高计算复杂 可以比较客观准确的对水质进行分类评价。其中，网格搜索法

度，而如果在具备邻近正态树层次结构的情况下，层次法则具 能得到较高的分类准确率高，具有泛化能力较强，计算时间短 有比较理想的训练速度叫等优点，可以推广到实际应用去问。在光谱分析方面，PLS-SVM和WLS-SVM等基于支持向量

早前已经提出了以SMO为代表的分解算法，以EG为代表的多 机的建模方法可应用于近红外光谱，提高定量分析的准确性,

随着支持向量机的研究越来越广泛，其算法也越来越丰富，

变量更新算法，以IDA为代表的序列方法等改进的支持向量机 可应用于对汽油辛烷值进行定量分析等方面。另外,SVM也广 的训练算法。当然还有RSVM、C-SVM系列、One-class SVM和 乏应用于天气预测、疾病预测、电子电力领域和业务预报等。WSVM(weighted SVM)等变形算法。这些变形算法有某一方面优 势或者一定应用范围。他们主要是通过增加函数项，变量或系 数等方法使公式变形从而达到目的。2 SVM应用结束语SVM以统计学习理论为基础，存在全局优化、泛化性能好 等优点。文章简要介绍了统计学习的主要内容，简述了支持向

量机的算法和多分类问题.还主要介绍和分析支持向量机的基

由于SVM方法在理论上具有突出的优势，因此有关SVM 本原理和基本思想,并从化工生产、人脸识别、石油期货价格预 的应用研究也得到了越来越多领域里学者们的重视,SVM已经 测、高光谱反演、水资源质量分类评价和其他方面来分析支持

向量机的应用。应用到很多领域。2.1化工生产参考文献支持向量机(SVM)模型具有较强的“黑箱性”，通过将标准 [1] V.Vapnik.张学工译统计学习理论的本质[M].第2版.北京:清

数据集Auto MPG和实际的煤制甲醇生产数据集结合，利用回 华大学出版社,2000.归树的优势以及支持向量的特殊性，建立支持向量的决策树模 [2] 王芳.支持向量机算法的研究及应用[D].无锡:江南大学200& 型，可提取出具有就较高决策能力，包含较少变量，同时计算量 ⑶宋静.基支持向量机的应用研究[J].计算机工程应用技术.2012, 较小且容易读取的规则，同时提取的回归规则在训练准确性和 33 ⑻:8060-8065.预测精确性等方面都有一定程度的提高,拓展了数据挖掘领域[4] 张博洋.支持向量机理论与应用研究综述[J].计算机与信息技

术学院.2015,19:111-112.[5] 樊继伟，李朝锋,吴小俊.改进的概率选择主动支持向量机算法 2.2人脸识别在人脸识别方面，人们可以通过支持向量机来高效判断人 [J].计算机工程与应用,2010(35).的面部表情,通过从人脸数据库中使用手工标定的方式发现测 ⑹王建国，董泽宇,张文兴，卢丹.基于回归树的支持向量机规则 试样本和训练样本集，并合理划分为六个类别。基于支持向量 提取及应用[J].计算机工程与应用,2017,53(6):236-240.机和小波相结合来形成识别人脸技术，应用小波技术提取人脸 [7] 金炭，胡云安潢隽，等.支持向量机回归在电子器件易损性评

特征，结合邻近分类器对人脸特征进行分类，以保证更好的分 估中的应用[J].强激光与粒子束,2012(9):2145-2150.类性能叫[8] 王文涛.深度学习结合支持向量机在人脸表情识别中的应用

由于传统识别方式对人脸表情的识别正确率不高同时对表 研究[D|.西安:长安大学,2016.情图像存在限制，为了解决这些问题，国内外的学者通过使用 [9] 张玉.何佳，尹腾飞.改进的支持向量机石油期货价格预测模型 支持向量机和深度学习强悍的无监督特征提取作为分类器进 研究[J].计算机仿真.2012,39(3):375-378.行非线性处理的优势，采用将两者结合在一起得到高效的新的 [10] 张录达，金泽宸,沈晓南，等.SVM回归法在近红外光谱定量分 分类方法。RBM-SVM多层分类模型对人脸表情进行识别，提 析中的应用研究[J].光谱学与光谱分析,2005,25(9): 1400-1403.高了传统方法的识别准确率，极大地提高了人脸表情识别技术 [11] 孙文兵.支持向量机在水资源质量分类评价中的应用[J|.邵阳

的应用范围叫2.3石油期货价格预测回归预测法是基于预测的相关性原则，确定影响预测目标

学院学报(自然科学版),2016,13(2):12-15.的多种因素,然后找出这些因素和预测目标之间的函数关系。