基于统计学习理论的支持向量SVM(support vector machine)比其他方法有更好的分类性能和效率，并且它已成功应用于模式识别和回归问题^{[1, 2, 3, 4]}。基于支持向量机的这些优点,许多研究者致力于SVM的研究并取得了很大的进步。2001年,由Lee等人针对数学规划问题中的不光滑问题提出Sigmod光滑函数^[5]。2005年,袁玉波等人也提出了2个多项式光滑函数^[6]得到了PSSVM模型。2007年袁玉波等人又提出了三次样条插值函数得到了TSSVM模型^[10]。由于它们对加号函数的逼近性能还有待提高。因此本文提出了贝塞尔光滑模型,理论分析和数值实验都证明它在数据分类的性能和效率上优于TSSVM和PSSVM模型。

1 贝塞尔光滑支持向量机模型 1.1 贝塞尔函数

贝塞尔曲线是通过插值的方法获得的。给定点p₀,p₁,p₂,…,p_n-1,则贝塞尔曲线为

式中，t为参数。现设定p₀=(-,0),p_i=(0,0),(i=1,2,3,…,n-2),p_n-1=(,),则贝塞尔曲线变为B(t)=p₀(1-t)^n-1+p_n-1t^n-1,t∈^{[0, 1]},将p₀,p₁,p₂,…,p_n-1代入B(t)中得到B_x(t)=-(1-t)^n-1+t^n-1,t∈(0,1),B_y(t)=t^n-1,t∈(0,1),消去t,得到贝塞尔函数公式B(x,k)。显而易见,B(x,k)在x∈(-,)区间单调递增。因此贝塞尔函数存在逆函数^[8]。所以在实数空间中我们可以选择用逆函数来替换原函数。

贝塞尔函数的逆函数推导过程如下:

先给定3个点p₀=-,0,p₁=(0,0),p₂=(,),利用其插值,我们可以得到二次方贝塞尔曲线和它相应的逆函数B₂^-1 (x,k)=x-。类似的通过插值4个点p₀=(-,0),p₁=p₂=(0,0),p₃=(,),得到三次方贝塞尔曲线和其相应的逆函数B₃^-1 (x,k)=。以此类推,通过插值n个点p₀(-,0),p_i=(0,0),(i=1,2,3,…,n-2),p_n-1=(,),得到n-1阶贝塞尔曲线和其相应的逆函数B_n-1^-1 (x,k)=x+(-1)ⁿ。

1.2 新光滑支持向量机模型

考虑如下的分类问题:在n维实空间中将m个点分类,矩阵Am×n的每一行向量代表一个点。如果A_i属于A⁺,标记为1,如果A_i属于A^-,则标记为-1,那么分类情况可以用一个m×m的对角矩阵D来示,其中D的对角线元素为1或-1。则这个问题的标准向量机模型^[9]为:对任意v>0

式中，ω是边界面的法向量,γ表示边界面到原点的距离,y是松弛变量。这是一个有约束条件的二次规划问题。修正该模型的目标函数^[9],可得到其无约束优化模型: 虽然模型(2)的目标函数具有强凸性和唯一解,但不具有光滑性,不能利用快速算法求解。为了能用 Newton-Armijo快速算法求解,引入光滑技术^{[5, 6, 10]},对上述无约束优化模型进行光滑处理。本文使用n-1阶贝塞尔函数作光滑函数可得到一类贝塞尔光滑支持向量机模型:

2 性能分析 2.1 逼近性能分析

当贝塞尔函数的中间控制点x_i→0,i=1,2,…,n-2时,根据样条函数的特性,贝塞尔函数和正号函数之间的插值误差将会减小。因此当x_i→0,i=1,2,…,n-2时,贝塞尔函数对正号函数的逼近性能优于以往提出的光滑曲线。并且贝塞尔函数的阶数越高,其对加号函数的逼近性能就越好。下面以四阶贝塞尔函数为例,分别从理论分析和实验仿真证明贝塞尔函数性能的优越性。

为便于比较贝塞尔函数与其他光滑函数对正号函数的逼近精度,我们给出如下的定理:

定理1 对于任意k,贝塞尔函数B_n-1(x,k)在插值节点x=±,x=0关于x具有n-1阶光滑性。

证明过程见附录。

定理2 对于x∈Ω,k∈R⁺,B₃(x,k)定义为三阶贝塞尔函数,B₄(x,k)定义为四阶贝塞尔函数,x₊定义为正号函数,则对于任意的x,k,有下面的结论:

证明过程见附录。

下面对5个光滑函数逼近正号函数的精度进行比较：

1) 文献^[5]知，当光滑函数取Sigmoid函数的积分函数^[5]时,

2) 由文献^[7]知，当光滑函数取三阶多项式光滑函数式时，

3) 由文献^[10]知，当光滑函数取三次样条插值函数式时，

4) 由定理2知，当光滑函数取三阶和四阶贝塞尔函数时，

可见，三阶和四阶贝塞尔函数对原函数的逼近性能优于其他3种光滑函数。对上述各个函数在区间-1k,1k对加号函数的逼近程度进行理论仿真，不妨取光滑因子k=10，其仿真结果如图 1所示。从图中看出，三阶和四阶贝塞尔函数的逼近精度优于其他光滑函数。由此可以验证：新模型BSSVM1的求解效果优于其他光滑函数。

2.2 新模型的收敛性

定理3 设A∈R^m×n,b∈R^m×1,实函数r(x)：Rⁿ→R和f(x,k)：Rⁿ×N→R定义如下：

则有如下结论：

1) r(x),f(x,k)是强凸函数；

2) 优化模型r(x)存在唯一解x^*，优化模型f(x,k)存在唯一解x_k^*；

3)

证明：

1) 由‖·‖₂²的强凸性显然可以证明r(x),f(x,k),是强凸函数。

2) 由于B₄(x,k)≥x₊，水平集L_v(r(x))和L_v(f(x,k))满足：L_v(f(x,k))⊆L_v(r(x))⊆{x|‖x‖₂²≤2v}。因此L_v(r(x))和L_v(f(x,k))是紧子集。所以证明2个模型的解存在，又由于2个函数是强凸函数，从而它们的解具有唯一性。

3) 为了证明f(x,k)的最优解在k→+∞时收敛于(x)的最优解，由一阶最优化条件和r(x),f(x,k)的强凸性，得

同理 将上面两式相加，并注意到f(x,k)≥x₊，有

根据定理2结论(2)的推导原理，有|B₄(x,k)|-|x₊|≤，进一步得到‖x_k^*-x^*‖₂²≤。当k→+∞时,‖x_k^*-x^*‖₂²=0。因此，证明了结论。

3 数值实验

本文比较4种模型即SSVM、FPSSVM、TSSVM、BSSVM1的计算效率和分类性能。 Newton-Armijo算法^[11]是一种求模型(3)最优解的快速算法。比较的数据有计算时间、训练样本正确率测试样本正确率。本实验是基于1.9GHZ AMD APU和4GB RAM 的个人计算机上的MATLAB R2011b平台。实验参数设置为k=10,ε=10^-8,并且用十折交叉校验法测试算法的精确度。训练样本(M×N)表示M个N维的样本集。实验结果如表 1和表 2所示。

比较表中的计算时间可以看出BSSVM₁模型的时间相比其他模型要高一点。但从表 1和表 2的训练样本正确率和测试样本正确率看出BSSVM₁模型有最好的分类性能。因此我们可以得出结论,BSSVM₁模型以牺牲少量的计算时间获得最优的分类性能。

4 结论

综上所述,本文提出的一类一范式的BSSVM₁模型能有效地解决二分类问题。本文采用四阶贝塞尔函数来测试BSSVM₁模型的分类性能,无论是理论分析还是数值实验结果都表明,与以往提出的3种模型相比,BSSVM₁模型的分类性能较好。

附录

定理1的证明

证明 对于任意给定的x,k,B₂(x,k)在插值节点x=±,x=0满足下面的等式

因此B₂(x,k)关于x具有一阶光滑性。

B₃(x,k)在插值节点x=±,x=0满足下面的等式

因此，B₃(x,k)关于x具有二阶光滑性。

令B_{p0,p1,…,pn-1}表示由任意选择的点p₀,p₁,p₂,…,p_n-1决定的贝塞尔曲线。则

从上面的递推公式中，我们可以证明B₄(x,k)关于x具有四阶光滑性。以此类推，可以证明贝塞尔函数B_n-1(x,k)关于x具有n-1阶光滑性。

定理2的证明

证明

1. 分三步证明

1) 当x∈(-∞,-)∪(,+∞)时，结论显然成立

2) 当x∈(-,0)时，x₊=0并且B_n-1(x,k)单调递增，因此B_n-1(x,k)-x₊≥0

3) 当x∈(0,)∈(0,1)时，x₊=x，因此

根据反函数的特性^[9],我们可以证明B_n-1(x,k)-x₊>0。

综合1)~(3)，可知对任意x,k,有B_n-1(x,k)≥x。

2.以下分三步证明本定理之(2)

1) 当x∈(-∞,-)∪(,+∞)时，结论显然成立

2) 当x∈(-,0)时，x₊=0则

3) 当x∈(0,)时,x₊≤

综合1)~3)，可知对任意x,k,有B₃(x,k)²-x₊²≤。同理，可以证明对任意x,k ,有B₄(x,k)²-x₊²≤。