2. 中国船舶工业系统工程研究院, 北京 100094
航空电子设备是飞机系统的重要组成部分, 其故障对系统性能的影响越来越突出。如F15/F22战斗机中, 航空电子系统占整机成本己接近50%, 其电子设备故障次数占全机故障总数的43%以上[1]。因此，用户希望能在出现微小异常征兆时, 就能完成对故障发展趋势的预测, 同时准确定位退化或故障部位, 进而及时进行必要的维护或维修, 确保产品能在寿命范围内完成预期功能, 从而切实保障系统的安全性和可靠性。
时间序列(timeseries)预测方法是一种常用的预测方法。基于时间序列的LS-SVR模型[2], 具有运算简单、收敛速度快、精度高等优点[3], 在时间序列预测中受到了广泛关注[4-6]。用LS-SVR方法求解回归问题, 核函数对模型预测的精度和泛化能力有重大影响。因此, 选择一个适当的核函数, 便成为影响该方法预测效果的关键因素。通常, LS-SVR模型只采用一个核函数, 这会大大地降低模型的自适应能力。在实践中, 描述某一状态或故障特征的变量, 不是唯一的。这意味着它总是由几个相关的时间序列来描述的。此时通过使用单一的核函数来充分表现这些时间序列的内部关系是很困难的。近年来关于多核学习(multiple kernel learning, MKL)的理论[7]和应用, 已经证明多核模型比单核模型或单核机器组合模型的性能更好, 利用多核代替单核, 能增强决策函数的可解释性[8]。
本文提出了一种基于多核LS-SVR的预测模型, 并已成功用于某航电装置的寿命预测。仿真结果表明, 该方法与传统方法相比, 具有更高的精度, 是一个切实有效的电子设备寿命预测方法。
1 多核最小二乘支持向量回归机 1.1 线性加权多核模型在MKL框架下, 等价核函数是由不同性质的独立基核函数线性加权组合而成。在这个由多个不同核函数组成的等价核空间中, 等价核函数具有各个基核函数的特征映射能力, 使样本在新的高维特征空间中, 得到了更好转换。这样, 便能提高分类的正确率或预测的精度[8]。
由于若干个满足Mercer条件的核函数之线性组合的等价核函数也满足Mercer条件[9-10]，本文的多核最小二乘支持向量回归机(MKLS-SVR)中, 等价核函数可按下式构造
|
(1) |
式中, M为基核函数的个数, Km(xi, xj)为第m个基核函数, μm为第m个基核函数的权重值, 用来衡量等价核函数K(xi, xj)对第m个基核函数Km(xi, xj)的依赖程度。
1.2 多核权重的计算为了减少等价核函数对各个基核函数的依赖性和降低基核权重μm的计算复杂性, 可以根据每个基核函数建模得到的均方根误差(root mean squared error, RMSE)的大小, 来确定每个基核函数的权重值, 这意味着具有较小均方根误差的基核函数, 将会得到较大的权值[11]。于是, RMSE定义为
|
(2) |
式中, n为原始训练样本数据的个数, y(i)为第i个真实值, ŷ(i)为第i个预测值。组合权重μm的计算公式为
|
(3) |
式中, σm为第m个核的预测RMSE, 
设给定训练数据集T由n个样本点组成
|
(4) |
式中，xi∈Rn是输入样本, yi∈R是对应于xi的输出。对于非线性回归, 构造LS-SVR的近似回归函数如下
|
(5) |
式中, w为权向量, ϕ(x)为从输入空间x到高维特征空间的非线性映射, b为偏量。
根据结构风险最小化原则, MKL LS-SVR回归问题的目标函数和约束条件为
|
(6) |
式中, J(wk, b, e)为成本函数, μk为第k个核函数的权重值, ϕk(·)为从输入空间到高维特征空间的非线性映射, wk为ϕk(·)的权向量。由此，可以得到MKLS-SVR的预测模型为
|
(7) |
式中, α=[α1, α2, …, αn]T。
2 基于MKLS-SVR的剩余寿命预测方法 2.1 时间序列重构假设给定一个时间序列{x1, x2, …, xn}, 用xn-1, xn-2, …, xn-m来预测xn, 由此可以构建映射f:Rm→R, 其中(xn-1, xn-2, …, xn-m)∈Rm, xn∈R, 于是有
|
(8) |
式中, n为样本点个数, m为嵌入维数。
利用时间序列{x1, x2, …, xn}建模时, 为了充分利用给定的时间序列数据间的关系, 以建立更好的预测模型, 需将一维时间序列变换成二维矩阵的形式得到多个数据间的关联关系, 进而可获得尽量多的信息量[12], 建立自相关输入Xn-m={xn-m, xn-m+1, …, xn-1}和对应输出yn={xn}之间的映射关系
|
(9) |
|
(10) |
对于n个数据的已知时间序列, 可以构建n-m个样本对{(X1, ym+1), (X2, ym+2), …, (Xn-m, yn)}。其中Xi∈X, ym+i∈Y, i=1, 2, …, n-m。在构建预测模型的训练数据集和测试数据集时, 通常将这n-m个样本对分成两部分, 其中前k个样本用于对支持向量回归模型进行训练, 后n-m-k个样本用于验证训练好的支持向量回归模型的性能。
2.2 剩余寿命预测方法利用训练好的MKLS-SVR模型来预测电子设备寿命的特征参数, 将预测值和失效阈值比较, 进而可得到设备的剩余寿命预测值，MKLS-SVR的剩余寿命预测流程如图 1所示。
|
| 图 1 基于MKLS-SVR的电子设备剩余寿命预测流程 |
对任何预测模型而言, 预测值与真实值之间都会存在一定的误差, 通常采用均方根误差(RMSE)、绝对值误差(mean absolute error, MAE)和相对误差(relative percentage error, RPE)等评价指标来衡量模型预测效果的好坏。本文选用RMSE来衡量电子设备预测的效果。
3 仿真实验与分析选取某一航空电源转换装置为对象, 对提出基于MKLS-SVR的方法与传统的LS-SVR方法进行剩余寿命预测对比验证。
3.1 实验数据生成该电源转换装置的额定输出电压为2 V, 并以输出电压下降至额定输出电压的70%为寿命结束的标志, 即该电源转换装置的寿命失效阈值为1.4 V。在数据采集的实验中, 一共对该电源转换装置的输出电压进行了168次等时间间隔采样。由电源转换装置的输出电压退化数据, 绘制出输出电压与时间点之间的关系, 如图 2所示。
|
| 图 2 电源转换系统输出电压退化趋势 |
由图 2可以看出, 随着时间点的增加, 该电源转换装置的输出电压逐渐减少, 且原始数据中存在较为明显的噪声数据。为此, 在构建数据集之前, 需要对原始数据进行预处理。设原始数据集为X={xi|i=1, 2, …, n}, 新的数据集为X′={x′i|i=1, 2, …, n-k}, 其中
|
(11) |
这里根据原始数据集中数据的分布特点选取k=5。
仿真实验中, 取168个原始数据中的前129数据, 利用(11) 式得到125个数据作为仿真实验的数据集。125个原始数据和预处理后的数据如图 3所示。
|
| 图 3 电源转换系统的原始数据和预处理后的数据 |
由此, 选取嵌入维数m=4, 即xn=f(xn-1, xn-2, …, xn-4), 构建训练数据集和测试数据集。利用具有125个数据的数据集的前65个数据构成61个训练样本对, 用于对模型的训练, 训练样本对中的输入X1和对应的输出Y1分别为
|
(12) |
|
(13) |
用数据集的后64个数据构成60个测试样本对, 用于对模型的测试, 测试样本对中的输入为X2, 对应的输出为Y2
|
(14) |
|
(15) |
在采用LS-SVR方法建模时, 使用RBF核函数; 在使用MKLS-SVR方法建模时, 综合考虑实验所用数据集中数据的特点和计算复杂度, 通过将RBF核函数和线性核函数进行线性加权组合来构建模型的等价核函数。MKLS-SVR模型的等价核函数K(xi, xj)为
|
(16) |
式中, 
根据前节介绍, 先利用LS-SVR方法, 分别选用RBF核函数和线性核函数进行建模, 模型的最佳参数是使用传统的网格搜索法得到的; 然后, 分别利用在2种核函数下得到的最佳参数训练LS-SVR模型并进行预测, 进而得到采用不同核函数进行预测的RMSE; 最后, 利用(3) 式求出每个基核函数的权重μ1=0.59, μ2=0.41。
3.3 仿真结果分析本仿真实验在Windows XP操作系统下, 采用MatlabR2012a的LS-SVMlab1.8工具箱进行。
首先, 用构建好的61个训练样本对{(xi, yi)|i=1, 2, …, 61}对模型进行训练; 然后, 利用训练好的模型预测第66号至125号时序数据。
为了更为直观地呈现出LS-SVR方法和MKLS-SVR方法预测效果的优劣, 将二者的预测值绘制于同一张图中, 如图 4所示。同时, 给出这2种方法的预测误差和均方根误差RMSE, 其中预测误差如图 5所示, RMSE如表 1所示。
|
| 图 4 仿真预测结果 |
|
| 图 5 预测误差 |
从表 1和图 4、图 5可以看出, MKLS-SVR模型比LS-SVR模型具有更高的预测精度, 将该方法用于航空电子设备的剩余寿命预测将会得到更为精确的预测结果。
4 结论论文提出了一种基于MKLS-SVR模型, 并利用该模型进行航电设备的剩余寿命预测。该模型种等价核函数由不同的基核函数线性加权组合构成, 基核函数的权重值则是根据每个基核函数各自建模得到的均方根误差来确定, 具有较小均方根误差的基核函数将会得到较大的权值。对电源转换系统进行仿真验证, 结果表明, 与单核LS-SVR模型相比, 本文构建的MKLS-SVR模型具有更高的预测精度, 是一个切实有效的电子设备剩余寿命预测方法。
| [1] |
景博, 黄以锋, 张建业. 航空电子系统故障预测与健康管理技术现状与发展[J]. 空军工程大学学报:自然科学版, 2010, 11(6): 1-6.
Jing Bo, Huang Yifeng, Zhang Jianye. Status and Perspectives of Prognostics and Health Management Technology of Avionics System[J]. Journal of Airforce Engineering University(Natural Science Editon), 2010, 11(6): 1-6. (in Chinese) |
| [2] | Suykens J A K, Vandewalle J. Least Square Support Vector Machines[J]. IEEE Trans on Circuits and Systems-I, 2000, 47(7): 1109-1114. DOI:10.1109/81.855471 |
| [3] |
张寰. 非线性LS-SVM逆系统主动容错控制方法研究[D]. 兰州: 兰州理工大学, 2013 Zhang Huan. The Research on LS-SVM Inverse Active Fault-tolerant for Nonlinear System[D]. Lanzhou, Lanzhou University of Technology, 2013 (in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-10731-1013251654.htm |
| [4] | Tay F E H, Cao L. Application of Support Vector Machines in Financial Time Series Forecasting[J]. The International Journal of Management Science, 2001, 29: 309-317. |
| [5] | Guo Y M, Zhai Z J, Jiang H M. Weighted Prediction of Multi-Parameter Chaotic Time Series Using Least Squares Support Vector Regression[J]. Journal of Northwestern Polytechnical University, 2009, 27(1): 83-86. |
| [6] | Zhao Y H, Zhong P, Wang K N. Application of Least Squares Support Vector Regression Based On time Series in Prediction of Gas[J]. Journal of Convergence Information Technology, 2011, 6(1): 243-250. DOI:10.4156/jcit |
| [7] | Cristianini N, Ghaoui L E, Lanckriet G R, Bartlett P L, Jordan M I. Learning the Kernel Matrix with Semidefinite Programming[J]. Journal of Machine Learning Research, 2004, 5(1): 27-72. |
| [8] |
吴延增. 多核SVM在传感器动态建模和补偿中的研究[D]. 兰州: 兰州交通大学, 2013 Wu Yanzeng. Study on Sensor's Dynamic Modeling and Compensation Using Multiple Kernel Support Vector Machine[D]. Lanzhou, Lanzhou Jiaotong University, 2013 (in Chinese) http://www.cqvip.com/QK/90525A/201301/45270158.html |
| [9] | Bao Zhejing, Pi Daoying, Sun Youxian. Non-Linear Model Predictive Control Based On Support Vector Machine with Multi-Kerner[J]. Chinese Journal Chemical Engineering, 2007, 15(5): 691-697. DOI:10.1016/S1004-9541(07)60147-5 |
| [10] |
王佳. 混合核支持向量机参数优化及其应用研究[D]. 长沙: 长沙理工大学, 2011 Wang Jia. Research on Parameters Optimization and Application of Mixed Kernel Support Vector Machine[D]. Changsha, Changsha University of Science and Technology, 2011 (in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-10536-1012274251.htm |
| [11] | Guo Y M, Ran C B, Li X L, et al. Weighted Prediction Method with Multiple Time Series Using Multi-Kernel Least Squares Support Vector Regression[J]. Maintenance ande Reliability, 2013, 15(2): 188-194. |
| [12] |
吴兴伟, 王雷, 迟道才. 基于支持向量自回归的水泵振动预测模型研究[J]. 沈阳农业大学学报, 2008, 39(6): 708-712.
Wu Xingwei, Wang Lei, Chi Daocai. Water Pump Vibration Forecast Based-on Support Vector Autoregressive[J]. Journal of Shenyang Agricultural University, 2008, 39(6): 708-712. (in Chinese) |
2. Systems Engineering Research Institute of CSSC, Beijing 100094, China
