第一作者王波男，博士生，1982年9月

相關(guān)向量機及其在機械故障診斷中的應(yīng)用研究進展

王波1,2,劉樹林1,張宏利1,蔣超1

(1.上海大學(xué)機電工程與自動化學(xué)院,上海200072；2.滁州學(xué)院機械與電子工程學(xué)院,安徽滁州239000)

摘要：相關(guān)向量機是一種基于貝葉斯稀疏理論的新型機器學(xué)習(xí)算法，近年來被應(yīng)用于多個行業(yè)，并得到了國內(nèi)外學(xué)者的不斷關(guān)注和研究，然而在機械故障診斷領(lǐng)域還未得到足夠的重視。簡述了相關(guān)向量機的特點，通過與支持向量機相比較，闡述了相關(guān)向量機的優(yōu)缺點，綜述和分析了近年來相關(guān)向量機的國內(nèi)外研究現(xiàn)狀，重點關(guān)注相關(guān)向量機在機械設(shè)備狀態(tài)監(jiān)測與故障診斷領(lǐng)域的研究進展。在此基礎(chǔ)上，分析了相關(guān)向量機研究所存在的一些問題，并展望了相關(guān)向量機在機械故障診斷領(lǐng)域應(yīng)用的未來方向。

關(guān)鍵詞：故障診斷;相關(guān)向量機;智能診斷;研究進展

Advances about relevance vector machine and its applications in machine fault diagnosis

WANGBo1,2,LIUShu-lin1,ZHANGHong-li1,JIANGChao1(1. School of Mechatronics Engineering and Automation, Shanghai University, Shanghai 200072, China;2. School of Mechanical and Electronic Engineering, Chuzhou Institute, Chuzhou 239000, China)

Abstract:Relevance vector machine (RVM) is a new statistical machine learning algorithm based on the theory of sparse Bayesian learning and it has been applied in many fields in recent years. The researchers both at home and abroad have paid more and more attentions to RVM. However, it has not received enough attention in the area of mechanical fault diagnosis. The characteristics of RVM were presented, its advantages and disadvantages were described compared with support vector machine (SVM). The domestic and overseas research advances, especially, those in the field of mechanical fault diagnosis were reviewed. Moreover, some existing problems in current research were analyzed, and the research directions of RVM for the mechanical fault diagnosis in the future were prospected.

Key words:fault diagnosis; relevance vector machine; intelligent diagnosis; research progress

隨著現(xiàn)代工業(yè)的發(fā)展，機械設(shè)備日趨大型化、高速化、復(fù)雜化及自動化，設(shè)備故障的發(fā)生將造成更大的停產(chǎn)損失、更多的維護費用及更嚴重的安全隱患[1]。因此，機械設(shè)備狀態(tài)監(jiān)測及故障診斷技術(shù)引起世界各國的重視。目前，機械故障診斷的研究領(lǐng)域主要集中在以下兩個方面：①基于信號處理的故障診斷方法[2]，即利用現(xiàn)代信號分析處理技術(shù)對獲取的機械故障信號(振動信號、聲發(fā)射信號等)進行分析處理，提取出隱藏于復(fù)雜信號中的故障信號特征，主要方法有時域分析法、頻域分析法、時頻分析法及統(tǒng)計分析法等。②基于模式識別的故障智能診斷方法[3]，即結(jié)合信號特征提取技術(shù)構(gòu)造故障特征向量，采用人工神經(jīng)網(wǎng)絡(luò)、模糊邏輯、專家系統(tǒng)、支持向量機、相關(guān)向量機等模式識別和人工智能技術(shù)智能地診斷出設(shè)備故障。

智能故障診斷技術(shù)的不斷發(fā)展為實現(xiàn)機械設(shè)備故障診斷的智能化和自動化提供了可能。智能故障診斷技術(shù)本質(zhì)上是一個模式識別過程，對于相同的故障特征，分類識別器的性能至關(guān)重要。在智能故障診斷實施過程中，通過對已獲取的故障樣本進行學(xué)習(xí)獲得一個決策函數(shù)對未知的故障樣本進行預(yù)測診斷。機器學(xué)習(xí)領(lǐng)域知識的不斷更新促進了智能故障診斷技術(shù)的不斷發(fā)展。

縱觀機械智能故障診斷的發(fā)展過程，人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network, ANN)、支持向量機(Support Vector Machine, SVM)作為智能識別器在機械故障診斷領(lǐng)域得到了最為廣泛的關(guān)注和研究，取得了良好的應(yīng)用效果[3-5]。ANN是20世紀(jì)80年代誕生的基于神經(jīng)生理學(xué)概念的機器智能方法[6]，主要根據(jù)對自然神經(jīng)系統(tǒng)構(gòu)造和機理的認識，人們對由大量神經(jīng)細胞所構(gòu)成的復(fù)雜網(wǎng)絡(luò)建立一定的數(shù)學(xué)模型和算法，使它能夠?qū)崿F(xiàn)諸如模式識別、函數(shù)映射等智能功能，20世紀(jì)80年代到21世紀(jì)初成為機械故障診斷領(lǐng)域的研究熱點[7-8]。然而，ANN存在著需要大量的訓(xùn)練樣本、黑箱操作、較低的泛化能力及過學(xué)習(xí)等問題[9-10]。眾所周知，在工程實際中，獲取大量的典型故障樣本是一個難題。因此，實際中沒有大量故障樣本用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，即在機械故障診斷領(lǐng)域中涉及的通常是小樣本問題，限制了ANN在機械故障診斷中進一步的發(fā)展與應(yīng)用。

SVM是1995年由Vapnik提出的一種基于統(tǒng)計學(xué)習(xí)理論的非線性分類算法，通過非線性變換將輸入空間變換到高維空間，然后在這個新空間中求最優(yōu)分類面即最大間隔面，這種非線性變換是通過定義適當(dāng)?shù)膬?nèi)積核函數(shù)實現(xiàn)的。由于SVM具有處理小樣本問題的優(yōu)越性以及良好的泛化能力等優(yōu)點，克服了ANN一些難以克服的缺陷，得到了不同領(lǐng)域研究者的廣泛關(guān)注，產(chǎn)生了較多的理論和應(yīng)用研究成果。同時，在機械智能故障診斷領(lǐng)域也引起了研究者的充分關(guān)注[11-12]，成為該領(lǐng)域的研究熱點。然而，SVM也存在著一些缺點：①雖然所需的支持向量遠小于訓(xùn)練樣本數(shù)，但會隨著訓(xùn)練樣本集的增大線性增加，造成過擬合和計算時間的增加；②核函數(shù)必須滿足Mercer 條件，即核函數(shù)必須是正定連續(xù)對稱函數(shù)；③無法獲得概率式的預(yù)測，無法獲取預(yù)測中的不確定性；④需要估計折中系數(shù)C(回歸時需要估計不敏感參數(shù)ε)，通常采用交叉驗證的方法確定參數(shù)的值，不僅增加計算的時間，計算復(fù)雜度也會隨著訓(xùn)練樣本數(shù)的增加而增加。

為了解決或減少SVM的固有缺陷，研究者們做了大量的性能改進研究[13]。同時，一些新的機器學(xué)習(xí)算法被提出，其中Tipping[14-16]提出了一種基于貝葉斯理論的統(tǒng)計學(xué)新算法: 相關(guān)向量機(Relevance Vector Machine, RVM)，也有人稱之為“關(guān)聯(lián)向量機”。RVM相對于SVM有著以下一些優(yōu)點：①可以輸出預(yù)測值的后驗概率分布；②具有比SVM更加稀疏的決策函數(shù)，即需要比支持向量更少的相關(guān)向量即可獲得與SVM類似的分類準(zhǔn)確率；③核函數(shù)不需要滿足Mercer 條件，可以構(gòu)造更多的核函數(shù)。與SVM相比，RVM模型的稀疏性和預(yù)測的概率性兩個特點尤為突出，目前已應(yīng)用于許多領(lǐng)域，如腦電圖信號識別[17]、光譜圖像分類[18-20]、電力負荷預(yù)測[21]、電能質(zhì)量擾動[22-23]、分子研究[24]、臉部跟蹤[25]、運河流量預(yù)測[26]及水文地理[27]等。近年來，在機械故障診斷領(lǐng)域，也有一些RVM的應(yīng)用與研究不斷涌現(xiàn)[28-31]，然而，還沒有得到相關(guān)研究者的足夠重視。如前所述，工程實際中缺乏大量的典型故障樣本。因此，從理論上說，RVM對于處理小樣本問題更具有優(yōu)勢，更加適合處理工程實際問題。同時，RVM相對簡單的決策函數(shù)所需較少的計算時間更加適合在線診斷。

關(guān)鍵詞為了全面掌握RVM的研究現(xiàn)狀，以“relevance vector machine”為在Web of Science 數(shù)據(jù)庫中檢索到197篇文獻， 在中國知識資源總庫中以”相關(guān)向量機”、“關(guān)聯(lián)向量機”、“RVM”為關(guān)鍵詞檢索到文獻137篇。表1顯示了近年來發(fā)表論文的數(shù)目以及涉及機械故障診斷領(lǐng)域的數(shù)目和比例。

基金項目：國家自然科學(xué)基金(51175316);高等學(xué)校博士學(xué)科點專項科研基金(20103108110006);滁州學(xué)院規(guī)化研究項目(2014Gp0)

收稿日期：2013-11-01修改稿收到日期：2014-02-17

中圖分類號:Tp12；Tp13.3文獻標(biāo)志碼：A

從表1可見，近年來，涉及故障診斷領(lǐng)域相關(guān)文獻有逐漸增多的趨勢，不斷有新的研究成果見諸報道，應(yīng)用潛力也逐漸體現(xiàn)，然而機械故障診斷領(lǐng)域的相關(guān)研究與其他領(lǐng)域研究相比還不夠廣泛和深入。

表1　文獻分布一覽表

1相關(guān)向量機研究進展

近年來，針對RVM的研究主要集中在兩個方面：①RVM相關(guān)理論不斷完善和改進，主要對其理論框架存在的一些不足進行改進和優(yōu)化，如引入基于噪聲模型的平滑先驗?zāi)Ｐ涂刂芌VM的稀疏性[32]等；②實際應(yīng)用領(lǐng)域不斷擴展和延伸，主要包括分類問題和回歸問題等。

1.1理論研究

自從2000年Tipping提出RVM之后，相關(guān)的理論研究得到不斷深入，涌現(xiàn)出一批重要的研究成果。Bishop等[33]在RVM的基礎(chǔ)上提出了變分相關(guān)向量機(VRVM)的概念，用變分推理(Variational inference)代替RVM中的最大似然估計進行超參數(shù)估計，克服了RVM只對超參數(shù)進行點估計的缺點,給出了所有參數(shù)和超參數(shù)的后驗概率分布，但其計算量比RVM大。Tipping[15]全面闡述了RVM的理論框架，包括回歸和分類的基本原理，通過與SVM的全面對比，顯示了RVM的優(yōu)勢所在。Tipping[34]為了解決RVM訓(xùn)練過程中邊緣似然函數(shù)優(yōu)化速度較慢的問題，提出了一種快速的邊緣似然優(yōu)化算法，該算法利用邊緣似然函數(shù)的內(nèi)在屬性，通過初始化一個空的模型，逐步添加和刪除候選基函數(shù)的方法獲得稀疏模型，提高了RVM算法的運算性能。Tipping等[35]還研究了樣本數(shù)據(jù)的噪聲問題。由于RVM假設(shè)樣本數(shù)據(jù)的噪聲服從Gaussian分布，當(dāng)實際數(shù)據(jù)中存在異常噪聲點時會影響到預(yù)測精度，因此將Student-t噪聲分布應(yīng)用到VRVM中，研究表明該模型的魯棒性更強。Yang[36]提出了一種快速RVM訓(xùn)練算法，解決了大規(guī)模數(shù)據(jù)集訓(xùn)練時間過長的問題。訓(xùn)練分類器之前，采用Gram-Schmidt算法剔除一些依賴性點以減少訓(xùn)練樣本的數(shù)量，從而提高算法的訓(xùn)練速度。Schmolck 等[32]為了克服RVM核函數(shù)的參數(shù)選擇及其稀疏性問題，引入基于噪聲模型的平滑先驗?zāi)Ｐ涂刂芌VM的稀疏性；Yang等[37]為了提高RVM處理回歸問題的魯棒性，減小樣本數(shù)據(jù)中異常值對預(yù)測值的影響，提出了一種新的修剪相關(guān)向量機(Trimmed Relevance Vector Regression，TRVR)，選取數(shù)據(jù)集中不包含異常點的主要數(shù)據(jù)構(gòu)成新的子集(稱為修剪)，并通過最大化重新定義的修剪似然函數(shù)實現(xiàn)回歸；Silva等[38]針對RVM處理大數(shù)據(jù)集的不足，提出一種基于boosting算法的改進算法，構(gòu)建多個弱分類器，然后通過boosting技術(shù)和Adaboost算法構(gòu)建一個綜合性能更強的最終分類器以提高處理大數(shù)據(jù)集的分類精度。Li等[39]為了提高RVM在處理不平衡數(shù)據(jù)和噪聲等問題的性能，提出了一種模糊理論與RVM相結(jié)合的模糊RVM，主要通過對輸入樣本點分配不同的隸屬度函數(shù)區(qū)分不同樣本點對學(xué)習(xí)過程的影響以解決數(shù)據(jù)不平衡和噪聲問題；Silva等[40]提出一種改進的RVM算法以提高RVM處理大數(shù)據(jù)集的性能，采用分而治之思想，分別擴展成三種RVM算法處理不同的數(shù)據(jù)，保證訓(xùn)練樣本的充分利用。Tzikas等[41]提出一種自適應(yīng)的核函數(shù)學(xué)習(xí)方法，即核函數(shù)的參數(shù)在模型的訓(xùn)練過程中同樣也自動學(xué)習(xí)并獲得最優(yōu)的參數(shù)值，每一個核函數(shù)都能夠獲得不同的參數(shù)值，利用稀疏先驗控制模型參數(shù)的有效個數(shù)以避免過學(xué)習(xí)，并且可以靈活地組合多個不同核函數(shù)構(gòu)成不同的模型。Psorakis等[42]比較了兩種類型的多類多核RVM的稀疏性和分類準(zhǔn)確率，在此基礎(chǔ)上引入了新的模型收斂條件和樣本選擇方法，減少了計算的復(fù)雜度并提高了分類的整體性能；李剛等[43]研究了RVM中核參數(shù)的選擇問題，提出了一種基于遺傳算法的自動優(yōu)化核函數(shù)參數(shù)的方法，以適應(yīng)度函數(shù)為評判條件，高效地獲得了最優(yōu)解，提高了RVM的分類性能；張磊等[44]利用K近鄰(KNN)算法的優(yōu)點，將RVM與KNN相結(jié)合構(gòu)建了KNN-RVM分類器，以解決相關(guān)向量機(RVM)算法分類精度低及核參數(shù)選擇困難等問題；Fokoue等[45]為了解決RVM處理回歸問題中出現(xiàn)的Neyman-Scott問題，提出一種基于完全貝葉斯理論的、擴展的以及分層次的先驗結(jié)構(gòu)，克服了傳統(tǒng)RVM在對點進行估計時估計值不一致的現(xiàn)象；Clark等[46]提出了一種基于進化算法的多目標(biāo)優(yōu)化算法，對RVM的真陽性率、假陰性率和模型復(fù)雜度三個指標(biāo)之間進行了最佳的平衡優(yōu)化，實驗證明了該方法使RVM能夠在分類方面獲得更好的稀疏性；趙櫚等[47]提出了一種基于快速估計的相關(guān)向量機優(yōu)化算法，以解決RVM處理大規(guī)模數(shù)據(jù)時訓(xùn)練時間較長的問題。該算法利用閾值系數(shù)、約減最大上限并結(jié)合迭代估計，通過對訓(xùn)練樣本的超參進行快速預(yù)估計，去除訓(xùn)練集中大量的非相關(guān)向量以減小訓(xùn)練樣本規(guī)模，達到減少訓(xùn)練時間的目的。

從上述的國內(nèi)外研究現(xiàn)狀分析可知，RVM的理論研究主要領(lǐng)域可以歸結(jié)為以下三個方面：1)提高模型的訓(xùn)練速度。針對RVM模型處理大規(guī)模數(shù)據(jù)時存在訓(xùn)練時間過長及計算復(fù)雜度較高等缺點，通過優(yōu)化似然函數(shù)估計、減少訓(xùn)練樣本點個數(shù)及優(yōu)化處理策略等方法來減小計算的復(fù)雜度和提高訓(xùn)練速度以減少訓(xùn)練時間；2)核函數(shù)的改進與構(gòu)造。主要包括：①核函數(shù)參數(shù)的優(yōu)化。采用遺傳算法、粒子群算法等自適應(yīng)搜尋適合解決問題的最佳參數(shù)；②核函數(shù)的組合。對不同類型核函數(shù)在處理問題上的優(yōu)點進行綜合，提高處理問題的能力。③構(gòu)造新的核函數(shù)以提高模型的預(yù)測率；3)模型的改造和優(yōu)化。針對原始RVM模型的一些不足之處，特別是RVM在噪聲點分布假設(shè)的不足，為了提高RVM處理異常噪聲等問題的魯棒性，研究了不同的噪聲分布、改進模型框架、稀疏性控制及同其他理論融合等問題。

1.2應(yīng)用研究

在實際應(yīng)用領(lǐng)域，孫宗海等[48]首次將RVM引入到應(yīng)用領(lǐng)域，針對微生物發(fā)酵的傳感器故障診斷問題提出了兩個RVM分別作為觀測器和分類器的新診斷方法,其中觀測器用于產(chǎn)生殘差向量，分類器用于對殘差進行分類；幾乎同時，劉遵雄等[49]提出一種基于相關(guān)向量機的電力負荷中期預(yù)測新方法；Bowd等[50]首次引入RVM解決掃描激光偏振測定視網(wǎng)膜神經(jīng)纖維層的測量問題；同年，Wei等[51]利用RVM自動檢測乳房X線照片密聚鈣化點問題；Zhang等[52]利用RVM研究計算機視覺中目標(biāo)識別的多分類問題。這是國內(nèi)外應(yīng)用RVM解決實際問題的較早的相關(guān)文獻。隨著研究的不斷深入，RVM也引起了其他領(lǐng)域研究者的關(guān)注。近年來，除了應(yīng)用于故障診斷領(lǐng)域外，還主要集中在以下幾個研究領(lǐng)域：①高光譜圖像分類：楊國鵬等[53]分析了SVM在高光譜圖像分類中的不足，將RVM應(yīng)用于高光譜圖像分類中并驗證了其優(yōu)越性；董超等[54]采用遺傳算法優(yōu)化RVM中的最優(yōu)參數(shù)和特征子空間，提高了RVM在高光譜圖像中的識別精度；Mianji等[55]應(yīng)用RVM識別高光譜圖像并與其他方法進行了比較；張宇航等[56]全面分析比較了SVM和RVM在高光譜圖像中的應(yīng)用潛能；趙春暉等[57]提出一種改進的RVM模型用于高光譜分類，減少了樣本的訓(xùn)練時間；董超等[20]提出了最速上升算法結(jié)合RVM的方法，提高了高光譜圖像的分類精度。②電力負荷預(yù)測：劉遵等[49]針對電力負荷中期預(yù)測比較困難并且存在較大誤差的問題，提出了相關(guān)向量機的電力負荷中期預(yù)測新方法獲得較理想的效果；段青等[58]構(gòu)建了基于相關(guān)向量機的電力系統(tǒng)暫態(tài)穩(wěn)定評估模型，提高了預(yù)測精確度；孫志剛等[59]提出一種基于經(jīng)驗?zāi)B(tài)分解(empirical mode decomposition)與RVM相結(jié)合的電力短期負荷預(yù)測方法，該方法通過EMD將目標(biāo)負荷序列分解為多個IMF,對不同的IMF分別進行RVM預(yù)測，組合各個預(yù)測值得到最終預(yù)測值。③醫(yī)學(xué)影像處理：Wei等[51]首次將RVM引入到醫(yī)學(xué)圖像處理領(lǐng)域，實現(xiàn)自動檢測乳房X線照片密聚鈣化點，取得了很好的效果；Gholami 等[60]運用RVM對新生兒的臉部表情圖像進行處理，對新生兒的疼痛程度進行量化評估；姚暢等[61]研究了乳腺X線圖像中微鈣化點簇的處理問題，利用自適應(yīng)核學(xué)習(xí)相關(guān)向量機方法以及形態(tài)學(xué)濾波和Kallergi分簇標(biāo)準(zhǔn), 采用形態(tài)學(xué)處理濾除干擾噪聲, 用自適應(yīng)核學(xué)習(xí)相關(guān)向量機作為分類器判別某個位置是否為微鈣化點，對判定位的微鈣化點采用Kallergi標(biāo)準(zhǔn)最后進行分簇。該方法能夠降低微鈣化點簇的處理時間；張勝君[62]提出了一種基于RVM的乳腺X線圖像結(jié)構(gòu)扭曲檢測新方法，該方法首先利用小波變換對圖像區(qū)域提取特征訓(xùn)練識別模型，利用RVM對測試樣本進行識別分類得到最終的檢測結(jié)果。

應(yīng)用領(lǐng)域的不斷擴展同樣也促使了RVM研究的不斷深入。從RVM的功能上來看，應(yīng)用領(lǐng)域研究主要集中在兩個方面：①利用RVM的分類識別功能提高某個領(lǐng)域的分類識別率，對一些特定的領(lǐng)域采用一些不同的分類策略以達到較好的實際效果。在實際應(yīng)用中，為了得到較高的識別率，在核函數(shù)的選擇、核函數(shù)參數(shù)的優(yōu)化及模型的優(yōu)化等方面進行了相關(guān)研究；②依據(jù)領(lǐng)域先驗知識，利用RVM的回歸功能對某些時間序列進行預(yù)測或變化過程進行評估，并輸出概率性的預(yù)測值。從目前的研究現(xiàn)狀來看，應(yīng)用研究比較活躍，所提出的一些方法主要是為解決不同領(lǐng)域的實際問題，而針對RVM的理論研究還比較欠缺。

2相關(guān)向量機在機械故障診斷領(lǐng)域的應(yīng)用研究

從廣義的機械故障診斷技術(shù)來說，不僅包含單純診斷故障的類型，而且對機械壽命的預(yù)測和性能退化評估也屬于此范疇[63]，是對現(xiàn)有機械故障診斷領(lǐng)域的拓展和延伸。近年來，RVM在機械故障診斷領(lǐng)域的相關(guān)研究也不斷擴展。

2.1故障診斷

陶新民等[64]針對軸承故障檢測問題，以重構(gòu)相空間投影系數(shù)為軸承故障特征，提出一種基于RVM的故障檢測方法，實驗結(jié)果表明了該方法在檢測速度方面的優(yōu)越性；周小英等[28]針對齒輪故障檢測中缺少故障樣本的問題, 構(gòu)造一個可分性評價指標(biāo)進行特征選擇，僅利用正常運行的樣本數(shù)據(jù)，將RVM用于單值分類成功檢測出了齒輪故障。Widodo等[65]利用低速軸承故障的聲發(fā)射信號和振動加速度信號，用主成分分析對原始數(shù)據(jù)進行降維和特征提取，然后輸入RVM和SVM進行故障識別，并對結(jié)果進行了對比分析；何創(chuàng)新等[66]對齒輪早期故障診斷進行了研究，通過小波包變換與Fisher準(zhǔn)則結(jié)合提取出具有最大分類能力的全局最優(yōu)特征，輸入到RVM中訓(xùn)練故障診斷模型，同時對連續(xù)監(jiān)測的特征值進行滑動平均濾波，最后輸入到故障診斷模型中進行在線故障診斷；Li等[30]提出一種針對齒輪早期故障探測的新方法，該方法將十個時域故障特征和小波包能量組成特征集，利用Fisher判別挑選出最優(yōu)的二維特征向量,輸入到RVM進行訓(xùn)練獲得故障診斷模型，并與SVM進行了對比；He等[31]通過改進的Fisher準(zhǔn)則對滾動軸承的每兩類故障分別選取出最優(yōu)的小波包能量特征，輸入到RVM進行分類。其中提出了一種可變半徑的徑向基核函數(shù)，克服了徑向基核函數(shù)的一些缺點，通過實驗驗證了方法的有效性；吳定海等[67]針對連續(xù)小波時頻分布計算量大及分析速度慢等問題，通過對柴油機缸蓋振動信號中提取的雙數(shù)復(fù)小波包特征進行特征優(yōu)選并形成最優(yōu)特征向量集，結(jié)合RVM的優(yōu)越性能，實現(xiàn)了柴油機的故障診斷，提高了診斷速度和診斷率。周勇等[68]提出一種基于獨立特征選擇與RVM相結(jié)合的智能故障診斷模型，并用于變載荷條件下識別多類軸承故障及其故障程度，獲得了很高的診斷率。Vong等[69]利用發(fā)動機點火模式和先驗知識診斷汽車發(fā)動機的并發(fā)故障，通過結(jié)合RVM診斷并發(fā)故障和單一故障，取得了比其他方法更好的效果；Van等[70]首次將熱成像技術(shù)應(yīng)用于旋轉(zhuǎn)機械故障診斷中，通過改進的EMD對旋轉(zhuǎn)機械各種狀態(tài)下獲取的熱成像進行圖像增強，然后對增強的熱成像進行特征提取并輸入到RVM進行診斷，為旋轉(zhuǎn)機械的故障診斷提供了新思路；Du等[71]將RVM應(yīng)用于汽車起重機活塞泵的故障診斷中，采用粒子群優(yōu)化算法優(yōu)化核函數(shù)參數(shù)，提高了故障的診斷率；Wang 等[72]提出了基于 RVM的故障診斷模型，提取滾動軸承的小波包能量作為故障特征，利用核主成分對故障特征進行降維后輸入到診斷模型中，獲得了很好的診斷效果。

從上述文獻可見，對于處理機械故障樣本缺乏等此類小樣本問題，RVM應(yīng)用于機械智能診斷的診斷率與SVM相當(dāng)，決策函數(shù)所需的相關(guān)向量遠小于SVM的支持向量數(shù)，故障的診斷時間大為減少。與人工神經(jīng)網(wǎng)絡(luò)相比，具有更高的診斷率和更快的診斷速度。因此，RVM在機械故障診斷領(lǐng)域中具有更高的應(yīng)用價值和發(fā)展前景。

2.2退化評估與壽命預(yù)測

Caesarendra等[73]首次結(jié)合RVM和邏輯斯特回歸(Logistic Regression,LR)評估軸承性能的退化和預(yù)測軸承發(fā)生失效的時間。以軸承振動信號峭度值作為故障特征，用LR計算軸承全壽命數(shù)據(jù)的失效概率，并與峭度共同作為RVM的輸入值來訓(xùn)練預(yù)測模型。仿真數(shù)據(jù)和實驗數(shù)據(jù)都很好地驗證了該方法的可行性及有效性；張磊等[74]提出一種基于RVM回歸的故障預(yù)測方法，通過對全壽命數(shù)據(jù)的學(xué)習(xí)獲取RVM回歸模型，實現(xiàn)對故障未來變化趨勢的預(yù)測，其輸出結(jié)果為系統(tǒng)剩余壽命的隨機分布形式，提供了概率式的預(yù)測形式，更加符合實際情況。胡昌華等[75]針對非線性動態(tài)系統(tǒng)難以建立準(zhǔn)確的系統(tǒng)故障狀況數(shù)據(jù)模型問題，提出了RVM與模糊推理系統(tǒng)(Fuzzy Inference System, FIS)相融合的模糊模型辨識方法，提出了一種新的故障預(yù)測方法；Widodo等[76]提出一種基于RVM和生存概率(Survival Probability)的滾動軸承性能退化評估和失效時間預(yù)測的新方法，提取軸承故障信號的峰度、峭度和熵作為故障特征，構(gòu)造軸承的生存函數(shù)并計算生存概率，其值作為訓(xùn)練RVM的目標(biāo)向量并得出預(yù)測模型，用模擬數(shù)據(jù)和實驗數(shù)據(jù)對預(yù)測模型進行了驗證；范庚等[77]提出一種灰色RVM故障預(yù)測模型以解決小樣本條件下的故障預(yù)測問題。利用RVM在處理小樣本數(shù)據(jù)的優(yōu)勢，根據(jù)特征數(shù)據(jù)建立其離散灰色模型(Discrete Grey Model, DGM), 以DGM的預(yù)測值作為訓(xùn)練RVM預(yù)測模型的輸入值，由建立的DGM和RVM回歸預(yù)測模型組合得到灰色RVM故障預(yù)測模型,并通過引入新陳代謝過程,不斷更新數(shù)據(jù)中的信息，實驗結(jié)果驗證了模型預(yù)測性能的優(yōu)越性；Di等[78]嘗試結(jié)合RVM與指數(shù)回歸(Exponential Regression)對推力軸承的剩余壽命進行估計。該方法利用了基于數(shù)據(jù)驅(qū)動和基于模型兩種估計方法的優(yōu)點，采用RVM獲取較少的稀疏數(shù)據(jù)集，然后利用指數(shù)回歸模型對軸承進行剩余壽命預(yù)測，實驗結(jié)果與傳統(tǒng)方法相比顯示了該方法的優(yōu)越性；范庚等[79]研究了RVM在航空發(fā)動機性能參數(shù)預(yù)測方面的應(yīng)用，提出一種組合優(yōu)化相關(guān)向量機的概率預(yù)測方法以解決航空發(fā)動機性能參數(shù)預(yù)測過程中存在的不確定因素等問題。其基本思想是對不同的隨機分量和趨勢分量分別建立各自的RVM回歸預(yù)測模型，并利用量子粒子群優(yōu)化算法對回歸模型中的參數(shù)進行自適應(yīng)的優(yōu)化，最后對各個模型的預(yù)測均值及方差綜合得到了最終預(yù)測值的概率分布，提高了預(yù)測值的可靠性和精度。

由于機械設(shè)備運行環(huán)境的復(fù)雜性和多變性，故障的發(fā)展過程是不確定的。常用的方法，如SVM與ANN，其回歸的輸出值是對一個點的值估計。實際應(yīng)用中，理想的輸出是希望得到某點較小誤差的置信區(qū)間，即概率預(yù)測。因此，概率式預(yù)測比較符合實際應(yīng)用。以上相關(guān)的研究正是嘗試利用RVM的概率預(yù)測方式和處理小樣本的能力，提高退化評估和壽命預(yù)測的精度和可靠性。

3相關(guān)向量機存在的問題

(1)樣本訓(xùn)練時間較長

RVM模型的權(quán)重是通過由超參數(shù)一對一支配，其值是通過數(shù)據(jù)反復(fù)迭代進行估計的，因此樣本的訓(xùn)練時間相對于SVM來說較長，文獻[30]也充分證明了這一問題。由于RVM在決策模型的訓(xùn)練過程中，每次迭代過程需要對超參數(shù)進行更新，必須進行參數(shù)的后驗分布計算和積分、權(quán)重向量后驗分布對應(yīng)的協(xié)方差矩陣求逆等操作，因此，當(dāng)RVM處理大規(guī)模數(shù)據(jù)時就存在著訓(xùn)練時間過長及計算復(fù)雜度較高等缺點，勢必會造成在模型的訓(xùn)練階段消耗大量的時間和內(nèi)存。因此，應(yīng)用于大規(guī)模數(shù)據(jù)時必須突破這一瓶頸。然而，對減少訓(xùn)練時間的相關(guān)研究還沒有得到充分的開展。

(2)核函數(shù)選擇問題

決策模型的核函數(shù)不需要滿足Mercer條件是RVM的一個核心優(yōu)勢。RVM的決策過程與SVM類似，輸入樣本(測試樣本)與一系列模板樣本(樣本訓(xùn)練過程中決定的相關(guān)向量)進行相似性比較，采用的相似性度量即為核函數(shù)。采用不同的核函數(shù)可以看作是選擇不同的相似性度量。SVM選用核函數(shù)時需要考慮核函數(shù)是否滿足Mercer條件，主要是因為如果不滿足可能會導(dǎo)致SVM的目標(biāo)函數(shù)不是凸函數(shù)而導(dǎo)致解的不唯一，從而限制新的核函數(shù)的產(chǎn)生。RVM的決策過程避免了這個缺點，因此應(yīng)該根據(jù)相關(guān)領(lǐng)域的相應(yīng)知識和先驗知識定義一些特殊的核函數(shù)以取得更佳的應(yīng)用效果。雖然有些文獻對核函數(shù)的選擇問題給出了一些建議，但是仍然缺乏理論指導(dǎo)。

(3)多分類問題

RVM與SVM類似，作為分類器最初也是解決二分類問題。診斷機械多故障問題則屬于多分類問題。解決多分類問題主要有兩種思路，一是把多類問題分解成多個兩類問題，通過多個二類分類器實現(xiàn)多分類，其中最常用的有兩種方法: “一對多”和“一對一”方法。另一種思路是直接設(shè)計多分類器。雖然理論上RVM的模型框架可以直接解決多分類問題，但是由于隨著類別數(shù)的增加，模型在構(gòu)建過程中的海森矩陣也會變大，造成計算復(fù)雜度的增加。因此在實際應(yīng)用過程中往往不采用直接方法進行多分類。相關(guān)的研究表明，“一對一”方法在分類表現(xiàn)上更優(yōu)越，但是當(dāng)樣本的類別較多時，“一對一”方法需要構(gòu)造大量的兩類分類器，將會造成樣本在訓(xùn)練過程中耗費大量的時間。在研究SVM的多分類時，還有一些其他解決多分類的方法，如有向無環(huán)圖、二叉樹、糾錯編碼方法等[5]。此外，RVM也可以借鑒SVM解決多分類問題的相關(guān)策略。

(4)模型的魯棒性

理論上SVM對噪聲點比較敏感，噪聲的存在限制了訓(xùn)練樣本能否被很好的分開。雖然使用了折中系數(shù)C進行調(diào)節(jié)，但是C的選擇往往是經(jīng)驗性的，如何確定C的值依然缺乏理論依據(jù)。RVM引入了概率式模型解決噪聲的影響，同時也得到了概率式的預(yù)測值，這是RVM的核心所在。然而，RVM模型假設(shè)噪聲是滿足正態(tài)分布的，但是實際中噪聲的分布不一定符合正態(tài)分布， RVM處理此類問題的預(yù)測精度無法滿足要求。因此，需要通過優(yōu)化模型提高RVM的魯棒性。

4未來研究的發(fā)展方向

從智能故障診斷的實際應(yīng)用觀點來看，理想的智能分類器應(yīng)該對各種故障發(fā)生的可能性給出具體的概率值。由于技術(shù)層面上的不足，智能故障診斷方法還不可能精確地識別各種故障類型。因此，采用概率輸出型的智能分類器更加適合于機械故障診斷領(lǐng)域，RVM概率輸出的特點恰好符合了這個要求。

RVM是一個比較新穎的機器學(xué)習(xí)方法, 應(yīng)用于機械故障診斷領(lǐng)域的時間也較短，一些關(guān)鍵問題有待完善和發(fā)展，以本人淺見，未來的研究方向應(yīng)該主要集中在以下幾個方面：

(1)多故障診斷

機械故障通常是多種故障同時發(fā)生，診斷多故障問題就涉及到多分類的識別率問題。如前所述，應(yīng)用RVM診斷多故障實際上是二分類擴展到多分類。SVM多分類問題的研究為RVM解決多分類問題提供了理論借鑒，然而這些解決多分類的策略也存在著不足[5]，需要研究更好的多分類RVM以減少故障的誤診率。

(2)核函數(shù)選擇和構(gòu)造

核函數(shù)的選擇對于最終診斷率具有很大的影響，至今也未形成完整的理論體系?；诤朔椒ǖ母鞣N理論中，最常用的核函數(shù)是高斯徑向基函數(shù)和多項式核，但高斯核是一種局部核，不能全局的反映數(shù)據(jù)之間的關(guān)系；多項式核是一種全局核，但其計算量較大，也影響了實際應(yīng)用。每一種核函數(shù)都有其優(yōu)缺點，通常采用單個核函數(shù)處理問題，并未發(fā)揮不同函數(shù)的優(yōu)點。RVM模型中采用多種核函數(shù)的聯(lián)合應(yīng)用是一種新策略，如文獻[79]線性聯(lián)合使用多個核函數(shù)代替單個核函數(shù)。如何合理地聯(lián)合使用不同類型的核函數(shù)應(yīng)該受到關(guān)注。為了充分發(fā)揮RVM的優(yōu)勢，研究者應(yīng)該設(shè)計一些新的核函數(shù)以滿足實際的應(yīng)用。然而從相關(guān)文獻的綜述可以看出，研究者在實際的研究與應(yīng)用過程中大都采用常用的核函數(shù)，新型核函數(shù)的構(gòu)造還需深入研究。

(3)融合其他智能算法

人工智能和模式識別發(fā)展至今，涌現(xiàn)了大量的智能算法。然而，沒有哪一種智能算法是完美無缺的，各種算法在某個領(lǐng)域或某個角度都有著自己獨特的優(yōu)勢，同時也存在著各自的缺點。利用不同方法的優(yōu)勢，不同智能算法的融合，“揚長避短，優(yōu)勢互補”是當(dāng)前機械故障智能診斷發(fā)展的主流思路[3]。目前智能算法的結(jié)合大多數(shù)是“物理變化”，即僅僅是利用各自的優(yōu)勢，相互之間沒有真正的融合，還有許多工作有待開展。

(4)RVM在壽命預(yù)測與退化評估中的應(yīng)用

機械設(shè)備的性能退化評估和壽命預(yù)測是對故障診斷領(lǐng)域研究思路的拓展，是智能維護技術(shù)研究重點和熱點問題，然而，針對機械設(shè)備性能退化評估及壽命預(yù)測研究還處于初級階段?；跀?shù)據(jù)驅(qū)動的預(yù)測研究是當(dāng)前比較流行的研究方向，克服了基于模型預(yù)測技術(shù)的不足，但需要大量全壽命數(shù)據(jù)以獲得較高的預(yù)測準(zhǔn)確率，而實際上獲取大量的全壽命數(shù)據(jù)樣本是相當(dāng)困難的一項工作。RVM在處理小樣本數(shù)據(jù)上的優(yōu)勢以及概率式的預(yù)測彌補了基于數(shù)據(jù)驅(qū)動預(yù)測技術(shù)的不足，相關(guān)的應(yīng)用研究也得到了開展，但研究還不夠深入。

5結(jié)論

RVM結(jié)合了核方法和貝葉斯理論的優(yōu)點，既可以解決非線性問題，又確保了決策函數(shù)的稀疏性。RVM將概率模型引入SVM中，改善了SVM對噪聲處理的缺陷，并增加了概率式預(yù)測的優(yōu)點，是一種魯棒性很高的新型機器學(xué)習(xí)算法。RVM具有其他機器學(xué)習(xí)方法無法比擬的一些優(yōu)勢，克服了ANN以及SVM的一些固有的缺陷，在機械故障診斷領(lǐng)域及其他領(lǐng)域得到重視。相關(guān)的研究證明了RVM應(yīng)用于機械故障診斷領(lǐng)域的可行性和高效性。不僅如此，RVM的概率輸出符合技術(shù)人員實際的機械故障診斷過程，具有很高的應(yīng)用研究價值。在本文中，簡述了RVM的特點，綜述了RVM的研究現(xiàn)狀及其在機械故障診斷的研究進展，在此基礎(chǔ)上，討論了RVM研究中的一些問題及發(fā)展方向。其目的是較全面地展示RVM的優(yōu)勢和研究現(xiàn)狀，引起廣大研究者的關(guān)注，特別是引起從事機械故障診斷領(lǐng)域相關(guān)研究者的重視。RVM作為一種新型的機器學(xué)習(xí)算法，其理論框架還未完全成熟，還有許多問題有待完善和解決，值得相關(guān)學(xué)者開展更加深入的研究。

參考文獻

[1]鐘秉林, 黃仁. 機械故障診斷學(xué)[M]. 北京：機械工業(yè)出版社, 2007：1-11.

[2]周福昌, 陳進, 何俊, 等. 循環(huán)平穩(wěn)信號處理在機械設(shè)備故障診斷中的應(yīng)用綜述[J]. 振動與沖擊, 2006, 25(5): 148-152.

ZHOU Fu-chang, CHEN Jin, HE Jun, et al. Survey of the application of cyclostationary signal processing in machinery fault diagnosis[J]. Journal of Vibration and Shock, 2006,25(5):148-152.

[3]雷亞國, 何正嘉. 混合智能故障診斷與預(yù)示技術(shù)的應(yīng)用進展[J]. 振動與沖擊, 2011,30(9):129-135.

LEI Ya-guo, HE Zheng-jia. Advances in applications of hybrid intelligent fault diagnosis and prognosis technique[J]. Journal of Vibration and Shock, 2011,30(9):129-135.

[4]王長林, 陳鴻寶, 林瑋, 等. SVM模式識別技術(shù)及在機械故障診斷中的應(yīng)用進展[J]. 桂林電子科技大學(xué)學(xué)報, 2009,29(3):256-259.

WANG Chang-lin, CHEN Hong-bao, LIN Wei, et al. Pattern recognition based on support vector machine and its application in fault diagnosis[J]. Journal of Guilin University of Electronic Technology, 2009,29(3):256-259.

[5]袁勝發(fā), 褚福磊. 支持向量機及其在機械故障診斷中的應(yīng)用[J]. 振動與沖擊, 2007,26(11):29-35.

YUAN Sheng-fa,CHU Fu-lei. Support vector machines and its applications in machine fault diagnosis[J]. Journal of Vibration and Shock, 2007,26(11):29-35.

[6]Wu J D, Chan J J. Faulted gear identification of a rotating machinery based on wavelet transform and artificial neural network[J]. Expert Systems with Applications, 2009,36(5): 8862-8875.

[7]程軍圣, 史美麗, 楊宇. 基于LMD與神經(jīng)網(wǎng)絡(luò)的滾動軸承故障診斷方法[J]. 振動與沖擊, 2010,29(8):141-144.

CHENG Jun-sheng, SHI Mei-li, YANG Yu. Roller bearing fault diagnosis method based on LMD and neural network[J]. Journal of Vibration and Shock, 2010,29(8):141-144.

[8]向家偉, 陳雪峰, 何正嘉. 基于神經(jīng)網(wǎng)絡(luò)的短粗轉(zhuǎn)軸裂紋診斷研究[J]. 振動與沖擊, 2007,26(11):20-24.

XIANG Jia-wei, CHEN Xue-feng, HE Zheng-jia. Study on crack diagnosis for podgy shaft based on neural network[J]. Journal of Vibration and Shock, 2007,26(11):20-24.

[9]Jayaswal P, Verma S N, Wadhwani A K. Development of EBP-Artificial neural network expert system for rolling element bearing fault diagnosis[J]. Journal of Vibration and Control, 2011,17(8):1131-1148.

[10]Moosavian A, Ahmadi H, Tabatabaeefar A, et al. Comparison of two classifiers; K-nearest neighbor and artificial neural network, for fault diagnosis on a main engine journal-bearing[J]. Shock and Vibration, 2013,20(2):263-272.

[11]湯寶平, 李鋒, 陳仁祥. 基于Littlewood-Paley小波支持向量機的故障診斷[J]. 振動與沖擊, 2011,30(1):128-131.

TANG Bao-ping, LI Feng, CHEN Ren-xiang. Fault diagnosis based on Littlewood-Paley wavelet support vector machine[J]. Journal of Vibration and Shock, 2011,30(1):128-131.

[12]趙志宏，楊紹普，申永軍.基于獨立分量分析與相關(guān)系數(shù)的機械故障特征提取[J].振動與沖擊,2013,32(6):67-72.

ZHAO Zhi-hong,YANG Shao-pu,SHEN Yong-jun. Machinery fault feature extraction based on independent component analysis and correlation coefficient[J].Journal of Vibration and Shock,2013,32(6):67-72.

[13]Widodo A, Yang B S. Support vector machine in machine condition monitoring and fault diagnosis[J]. Mechanical Systems and Signal Processing, 2007,21(6):2560-2574.

[14]Tipping M. The relevance vector machine, 2000[C]. Proceedings of Advances in Neural Information Processing Systems. Cambridge,2000:652-658.

[15]Tipping M E. Sparse Bayesian learning and the relevance vector machine[J]. Journal of Machine Learning Research, 2001,1(3):211-244.

[16]Tipping M E. Bayesian inference: An introduction to principles and practice in machine learning[J]. Advanced Lectures on Machine Learning, 2004,3176:41-62.

[17]Lima C, Coelho A, Chagas S. Automatic EEG signal classification for epilepsy diagnosis with Relevance Vector Machines[J]. Expert Systems with Applications, 2009,36(6):10054-10059.

[18]楊國鵬, 周欣, 余旭初, 等. 基于相關(guān)向量機的高光譜影像混合像元分解[J]. 電子學(xué)報, 2010,38(12):2751-2756.

YANG Guo-peng, ZHOU Xin, YU Xu-chu, et al. Relevance vector machine for hyperspectral imagery unmixing[J]. Acta Electronica Sinica, 2010,38(12):2751-2756.

[19]趙春暉, 張燚, 王玉磊. 基于小波核主成分分析的相關(guān)向量機高光譜圖像分類[J]. 電子與信息學(xué)報, 2012,34(8):1905-1910.

ZHAO Chun-hui, ZHANG Yi, WANG Yu-lei. Relevant vector machine classification of hyperspectral image based on wavelet kernel principal component analysis[J].Journal of Electronics & Information Technology,2012,34(8):1905-1910.

[20]董超, 田聯(lián)房. 最速上升關(guān)聯(lián)向量機高光譜影像分類[J]. 光學(xué)精密工程, 2012,20(6):1398-1405.

DONG Chao, TIAN Lian-fang. Hyperspectral image classification by steepest ascent relevance vector machine[J]. Optics and Precision Engineering, 2012,20(6):1398-1405.

[21]段青, 趙建國, 馬艷. 優(yōu)化組合核函數(shù)相關(guān)向量機電力負荷預(yù)測模型[J]. 電機與控制學(xué)報, 2010,14(6):33-38.

DUAN Qing, ZHAO Jian-guo, MA Yan. Relevance vector machine based on particle swarm optimization of compounding kernels in electricity load forecasting[J]. Electric Machines and Control, 2010,14(6):33-38.

[22]呂干云, 方奇品. 利用關(guān)聯(lián)向量機和S變換識別電能質(zhì)量擾動[J]. 高電壓技術(shù), 2010,36(10):2565-2569.

Lü Gan-yun ,FANG Qi-pin. Classification of power quality disturbances using RVM and S-transform[J]. High Voltage Engineering, 2010,36(10):2565-2569.

[23]沈躍, 劉國海, 劉慧. 基于改進S變換和貝葉斯相關(guān)向量機的電能質(zhì)量擾動識別[J]. 控制與決策, 2011,26(4):587-591.

SHEN Yue, LIU Guo-hai, LIU Hui. Classification identification of power quality disturbances based on modified S-transform and Bayes relevance vector machine[J]. Control and Decision, 2011,26(4):587-591.

[24]Zhang W, Liu J, Niu Y Q. Quantitative prediction of MHC-Ⅱ peptide binding affinity using relevance vector machine[J]. Applied Intelligence, 2009,31(2):180-187.

[25]Shen S H, Liu Y C. Efficient multiple faces tracking based on Relevance Vector Machine and Boosting learning[J].Journal of Visual Communication and Image Representation, 2008,19(6):382-391.

[26]Flake J, Moon T K, McKee M, et al. Application of the relevance vector machine to canal flow prediction in the Sevier River Basin[J]. Agricultural Water Management, 2010,97(2):208-214.

[27]Tripathi S, Govindaraju R S. On selection of kernel parametes in relevance vector machines for hydrologic applications[J]. Stochastic Environmental Research and Risk Assessment, 2007,21(6):747-764.

[28]周曉英, 李巍華, 丁康. 基于關(guān)聯(lián)向量機的齒輪故障檢測方法研究[J]. 振動與沖擊, 2008,27(6):51-54.

ZHOU Xiao-Ying, LI Wei-Hua, DING Kang. Gear fault detection based on relevance vector machine[J]. Journal of Vibration and Shock, 2008,27(6):51-54.

[29]Widodo A, Yang B S, Kim E Y, et al. Fault diagnosis of low speed bearing based on acoustic emission signal and multi-class relevance vector machine[J]. Nondestructive Testing and Evaluation, 2009,24(4):313-328.

[30]Li N, Liu C, He C, et al. Gear fault detection based on adaptive wavelet packet feature extraction and relevance vector machine[J]. Proceedings of the Institution of Mechanical Engineers Part C-Journal of Mechanical Engineering Science, 2011,225(C11):2727-2738.

[31]He C, Liu C, Li Y, et al. Intelligent fault diagnosis of rotating machinery based on multiple relevance vector machines with variance radial basis function kernel[J]. Proceedings of the Institution of Mechanical Engineers Part C-Journal of Mechanical Engineering Science, 2011,225(C7):1718-1729.

[32]Schmolck A, Everson R. Smooth relevance vector machine: a smoothness prior extension of the RVM[J]. Machine Learning, 2007,68(2):107-135.

[33]Bishop C M, Tipping M E. Variational relevance vector machines, 2000[C]. Proceedings of the 16th Conference on Uncertainty in Artificial Intelligence,2000:46-53.

[34]Tipping M E, Faul A C, Others. Fast marginal likelihood maximisation for sparse Bayesian models, 2003[C]. Proceedings ofthe Ninth International Workshop on Artificial Intelligence and Statistics. Key West,Florida,2003:1-13.

[35]Tipping M E, Lawrence N D. Variational inference for Student-t models: Robust Bayesian interpolation and generalised component analysis[J]. Neurocomputing, 2005,69(1-3):123-141.

[36]Yang Z R. A fast algorithm for relevance vector machine[J]. Intelligent Data Engineering and Automated Learning-Ideal 2006, Proceedings, 2006,4224:33-39.

[37]Yang B, Zhang Z, Sun Z. Robust relevance vector regression with trimmed likelihood function[J]. IEEE Signal Processing Letters, 2007,14(10):746-749.

[38]Silva C, Ribeiro B, Sung A H. Boosting RVM classifiers for large data sets[M].Adaptive and Natural Computing Algorithms. Springer, 2007:228-237.

[39]Li D F, Hu W C, Xiong W, et al. Fuzzy relevance vector machine for learning from unbalanced data and noise[J]. Pattern Recognition Letters, 2008,29(9):1175-1181.

[40]Silva C, Ribeiro B. Towards expanding relevance vector machines to large scale datasets[J]. International Journal of Neural Systems, 2008,18(1):45-58.

[41]Tzikas D G, Likas A C, Galatsanos N P. Sparse Bayesian modeling with adaptive kernel learning[J]. IEEE Transactions on Neural Networks, 2009,20(6):926-937.

[42]Psorakis I, Damoulas T, Girolami M A. Multiclass relevance vector machines: sparsity and accuracy[J]. IEEE Transactions on Neural Networks,2010,21(10):1588-1598.

[43]李剛, 王貴龍, 薛惠鋒. RVM核參數(shù)的遺傳算法優(yōu)化方法[J]. 控制工程, 2010,17(3):335-337.

LI Gang, WANG Gui-Long, XUE Hui-feng. GA optimizing method to kernel function parameters of RVM[J]. Control Engineering of China, 2010,17(3):335-337.

[44]張磊, 劉建偉, 羅雄麟. 基于KNN和RVM的分類方法-KNN-RVM分類器[J]. 模式識別與人工智能, 2010,23(3):376-384.

ZHANG Lei, LIU Jian-Wei, LUO Xiong-Lin. KNN and RVM based classification method: KNN-RVM classifier[J]. Pattern Recognition and Artificial Intelligence, 2010,23(3):376-384.

[45]Fokoue E, Sun D C, Goel P. Fully Bayesian analysis of the relevance vector machine with an extended hierarchical prior structure[J]. Statistical Methodology, 2011,8(1SI):83-96.

[46]Clark A, Everson R M. Multi-objective learning of Relevance Vector Machine classifiers with multi-resolution kernels[J]. Pattern Recognition, 2012,45(9SI):3535-3543.

[47]趙櫚, 蘇一丹, 覃華. 基于快速估計的相關(guān)向量機優(yōu)化算法[J]. 計算機工程, 2012,38(9):205-207.

ZHAO Lü, SU Yi-dan, QIN Hua. Optimized algorithm of relevance vector machine based on rapid estimation[J]. Computer Engineering, 2012,38(9):205-207.

[48]孫宗海, 孫優(yōu)賢. 關(guān)聯(lián)向量機在微生物發(fā)酵傳感器故障診斷中的應(yīng)用[J]. 高校化學(xué)工程學(xué)報, 2004,18(4):483-487.

SUN Zong-hai, SUN You-xian. The application of relevance vector machines to microbiological fermentation sensor fault diagnosis[J]. Journal of Chemical Engineering of Chinese Universities, 2004,18(4):483-487.

[49]劉遵雄, 張德運, 孫欽東, 等. 基于相關(guān)向量機的電力負荷中期預(yù)測[J]. 西安交通大學(xué)學(xué)報, 2004,38(10):1005-1008.

LIU Zun-xiong, ZHANG De-yun, SUN Qin-dong, et al. Mid-Term electric load prediction based on the relevant vector machine[J]. Journal of Xi’an Jiaotong University, 2004,38(10):1005-1008.

[50]Bowd C, Medeiros F A, Zhang Z H, et al. Relevance vector machine and support vector machine classifier analysis of scanning laser polarimetry retinal nerve fiber layer measurements[J]. Investigative Ophthalmology & Visual Science, 2005,46(4):1322-1329.

[51]Wei L, Yang Y, Nishikawa R M, et al. Relevance vector machine for automatic detection of clustered microcalcifications[J]. Medical Imaging, IEEE Transactions on Medical Imaging, 2005,24(10):1278-1285.

[52]Zhang H, Malik J. Selecting shape features using multi-class relevance vector machine[J]. Technical report no. UCB/EECS-2005-6, Department of EECS, University of California at Berkeley, 2005.

[53]楊國鵬, 余旭初, 周欣, 等. 基于相關(guān)向量機的高光譜影像分類研究[J]. 測繪學(xué)報, 2010,39(6):572-578.

YANG Guo-peng, YU Xu-chu, ZHOU Xin, et al. Research on relevance vector machine for hyperspectral imagery classification[J]. Acta Geodaetica et Cartographica Sinica, 2010,39(6):572-578.

[54]董超, 田聯(lián)房, 趙慧潔. 遺傳關(guān)聯(lián)向量機高光譜影像分類[J]. 上海交通大學(xué)學(xué)報, 2011,45(10):1516-1520.

DONG Chao, TIAN Lian-fang, ZHAO Hui-jie. Hyperspectral image classification by Genetic relevance vector machine[J]. Journal of Shanghai Jiaotong University, 2011,45(10):1516-1520.

[55]Mianji F A, Zhang Y. Robust hyperspectral classification using relevance vector machine[J]. IEEE Transactions on Geoscience and Remote Sensing, 2011,49(6Part 1):2100-2112.

[56]張宇航, 張曄. SVM和RVM對高光譜圖像分類的應(yīng)用潛能分析[J]. 哈爾濱工業(yè)大學(xué)學(xué)報, 2012,44(3):34-39.

ZHANG Yu-hang, ZHANG Ye. Potential analysis between SVM and RVM for hyperspectral imagery classification[J]. Journal of Harbin Institute of Technology, 2012,44(3):34-39.

[57]趙春暉, 齊濱, 張燚. 基于改進型相關(guān)向量機的高光譜圖像分類[J]. 光學(xué)學(xué)報, 2012,32(8):264-269.

ZHAO Chun-hui, QI Bin, ZHANG Yi. Hyperspectral image classification based on variational relevance vector machine[J]. Acta Optica Sinica, 2012,32(8):264-269.

[58]段青, 趙建國, 馬艷. 基于稀疏貝葉斯學(xué)習(xí)的電力系統(tǒng)暫態(tài)穩(wěn)定評估[J]. 電力自動化設(shè)備, 2009,29(9):36-40.

DUAN Qing, ZHAO Jian-guo, MA Yan. Power systems transient stability assessment based on sparse Bayesian learning[J]. Electric Power Automation Equipment, 2009,29(9):36-40.

[59]孫志剛, 翟瑋星, 李偉倫, 等. 基于EMD和相關(guān)向量機的短期負荷預(yù)測[J]. 電力系統(tǒng)及其自動化學(xué)報, 2011,23(1):92-97.

SUN Zhi-gang, ZHAI Wei-xing, LI Wei-lun, et al. Short-term load forecasting based on EMD and RVM[J]. Proceedings of the CSU-EPSA, 2011,23(1):92-97.

[60]Gholami B, Haddad W M, Tannenbaum A R. Relevance vector machine learning for neonate pain intensity assessment using digital imaging[J]. IEEE Transactions on Biomedical Engineering, 2010,57(6):1457-1466.

[61]姚暢, 陳后金, Yang YongYi, 等. 基于自適應(yīng)核學(xué)習(xí)相關(guān)向量機的乳腺X線圖像微鈣化點簇處理方法研究[J]. 物理學(xué)報, 2013,62(8):1-11.

YAO Chang, CHEN Hou-Jin, YANG Yong-Yi, et al. Microcalcification clusters processing in mammograms based on relevance vector machine with adaptive kernel learning[J]. Acta Physica Sinica, 2013,62(8):1-11.

[62]張勝君. 基于相關(guān)向量機的乳腺X線圖像結(jié)構(gòu)扭曲檢測[J]. 光電子.激光, 2013,24(4):826-832.

ZHANG Sheng-jun. Detection architectural distortion in mammograms based on relevance vector machine[J]. Journal of Optoelectronics.Laser, 2013,24(4):826-832.

[63]從飛云, 陳進, 董廣明. 基于AR模型的Kolmogorov-Smirnov檢驗性能退化及預(yù)測研究[J]. 振動與沖擊, 2012,31(10):79-82.

CONG Fei-yun, CHEN Jin, DONG Guang-ming. Perfo- rmance degradation assessment by Kolmogorov-Smirnov test and prognosis based on AR model[J]. Journal of Vibration and Shock, 2012,31(10):79-82.

[64]陶新民, 徐晶, 杜寶祥, 等. 基于相空間RVM的軸承故障檢測方法[J]. 振動與沖擊, 2008,27(10):6-9.

TAO Xin-min, XU Jing, DU Bao-xiang, et al. Bearing fault detection based on RVM using phase space[J]. Journal of Vibration and Shock, 2008,27(10):6-9.

[65]Widodo A, Kim E Y, Son J D, et al. Fault diagnosis of low speed bearing based on relevance vector machine and support vector machine[J]. Expert Systems with Applications, 2009,36(3):7252-7261.

[66]何創(chuàng)新, 李彥明, 劉成良, 等. 基于滑動平均與相關(guān)向量機的齒輪早期故障智能診斷[J]. 振動與沖擊, 2010,29(12):89-92.

HE Chuang-xin, LI Yan-ming, LIU Cheng-liang, et al. Incipient fault diagnosis based on moving average and relevance vector machine[J]. Journal of Vibration and Shock, 2010,29(12):89-92.

[67]吳定海, 張培林, 張英堂, 等. 基于時頻奇異譜和RVM的柴油機故障診斷研究[J]. 機械強度, 2011,33(03):317-323.

WU Ding-hai , ZHANG Pei-lin, ZHANG Ying-tang, et al. Study on diesel engine faults diagnosis based on time-frequency singular value spectrum and RVM[J]. Journal of Mechanical Strength, 2011,33(03):317-323.

[68]周勇, 何創(chuàng)新. 基于獨立特征選擇與相關(guān)向量機的變載荷軸承故障診斷[J]. 振動與沖擊, 2012,31(3):157-161.

ZHOU Yong, HE Chuang-xin. Bearing fault diagnsis under varying load conditions based on individual feature selection and relevance vector machine[J]. Journal of Vibration and Shock, 2012,31(3):157-161.

[69]Vong C M, Wong P K, Ip W F, et al. Simultaneous-Fault diagnosis of automotive engine ignition systems using prior domain knowledge and relevance vector machine[J]. Mathematical Problems in Engineering, 2013(974862).

[70]Tran V T, Yang B S, Gu F S, et al. Thermal image enhancement using bi-dimensional empirical mode decomposition in combination with relevance vector machine for rotating machinery fault diagnosis[J]. Mechanical Systems and Signal Processing, 2013,38(2):601-614.

[71]Du W L, Li A S, Ye P F, et al. Fault diagnosis of plunger pump in truck crane based on relevance vector machine with particle swarm optimization algorithm[J]. Shock and Vibration, 2013,20(4):781-792.

[72]WANG Bo, LIU Shu-ling, ZHANG Hong-li, et al. Fault diagnosis of rolling bearing based on relevance vector machine and kernel principal component analysis[J]. Journal of Vibroengineering, 2013,15(4):2124-2136.

[73]Caesarendra W, Widodo A, Yang B S. Application of relevance vector machine and logistic regression for machine degradation assessment[J]. Mechanical Systems and Signal Processing, 2010,24(4):1161-1171.

[74]張磊, 李行善, 于勁松, 等. 基于關(guān)聯(lián)向量機回歸的故障預(yù)測算法[J]. 系統(tǒng)工程與電子技術(shù), 2010,32(7):1540-1543.

ZHANG Lei , LI Xing-shan, YU Jin-song, et al. Fault prognostic algorithm based on relevance vector machine regression[J]. Systems Engineering and Electronics, 2010,32(7):1540-1543.

[75]胡昌華, 王兆強, 周志杰, 等. 一種RVM模糊模型辨識方法及在故障預(yù)報中的應(yīng)用[J]. 自動化學(xué)報, 2011,37(4):503-512.

HU Chang-hua,WANG Zhao-qiang, ZHOU Zhi-jie, et al. An RVM fuzzy model identification method and its application to fault prediction[J]. Acta Automatica Sinica, 2011,37(4):503-512.

[76]Widodo A, Yang B S. Application of relevance vector machine and survival probability to machine degradation assessment[J]. Expert Systems with Applications, 2011,38(3):2592-2599.

[77]范庚, 馬登武, 鄧力, 等. 基于灰色相關(guān)向量機的故障預(yù)測模型[J]. 系統(tǒng)工程與電子技術(shù), 2012,34(2):424-428.

FAN Geng, MA Deng-wu, DENG Li, et al. Fault prognostic model based on grey relevance vector machine[J]. Systems Engineering and Electronics, 2012,34(2):424-428.

[78]Di Maio F, Tsui K L, Zio E. Combining relevance vector machines and exponential regression for bearing residual life estimation[J]. Mechanical Systems and Signal Processing, 2012,31:405-427.

[79]范庚, 馬登武. 基于組合優(yōu)化相關(guān)向量機的航空發(fā)動機性能參數(shù)概率預(yù)測方法[J]. 航空學(xué)報, 2013,34(9):2110-2121.

FAN Geng, MA Deng-wu. Probailistic prediction method for aeroengine performance parameters based on combined optimum relevance vector machine[J].Acta Aeronautica et Astronautica Sinica, 2013,34(9):2110-2121.