韓金鵬,李冬梅,王 嵩

1(中國(guó)科學(xué)院大學(xué),北京 100049)

2(中國(guó)科學(xué)院 沈陽(yáng)計(jì)算技術(shù)研究所,沈陽(yáng) 110168)

1 引言

隨著科學(xué)技術(shù)的發(fā)展,如何降低設(shè)備的維護(hù)維修成本成為非常關(guān)鍵的問(wèn)題.一些貴重精密儀器,對(duì)于外部環(huán)境等因素十分敏感,對(duì)于傳統(tǒng)的人工故障檢測(cè),存在維修周期長(zhǎng)、費(fèi)用貴、代價(jià)高的問(wèn)題,導(dǎo)致設(shè)備的利用率偏低.儀器共享平臺(tái)中存儲(chǔ)了醫(yī)用影像設(shè)備使用時(shí)的各種信息,但是這些并沒(méi)有得到充分利用,只是用于存檔查詢等功能,如果利用系統(tǒng)中的設(shè)備信息,找到儀器故障點(diǎn)以及引發(fā)儀器發(fā)生故障的原因,那么就能為設(shè)備維護(hù)維修提供更有針對(duì)性的方向,對(duì)縮短維修周期、減少維修費(fèi)用以及提高儀器利用率具有積極意義.

關(guān)于故障檢測(cè)問(wèn)題,為提升故障檢測(cè)模型的性能,許多專家學(xué)者嘗試了多種方法.文獻(xiàn)[1,2]使用貝葉斯網(wǎng)絡(luò)分別對(duì)電子設(shè)備、電流互感器進(jìn)行故障檢測(cè),有效地提高了故障檢測(cè)的效率與準(zhǔn)確率.文獻(xiàn)[3]使用基于XGBoost算法對(duì)變壓器故障進(jìn)行檢測(cè)判別,結(jié)果表明XGBoost分類效果最優(yōu).文獻(xiàn)[4,5]采用了SVM的故障檢測(cè)模型分別用于軸承故障檢測(cè)與鋼絲繩診斷中,驗(yàn)證該模型可以提高故障檢測(cè)的準(zhǔn)確率.文獻(xiàn)[6]使用改進(jìn)粒子群算法優(yōu)化SVM應(yīng)用于煤層氣單井系統(tǒng)故障診斷中,驗(yàn)證了該算法的精度優(yōu)于普通粒子群算法和遺傳算法.文獻(xiàn)[7]中P.Arpaia 等人使用隱馬爾可夫模型檢測(cè)流體機(jī)械故障,該方法的準(zhǔn)確性在CERN的螺桿壓縮機(jī)上得到了驗(yàn)證.上述文獻(xiàn)大多單個(gè)分類器,存在分類精度低、泛化能力弱等問(wèn)題.本文采用集成學(xué)習(xí)模型,把單一的學(xué)習(xí)模型結(jié)合起來(lái)獲得更準(zhǔn)確的結(jié)果以及更好的泛化性能.隨機(jī)森林是一種集成學(xué)習(xí)模型,具有很好的預(yù)測(cè)精度,近年來(lái)已被廣泛應(yīng)用于特征選擇領(lǐng)域.特征選擇算法有過(guò)濾式、包裹式及嵌入式,考慮到本題的數(shù)據(jù)量及維度不大,選擇包裹式特征選擇策略.基于Boosting 策略的LightGBM算法具有訓(xùn)練速度快、準(zhǔn)確率高、支持并行學(xué)習(xí)等特點(diǎn)[8].

綜上所述,本文采用一種粒子群算法優(yōu)化隨機(jī)森林(PSO_RF)的雙向特征選擇和LightGBM的故障檢測(cè)方法.利用隨機(jī)森林算法對(duì)原始數(shù)據(jù)進(jìn)行雙向特征選擇,然后將數(shù)據(jù)輸入LightGBM模型中訓(xùn)練.使用LightGBM 不但大大加快訓(xùn)練速度,還能保證不錯(cuò)的準(zhǔn)確率.將此模型應(yīng)用于醫(yī)學(xué)影像設(shè)備的故障原因檢測(cè)中,對(duì)加快檢測(cè)故障點(diǎn)的發(fā)現(xiàn)具有重要意義.

2 算法描述

2.1 LightGBM

GBDT(梯度提升樹),通過(guò)多輪迭代,來(lái)不斷提高最終分類器的精度.

在GBDT到的迭代中,假設(shè)我們前一輪得到的強(qiáng)學(xué)習(xí)器是Ft?1(x),損失函數(shù)是L(y,Ft?1(x)),那么本輪的目標(biāo)是找到一個(gè)弱學(xué)習(xí)器ht(x),使得本輪的損失函數(shù)最小,本輪的損失函數(shù)為:

然后計(jì)算損失函數(shù)的負(fù)梯度,來(lái)擬合本輪損失的近似值.損失函數(shù)的負(fù)梯度表示為:

通常使用平方差來(lái)近似擬合ht(x):

從而本輪的強(qiáng)學(xué)習(xí)器如下:

LightGBM在GBDT算法的基礎(chǔ)上進(jìn)行了改進(jìn).改進(jìn)的地方主要包含兩個(gè)方面:Gradient-based One-Side Sampling (GOSS)和Exclusive Feature Bundling (EFB).

基于梯度的單面采樣(GOSS).根據(jù)信息增益的定義,具有較大梯度的那些實(shí)例對(duì)信息增益會(huì)做出更大的貢獻(xiàn),梯度小的樣本進(jìn)行進(jìn)一步的學(xué)習(xí)對(duì)改善結(jié)果精度幫助并不大.因此,為保持信息增益估計(jì)的準(zhǔn)確對(duì)數(shù)據(jù)實(shí)例進(jìn)行采樣時(shí),應(yīng)該更好的保留那些具有較大貢獻(xiàn)的實(shí)例,刪除一部分具有小梯度的樣本.

互補(bǔ)特征壓縮(EFB),是一種可以減少高維數(shù)據(jù)的特征數(shù)目并且使損失最小的一種算法.這里不是使用所有特征來(lái)獲得最佳分割點(diǎn),而是將某些特征合并到一起降低特征維度來(lái)使尋找最優(yōu)分割點(diǎn)的消耗減少.LightGBM 關(guān)于互斥特征的合并用到了直方圖(Histogram)算法[9].EFB通過(guò)捆綁合并相互獨(dú)立的特征,來(lái)減少特征的數(shù)量.這樣既降低了內(nèi)存占用,又降低了時(shí)間復(fù)雜度.

LightGBM 擁有更快的訓(xùn)練效率、更高的準(zhǔn)確率、更低的內(nèi)存使用,并且可支持并行化學(xué)習(xí),故本文在基于PSO_RF的雙向特征選擇的過(guò)程中,使用LightGBM 根據(jù)混淆矩陣計(jì)算當(dāng)前特征子集的精確度,保證選出最優(yōu)特征子集.將經(jīng)過(guò)特征選擇方法處理后的數(shù)字X線攝影機(jī)故障數(shù)據(jù)輸入LightGBM 中訓(xùn)練模型,通過(guò)交叉驗(yàn)證的方法來(lái)驗(yàn)證本文所采用方法的準(zhǔn)確性,進(jìn)而說(shuō)明本文方法對(duì)于X線攝影機(jī)的故障檢測(cè)具有積極的推動(dòng)作用.

2.2 基于PSO_RF的雙向特征選擇算法

特征重要性指特征對(duì)于樣本預(yù)測(cè)結(jié)果的影響,好的特征能夠提高模型預(yù)測(cè)的準(zhǔn)確率及性能.

隨機(jī)森林(Random Forest,RF),是一種基于決策樹的算法.隨機(jī)森林在建立決策樹的過(guò)程中做了一些改進(jìn)[10,11].在整個(gè)隨機(jī)森林算法的過(guò)程中,有兩個(gè)隨機(jī)過(guò)程:一是使用Bootstrap 有放回的隨機(jī)抽取樣本來(lái)生成決策樹;二是在劃分決策樹左右子樹時(shí),隨機(jī)選擇節(jié)點(diǎn)的部分特征,然后在隨機(jī)選取的特征中選取最優(yōu)特征劃分左右子樹.這兩個(gè)隨機(jī)過(guò)程一定程度上避免了過(guò)擬合的出現(xiàn).

隨機(jī)森林依據(jù)袋外數(shù)據(jù)誤差率準(zhǔn)則去度量特征準(zhǔn)確性的,主要思想是:對(duì)一個(gè)相關(guān)的特征加入噪聲后,那么用僅對(duì)此特征進(jìn)行變化特征之后的數(shù)據(jù)進(jìn)行模型訓(xùn)練,模型預(yù)測(cè)的準(zhǔn)確率將降低;反之,如果某個(gè)特征是不重要的,那么重新訓(xùn)練后模型預(yù)測(cè)準(zhǔn)確率變化不大.

粒子群算法(Particle Swarm Optimization,PSO)已經(jīng)被廣泛應(yīng)用于各種優(yōu)化問(wèn)題上.種群中每個(gè)粒子代表一個(gè)可行解,但不一定是最優(yōu)解,粒子在迭代過(guò)程中,通過(guò)學(xué)習(xí)歷史經(jīng)驗(yàn)來(lái)調(diào)整自身的速度和位置矢量,最終求得最優(yōu)解.

本文采用基于PSO_RF的雙向特征選擇方法.首先采用隨機(jī)森林度量特征重要性并將結(jié)果進(jìn)行降序排序,其中引入粒子群算法對(duì)隨機(jī)森林進(jìn)行參數(shù)尋優(yōu).然后,從特征的全集開始搜索,每次從當(dāng)前特征子集中刪除重要性最低的特征,組成新的特征子集;然后進(jìn)行前向選擇部分,使用LightGBM 根據(jù)混淆矩陣對(duì)當(dāng)前特征子集的精確度進(jìn)行計(jì)算,如果精確度下降,則回收剛刪除的特征,如此循環(huán)直至結(jié)束.這樣,在特征重要性的基礎(chǔ)上,加上當(dāng)前特征子集分類精度作為評(píng)價(jià)指標(biāo),能夠降低特征波動(dòng)性,保證選出的最優(yōu)特征子集冗余少且不損失分類精度.

算法的具體過(guò)程如算法1(m為原始數(shù)據(jù)中特征總數(shù),U表示數(shù)據(jù)集中全部特征).

算法1.基于PSO_RF的雙向特征選擇算法C={fi|i=1,2,···,m}輸入:數(shù)據(jù)集D,特征集C輸出:最優(yōu)特征子集fiIi 1)使用粒子群優(yōu)化的隨機(jī)森林分別計(jì)算特征的特征重要性程度;Ii 2)根據(jù)第一步得到的對(duì)特征進(jìn)行降序排序;3)使用LightGBM進(jìn)行評(píng)估.對(duì)于步驟2)中排序后的特征子集進(jìn)行后向選擇,子集搜索策略遍歷特征空間:

while ai C計(jì)算;//計(jì)算當(dāng)前特征子集的精確度C=C?fifi;//刪除特征atmp計(jì)算;//計(jì)算刪除特征后的精確度aiatmp if >://如果新的精確率小于舊的C=C+fi;//回收之前刪除的特征end if;end while;

3 實(shí)驗(yàn)分析

對(duì)于設(shè)備故障檢測(cè)的研究過(guò)程主要包括以下幾個(gè)步驟:數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、特征選擇、模型預(yù)測(cè)、實(shí)驗(yàn)結(jié)果分析.設(shè)備故障檢測(cè)模型流程圖如圖1所示.

圖1 模型流程圖

3.1 數(shù)據(jù)采集

數(shù)據(jù)集包括了1200條X線攝影機(jī)的使用信息,主要包括儀器編號(hào)、室內(nèi)溫度、濕度、電壓、電壓頻率、電流等20個(gè)特征維度.本實(shí)驗(yàn)所用真實(shí)數(shù)據(jù)來(lái)自于實(shí)驗(yàn)室的自主研發(fā)項(xiàng)目“大型儀器共享平臺(tái)”,此項(xiàng)目主要是解決高校儀器利用率不高等問(wèn)題,目前已服務(wù)于多所高校.

3.2 數(shù)據(jù)預(yù)處理

由于原始數(shù)據(jù)數(shù)據(jù)不完整,存在缺失值、重復(fù)等問(wèn)題,并且數(shù)據(jù)處理是否得當(dāng)對(duì)訓(xùn)練和預(yù)測(cè)結(jié)果影響非常大.所以本文對(duì)原始數(shù)據(jù)進(jìn)行了數(shù)據(jù)清理、數(shù)據(jù)變換等操作,丟棄重復(fù)數(shù)據(jù),對(duì)缺失值進(jìn)行刪除補(bǔ)齊等操作,最后對(duì)數(shù)據(jù)進(jìn)行MIN-MAX 歸一化處理.

3.3 特征選擇

好的特征能夠提升模型的性能,降低復(fù)雜度,提高模型的泛化能力,對(duì)模型的正確性和有效性都會(huì)有很大的影響.

本文采用基于PSO_RF的雙向特征選擇方法進(jìn)行特征選擇,對(duì)原始數(shù)據(jù)集中的設(shè)備故障有關(guān)信息進(jìn)行特征選擇,為了快速找到模型最優(yōu)參數(shù),本文采用了粒子群算法以加快尋找模型的最優(yōu)參數(shù),然后通過(guò)交叉驗(yàn)證的方法來(lái)提高模型的穩(wěn)定性.最終選取的12個(gè)特征被選入最優(yōu)特征子集,作為模型的輸入變量.其中包括室內(nèi)溫度、室內(nèi)濕度、電壓、電壓頻率、電流、地阻、球管溫度等.

3.4 模型預(yù)測(cè)

對(duì)于醫(yī)用設(shè)備故障檢測(cè),根據(jù)X線攝影機(jī)故障信息分為電源故障、接線故障、干擾故障、球管故障及其他故障.本文使用LightGBM 來(lái)建立模型,通過(guò)對(duì)原始數(shù)據(jù)的預(yù)處理,然后通過(guò)基于PSO_RF的雙向特征選擇算法進(jìn)行特征選擇,然后與CFS算法進(jìn)行比較,驗(yàn)證本文所用特征選擇方法的有效性.將處理過(guò)后的12個(gè)特征變量作為輸入變量輸入LightGBM進(jìn)行分類預(yù)測(cè),本次實(shí)驗(yàn)采用網(wǎng)格搜索算法進(jìn)行參數(shù)尋優(yōu),然后通過(guò)交叉驗(yàn)證的方法來(lái)計(jì)算故障檢測(cè)模型的分類精度.本文通過(guò)精確率、召回率、F1值以及運(yùn)行時(shí)間方面,通過(guò)與GBDT、隨機(jī)森林模型進(jìn)行對(duì)比分析,可以得出LightGBM在處理該問(wèn)題上更有優(yōu)勢(shì).

3.5 評(píng)價(jià)標(biāo)準(zhǔn)

為了評(píng)價(jià)不同模型之間的性能,需要統(tǒng)一的評(píng)價(jià)標(biāo)準(zhǔn).本文采用混淆矩陣對(duì)模型的優(yōu)劣進(jìn)行評(píng)價(jià).混淆矩陣見(jiàn)表1.

表1 混淆矩陣

本文采用精確率、召回率及F1值作為評(píng)價(jià)標(biāo)準(zhǔn).評(píng)價(jià)指標(biāo)的定義如下:

其中,TP表示被模型預(yù)測(cè)為正的正樣本,FP表示被模型預(yù)測(cè)為正的負(fù)樣本,FN表示被模型預(yù)測(cè)為負(fù)的正樣本,TN表示被模型預(yù)測(cè)為負(fù)的負(fù)樣本.另外,如果樣本數(shù)據(jù)量大,模型復(fù)雜,計(jì)算速度也是評(píng)價(jià)一個(gè)模型優(yōu)劣的指標(biāo).實(shí)驗(yàn)中采用Python的time.clock()來(lái)計(jì)算模型的運(yùn)行時(shí)間.

3.6 實(shí)驗(yàn)結(jié)果分析

經(jīng)過(guò)數(shù)據(jù)預(yù)處理,然后使用基于PSO_RF的雙向特征選擇算法進(jìn)行特征選擇,并與CFS進(jìn)行對(duì)比,表2是兩者的結(jié)果對(duì)比,其中,Xnum是特征數(shù)量.

表2 不同特征選擇算法構(gòu)建故障檢測(cè)模型結(jié)果對(duì)比

從結(jié)果可以看出,本文采用的基于PSO_RF的雙向特征選擇算法分類精度與F1值均優(yōu)于CFS,尤其是F1值達(dá)到了90.26%,比其CFS提高了4.34%,說(shuō)明本文采用的特征選擇方法是有效的,并取得了不錯(cuò)的分類效果.

通過(guò)上述實(shí)驗(yàn),最后選出了最優(yōu)特征子集,然后用LightGBM算法建立故障檢測(cè)模型,并采用10折交叉驗(yàn)證對(duì)數(shù)據(jù)進(jìn)行分組訓(xùn)練并測(cè)試.對(duì)每組訓(xùn)練集與測(cè)試集,分別采用LightGBM、GBDT和隨機(jī)森林進(jìn)行訓(xùn)練測(cè)試,并取其平均值作為最終結(jié)果,結(jié)果如表3所示.

表3 不同模型對(duì)故障診斷結(jié)果對(duì)比

從表3可以看出,在精確率方面,LightGBM的結(jié)果高于其他3種模型,精確率達(dá)到90.27%;在召回率方面,LightGBM 略低于GBDT,好于隨機(jī)森林;在F1值方面,LightGBM是3種模型中結(jié)果最好的;在運(yùn)行時(shí)間方面,LightGBM的運(yùn)行時(shí)間優(yōu)于其他兩種模型,提升了計(jì)算速度.

綜合以上,本文采用的設(shè)備故障檢測(cè)方法通過(guò)基于PSO_RF的雙向特征選擇算法篩選出最優(yōu)特征子集,然后在其基礎(chǔ)上使用LightGBM 對(duì)設(shè)備故障進(jìn)行分類檢測(cè),在結(jié)果上達(dá)到了更高的準(zhǔn)確率,并且提高了計(jì)算速度,運(yùn)行時(shí)間保持在0.3 s 以內(nèi),與文中其他的模型相比具有較大的性能提升.

4 結(jié)語(yǔ)

本文以設(shè)備故障檢測(cè)為應(yīng)用背景,然后根據(jù)設(shè)備的數(shù)據(jù)信息,提出一種基于PSO_RF的雙向特征選擇和LightGBM的故障檢測(cè)方法并將其應(yīng)用于X線攝影機(jī)故障檢測(cè)中,取得了不錯(cuò)的效果.本文中,對(duì)原始數(shù)據(jù)進(jìn)行數(shù)據(jù)清理等預(yù)處理后,采用基于PSO_RF的雙向特征選擇方法進(jìn)行特征選擇,刪除無(wú)關(guān)特征,然后利用LightGBM 訓(xùn)練速度快、精度高等特點(diǎn),構(gòu)建了故障檢測(cè)模型.實(shí)驗(yàn)結(jié)果表明,該模型在精確率、召回率、F1值以及模型訓(xùn)練時(shí)間上有著很好的表現(xiàn),可以為設(shè)備故障檢測(cè)提供依據(jù),對(duì)設(shè)備的維護(hù)維修、提高設(shè)備利用率具有積極推動(dòng)作用.