黃曉東,漆泰岳,覃少杰

(1.西南交通大學(xué)土木工程學(xué)院,成都 610031； 2.廣州地鐵集團(tuán)有限公司,廣州 510310； 3.西南交通大學(xué)交通隧道工程教育部重點(diǎn)實(shí)驗(yàn)室,成都 610031)

引言

目前隧道表面病害主要有滲漏水、裂縫、掉塊等，主要通過人工巡檢的方法來完成，這一檢測需要專業(yè)的工作人員，并帶有主觀的判斷差別。由于高速鐵路的“開天窗”特性，工作人員只能在特定的時(shí)間段進(jìn)入隧道進(jìn)行檢測。隨著越來越多深埋大長隧道修建，夜間能見度低下、檢測人員工作強(qiáng)度大以及檢測安全問題將會(huì)日益凸顯，人工檢測在效率和可靠性上無法滿足高速鐵路隧道發(fā)展的要求。為了解決這些問題，機(jī)器視覺因其非接觸、非損傷和快速檢測的特性發(fā)展迅速。傳統(tǒng)的圖像處理方法，如Otsu算法、分水嶺法，需要人工設(shè)計(jì)病害特征，往往依賴特征設(shè)計(jì)者高超的經(jīng)驗(yàn)。近年來，深度學(xué)習(xí)在計(jì)算機(jī)視覺的各個(gè)領(lǐng)域獲得突破。與傳統(tǒng)的圖像處理方法不同，卷積神經(jīng)網(wǎng)絡(luò)不需要人工設(shè)計(jì)特征過濾器，自動(dòng)學(xué)習(xí)樣本特征。數(shù)據(jù)集中涵蓋不同的拍攝環(huán)境下的樣本，提高算法的魯棒性和精度。

在現(xiàn)有硬件條件下，高速鐵路隧道襯砌表面圖像的采集速度可達(dá)50 km/h，裂縫的檢測精度為0.2 mm，單位千米隧道襯砌圖像數(shù)據(jù)量587 GB，每秒產(chǎn)生的數(shù)據(jù)量為8.1GB以上，需要實(shí)時(shí)處理海量的圖像[1]。若將所有的數(shù)據(jù)全部存儲(chǔ)到硬盤上再帶回?cái)?shù)據(jù)中心進(jìn)行處理，需要龐大的存儲(chǔ)系統(tǒng)；若進(jìn)行實(shí)時(shí)的檢測，識(shí)別出病害的類型并定量的評價(jià)病害的破壞程度，需要巨大的計(jì)算資源和全面精細(xì)的檢測模型?，F(xiàn)有的條件下，部署在檢測車上進(jìn)行實(shí)時(shí)檢測難以實(shí)現(xiàn)。同時(shí)對于無病害的信息按照同等復(fù)雜度的計(jì)算無疑降低了網(wǎng)絡(luò)的效率。目前在高速采集隧道表面其中的病害信息占比不到10%，需要將無病害且無構(gòu)筑物的冗余信息數(shù)據(jù)剔除，將有用信息數(shù)據(jù)存儲(chǔ)起來，為下一步的病害定量檢測提供原始數(shù)據(jù)。

本文提出了基于卷積神經(jīng)網(wǎng)絡(luò)的隧道表面病害篩選算法，輕量模型ResNet-DS采用輕主干結(jié)構(gòu)、深度可分離卷積和模型量化等方法減小模型大小，提升預(yù)測速度，實(shí)現(xiàn)高速識(shí)別海量無病害圖像的輕量網(wǎng)絡(luò)，每千米隧道襯砌圖像存儲(chǔ)數(shù)據(jù)量下降至164 GB。實(shí)驗(yàn)表明，該算法在精度達(dá)到98.67%的同時(shí)，每張圖片預(yù)測僅需10.86 ms，可進(jìn)行實(shí)時(shí)檢測。輕量模型對硬件有廣泛適應(yīng)性，部署在更優(yōu)的計(jì)算平臺(tái)上檢測速度可進(jìn)一步提升， 有極高的應(yīng)用價(jià)值。

1 國內(nèi)外研究現(xiàn)狀

1.1 基于計(jì)算機(jī)視覺的隧道病害檢測

目前基于計(jì)算機(jī)視覺的隧道病害檢測已經(jīng)取得了很多成果。王耀東等[2]提出一種基于全局與局部相結(jié)合的預(yù)處理算法，并采用多級濾波檢測隧道表面裂縫；王睿等[3-4]提出應(yīng)用CDD相機(jī)的襯砌裂縫快速檢測系統(tǒng)，結(jié)合Prewitt算子和Otsu的梯度類間閾值法，初步完成裂縫圖像的分割和特征提取。但算法依靠人工設(shè)計(jì)參數(shù)提取裂縫特征，在復(fù)雜的環(huán)境下魯棒性低。黃宏偉等[5]提出一種基于全卷積網(wǎng)絡(luò)的盾構(gòu)隧道滲漏水病害圖像識(shí)別算法，該算法具有優(yōu)越的魯棒性，在錯(cuò)檢率和運(yùn)行時(shí)間上具有較大優(yōu)勢；薛亞東等[6-7]在GoogLeNet基礎(chǔ)上改進(jìn)Inception模塊，隧道病害分類準(zhǔn)確率超過95%，基于Fester R-CNN[8]構(gòu)建盾構(gòu)隧道病害檢測模型。但檢測圖像均來自于MTI[9]，檢測系統(tǒng)依靠人力推動(dòng)采集圖像，不適用于高速鐵路病害檢測。Protopapadakis E等[10]基于卷積神經(jīng)網(wǎng)絡(luò)，提出了一種啟發(fā)式后處理算法，該算法可提高檢測精度、減少計(jì)算時(shí)間、解決訓(xùn)練樣本稀疏和噪聲問題，但模型推理速度需要進(jìn)一步提高。現(xiàn)有的算法關(guān)注于圖像采集后的病害檢測，無法滿足實(shí)時(shí)處理海量圖像的要求，需要新的輕量神經(jīng)網(wǎng)絡(luò)高速識(shí)別無病害圖像，完成高速鐵路表面病害圖像采集工作。

1.2 卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺中的發(fā)展

卷積神經(jīng)網(wǎng)絡(luò)具有參數(shù)少、保留圖像空間結(jié)構(gòu)、參數(shù)共享和稀疏連接等特性，廣泛應(yīng)用于計(jì)算機(jī)視覺任務(wù)中，如：圖像分類、圖像識(shí)別、圖像分割。LECUN Y.L.等[11]在1998年提出LeNet-5，第一次定義了卷積神經(jīng)網(wǎng)絡(luò)(CNN)。LeNet-5提出一個(gè)或多個(gè)卷積層后面添加一個(gè)池化層進(jìn)行下采樣的基本結(jié)構(gòu)。在隨后的時(shí)間里，受限于硬件的計(jì)算能力和獲取數(shù)據(jù)的難度，卷積神經(jīng)網(wǎng)絡(luò)相對于人類的優(yōu)勢并沒有體現(xiàn)出來。2012年，ALEX等[12]提出AlexNet，采用ReLu激活函數(shù)替代Tanh加速網(wǎng)絡(luò)的收斂，并在數(shù)據(jù)集ImageNet上獲得了圖像分類的冠軍，至此深度卷積神經(jīng)網(wǎng)絡(luò)有了更廣泛應(yīng)用。2014年，KAREN等[13]提出了 VGG模型，簡化網(wǎng)絡(luò)結(jié)構(gòu)，加深了神經(jīng)網(wǎng)絡(luò)，并提出一個(gè)大感受野卷積核可以由多個(gè)小感受野卷積核組成。同年，Google提出了基于Inception模塊的GoogLeNet網(wǎng)絡(luò)，Inception結(jié)構(gòu)將多個(gè)不同尺度卷積核并聯(lián)，并利用1×1的卷積核對特征圖通道數(shù)降維，以減少計(jì)算參數(shù)[14]。2015年，HE K等[15]提出了ResNet殘差神經(jīng)網(wǎng)絡(luò)，解決梯度消失和梯度爆炸的問題，使得深層神經(jīng)網(wǎng)絡(luò)也具有良好的性能。后面的主流模型都借鑒ResNet的結(jié)構(gòu)設(shè)計(jì)，基于ResNet在分類圖像上良好的性能和廣泛的應(yīng)用，本文模型選擇ResNet作為主干結(jié)構(gòu)(backbone architecture)。2017年，Google提出MobileNets[16]輕量模型，采用一系列的深度可分離卷積[17-18]替代標(biāo)準(zhǔn)卷積，大大減少了參數(shù)數(shù)量，使得模型可以部署到計(jì)算資源有限的移動(dòng)設(shè)備上。

2 數(shù)據(jù)集

在地鐵區(qū)間隧道和高速公路隧道維護(hù)檢修期間通過相機(jī)采集原始隧道圖像。由于硬件計(jì)算能力限制，采用滑動(dòng)窗口算法[19]將采集的圖像裁剪成224pixel×224pixel的圖像子塊，建立隧道表面病害篩選數(shù)據(jù)集。數(shù)據(jù)集按是否為無病害樣本且沒有隧道構(gòu)筑物分為兩類：第一類是需要剔除的圖像，包含不同光照條件及環(huán)境下無病害襯砌，稱為冗余信息樣本；第二類是需要保存的圖像，包含隧道襯砌表面滲漏水、裂縫、掉塊以及構(gòu)筑物管線等，稱為有用信息樣本。由于神經(jīng)網(wǎng)絡(luò)需要更大的數(shù)據(jù)集，而隧道中的裂縫、滲漏水樣本較少，為擴(kuò)充樣本，用相機(jī)采集了部分混凝土裂縫和滲漏水樣本?？紤]到隧道中冗余信息占比大，且檢測的目的是剔除無病害襯砌圖像。數(shù)據(jù)集包含5 200張圖像，其中冗余信息樣本3 120張，有用信息樣本2 080張，按3∶2的比例分成訓(xùn)練集和驗(yàn)證集，圖像分類標(biāo)簽為1(冗余信息樣本)和0(有用信息樣本)。

為防止模型過擬合，豐富樣本多樣性，在訓(xùn)練階段對樣本進(jìn)行隨機(jī)的圖像增強(qiáng)、水平翻轉(zhuǎn)、旋轉(zhuǎn)等處理，提高模型魯棒性，圖像如圖1所示。

圖1 數(shù)據(jù)集中樣本示例

3 網(wǎng)絡(luò)結(jié)構(gòu)的選擇和設(shè)計(jì)

針對輕量卷積神經(jīng)網(wǎng)絡(luò)搭建、訓(xùn)練以及優(yōu)化的流程如圖2所示。

圖2 ResNet-DS搭建流程

3.1 主干結(jié)構(gòu)的選擇

高速鐵路表面病害的篩選任務(wù)需要在時(shí)速50 km的高速檢測車[20]上進(jìn)行，在一定的時(shí)間內(nèi)處理采集的圖像，對預(yù)測模型的推理速度有著嚴(yán)格的要求。同時(shí)受限于邊緣硬件設(shè)備的計(jì)算能力，模型需在精度與速度之間平衡，以便于部署在小型邊緣計(jì)算設(shè)備上。

本文對主流的圖像分類網(wǎng)絡(luò)在經(jīng)典的ImageNet數(shù)據(jù)集上訓(xùn)練后的精度(Acc)、浮點(diǎn)運(yùn)算數(shù)量(FLOPs)以及參數(shù)數(shù)量(Params)進(jìn)行對比，如圖3所示。

圖3 主流圖像分類模型性能分布

可以看到，InceptionV3、V4網(wǎng)絡(luò)加入殘差結(jié)構(gòu)在訓(xùn)練一個(gè)更大的網(wǎng)絡(luò)時(shí)具有更好的性能。為平衡精度和運(yùn)算數(shù)量，本文選擇較小的ResNet-18殘差神經(jīng)網(wǎng)絡(luò)作為主干結(jié)構(gòu)，在原網(wǎng)絡(luò)的基礎(chǔ)上將卷積核維度相同的殘差單元去掉，以適應(yīng)更高的檢測速度。模型結(jié)構(gòu)如圖4所示。

圖4 模型結(jié)構(gòu)

3.2 深度可分離卷積(Depthwise Separable Convolution)

深度可分離卷積由一個(gè)深度卷積(Depthwise Conv， Conv dw)和一個(gè)逐點(diǎn)卷積(Separable Conv)組成。其中深度卷積是將輸入的特征圖(feature map)按通道數(shù)拆分成單通道的形式，卷積核一并拆分成單通道形式，對應(yīng)的卷積核在特征圖的同一通道上進(jìn)行卷積操作。經(jīng)過深度卷積后，特征圖的通道數(shù)不變。接下來是卷積核大小為1×1的逐點(diǎn)卷積。逐點(diǎn)卷積與標(biāo)準(zhǔn)卷積(Conv)操作一致，可以對特征圖通道數(shù)升維和降維，減少計(jì)算量。標(biāo)準(zhǔn)卷積與深度可分離卷積結(jié)構(gòu)如圖5所示。

圖5 標(biāo)準(zhǔn)卷積和深度可分離卷積結(jié)構(gòu)

圖5中BN(Batch Normalization)為批規(guī)范化，ReLu為激活函數(shù)。單層標(biāo)準(zhǔn)卷積層的計(jì)算量

DK×DK×M×N×DF×DF

(1)

深度可分離卷積的計(jì)算量

DK×DK×M×DF×DF+M×N×DF×DF

(2)

將標(biāo)準(zhǔn)卷積用深度可分離卷積替換后，計(jì)算量減少

(3)

式中，DK為卷積核的長和寬；M為輸入特征圖通道數(shù)；N為輸出特征圖通道數(shù)；DF為輸出特征圖的長和寬。采用3×3卷積核，每層用深度可分離卷積替代標(biāo)準(zhǔn)卷積，計(jì)算量減少8～9倍。

3.3 殘差單元

隨著網(wǎng)絡(luò)深度的增加，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的表現(xiàn)先是逐漸增加至飽和然后出現(xiàn)網(wǎng)絡(luò)退化。深層神經(jīng)網(wǎng)絡(luò)對于恒等函數(shù)并不容易擬合。殘差神經(jīng)網(wǎng)絡(luò)將淺層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的信息通過一個(gè)連接層(Shortcut)傳遞到深層神經(jīng)網(wǎng)絡(luò)，構(gòu)建恒等映射，參與深層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。

恒等映射為：

y=H(x)+x

(4)

其中，H(x)為經(jīng)過深層神經(jīng)網(wǎng)絡(luò)得到的特征圖，x為淺層特征圖。

殘差單元將幾個(gè)卷積層組成一個(gè)整體。一條路徑為標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)前向傳播，另一條路徑是通過連接層將第一個(gè)卷積層的輸入信息傳遞到后面卷積層的激活函數(shù)之前。本文將2個(gè)深度可分離卷積作為一個(gè)殘差單元搭建網(wǎng)絡(luò)，如圖6所示。

圖6 殘差單元結(jié)構(gòu)

3.4 網(wǎng)絡(luò)結(jié)構(gòu)

以ResNet為主干結(jié)構(gòu)，將標(biāo)準(zhǔn)卷積替換為深度可分離卷積，定義殘差深度可分離網(wǎng)絡(luò)ResNet-DS。網(wǎng)絡(luò)結(jié)構(gòu)見表1，其中s為步長。

表1 ResNet-DS網(wǎng)絡(luò)結(jié)構(gòu)

4 模型性能評價(jià)及優(yōu)化

模型采用深度學(xué)習(xí)框架PaddlePaddle進(jìn)行訓(xùn)練與預(yù)測。訓(xùn)練階段批數(shù)量(batch size)為32，訓(xùn)練周期由網(wǎng)絡(luò)完成任務(wù)的難易程度和數(shù)據(jù)集大小決定。輕量模型除對精度的要求外，對預(yù)測速度和模型大小有著嚴(yán)格約束。用于訓(xùn)練的硬件配置CPU為英特爾 Core i7-9700F 8核，GPU為 NVIDIA RTX 2060 SUPER 8G，數(shù)據(jù)傳輸和存儲(chǔ)硬盤為西數(shù)機(jī)械硬盤(7 200 rp/min)。訓(xùn)練參數(shù)的設(shè)置對模型的訓(xùn)練和推理至關(guān)重要，本文設(shè)置初始學(xué)習(xí)率為0.002，采用余弦衰減策略。訓(xùn)練和推理階段，在輸入網(wǎng)絡(luò)之前對圖片進(jìn)行減除圖像平均值和歸一化操作。

4.1 分類模型的性能指標(biāo)

分類任務(wù)常用的模型性能評判指標(biāo)：錯(cuò)誤率和精度。本模型的目標(biāo)是剔除冗余數(shù)據(jù)。查準(zhǔn)率(precise)和查全率(recall)是另一種判斷分類模型的性能指標(biāo)。二分類中，以冗余信息樣本為真，有用信息樣本為假。依據(jù)真實(shí)標(biāo)簽以及預(yù)測標(biāo)簽組合劃分為真正例(TP)、假正例(FP)、真反例(TN)、假反例(FN)。對于冗余信息樣本的查準(zhǔn)率P和查全率R定義分別為

(5)

(6)

對于篩選模型性能評估，在去除無病害信息的情況下確保有病害信息以及構(gòu)筑物信息保存下來，本項(xiàng)目更關(guān)心冗余信息樣本的查準(zhǔn)率。查準(zhǔn)率與查全率是一對互斥的評估指標(biāo)。將預(yù)測結(jié)果為正例的概率值排序，排在最前面的為正例的概率最大，從前往后對樣本進(jìn)行正例判定，每次計(jì)算出當(dāng)前的查全率和查準(zhǔn)率，以查全率和查準(zhǔn)率分別作為橫縱坐標(biāo)軸，得出P-R曲線。實(shí)驗(yàn)分析了精度，并對正例的P-R曲線進(jìn)行評價(jià)。

4.2 模型量化

對于邊緣側(cè)的部署，內(nèi)存和計(jì)算資源存在限制。網(wǎng)絡(luò)中的權(quán)值采用32位浮點(diǎn)(Float32)精度保存，而實(shí)際上每一層的權(quán)值分布較為集中，卷積神經(jīng)網(wǎng)絡(luò)對離散噪聲和擾動(dòng)有良好的魯棒性。采用定點(diǎn)數(shù)保存權(quán)值，即用精度小的數(shù)據(jù)類型近似表示網(wǎng)絡(luò)的權(quán)值，提升預(yù)測速度[21]。模型量化將定點(diǎn)數(shù)與浮點(diǎn)數(shù)建立了數(shù)據(jù)映射關(guān)系，本文采用混合量化，int8定點(diǎn)數(shù)量化網(wǎng)絡(luò)卷積層的權(quán)值。對已訓(xùn)練的模型進(jìn)行靜態(tài)離線量化，用少量校準(zhǔn)樣本計(jì)算量化因子。

量化流程：在校準(zhǔn)數(shù)據(jù)集上，對于每一卷積層，記錄激活值直方圖，基于不同的閾值產(chǎn)生不同的量化分布。通過對比產(chǎn)生的量化分布和原分布，選擇相對熵最少的量化分布。模型量化后可以減少模型的尺寸，更易于邊緣側(cè)計(jì)算機(jī)的部署，同時(shí)計(jì)算內(nèi)存耗用更低，提升預(yù)測速度。量化模型在幾乎不損失精度的情況下提升模型性能。

4.3 帶權(quán)重的交叉熵?fù)p失函數(shù)(Loss)

損失函數(shù)評價(jià)模型在訓(xùn)練過程中的精度，并用于更新梯度，是描述預(yù)測值與真實(shí)值差距的標(biāo)準(zhǔn)。分類模型采用交叉熵函數(shù)，將兩類樣本視為同等重要。對于本項(xiàng)目，將有用信息樣本判斷錯(cuò)誤并篩除會(huì)導(dǎo)致病害數(shù)據(jù)的遺漏，是不被允許的。在本模型中，采用帶權(quán)重的交叉熵函數(shù)[22]，冗余信息樣本需要剔除，對精度有更高的要求，在損失函數(shù)中賦予更高的權(quán)重；對于有信息樣本，保存到硬盤上進(jìn)行二次圖像識(shí)別和檢測，可以允許一定的誤判，在損失函數(shù)中賦予較小的權(quán)重。

帶權(quán)重交叉熵?fù)p失函數(shù)定義

(7)

5 實(shí)驗(yàn)結(jié)果與分析

5.1 模型訓(xùn)練過程與分類結(jié)果分析

在訓(xùn)練過程中，每進(jìn)行一次前向傳播和反向傳播(梯度下降)記錄一次平均損失值和預(yù)測精度，以此繪制Loss曲線和精度曲線。模型輸出分類的概率，取大值作為判斷類別依據(jù)。本文訓(xùn)練ResNet-DS并以同樣參數(shù)與數(shù)據(jù)集分別訓(xùn)練殘差神經(jīng)網(wǎng)絡(luò)ResNet-18和ResNet-50，繪制Loss曲線和精度曲線。實(shí)驗(yàn)結(jié)果如圖7、圖8所示。

圖7 損失值Loss曲線

圖8 精度曲線

從Loss曲線可以看出，3個(gè)模型的平均損失值只有ResNet-50在前50 epoch的迭代區(qū)間上產(chǎn)生了先上升后下降的趨勢，其余階段均隨著神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)而減小，說明模型可以很好地學(xué)習(xí)到隧道襯砌表面的特征。同時(shí)ResNet-DS在學(xué)習(xí)一開始損失值小于其他兩個(gè)模型，并且在相同的迭代過程中曲線一直處于其他實(shí)驗(yàn)?zāi)Ｐ拖路?，深度可分離卷積嵌入殘差神經(jīng)網(wǎng)絡(luò)小模型，在隧道表面病害篩除任務(wù)上并沒有因?yàn)閰?shù)的減小而產(chǎn)生性能上的損失。ResNet-18和ResNet-50大模型在簡單分類任務(wù)上出現(xiàn)了過擬合的現(xiàn)象，性能上略弱于小模型。

在精度曲線上，隨著迭代的進(jìn)行，精度逐漸提高。ResNet-50在精度上與ResNet-18和ResNet-DS有較大的差距，出現(xiàn)了精度先降低后上升的現(xiàn)象；ResNet-18在訓(xùn)練過程中出現(xiàn)了強(qiáng)烈震蕩。經(jīng)過分析，ResNet-DS可以較好地適應(yīng)隧道表面的篩除任務(wù)，在學(xué)習(xí)效率和精度上均略高于ResNet-18和ResNet-50。圖9為模型對樣本的篩選結(jié)果，其中圖9(a)是需要剔除的冗余信息。

圖9 ResNet-DS篩選樣本

5.2 模型推理性能對比

模型大小可以通過模型參數(shù)數(shù)量反映。模型部署的邊緣計(jì)算機(jī)終端，除了精度外，模型的推理速度是判定是否適應(yīng)當(dāng)前需求的另一個(gè)指標(biāo)。試驗(yàn)將本文設(shè)計(jì)的ResNet-DS與ResNet-18和ResNet-50作比較，從模型精度、參數(shù)數(shù)量、浮點(diǎn)運(yùn)算數(shù)量3個(gè)方面衡量模型的性能，并分別部署在CPU和GPU上進(jìn)行預(yù)測推理，得到預(yù)測時(shí)間。實(shí)驗(yàn)結(jié)果如表2所示。

表2 模型推理性能

從表2可以看出，用深度可分離卷積替代標(biāo)準(zhǔn)卷積后，模型的參數(shù)和浮點(diǎn)運(yùn)算量急劇減小。對比ResNet-18，參數(shù)數(shù)量減少88%，浮點(diǎn)數(shù)計(jì)算減少至1/10。對于部署在有內(nèi)存和計(jì)算力限制的邊緣計(jì)算設(shè)備上有巨大的優(yōu)勢。同時(shí)在調(diào)用的GPU并行計(jì)算加速的環(huán)境下，ResNet-DS分別比ResNet18和ResNet50快12%和146%；在只調(diào)用CPU計(jì)算的環(huán)境下，ResNet-DS比ResNet18快1.37倍，比Resnet50快3.63倍。說明在計(jì)算資源充裕的環(huán)境下，利用GPU進(jìn)行并行計(jì)算，ResNet-DS推理速度僅有小幅度的提升；但在CPU上部署，算力受限的環(huán)境下，ResNet-DS因其本身計(jì)算成本小，推理速度成倍提升。

5.3 P-R曲線分析

隧道表面病害篩選算法更加關(guān)注隧道冗余信息樣本的剔除。對于冗余信息樣本，實(shí)驗(yàn)選擇β=1.0和β=1.5的權(quán)重模型進(jìn)行實(shí)驗(yàn)對比。P-R曲線直觀顯示出樣本的查準(zhǔn)率與查全率，通過對比曲線的分布和與坐標(biāo)軸所圍成的面積比較模型的性能。2次實(shí)驗(yàn)的P-R曲線如圖10所示。

圖10 模型性能對比實(shí)驗(yàn)P-R曲線分析

從圖10可以看出，β=1.5的P-R曲線完全包住β=1.0的曲線，對于冗余信息樣本篩選的性能更優(yōu)。賦予樣本更高的權(quán)重，則在模型訓(xùn)練過程中賦予樣本更大的懲罰因子，使模型側(cè)重于對冗余信息樣本特征的學(xué)習(xí)。本文模型最終選擇β=1.5，得分閾值為0.8的模型，在驗(yàn)證集上可以實(shí)現(xiàn)對于冗余信息樣本分類的100%的查準(zhǔn)率。經(jīng)過模型的篩選后，無病害且無構(gòu)筑物的圖像數(shù)據(jù)被剔除，占比72%。單位千米隧道存儲(chǔ)數(shù)據(jù)量下降至164 GB。

5.4 量化模型性能對比

訓(xùn)練好的模型，采用400張樣本校準(zhǔn)數(shù)據(jù)計(jì)算量化因子，進(jìn)行靜態(tài)離線量化。所得模型與原模型性能比較，實(shí)驗(yàn)結(jié)果如表3所示。

表3 量化前后模型性能對比

如表3所示，在精度沒有損失的情況下，在CPU環(huán)境和GPU并行計(jì)算環(huán)境下單一圖像預(yù)測速度分別提高3.75 ms和1.05 ms。對比ResNet-18，量化后的模型ResNet-DS推理速度在GPU運(yùn)行環(huán)境下提升22%，在CPU運(yùn)行環(huán)境下提升178%。

6 結(jié)論

為了快速剔除高鐵隧道表面無病害圖像，本文利用深度學(xué)習(xí)算法，構(gòu)建輕量卷積神經(jīng)網(wǎng)絡(luò)ResNet-DS。從識(shí)別精度、模型大小和推理速度3個(gè)方面與原殘差神經(jīng)網(wǎng)絡(luò)ResNet-18和ResNet-50進(jìn)行對比分析。同時(shí)訓(xùn)練好的模型進(jìn)行靜態(tài)離線量化，探究了輕量網(wǎng)絡(luò)在高速處理海量隧道圖像的應(yīng)用。結(jié)論如下。

(1)以殘差神經(jīng)網(wǎng)絡(luò)為主干網(wǎng)絡(luò)，將深度可分離卷積替代標(biāo)準(zhǔn)卷積，構(gòu)建的模型ResNet-DS識(shí)別精度為98.67%。對比原殘差神經(jīng)網(wǎng)絡(luò)，在保證精度的前提下，模型的參數(shù)和浮點(diǎn)運(yùn)算量急劇減少，推理速度在GPU環(huán)境下提升12%，在CPU環(huán)境下提升137%，模型性能明顯提升。

(2)通過P-R曲線分析不同權(quán)重下模型對冗余信息樣本識(shí)別的準(zhǔn)確率和召回率得出，采用權(quán)重?fù)p失函數(shù)賦予冗余信息樣本更高的權(quán)重，可以使模型在判斷并刪除樣本時(shí)更加穩(wěn)健。

(3)在ResNet-DS訓(xùn)練完成后，采用少量的樣本對模型進(jìn)行靜態(tài)離線量化。量化后模型在GPU和CPU環(huán)境下單一圖像推理時(shí)間分別減少1.05ms和3.75ms，推理速度進(jìn)一步提升。靜態(tài)離線量化方法優(yōu)化模型能更好地滿足檢測需求。