韓海航，莫佳笛，周春鵬，王洋洋2,，于 智，顧靜軍

(1.浙江省交通運輸科學研究院 道路工程研究所，浙江 杭州 310039；2.浙江大學 工程師學院，浙江 杭州 310015；3.浙江大學 計算機學院 浙江省服務(wù)機器人重點實驗室，浙江 杭州 310027)

0 引 言

及時發(fā)現(xiàn)并識別道路存在的病害問題對于延長道路使用年限和確保車輛安全行駛至關(guān)重要[1]。為此，研究人員必須定期檢查和評估道路性能，并使用宏觀和微觀的分析方法來對材料進行分析[2]。由于采集到的道路雷達數(shù)據(jù)量大而病害問題難以分辨，使得傳統(tǒng)的道路病害人工檢測方法效率低下且耗時費力，故實現(xiàn)一個能高效精準的自動化檢測算法來替代人工檢測是目前道路雷達病害檢測領(lǐng)域的研究重點。

本文以交通道路檢測領(lǐng)域中的三維探地雷達圖譜數(shù)據(jù)為研究對象，其主要任務(wù)為應(yīng)用機器視覺方法進行道路病害類別的自動識別。因此，其中核心問題是能否有效地識別出雷達數(shù)據(jù)其俯視圖(水平斷面)和主視圖(垂直斷面)中的病害特征信息。根據(jù)道路探測經(jīng)驗可得，主視圖利于發(fā)現(xiàn)空洞問題，而俯視圖利于發(fā)現(xiàn)層間脫空、裂縫問題，所以傳統(tǒng)方案采用兩個分類器解決各自的問題。其主要存在的問題為：僅使用單視圖信息訓練單視圖上的分類器，多視圖數(shù)據(jù)無法得到充分利用。然而，本文發(fā)現(xiàn)俯視圖的特征是有利于發(fā)現(xiàn)空洞問題；主視圖特征也對發(fā)現(xiàn)層間脫空、裂縫問題有幫助，因此應(yīng)該采用將兩種視圖進行融合的方式來充分利用三維探地雷達多視圖數(shù)據(jù)，從而提高道路病害分類的準確率。

1 研究背景

相較于傳統(tǒng)機器學習需要針對數(shù)據(jù)進行大量的特征工程，深度學習因其能夠自動提取特征同時又具有極其優(yōu)異的性能，而在近些年得到了快速發(fā)展，被廣泛應(yīng)用于圖像分類、目標檢測等領(lǐng)域。何凱明等提出了一種在網(wǎng)絡(luò)層的輸入和輸出之間添加恒等映射的殘差網(wǎng)絡(luò)(ResNet)[3]以解決較高的網(wǎng)絡(luò)層數(shù)對模型效果的負面影響，使深度模型的層數(shù)能夠進一步提高。為了解決在殘差網(wǎng)絡(luò)中對特征重用逐漸減少的問題，Sergey等增加了殘差塊的寬度，提出了Wide ResNet[4]。為了確保獲取網(wǎng)絡(luò)中各層之間的最大信息流，Gao等通過級聯(lián)來連接不同層的特征替換了傳統(tǒng)的通過求和來連接各網(wǎng)絡(luò)層，提出了DenseNet[5]網(wǎng)絡(luò)結(jié)構(gòu)。

另外，由于在雷達圖譜中道路受損病害特征難以區(qū)別于普通正常路基，非常依賴于專家的經(jīng)驗知識，近些年深度學習方法逐漸被引入到道路領(lǐng)域中以規(guī)避復(fù)雜的特征工程[6]。由于使用不同傳感器可采集到不同的道路結(jié)構(gòu)病害信息，道路病害檢測方法可根據(jù)其所用設(shè)備技術(shù)、呈現(xiàn)形式與數(shù)據(jù)特征進行劃分。Pauly等使用手機拍攝的圖片數(shù)據(jù)提出了基于卷積神經(jīng)網(wǎng)絡(luò)的裂縫識別，但其分類較為單一且受環(huán)境因素影響較大[7]。而后，為了克服不同采集環(huán)境以及拍攝設(shè)備差異帶來的影響，Cha等引入滑動窗口實現(xiàn)自動裂縫分類，提高了模型的魯棒性[8]。針對三維瀝青路表圖像信息，Zhang等提出了基于卷積神經(jīng)網(wǎng)絡(luò)的像素級自動裂縫識別網(wǎng)絡(luò)CrackNet[9]。針對探地雷達采集到的二維圖譜數(shù)據(jù)，沙愛民等利用3個卷積神經(jīng)網(wǎng)絡(luò)模型實現(xiàn)了路表病害識別、裂縫特征提取以及坑槽特征提取[10]。然后，為了實現(xiàn)自動化道路路基病害識別，沙愛民等建立了包含兩個卷積神經(jīng)網(wǎng)絡(luò)的級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)，分別用于識別高、低分辨率的探地雷達圖譜[11]。然而，上述方法都是基于單輸入的二維圖像信息進行實現(xiàn)的，不適用于目前常見的三維探地雷達收集到的多視圖數(shù)據(jù)信息，目前針對更復(fù)雜的三維路基病害暫無好的自動解決方案[2]。同時，深度學習算法模型通常包含著大量需要訓練的參數(shù)，需要大量帶標注的樣本數(shù)據(jù)來對網(wǎng)絡(luò)參數(shù)值進行更新，才能達到較高準確率。但由于道路雷達圖譜數(shù)據(jù)的缺乏標注，道路工程領(lǐng)域的研究受到了很大的限制[12]。因此在樣本數(shù)量較小的情況下充分利用信息從而進行道路病害的準確識別也是目前急需解決的問題。

本文主要研究對象為交通道路檢測領(lǐng)域中的三維探地雷達圖譜數(shù)據(jù)。三維探地雷達相較于其它二維檢測手段能更為準確地檢測出道路內(nèi)部隱藏的病害信息，因此被廣泛應(yīng)用于高速公路、市政道路[13]的道路狀態(tài)檢測。其收集到的數(shù)據(jù)呈多視圖顯示，結(jié)合水平斷面(俯視圖)和沿行進方向的垂直斷面(主視圖)分析單視圖上所呈現(xiàn)的病害特征信息即可判斷道路所屬病害類別，以主視圖為主、俯視圖為輔的傳統(tǒng)病害類別決策器如圖1所示。根據(jù)俯視圖和主視圖的病害特征，道路病害可以分為3類：空洞、層間脫空和裂縫。

圖1 道路病害類別判別流程

為了解決傳統(tǒng)算法流程(如圖2(a)所示)存在的問題，本文提出了一種可利用三維探地雷達多視圖數(shù)據(jù)的雙塔網(wǎng)絡(luò)模型，將視圖特征融合和自注意力機制相結(jié)合，實現(xiàn)道路病害的端到端檢測與識別，其整體結(jié)構(gòu)如圖2(b)所示。首先，以DenseNet為基礎(chǔ)改進網(wǎng)絡(luò)結(jié)構(gòu)，提出了基于雙視圖的雙塔模型，將俯、主視圖兩種圖像信息分別作為輸入在單視圖上訓練特征提取器，用于提高網(wǎng)絡(luò)對于不同視圖中病害特征的表達能力。其中，為了進一步提高特征表達能力，在病害特征提取的過程中，應(yīng)用通道間的注意力機制提取通道間權(quán)重關(guān)系，抑制無用通道信息。然后，針對每個樣本信息，運用注意力機制學習視圖間的權(quán)重關(guān)系，選取對當前病害類別判斷更關(guān)鍵的信息，減少對與類別決策無關(guān)的信息的關(guān)注。同時，為了增強模型預(yù)測的穩(wěn)定性以及減少輸出的方差，引入多頭注意力機制。最后，將兩個視圖特征圖進行帶權(quán)融合，經(jīng)過多層感知機和Softmax歸一化操作后，輸出道路病害類別預(yù)測結(jié)果。實驗結(jié)果表明，在三維探地雷達多視圖數(shù)據(jù)上，本文模型對于道路病害分類的準確率較高且穩(wěn)定性較好。由于人工標注雷達圖譜數(shù)據(jù)較為復(fù)雜而且道路病害問題在實際道路中所占比重較小，病害樣本數(shù)量不足。為了進一步提升病害分類精度，使用數(shù)據(jù)增強的方法擴充樣本數(shù)量。

圖2 算法流程

2 基于注意力融合的多視圖病害分類

三維探地雷達主要采用步進頻率技術(shù)對道路進行檢測，以獲得針對不同深度的最佳分辨率，最終呈現(xiàn)出多視圖信息[13]。為了更好提取其呈現(xiàn)的沿行進方向的垂直斷面(主視圖)與水平斷面(俯視圖)這兩個視圖中的重要特征信息從而充分利用數(shù)據(jù)，也能從一定程度上緩解可用樣本數(shù)量少帶來的過擬合問題，本文提出了針對三維探地雷達多視圖數(shù)據(jù)的基于注意力融合的雙塔模型(Dual-AttFusioNet)。下面將從4個部分對本文算法進行介紹：端到端的雙塔模型、通道間的自注意力機制、視圖間的注意力機制，以及道路病害類別預(yù)測模塊。

2.1 端到端雙塔模型

利用單一視圖信息可識別出二維空間信息下的病害特征，然后同時結(jié)合俯、主視圖兩種視圖信息即可判斷道路病害類別，如圖1流程所示。然而，只使用單一視圖存在無法充分利用雷達圖譜數(shù)據(jù)的弊端。因此，首先采用3D探地雷達采集到的雙視圖數(shù)據(jù)作為輸入，在兩個視圖上分別訓練兩個特征提取器，然后融合雙視圖特征進行端到端的道路病害分類，如圖3所示。其中，對單視圖信息進行特征提取時，使用通道間自注意力機制來學習通道間權(quán)重分布；利用視圖間注意力機制針對每個樣本學習俯、主視圖的重要程度，從而進行加權(quán)相加的特征融合。

圖3 本文算法框架

本文使用DenseNet-121網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)，來提取每個視圖的信息。兩個視圖上呈現(xiàn)的病害特征信息差異較大，為了針對單視圖進行更好的特征表達，在單個視圖上訓練單獨的特征提取器，且兩個特征提取器不進行參數(shù)共享。單視圖特征提取器的網(wǎng)絡(luò)結(jié)構(gòu)如表1所示，主要包含4個最大化利用特征的密集塊(Dense Block)，用于降維的過渡層(Transition Layer)，以及融合雙視圖特征圖的表征層。其中，密集塊包含多次卷積操作并引入卷積核為1×1的卷積操作提高運算效率。過渡層采用卷積、通道間自注意力機制、池化等操作降低通道數(shù)，減小圖片尺寸。表征層由通道間自注意力機制、全局平均池化、雙視圖特征融合、全連接、Softmax等操作組成，最終輸出道路病害預(yù)測結(jié)果。

為了更好提取每個視圖中的病害特征信息，同時抑制無用信息(例如圖像噪聲等)在模型中的表達，本文在DenseNet網(wǎng)絡(luò)各block之間的過渡層(Transition Layer)和最終分類層中引入通道間的注意力機制來學習通道間的權(quán)重分布，如表1所示。隨后，再次結(jié)合注意力機制用于實現(xiàn)雙視圖特征的帶權(quán)融合。最終，在雙塔模型的分類層中聯(lián)合雙視圖特征圖進行道路病害分類。將上述兩種注意力機制應(yīng)用于雷達圖譜數(shù)據(jù)的具體方式將在2.2節(jié)與2.3節(jié)中介紹，病害類別預(yù)測模塊將在2.4節(jié)中介紹。

表1 改進后的DenseNet-121網(wǎng)絡(luò)結(jié)構(gòu)

2.2 通道間注意力機制

三維探地雷達采集到的雷達圖譜數(shù)據(jù)中不僅包含病害特征，還存在其它噪聲對病害識別產(chǎn)生影響，如：硬件設(shè)備、干擾信號等[14]。為了減少特征提取器對其它無關(guān)信息的關(guān)注，而更多關(guān)注于提取雷達圖譜數(shù)據(jù)中的利于病害分類的道路特征信息，因此本文采用通道間自注意力機制(channel-wised attention)來學習不同通道間的權(quán)重大小，并將學習到的通道特征中重要程度分布去對原始特征見校準，以體現(xiàn)不同通道的重要性。

若給定某個視圖，將特征提取過程的中間特征圖U∈RC×H×W作為輸入，整個通道間自注意力過程可以表示為

(1)

圖4 基于Inception的Squeeze-and-Excitation(SE)結(jié)構(gòu)

首先，SE模塊對輸入特征圖進行Squeeze操作，使用全局平均池化(global average pooling)操作將單個通道上的全部空間特征編碼為一個基于通道關(guān)系的全局特征向量v∈RC。 若給定空間維度為C×H×W的輸入特征圖U，將其對應(yīng)的第c個特征圖記為uc，通過Squeeze操作后，通道間全局特征v的第c個元素可表示為

(2)

M=σ(W2ReLU(W1v))

(3)

(4)

由于SE結(jié)構(gòu)簡單參數(shù)設(shè)定少、計算量較小，且可添加到不同網(wǎng)絡(luò)結(jié)構(gòu)中，因此本文將SE模塊添加到DenseNet的過渡層(Transition Layer)以及分類層中，如圖5所示，以提高網(wǎng)絡(luò)對于道路病害信息的表達能力，同時抑制無用特征。

圖5 SE-DenseNet模塊

2.3 視圖間注意力機制

從圖1中可以看出，不同病害類別對于主視圖與俯視圖的信息所偏重程度也是不同的，例如：空洞病害更多的是需要依賴主視圖呈現(xiàn)高亮的病害信息進行可判斷，而裂縫問題則需要同時依賴主視圖呈現(xiàn)雙曲線且俯視圖呈現(xiàn)長條狀的兩種病害信息才可判斷。因此，在進行特征融合時，為了給不同樣本賦予不同融合權(quán)重值，首先使用視圖間注意力機制，即元素間注意力(element-wised attention)學習到不同視圖的重要性，增強重要視圖的權(quán)重值，減小不重要視圖的權(quán)重值[16]，得到每個樣本關(guān)于視圖間融合的權(quán)重值。隨后，根據(jù)計算得出的俯、主視圖權(quán)重值對俯、主視圖進行帶權(quán)相加，實現(xiàn)對兩個視圖特征的自適應(yīng)帶權(quán)融合。雙視圖特征融合過程如圖6所示。

圖6 視圖間注意力特征融合

若給定分別在俯視圖、主視圖上提取到的特征圖分別為A∈RN×d和B∈RN×d，N表示批處理大小(batch size)。利用帶權(quán)相加進行視圖融合的完整過程可表示為

F=αA+βB

(5)

式中：F∈RN×d表示融合兩種視圖后的特征，對于視圖間的注意力權(quán)重值α,β∈RN由視圖注意力機制得出，其具體的計算過程如下

(6)

(7)

(8)

(9)

(10)

式中：⊕表示為張量拼接操作。引入多頭注意力機制后得到的視圖融合特征圖維度增加到原注意力機制維度的k倍。

2.4 病害類別預(yù)測

(11)

(12)

其中，權(quán)重值Whid,Wout與偏差值bhid,bout是MLP中的參數(shù)，通過模型訓練得到。

(13)

式中：L表示訓練集， #C表示樣本類別數(shù)量。在訓練過程中，利用上述的交叉熵損失函數(shù)進行反向梯度傳播，來更新雙塔模型中所有的可學習參數(shù)，包括特征提取器，注意力機制等等。

3 實驗結(jié)果及分析

3.1 多視圖雷達圖譜數(shù)據(jù)集

為了驗證提出的雙塔模型的有效性和準確率，本文對該模型進行了大量的實驗。首先，在實驗中所采用的道路圖像數(shù)據(jù)來源于在浙江省城市道路中使用3D探地雷達采集的結(jié)果，采集到的原始數(shù)據(jù)中，每一例道路樣本包含兩張圖像數(shù)據(jù)，分別為320×320像素的主視圖灰度圖像和320×230像素的俯視圖灰度圖像。

表2 俯視圖與主視圖的道路病害特征統(tǒng)計

圖7 預(yù)處理后道路病害類型的效果

表3 道路雷達數(shù)據(jù)類別統(tǒng)計

3.2 實驗設(shè)置

本文的實驗采用Pytorch框架，使用的GPU是一塊RTX 3090，運行環(huán)境為Python3.8。所有實驗的批處理大小設(shè)置均為32，實驗輪數(shù)(epoch)設(shè)置為80輪，并且使用自適應(yīng)矩估計(Adam)優(yōu)化器對參數(shù)進行優(yōu)化。實驗中只使用訓練集進行參數(shù)更新，同時取在驗證集上效果最好的模型，報告其在測試集上的準確度(Accuracy)平均值、標準差。相同實驗設(shè)置重復(fù)10次。因為不同類別樣本數(shù)量差異較大，也計算了加權(quán)平均查全率(Recall)以及加權(quán)平均F1分數(shù)評價模型。若給定預(yù)測為正類的正樣本TP，預(yù)測為負類的負樣本TN，預(yù)測為正類的負樣本FP，預(yù)測為負類的正樣本FN，單次實驗各評價指標計算方式如下

(14)

(15)

(16)

(17)

實驗中進行了對比方法的設(shè)置。對于方案一，分別使用6層簡單卷積神經(jīng)網(wǎng)絡(luò)(CNN-6)、殘差網(wǎng)絡(luò)(ResNet18)、DenseNet121作為分類器與本文的雙塔模型(Dual-AttFusioNet)進行對比，其主要過程如圖2(a)所示，單獨訓練兩個分類器，根據(jù)兩個分類器的輸出得到最終的病害預(yù)測類別。對于方案二，分別采用CNN-6、ResNet、DenseNet作為特征提取器，其主要過程如圖2(b)所示。同時考慮不同特征融合方式，使用特征拼接(Concatenate)、相加(Add)以及殘差門控融合(text image residual gating，TIRG融合)[18]等融合方法進行對比實驗。其中，方案二中所有模型均在兩個視圖上訓練兩個非共享參數(shù)的特征提取器來提取單視圖上的病害特征信息。另外，將TIRG融合方法引入到道路病害識別時，需要指定一類視圖作為主要信息，并且將另一類作為輔助信息。因此，實驗中分別測試了將主、俯視圖作為主要視圖的兩種不同方案設(shè)置，分別記為TIRG-主視圖和TIRG-俯視圖。TIRG融合中也可以使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)代替中間多層感知機進行視圖上的特征融合，將該變種記為TIRG-CNN。

3.3 原始數(shù)據(jù)實驗結(jié)果

上述所有的方案在真實數(shù)據(jù)上的實驗結(jié)果匯總見表4。

從表4中可知，在同一測試集下，相較于在不同視圖訓練不同分類器的分步預(yù)測方法(方案一)，使用不同融合方式的端到端預(yù)測方法(方案二)由于能夠充分利用兩種視圖數(shù)據(jù)，總體上性能有著較大的提升。例如，在方案二中使用簡單的CNN-拼接方案的各項指標是優(yōu)于方案一中的所有對比方法，包括使用DenseNet121的分類器。更進一步，本文所提出的基于注意力融合的雙塔模型(Dual-AttFusioNet)在方案二中的取得了最高的性能，在原始數(shù)據(jù)集上分類精度達到94.62%，相較于以DenseNet為基礎(chǔ)結(jié)構(gòu)的分步預(yù)測方法準確度提升約8.67%，同時Dual-AttFusioNet的輸出穩(wěn)定性也較好，分類準確率對應(yīng)的方差最低。相對于方案二的其它對比方案，由于Dual-AttFusioNet采用了多種注意力機制，包括了特征提取時的通道間注意力和特征融合時的視圖間注意力，其能更好地提取樣本數(shù)據(jù)中重要的病害特征信息以及針對每個樣本數(shù)據(jù)實現(xiàn)針對性的融合，達到了加強融合的效果，因此本文模型在病害分類任務(wù)上的各項指標都是較優(yōu)的。該結(jié)果說明了本文方案的有效性。

表4 原始數(shù)據(jù)對比實驗結(jié)果

3.4 數(shù)據(jù)增強與結(jié)果

上述的實驗是在原始的雷達道路數(shù)據(jù)上進行的測試，但從表2的數(shù)據(jù)統(tǒng)計中可以發(fā)現(xiàn)，原始數(shù)據(jù)集的總體樣本數(shù)量是較少的，這對于訓練深度學習模型是不利的。另外類別分布是非常不均勻的，例如，在俯視圖中，標簽為1的暗斑數(shù)據(jù)集的數(shù)量為129張，而標簽為2的亮斑數(shù)據(jù)的數(shù)量僅為46張，標簽1和標簽2的數(shù)量遠小于其它類型的數(shù)據(jù)，數(shù)據(jù)不均衡導(dǎo)致模型更傾向于輸出類別多的標簽并影響訓練的準確性。

為了解決真實數(shù)據(jù)中存在帶標注樣本少以及病害類別分布不均衡問題，進一步提高模型的表現(xiàn)，本文在原始數(shù)據(jù)集的基礎(chǔ)上同時進行數(shù)據(jù)增強處理和上采樣處理。由于俯視圖類別較多且病害特征分布更為不均衡，因此首先依據(jù)俯視圖類別分布對數(shù)據(jù)進行上采樣操作，使得俯視圖中每個類別分布均衡，然后其對應(yīng)的主視圖數(shù)據(jù)也相應(yīng)進行上采樣操作。經(jīng)過上采樣的操作后，再使用數(shù)據(jù)增強操作進行擴充。測試多種數(shù)據(jù)增強方式后，最終選取亮度變換與翻轉(zhuǎn)操作對均衡后的數(shù)據(jù)集進行3倍擴充。最終得到了經(jīng)過上采樣和數(shù)據(jù)增強后的道路雷達數(shù)據(jù)集，其俯視圖的統(tǒng)計分布情況見表5。

表5 針對俯視圖數(shù)據(jù)增強道路病害數(shù)據(jù)

將上述經(jīng)過處理后的雷達數(shù)據(jù)(簡稱增強數(shù)據(jù))重新對本文的模型進行測試采用訓練集訓練模型，同時也對比了表4中的方法。各種方法在增強數(shù)據(jù)集上的測試實驗結(jié)果匯總見表6。

表6 增強數(shù)據(jù)對比實驗結(jié)果

從表6中可以發(fā)現(xiàn)，在增強數(shù)據(jù)集上，方案二總體上相對于方案一依然具有較大的優(yōu)勢。同時，較為深層的神經(jīng)網(wǎng)絡(luò)模型效果對比原始數(shù)據(jù)集提升明顯，準確率與穩(wěn)定性均有所提升，其原因是增強數(shù)據(jù)在一定程度上緩解了訓練樣本少和樣本不均衡問題。本文所提出的Dual-AttFusioNet模型依然取得了最優(yōu)的性能，在增強數(shù)據(jù)集上效果進一步提升，準確率達到95.78%，查全率為95.87%，F(xiàn)1-score為95.78%，精度相較于原始數(shù)據(jù)提升1.16%。該結(jié)果進一步說明了方案的有效性。

3.5 消融實驗

為了驗證本文提出的Dual-AttFusioNet模型中各模塊的作用和存在的必要性，進行了關(guān)于模型的消融實驗，分別對Dual-AttFusioNet模型中的模塊進行去除。進行驗證的模塊包括通道間注意力(SEnet)、視圖間注意力融合(Attfusion)、深度特征提取器(DenseNet)、非共享參數(shù)視圖特征提取(Separate Encoder)。本次實驗在原始道路數(shù)據(jù)集上進行測試，其它實驗設(shè)置與之前保持一致。其中，為了驗證通道間注意力機制的有效性，移除特征提取時采用的通道間注意力機制；為了驗證視圖間注意力機制的有效性，變更視圖融合時采用的視圖間注意力機制為簡單相加融合方式；為了驗證深度特征提取器，變更特征提取器DenseNet121為ResNet18；為了驗證非共享參數(shù)視圖特征提取，使用兩個共享網(wǎng)絡(luò)參數(shù)權(quán)重的特征提取進行實驗。消融實驗結(jié)果如圖8所示，橫坐標表示原始Dual-AttFusioNet模型中被去除的模塊，縱坐標表示在測試集上的分類準確率。從結(jié)果中可以看出，原始Dual-AttFusioNet模型的性能是最好的，去除掉模型中任何的模塊都會對分類性能產(chǎn)生影響。

圖8 消融實驗結(jié)果

3.6 參數(shù)分析

為了驗證模型中超參數(shù)對于最終病害分類效果的影響，本文在原始數(shù)據(jù)集上進行參數(shù)敏感性分析，主要的參數(shù)包括Dropout系數(shù)與L2正則權(quán)重衰退系數(shù)(weight decay)。將Dropout系數(shù)設(shè)為0,0.1,…,0.5進行6組對比實驗，測試其對于模型準確度的影響，每組進行10次重復(fù)實驗并取平均，結(jié)果見表7。隨著Dropout系數(shù)的增加，模型性能整體呈下降趨勢，先緩慢下降而后快速下降。實驗結(jié)果表明，本文提出的模型對于Dropout參數(shù)較為敏感，訓練過程中刪去的特征越多，模型的精度越差。

表7 Dropout實驗結(jié)果

為了測試權(quán)重衰退系數(shù)對于模型準確度的影響，將衰退系數(shù)分別設(shè)置設(shè)為0,1e-06,…,1e-02，即每次變化一個數(shù)量級進行6組對比實驗。每組進行10次重復(fù)實驗，實驗結(jié)果取平均值，結(jié)果見表8。從總體上來看，隨著衰退系數(shù)的變化，模型性能整體變化不大，說明對于權(quán)重衰退系數(shù)不敏感。當衰退系數(shù)取值為1e-03時，模型的分類準確率最佳。

表8 衰退系數(shù)實驗結(jié)果

4 結(jié)束語

本文在三維探地雷達收集到的多視圖雷達圖譜數(shù)據(jù)集上，針對道路病害類別預(yù)測任務(wù)，提出了同時利用兩種視圖的端到端深度注意力雙塔模型。首先，針對兩種視圖信息訓練分別兩個不同參數(shù)的特征提取器，可提高網(wǎng)絡(luò)對于單一視圖的表征能力。并且在特征提取時引入通道間注意力機制學習通道間權(quán)重關(guān)系，進一步提高網(wǎng)絡(luò)的特征表達能力。最后，再次利用注意力機制逐元素學習融合兩個視圖時的權(quán)重關(guān)系，增強重要視圖的權(quán)重值，提高預(yù)測精度。實驗結(jié)果表明，本文算法在雷達圖譜數(shù)據(jù)集上取得較優(yōu)的預(yù)測效果，預(yù)測精度高于基于病害識別流程分布預(yù)測約8%。通道間與視圖間的兩次注意力機制的應(yīng)用可有效提高模型對于道路病害信息的表征能力，減少特征信息的丟失，提高圖像信息處理的準確性。未來，計劃從數(shù)據(jù)、模型兩個方面對本文算法進行改進。現(xiàn)有雷達圖譜數(shù)據(jù)集中帶標注的樣本數(shù)量較小，考慮使用基于深度學習的數(shù)據(jù)增強方法來擴增數(shù)據(jù)。同時可使用小樣本學習對目前的模型進行增強，如：小樣本度量學習、元學習等。