摘" 要： 針對現(xiàn)有方法對無人機(jī)高速公路護(hù)欄損壞檢測存在邊緣信息提取效果差、識(shí)別精度低的問題，提出一種基于深度學(xué)習(xí)的變化檢測模型DDE?BIT。首先，采用深度可分離卷積優(yōu)化主干網(wǎng)絡(luò)Resnet18，減少模型的參數(shù)數(shù)量，降低計(jì)算成本；然后，在主干網(wǎng)絡(luò)輸出部分引入ECA注意力模塊，在僅增加少量參數(shù)的情況下提高模型的跨通道信息捕捉能力；最后，通過跳躍連接方式對BIT雙時(shí)空圖像轉(zhuǎn)換器的輸出特征進(jìn)行堆疊，提高模型的上下文信息理解能力。以采集的無人機(jī)高速公路護(hù)欄損壞圖像為實(shí)驗(yàn)數(shù)據(jù)，實(shí)驗(yàn)結(jié)果表明：DDE?BIT模型的交并比和F1分?jǐn)?shù)分別為90.99%、95.28%，相較于原始模型分別提高了2.71%、1.51%，能夠有效地提取護(hù)欄損壞的邊緣信息。

關(guān)鍵詞： 護(hù)欄損壞檢測； 無人機(jī)； ECA注意力機(jī)制； 深度可分離卷積； 圖像處理； 信息提取

中圖分類號： TN911.73?34" " " " " " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " " " "文章編號： 1004?373X（2025）04?0123?07

DDE?BIT?based UAV highway guardrail damage detection

WANG Yang1， 2， GUO Dudu2， 3， SHUAI Hongbo1， 2

（1. College of Intelligent Manufacturing and Modern Industry， Xinjiang University， Urumqi 830017， China;

2. Xinjiang Key Laboratory of Green Construction and Maintenance of Transport Infrastructure and Intelligent Traffic Control， Xinjiang University，

Urumqi 830017， China; 3. School of Traffic and Transportation Engineering， Xinjiang University， Urumqi 830017， China）

Abstract： In allusion to the problems of poor edge information extraction and low recognition accuracy of existing methods for UAV highway guardrail damage detection， a deep learning based change detection model， DDE?BIT， is proposed. A depth?separable convolutional optimization backbone network， Resnet18， is used to reduce the number of parameters of the model and lower the computational cost. An ECA attention module is introduced into the output part of the backbone network to improve the cross?channel information capturing ability of the model with only a small increase in parameters. The output features of the BIT dual spatio?temporal image converter are stacked by jumping connection to improve the understanding ability of the model context information. Taking the collected UAV highway guardrail damage images as the experimental data， the experimental results show that the intersection ratio and F1 score of the DDE?BIT model are 90.99% and 95.28%， respectively， which are 2.71% and 1.51% higher than that of the original model， and can effectively extract the damaged edge information of the guardrail.

Keywords： guardrail damage detection; UAV; ECA attention mechanism; depth?separable convolution; image processing; information extraction

0" 引" 言

高速公路護(hù)欄對保障行車安全、增強(qiáng)交通秩序具有重要意義，是我國道路基礎(chǔ)設(shè)施巡檢與養(yǎng)護(hù)的重要內(nèi)容[1?2]?，F(xiàn)在的高速公路護(hù)欄損壞檢測主要依靠人工進(jìn)行，存在人力成本高、工作效率低的問題。因此，高效、精確的護(hù)欄損壞檢測是目前的研究熱點(diǎn)?，F(xiàn)有的護(hù)欄損壞自動(dòng)檢測方法主要是依據(jù)路側(cè)設(shè)備或傳感器實(shí)現(xiàn)，如：文獻(xiàn)[3]提出了一種基于無線傳感器的護(hù)欄碰撞檢測系統(tǒng)，通過物聯(lián)網(wǎng)與路側(cè)傳感設(shè)備的相互連接實(shí)現(xiàn)對護(hù)欄的檢測；文獻(xiàn)[4]提出了一種基于數(shù)據(jù)驅(qū)動(dòng)的護(hù)欄故障診斷方法，通過布設(shè)監(jiān)測點(diǎn)收集護(hù)欄數(shù)據(jù)，使用仿真建模的方法實(shí)現(xiàn)了對故障護(hù)欄的檢測。但此類方法通常需要對護(hù)欄進(jìn)行改造，成本較大且覆蓋范圍有限。

無人機(jī)技術(shù)的飛速發(fā)展以及近年來爆發(fā)式增長的深度學(xué)習(xí)變化檢測技術(shù)，為護(hù)欄的損壞檢測提供了新思路。變化檢測通過分析同一區(qū)域不同時(shí)間的兩張圖像特征，實(shí)現(xiàn)對變化區(qū)域的提取，已廣泛應(yīng)用于城市探測、環(huán)境檢測、災(zāi)害評估等方面[5?7]。變化檢測的發(fā)展受人工智能熱潮影響，從原本的機(jī)器學(xué)習(xí)分類器演變?yōu)槟壳盎谏疃葘W(xué)習(xí)的像素級分割，如文獻(xiàn)[8]提出一種基于孿生神經(jīng)網(wǎng)絡(luò)的航拍圖像變化檢測方法，通過擴(kuò)大類間差異獲得二值化的變化圖。文獻(xiàn)[9]提出了一種融合Unet網(wǎng)絡(luò)的城市建筑物變化檢測方法，基于投票的方式確定變化區(qū)域像素。文獻(xiàn)[10]將殘差結(jié)構(gòu)和特征金字塔網(wǎng)絡(luò)融合到Unet模型中，建立FPNRes?Unet變化檢測模型，提高了變化檢測模型對小目標(biāo)檢測的精度。文獻(xiàn)[11]提出了一種基于Transformer的上下文信息建模方法BIT_CD，通過增強(qiáng)模型的特征表達(dá)能力實(shí)現(xiàn)對圖像變化區(qū)域的檢測。該方法在無人機(jī)護(hù)欄損壞檢測上取得了不錯(cuò)的效果，但仍存在邊緣信息提取效果差、識(shí)別精度低的問題。

為了解決BIT_CD在無人機(jī)護(hù)欄損壞檢測方面存在的問題，本文提出一種改進(jìn)的DDE?BIT變化檢測模型，通過替換深度可分離卷積和引入ECA注意力機(jī)制、跳躍連接BIT模塊特征層的方式，獲得了清晰的護(hù)欄邊緣信息，有效提高了模型的檢測精度。

1" 基本原理

1.1" DDE?BIT模型

本文提出的基于DDE?BIT的無人機(jī)高速公路護(hù)欄損壞檢測模型整體架構(gòu)如圖1所示。護(hù)欄損壞前后，圖像T1和T2首先經(jīng)過深度可分離卷積優(yōu)化的主干網(wǎng)絡(luò)Resnet18進(jìn)行圖像特征初步提??；之后通過ECA注意力模塊對主干輸出特征的通道信息進(jìn)行處理，生成特征層Xi∈RH，W，C（i=1，2），其中H、W、C分別為特征層的高度、寬度和通道大??；然后，將獲得的特征層輸入到跳躍連接改進(jìn)的BIT模塊中，獲得融合模型上下文信息的增強(qiáng)特征層[Xit]；最后，將增強(qiáng)特征層反饋到模型的預(yù)測部分，生成對護(hù)欄損壞區(qū)域的像素級預(yù)測。

1.2" 深度可分離卷積

為了減少模型的參數(shù)數(shù)量，降低計(jì)算成本，本文采用深度可分離卷積優(yōu)化主干網(wǎng)絡(luò)Resnet18。深度可分離卷積的結(jié)構(gòu)圖如圖2所示。

深度可分離卷積考慮空間維度和通道維度的相關(guān)性，將普通卷積過程拆分為逐通道卷積（Depthwise Convolution， DC）和逐點(diǎn)卷積（Pointwise Convolution， PC）兩部分，在有效減少卷積計(jì)算參數(shù)的同時(shí)提高卷積核的利用效率。

以輸入通道數(shù)為3的3×3卷積為例，普通卷積時(shí)參數(shù)量個(gè)數(shù)為108，而深度可分離卷積的參數(shù)量僅為39，相當(dāng)于普通卷積參數(shù)的[13]。

1.3" ECA注意力機(jī)制

注意力機(jī)制通過模擬人類視覺機(jī)制，幫助神經(jīng)網(wǎng)絡(luò)模型判斷不同區(qū)域的權(quán)重大小，是一種提高模型性能的有效方法。本文為提高模型對護(hù)欄損壞區(qū)域的特征提取能力，引入輕量級的注意力機(jī)制ECA[12]，在僅增加少量參數(shù)的情況下有效提高模型的跨通道信息捕捉能力。

ECA注意力機(jī)制考慮了SE注意力降維過程對預(yù)測結(jié)果產(chǎn)生的負(fù)面影響，采用不降維的局部跨通道交互和自適應(yīng)選擇一維卷積核大小的方法增強(qiáng)通道的相關(guān)性，從而提高模型對目標(biāo)區(qū)域的關(guān)注程度。ECA網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示。

在獲得輸入的特征圖T后，ECA首先進(jìn)行全局平均池化（GAP）來調(diào)整特征圖維度，將維度由H×W×C轉(zhuǎn)化為1×1×C；然后使用sigmoid激活函數(shù)處理特征向量；最后使用一維卷積進(jìn)行重要性加權(quán)，獲取帶有權(quán)重的特征圖T1。在ECA注意力中，一維卷積的卷積核大小決定通道信息的交互范圍，但手工優(yōu)化需要消耗大量時(shí)間。通過結(jié)合分組卷積高維通道和長距離卷積成正比的原理，得出一維卷積的卷積核k和通道C之間存在映射關(guān)系，從而實(shí)現(xiàn)自適應(yīng)調(diào)節(jié)卷積核大小。考慮到線性關(guān)系的局限性和通道數(shù)量通常是2的指數(shù)倍特點(diǎn)，采用以2為底的指數(shù)函數(shù)來表示卷積核k和通道C之間的非線性關(guān)系，計(jì)算公式如下：

[C=?（k）= log2Cx+bxodd] （1）

式中：[·]表示取整的奇數(shù)；x=2；b=1。

1.4" 改進(jìn)BIT模型

為了提高模型對損壞護(hù)欄邊緣信息的提取能力，降低其關(guān)注高層語義信息導(dǎo)致的圖像細(xì)節(jié)丟失問題，本文通過跳躍連接的方式將主干網(wǎng)絡(luò)的輸出特征和BIT模塊處理后的特征進(jìn)行堆疊。改進(jìn)BIT模塊網(wǎng)絡(luò)結(jié)構(gòu)圖如圖4所示。

模型首先將主干網(wǎng)絡(luò)輸入的特征圖細(xì)化為特征組進(jìn)行空間映射匹配，將特征映射Xi（i=1，2）上的像素通過逐點(diǎn)卷積獲得L個(gè)語義組；然后通過softmax函數(shù)計(jì)算空間注意映射，計(jì)算公式如下：

[Ti=（Ai）TXi=（σ（α（Xi;W）））TXi] （2）

式中：Ti為細(xì)化的特征組；σ是softmax函數(shù)；α表示逐點(diǎn)卷積。

編碼器在獲得前后對比圖像的兩個(gè)語義信息集合后，利用多頭自注意力模塊和多層感知器模塊的NE層對上下文進(jìn)行建模，并將其傳遞到解碼器中。

解碼器通過多頭交叉注意和多層感知器模塊，將緊湊的高級語義信息細(xì)化為不同狀態(tài)的圖像特征。但由于模型過度關(guān)注特征圖的高層語義信息，忽略了圖像包含的淺層細(xì)節(jié)信息，容易出現(xiàn)細(xì)節(jié)特征丟失的情況。故本文將Resnet的輸出特征與編碼器處理后的高層語義特征進(jìn)行跳躍連接，之后采用卷積、激活、正則化的方法將通道數(shù)量調(diào)整為原來的大小，減少過多的低層細(xì)節(jié)信息對高層語義信息的影響，有效地提高了模型對損壞區(qū)域邊緣信息的提取能力。

2" 實(shí)驗(yàn)結(jié)果及分析

2.1" 實(shí)驗(yàn)數(shù)據(jù)

本文數(shù)據(jù)采集于新疆多條高速公路，使用無人機(jī)飛行50 m拍攝，采集圖像分辨率為3 840×2 160和1 920×1 080。首先通過人工篩選損壞護(hù)欄圖像，以護(hù)欄中點(diǎn)連線為軸線進(jìn)行定尺寸裁剪，獲得其護(hù)欄損壞前后對比圖像；然后以車道線為基準(zhǔn)，對護(hù)欄損壞前后圖像進(jìn)行配準(zhǔn)，獲得大小為512×512的圖像1 000張；再通過開源軟件Labelme對護(hù)欄損壞區(qū)域進(jìn)行標(biāo)注，按照8∶1∶1的比例將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測試集。部分?jǐn)?shù)據(jù)集樣例如圖5所示。

為了進(jìn)一步驗(yàn)證本文改進(jìn)模型的泛化性，采用開源航天變化檢測數(shù)據(jù)集SYSU?CD[13]對模型進(jìn)行了泛化性驗(yàn)證。SYSU?CD數(shù)據(jù)集包含了20 000對尺寸為256×256的航空影像，數(shù)據(jù)集的變化種類包含新建城市建筑、郊區(qū)擴(kuò)張、地基工程、植被變化、道路擴(kuò)建、海上施工，豐富的目標(biāo)種類可以有效地驗(yàn)證本文模型的泛化性。本文隨機(jī)選取其中12 000對作為泛化性實(shí)驗(yàn)數(shù)據(jù)，按照8∶1∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測試集。

2.2" 實(shí)驗(yàn)環(huán)境及評價(jià)指標(biāo)

本文實(shí)驗(yàn)使用Windows 10操作系統(tǒng)，處理器為AMD Ryzen 95950X，顯卡為NVIDIA GeForce RTX 3090Ti，開發(fā)網(wǎng)絡(luò)架構(gòu)為PyTorch 1.10。設(shè)置模型的Batchsize為12，工作線程為4，訓(xùn)練輪次為150輪次，最大學(xué)習(xí)率為0.01。使用線性調(diào)整策略及優(yōu)化器選擇隨機(jī)梯度下降方法，損失函數(shù)使用CE_Loss。為了準(zhǔn)確驗(yàn)證本文算法的有效性，所有實(shí)驗(yàn)的參數(shù)設(shè)置相同。

本文使用的評價(jià)指標(biāo)為交并比IoU和F1分?jǐn)?shù)，計(jì)算公式如下所示：

[IoU=TPFN+FP+TP] （3）

[F1=2TP2TP+FP+FN] （4）

式中：TP為真正例；FP為假正例；FN為假負(fù)例。

2.3" 注意力機(jī)制對比實(shí)驗(yàn)

為了驗(yàn)證本文引入ECA注意力機(jī)制的有效性，選擇目前在深度學(xué)習(xí)領(lǐng)域表現(xiàn)較好的CBAM[14]、SGE[15]、SE[16]和本文的ECA注意力機(jī)制進(jìn)行對比，將注意力加入模型的相同位置。再選擇隨機(jī)測試集圖像，分別對注意力輸出層進(jìn)行特征層可視化，結(jié)果如圖6所示。

由圖6可以看出，ECA更關(guān)注目標(biāo)區(qū)域。為了直觀驗(yàn)證不同注意力的效果，對上述四種注意力150輪次后的結(jié)果進(jìn)行對比，結(jié)果如表1所示。

由表1可以看出，注意力機(jī)制均具備提高模型IoU和F1分?jǐn)?shù)的能力，但本文選擇的ECA注意力機(jī)制取得了最好的效果，可以有效提高模型的檢測精度。

2.4" 消融實(shí)驗(yàn)

為了驗(yàn)證本文的改進(jìn)方法是否均具備提升護(hù)欄損壞檢測效果的能力，分別對模型逐步加入深度可分離卷積、ECA注意力、改進(jìn)BIT模塊進(jìn)行消融實(shí)驗(yàn)，結(jié)果如表2所示。

通過對比表2中第1組和第2組可以看出，添加深度可分離卷積后，模型的IoU和F1分別提高了1.44%和0.81%，參數(shù)量也有所降低；對比第2組和第3組可以看出，在深度可分離卷積基礎(chǔ)上添加注意力機(jī)制，模型的IoU和和F1分別提高了0.77%和0.43%，參數(shù)量僅增加了0.02×106；對比第3組和第4組可以看出，添加改進(jìn)BIT模塊后，模型的IoU和F1分別提高了0.50%和0.27%。綜合分析表2可知，本文提出的改進(jìn)策略可以有效提高模型對損壞護(hù)欄的檢測效果，且三種模塊堆疊對模型的精度存在正向影響，模型的IoU和和F1相較于初始網(wǎng)絡(luò)分別提高了2.71%和1.51%。

2.5" 對比實(shí)驗(yàn)

為了更直觀地驗(yàn)證本文改進(jìn)模型對護(hù)欄損壞分割的真實(shí)提升效果，將模型的特征提取部分替換為DeepLabv3+、HRnet進(jìn)行對比實(shí)驗(yàn)，檢測結(jié)果如表3所示。隨機(jī)選擇測試圖像進(jìn)行檢測結(jié)果可視化，如圖7所示。

由表3可以看出，本文改進(jìn)算法在IoU上的表現(xiàn)較好，相較于HRnet_CD、DeepLabv3+_CD、BIT_CD分別提高了8.19%、3.06%、2.71%，在F1得分上分別提高了4.69%、1.71%、1.51%。

由圖7可以看出：HRnet_CD的分割效果不佳，存在較多的漏分割現(xiàn)象；DeepLabv3+_CD和BIT_CD都存在錯(cuò)分割現(xiàn)象；而本文模型相較于其他模型對護(hù)欄損壞區(qū)域的提取效果更強(qiáng)，獲得了更清晰的護(hù)欄邊界信息，提高了護(hù)欄損壞檢測的效果。

2.6" 泛化性實(shí)驗(yàn)

為了評估本文改進(jìn)模型的泛化性，驗(yàn)證其通用能力，在開源航天變化檢測數(shù)據(jù)集SYSU?CD上進(jìn)行實(shí)驗(yàn)。SYSU?CD包含5種變化結(jié)果，可以有效地驗(yàn)證本文模型的泛化性。模型的檢測結(jié)果如表4所示，其檢測結(jié)果可視化如圖8所示。

由表4和圖8可以看出，本文改進(jìn)的模型相較于基礎(chǔ)網(wǎng)絡(luò)，在SYSU?CD數(shù)據(jù)集上的IoU和F1分?jǐn)?shù)分別提高0.77%和0.47%，獲得了更優(yōu)的檢測效果。說明本文模型具備較好的泛化性，在多類目標(biāo)的變化檢測中同樣可以獲得不錯(cuò)的檢測結(jié)果，具備較強(qiáng)的魯棒性和穩(wěn)定性。

3" 結(jié)" 論

為了增強(qiáng)高速公路護(hù)欄損壞檢測效率，降低檢測成本，本文提出一種基于深度學(xué)習(xí)的護(hù)欄損壞變化檢測模型DDE?BIT。通過深度可分離卷積替換普通卷積降低模型的參數(shù)量；通過對比4種注意力機(jī)制對模型的提升效果，選擇了輕量級的ECA注意力模塊，有效提高了模型的跨通道信息捕捉能力；通過跳躍連接改進(jìn)BIT雙時(shí)空圖像轉(zhuǎn)換器，提高了模型的上下文信息理解能力。同時(shí)，設(shè)計(jì)對比實(shí)驗(yàn)、消融實(shí)驗(yàn)和泛化性實(shí)驗(yàn)，驗(yàn)證了本文模型的效果。實(shí)驗(yàn)結(jié)果表明，本文提出的DDE?BIT模型獲得了更清晰的護(hù)欄邊緣信息，極大地提高了模型的檢測效果，且具備一定的魯棒性和穩(wěn)定性。下一步工作將考慮高速公路護(hù)欄損壞的多種情況，收集更多的護(hù)欄損壞類型，進(jìn)一步增強(qiáng)DDE?BIT算法的魯棒性和工程應(yīng)用價(jià)值，并研究如何將本文模型投入實(shí)際應(yīng)用，提高公路巡檢的效率和安全性。

注：本文通訊作者為郭杜杜。

參考文獻(xiàn)

[1] 韓建峰，趙志偉，宋麗麗.一種基于深度學(xué)習(xí)的公路巡檢無人機(jī)實(shí)時(shí)目標(biāo)跟蹤算法[J].光電子·激光，2021，32（9）：927?934.

[2] 董明明.5G移動(dòng)通信下無人機(jī)高速公路巡檢防碰撞技術(shù)研究[J].電子測量技術(shù)，2021，44（5）：41?45.

[3] GOMES T， FERNANDES D， EKPANYAPONG M， et al. An IoT?based system for collision detection on guardrails [C]// 2016 IEEE International Conference on Industrial Technology （ICIT）. [S.l.]： IEEE， 2016： 1926?1931.

[4] 韓子?xùn)|，崔鵬飛，張凱.基于數(shù)據(jù)驅(qū)動(dòng)的波形護(hù)欄監(jiān)測數(shù)據(jù)故障診斷方法研究[J].公路交通科技，2021，38（4）：149?158.

[5] 管軍，石愛業(yè)，徐傳杰，等.一種殘差卷積與多尺度特征融合的海島多時(shí)相遙感影像變化檢測方法[J].現(xiàn)代電子技術(shù)，2023，46（14）：7?10.

[6] JIA B， CHENG Z， WANG C， et al. CA?BIT： a change detection method of land use in natural reserves [J]. Agronomy， 2023， 13： 635.

[7] 唐瑞宏，牛曉偉.基于多尺度特征交叉融合的遙感圖像變化檢測[J].電光與控制，2024，31（7）：81?86.

[8] WANG Z， PENG C， ZHANG Y， et al. Fully convolutional siamese networks based change detection for optical aerial images with focal contrastive loss [J]. Neurocomputing， 2021， 457： 155?167.

[9] 徐銳，余小于，張馳，等.融合Unet網(wǎng)絡(luò)和IR?MAD的建筑物變化檢測方法[J].國土資源遙感，2020，32（4）：90?96.

[10] 王明常，朱春宇，陳學(xué)業(yè)，等.基于FPN Res?Unet的高分辨率遙感影像建筑物變化檢測[J].吉林大學(xué)學(xué)報(bào)（地球科學(xué)版），2021，51（1）：296?306.

[11] CHEN H， QI Z， SHI Z. Remote Sensing image change detection with transformers [J]. IEEE transactions on geoscience and remote sensing， 2021， 60： 1?14.

[12] WANG Q， WU B， ZHU P， et al. ECA?Net： efficient channel attention for deep convolutional neural networks [C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle， WA， USA： IEEE， 2020： 11531?11539.

[13] SHI Q， LIU M， LI S， et al. A deeply supervised attention metric?based network and an open aerial image dataset for remote sensing change detection [J]. IEEE transactions on geoscience and remote sensing， 2022， 60： 870.

[14] WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module [C]// Proceedings of the European Conference on Computer Vision （ECCV）. [S.l.]： IEEE， 2018： 3?19.

[15] LI X， HU X， YANG J. Spatial group?wise enhance： improving semantic feature learning in convolutional networks [EB/OL]. [2022?09?02] https：//arxiv.org/abs/1905.09646v1.

[16] HU J， SHEN L， SUN G， et al. Squeeze?and?excitation networks [J]. IEEE transactions on pattern analysis and machine intelligence， 2017， 42（8）： 2011?2023.

作者簡介：王" 洋（1999—），男，新疆博樂人，碩士研究生，研究方向?yàn)橛?jì)算機(jī)視覺。

郭杜杜（1985—），女，湖北黃岡人，碩士研究生，副教授，研究方向?yàn)橹悄芙煌ㄏ到y(tǒng)與交通信息采集。