基金項目：河北省教育廳科學(xué)研究項目（QN2024148）

第一作者簡介：白瑞瑞（1999-），男，碩士研究生。研究方向為計算機視覺。

*通信作者：趙建光（1978-），男，博士，教授。研究方向為感知互聯(lián)與智能計算。

DOI：10.19981/j.CN23-1581/G3.2024.21.014

摘" 要：為解決現(xiàn)有目標(biāo)檢測算法在道路坑洼檢測方面精準(zhǔn)性較低的問題，該研究提出一種基于改進YOLOv8的道路坑洼檢測算法。首先，在YOLOv8主干網(wǎng)絡(luò)中引入三分支注意力（Triplet Attention，TA）模塊，強調(diào)在計算注意力權(quán)重時捕捉跨維度交互的重要性，以提供更豐富的特征表示，并在計算上更加高效，有助于更準(zhǔn)確地定位和識別檢測對象；該研究針對坑洼道路提出一種新的輕量化檢測頭——Flex_Detect，使用雙分支卷積并且動態(tài)調(diào)整錨框，確保模型在不同尺度的特征圖上能夠有效地進行目標(biāo)檢測，有助于提高模型對不同尺寸目標(biāo)的適應(yīng)性，提高模型在目標(biāo)檢測任務(wù)上的性能和泛化能力。實驗結(jié)果提出的YOLOv8_Efficient在公開數(shù)據(jù)集上的平均精度相較于原始YOLOv8n提升2.5%，相較于YOLOv5n提升4.1%。

關(guān)鍵詞：目標(biāo)檢測；注意力機制；檢測頭；道路坑洼檢測；YOLOv8

中圖分類號：TP391" " " 文獻標(biāo)志碼：A" " " " " 文章編號：2095-2945（2024）21-0056-05

Abstract： In order to solve the problem of low accuracy of existing object detection algorithms in road pothole detection， a road pothole detection algorithm based on improved YOLOv8 is proposed. First of all， the Triplet Attention （TA） module is introduced into the YOLOv8 backbone network to emphasize the importance of capturing cross-dimensional interactions when calculating attention weights， so as to provide richer feature representations and be more efficient in calculation， which is helpful to locate and identify detection objects more accurately. In this study， a new lightweight detection head， Flex_Detect， is proposed for potholed roads， which uses double-branch convolution and dynamically adjusts the anchor frame to ensure that the model can effectively detect targets on feature maps of different scales， which is helpful to improve the adaptability of the model to targets of different sizes， and improve the performance and generalization ability of the model in object detection tasks. The experimental results show that the average accuracy of YOLOv8_Efficient on open data sets is 2.5% higher than that of the original YOLOv8n and 4.1% higher than that of YOLOv5n.

Keywords： object detection; attention mechanism; detection head; road pothole detection; YOLOv8

公共交通設(shè)施是社會運作的必要組成部分，近年來我國城市交通建設(shè)取得顯著進展，實現(xiàn)了城市間便捷連接。這不僅促進了經(jīng)濟的發(fā)展與增長，也為社會帶來了重要的效益，支持了教育、就業(yè)、社會和衛(wèi)生服務(wù)。然而，由于多種因素，如天氣、交通量、使用年限以及用于建造道路的材料，道路會隨著時間的推移而磨損和劣化，出現(xiàn)坑洼等問題。道路的坑洼對高速行駛的車輛極其危險，很容易導(dǎo)致交通事故。研究表明，事故率隨著道路粗糙度的增加而增加，因此如何更好地維護城市道路以保障其長期穩(wěn)定運行成為各城市交通部門的緊迫任務(wù)。將目標(biāo)檢測方法引入到道路坑洼檢測中具有較大的實際應(yīng)用價值和意義。

隨著目標(biāo)檢測技術(shù)的發(fā)展和計算機算力的提升，基于視覺識別的檢測技術(shù)逐漸成為檢測道路坑洼的主流方法。以往的研究工作中，根據(jù)是否生成候選框，目標(biāo)檢測算法可以劃分為2類：一是單階段目標(biāo)檢測，包括SSD、YOLO系列和RetinaNet等算法；二是雙階段目標(biāo)檢測，其中包括R-CNN系列等方法。在單階段目標(biāo)檢測算法領(lǐng)域，YOLO系列算法以其獨特的一次前向傳播設(shè)計脫穎而出。相較于傳統(tǒng)的兩階段算法，它無需多次的候選區(qū)域提取和分類操作，從而實現(xiàn)了更為高效的目標(biāo)檢測。這種設(shè)計使得YOLO在處理實時性要求較高的應(yīng)用場景時表現(xiàn)出色，能夠在一次網(wǎng)絡(luò)推理中完成目標(biāo)檢測任務(wù)。同時，YOLO系列算法在不同數(shù)據(jù)集和各種場景下展現(xiàn)出卓越的泛化能力，適應(yīng)性強，成為當(dāng)前目標(biāo)檢測領(lǐng)域的主流算法之一。

盡管基于深度學(xué)習(xí)的目標(biāo)檢測算法在多個領(lǐng)域取得了顯著的進展，但在道路坑洼檢測中卻表現(xiàn)不佳。這主要歸因于道路坑洼呈現(xiàn)比較大的形狀和尺度差異、不同光照條件下坑洼的外觀可能會發(fā)生變化等。加之?dāng)?shù)據(jù)集的限制，模型可能難以充分捕捉坑洼的復(fù)雜特征。最后，由于道路坑洼檢測通常需要實時性，以及模型在面對復(fù)雜場景時需要快速響應(yīng)，因此算法的速度和效率在實際應(yīng)用中顯得尤為關(guān)鍵。為了解決這些問題，國內(nèi)外學(xué)者展開了一系列研究。

Maeda等使用卷積神經(jīng)網(wǎng)絡(luò)來識別路面裂縫，但準(zhǔn)確性有限。張子茹等提出一種基于PQCR-PSL傳感器檢測坑洼路面的設(shè)計，通過感測車輛行駛在平整路面及坑洼路面產(chǎn)生的不同振動情況來反映道路坑洼。胡均平等提出了一種改進的YOLOv3網(wǎng)絡(luò)，將模型的3個輸出尺度進行融合以減小復(fù)雜度。白芮等提出一種基于改進YOLOv5s的道路坑洼檢測算法，將Coordinate Attention（CA）模塊整合到Y(jié)OLOv5s骨干網(wǎng)絡(luò)中，以捕獲跨通道信息和方向、位置敏感信息，以實現(xiàn)更準(zhǔn)確的目標(biāo)定位和識別。此外，Spatial Pyramid Pool （SPP）模塊使用SoftPool代替最大池化，以保留更詳細(xì)的特征信息。特征融合階段利用Content-Aware ReAssembly of Features （CARAFE）通過動態(tài)生成自適應(yīng)內(nèi)核來改善多尺度特征融合中的上采樣，以收集大感受野內(nèi)的上下文信息。最后，Alpha-IoU用于改善損失函數(shù)，提高邊界框回歸的準(zhǔn)確性。焦雙健等使用大量樣本數(shù)據(jù)訓(xùn)練YOLOv5s網(wǎng)絡(luò)模型以獲得最佳模型，然后將最佳模型部署到NVIDIA TX2。最后，系統(tǒng)利用車載攝像頭自動檢測路面坑洞并將坑洞信息報告給道路維護部門，實現(xiàn)公路坑洞的自動化檢查。YOLO被許多研究人員廣泛使用和改進以實現(xiàn)更高的處理速度。以YOLO為代表的目標(biāo)檢測在檢測速度上表現(xiàn)出顯著的強度，可以廣泛應(yīng)用于實時檢測。

在此背景下，本文提出一種基于改進 YOLOv8的路面坑洼檢測方法，旨在保證檢測實時性的同時，提高對道路坑洼的檢測精度。

1" YOLOv8算法原理

YOLOv8是Ultralytics在2023年最新提出的一種目標(biāo)檢測算法，是YOLO系列實時目標(biāo)檢測器的最新版本，可用于目標(biāo)檢測、圖像分類和實例分割等任務(wù)。相較于以前的版本，YOLOv8在提高檢測精度的同時降低了參數(shù)量。YOLOv8官方發(fā)布了5個不同的模型，分別是YOLOv8-n、YOLOv8-s、YOLOv8-m、YOLOv8-l和YOLOv8-x，模型的參數(shù)量和計算量隨著深度和寬度的增加而增加，用戶可以根據(jù)數(shù)據(jù)集和應(yīng)用場景選擇合適的網(wǎng)絡(luò)結(jié)構(gòu)。

YOLOv8的網(wǎng)絡(luò)結(jié)構(gòu)主要由主干網(wǎng)絡(luò)（Backbone）、特征融合網(wǎng)絡(luò)（Neck）和輸出端（Head）3部分組成。Backbone部分在YOLOv5的基礎(chǔ)上將C3替換為了梯度流更豐富的C2f，增加了更多的跳躍連接和split操作，輸入端負(fù)責(zé)將輸入圖片縮放到訓(xùn)練所需的尺寸。主干網(wǎng)絡(luò)用于提取目標(biāo)特征，包括卷積模塊、C2f結(jié)構(gòu)和SPPF模塊。特征融合網(wǎng)絡(luò)用于增強和融合不同維度的特征，采用特征金字塔網(wǎng)絡(luò)（FPN）和路徑聚合結(jié)構(gòu)（PAN），并刪除了YOLOv5上采樣階段的卷積操作。輸出端換成了目前主流的解耦頭結(jié)構(gòu)，將分類和檢測頭分離，同時也從Anchor-Based換成了Anchor-Free。

綜合考慮模型檢測速度和精度之后，本次實驗以YOLOv8n為基準(zhǔn)模型，并在此基礎(chǔ)上進行改進。

2" 改進的YOLOv8網(wǎng)絡(luò)結(jié)構(gòu)

2.1" 骨干網(wǎng)絡(luò)的改進

引入Triplet Attention注意力模塊。

近年來，注意力機制在計算機視覺任務(wù)中得到廣泛應(yīng)用，以提高標(biāo)準(zhǔn)卷積層生成的特征表示的性能，傳統(tǒng)的注意力機制如SENet、CBAM等雖然提供了顯著的性能改進，但未考慮跨維度交互的重要性。本文使用了一種輕量級但有效的注意機制Triplet Attention。Triplet Attention強調(diào)在計算注意力權(quán)重時捕捉跨維度交互的重要性，以提供更豐富的特征表示，并在計算上更加高效。

如圖1所示，Triplet Attention注意力模塊由3個并行分支組成，其中2個分支負(fù)責(zé)捕捉通道維度與空間維度H或W之間的交互，第三個分支用于構(gòu)建空間注意力。所有3個分支的輸出通過簡單平均進行聚合。Z-Pool層用于通過連接跨該維度的平均池化和最大池化特征，將張量的零維減少到兩維，同時保持實際張量的豐富表示，同時縮小其深度以進一步計算輕量化。三元注意力模塊接收輸入張量，并輸出相同形狀的精煉張量。在第一個分支中，通過沿H軸逆時針旋轉(zhuǎn)輸入張量90°構(gòu)建高度維度和通道維度之間的交互。然后，將旋轉(zhuǎn)的張量通過卷積層，通過Sigmoid激活函數(shù)。對于第二個分支，通過將輸入張量通過卷積層和S形激活函數(shù)來捕捉寬度維度和通道維度之間的交互。第三個分支通過將輸入張量通過卷積層和S形激活函數(shù)來捕捉空間依賴性。所有3個分支的輸出通過簡單平均進行聚合。本文選擇在骨干網(wǎng)絡(luò)第2個C2f后添加Triplet Attention注意力。

2.2" 改進檢測頭

Flex_Detect檢測頭是為了高效和靈活地適應(yīng)不同檢測場景而精心設(shè)計的。它的stem設(shè)計允許用戶根據(jù)需要選擇不同的卷積結(jié)構(gòu)，如雙3×3卷積、Group卷積或各種先進的卷積模塊，從而優(yōu)化性能以適應(yīng)特定的硬件平臺。此外，檢測頭通過在特定層獨立處理邊界框和類別信息的方法來分離通道，提高了模型的學(xué)習(xí)效率和泛化能力。Distributional Feature Learning（DFL）模塊增強了特征理解，提供了選擇性使用該機制的靈活性，以增強模型的魯棒性。Flex_Detect的Anchor-Free方法確保了通過直接預(yù)測目標(biāo)中心點及其寬高比來減少對Anchor框的依賴，進一步加快檢測速度并提升了精度。用戶可以靈活控制DFL通道的數(shù)量，從而找到不同任務(wù)和資源情況下的最優(yōu)性能平衡?？偟膩碚f，F(xiàn)lex_Detect通過簡化設(shè)計和優(yōu)化DFL的應(yīng)用，簡化了卷積層設(shè)計，減少層間連接，顯著提高了計算效率，而且看起來比起前代更加精簡和效率化，有助于精確預(yù)測目標(biāo)邊界。

至此，本文完成了對YOLOv8骨干網(wǎng)絡(luò)、檢測頭方面的改進，改進后的模型網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。在骨干網(wǎng)絡(luò)中引入Triplet Attention注意力機制，增強其特征提取能力。此外，設(shè)計了輕量級的檢測頭Flex_Detect，提升了網(wǎng)絡(luò)對坑洼的檢測速度和精度。

3" 實驗結(jié)果與分析

3.1" 實驗數(shù)據(jù)集

為了評估本文提出算法的有效性和先進性，在kaggle的公開數(shù)據(jù)集上進行實驗驗證，該數(shù)據(jù)集圖像數(shù)量為780張。其中，訓(xùn)練集和驗證集的圖像數(shù)量分別為720張、60張。數(shù)據(jù)集示例如圖3所示。

3.2" 實驗環(huán)境

本文實驗平臺使用 Ubuntu 20. 04 操作系統(tǒng)，CPU處理器為12 vCPU Intel（R） Xeon（R） Platinum 8255C CPU @ 2.50 GHz，GPU為GeForce RTX 3080，顯存為 10 GB。模型訓(xùn)練框架為Pytorch 2.0.0，使用的cuda版本為11.8。具體訓(xùn)練參數(shù)設(shè)置見表1。

表1" 訓(xùn)練參數(shù)

3.3" 評價指標(biāo)

為了能夠有效直觀地展示本文對YOLOv8的改進效果，我們采用了準(zhǔn)確率（Precision，P）、平均精度均值（mean Average Precision，mAP）、模型參數(shù)量（Params）、總浮點運算量（FLOPs）以及每秒檢測幀數(shù)（Frame Per Second，F(xiàn)PS）等多項評價指標(biāo)。

其中，準(zhǔn)確率P用于衡量模型正確預(yù)測的能力，是預(yù)測正確的樣本數(shù)與總的正樣本數(shù)的比值，計算公式如式（1）所示。平均精度均值mAP在目標(biāo)檢測任務(wù)中提供了對不同類別精度的整體評估，計算方式如式（3）

Precision= ， （１）

R= ， （２）

mAP=APi ， （３）

式中：TP表示將樣本中正類準(zhǔn)確預(yù)測為正類的個數(shù)，F(xiàn)N表示將樣本中正類錯誤預(yù)測為負(fù)類的個數(shù)；Precision表示精準(zhǔn)率，F(xiàn)P表示將樣本中負(fù)例錯誤預(yù)測為正例的個數(shù)。

此外，模型參數(shù)量代表了模型的大小，而總浮點運算量則量化了模型執(zhí)行推理所需的計算量。最后，每秒檢測幀數(shù)FPS反映了模型的推理速度。

3.4" 實驗及結(jié)果分析

為驗證本文中的改進方法對道路坑洼檢測性能的提升，進行了一系列對比實驗，將改進后的算法與目前主流的模型進行了比較。從表2中可以清晰地看出，本文提出的算法在mAP50指標(biāo)上表現(xiàn)優(yōu)異，相較于YOLOv5n、Faster-RCNN和YOLOv8n，分別提高了4.1%、7.1%和2.5%。

此外，我們特別關(guān)注了模型的參數(shù)量、總浮點運算量以及每秒檢測幀數(shù)這些關(guān)鍵性能指標(biāo)。值得注意的是，盡管本文算法的模型參數(shù)量和總浮點運算量與YOLOv8n相近，但每秒檢測幀數(shù)卻顯著提高，達到了180 FPS。在參數(shù)量稍增和每秒幀率略微下降的情況下，這種性能提升是值得的。這表明本文算法不僅在檢測性能上有所提升，還具備更高的推理速度。

實驗結(jié)果表明，本文提出的改進算法在道路坑洼檢測任務(wù)中取得了較好的性能提升，不僅在準(zhǔn)確性上優(yōu)于主流模型，而且在計算效率上也取得了令人滿意的成果。這為實際應(yīng)用中對道路狀況進行快速準(zhǔn)確評估提供了有力的支持。

3.5" 消融實驗結(jié)果與分析

消融實驗在深度學(xué)習(xí)領(lǐng)域扮演著關(guān)鍵角色，其主要目的是通過逐步引入或移除特定模塊，驗證不同改進方法對整個模型性能的影響。

表3是在YOLOv8n的基礎(chǔ)上加入當(dāng)前主流的幾種注意力機制的檢測效果對比，從實驗結(jié)果可以看出，Triplet Attention在坑洼檢測中有較好的效果。本文針對YOLOv8n模型進行了詳細(xì)的消融實驗，逐步引入了Triplet Attention模塊和Flex_Detect模塊，以深入了解它們對道路坑洼檢測性能的貢獻。在引入Triplet Attention模塊后，YOLOv8n+Triplet Attention模型在 mAP50上實現(xiàn)了額外的0.4%提升，表明Triplet Attention模塊對于提高模型的檢測精度起到了積極作用。引入Flex_Detect模塊后，YOLOv8n+Flex_Detect模型在mAP50指標(biāo)上進一步提高至0.734，準(zhǔn)確率（P）也有所改善，顯示出Flex_Detect模塊在提高模型對小目標(biāo)和密集目標(biāo)檢測性能方面的有效性。綜合考慮Triplet Attention和Flex_Detect 2個模塊，YOLOv8n+Triplet Attention+Flex_Detect 模型在mAP50指標(biāo)上達到了0.741，相較于基準(zhǔn)模型YOLOv8n，綜合性能提升明顯，見表4。

4" 結(jié)論

針對當(dāng)前路面坑洼檢測算法在處理小目標(biāo)和密集目標(biāo)時精準(zhǔn)性較低和漏檢問題，本研究提出了一種改進的YOLOv8模型。該改進模型中，在YOLOv8模型的骨干結(jié)構(gòu)中引入了三分支注意力機制（Triplet Attention），能夠捕捉跨維度交互，提供豐富的特征表示，可以在不涉及降維的情況下建模廉價但有效的通道注意力，從而提高模型的性能，同時將YOLOv8模型原有的檢測頭替換為Flex_Detect檢測頭，顯著提升了檢測精度。實驗結(jié)果表明，改進后的YOLOv8模型在檢測性能上優(yōu)于原始YOLOv8模型，相較于原模型，改進模型的mAP提升明顯，更能滿足實際檢測的需求。未來研究的核心將放在解決當(dāng)前數(shù)據(jù)集不足的問題，以及提高模型的泛化能力和實現(xiàn)模型的輕量化。

參考文獻：

[1] MISRA D， NALAMADA T， ARASANIPALAI A U， et al. Rotate to attend： Convolutional triplet attention module[C]//Proceedings of the IEEE/CVF winter conference on applications of computer vision， 2021： 3139-3148.

[2] MAEDA H， SEKIMOTO Y， SETO T， et al. Road damage detection and classification using deep neural networks with smartphone images[J]. Computer Aided Civil and Infrastructure Engineering， 2018， 33（12）： 1127-1141.

[3] BANG S， PARK S， KIM H， et al. Encoder-decoder networkfor pixel-level road crack detection in black-box images[J].Engineering，I.，2019，34：713-727.

[4] 張子茹，陳向東，丁星.基于PQCR-PSL傳感器的路面坑洼檢測設(shè)計[J].電子設(shè)計工程，2019，27（19）：90-94.

[5] 胡均平，黃強，張洪偉，等.基于改進YOLOv3模型的車輛前方路面坑洼檢測[J].傳感器與微系統(tǒng)，2022，41（12）：130-133，138.

[6] 白芮，徐楊，王彬，等.基于改進YOLOv5s的道路坑洼檢測算法[J].計算機與現(xiàn)代化，2023（6）：69-75.

[7] ZHANG H， XU C， ZHANG S. Inner-IoU： more effective intersection over union loss with auxiliary bounding box[J]. arXiv preprint arXiv：2311.02877， 2023.

[8] ROUT N K， DUTTA G， SINHA V， et al. Improved Pothole Detection Using YOLOv7 and ESRGAN[J]. arXiv preprint arXiv：2401.08588， 2023.

[9] 焦雙健，杜福君.基于深度學(xué)習(xí)的路面坑洼檢測系統(tǒng)設(shè)計[J].單片機與嵌入式系統(tǒng)應(yīng)用，2022，22（7）：10-13.

[10] 何幸，黃永明，朱勇.基于改進YOLOv5的路面坑洼檢測方法[J/OL].電子科技，1-8[2024-01-22]https：//doi.org/10.16180/j.cnki.issn1007-7820.2024.07.007.

[11] 賈大勇.基于深度學(xué)習(xí)的道路坑洼語義分割研究[D].銀川：寧夏大學(xué)，2022.

[12] 陳益方，張上，冉秀康，等.基于改進YOLOv8的SAR圖像飛機目標(biāo)檢測算法[J/OL].電訊技術(shù)，1-8[2024-01-22]https：//doi.org/10.20079/j.issn.1001-893x.230515007.