龐靜，呂新建，婁勝利

（1.山東高速股份有限公司，山東濟南 250000；2.山東高速信息集團有限公司，山東濟南 250000；3.象譜信息產業(yè)有限公司，山東濟南 250000）

0 引言

公路巡查能夠及時全面地發(fā)現問題，是避免問題發(fā)生的方法之一。傳統(tǒng)的人工巡查主要依靠人眼識別道路病害，然后停車拍照進行病害數據的采集與上報。人工巡查過程常存在病害采集不全面、方法不規(guī)范，采集不及時，導致效率低下，影響道路狀態(tài)的及時監(jiān)控與養(yǎng)護。并且存在很大的安全隱患，每年都有路政養(yǎng)護人員在巡查過程中出現危險事故，而且上報流程不通暢、不易追蹤事件解決過程、路況隱患缺乏外界有效溝通。

我國大量早期修建的公路陸續(xù)進入改擴建及大中修養(yǎng)護階段，養(yǎng)護任務逐年增加。運用最新的技術將自動化信息采集技術與人工智能技術緊密結合，實現道路常見病害例的全過程準確采集、人工智能篩選、傳輸、分析，可以全面及時地發(fā)現問題，大幅度提高巡查效率和安全性，同時為智慧養(yǎng)護提供有效的數據支撐。

近年來，深度卷積神經網絡（Deep Neural Networks，以下簡稱DNNs）技術發(fā)展迅速，在許多極具挑戰(zhàn)性的計算機視覺領域展現出卓越的性能。如：圖像分類、語義分割、目標識別等[1-3]。本文利用人工智能技術，通過采集大量高清高速公路病害圖像，訓練目標檢測及分類神經網絡，實現病害目標的自動識別，并通過上傳云端管理系統(tǒng)，實現高速公路病害的自動檢測、管理及統(tǒng)計、規(guī)劃一體化系統(tǒng)。

1 研究現狀及存在問題

1.1 國內外研究現狀

基于傳統(tǒng)圖像處理算法的道路檢測模型自90 年代起即得到國內外的廣泛研究。文獻[4]利用傳統(tǒng)圖像處理的方法實現了道路裂縫病害的檢測。但是道路病害種類多，同一種病害往往呈現不同形態(tài)特征，尤其是在不同的光照、天氣情況下識別效果魯棒性不強。

近年來人工智能技術發(fā)展迅速，在視覺識別及語音某些領域已經超越人類。國內外學者也從基于傳統(tǒng)圖像處理算法的半自動化檢測研究轉到基于深度學習的全自動化病害檢測研究[5]。

田楊等[6]基于Fast-RCNN 神經網絡構建道路病害檢測模型，通過建立8 000 余張道路病害圖片樣本庫，可以訓練模型自動識別坑槽及裂縫病害，并結合GPS定位信息，生成時間、地點、屬性完整的病害識別報告，提高道路維護病害檢測的效率和準確率。

Zhang Ce 等[7]基于Wasserstein 對抗神經網絡，設計了專門針對道路病害檢測的Conn Crack，并設計了配套的攝像頭硬件系統(tǒng)。其設計主要針對路面裂痕長寬比跨度大、檢測難的問題，對傳統(tǒng)的檢測神經網絡進行了改進。

1.2 存在的主要問題

利用深度卷積神經網絡進行自動化的公路病害檢測是目前的主流方向，并取得了優(yōu)異的效果，在其檢測魯棒性方面優(yōu)于傳統(tǒng)視覺處理算法。但目前工作依然存在可識別的路面病害種類較單一、穩(wěn)定性差等問題。此外，針對已經修復的病害，并沒有進行單獨處理，容易引起較多的誤報。本文介紹了基于Google EfficientDet 的多目標檢測系統(tǒng)，可以同時檢測4 類路面病害，并通過級聯(lián)神經網絡設計，對檢測出的病害進行進一步精細分類，減少對已修復病害的誤報率，極大程度地提升了檢測效率。

2 基于人工智能的高速公路病害自動檢測系統(tǒng)設計

2.1 巡檢攝像頭硬件設計

巡檢攝像頭基于華為Hi3519 邊緣計算模塊開發(fā)，集成存儲、通信、高速以太網及電源管理等模塊，如圖1所示。

圖1 基于華為Hi3519平臺的巡檢攝像頭硬件設計

其中主要組成模塊如下：

（1）Hi3519 集成了性能強大的可編程神經網絡推理引擎和一個向量DSP，支持多種智能算法應用。

（2）高速相機支持在車載主體高速移動下、成像質量較好采集的高清圖像由Hi3519 圖像處理引擎進行縮放、壓縮等預處理，預處理后的圖像由神經網絡依據算法推理。

（3）神經網絡推理結果在硬件端進行簡單篩查，去除不相干圖像后，采集的原始圖像、推理結果、定位信息打包經4G網絡上傳至云端平臺。

2.2 級聯(lián)式道路病害檢測神經網絡架構

2.2.1 病害數據收集

通過車載高清攝像頭在山東省內約2 000km 的高速路段上采集了約10 萬幅以上高清圖像，分辨率為（1920×1080）dpi。數據由兩位具有5 年以上高速公路病害檢測經驗的人員進行篩查，共選出有效圖像917張，使用labelImg 工具（https://github.com/tzutalin/labelImg）標記每張圖的病害位置、尺寸及種類?？傮w標注病害6 類共1 192 個。其中，裂縫類別包括縱向裂縫、橫向裂縫及網狀裂痕存在病害影響面積跨度較大、類別間界限不明顯（如：某些非典型縱向列橫與橫向裂痕難以界定），類別不平衡（網狀裂痕較少）等問題，在相對少的訓練樣本下，較難明確區(qū)分。所以在本次實驗中將其總體歸為一類檢測，人工智能檢測結果可進一步由人工進行分類。表1統(tǒng)計了最終用于人工智能模型訓練的數據統(tǒng)計結果。

表1 病害數據收集及標注統(tǒng)計

為擴充有效訓練數據集，使用了傳統(tǒng)的數據處理方法。如：圖像旋轉、亮度調節(jié)、飽和度調節(jié)、對比度調節(jié)、高斯噪聲，對原始訓練數據進行了15倍增廣，共得到13 755 幅圖像，17 880 個標簽。通過隨機采樣，總數據的90%（12380）用于模型訓練，總數據的10%（1375）用于模型測試。

2.2.2 人工智能檢測模型設計

人工智能檢測網絡采用Google2020 年提出的Efficientdet 神經網絡架構[8]，如圖2 所示。該網絡提出了雙向特征金字塔結構，允許簡單快速的多尺度特征融合；同時提出了符合尺度擴張方法，可以統(tǒng)一對經典目標檢測神經網絡的骨干網、特征網絡和預測網絡在分辨率、深度和寬度上進行縮放，在目標檢測性能與計算存儲資源消耗上取得了很好的平衡。相比其他目標檢測網絡，在同等計算存貯資源消耗的情況下，能達到更好的檢測效果；在同樣檢測效果目標下，占用更少的計算機存儲資源。

根據不同的網絡性能/規(guī)模擴張尺度選擇，提供了D0-D7 不同的網絡選擇，其中D0 網絡規(guī)模最小，性能指標最低。根據數據規(guī)模，目標病害尺寸特征選擇了EfficentDet-D1?；赑ASCAL VOC2012 數據集預訓練的模型，采用finetune方式凍結骨干網及特征提取網絡，利用收集數據集對檢測分類網絡進行繼續(xù)訓練。訓練過程損失函數演變過程如圖3所示。

圖3 訓練數據損失統(tǒng)計

實驗表明，一大部分假陽性結果是由于已經修復的病害，尤其是裂痕與周圍路面有明顯的形態(tài)及顏色差別，容易引起誤判，增加后期人工復核的工作量。針對這一情況，設計了二級篩選網絡，針對第一級檢測網絡篩選出的病害，進行進一步分類，鑒別已經修復的病害。

病害檢測任務通過在固定分辨率（1920×1080）dpi的高清圖像進行尺寸縮放后進行目標檢測，可有效均衡神經網絡預測性能及時間、內存消耗，縮小后的分辨率為（300×300）dpi。由于統(tǒng)一的尺寸縮小，及長寬比例的失調，對小病害目標及狹長的病害目標的細節(jié)損失較大，影響其分類的準確性。本項目設計的二級神經網絡架構，根據第一步檢測出的病害的包圍框位置及尺寸，及EfficentDet對原圖的縮放比例，恢復檢測框，以原始尺寸進行精確分類，最大限度地保留圖像的特征，進一步提升分類的準確度。分類神經網絡采用Efficient-Net-B1網絡架構，進一步提升了檢測準確率。

為進一步提升數據的多樣性，本項目對第二級病害樣本進行了數據增強操作。第一級目標檢測神經網絡涉及整體公路（車道方向、隔離帶等）、周邊自然環(huán)境（天空、左右邊坡等）、遠景圖像等認知，所以按照攝像頭正位拍攝的圖像原始位置檢測神經網絡預測及訓練，缺乏對局部病害檢測的旋轉不變性。通過對檢測出的疑似路面裂痕的病害框進行旋轉、鏡像、亮度等參數進行隨機變換，實現分類數據的增強，如圖4所示。有效地增強了分類神經網絡的泛化能力，提升了對已修復及未修復裂痕病害的區(qū)分。

圖4 路面裂痕樣本數據增強

2.3 云管理平臺設計

人工智能道路病害檢測平臺主要分為病害檢測診斷服務和應用服務兩個應用。考慮系統(tǒng)特性及計算資源要求，支持獨立化部署，可根據資源占用情況進行動態(tài)擴充，系統(tǒng)架構如圖5所示。

圖5 高速道路病害管理云平臺設計架構

道路病害管理平臺分三層進行設計。基礎服務層提供基礎的數據存儲能力和基于TFServing 容器的模型部署推理能力。其中，根據底層數據的存儲特點，對業(yè)務數據和時序大批量數據進行分類存儲，滿足系統(tǒng)對性能的要求。應用支持層提供平臺業(yè)務邏輯處理，支持整體道路病害管理功能的實現。對外服務層提供與外界通信的接口，主要支持車載設備的連接以及管理，數據應用的業(yè)務服務及展示。

（1）病害檢測診斷服務主要與車載設備進行通信，識別車載設備并處理設備上傳的GPS坐標及病害圖片信息。主要功能包括供終端設備的接入及認證、運行軌跡記錄、病害識別及存儲、運維服務及展示等。為滿足車載設備高并發(fā)、大數據量的上傳要求，整體采用彈性設計，可根據需要對整體應用進行動態(tài)擴展，同時應用數據接收與處理進行解耦，提供數據的延遲處理能力，最大化地提供服務響應能力。

（2）應用服務主要提供給運維及管理人員使用，通過此平臺，相關人員可以管理車載設備，維護車載設備信息，查看車輛運行軌跡及道路病害等。通過應用服務還可以集成外部系統(tǒng)。例如第三方的養(yǎng)護信息化系統(tǒng)，打通數據采集與養(yǎng)護信息管理結合，完善養(yǎng)護流程業(yè)務方向的集成。

3 人工智能高速公路病害自動檢測系統(tǒng)應用

本平臺已經在山東高速云平臺部署并試運營。圖6為云平臺管理界面，其中對每一輛巡檢車輛、檢出病害時間、類型及置信度都進行了統(tǒng)一展示。圖7展示了檢出病害類型部分案例。

圖6 云平臺病害管理界面

圖7 檢出病害類型實例

4 結語

綜上所述，基于人工智能深度學習的道路病害自動檢測系統(tǒng)，以及基于云平臺的統(tǒng)一病害管理、設備維護、運維調度系統(tǒng)，可有效提高高速道路運維人員的工作效率，減少漏檢率，在提升道路安全的同時降低維護成本。

本項目通過部署與運營，將收集更多高清道路病害信息，繼續(xù)訓練模型，提升模型病害檢測的準確率與靈敏度。隨著云平臺的建設及運營完善，將引入更多的業(yè)務類型，如基于人工智能自動檢測的道路資產管理及邊坡?lián)p毀識別等。隨著數據的增加，將進一步細化病害分類，如詳細區(qū)分橫向、縱向及網狀裂痕，幫助維護人員更準確地判斷病害成因及修復方案。