龐靜，呂新建，婁勝利

（1.山東高速股份有限公司，山東濟(jì)南 250000；2.山東高速信息集團(tuán)有限公司，山東濟(jì)南 250000；3.象譜信息產(chǎn)業(yè)有限公司，山東濟(jì)南 250000）

0 引言

公路巡查能夠及時(shí)全面地發(fā)現(xiàn)問題，是避免問題發(fā)生的方法之一。傳統(tǒng)的人工巡查主要依靠人眼識(shí)別道路病害，然后停車拍照進(jìn)行病害數(shù)據(jù)的采集與上報(bào)。人工巡查過程常存在病害采集不全面、方法不規(guī)范，采集不及時(shí)，導(dǎo)致效率低下，影響道路狀態(tài)的及時(shí)監(jiān)控與養(yǎng)護(hù)。并且存在很大的安全隱患，每年都有路政養(yǎng)護(hù)人員在巡查過程中出現(xiàn)危險(xiǎn)事故，而且上報(bào)流程不通暢、不易追蹤事件解決過程、路況隱患缺乏外界有效溝通。

我國大量早期修建的公路陸續(xù)進(jìn)入改擴(kuò)建及大中修養(yǎng)護(hù)階段，養(yǎng)護(hù)任務(wù)逐年增加。運(yùn)用最新的技術(shù)將自動(dòng)化信息采集技術(shù)與人工智能技術(shù)緊密結(jié)合，實(shí)現(xiàn)道路常見病害例的全過程準(zhǔn)確采集、人工智能篩選、傳輸、分析，可以全面及時(shí)地發(fā)現(xiàn)問題，大幅度提高巡查效率和安全性，同時(shí)為智慧養(yǎng)護(hù)提供有效的數(shù)據(jù)支撐。

近年來，深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks，以下簡稱DNNs）技術(shù)發(fā)展迅速，在許多極具挑戰(zhàn)性的計(jì)算機(jī)視覺領(lǐng)域展現(xiàn)出卓越的性能。如：圖像分類、語義分割、目標(biāo)識(shí)別等[1-3]。本文利用人工智能技術(shù)，通過采集大量高清高速公路病害圖像，訓(xùn)練目標(biāo)檢測(cè)及分類神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)病害目標(biāo)的自動(dòng)識(shí)別，并通過上傳云端管理系統(tǒng)，實(shí)現(xiàn)高速公路病害的自動(dòng)檢測(cè)、管理及統(tǒng)計(jì)、規(guī)劃一體化系統(tǒng)。

1 研究現(xiàn)狀及存在問題

1.1 國內(nèi)外研究現(xiàn)狀

基于傳統(tǒng)圖像處理算法的道路檢測(cè)模型自90 年代起即得到國內(nèi)外的廣泛研究。文獻(xiàn)[4]利用傳統(tǒng)圖像處理的方法實(shí)現(xiàn)了道路裂縫病害的檢測(cè)。但是道路病害種類多，同一種病害往往呈現(xiàn)不同形態(tài)特征，尤其是在不同的光照、天氣情況下識(shí)別效果魯棒性不強(qiáng)。

近年來人工智能技術(shù)發(fā)展迅速，在視覺識(shí)別及語音某些領(lǐng)域已經(jīng)超越人類。國內(nèi)外學(xué)者也從基于傳統(tǒng)圖像處理算法的半自動(dòng)化檢測(cè)研究轉(zhuǎn)到基于深度學(xué)習(xí)的全自動(dòng)化病害檢測(cè)研究[5]。

田楊等[6]基于Fast-RCNN 神經(jīng)網(wǎng)絡(luò)構(gòu)建道路病害檢測(cè)模型，通過建立8 000 余張道路病害圖片樣本庫，可以訓(xùn)練模型自動(dòng)識(shí)別坑槽及裂縫病害，并結(jié)合GPS定位信息，生成時(shí)間、地點(diǎn)、屬性完整的病害識(shí)別報(bào)告，提高道路維護(hù)病害檢測(cè)的效率和準(zhǔn)確率。

Zhang Ce 等[7]基于Wasserstein 對(duì)抗神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)了專門針對(duì)道路病害檢測(cè)的Conn Crack，并設(shè)計(jì)了配套的攝像頭硬件系統(tǒng)。其設(shè)計(jì)主要針對(duì)路面裂痕長寬比跨度大、檢測(cè)難的問題，對(duì)傳統(tǒng)的檢測(cè)神經(jīng)網(wǎng)絡(luò)進(jìn)行了改進(jìn)。

1.2 存在的主要問題

利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行自動(dòng)化的公路病害檢測(cè)是目前的主流方向，并取得了優(yōu)異的效果，在其檢測(cè)魯棒性方面優(yōu)于傳統(tǒng)視覺處理算法。但目前工作依然存在可識(shí)別的路面病害種類較單一、穩(wěn)定性差等問題。此外，針對(duì)已經(jīng)修復(fù)的病害，并沒有進(jìn)行單獨(dú)處理，容易引起較多的誤報(bào)。本文介紹了基于Google EfficientDet 的多目標(biāo)檢測(cè)系統(tǒng)，可以同時(shí)檢測(cè)4 類路面病害，并通過級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，對(duì)檢測(cè)出的病害進(jìn)行進(jìn)一步精細(xì)分類，減少對(duì)已修復(fù)病害的誤報(bào)率，極大程度地提升了檢測(cè)效率。

2 基于人工智能的高速公路病害自動(dòng)檢測(cè)系統(tǒng)設(shè)計(jì)

2.1 巡檢攝像頭硬件設(shè)計(jì)

巡檢攝像頭基于華為Hi3519 邊緣計(jì)算模塊開發(fā)，集成存儲(chǔ)、通信、高速以太網(wǎng)及電源管理等模塊，如圖1所示。

圖1 基于華為Hi3519平臺(tái)的巡檢攝像頭硬件設(shè)計(jì)

其中主要組成模塊如下：

（1）Hi3519 集成了性能強(qiáng)大的可編程神經(jīng)網(wǎng)絡(luò)推理引擎和一個(gè)向量DSP，支持多種智能算法應(yīng)用。

（2）高速相機(jī)支持在車載主體高速移動(dòng)下、成像質(zhì)量較好采集的高清圖像由Hi3519 圖像處理引擎進(jìn)行縮放、壓縮等預(yù)處理，預(yù)處理后的圖像由神經(jīng)網(wǎng)絡(luò)依據(jù)算法推理。

（3）神經(jīng)網(wǎng)絡(luò)推理結(jié)果在硬件端進(jìn)行簡單篩查，去除不相干圖像后，采集的原始圖像、推理結(jié)果、定位信息打包經(jīng)4G網(wǎng)絡(luò)上傳至云端平臺(tái)。

2.2 級(jí)聯(lián)式道路病害檢測(cè)神經(jīng)網(wǎng)絡(luò)架構(gòu)

2.2.1 病害數(shù)據(jù)收集

通過車載高清攝像頭在山東省內(nèi)約2 000km 的高速路段上采集了約10 萬幅以上高清圖像，分辨率為（1920×1080）dpi。數(shù)據(jù)由兩位具有5 年以上高速公路病害檢測(cè)經(jīng)驗(yàn)的人員進(jìn)行篩查，共選出有效圖像917張，使用labelImg 工具（https://github.com/tzutalin/labelImg）標(biāo)記每張圖的病害位置、尺寸及種類?？傮w標(biāo)注病害6 類共1 192 個(gè)。其中，裂縫類別包括縱向裂縫、橫向裂縫及網(wǎng)狀裂痕存在病害影響面積跨度較大、類別間界限不明顯（如：某些非典型縱向列橫與橫向裂痕難以界定），類別不平衡（網(wǎng)狀裂痕較少）等問題，在相對(duì)少的訓(xùn)練樣本下，較難明確區(qū)分。所以在本次實(shí)驗(yàn)中將其總體歸為一類檢測(cè)，人工智能檢測(cè)結(jié)果可進(jìn)一步由人工進(jìn)行分類。表1統(tǒng)計(jì)了最終用于人工智能模型訓(xùn)練的數(shù)據(jù)統(tǒng)計(jì)結(jié)果。

表1 病害數(shù)據(jù)收集及標(biāo)注統(tǒng)計(jì)

為擴(kuò)充有效訓(xùn)練數(shù)據(jù)集，使用了傳統(tǒng)的數(shù)據(jù)處理方法。如：圖像旋轉(zhuǎn)、亮度調(diào)節(jié)、飽和度調(diào)節(jié)、對(duì)比度調(diào)節(jié)、高斯噪聲，對(duì)原始訓(xùn)練數(shù)據(jù)進(jìn)行了15倍增廣，共得到13 755 幅圖像，17 880 個(gè)標(biāo)簽。通過隨機(jī)采樣，總數(shù)據(jù)的90%（12380）用于模型訓(xùn)練，總數(shù)據(jù)的10%（1375）用于模型測(cè)試。

2.2.2 人工智能檢測(cè)模型設(shè)計(jì)

人工智能檢測(cè)網(wǎng)絡(luò)采用Google2020 年提出的Efficientdet 神經(jīng)網(wǎng)絡(luò)架構(gòu)[8]，如圖2 所示。該網(wǎng)絡(luò)提出了雙向特征金字塔結(jié)構(gòu)，允許簡單快速的多尺度特征融合；同時(shí)提出了符合尺度擴(kuò)張方法，可以統(tǒng)一對(duì)經(jīng)典目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)的骨干網(wǎng)、特征網(wǎng)絡(luò)和預(yù)測(cè)網(wǎng)絡(luò)在分辨率、深度和寬度上進(jìn)行縮放，在目標(biāo)檢測(cè)性能與計(jì)算存儲(chǔ)資源消耗上取得了很好的平衡。相比其他目標(biāo)檢測(cè)網(wǎng)絡(luò)，在同等計(jì)算存貯資源消耗的情況下，能達(dá)到更好的檢測(cè)效果；在同樣檢測(cè)效果目標(biāo)下，占用更少的計(jì)算機(jī)存儲(chǔ)資源。

根據(jù)不同的網(wǎng)絡(luò)性能/規(guī)模擴(kuò)張尺度選擇，提供了D0-D7 不同的網(wǎng)絡(luò)選擇，其中D0 網(wǎng)絡(luò)規(guī)模最小，性能指標(biāo)最低。根據(jù)數(shù)據(jù)規(guī)模，目標(biāo)病害尺寸特征選擇了EfficentDet-D1?；赑ASCAL VOC2012 數(shù)據(jù)集預(yù)訓(xùn)練的模型，采用finetune方式凍結(jié)骨干網(wǎng)及特征提取網(wǎng)絡(luò)，利用收集數(shù)據(jù)集對(duì)檢測(cè)分類網(wǎng)絡(luò)進(jìn)行繼續(xù)訓(xùn)練。訓(xùn)練過程損失函數(shù)演變過程如圖3所示。

圖3 訓(xùn)練數(shù)據(jù)損失統(tǒng)計(jì)

實(shí)驗(yàn)表明，一大部分假陽性結(jié)果是由于已經(jīng)修復(fù)的病害，尤其是裂痕與周圍路面有明顯的形態(tài)及顏色差別，容易引起誤判，增加后期人工復(fù)核的工作量。針對(duì)這一情況，設(shè)計(jì)了二級(jí)篩選網(wǎng)絡(luò)，針對(duì)第一級(jí)檢測(cè)網(wǎng)絡(luò)篩選出的病害，進(jìn)行進(jìn)一步分類，鑒別已經(jīng)修復(fù)的病害。

病害檢測(cè)任務(wù)通過在固定分辨率（1920×1080）dpi的高清圖像進(jìn)行尺寸縮放后進(jìn)行目標(biāo)檢測(cè)，可有效均衡神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)性能及時(shí)間、內(nèi)存消耗，縮小后的分辨率為（300×300）dpi。由于統(tǒng)一的尺寸縮小，及長寬比例的失調(diào)，對(duì)小病害目標(biāo)及狹長的病害目標(biāo)的細(xì)節(jié)損失較大，影響其分類的準(zhǔn)確性。本項(xiàng)目設(shè)計(jì)的二級(jí)神經(jīng)網(wǎng)絡(luò)架構(gòu)，根據(jù)第一步檢測(cè)出的病害的包圍框位置及尺寸，及EfficentDet對(duì)原圖的縮放比例，恢復(fù)檢測(cè)框，以原始尺寸進(jìn)行精確分類，最大限度地保留圖像的特征，進(jìn)一步提升分類的準(zhǔn)確度。分類神經(jīng)網(wǎng)絡(luò)采用Efficient-Net-B1網(wǎng)絡(luò)架構(gòu)，進(jìn)一步提升了檢測(cè)準(zhǔn)確率。

為進(jìn)一步提升數(shù)據(jù)的多樣性，本項(xiàng)目對(duì)第二級(jí)病害樣本進(jìn)行了數(shù)據(jù)增強(qiáng)操作。第一級(jí)目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)涉及整體公路（車道方向、隔離帶等）、周邊自然環(huán)境（天空、左右邊坡等）、遠(yuǎn)景圖像等認(rèn)知，所以按照攝像頭正位拍攝的圖像原始位置檢測(cè)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)及訓(xùn)練，缺乏對(duì)局部病害檢測(cè)的旋轉(zhuǎn)不變性。通過對(duì)檢測(cè)出的疑似路面裂痕的病害框進(jìn)行旋轉(zhuǎn)、鏡像、亮度等參數(shù)進(jìn)行隨機(jī)變換，實(shí)現(xiàn)分類數(shù)據(jù)的增強(qiáng)，如圖4所示。有效地增強(qiáng)了分類神經(jīng)網(wǎng)絡(luò)的泛化能力，提升了對(duì)已修復(fù)及未修復(fù)裂痕病害的區(qū)分。

圖4 路面裂痕樣本數(shù)據(jù)增強(qiáng)

2.3 云管理平臺(tái)設(shè)計(jì)

人工智能道路病害檢測(cè)平臺(tái)主要分為病害檢測(cè)診斷服務(wù)和應(yīng)用服務(wù)兩個(gè)應(yīng)用?？紤]系統(tǒng)特性及計(jì)算資源要求，支持獨(dú)立化部署，可根據(jù)資源占用情況進(jìn)行動(dòng)態(tài)擴(kuò)充，系統(tǒng)架構(gòu)如圖5所示。

圖5 高速道路病害管理云平臺(tái)設(shè)計(jì)架構(gòu)

道路病害管理平臺(tái)分三層進(jìn)行設(shè)計(jì)?；A(chǔ)服務(wù)層提供基礎(chǔ)的數(shù)據(jù)存儲(chǔ)能力和基于TFServing 容器的模型部署推理能力。其中，根據(jù)底層數(shù)據(jù)的存儲(chǔ)特點(diǎn)，對(duì)業(yè)務(wù)數(shù)據(jù)和時(shí)序大批量數(shù)據(jù)進(jìn)行分類存儲(chǔ)，滿足系統(tǒng)對(duì)性能的要求。應(yīng)用支持層提供平臺(tái)業(yè)務(wù)邏輯處理，支持整體道路病害管理功能的實(shí)現(xiàn)。對(duì)外服務(wù)層提供與外界通信的接口，主要支持車載設(shè)備的連接以及管理，數(shù)據(jù)應(yīng)用的業(yè)務(wù)服務(wù)及展示。

（1）病害檢測(cè)診斷服務(wù)主要與車載設(shè)備進(jìn)行通信，識(shí)別車載設(shè)備并處理設(shè)備上傳的GPS坐標(biāo)及病害圖片信息。主要功能包括供終端設(shè)備的接入及認(rèn)證、運(yùn)行軌跡記錄、病害識(shí)別及存儲(chǔ)、運(yùn)維服務(wù)及展示等。為滿足車載設(shè)備高并發(fā)、大數(shù)據(jù)量的上傳要求，整體采用彈性設(shè)計(jì)，可根據(jù)需要對(duì)整體應(yīng)用進(jìn)行動(dòng)態(tài)擴(kuò)展，同時(shí)應(yīng)用數(shù)據(jù)接收與處理進(jìn)行解耦，提供數(shù)據(jù)的延遲處理能力，最大化地提供服務(wù)響應(yīng)能力。

（2）應(yīng)用服務(wù)主要提供給運(yùn)維及管理人員使用，通過此平臺(tái)，相關(guān)人員可以管理車載設(shè)備，維護(hù)車載設(shè)備信息，查看車輛運(yùn)行軌跡及道路病害等。通過應(yīng)用服務(wù)還可以集成外部系統(tǒng)。例如第三方的養(yǎng)護(hù)信息化系統(tǒng)，打通數(shù)據(jù)采集與養(yǎng)護(hù)信息管理結(jié)合，完善養(yǎng)護(hù)流程業(yè)務(wù)方向的集成。

3 人工智能高速公路病害自動(dòng)檢測(cè)系統(tǒng)應(yīng)用

本平臺(tái)已經(jīng)在山東高速云平臺(tái)部署并試運(yùn)營。圖6為云平臺(tái)管理界面，其中對(duì)每一輛巡檢車輛、檢出病害時(shí)間、類型及置信度都進(jìn)行了統(tǒng)一展示。圖7展示了檢出病害類型部分案例。

圖6 云平臺(tái)病害管理界面

圖7 檢出病害類型實(shí)例

4 結(jié)語

綜上所述，基于人工智能深度學(xué)習(xí)的道路病害自動(dòng)檢測(cè)系統(tǒng)，以及基于云平臺(tái)的統(tǒng)一病害管理、設(shè)備維護(hù)、運(yùn)維調(diào)度系統(tǒng)，可有效提高高速道路運(yùn)維人員的工作效率，減少漏檢率，在提升道路安全的同時(shí)降低維護(hù)成本。

本項(xiàng)目通過部署與運(yùn)營，將收集更多高清道路病害信息，繼續(xù)訓(xùn)練模型，提升模型病害檢測(cè)的準(zhǔn)確率與靈敏度。隨著云平臺(tái)的建設(shè)及運(yùn)營完善，將引入更多的業(yè)務(wù)類型，如基于人工智能自動(dòng)檢測(cè)的道路資產(chǎn)管理及邊坡?lián)p毀識(shí)別等。隨著數(shù)據(jù)的增加，將進(jìn)一步細(xì)化病害分類，如詳細(xì)區(qū)分橫向、縱向及網(wǎng)狀裂痕，幫助維護(hù)人員更準(zhǔn)確地判斷病害成因及修復(fù)方案。