摘 要：針對(duì)路面坑洼圖片進(jìn)行圖像預(yù)處理，包括圖像裁剪、去噪和歸一化處理以及數(shù)據(jù)增強(qiáng)操作，以此提高模型的泛化能力并降低過擬合的風(fēng)險(xiǎn)，增強(qiáng)數(shù)據(jù)的多樣性。利用遷移學(xué)習(xí)的方法，構(gòu)建了基于VGG16架構(gòu)的深度學(xué)習(xí)模型。在模型構(gòu)建過程中，引入了全局平均池化層和自定義頂層，以實(shí)現(xiàn)對(duì)坑洼道路圖像的準(zhǔn)確分類和識(shí)別。為了進(jìn)一步優(yōu)化模型的性能，應(yīng)用了Sigmoid激活函數(shù)、ReLU激活函數(shù)，并添加了全連接層以及Dropout層等，以提高模型的非線性擬合能力并減少過擬合現(xiàn)象的發(fā)生。在模型訓(xùn)練過程中，凍結(jié)了預(yù)訓(xùn)練模型的權(quán)重，采用了Adam優(yōu)化器和二元交叉熵?fù)p失函數(shù)，從而有效地提高了模型的訓(xùn)練效率和性能。通過實(shí)驗(yàn)仿真測(cè)試，得到了得分曲線、學(xué)習(xí)曲線、混淆矩陣等數(shù)據(jù)，并綜合采用了準(zhǔn)確率、召回率、F1分?jǐn)?shù)以及ROC-AUC值等多個(gè)維度指標(biāo)來評(píng)估模型的性能。綜合來看，模型在分類識(shí)別方面表現(xiàn)良好，能夠?yàn)榈缆房油輽z測(cè)提供可靠的解決方案。

關(guān)鍵詞：圖像預(yù)處理；數(shù)據(jù)增強(qiáng)；VGG16架構(gòu)；遷移學(xué)習(xí)；深度學(xué)習(xí)；Adam優(yōu)化器

中圖分類號(hào)：TP391.4；TP183 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2024）11-00-05

0 引 言

道路是一種重要的交通設(shè)施，在一定程度上影響著人們的日常生活，甚至影響著社會(huì)的發(fā)展[1]。道路安全已成為世界各國關(guān)注的問題，檢測(cè)道路坑洼可以減少交通事故的發(fā)生，保障人們的出行安全。

文獻(xiàn)[2]提出了自主道路裂縫和坑洼檢測(cè)系統(tǒng)，該系統(tǒng)基于卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，從背景中區(qū)分坑洼和裂縫，但是在遇到表面變形和斑塊之間的結(jié)構(gòu)模糊性較大時(shí)其檢測(cè)誤差較大。文獻(xiàn)[3]利用由立體相機(jī)拍攝的一對(duì)立體圖像生成的強(qiáng)度圖像和視差圖像來選擇潛在坑洼候選者的感興趣區(qū)域（ROI），但是該方法成本高，在現(xiàn)實(shí)生活中應(yīng)用具有局限性。文獻(xiàn)[4]提出了最小二乘支持向量機(jī)（LS-SVM）[5]和基于人工神經(jīng)網(wǎng)絡(luò)的坑洼識(shí)別方法。

本文采用數(shù)據(jù)增強(qiáng)操作，利用遷移學(xué)習(xí)的方法，構(gòu)建了基于VGG16架構(gòu)[1]的深度學(xué)習(xí)模型。在模型構(gòu)建過程中，引入全局平均池化和自定義頂層，并且在Adam優(yōu)化器和二元交叉熵函數(shù)的作用下，實(shí)現(xiàn)了對(duì)抗洼道路圖像的準(zhǔn)確分類和識(shí)別，為解決道路坑洼問題提供了一個(gè)可行的方案。

1 圖像預(yù)處理

通過網(wǎng)絡(luò)渠道查找獲取相應(yīng)的道路數(shù)據(jù)集，將其分為

2種不同的場(chǎng)景：無坑洼的道路、坑洼道路。每種場(chǎng)景包括雨天、雪天、強(qiáng)光、弱光及有陰影的情況，數(shù)據(jù)集共收集有5 312張圖像。考慮到圖像中可能存在的雜質(zhì)因素（如植被、汽車和天空等），為提高模型的準(zhǔn)確性，需要對(duì)圖像進(jìn)行裁剪處理，主要是截取主路段。為了提高模型的魯棒性，進(jìn)行數(shù)據(jù)增強(qiáng)操作，包括隨機(jī)應(yīng)用旋轉(zhuǎn)、平移、剪切、縮放和水平翻轉(zhuǎn)等變換。

1.1 圖像裁剪與歸一化處理

在坑洼道路識(shí)別模型的建立過程中，初步觀察已提供的數(shù)據(jù)集，大部分道路圖片清晰，未包含過多復(fù)雜元素，例如車輛、天空和植被等。為提高后續(xù)訓(xùn)練的準(zhǔn)確性，采用閾值編輯器獲取道路像素，并進(jìn)行去噪操作，以獲取去除了背景的道路圖像。這一去噪操作可批量處理，對(duì)于大部分圖片效果顯著。然而，少數(shù)圖片包含較多復(fù)雜元素，需使用圖像編輯軟件（例如Photoshop）手動(dòng)進(jìn)行裁剪操作，以獲取高質(zhì)量的道路圖像。

通過閾值編輯器得到的二值化圖像（如圖1所示）存在大量噪點(diǎn)，再通過多次高斯模糊和形態(tài)學(xué)操作，成功去除噪點(diǎn)并保留道路結(jié)構(gòu)的關(guān)鍵特征，生成更清晰的二值圖像（如圖2、圖3所示）。上述操作在減少噪點(diǎn)的同時(shí)，還能夠保留重要的道路特征。

圖像高斯模糊[6]公式如下：

（1）

對(duì)這些經(jīng)過處理的二值圖像與原圖進(jìn)行掩膜操作，獲取最終的道路圖像（如圖4所示）。盡管無法完全濾除其他無關(guān)因素，但這一步能夠幫助我們集中注意力在道路結(jié)構(gòu)上，為后續(xù)的分析和處理提供基礎(chǔ)。這樣的預(yù)處理操作有助于提高模型的訓(xùn)練效果，確保模型對(duì)道路坑洼的識(shí)別更加精準(zhǔn)和可靠。

將每個(gè)圖像的像素值除以255，并將其壓縮到0和1之間，由此完成對(duì)圖像的歸一化操作，這樣能夠幫助神經(jīng)網(wǎng)絡(luò)更輕松地學(xué)習(xí)權(quán)重。歸一化處理表達(dá)式如下：

（2）

1.2 圖像增強(qiáng)

通過數(shù)據(jù)增強(qiáng)操作對(duì)訓(xùn)練集中的圖像進(jìn)行隨機(jī)變換，從而增強(qiáng)數(shù)據(jù)的多樣性，擴(kuò)展數(shù)據(jù)集樣本，減少過擬合的風(fēng)險(xiǎn)。通過定義數(shù)據(jù)增強(qiáng)變量參數(shù)進(jìn)行隨機(jī)旋轉(zhuǎn)、寬度和高度平移、剪切、縮放和水平翻轉(zhuǎn)等，如圖5所示。

通過自定義如下參數(shù)來對(duì)圖像進(jìn)行調(diào)整：

-rotation_range=60，表示隨機(jī)旋轉(zhuǎn)圖像的角度范圍為±60°。

-width_shift_range=0.3，表示寬度方向隨機(jī)平移范圍為圖像寬度的30%。

-height_shift_range=0.3，表示高度方向隨機(jī)平移范圍為圖像高度的30%。

-shear_range=0.3，表示對(duì)圖像進(jìn)行剪切變換，隨機(jī)剪切強(qiáng)度為30%。

-zoom_range=0.3，表示對(duì)圖像進(jìn)行隨機(jī)縮放，縮放范圍為30%。

-horizontal_flip=True，表示隨機(jī)對(duì)圖像進(jìn)行水平翻轉(zhuǎn)。

1.3 訓(xùn)練集劃分

對(duì)增強(qiáng)后的圖像按照7∶2∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。在建立深度學(xué)習(xí)模型后，對(duì)圖像進(jìn)行學(xué)習(xí)和訓(xùn)練，最終獲得權(quán)重文件，用于模型的識(shí)別任務(wù)。這樣的數(shù)據(jù)處理和模型訓(xùn)練過程將有助于提高模型的準(zhǔn)確性和魯棒性，使其在識(shí)別道路坑洼時(shí)能夠表現(xiàn)出更好的性能。

2 模型建立

VGG16是一種經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)，其簡潔統(tǒng)一的結(jié)構(gòu)以連續(xù)的小卷積核和池化層堆疊為特點(diǎn)。該網(wǎng)絡(luò)采用了深層結(jié)構(gòu)，能夠有效捕捉復(fù)雜特征并具有強(qiáng)大的表達(dá)能力。通過預(yù)訓(xùn)練模型權(quán)重，VGG16成為了強(qiáng)大的特征提取器，被廣泛用于圖像識(shí)別、目標(biāo)檢測(cè)和圖像分割等任務(wù)。通道數(shù)在卷積層逐漸增加，直至達(dá)到512后不再增加。全連接層中的4 096是經(jīng)驗(yàn)值，確保不低于最終的分類類別數(shù)。所有激活單元均采用ReLU激活函數(shù)。

ReLU激活函數(shù)在輸入為正時(shí)直接返回該輸入值，而在輸入為負(fù)時(shí)返回0。這種特性使得它能夠在不引入指數(shù)增長的情況下引入非線性，同時(shí)保留正值的輸入信息。

ReLU激活函數(shù)[7]為：

（3）

VGG16是一個(gè)深度為16層的卷積神經(jīng)網(wǎng)絡(luò)，它包含13個(gè)卷積層和3個(gè)全連接層。網(wǎng)絡(luò)結(jié)構(gòu)中，卷積層的卷積核數(shù)逐漸增加，然后經(jīng)過池化層進(jìn)行降采樣。圖6所示為VGG16的網(wǎng)絡(luò)結(jié)構(gòu)[8]。

通過加載本地VGG16權(quán)重文件，使用遷移學(xué)習(xí)方法，基于加載的預(yù)訓(xùn)練模型創(chuàng)建一個(gè)新的模型。將VGG16模型的輸出作為全局平均池化層的輸入，以減少參數(shù)量并提高計(jì)算效率。然后，添加一個(gè)擁有1 024個(gè)神經(jīng)元的全連接層，并使用ReLU激活函數(shù)引入非線性，以提高高階特征提取能力和增強(qiáng)模型的表達(dá)能力。通過添加Dropout層，減少模型的過擬合現(xiàn)象，提高模型的泛化能力。添加了一個(gè)擁有2個(gè)輸出節(jié)點(diǎn)的全連接層，并應(yīng)用了Sigmoid激活函數(shù)，這在二分類問題中是常用的做法。圖7所示為深度學(xué)習(xí)模型框架。

Sigmoid激活函數(shù)[9]為：

（4）

Sigmoid激活函數(shù)的特點(diǎn)是能夠?qū)⑷我鈱?shí)數(shù)值映射到一個(gè)介于0和1之間的數(shù)值。因此，它常被用于二分類問題中，將輸出限制在0和1之間。

使用Keras的Model類構(gòu)建完整的模型，將VGG16模型的輸入和自定義頂層的輸出連接起來，形成一個(gè)新的模型。通過遍歷VGG16模型的各層，并將其設(shè)置為不可訓(xùn)練，實(shí)現(xiàn)了對(duì)預(yù)訓(xùn)練模型權(quán)重的凍結(jié)，保護(hù)了預(yù)訓(xùn)練模型所學(xué)到的通用特征表示不被破壞，防止其在新任務(wù)的訓(xùn)練過程中被大幅度修改。最后，使用了二元交叉熵作為損失函數(shù)、Adam作為優(yōu)化器，并添加了準(zhǔn)確率作為評(píng)估指標(biāo)來編譯模型。這樣做是為了在訓(xùn)練過程中監(jiān)控模型的性能，并確保模型能夠按預(yù)期進(jìn)行訓(xùn)練和優(yōu)化。

二元交叉熵作為損失函數(shù)，用于衡量2個(gè)概率分布之間的差異：

H（p， q）=-[p（x）×log（q（x））+（1-p（x））×log（1-q（x））]" " " " "（5）

式中：p（x）是真實(shí)標(biāo)簽的概率分布；q（x）是模型預(yù)測(cè)的概率分布；x表示樣本或事件。代入樣本和模型的概率分布后，該損失函數(shù)會(huì)計(jì)算每個(gè)樣本的交叉熵，并對(duì)所有樣本的交叉熵求和，即求預(yù)測(cè)值和真實(shí)值之間的交叉熵總和。最終的損失值用來衡量模型的性能好壞，優(yōu)化算法會(huì)根據(jù)損失值來更新模型參數(shù)，以使損失值盡可能地減小。

在Adam優(yōu)化[10]中實(shí)現(xiàn)參數(shù)更新的表達(dá)式為：

（6）

式中：ΔJ（θ）表示損失函數(shù)J關(guān)于參數(shù)θ的梯度；β1和β2分別是一階矩和二階矩估計(jì)的指數(shù)衰減率，通常設(shè)置為接近1的數(shù)值；η是學(xué)習(xí)率；ε是一個(gè)很小的常數(shù)，用于保證數(shù)值穩(wěn)定性；m和v分別表示一階矩和二階矩估計(jì)的變量。

具體步驟如下：

（1）修正一階矩估計(jì)的偏差：mhat=m/（1-βt1），t為迭代次數(shù)；

（2）修正二階矩估計(jì)的偏差：vhat=v/（1-βt2）；

（3）更新參數(shù)：θ=θ-η×mhat/[sqrt（vhat）+ε]。

根據(jù)梯度的一階矩和二階矩估計(jì)來動(dòng)態(tài)調(diào)整學(xué)習(xí)率，并通過自適應(yīng)調(diào)整梯度的縮放來優(yōu)化模型參數(shù)。這有助于加快模型的收斂速度，避免在訓(xùn)練過程中陷入局部最優(yōu)。

這種遷移學(xué)習(xí)的策略使得模型能夠快速而有效地適應(yīng)特定的二分類任務(wù)，充分利用了預(yù)訓(xùn)練模型所蘊(yùn)含的豐富圖像特征表示能力。通過凍結(jié)預(yù)訓(xùn)練模型的權(quán)重，保留了其通用特征表示，為模型在新任務(wù)中的學(xué)習(xí)提供了更有力的支持。這樣的遷移學(xué)習(xí)策略在深度學(xué)習(xí)任務(wù)中具有重要意義，能夠加快模型的訓(xùn)練速度并提高模型的性能表現(xiàn)。

3 訓(xùn)練與結(jié)果評(píng)估

3.1 模型訓(xùn)練

使用Keras庫中的ImageDataGenerator創(chuàng)建了train_generator和validation_generator數(shù)據(jù)生成器，用于加載并預(yù)處理圖像數(shù)據(jù)。訓(xùn)練過程中，設(shè)置了steps_per_epoch參數(shù)和validation_steps參數(shù)以確保在每個(gè)訓(xùn)練epoch和驗(yàn)證過程中使用正確的步數(shù)。訓(xùn)練周期數(shù)設(shè)置為60，并將訓(xùn)練完成的模型保存到名為“road.h5”的文件中。

3.2 評(píng)估指標(biāo)

采用多維度的評(píng)估指標(biāo)評(píng)估模型的性能，包括準(zhǔn)確率（Accuracy）、召回率（Recall）、精確率（Precision）、F1分?jǐn)?shù)（F1 Score）和ROC-AUC值。

（1）準(zhǔn)確率（Accuracy）

準(zhǔn)確率是通過比較模型預(yù)測(cè)的結(jié)果與實(shí)際標(biāo)簽的一致性來計(jì)算的。具體而言，對(duì)于分類問題，它是預(yù)測(cè)正確的樣本數(shù)與總樣本數(shù)之比。

（7）

（2）精確率（Precision）

精確率是用于評(píng)估分類模型性能的一項(xiàng)關(guān)鍵指標(biāo)，它衡量了模型預(yù)測(cè)為正例的樣本中正確的比例。

（8）

（3）召回率（Recall）

召回率用于衡量模型識(shí)別出所有相關(guān)樣本的能力，特別是在所有實(shí)際相關(guān)樣本中識(shí)別出的比例。

（9）

（4）F1分?jǐn)?shù)

F1分?jǐn)?shù)綜合考慮了模型的精確率和召回率，用于平衡模型的準(zhǔn)確率和召回率。

（10）

（5）ROC-AUC值

ROC-AUC值[11]可以衡量模型在不同閾值下的分類能力，因此能夠用于評(píng)估關(guān)于模型對(duì)于不同類別樣本的區(qū)分能力的整體性能。較高的ROC-AUC值表明模型能夠有效區(qū)分正例和負(fù)例，具有更好的分類能力。

TPR=" " " " " " " " " " " " " " " " " （11）

FPR=" " " " " " " " " " " " " " " " " （12）

（6）混淆矩陣

混淆矩陣是一個(gè)用于評(píng)估分類模型性能的重要工具，它能夠展示模型預(yù)測(cè)結(jié)果與實(shí)際標(biāo)簽之間的差異。其中，行表示實(shí)際標(biāo)簽，列表示預(yù)測(cè)標(biāo)簽。

（13）

3.3 模型評(píng)估結(jié)果

本文模型下的混淆矩陣為：

（14）

上式表明424個(gè)樣本被正確地預(yù)測(cè)為負(fù)類（TN）；318個(gè)

樣本被錯(cuò)誤地預(yù)測(cè)為正類，但實(shí)際上是負(fù)類（FP）；284個(gè)樣本被錯(cuò)誤地預(yù)測(cè)為負(fù)類，但實(shí)際上是正類（FN）；650個(gè)樣本被正確地預(yù)測(cè)為正類（TP）。

通過式（11）和式（12）計(jì)算出TPR和FPR分別為0.695 931和0.428 571。模型評(píng)價(jià)指標(biāo)見表1。

由表1可以看出，模型的總體性能較好。為了直觀了解模型的性能，繪制了學(xué)習(xí)曲線和得分曲線，如圖8和圖9所示。學(xué)習(xí)曲線反映了模型在60次的周期訓(xùn)練過程中準(zhǔn)確率隨著訓(xùn)練周期的推進(jìn)而提高，同時(shí)也顯示了模型在測(cè)試集中的準(zhǔn)確率變化情況。通過觀察學(xué)習(xí)曲線，了解到該模型沒有出現(xiàn)過度擬合或過度欠擬合的問題，說明該模型是一個(gè)有效、可靠的模型。得分曲線反映了損失率隨著學(xué)習(xí)周期的推進(jìn)而明顯降低，表明模型的訓(xùn)練效果逐漸收斂。

4 結(jié) 語

本文針對(duì)坑洼道路的識(shí)別與檢測(cè)問題，通過互聯(lián)網(wǎng)查找以及線下手機(jī)拍攝獲取圖片，建立正常道路與坑洼道路的數(shù)據(jù)集；對(duì)數(shù)據(jù)集進(jìn)行圖像增強(qiáng)與劃分后，采用遷移學(xué)習(xí)方法，通過加載本地VGG16權(quán)重文件來創(chuàng)建并訓(xùn)練模型。經(jīng)過多次實(shí)驗(yàn)，利用準(zhǔn)確率、召回率、F1分?jǐn)?shù)、ROC-AUC值等指標(biāo)進(jìn)行了評(píng)價(jià)，證明了模型具有良好的檢測(cè)精度，對(duì)坑洼道路的檢測(cè)與識(shí)別效果良好。

注：本文通訊作者為蔡梓豐。

參考文獻(xiàn)

[1] RASTOGI R， KUMAR U， KASHYAP A， et al. A comparative evaluation of the deep learning algorithms for pothole detection [C]// 2020 IEEE 17th India Council International Conference （INDICON）.New Delhi， India： IEEE， 2020： 1-6.

[2] ANAND S， GUPTA S， DARBARI V， et al. Crack-pot： autonomous road crack and pothole detection [C]// 2018 Digital Image Computing： Techniques and Applications （DICTA）. Canberra， ACT， Australia： IEEE， 2018： 1-6.

[3] BANGALORE R N， KUNDU S. Stereo vision based pothole detection system for improved ride quality [J]. SAE international journal of advances and current practices in mobility， 2021， 3（5）： 2603-2610.

[4] HOANG N D. An artificial intelligence method for asphalt pavement pothole detection using least squares support vector machine and neural network with steerable filter-based feature extraction [J]. Advances in civil engineering， 2018， 2018： 7419058.

[5] SHI Q， ZHANG H. An LS-SVM control method for path following of autonomous ground vehicles [C]// 2020 IEEE 92nd Vehicular Technology Conference （VTC2020-Fall）. Victoria， BC， Canada： IEEE， 2020： 1-5.

[6] HWANG J J， RHEE K H. Gaussian forensic detection using blur quantity of forgery image [C]// 2019 International Conference on Green and Human Information Technology （ICGHIT）. Kuala Lumpur， Malaysia： IEEE， 2019： 86-88.

[7] KIRANA K C， WIBAWANTO S， HIDAYAH N， et al. Improved neural network using integral-RELU based prevention activation for face detection [C]// 2019 International Conference on Electrical， Electronics and Information Engineering （ICEEIE）. Denpasar， Indonesia： IEEE， 2019： 260-263.

[8] SEOK J， KIM J S. Quantized ADAM with monotonically increasing resolution of quantization [C]// 2021 International Conference on Information and Communication Technology Convergence （ICTC）.Jeju Island， Korea： IEEE， 2021： 1719-1721.

[9]蒯鵬.靈敏放大器與Sigmoid激活函數(shù)發(fā)生器復(fù)用電路設(shè)計(jì)[D].合肥：安徽大學(xué)，2021.

[10]楊觀賜，楊靜，李少波，等.基于Dopout與ADAM優(yōu)化器的改進(jìn)CNN算法[J].華中科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，46（7）：122-127.

[11] CHIRILA C B， SORA I. The optimization of a page rank based key classes classifier using simulated annealing with ROC-AUC and Recall metrics [C]// 2019 IEEE 13th International Symposium on Applied Computational Intelligence and Informatics （SACI）.Timisoara， Romania： IEEE， 2019： 000021-000026.

收稿日期：2023-11-08 修回日期：2023-12-06

基金項(xiàng)目：廣東省普通高校特色創(chuàng)新項(xiàng)目：基于強(qiáng)化學(xué)習(xí)的智能車路徑規(guī)劃研究（2022KTSX188）