陳善繼,劉鵬宇,白巖冰,王 濤,袁 靜

(1.青海民族大學 物理與電子信息工程學院,青海 西寧 810007; 2.北京工業(yè)大學 信息學部,北京 100124;3.先進信息網(wǎng)絡北京實驗室,北京 100124; 4.計算智能與智能系統(tǒng)北京市重點實驗室,北京 100124)

在路面狀態(tài)監(jiān)測任務中,對路面狀態(tài)的檢測方法主要有基于埋入式的路面狀態(tài)傳感器、車載路面狀態(tài)檢測車和基于視覺信息的路面狀態(tài)檢測。相對于前兩者,基于視覺信息的路面狀態(tài)檢測具有快速、準確、成本低、覆蓋面積廣等優(yōu)勢。隨著計算機硬件計算能力的不斷發(fā)展,應用智能分析模型代替?zhèn)鹘y(tǒng)路面檢測方法識別路面狀態(tài)、對危險路面做出判斷并發(fā)出預警是交通監(jiān)管行業(yè)響應“智慧交通”發(fā)展趨勢的迫切需求。

基于視覺信息進行高速公路路面狀態(tài)檢測的技術(shù)研究仍處于起步階段,其本質(zhì)是以構(gòu)建圖片分類器的方式對不同的路面狀態(tài)圖片進行分類。如何基于監(jiān)測設備的回傳視頻流來實現(xiàn)路面區(qū)域的分割、利用圖片狀態(tài)分類器對不同路面狀態(tài)進行準確分類是當前首先要解決的技術(shù)問題。同時,由于公路兩側(cè)的樹木、燈桿等干擾物常常會在路面上形成陰影,因此消除陰影對路面狀態(tài)檢測結(jié)果的影響是提高路面狀態(tài)識別準確率的前提。

本文根據(jù)交通監(jiān)管部門的實際需求,結(jié)合我國《公路交通氣象觀測站網(wǎng)建設暫行技術(shù)要求》[1],提出了一種基于計算機視覺的高速公路路面狀態(tài)檢測方法,實現(xiàn)對不同狀態(tài)路面的分類。以下主要從基于學習的路面區(qū)域分割、路面陰影消除、路面狀態(tài)分類3部分闡述本文提出的路面狀態(tài)檢測算法。

1 相關(guān)研究

1.1 基于學習的路面區(qū)域分割

可用于路面區(qū)域分割任務的圖像分割技術(shù)可以分為語義分割技術(shù)和實例分割技術(shù)。文獻[2]提出的全卷積神經(jīng)網(wǎng)絡(Fully Convolutional Networks,FCN)與經(jīng)典的卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,CNN)結(jié)構(gòu)不同,FCN的網(wǎng)絡結(jié)構(gòu)不采用全連接層,而是以卷積層代替全連接層來實現(xiàn)像素的逐點預測,且對輸入圖像的大小無限制,因此該網(wǎng)絡結(jié)構(gòu)具有更強的泛化性能和較高的分割精度,能夠為后續(xù)各種語義分割網(wǎng)絡的構(gòu)建提供新的思路。文獻[3]提出的U-Net網(wǎng)絡在醫(yī)學圖像的分割任務上取得了良好的表現(xiàn)。該網(wǎng)絡結(jié)構(gòu)在編碼器和解碼器之間使用了跳躍連接的網(wǎng)絡構(gòu)建思想,使得網(wǎng)絡訓練所需的訓練樣本更少,同時能夠?qū)崿F(xiàn)更加精準的分割。文獻[4]提出了第一個無卷積模型的實例分割方法(ReSTR),其利用Transformer Encoder[5]獨立地提取視覺和語言特征,并分別將特征平行輸入到多模融合編碼器,以捕捉這兩種模態(tài)之間的細微關(guān)系,最后利用從粗到細分割的高效解碼器提升預測圖的分辨率,實現(xiàn)對目標物體的精確分割。文獻[6]提出了一種基于端到端輪廓的實例分割方法(E2EC)。其首先生成一個熱圖來定位實例中心,然后通過基于中心點特征回歸初始偏移量來學習初始輪廓。初始輪廓首先由一個全局變形模塊進行變形,然后演化為粗輪廓,最后變形模塊將粗輪廓變形到最終輪廓。

考慮到本文所述的路面圖像分割任務要盡量減少路面以外的無關(guān)信息,降低對后續(xù)陰影消除任務的影響,因此提取路面圖像后采用語義分割即可實現(xiàn)路面分割任務,無須采用實例分割進行同類間的劃分。

1.2 路面陰影消除

目前,路面陰影消除方法主要分為非生成式對抗網(wǎng)絡方法和生成式對抗網(wǎng)絡方法。非生成式對抗網(wǎng)絡以文獻[7]～文獻[9]為代表。文獻[7]提出了一種基于配對區(qū)域的新方法,基于數(shù)據(jù)的方法通過訓練數(shù)據(jù)來進行分類器學習,根據(jù)分類結(jié)果創(chuàng)建分割曲線,并利用此曲線來進行陰影區(qū)域和非陰影區(qū)域的劃分標記。文獻[8]構(gòu)建了一種用于陰影去除的內(nèi)容嵌入式深度網(wǎng)絡模型結(jié)構(gòu),此網(wǎng)絡結(jié)構(gòu)通過3個提取特征的子網(wǎng)絡來進行圖像的高級語義信息、中級外觀信息和局部圖像細節(jié)信息的提取與融合,從而完成陰影遮罩的層預測,實現(xiàn)全自動端對端的圖像陰影去除。文獻[9]通過預測陰影圖片的曝光參數(shù),并對預測后的圖片進行抖動,再將其輸入一個融合網(wǎng)絡進行學習,網(wǎng)絡對抖動后的圖片進行參數(shù)自動融合,得到無陰影的圖片。生成式對抗網(wǎng)絡以文獻[10]和文獻[11]為代表。文獻[10]提出了一種疊加條件生成對抗網(wǎng)絡(Stacked Conditional Generative Adversarial Network,ST-CGAN)模型,此網(wǎng)絡模型利用信息聯(lián)合學習的方法來實現(xiàn)陰影的檢測與去除。ST-CGAN包含兩個生成器:生成器G1基于輸入的陰影圖像生成相應的陰影遮罩圖;生成器G2對輸入的陰影圖像和G1生成的陰影遮罩圖進行疊加操作,實現(xiàn)陰影去除,輸出去除陰影后的圖像。文獻[11]提出了一種利用條件生成對抗網(wǎng)絡的方法進行圖像的陰影消除。該方法首先利用背景估計網(wǎng)絡來提取含陰影圖像的背景顏色,再將含陰影圖像和提取的背景顏色輸入一個條件生成對抗網(wǎng)絡中,來完成對圖像陰影的消除。

本文所述的待消除的高速公路路面陰影在混合路面狀態(tài)下,利用非生成式對抗網(wǎng)絡的方法極易造成陰影消除不徹底的情況,并且難以實現(xiàn)陰影的實時消除。而生成式對抗網(wǎng)絡則可以彌補以上不足,有利于本文所述路面陰影消除任務的實現(xiàn)。

1.3 路面狀態(tài)分類

路面狀態(tài)分類的方法主要分為傳統(tǒng)方法和卷積神經(jīng)網(wǎng)絡方法。傳統(tǒng)方法以文獻[12]～文獻[14]為代表。文獻[12]對不同路面狀態(tài)樣本提取RGB、YUV和HIS三種色彩空間下的特征值組成特征向量,基于改進的BP(Back Propagation)神經(jīng)網(wǎng)絡對路面狀態(tài)分類器進行訓練,統(tǒng)計分類準確率達到85%以上。文獻[13]提出了一種對不同路面樣本分別提取顏色、紋理特征訓練SVM(Support Vector Machine,支持向量機)分類器進行路面狀態(tài)判別的方法。文獻[14]通過提取路面圖像顏色與紋理特征,基于樸素貝葉斯模型設計了路面狀態(tài)識別分類器,由于手工提取特征的方式對路面狀態(tài)描述的局限性且其數(shù)據(jù)集規(guī)模較小,因此識別準確率不能滿足實際需求。卷積神經(jīng)網(wǎng)絡方法以文獻[15]～文獻[17]為代表。文獻[15]基于圖神經(jīng)網(wǎng)絡的圖分類方法,通過卷積的方式對這些圖進行多次特征變換,然后在此基礎上進行池化操作,將圖的規(guī)?？s小,多次重復這個過程,最終得到整個圖的表示,從而進行分類。文獻[16]提出了一種在EfficientNet[17]模型的深層結(jié)構(gòu)中引入雙注意力機制的辦法,實現(xiàn)了對干燥、微濕、潮濕、積水和積雪這5種不同路面的分類。

總體而言,基于傳統(tǒng)方法提取路面特征訓練路面狀態(tài)分類器的方法受算法原理限制,準確率往往難以滿足實際需求。卷積神經(jīng)網(wǎng)絡方法因全面的特征提取方式與高精度的分類性能較傳統(tǒng)方法性能更優(yōu)。但現(xiàn)有方法對于復雜高速公路路況和路面分類實際需求而言,其準確性仍有待提升。

2 整體架構(gòu)

根據(jù)上述研究,本文第一步自主構(gòu)建了干燥、積雪、積水、結(jié)冰4種狀態(tài)的路面狀態(tài)數(shù)據(jù)集;第二步通過利用U-Net網(wǎng)絡結(jié)合Attention模塊,對路面區(qū)域進行分割提取;第三步采用基于循環(huán)生成對抗網(wǎng)絡的路面陰影消除算法,對提取的路面區(qū)域進行陰影消除;第四步構(gòu)建基于殘差結(jié)構(gòu)的路面狀態(tài)分類器,實現(xiàn)了對干燥、積雪、積水和結(jié)冰4種不同路面的準確分類。本文的整體框架如圖1所示。

圖1 高速公路路面狀態(tài)檢測算法整體框架

3 模型設計

3.1 U-Net網(wǎng)絡結(jié)合Attention模塊的圖像分割提取算法

鑒于注意力機制在目標分類、語義理解等領(lǐng)域展現(xiàn)出了優(yōu)異的性能,因此,科學地利用注意力機制的優(yōu)勢并與語義分割網(wǎng)絡相結(jié)合為提升高速公路路面區(qū)域的分割精度提供了很好的思路。

對路面區(qū)域做普通的卷積運算是將空間、通道特征混合在一起的提取路面特征的方式,這樣提取的特征相對混亂,引入注意力機制能夠關(guān)注于某個維度進而在提取路面區(qū)域的特征時更有針對性。本文引用文獻[18]提出的具有雙通道殘差結(jié)構(gòu)的卷積塊注意力機制模塊(Convolutional Block Attention Module,CBAM),構(gòu)建了如圖2所示的殘差雙注意力機制模塊。

圖2 殘差雙注意力機制模塊

殘差雙注意力機制模塊首先將輸入的特征圖在通道注意力機制中分別進行一個空間的全局平均池化和最大池化,將結(jié)果分別送入一個共享的兩層神經(jīng)網(wǎng)絡。將得到的2個特征相加后經(jīng)過Sigmoid激活函數(shù)得到通道注意力機制的權(quán)重系數(shù),將權(quán)重系數(shù)與原始輸入的特征相乘即可得到縮放后的新特征。然后在空間注意力機制中,將特征圖依次進行最大池化與平均池化,把結(jié)果拼接后進行卷積運算,經(jīng)過Sigmoid激活函數(shù)得到空間注意力機制的權(quán)重系數(shù),將權(quán)重系數(shù)與輸入的特征相乘即可得到經(jīng)過CBAM后的特征。接著在通道注意力機制中依據(jù)特征圖中每個通道的貢獻進行特征重組,在空間注意力機制中依據(jù)特征圖中不同像素位置的貢獻進行特征重組,結(jié)合殘差模塊的設計思想將輸出的結(jié)果與輸入的特征圖進行連接。并且殘差雙注意力機制模塊的注意力機制可對空間、通道的特征進行更有針對性的表達,同時其內(nèi)置的殘差機制可以對路面的特征重復利用,具備更加關(guān)注目標區(qū)域的特點。最后將語義分割網(wǎng)絡中在路面區(qū)域分割任務中表現(xiàn)最好的U-Net網(wǎng)絡與殘差雙注意力機制模塊融合,形成本文提出的U-Net結(jié)合Attention模塊的算法,該算法整體的網(wǎng)絡結(jié)構(gòu)如圖3所示。

圖3 U-Net網(wǎng)絡結(jié)合Attention模塊的圖像分割提取算法結(jié)構(gòu)圖

3.2 基于循環(huán)生成對抗網(wǎng)絡的路面陰影消除

隨著生成對抗網(wǎng)絡的不斷發(fā)展,為了對生成樣本的內(nèi)容進行更加有目的性的約束,不斷有學者提出生成效果更真實的網(wǎng)絡結(jié)構(gòu)CycleGAN[19],相比原始的生成對抗網(wǎng)絡,這種巧妙的網(wǎng)絡結(jié)構(gòu)設計在多項圖像生成任務上都取得了令人滿意的效果。

本文基于循環(huán)生成對抗網(wǎng)絡所構(gòu)建的陰影消除網(wǎng)絡結(jié)構(gòu)包含A、B兩個子網(wǎng)絡模塊,首先將含有陰影的路面圖片經(jīng)過模塊A處理,生成消除陰影覆蓋的路面圖片,將此圖片經(jīng)由模塊B處理,生成含有指定位置的路面陰影圖片,使得兩部分結(jié)構(gòu)形成閉環(huán)回路,整體架構(gòu)如圖4所示。

圖4 網(wǎng)絡整體架構(gòu)圖

整個模型由兩個生成對抗網(wǎng)絡構(gòu)成,其中模塊A實現(xiàn)從含有陰影覆蓋的路面圖片到無陰影路面圖片的轉(zhuǎn)換,它由生成器Gs、生成器Gf和判別器Df構(gòu)成,其模型結(jié)構(gòu)如圖5(a)所示;模塊B實現(xiàn)從無陰影的路面圖片到有陰影路面圖片的轉(zhuǎn)換,它由生成器Gs、生成器Gf和判別器Ds構(gòu)成,其模型結(jié)構(gòu)如圖5(b)所示。

圖5 模塊結(jié)構(gòu)圖

由陰影—無陰影—陰影方向的正向循環(huán)和無陰影—陰影—無陰影方向的反向循環(huán)組合構(gòu)成了模型的整個訓練過程。在正向循環(huán)中一張含有陰影的路面圖片Is與標記出陰影區(qū)域的二值化圖M一起經(jīng)過生成器Gf得到一張重建的無陰影路面圖片Ifg,再與同樣的陰影標記圖片M一起經(jīng)過生成器Gs得到重建的路面陰影圖片Isg。在反向循環(huán)中一張無陰影的正常路面圖片If與標記出陰影區(qū)域的二值化圖M一起經(jīng)過生成器Gs得到一張重建的含指定陰影區(qū)域的路面圖片Isg,再與同樣的陰影標記圖片M一起經(jīng)過生成器Gf得到重建的去除掉陰影的路面圖片Ifg。本文通過循環(huán)一致性約束Is與Isg、If與Ifg盡量接近來間接使得原始圖片與生成器生成的圖片風格保持一致。這樣,就基于非成對陰影路面數(shù)據(jù)實現(xiàn)了網(wǎng)絡中部分內(nèi)容損失的計算,該項損失函數(shù)稱為循環(huán)一致性損失(路面數(shù)據(jù)經(jīng)由正向循環(huán)和反向循環(huán)后與輸入的初始值相比產(chǎn)生的損失值)。循環(huán)一致性損失可以對路面無陰影圖片重建質(zhì)量產(chǎn)生良好的約束作用。

3.3 基于殘差結(jié)構(gòu)的路面狀態(tài)分類器構(gòu)建

傳統(tǒng)卷積網(wǎng)絡為了不斷提升網(wǎng)絡的分類精度,不斷增加卷積層中的濾波器數(shù)目提升輸出通道數(shù)、不斷加深網(wǎng)絡的層數(shù),網(wǎng)絡擬合能力越來越強,但網(wǎng)絡訓練誤差卻也伴隨著通道的加深而變大。實際上,以增加輸出通道數(shù)、堆疊網(wǎng)絡層深度為手段去提升分類精度是無法起到實質(zhì)作用的,相反,隨著網(wǎng)絡深度的加深會在梯度的反向傳播中引起梯度復乘,導致梯度越來越小,直至消失,最后,網(wǎng)絡的訓練誤差也就越來越大。

殘差結(jié)構(gòu)以前饋神經(jīng)網(wǎng)絡為基礎,增加一個跳躍式的連接從而繞過原始結(jié)構(gòu)中的一部分。CNN中殘差模塊的引入改變了網(wǎng)絡整體的學習內(nèi)容,使以往學習一個完整的網(wǎng)絡輸出的情況改為學習網(wǎng)絡輸入與輸出之間的殘差。使用殘差函數(shù)將兩條路徑向整合再交由激活函數(shù)做非線性處理,最后形成一個完整的殘差網(wǎng)絡模塊。由于殘差結(jié)構(gòu)是輸出減去輸入,因此要求輸出與輸入部分的維度相同。殘差網(wǎng)絡中定義輸入端引出支線將上一層網(wǎng)絡的輸出連接到下層網(wǎng)絡中的連接方式為跳躍連接[20]。在一個殘差網(wǎng)絡模塊中,為了增加網(wǎng)絡的非線性表達能力會使得這種跳躍結(jié)構(gòu)跳躍兩層甚至更多層,借此擬合更加復雜的輸出函數(shù)。本文構(gòu)建的路面狀態(tài)分類器所用的殘差結(jié)構(gòu)如圖6所示,由兩個輸出通道數(shù)一致的3×3卷積網(wǎng)絡堆疊而成。

圖6 殘差結(jié)構(gòu)

由殘差神經(jīng)網(wǎng)絡構(gòu)成的路面狀態(tài)分類器,識別不同路面狀態(tài)的輸出類別由其最后的全連接層來完成。全連接層處于網(wǎng)絡整體的尾部,與人工神經(jīng)網(wǎng)絡中的全連接方式相似,這樣可以使得參數(shù)量和總體的計算量相比人工神經(jīng)網(wǎng)絡中的神經(jīng)元減少了許多。全連接層中的神經(jīng)元與其前一層的全部神經(jīng)元相連,全連接層中的神經(jīng)元不同于卷積層中神經(jīng)元權(quán)值相互共享的機制,相互間權(quán)值不等。在殘差結(jié)構(gòu)尾部接入全連接層時會采用點積的方式進行權(quán)值轉(zhuǎn)換并將前面殘差結(jié)構(gòu)輸出的多維向量矩陣轉(zhuǎn)化為單列向量,向量的維度即待分類的路面4種狀態(tài)。通過引入Softmax算法將特征圖像向量轉(zhuǎn)化為不同類別的概率數(shù)值向量。Softmax算法計算的結(jié)果為4種路面狀態(tài)中的最大概率值所對應的類別,也即該路面經(jīng)過分類器所得分類結(jié)果。其計算過程為

(1)

式中:P(y=i|x|)為輸入的待檢測路面x在分類器中判定屬于第i類路面狀態(tài)的概率;k=4,為本文待檢測的4種路面狀態(tài)。最后構(gòu)建的用于訓練路面狀態(tài)數(shù)據(jù)集進行不同狀態(tài)識別的分類器結(jié)構(gòu)如表1所示。

表1 分類器結(jié)構(gòu)

4 實驗結(jié)果與分析

4.1 數(shù)據(jù)集

由于目前并沒有統(tǒng)一公開的應用于不同路面狀態(tài)識別研究的路面數(shù)據(jù)集,針對文獻[1]中所要求的路面狀態(tài)中的干燥、積雪、積水和結(jié)冰4種狀態(tài),構(gòu)建了一套包含上述4種狀態(tài)的路面狀態(tài)數(shù)據(jù)集,樣本圖分別對應圖7(a)干燥路面、圖7(b)積雪路面、圖7(c)積水路面、圖7(d)結(jié)冰路面。參考高清視頻技術(shù)在高速公路監(jiān)控系統(tǒng)中的應用探討標準[21]中監(jiān)控圖像1080P的像素點尺寸,通過在不同路面狀態(tài)下的高速交通監(jiān)控視頻,采取截圖劃分路面小塊及手持相機等方式采集4種路面狀態(tài)樣本共1 876幅、大小為不同路面狀態(tài)下的120像素×120像素的路面區(qū)域小塊,包含不同天氣情況和不同角度下的干燥、積雪、積水和結(jié)冰4種路面。為克服各類別間數(shù)據(jù)不均衡、容易發(fā)生過擬合的問題,利用數(shù)據(jù)增強技術(shù)對原始數(shù)據(jù)集進行擴增。本實驗采取水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、固定角度旋轉(zhuǎn)、平移和隨機高斯噪聲處理5種方式對不同類別的路面狀態(tài)數(shù)據(jù)進行了不定向的數(shù)據(jù)增強處理,增強后的數(shù)據(jù)集的數(shù)據(jù)量為原數(shù)據(jù)集的2倍。經(jīng)過數(shù)據(jù)增強后的數(shù)據(jù)集構(gòu)成如表2所示。

表2 增強后的路面數(shù)據(jù)集

圖7 4種路面狀態(tài)樣本

4.2 實驗結(jié)果與分析

本實驗在Ubuntu18.04操作系統(tǒng)下以PyCharm為操作平臺,基于PyTorch深度學習框架,結(jié)合OpenCV2.4.9進行,編程語言為Python3.6.6。

4.2.1 路面分割結(jié)果與分析

本文通過采用U-Net結(jié)合Attention模塊的圖像分割提取算法進行路面的分割,可以準確地將高速公路路面分割出來,遠遠優(yōu)于傳統(tǒng)的語義分割算法。對高速公路監(jiān)控視頻靜態(tài)背景進行路面區(qū)域分割,結(jié)果如圖8所示,其中圖8(a)、圖8(c)分別為單一路面狀態(tài)、混合路面狀態(tài)的待分割原圖,圖8(b)、圖8(d)依次為應用本文所述方法對其進行分割的結(jié)果。

圖8 基于本文所提方法的路面分割結(jié)果

本文采用像素準確率(Pixel Accuracy,PA)、平均交并比(Mean Intersection over Union,MIoU)作為模型的評價方法和準則,計算公式如式(2)和式(3)所示。利用這兩個準則對本文構(gòu)建的基于注意力機制的語義分割網(wǎng)絡以及其他語義分割網(wǎng)絡的分割效果算法進行評價,分割效果對比如表3所示。

表3 語義分割網(wǎng)絡效果對比

(2)

(3)

在PPA中定義有k+1個類(包括一個空類),pij表示本屬于類i但被預測為類j的像素數(shù)量,pji表示本屬于類j但被預測為類i的像素數(shù)量,pii表示真正的類i的像素數(shù)量。

MIoU為語義分割的標準度量,主要以真實值與預測值兩類集合的交集與并集之比作為衡量數(shù)據(jù)。對每一類預測的結(jié)果的預測值和真實值進行交集和并集計算,再計算交集和并集的比值即交并比,最后根據(jù)類別數(shù)求交并比的平均值。將數(shù)據(jù)集分別通過FCN、原始U-Net和U-Net結(jié)合Attention共3種語義分割網(wǎng)絡經(jīng)上述評價方式進行計算,最后PA與MIoU的統(tǒng)計結(jié)果如表3所示。

對實驗結(jié)果進行分析可知,在U-Net語義分割網(wǎng)絡的基礎上設計加入的殘差注意力機制對實驗結(jié)果有一定的積極作用,與原始U-Net語義分割網(wǎng)絡分割效果相比,PA和MIoU均有所提升,可以實現(xiàn)從高速公路監(jiān)控視頻靜態(tài)背景中對路面區(qū)域的分割,證明了本文所述方法在高速公路路面狀態(tài)檢測任務中具有實際意義。

4.2.2 路面陰影消除結(jié)果與分析

對比應用深度學習進行陰影消除的方法,本文采用均方根誤差(Root Mean Squared Error,RMSE)來對消除陰影后的路面進行評價,其定義為

(4)

式中:SMSE為均方誤差(Mean Squared Error,MSE),計算式為

(5)

式中:I(i,j)與k(i,j)分別為標準圖像的像素點與待評價的陰影消除圖像的像素點;mn為圖像的像素點總和。RMSE值越小,消除陰影的效果越好。

將本文構(gòu)建的陰影消除模型作用于公開數(shù)據(jù)集(主要包括SRD[22]、ISTD[23]),并與其他陰影消除算法進行對比,通過上述評價方式進行計算,統(tǒng)計結(jié)果如表4所示。

表4 不同陰影消除算法對比

本文提出的陰影消除算法對比傳統(tǒng)的陰影消除算法有明顯的優(yōu)勢,圖像質(zhì)量上綜合表現(xiàn)更佳,同時對比基于生成對抗網(wǎng)絡消除陰影的其他陰影消除模型,將本文生成的模型應用于公開的數(shù)據(jù)集,從統(tǒng)計結(jié)果中可知本文基于循環(huán)生成對抗網(wǎng)絡實現(xiàn)的陰影消除方法可以對路面陰影進行有效消除。不同狀態(tài)路面下的實驗結(jié)果如圖9所示。

4.2.3 分類器結(jié)果與分析

在進行訓練參數(shù)設置時,設定每批數(shù)據(jù)量大小為4,學習率為0.001,迭代次數(shù)默認為100次,在訓練過程中加入了Early Stop機制,使得驗證損失在連續(xù)迭代5次后都沒有減小時就停止訓練。在進行網(wǎng)絡層權(quán)重凍結(jié)時,將除最后的用于輸出一層以外所有層的參數(shù)都進行凍結(jié) (即設置參數(shù)不可更新),然后再逐步向前一層解凍,對每次訓練結(jié)果中的最佳準確率進行保存,參照訓練集和測試集的分類準確率作為評估指標,同時將這種部分參數(shù)凍結(jié)的訓練方法應用于不同的卷積神經(jīng)網(wǎng)絡分類模型對分類效果同步進行評估。單類的準確率P和總體準確率Pmacro的計算式為

(6)

(7)

式中:TP(True Positive,真正)為被模型正確分類的正樣本;FP(False Positive,假正)被模型錯誤分類的負樣本;n為4種路面狀態(tài)數(shù)目。在訓練過程中,每迭代1次訓練樣本會檢測1次準確率,并根據(jù)準確率的變化趨勢決定是否進行下次迭代。最終利用新模型在驗證集中檢測準確率。對比實驗分為兩組,第一組對當前學者針對路面狀態(tài)分類問題所用的方法與本文方法進行對比,檢測結(jié)果如表5所示;第二組對本文搭建的殘差神經(jīng)網(wǎng)絡與基于不同的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)分別進行不同層數(shù)的權(quán)重凍結(jié),保留最佳準確率的參數(shù)進行訓練效果對比,主要與分類檢測任務中最流行且效果較好的Inception 3、Vgg19和Vgg16這3個網(wǎng)絡進行檢測效果的對比,檢測結(jié)果如表6所示?？梢姳疚幕跉埐罹W(wǎng)絡結(jié)構(gòu)訓練的路面狀態(tài)分類器分類準確率最高,模型體量最小,并能將最優(yōu)的參數(shù)模型進行保存。

表5 相關(guān)論文所提方法分類準確率

表6 不同卷積神經(jīng)網(wǎng)絡分類準確率

采用本文所訓練的路面狀態(tài)分類器對甘肅省某高速公路路段、吉林省某高速公路路段下的不同路面狀態(tài)進行識別,在經(jīng)由視頻背景提取、路面區(qū)域分割后,依據(jù)模型訓練集中的像素尺寸(120像素×120像素)對路面進行劃分,首先對所劃分不同路面狀態(tài)的小塊數(shù)目進行分類別統(tǒng)計,然后加載模型進行分類,以式(6)所定義的準確率對測試視頻小塊下的分類結(jié)果進行計算,結(jié)果如表7所示。

表7 路面狀態(tài)分類結(jié)果

注:甘肅省某高速路段監(jiān)控視頻,共21段視頻,每段視頻平均時長6 min,分別包含了不同地點的高速公路路面(夏季積水、干燥為主);吉林省某高速路段監(jiān)控視頻,共35段,每段視頻平均時長4 min,分別包含不同地點的高速公路路面(冬季積雪、冰面為主)。

5 結(jié)束語

本文提出的路面區(qū)域分割算法將融合空間注意力機制與通道注意力機制的Attention模塊與U-Net網(wǎng)絡相結(jié)合,增強了應用語義分割模型對路面區(qū)域進行分割的準確性。陰影消除方法在路面陰影檢測的基礎上,將檢測到的陰影二值圖與待消除陰影的路面一起輸入預先訓練好的陰影消除模型,對路面中被陰影覆蓋的區(qū)域進行重建與恢復。路面狀態(tài)分類器基于殘差結(jié)構(gòu)組建,對所構(gòu)建的數(shù)據(jù)集進行訓練以得到最優(yōu)的分類模型,證明了基于殘差結(jié)構(gòu)訓練所得路面狀態(tài)分類器相比其他分類方法而言,分類效果更佳,并使用多種數(shù)據(jù)集和實際高速公路監(jiān)控視頻予以驗證。