亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于改進Mask RCNN的道路信息檢測算法

        2022-07-06 07:14:36范博森左云波徐小力王林楓
        關(guān)鍵詞:特征提取卷積精度

        范博森,左云波,徐小力,王林楓

        (北京信息科技大學 機電工程學院,北京 100192)

        0 引言

        道路信息涵蓋車輛、路坑、交通指示牌、車道線等信息。近年來隨著行車道數(shù)量的持續(xù)增加,如何有效收集道路信息的問題日益突出。憑借人力以肉眼觀測記錄道路信息所需時間久、任務(wù)難度高、時效性差,還容易出現(xiàn)漏檢、錯檢,于是,人們開始利用傳統(tǒng)圖像處理方法完成道路信息檢測任務(wù)。文獻[1]中對圖像進行顏色空間表示轉(zhuǎn)換和形態(tài)學運算的預(yù)處理,通過多藍色直方圖和最小二乘特征匹配法完成對交通指示牌的檢測;文獻[2]提出了一種基于局部紋理特征的結(jié)構(gòu)保持型Retinex算法用于檢測路面裂縫,減小了光照和陰影對檢測帶來的影響;文獻[3]提出了一種基于改進霍夫變換的Canny算法用于檢測車道線,改善了惡劣天氣下檢測精度差的問題。但是傳統(tǒng)圖像處理方法大多魯棒性較差、計算時間過長、泛化能力和精準度都達不到要求[4]。

        如今深度學習算法嶄露頭角,并在目標檢測領(lǐng)域展現(xiàn)出了較傳統(tǒng)圖像處理方法精度更高、速度更快的優(yōu)勢。文獻[5]將更快卷積神經(jīng)網(wǎng)絡(luò)(faster region convolutional network,Faster RCNN)算法應(yīng)用于道路車輛檢測,檢測精度高于傳統(tǒng)圖像處理方法;文獻[6]將基于VGG16改進的Faster RCNN算法應(yīng)用于路面裂縫檢測,提高了檢測準確率和定位精度;文獻[7]將基于ResNet101改進的Faster RCNN算法用于小目標車輛檢測,提高了檢測平均精度以及小目標車輛的檢測性能。基于深度學習的道路信息檢測算法與傳統(tǒng)圖像處理方法相比性能更好[8]。

        He等[9]提出的掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(mask region convolutional network,Mask RCNN)算法從Faster RCNN派生而來,使用ROIAlign層代替ROIPooling層減小量化誤差,添加了掩碼任務(wù)分支實現(xiàn)了目標的實例分割,提高了檢測任務(wù)精度,提升了小目標檢測性能。文獻[10]將基于ResNet50/101的Mask RCNN算法應(yīng)用于路面缺陷檢測,該算法在精確率和檢測速度上較Faster RCNN算法有明顯提升。但是基于Mask RCNN算法的道路信息檢測仍然存在著檢測速度較慢,對特征不明顯的小目標檢測效果較差等問題[11]。

        本文以基于ResNet50/101特征提網(wǎng)絡(luò)的Mask RCNN算法為基礎(chǔ),使用深度可分離卷積(depthwise separable convolution,DSC)替換普通卷積,減少網(wǎng)絡(luò)參數(shù)量與模型計算量,提高算法檢測速度;在特征提取網(wǎng)絡(luò)中引入卷積注意力模塊(convolutional block attention module,CBAM)提高網(wǎng)絡(luò)對目標的專注度,提升特征提取質(zhì)量;并使用雙向特征金字塔網(wǎng)絡(luò)(bidirectional feature pyramid network,Bi-FPN)替換原有特征金字塔網(wǎng)絡(luò)(feature pyramid network,F(xiàn)PN)作為算法的特征融合網(wǎng)絡(luò),豐富特征圖包含的語義信息;在PASCAL-VOC2012公開數(shù)據(jù)集上完成模型的預(yù)訓(xùn)練,提高模型的擬合力;針對自制道路信息數(shù)據(jù)集完成模型最終訓(xùn)練。實驗表明,本文改進的算法較原算法在精確率、召回率以及檢測幀頻上有明顯提升。

        1 改進的Mask RCNN算法

        Mask RCNN算法應(yīng)用于道路信息檢測中檢測速度慢、檢測精度低,對尺寸小于32×32像素的小目標車輛、指示牌等目標檢測效果差。本文引入DSC、CBAM與Bi-FPN對原算法進行改進。

        1.1 基于DSC的改進

        道路信息檢測模型的檢測速度由算法結(jié)構(gòu)直接決定。Mask RCNN算法結(jié)構(gòu)如圖1所示,主要由特征提取網(wǎng)絡(luò)、特征融合網(wǎng)絡(luò)、區(qū)域候選網(wǎng)絡(luò)等組成。其中特征提取網(wǎng)絡(luò)的卷積計算開銷占據(jù)了大部分模型整體計算量[12]。本文選擇ResNet50/101作為Mask RCNN算法的特征提取網(wǎng)絡(luò)。

        圖1 Mask RCNN算法結(jié)構(gòu)

        如表1所示為ResNet50/101網(wǎng)絡(luò)配置。ResNet50/101構(gòu)建了深層殘差網(wǎng)絡(luò)結(jié)構(gòu),保證了網(wǎng)絡(luò)深度對模型擬合度提高的同時又不會因?qū)訑?shù)過深而導(dǎo)致模型退化[13]。其中殘差結(jié)構(gòu)可以在一定程度上降低網(wǎng)絡(luò)的參數(shù)量與計算量,避免冗雜的計算增加模型的檢測速度。但是ResNet50/101使用大量的普通卷積依舊會導(dǎo)致檢測速度緩慢[14]。

        表1 ResNet50/101網(wǎng)絡(luò)配置

        為了提高模型的檢測速度,本文采用DSC代替ResNet50/101網(wǎng)絡(luò)中原有的普通卷積。DSC原理如圖2所示。其將普通卷積操作分解成兩步完成,第一步采用數(shù)量為M、通道數(shù)為1的一組卷積核分別對輸入特征圖的每個通道進行卷積操作,其中M與輸入特征圖通道數(shù)一致。對得到的特征圖再通過數(shù)量為N、尺寸為1×1、通道數(shù)為M的一組卷積核進行卷積操作,其中N與原卷積數(shù)量一致。DSC保留了普通卷積對特征圖進行基于空間和通道角度特征提取操作的同時,采用分步計算的方式降低了網(wǎng)絡(luò)中的參數(shù)量與計算量。并且保證了在替換后不改變原輸出特征圖的尺寸與通道數(shù),無需對網(wǎng)絡(luò)做其他更改。

        圖2 DSC原理示意

        普通卷積層總體參數(shù)量為

        PN=DK×DK×N×M

        (1)

        式中DK×DK為普通卷積核尺寸。

        普通卷積層總體計算量為

        CN=DK×DK×N×M×DF×DF

        (2)

        式中DF×DF為輸入特征圖的尺寸。

        DSC層的總體參數(shù)量為

        PD=DK×DK×M×N×M×1×1

        (3)

        DSC層的總體計算量為

        CD=DK×DK×M+N×M×DF×DF

        (4)

        DSC層總體計算量與普通卷積層總體計算量的比值為

        (5)

        在ResNet50/101卷積層中,N∈{64,128,256,512,1 024,2 048},DF∈{14,28,56,128},DK∈{1,3}。且ResNet50/101中使用大量卷積層,采用DSC可以大量減少模型的計算量,從而提高道路信息檢測速度。

        1.2 基于CBAM的改進

        道路信息檢測模型的檢測精度由ResNet50/101的特征提取質(zhì)量直接決定。在檢測任務(wù)中,目標的類別與其在各個通道上的表達效果以及在圖片中存在的位置具有關(guān)聯(lián)性。在特征提取過程中充分利用空間關(guān)聯(lián)性與通道關(guān)聯(lián)性可以有效增強目標特征的表達能力,抑制無效特征的表達。本文在ResNet50/101中引入CBAM提高檢測模型對目標的通道注意力與空間注意力。

        CBAM由通道注意力模塊(channel attention module,CAM)與空間注意力模塊(spatial attention module,SAM)組成。CAM結(jié)構(gòu)如圖3所示,輸入的特征圖并行經(jīng)過基于空間的平均池化與最大池化處理,得到尺寸為1×1、通道數(shù)不變的兩個包含通道信息的特征圖;接著兩個特征圖并行輸入共享網(wǎng)絡(luò)隱藏層多層感知器(multi-layer perceptron,MLP),通過元素對應(yīng)的方式相加;最后通過激活函數(shù)得到通道注意力特征圖,將其與原輸入特征圖元素對應(yīng)相乘得到最終特征圖輸出。

        圖3 CAM結(jié)構(gòu)示意

        通道注意力特征圖計算過程為:

        (6)

        SAM結(jié)構(gòu)如圖4所示,輸入的特征圖同時并行經(jīng)過基于通道的平均池化與最大池化處理,得到尺寸不變、通道數(shù)為1的兩個包含空間信息的特征圖;接著將兩個特征圖進行通道拼接,通過卷積與激活函數(shù)得到空間特征圖MS,將其與原輸入特征圖元素對應(yīng)相乘得到最終特征圖輸出。

        圖4 SAM結(jié)構(gòu)示意

        空間注意力特征圖計算過程為:

        (7)

        ResNet50/101+CBAM結(jié)構(gòu)如圖5所示,本文將CBAM模型放置在各個殘差塊之間,使得模型特征提取注意力時刻集中在道路信息目標上,提高特征提取的質(zhì)量,從而提高道路信息檢測模型的精度。

        圖5 ResNet+CBAM結(jié)構(gòu)示意

        1.3 基于Bi-FPN的改進

        道路信息檢測任務(wù)中存在檢測諸如遠方車輛、指示牌等小目標。Mask RCNN算法通過特征金字塔網(wǎng)絡(luò)(FPN)對不同尺度的特征圖進行特征融合,提高小目標的檢測性能。

        FPN原理如圖6所示。C1~C5為ResNet50/101自底向上提取出的特征圖。FPN使用橫向連接結(jié)構(gòu),采取最鄰近法,按照從深到淺的順序?qū)ι顚犹卣鲌D上采樣將其尺寸變?yōu)榕c下一淺層特征圖相同,對淺層特征圖通過1×1卷積將其通道數(shù)變?yōu)榕c上一深層特征圖相同。兩者直接相加后通過3×3卷積消除混疊效應(yīng),最終得到融合后的P2~P6特征圖,其中P6由P5降采樣。FPN提升了對小目標的檢測性能,但是其未能充分利用淺層特征圖包含的位置信息,依舊會導(dǎo)致道路信息檢測中出現(xiàn)小目標的漏檢、錯檢。

        圖6 FPN原理示意

        本文引入Bi-FPN替換FPN作為Mask RCNN算法的特征融合網(wǎng)絡(luò),提升道路信息檢測模型對小目標的檢測性能。Bi-FPN原理如圖7所示。

        圖7 Bi-FPN原理示意

        Bi-FPN在FPN的基礎(chǔ)上得到特征圖B4、B3、P2和P6。添加一條從淺到深的路徑,通過對淺層特征圖進行最大池化與上一深層特征圖相加得到特征圖P3、P4和P5。Bi-FPN可以使得深層淺層特征充分融合,得到的特征圖帶有豐富的語義信息和位置信息,除此之外Bi-FPN在每次特征融合操作中為每個輸入特征圖賦予可訓(xùn)練的權(quán)重,使得模型可以針對不同特征的重要性進行學習,提高特征融合質(zhì)量,增加模型的檢測精度。

        2 實驗

        2.1 實驗數(shù)據(jù)集

        本文實驗?zāi)P陀?xùn)練基于PASCAL-VOC2012公開數(shù)據(jù)集與自制道路信息數(shù)據(jù)集。

        在深度學習算法模型進行訓(xùn)練時,一般給模型設(shè)置隨機網(wǎng)絡(luò)參數(shù)從頭訓(xùn)練,為了提升模型學習能力,所需數(shù)據(jù)集要求數(shù)量龐大且特征豐富[15],但是目前并沒有符合條件的公開道路信息數(shù)據(jù)集。本文借鑒遷移學習的思想,通過利用優(yōu)質(zhì)數(shù)據(jù)集對道路信息模型進行預(yù)訓(xùn)練,增強網(wǎng)絡(luò)對多種特征的學習能力。本文選取PASCAL-VOC2012公開數(shù)據(jù)集對模型進行預(yù)訓(xùn)練,其中包含20類目標共15 000多張圖片,經(jīng)常被用作深度學習的預(yù)訓(xùn)練數(shù)據(jù)集。共選取10 000張圖片作為預(yù)訓(xùn)練數(shù)據(jù)集,其中8 000張作為訓(xùn)練集、1 000張作為驗證集、1 000張作為測試集。

        本文從行車記錄儀中收集道路信息,為提高道路信息的豐富度,選取不同路段、不同光照、不同道路類型的行車記錄儀視頻進行圖片截取自制道路信息數(shù)據(jù)集。數(shù)據(jù)集包含圖片2 000張,其中1 600張作為訓(xùn)練集,200張作為驗證集,200張作為測試集。

        2.2 實驗環(huán)境與參數(shù)設(shè)置

        本文模型的訓(xùn)練在Ubuntu18.04操作系統(tǒng)中完成,處理器選擇Intel(R) Core(TM) i5-8500 CPU @ 3.00 GHz,顯卡選擇16 GB內(nèi)存的 GTX 1080 Ti。模型的測試在Win10操作系統(tǒng)中完成,處理器選擇Intel(R) Core(TM) i7-10870H CPU @ 2.20 GHz。使用開源keras和tensorflow深度學習庫搭建模型框架。

        設(shè)置輸入圖片分辨率為1 280×720像素,模型預(yù)訓(xùn)練100輪次,每輪訓(xùn)練1 000次,模型正式訓(xùn)練120輪次,每輪訓(xùn)練1 000次。其中學習率設(shè)置為0.001,權(quán)衰減系數(shù)設(shè)置為0.000 1,學習動量設(shè)置為0.9。

        2.3 實驗數(shù)據(jù)分析

        2.3.1 網(wǎng)絡(luò)損失

        道路信息檢測模型的網(wǎng)絡(luò)訓(xùn)練損失函數(shù)收斂曲線如圖8所示,圖中損失函數(shù)曲線由上至下依次為基于ResNet50的原Faster RCNN算法、改進后Faster RCNN算法、基于ResNet50的原Mask RCNN算法、基于ResNet50的改進后Mask RCNN算法、基于ResNet101的原Mask RCNN算法以及基于ResNet101的改進后Mask RCNN算法。可以看出6個模型在迭代100~110輪次后損失達到收斂,證明了網(wǎng)絡(luò)訓(xùn)練效果良好。

        圖8 損失函數(shù)收斂曲線

        2.3.2 評價指標

        本文選擇平均精度均值(mean average precision,mAP)、召回率(Recall)和幀率(frames per second,F(xiàn)PS)用來衡量算法性能。平均精度均值為:

        (8)

        式中:m為類別總數(shù);RAP為平均精度:

        (9)

        式中:NH為包含類別H的圖片總數(shù);RH為類別H的精確率:

        (10)

        式中:NTH為對H類預(yù)測正確的數(shù)量;NFH為對H類預(yù)測錯誤的數(shù)量。

        召回率為

        (11)

        式中,NNH為包含類別H的所有圖片中未正確檢測出來的數(shù)量。

        幀率為

        (12)

        式中:Ti為第i張圖片檢測所需要的時間(ms),將其設(shè)定為從模型讀取圖片至模型得出結(jié)果所經(jīng)歷的時間;n為用作測試的圖片總數(shù)。

        2.3.3 模型測試

        從自制道路信息檢測數(shù)據(jù)集的測試集中選取100張圖片輸入模型進行測試,計算結(jié)果如表2所示,對全部樣本計算其mAP、Recall和FPS三項指標。

        表2 模型測試計算結(jié)果

        表中MR代表算法基礎(chǔ)為Mask RCNN;FR代表算法基礎(chǔ)為Faster RCNN;50代表特征提取網(wǎng)絡(luò)采用ResNet50;101代表特征提取網(wǎng)絡(luò)采用ResNet101??梢钥闯鼋?jīng)過本文改進后的算法模型的3項指標較原算法都有明顯提升。當特征提取網(wǎng)絡(luò)選擇相同時,Mask RCNN比Faster RCNN檢測精度更高但檢測速度更慢。當算法基礎(chǔ)相同時,采用ResNet101比采用ResNet50精度更高。全面考慮檢測精度與檢測速度指標時,改進后采用ResNet50的Mask RCNN算法模型綜合性能最佳。

        改進后的基于ResNet50的Mask RCNN算法部分圖片檢測時間如表3所示,檢測幀率為24.8幀/s。

        表3 檢測幀率結(jié)果

        2.3.4 檢測效果

        基于自制數(shù)據(jù)集測試集對6個模型進行實際效果圖測試,部分檢測效果圖如圖9所示。從圖9(a)、(b)可看出,改進后基于ResNet101的Mask RCNN算法可以檢測出原算法無法檢測出的指示牌。從圖9(b)、(d)、(f)可看出,原Mask RCNN算法與原Faster RCNN算法對小目標的檢測效果不佳,存在漏檢的現(xiàn)象,且對目標的定位偏差較大。圖片中存在多個目標時,檢測性能變差,漏檢現(xiàn)象較為明顯。從圖9(a)、(c)、(e)可以看出,采用本文方法改進后的模型對于小目標檢測效果變得更好,同時在有多個目標存在時,性能穩(wěn)定。檢測總體效果與評價指標的測試結(jié)果相吻合,證明了本文改進方法可以提高算法模型的檢測精度與小目標檢測性能。

        圖9 分割結(jié)果檢測對比圖

        2.3.5 消融實驗

        本文針對基于ResNet50的Mask RCNN算法,設(shè)計如表4所示的對比實驗驗證各改進方法的有效性。表中√代表算法采用對應(yīng)的改進方法,×代表算法未采用對應(yīng)的改進方法。

        表4 對比實驗設(shè)計

        基于自制道路信息數(shù)據(jù)集測試集分別對每個實驗進行測試,計算出各實驗對比結(jié)果如表5所示。從表中可以看出,算法的特征提取網(wǎng)絡(luò)使用DSC明顯提高了模型的PFPS,略微降低了模型的RmAP與RRecall。分析其原因為,DSC減少了模型的參數(shù)量與計算量,提升了模型的檢測速度,但同時會略微削弱模型的表達能力,些許影響模型檢測精度。算法的特征提取網(wǎng)絡(luò)使用CBAM明顯提高了模型的RmAP與RRecall,略微降低了模型的PFPS。分析其原因為,CBAM強化了模型對目標的注意力,減少了冗余特征的表達,提升了模型的檢測精度,但由于其放置于各個殘差塊之間,會增加些許計算量,影響模型的檢測速度。算法使用Bi-FPN作為特征提取網(wǎng)絡(luò)的總體效果與算法使用CBAM大致相同,但是其對RmAP與RRecall的提升相對較小,對PFPS的影響也更小。分析其原因為,Bi-FPN增強了融和后的特征圖中語義信息與位置信息的豐富度,主要提高了模型對小目標的檢測精度。但其相較于原FPN增加了些許計算量會略微降低模型檢測速度??梢缘贸霰疚牡母倪M算法較原算法檢測精度更高、檢測速度更快。

        表5 對比實驗結(jié)果

        3 結(jié)束語

        本文基于Mask RCNN對道路信息檢測算法進行優(yōu)化。在特征提取網(wǎng)絡(luò)中使用DSC提高模型檢測速度,引入CBAM提高模型的檢測精度,采用Bi-FPN作為特征融合網(wǎng)絡(luò),提升模型對小尺度目標的檢測效果。經(jīng)過消融實驗驗證了本文各改進方法的有效性。基于ResNet50的Mask RCNN算法經(jīng)過本文方法改進后,平均精度均值達到95.2%,較原算法提高了4.5%,檢測幀率達到24.8幀/s,較原算法提高了8.3幀/s,且對指示牌等小目標檢測性能較好,證明本文改進方法能夠有效提升模型的綜合性能。

        猜你喜歡
        特征提取卷積精度
        基于3D-Winograd的快速卷積算法設(shè)計及FPGA實現(xiàn)
        從濾波器理解卷積
        電子制作(2019年11期)2019-07-04 00:34:38
        基于Daubechies(dbN)的飛行器音頻特征提取
        電子制作(2018年19期)2018-11-14 02:37:08
        基于DSPIC33F微處理器的采集精度的提高
        電子制作(2018年11期)2018-08-04 03:25:38
        基于傅里葉域卷積表示的目標跟蹤算法
        Bagging RCSP腦電特征提取算法
        GPS/GLONASS/BDS組合PPP精度分析
        改進的Goldschmidt雙精度浮點除法器
        基于MED和循環(huán)域解調(diào)的多故障特征提取
        一種基于卷積神經(jīng)網(wǎng)絡(luò)的性別識別方法
        亚洲avav天堂av在线网爱情| 国产一区二区不卡av| 免费国产黄线在线播放| 自拍偷拍一区二区三区四区| 国产精品国产三级国产专播下| 久久久久国产综合av天堂| 狠狠色噜噜狠狠狠狠米奇777| 日本色噜噜| 国产成人精品三上悠亚久久 | 久久综合九色综合网站| 产国语一级特黄aa大片| 琪琪av一区二区三区| 亚洲日本国产精品久久| 亚洲国产精品ⅴa在线观看| 日韩专区欧美专区| 亚洲美女av二区在线观看| 桃红色精品国产亚洲av| 米奇影音777第四色| 久久久久中文字幕无码少妇| 一道本中文字幕在线播放| 中文字幕亚洲精品一区二区三区 | 九九久久精品国产| 麻豆av一区二区天堂| 成人在线观看视频免费播放| 日韩经典午夜福利发布| 精品999日本久久久影院| 日韩在线免费| 日韩av中文字幕一卡二卡| 国产精品视频亚洲二区| 国产福利一区二区三区在线观看 | 日本一区二区三区中文字幕最新| 国产精品高清国产三级国产av| 国产成人精品999视频| 日产精品久久久久久久| 亚洲乱码中文字幕综合| 人妖av手机在线观看| 国产av人人夜夜澡人人爽麻豆| 青青草视频华人绿色在线| 美女视频黄a视频全免费网站色| 91九色老熟女免费资源| 久久人人爽人人爽人人av|