亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        改進(jìn)SSD的交通標(biāo)志目標(biāo)檢測算法

        2020-06-22 13:15:56肖丹東陳勁杰
        軟件導(dǎo)刊 2020年5期
        關(guān)鍵詞:交通標(biāo)志

        肖丹東 陳勁杰

        摘 要:以Faster R-CNN為代表的two-stage目標(biāo)檢測算法檢測速度慢,而one-stage目標(biāo)檢測算法中的SSD算法雖然檢測速度快,但對交通標(biāo)志類小目標(biāo)的檢測效果不佳。因此在SSD算法VGG16骨干網(wǎng)絡(luò)上引入感受野塊(RFB)結(jié)構(gòu),既提升檢測速度又可在小目標(biāo)檢測上達(dá)到良好的檢測精度。與此同時(shí),為提高網(wǎng)絡(luò)分類精度,在損失函數(shù)中加入中心損失。將SSD算法與改進(jìn)的SSD算法在VOC數(shù)據(jù)集上進(jìn)行訓(xùn)練,對比其性能可知,改進(jìn)后算法mPA值達(dá)到80.7%,相比SSD300(VGG16)算法提高了3.5%。該算法在LISA traffic sign數(shù)據(jù)集上訓(xùn)練,在遷移學(xué)習(xí)的基礎(chǔ)上得到的mPA值為78.4%,檢測單張圖像平均耗時(shí)為20.5ms,可滿足實(shí)時(shí)性要求。

        關(guān)鍵詞:交通標(biāo)志;小目標(biāo)檢測;RFB結(jié)構(gòu);中心損失

        DOI:10. 11907/rjdk. 191977 開放科學(xué)(資源服務(wù))標(biāo)識(shí)碼(OSID):

        中圖分類號(hào):TP312文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1672-7800(2020)005-0048-04

        0 引言

        交通標(biāo)志信息是交通場景中的重要環(huán)境信息,是保證先進(jìn)駕駛輔助系統(tǒng)(Advanced Driver Assistant System, ADAS)正常運(yùn)行的必要條件。目前基于計(jì)算機(jī)視覺的目標(biāo)檢測算法可部分滿足場景信息檢測需求[1],但在實(shí)際應(yīng)用中還存在一些缺陷?;贠penCV的目標(biāo)檢測方法,如HOG(histogram of oriented gradient)、SIEF(scale-invariant feature transform)等方法使用人工設(shè)定先驗(yàn)條件的方式進(jìn)行檢測,導(dǎo)致算法魯棒性差,難以適應(yīng)交通標(biāo)志類復(fù)雜的交通場景檢測;如果算法應(yīng)用到大范圍的智能化作業(yè),不僅算法耗時(shí)、監(jiān)管人力消耗較大,同時(shí)算法實(shí)時(shí)性指標(biāo)也難以滿足[2]。

        近年來,CNN網(wǎng)絡(luò)在ImagNet中表現(xiàn)卓越,基于深度學(xué)習(xí)的目標(biāo)檢測方法在圖像目標(biāo)檢測領(lǐng)域成為應(yīng)用熱點(diǎn),相比基于OpenCV的目標(biāo)檢測方法,基于CNN網(wǎng)絡(luò)的算法模型可檢測到圖像不同深度的特征,且可自主學(xué)習(xí),獲得更豐富的特征。在基于深度學(xué)習(xí)的目標(biāo)檢測領(lǐng)域有兩種類型的算法,一種是以Fast R-CNN、Faster R-CNN、R-FCN為代表的two-stage卷積神經(jīng)網(wǎng)絡(luò)算法[3-4];另一種是以YOLO、SSD、Retina-Net為代表的one-stage卷積神經(jīng)網(wǎng)絡(luò)算法[5-7]。這兩類算法各有優(yōu)劣,one-stage算法模型在檢測效率上更有優(yōu)勢,考慮到交通標(biāo)志目標(biāo)檢測實(shí)時(shí)性要求,SSD算法更貼合需求。但交通標(biāo)志目標(biāo)檢測屬于小目標(biāo)檢測,SSD算法在該類檢測中的檢測精度較差,小目標(biāo)特征信息主要依賴于網(wǎng)絡(luò)高層特征信息,因此本文選擇在SSD算法網(wǎng)絡(luò)高層特征提取過程中進(jìn)行改進(jìn)。

        綜上所述,本文在高層特征的提取過程中,參照RFB結(jié)構(gòu),通過RFB感受野提取卷積層輸出的Feature Map特征,從而減少特征損失[8]。與此同時(shí),為提高網(wǎng)絡(luò)分類精度,在損失函數(shù)中添加Center Loss損失項(xiàng)[9]。

        1 改進(jìn)SSD算法

        1.1 SSD算法

        SSD算法作為one-stage算法中的代表,是目前主流的目標(biāo)檢測框架之一[10]。SSD網(wǎng)絡(luò)骨干是VGG16,修改的部分是將VGG16全連接層fc6和fc7轉(zhuǎn)換成[3×3]的卷積層conv6和[1×1]的卷積層conv7,同時(shí)為減小特征圖大小,將池化層pool5中stride=2的[2×2]卷積核改成stride=1的[3×3]卷積核,然后刪除VGG16網(wǎng)絡(luò)中的dropout層和fc8層,在此基礎(chǔ)上增加輔助卷積層,處理fine-tuning工作[11]。

        SSD算法通過淺層CNN網(wǎng)絡(luò)提取多尺度特征,進(jìn)而對目標(biāo)進(jìn)行檢測,其核心設(shè)計(jì)理念分為兩點(diǎn):

        (1)使用卷積后的特征作為檢測。相較于YOLO最后采用全連接層作為網(wǎng)絡(luò)預(yù)測輸出,SSD直接提取不同尺度的Feature Map,然后卷積輸出預(yù)測結(jié)果。這樣,對于形狀為[m×n×p]的Feature Map僅需[3×3×p]的小卷積核即可得到預(yù)測結(jié)果,減少計(jì)算量。

        (2)設(shè)置先驗(yàn)框。SSD在預(yù)測多個(gè)bounding box時(shí),區(qū)別于YOLO在訓(xùn)練過程中自適應(yīng)目標(biāo)的形狀,參照Faster R-CNN中的anchor,設(shè)置長寬比不同的先驗(yàn)框,從而減少訓(xùn)練難度[12]。

        SSD算法在訓(xùn)練過程中,因?yàn)槟繕?biāo)檢測需得到兩類信息,分別是目標(biāo)位置信息和目標(biāo)分類信息,所以損失函數(shù)針對位置誤差(Locatization Loss,loc)與置信度誤差(Confidengce Loss,conf)這兩類進(jìn)行計(jì)算回歸[13]。Loss函數(shù)是這兩類誤差函數(shù)的加權(quán)和:

        1.2 SSD算法改進(jìn)

        SSD算法采用多尺度預(yù)測的觀念,在特征提取上有所改進(jìn),但是在構(gòu)建多尺度特征圖時(shí)使用VGG16網(wǎng)絡(luò)的conv4_3卷積層作為特征提取,對Input圖像進(jìn)行縮放,因此大小為[32×32]的小目標(biāo)物體圖像在conv5_3卷積層中的Feature Map上只有[2×2],位置信息損失較大。交通場景中的交通標(biāo)志屬于小目標(biāo),所以SSD算法對該類目標(biāo)檢測時(shí)會(huì)出現(xiàn)目標(biāo)特征信息丟失的情況。針對在conv4_3和conv5_3卷積層特征部分丟失的問題,對SSD算法從兩方面進(jìn)行改進(jìn):①VGG16網(wǎng)絡(luò)中引入感受野塊(Receptive Field Block,RFB),在conv4_3和conv5_3的特征提取和后續(xù)的特征傳遞中作出修改;②考慮到交通標(biāo)志小目標(biāo)的特征信息較少,所以在損失函數(shù)中添加Center Loss損失項(xiàng),改善網(wǎng)絡(luò)類別置信度預(yù)測[14]。

        1.2.1 RFB結(jié)構(gòu)

        RFB結(jié)構(gòu)從生物學(xué)角度,根據(jù)生物視覺成像原理,模擬不同大小的感受野。RFB結(jié)構(gòu)是以Inception為基礎(chǔ),具體演變過程是Inception、Aspp和Deformable conv。

        Inception主要采用3×3conv、9×9conv和15×15conv等不同尺寸卷積核的卷積層構(gòu)成多分支結(jié)構(gòu),從而擴(kuò)大感受野。

        Aspp在網(wǎng)絡(luò)中構(gòu)成多分支結(jié)構(gòu),在卷積核大小不變的同時(shí)改變每個(gè)分支卷積核的rate大小,從而擴(kuò)大感受野維度。

        Deformable conv來自Deeplab,膨脹卷積可在保持參數(shù)不變和感受野大小一致時(shí),獲得更高分辨率特征[15]。

        RFB綜合了以上幾種結(jié)構(gòu)的理念,主要結(jié)構(gòu)參照Inception模型。具體流程是由Previous layer傳入Input圖像,先分別經(jīng)過2個(gè)1×1conv,輸出的Feature Map一部分分別經(jīng)過1×1conv、3×3conv、5×5conv,然后再對應(yīng)經(jīng)過rate=1的2×2conv、rate=3的3×3conv、rate=5的3×3conv,最后融合由layer傳出的特征,經(jīng)過1×1conv,把shortcut的1×1conv特征融合,通過激活函數(shù)Relu給出預(yù)測結(jié)果??梢钥闯鯮FB核心采集不同感受野的特征,然后通過膨脹卷積和rate的方式進(jìn)一步擴(kuò)大感受野,接著考慮過程中的信息損失,將最后和最初的特征進(jìn)行融合,在盡可能豐富特征信息的同時(shí)保證特征信息不會(huì)丟失。

        RFB結(jié)構(gòu)在網(wǎng)絡(luò)中在conv4_3和conv7_fc的特征提取中替代原有方式,如圖1所示。

        改進(jìn)部分將conv4_3和conv7_fc卷積層提取特征換成RFB模塊,同時(shí)把Extra layers中卷積層前兩層也替換成RFB結(jié)構(gòu)。在特征提取過程中,conv4_3和conv7_fc的Feature Map在RFB結(jié)構(gòu)中把特征信息小目標(biāo)部分的特征放大,然后將多階段的放大特征與原特征融合,再處理骨干網(wǎng)絡(luò)各個(gè)階段特征,最后進(jìn)行分類和定位預(yù)測。

        1.2.2 Center Loss部分

        原SSD算法是對每一個(gè)Default生成一個(gè)4維Localization向量和一個(gè)Object_number維度的分類向量。為了更好地識(shí)別和分類,引入Center feature,它可以讓每個(gè)Default box進(jìn)行中心點(diǎn)回歸。不同類別的中心點(diǎn)相隔較遠(yuǎn),相同類別的中心點(diǎn)靠近。

        通過在SSD算法的前向傳播和后向傳播過程中計(jì)算center部分的loss梯度,得出loss極值情況,然后和SSD算法的原loss部分結(jié)合,得出置信度分類預(yù)測。

        2 實(shí)驗(yàn)分析

        2.1 實(shí)驗(yàn)平臺(tái)與數(shù)據(jù)

        實(shí)驗(yàn)電腦硬件采用戴爾工作站,配備NVIDIA 1080Ti作為GPU加速卡。操作系統(tǒng)為Ubuntu16.04,深度學(xué)習(xí)框架選擇Tensorflow。

        為驗(yàn)證改進(jìn)SSD算法在目標(biāo)檢測中的效果,首先使用VOC2007與VOC2012混合數(shù)據(jù)對模型進(jìn)行評估。VOC2007和VOC2012數(shù)據(jù)集包含1 674張圖片,可用于訓(xùn)練和驗(yàn)證。通過訓(xùn)練結(jié)果測試調(diào)整算法超參數(shù),在算法收斂速度和精度上可獲得優(yōu)化[16]。在此基礎(chǔ)上,使用遷移學(xué)習(xí)的方法,在LISA Traffic Sign數(shù)據(jù)集上進(jìn)行訓(xùn)練,得到最后模型的weight文件。

        2.2 算法訓(xùn)練分析

        首先是數(shù)據(jù)集預(yù)處理,為保證算法魯棒性,將圖片進(jìn)行隨機(jī)旋轉(zhuǎn),對稱映像,然后增加圖片對比度。算法初始學(xué)習(xí)率設(shè)定為0.004,后續(xù)學(xué)習(xí)率變化如公式(8)所示。

        然后在VOC2007和VOC2012數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練,bitch_size設(shè)為16,epoch設(shè)為50次。其中參數(shù)momentum和weight decay分別設(shè)為0.9和0.000 5。模型訓(xùn)練結(jié)果精度使用平均準(zhǔn)確率均值(mAP)作為評價(jià)標(biāo)準(zhǔn)[17]。在交通標(biāo)志目標(biāo)檢測中每個(gè)類別均可根據(jù)召回率(recall)和準(zhǔn)確率(precision)組合成一條曲線,而mAP是多個(gè)類別AP的平均值。

        使用Tensorflow中tensorboard工具動(dòng)態(tài)對比觀察每個(gè)Feature Map給出的loss變化情況,觀察loss收斂情況。

        2.3 實(shí)驗(yàn)結(jié)果分析

        在服務(wù)器上根據(jù)VOC數(shù)據(jù)集進(jìn)行訓(xùn)練,然后采集前16個(gè)epoch的feature Map loss情況,觀察函數(shù)曲線收斂情況,如圖2所示。

        從圖2中可以看出算法val_loss從feature_1到feature_4處于收斂狀態(tài),而在feature_5中l(wèi)oss出現(xiàn)震蕩,從加權(quán)l(xiāng)oss和pixel_error看出整體上算法處于收斂狀態(tài),改進(jìn)的算法在損失函數(shù)上表現(xiàn)良好。

        同時(shí)將改進(jìn)的SSD算法在數(shù)據(jù)集上的表現(xiàn)與SSD算法、one-stage典型算法、two-stage典型算法相比較(見表1),可看出改進(jìn)算法在mAP、FPS上均有提高,檢測效果雖沒有大的提升,但是在小目標(biāo)場景下檢測效果沒有下降,同時(shí)在FPS指標(biāo)上效果明顯,實(shí)時(shí)性有較大提高。

        從圖3中可以看出,無論對于近景還是遠(yuǎn)景、單個(gè)交通標(biāo)志或多個(gè)交通標(biāo)志,改進(jìn)后的SSD算法均能準(zhǔn)確定位和識(shí)別場景中的標(biāo)志,證明該算法達(dá)到預(yù)期檢測效果。

        3 結(jié)語

        本文對SSD算法進(jìn)行改進(jìn),一方面保留了原網(wǎng)絡(luò)低深度、輕量化的特性,另一方面在原網(wǎng)絡(luò)中引入RFB結(jié)構(gòu),在損失函數(shù)中中加入Center Loss損失項(xiàng)。因此,算法在位置預(yù)測精度和分類預(yù)測精度上得到優(yōu)化,而在檢測速度上沒有受到明顯影響。在VOC2007和VOC2012數(shù)據(jù)集上進(jìn)行驗(yàn)證可知,改進(jìn)后的SSD算法結(jié)構(gòu)合理,在LISA Traffic Sign數(shù)據(jù)集中對交通標(biāo)志類小目標(biāo)檢測可取得較好效果。然而RFB結(jié)構(gòu)雖然可以擴(kuò)大特征的感受野,但是基于VGG16的淺層網(wǎng)絡(luò)本身無法獲得較多的特征信息,而且低層網(wǎng)絡(luò)特征并沒有得到優(yōu)化處理,所以下一步需在網(wǎng)絡(luò)骨干上進(jìn)行改進(jìn),從而保證目標(biāo)特征信息可被充分提取[18],進(jìn)一步提高算法精度和效率。

        參考文獻(xiàn):

        [1] 錢建軒,朱偉興. 基于計(jì)算機(jī)視覺的動(dòng)物跛腳行為識(shí)別[J]. 軟件導(dǎo)刊,2018,17(10):14-17.

        [2] 張三友,姜代紅. 基于OPENCV的智能車牌識(shí)別系統(tǒng)[J]. 軟件導(dǎo)刊,2016,15(5):87-89.

        [3] REN S,HE K,GIRSHICK R,et al. Faster R-CNN:towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2017,39(6):1137-1149.

        [4] DAI J,LI Y,HE K,et al. R-FCN:object detection via region-based fully convolutional networks[C]. Proceedings of the 30th International Conference on Neural Information Processing Systems,2016:379-387.

        [5] REDMON J,DIVVALA S,GIRSHICK R,et al.You only look once:unified,real-time object detection[C]. IEEE Conference on Computer Vision & Pattern Recognition,2016:109-125.

        [6] LIU W,ANGUELOV D,ERHAN D,et al. SSD:single shot multibox detector[J]. European Conference on Computer Vision,2016:21-31.

        [7] LIN T Y,GOYAL P,GIRSHICK R,et al. Focal loss for dense object detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2017,99:2999-3007.

        [8] LIU S,HUANG D,WANG Y. Receptive field block net for accurate and fast object detection[J]. European Conference on Computer Vision,2017:1711-1720.

        [9] WEN Y,ZHANG K,LI Z,et al. A discriminative feature learning approach for deep face recognition[C]. Computer Vision–ECCV ,2016:499-515.

        [10] 李超凡,陳慶奎. 基于學(xué)習(xí)算法SSD的實(shí)時(shí)道路擁堵檢測[J]. 軟件導(dǎo)刊,2018,17(6):12-16.

        [11] 徐樂,劉翔,張華. 基于SSD的道路前方車輛檢測[J]. 軟件導(dǎo)刊,2019(5):27-30.

        [12] 莫宏偉,汪海波. 基于Faster R-CNN的人體行為檢測研究[J]. 智能系統(tǒng)學(xué)報(bào),2018,13(6):107-113.

        [13] 徐智康,李旸,李德玉. 基于可變最小貝葉斯風(fēng)險(xiǎn)的層次多標(biāo)簽分類方法[J]. ?南京大學(xué)學(xué)報(bào)(自然科學(xué)),2017,53(6):39-48.

        [14] 張駿,梅魁志,趙季中. 基于置信度評估的Cache污染過濾技術(shù)[J]. 高技術(shù)通訊,2011,21(6):644-651.

        [15] 徐峰,鄭斌,郭進(jìn)祥,等. 基于U-Net的結(jié)節(jié)分割方法[J]. 軟件導(dǎo)刊,2018,17(8):165-168.

        [16] 華夏,王新晴,王東,等. 基于改進(jìn)SSD的交通大場景多目標(biāo)檢測[J]. 光學(xué)學(xué)報(bào),2019,38(12):221-231.

        [17] 唐聰,凌永順,鄭科棟,等. 基于深度學(xué)習(xí)的多視窗SSD目標(biāo)檢測方法[J]. 紅外與激光工程,2018,3(1):290-298.

        [18] SZEGEDY C,LIU W,JIA Y,et al. Going deeper with convolutions[C]. IEEE Conference on Computer Vision and Pattern Recognition,2015:1-9.

        (責(zé)任編輯:江 艷)

        猜你喜歡
        交通標(biāo)志
        交通標(biāo)志認(rèn)得清
        基于雙向特征融合的交通標(biāo)志識(shí)別
        交通安全伴我行
        基于機(jī)器學(xué)習(xí)算法的交通標(biāo)志圖像智能識(shí)別
        智能化交通標(biāo)志生命周期管理系統(tǒng)設(shè)計(jì)
        “老司機(jī)”的花樣告白
        基于形狀匹配和色彩分割的交通標(biāo)志檢測系統(tǒng)研究
        汽車文摘(2016年9期)2016-12-06 19:53:08
        交通標(biāo)志,我熟知
        交通標(biāo)志小課堂
        集 郵
        国产高中生在线| 一本色道精品亚洲国产一区| 女同另类专区精品女同| 午夜视频在线观看视频在线播放| 国产乱子伦精品无码专区| 亚洲男同gay在线观看| 后入内射欧美99二区视频| 99福利网| 中文字幕成人精品久久不卡| 亚洲在线视频一区二区| 宅男视频一区二区三区在线观看 | 被暴雨淋湿爆乳少妇正在播放 | 日韩人妻免费视频一专区| 亚洲中文无码av永久| 男女啪啪无遮挡免费网站| 色老汉免费网站免费视频| 欧美中出在线| 久久精品国语对白黄色| 一本色道久久亚洲av红楼| 韩国av一区二区三区不卡| 国产无人区码一码二码三mba| 亚洲国产成人手机在线观看| 无码啪啪熟妇人妻区| 精品女同一区二区三区亚洲| 亚洲国产精品婷婷久久| 偷看农村妇女牲交| 成人爽a毛片在线视频| 亚洲av无码专区亚洲av伊甸园| 欧美亚州乳在线观看| 久久久久亚洲AV成人网毛片| 日本经典中文字幕人妻| 国产91在线播放九色快色 | 亚洲综合新区一区二区| av无码小缝喷白浆在线观看| 天天综合网天天综合色| 久久精品久久精品中文字幕| 毛片av在线尤物一区二区| 亚洲精品国产综合久久| 无遮挡激情视频国产在线观看| 色哟哟网站在线观看| 免费视频成人 国产精品网站|