亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        一種基于深度學(xué)習(xí)的交通標(biāo)志識別新算法*

        2021-02-26 01:42:08陳昌川王海寧王延平李連杰張?zhí)祢U
        電訊技術(shù) 2021年1期
        關(guān)鍵詞:檢測

        陳昌川,王海寧,趙 悅,王延平,李連杰,李 奎,張?zhí)祢U

        (1.重慶郵電大學(xué) 通信與信息工程學(xué)院,重慶 400065;2.山東大學(xué) 信息科學(xué)與工程學(xué)院,山東 青島 266237)

        0 引 言

        交通標(biāo)志識別是交通道路運(yùn)輸?shù)闹匾M成部分[1-2],但受多種因素干擾,如下雨天、標(biāo)志牌老化等,為保證道路安全,既要考慮識別的精度也要確保識別速度,因此實(shí)際應(yīng)用中要求實(shí)現(xiàn)實(shí)時(shí)高精度識別。

        目前關(guān)于交通標(biāo)志識別已有多種方法。由于標(biāo)識牌特有的形狀與顏色,有學(xué)者提出基于色彩空間識別方法[3],或根據(jù)形狀特征識別交通標(biāo)志[4],或采用色彩與形狀特征融合[5]識別,或者通過顏色空間提取感興趣區(qū)域[6],隨后使用支持向量機(jī)(Support Vector Machine,SVM)進(jìn)行分類[7-9]。然而這些方法存在一定弊端:采用色彩或形狀識別算法存在大量誤檢,當(dāng)交通標(biāo)志所處背景與其顏色或形狀相近,往往會(huì)將背景錯(cuò)誤識別成交通標(biāo)志;再者,通過顏色和形狀對特殊情況下交通標(biāo)志很難提取,例如下雨天、大霧天、遮擋等情況,進(jìn)而導(dǎo)致精度偏低;使用顏色或形狀提取圖像候選區(qū)域隨后使用SVM分類的方法對于類別過多交通標(biāo)志,很難做到正確分類,存在通用性偏低問題。近年來由于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的興起,為解決精度低的問題,又有學(xué)者提出將CNN應(yīng)用在交通標(biāo)志檢測與識別。Lee[10]等人基于SSD(Single Shot Multibox Detector)算法[11]構(gòu)建的CNN算法同時(shí)估計(jì)交通標(biāo)志位置與邊界,在基于VGG16模型下最高平均準(zhǔn)確率(Mean Average Precision,mAP)達(dá)到88.4%。Filatov[12]基于交通標(biāo)志邊緣,通過形態(tài)學(xué)運(yùn)算與Canny算法處理待檢測圖像得到交通標(biāo)志輪廓,隨后送入CNN模型進(jìn)行判斷,實(shí)現(xiàn)交通標(biāo)志識別。但對于使用CNN檢測方法,通過提取大量目標(biāo)候選區(qū)域送入分類網(wǎng)絡(luò)進(jìn)行判斷和識別[13-18],雖然保證一定的精度與通用性,但不針對交通標(biāo)志特定場景,網(wǎng)絡(luò)設(shè)計(jì)復(fù)雜,提取候選區(qū)域圖像均要送入網(wǎng)絡(luò)判斷與識別,需要大量計(jì)算導(dǎo)致識別速度慢,且精度受限無法進(jìn)一步提升。

        本文從交通標(biāo)志牌邊緣信息出發(fā),基于深度學(xué)習(xí)YOLOv2算法檢測思想,提出一種T-YOLO檢測算法。該算法自行搭建網(wǎng)絡(luò)結(jié)構(gòu),融合殘差網(wǎng)絡(luò)、下采樣操作舍棄通用池化層而改用卷積層,設(shè)計(jì)7層特征提取網(wǎng)絡(luò),解決檢測速度慢問題,縮短檢測速度;針對交通標(biāo)志特定場景,提出卷積層四周填充0提取邊緣信息與上采樣方法,卷積層填充0提高識別精度,上采樣方法解決算法無法定位小目標(biāo)問題提升定位準(zhǔn)確度,進(jìn)一步提高識別精度;隨后采用Softmax函數(shù)歸一化0~1,產(chǎn)生目標(biāo)概率可能值,實(shí)現(xiàn)多分類識別,解決SVM分類器通用性偏低問題;通過批量歸一化、多尺度訓(xùn)練等訓(xùn)練方法,增強(qiáng)了算法的魯棒性。實(shí)驗(yàn)表明,相比于同期交通標(biāo)志識別算法,所提算法在檢測速度與平均準(zhǔn)確度上均達(dá)到最優(yōu);相比于YOLOv2,所提算法平均準(zhǔn)確率提高7.1%,檢測速度縮短每幀9.51 ms,整體性能都得到了提高。

        1 T-YOLO算法

        1.1 T-YOLO算法結(jié)構(gòu)

        如圖1所示,T-YOLO算法首先將圖像歸一化同一尺度,整幅待檢測圖像被劃分成S×S個(gè)網(wǎng)格,每個(gè)網(wǎng)格負(fù)責(zé)檢測目標(biāo)圖像中心點(diǎn)是否落在該網(wǎng)格,對于目標(biāo)圖像中心點(diǎn)落在的網(wǎng)格,Pr(object)=1,否則Pr(object)=0。通過人為設(shè)定的anchor錨點(diǎn),產(chǎn)生定量個(gè)數(shù)預(yù)測框,每個(gè)預(yù)測框會(huì)產(chǎn)生坐標(biāo)信息(x,y,w,h)和置信度(confidence)。x、y為相對該網(wǎng)格左上角坐標(biāo)偏移值,w、h為該預(yù)測框?qū)捙c高,置信度為邊界框包含目標(biāo)的可能性Pr(object)與邊界框準(zhǔn)確度IOU(Intersection over Union)的乘積,如公式(1);同時(shí),每個(gè)預(yù)測框還會(huì)產(chǎn)生一個(gè)固定的類別C。

        (1)

        圖1 T-YOLO算法檢測示意圖

        交通標(biāo)志邊緣含有豐富的色彩對比信息與線條鮮明形狀信息,可以提高識別準(zhǔn)確度。為此,T-YOLO算法采用卷積層均四周填充0,提取邊緣信息,以提升檢測精度。再者,交通標(biāo)志圖像不同于一般圖像,單純采用池化層作為下采樣操作,邊緣信息將被丟失,因此,T-YOLO算法對于下采樣操作不采用池化層,而改用卷積層,通過3×3的卷積核,設(shè)置步長為2,進(jìn)行圖像下采樣(見圖2),確保邊緣信息不會(huì)被丟失,進(jìn)而提升檢測精度。深度越深的網(wǎng)絡(luò)層,參數(shù)初始化一般接近0,在訓(xùn)練過程中,隨著迭代次數(shù)增加,網(wǎng)絡(luò)更新淺層參數(shù),而進(jìn)一步導(dǎo)致梯度消失,產(chǎn)生梯度爆炸等現(xiàn)象,從而導(dǎo)致無法收斂,損失率增加,而殘差網(wǎng)絡(luò)能解決梯度消失與梯度爆炸等現(xiàn)象,進(jìn)而使得模型收斂。為此,T-YOLO算法在特征提取結(jié)構(gòu)后加入殘差網(wǎng)絡(luò),用以防止模型過擬合。圖3為引入殘差網(wǎng)絡(luò)結(jié)構(gòu)示意圖。

        圖3 殘差網(wǎng)絡(luò)示意圖

        神經(jīng)網(wǎng)絡(luò)訓(xùn)練是個(gè)復(fù)雜過程,只要前面幾層發(fā)生微小變化,這種微小變化就會(huì)在后面幾層不斷放大,形成大變化,一旦網(wǎng)絡(luò)輸入數(shù)據(jù)分布發(fā)生改變,那么網(wǎng)絡(luò)層勢必要去適應(yīng)學(xué)習(xí)這個(gè)新數(shù)據(jù)分布,這將極大影響訓(xùn)練速度。為此,T-YOLO算法在每個(gè)卷積層中均加入批量歸一化操作(Batch Normalization,BN),加速訓(xùn)練模型的收斂速度。

        首先找到最小batch,假設(shè)最小batch中輸入數(shù)據(jù)為x,β是由輸入x構(gòu)成的集β={x1,x2,…,xm},求得最小batch中的均值與平方差,并將其歸一化操作,進(jìn)而產(chǎn)生了一種從原始數(shù)據(jù)到訓(xùn)練數(shù)據(jù)的映射表達(dá)式,如公式(2)所示:

        (2)

        如圖4所示,T-YOLO對圖像粗略特征提取采用7層卷積層,縮短模型特征提取速度,隨后送入后續(xù)殘差網(wǎng)絡(luò)與上采樣繼續(xù)進(jìn)行細(xì)節(jié)特征提取。T-YOLO算法為解決無法準(zhǔn)確定位小型目標(biāo)圖像問題引入上采樣操作,如圖5所示,通過融合殘差網(wǎng)絡(luò)的輸出與輸入并上采樣,解決識別小型目標(biāo)問題,以提升精度。最終生成全連接采用Softmax函數(shù)歸一化。相比于SVM分類器采用超平面將圖像進(jìn)行0與1分類,Softmax函數(shù)產(chǎn)生目標(biāo)概率值,可以實(shí)現(xiàn)多目標(biāo)的分類,解決了SVM分類器通用性偏低問題。

        圖4 7層特征提取網(wǎng)絡(luò)

        圖5 T-YOLO網(wǎng)絡(luò)示意圖

        1.2 T-YOLO檢測算法

        針對目標(biāo)檢測,T-YOLO算法將待檢測圖像劃分成56×56個(gè)網(wǎng)格,每個(gè)網(wǎng)格會(huì)檢測是否包含目標(biāo)圖像區(qū)域,對于區(qū)域性包含目標(biāo)圖像的網(wǎng)格通過算術(shù)求得網(wǎng)格中心值,進(jìn)而確定目標(biāo)中心點(diǎn)落在的網(wǎng)格。對于檢測到目標(biāo)中心點(diǎn)網(wǎng)格將會(huì)截取并產(chǎn)生系列事先設(shè)定大小的預(yù)選框圖像,截取圖像送入神經(jīng)網(wǎng)絡(luò)進(jìn)行判斷與識別。本文將網(wǎng)格中輸出預(yù)選框圖像個(gè)數(shù)設(shè)置為5個(gè),并采用k均值聚類算法(k-means)求解事先設(shè)定預(yù)選框大小,隨機(jī)選取k個(gè)對象作為初始聚類中心,然后計(jì)算目標(biāo)中的點(diǎn)與聚類中心距離,并將每次產(chǎn)生的對象分配給距離它最近中心點(diǎn),每分配一個(gè)樣本,聚類中心點(diǎn)將會(huì)重新計(jì)算,然后繼續(xù)聚類,直到所有樣本都被計(jì)算完成,最終產(chǎn)生所有的聚類點(diǎn),選取其中聚類最多的5個(gè)矩形框的點(diǎn)作為預(yù)選框。

        因此,含有交通標(biāo)志目標(biāo)中心點(diǎn)的網(wǎng)格將會(huì)產(chǎn)生(5+3)×5個(gè)預(yù)選框圖像,該網(wǎng)格產(chǎn)生的40個(gè)預(yù)選框圖像均要送入T-YOLO神經(jīng)網(wǎng)絡(luò)進(jìn)行判斷識別。圖6為T-YOLO網(wǎng)絡(luò)檢測流程圖。

        圖6 算法檢測流程圖

        同時(shí),為了使模型更具通用性提高模型魯棒性,T-YOLO網(wǎng)絡(luò)采用多尺度訓(xùn)練方式,每隔10輪調(diào)整一次輸入圖像分辨率,進(jìn)而使得模型對于不同分辨率圖像均能做到有效的識別與定位。

        2 實(shí)驗(yàn)效果與算法對比

        2.1 數(shù)據(jù)集預(yù)處理及訓(xùn)練

        本文選取數(shù)據(jù)集是Zhang[19-20]等人公開的中國交通標(biāo)志檢測數(shù)據(jù)集(CSUST Chinese Traffic Sign Detection Benchmark,CCTSDB),豐富的數(shù)據(jù)集有助于提高模型平均準(zhǔn)確率,同時(shí)可以加速模型訓(xùn)練時(shí)收斂,降低損失率。為了使得訓(xùn)練集更加豐富,包含不同場景情況下圖像,采用旋轉(zhuǎn)、調(diào)整飽和度、調(diào)整亮度三種混合方式增強(qiáng)數(shù)據(jù)集。按照5∶1的比例劃分訓(xùn)練集與測試集,分別為15 000張與3 000張圖片,并將數(shù)據(jù)集劃分為警告、強(qiáng)制、禁止三類。

        本文實(shí)驗(yàn)硬件配置如表1所示,并在上面搭配所需的軟件環(huán)境Ubuntu16.04、CUDA10.1、Cudnn7.5、Opencv3.4.3,同時(shí)根據(jù)數(shù)據(jù)集的特點(diǎn),一并參考YOLOv2的參數(shù)配置。T-YOLO算法的參數(shù)配置見表2,在1~30 000次迭代設(shè)置學(xué)習(xí)率大小0.001,然后隨著迭代次數(shù)的累計(jì),依次調(diào)整學(xué)習(xí)率,直到損失率保持穩(wěn)定。

        表1 硬件配置

        表2 T-YOLO參數(shù)配置

        2.2 算法對比

        為了驗(yàn)證T-YOLO算法準(zhǔn)確性與可靠性,在基于硬件平臺GPU RXT2080 Ti與CPU Intel(R) Xeon(R) W-2133和軟件平臺Ubuntu16.04、opencv3.4.3的基礎(chǔ)上,將測試集3 000張圖片送入不同網(wǎng)絡(luò),圖片大小為1 024 pixel×768 pixel,并選取平均準(zhǔn)確率(mAP)、平均召回率(Average Recall,AR)、GPU檢測速度(ms/frame)作為驗(yàn)證指標(biāo)。AR計(jì)算公式如公式(3)所示:

        (3)

        式中:TP代表真正正樣本,F(xiàn)P代表假正樣本,F(xiàn)N代表假負(fù)樣本,i代表類別。算法對比見表3。從表3可以看出,T-YOLO算法無論是在平均準(zhǔn)確率還是在檢測速度上都達(dá)到最優(yōu)效果,相比于YOLOv2算法,T-YOLO算法在平均準(zhǔn)確度上提高7.1%,檢測速度每幀縮短了4.9 ms;相比于Faster R-CNN算法,T-YOLO算法在速度上提高124倍,精度提高3.8%;相比于傳統(tǒng)算法HOG+SVM,檢測精度提高13%。

        表3 算法對比

        同樣,為了驗(yàn)證T-YOLO算法魯棒性,采用不同分辨率輸入圖像進(jìn)行測試。采用224 pixel×224 pixel、320 pixel×320 pixel、416 pixel×416 pixel、512 pixel×512 pixel、608 pixel×608 pixel五種分辨率圖像,將原始圖像按照等比例方式縮放到上述分辨率固定尺度,對于空出像素區(qū)域填充黑色像素0,分別驗(yàn)證各個(gè)分類的準(zhǔn)確率以及平均準(zhǔn)確率、檢測速度三個(gè)指標(biāo),結(jié)果如圖7和圖8所示。從圖7可以看出,對于圖片大小為224 pixel×224 pixel的圖像識別準(zhǔn)確率較低,這是由于交通標(biāo)志圖像大都為低分辨圖像,如果采用更低分辨率圖像,交通標(biāo)志圖像會(huì)變小,所以導(dǎo)致平均準(zhǔn)確率偏低;從圖像大小為320 pixel×320 pixel往上,平均準(zhǔn)確率越來越高,結(jié)果如圖7和圖8所示。從圖7與圖8可以看出對于低分辨率的圖像,檢測速度比較快,但對應(yīng)的平均準(zhǔn)確率低,對于224 pixel×224 pixel圖像,GPU上檢測速度達(dá)到13.69 ms/frame,隨著分辨率不斷提高,檢測耗時(shí)也增加。

        圖7 不同分辨率圖像準(zhǔn)確率

        圖8 不同分辨率圖像檢測速度

        2.3 T-YOLO算法檢測效果對比

        交通標(biāo)志往往懸掛在高空或道路兩旁,從人視覺或汽車視覺內(nèi)觀察到的基本為小型目標(biāo)圖像與中型目標(biāo)圖像;再者,對于交通安全,能盡早準(zhǔn)確無誤地將遠(yuǎn)方交通標(biāo)志檢出,可以減少不必要的損失,避免進(jìn)一步的人員傷亡。從圖9(a)可看出,YOLOv2算法針對于小型目標(biāo)圖像檢測,對小型目標(biāo)定位很不準(zhǔn)確,進(jìn)而很難檢測出;同樣可以看出,由于采用池化層作為下采樣操作丟失邊緣信息,對于遮擋目標(biāo)很難檢測出。從圖9(b)可看出,T-YOLO算法可以準(zhǔn)確無誤將小型目標(biāo)圖像定位,進(jìn)而進(jìn)一步檢測出目標(biāo)。由于采用卷積層填充0、卷積層下采樣、上采樣等方法,T-YOLO算法對于交通標(biāo)志邊緣信息非常敏感,對部分遮擋標(biāo)志仍能將它檢測出來。對于一些特殊天氣下的小型目標(biāo)圖像,T-YOLO算法仍可以檢測出。

        圖9 部分算法對比檢測效果圖

        3 結(jié)束語

        本文提出了一種基于深度學(xué)習(xí)識別交通標(biāo)志新方法,與一般算法不同,該算法從交通標(biāo)志邊緣信息出發(fā),針對交通標(biāo)志特定場景,精簡模型縮短速度,通過提取邊緣信息與上采樣提升識別精度。實(shí)驗(yàn)表明該方法真實(shí)有效,相比同期交通標(biāo)志識別算法精度與速度方面均有大幅提高,GPU平臺上采用原始圖像數(shù)據(jù)(1 024 pixel×768 pixel),檢測速度19.31 ms/frame,mAP為97.3%;由于采用多尺度訓(xùn)練方式,模型的魯棒性增強(qiáng)。但現(xiàn)實(shí)場景細(xì)分每類交通標(biāo)志,算法針對交通標(biāo)志分類范圍過大、類別過少,且未結(jié)合標(biāo)志牌特有顏色與形狀特征以提升識別精度,未經(jīng)實(shí)車測試。細(xì)分多類交通識別與實(shí)車測試將是下一步研究的方向。

        “親近自然,親近泥土”無疑是陶藝作品在當(dāng)今的可貴之處,亦在當(dāng)今也愈發(fā)成為了人們的奢求。當(dāng)它出現(xiàn)于人們的活動(dòng)空間時(shí),便是將這么一份可貴的物質(zhì)給予人們,讓空間充滿意義與歡喜。作為物質(zhì)與精神融合的產(chǎn)物,其多樣化的材料表達(dá)方式也符合大家追求特立獨(dú)行和豐富的藝術(shù)風(fēng)格。以極為自然的藝術(shù)表現(xiàn)形式,承載著一定的文化元素,慢慢融入空間環(huán)境中,點(diǎn)綴、裝飾著空間,促成空間的自然化、藝術(shù)化和多元化。

        猜你喜歡
        檢測
        QC 檢測
        “不等式”檢測題
        “一元一次不等式”檢測題
        “一元一次不等式組”檢測題
        “幾何圖形”檢測題
        “角”檢測題
        “有理數(shù)的乘除法”檢測題
        “有理數(shù)”檢測題
        “角”檢測題
        “幾何圖形”檢測題
        国产在线一区二区三区av | 国产桃色精品网站| 国内偷拍精品一区二区| 国产亚洲精品美女久久久m| 欧美日韩国产一区二区三区不卡 | 99福利影院| 一本色道精品亚洲国产一区| 在线观看老湿视频福利| 国产专区国产av| 啪啪网站免费观看| 亚洲国产精品激情综合色婷婷| 午夜成人理论福利片| 无码人妻精品一区二区三区在线 | 国产精品国产亚洲精品看不卡 | 日韩AV无码免费二三区| 蜜桃视频高清在线观看| 国产网站一区二区三区| a级毛片高清免费视频就| 国产高清精品自在线看| 视频一区中文字幕在线观看| 无码国内精品人妻少妇蜜桃视频| 制服丝袜人妻中文字幕在线| 国产成人一区二区三区高清| 久久老熟女一区二区三区福利| 精品欧洲av无码一区二区14| 在线视频精品免费| 日韩极品免费在线观看| 精品国产av一区二区三区四区| 日出水了特别黄的视频| 99久久精品国产自在首页| 精品成人av人一区二区三区| 影视av久久久噜噜噜噜噜三级| 在线看片无码永久免费aⅴ| 精品国产一区二区三区久久狼| 亚洲av不卡免费在线| 欧美艳星nikki激情办公室| 国产精品丝袜美女在线观看| 久久精品国产亚洲av天美| 亚洲av综合a色av中文| 伊人久久综在合线亚洲不卡| 日本顶级片一区二区三区|