亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        一種基于改進(jìn)YOLO v3的小目標(biāo)檢測(cè)方法

        2021-04-23 02:19:30蔡鴻峰吳觀茂
        關(guān)鍵詞:尺度邊界卷積

        蔡鴻峰,吳觀茂

        (安徽理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,安徽 淮南 232001)

        目標(biāo)檢測(cè)包含目標(biāo)的定位和分類。早期的目標(biāo)檢測(cè)方法是使用手工提取特征,再在此基礎(chǔ)上構(gòu)造模型。使用該方法設(shè)計(jì)的模型結(jié)構(gòu)復(fù)雜,提升模型精度困難。卷積神經(jīng)網(wǎng)絡(luò)具有較好的學(xué)習(xí)特征能力,Girshick等[1]將CNN應(yīng)用到目標(biāo)檢測(cè)中,提出了R-CNN模型,使模型的檢測(cè)性能有了很大提升,但其網(wǎng)絡(luò)只能輸入固定尺寸的圖像,且R-CNN通過SS算法生成的候選區(qū)大量重疊,造成計(jì)算資源浪費(fèi)。針對(duì)R-CNN模型的這類缺點(diǎn),He等[2]提出了SPP-Net網(wǎng)絡(luò)。Girshick[3]與Ren等[4]先后提出了Fast R-CNN與Faster R-CNN模型。從R-CNN發(fā)展到Faster R-CNN,模型的檢測(cè)速度與檢測(cè)精度均有所提高,但這類兩階段的檢測(cè)方法在檢測(cè)速度上與單階段檢測(cè)方法仍存在一定差距。典型的單階段目標(biāo)檢測(cè)方法有YOLO系列算法和SSD算法。Redmon等[5]在2015年提出了第一個(gè)單階段檢測(cè)方法YOLO算法,Liu等[6]借鑒了YOLO和Faster R-CNN的優(yōu)點(diǎn)提出了SSD算法,檢測(cè)速度快并且實(shí)現(xiàn)了多尺度預(yù)測(cè)。在YOLO v1的基礎(chǔ)上,Redmon等[7-8]又提出了YOLO v2和YOLO v3算法。其中,YOLO v2進(jìn)行了各種嘗試,使用了批標(biāo)準(zhǔn)化技術(shù);YOLO v3使用了Darknet-53和sigmoid函數(shù)。本文以YOLO v3作為研究基礎(chǔ),通過網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)的改進(jìn)來提升小目標(biāo)檢測(cè)的精度。

        1 YOLO v3算法

        相較于YOLO v2,YOLO v3算法在整體網(wǎng)絡(luò)結(jié)構(gòu)上有較大改變,使用sigmoid函數(shù)代替了softmax函數(shù),并實(shí)現(xiàn)了多尺度預(yù)測(cè)。YOLO v3能夠在3個(gè)不同位置的3個(gè)不同尺寸的特征圖上使用大小為1×1的卷積核實(shí)現(xiàn)檢測(cè),其中的2個(gè)特征圖是經(jīng)過上采樣和特征融合以后得到的。Darknet-53作為主干網(wǎng)絡(luò)進(jìn)行特征提取,借鑒了殘差網(wǎng)絡(luò)的結(jié)構(gòu),實(shí)現(xiàn)了跳層連接與殘差模塊。YOLO v3網(wǎng)絡(luò)結(jié)構(gòu)的加深使其在檢測(cè)速度上較之前的版本有所降低,但在檢測(cè)準(zhǔn)確度上得到了提升。

        Darknet-53是全卷積網(wǎng)絡(luò),使用了殘差結(jié)構(gòu),共有53個(gè)卷積層,主要作用是提取圖像特征。對(duì)于像素為256×256的輸入圖像,用于檢測(cè)的3個(gè)特征圖的步長(zhǎng)為8,16,32。而對(duì)于像素為416×416的輸入圖像,用于檢測(cè)的3個(gè)特征圖的步長(zhǎng)為13,26,52。3個(gè)不同尺度的特征圖經(jīng)過FPN(Feature Pyramid Network)進(jìn)行融合后,采用多尺度方法幫助Darknet-53網(wǎng)絡(luò)學(xué)習(xí)到不同層次的特征信息,然后將融合后的特征信息輸入 YOLO 層,實(shí)現(xiàn)類別預(yù)測(cè)和邊界框回歸。

        YOLO v3中使用了多個(gè)尺度的特征圖預(yù)測(cè),根據(jù)不同尺寸的輸入圖像,得到不同大小的輸出特征圖,最終的特征圖包含了檢測(cè)框位置信息、檢測(cè)置信度和類別信息。YOLO v3 共使用了 9種anchor box作為先驗(yàn)框。這9種anchor box由K-means聚類算法得到,先驗(yàn)框尺寸與特征圖尺度大小成反比。13×13的特征層用于檢測(cè)大目標(biāo),26×26的特征層用于檢測(cè)中等目標(biāo),52×52的特征層用于檢測(cè)小目標(biāo)。

        YOLO v3檢測(cè)置信度的計(jì)算公式為:

        Confidence=Pr(object)×IoU

        (1)

        式(1)中,Pr(object) 用于判斷預(yù)測(cè)邊界框中是否包含待檢測(cè)目標(biāo);IoU為預(yù)測(cè)邊界框與真值邊界框的交并比。

        得到全部預(yù)測(cè)邊界框后,通過設(shè)置閾值與非極大值抑制等操作得到目標(biāo)邊界框。有了先驗(yàn)框與輸出特征圖,就可以解碼檢測(cè)框。邊界框位置預(yù)測(cè)示意圖如圖1所示。

        圖1 邊界框位置預(yù)測(cè)示意圖

        YOLO的位置預(yù)測(cè)是指相對(duì)于左上角格點(diǎn)坐標(biāo)預(yù)測(cè)偏移量,計(jì)算每個(gè)網(wǎng)格實(shí)際預(yù)測(cè)框的中心位置和尺寸大小。計(jì)算公式為:

        (2)

        式(2)中,cx,cy為坐標(biāo)偏移量;bx,by為實(shí)際預(yù)測(cè)框的中心位置;Pw,Ph為實(shí)際先驗(yàn)框的寬度和長(zhǎng)度;bw,bh為實(shí)際預(yù)測(cè)框的尺寸;tx,ty為坐標(biāo)預(yù)測(cè)值;tw,th為邊界框?qū)挾群透叨鹊念A(yù)測(cè)值。

        2 YOLO v3算法的改進(jìn)

        2.1 網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)

        YOLO v3算法使用Darknet-53 網(wǎng)絡(luò)進(jìn)行特征提取,利用卷積核實(shí)現(xiàn)下采樣操作,步長(zhǎng)為2,大小為 3×3 。該網(wǎng)絡(luò)雖然感受野較大,但是犧牲了空間分辨率,經(jīng)過深層卷積提取特征后容易使小目標(biāo)的信息丟失。針對(duì)小目標(biāo)物體的檢測(cè)更加依賴淺層特征這一特點(diǎn),將網(wǎng)絡(luò)層數(shù)較少的Darknet作為檢測(cè)網(wǎng)絡(luò)的backbone,使用49層主干網(wǎng)絡(luò),記為Darknet-49。

        Darknet-49共有49個(gè)卷積層,5個(gè)殘差塊。由于使用ReLU激活函數(shù)會(huì)對(duì)低維特征信息造成大量損失,根據(jù)MobileNet網(wǎng)絡(luò)中倒殘差結(jié)構(gòu)的最后一個(gè)1×1的卷積層,使用線性激活函數(shù)來保留低維特征的思想,在Darknet-49的第1個(gè)卷積層使用線性激活函數(shù),減少低維信息的損失。Darknet-49網(wǎng)絡(luò)對(duì)輸入圖像進(jìn)行 5 次下采樣操作,得到5個(gè)尺度的特征圖。改進(jìn)后的檢測(cè)網(wǎng)絡(luò)將原有的3個(gè)檢測(cè)尺度擴(kuò)展為5個(gè)檢測(cè)尺度,多尺度的特征融合能夠提升檢測(cè)性能[9]。改進(jìn)后的檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

        圖2 改進(jìn)后的檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)

        2.2 損失函數(shù)的改進(jìn)

        YOLO v3是一種端到端的單階段目標(biāo)檢測(cè)算法,其損失函數(shù)由坐標(biāo)回歸損失、置信度損失和分類損失3個(gè)部分共同組成,其中坐標(biāo)回歸損失使用均方誤差進(jìn)行計(jì)算,其余使用交叉熵進(jìn)行計(jì)算。

        目標(biāo)尺度的變化會(huì)影響坐標(biāo)回歸的準(zhǔn)確性,使用均方誤差不能處理檢測(cè)目標(biāo)尺度敏感問題。IoU為預(yù)測(cè)目標(biāo)邊界框與真實(shí)目標(biāo)邊界框之間的交并比,其公式為:

        (3)

        式(3)中,B為預(yù)測(cè)目標(biāo)邊界框;Bgt為真實(shí)目標(biāo)邊界框。

        IoU Loss具有尺度不變性的特點(diǎn),能夠更好地反映重合程度。雖然IoU Loss 比均方誤差更有優(yōu)勢(shì),但是當(dāng)預(yù)測(cè)框與ground-truth是包含關(guān)系時(shí),其IoU Loss為定值,檢測(cè)效果會(huì)具有較大差異;當(dāng)兩者不相交時(shí),IoU Loss的值為0,則無法進(jìn)行優(yōu)化。

        IoU Loss的計(jì)算公式為:

        LIoU=1-IoU

        (4)

        針對(duì)IoU Loss的不足,本文使用DIoU Loss(Distance IoU Loss)[10],DIoU示意圖如圖3所示。

        圖3 DIoU示意圖

        DIoU公式為:

        (5)

        式(5)中,b為預(yù)測(cè)目標(biāo)邊界框的中心坐標(biāo);bgt為真實(shí)目標(biāo)邊界框的中心坐標(biāo);ρ為2個(gè)中心點(diǎn)之間的距離;c是2個(gè)目標(biāo)邊界框最小外接矩形的對(duì)角線長(zhǎng)度。

        則DIoU Loss表示為:

        (6)

        置信度損失Lconf與分類損失Lclass均用均方誤差進(jìn)行計(jì)算,計(jì)算公式為:

        (7)

        (8)

        最終損失函數(shù)公式為:

        Loss=LDIoU+Lconf+Lclass

        (9)

        3 實(shí)驗(yàn)分析

        3.1 實(shí)驗(yàn)環(huán)境

        實(shí)驗(yàn)使用ubuntu18.04操作系統(tǒng),使用Python3.7與pytorch進(jìn)行編程,通過GPU加速計(jì)算。

        3.2 數(shù)據(jù)集

        實(shí)驗(yàn)使用PASCAL VOC 2012數(shù)據(jù)集,共有20種類別,背景為第21類。PASCAL VOC 2012數(shù)據(jù)集見表1。

        表1 PASCAL VOC 2012數(shù)據(jù)集

        3.3 實(shí)驗(yàn)結(jié)果

        將PASCAL VOC 2012 數(shù)據(jù)集作為測(cè)試數(shù)據(jù)集和訓(xùn)練數(shù)據(jù)集,將改進(jìn)后的YOLO v3算法與原YOLO v3,F(xiàn)aster R-CNN,SSD進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果以mAP值和FPS值作為評(píng)估指標(biāo)。FPS表示模型每秒鐘可以檢測(cè)的圖片數(shù)量,F(xiàn)PS值越大,模型的檢測(cè)速度越快。mAP指標(biāo)即各類別AP的均值,公式為:

        (10)

        式(10)中,C為樣本種類數(shù);AP為樣本的平均精度。

        4種算法模型的mAP和FPS見表2。由表2可以看出,改進(jìn)后的YOLO v3算法的mAP值相較于原YOLO v3算法有一定提升,提升了約2.4%,但低于Faster R-CNN和SSD300算法;其FPS值與原YOLO v3算法相比有所降低,但遠(yuǎn)超F(xiàn)aster R-CNN和SSD300算法。這是因?yàn)殡m然主干網(wǎng)絡(luò)選取了比原網(wǎng)絡(luò)層數(shù)更少的Darknet-49網(wǎng)絡(luò),但同時(shí)也增加了網(wǎng)絡(luò)的預(yù)測(cè)輸出層數(shù),對(duì)檢測(cè)速度產(chǎn)生一定影響,致使FPS值降低??傮w來說,改進(jìn)后的YOLO v3算法在mAP值上有一定提升,其檢測(cè)速度與原算法接近。

        表2 4種算法模型的mAP和FPS

        改進(jìn)前后YOLO v3算法各類別的AP值如圖4所示。由圖4可以看出,改進(jìn)后的YOLO v3的mAP值提高了約2.4%,對(duì)應(yīng)的各個(gè)類別的AP值都有一定提升。例如,train這一類的目標(biāo)在算法改進(jìn)前后AP值的變化不大,主要原因是這一類大尺度圖片本身已經(jīng)達(dá)到了較高的精度且這類大尺度圖片占有較大的圖片比例,不容易因?yàn)槌叽绲目s放而丟失精度;而改進(jìn)后類別為bottle的AP值增加最多,上升了約0.13%,說明通過增加特征融合層的數(shù)量可以提高小目標(biāo)物體的檢測(cè)精度。

        圖4 改進(jìn)前后YOLO v3算法各類別的AP

        4 結(jié)論

        通過對(duì)原YOLO v3算法的網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)進(jìn)行改進(jìn),增強(qiáng)了算法對(duì)小目標(biāo)物體的檢測(cè)精度。但是,改進(jìn)后的算法檢測(cè)速率有所降低,并且在實(shí)際檢測(cè)過程中仍然會(huì)存在漏檢的情況。

        猜你喜歡
        尺度邊界卷積
        拓展閱讀的邊界
        基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
        財(cái)產(chǎn)的五大尺度和五重應(yīng)對(duì)
        從濾波器理解卷積
        電子制作(2019年11期)2019-07-04 00:34:38
        論中立的幫助行為之可罰邊界
        基于傅里葉域卷積表示的目標(biāo)跟蹤算法
        宇宙的尺度
        太空探索(2016年5期)2016-07-12 15:17:55
        9
        “偽翻譯”:“翻譯”之邊界行走者
        一種基于卷積神經(jīng)網(wǎng)絡(luò)的性別識(shí)別方法
        国产成人精品人人做人人爽97| 国产免费久久精品国产传媒| 国产精品久久国产三级国电话系列 | 国精产品一区一区三区有限在线| 国产国产裸模裸模私拍视频| 999久久久无码国产精品| AV无码中文字幕不卡一二三区 | 午夜成人理论无码电影在线播放 | 久久精品国产精品亚洲艾| 国产一区二区视频在线免费观看 | 人妻精品久久久久中文字幕69| 久久人人爽人人爽人人av| 亚洲精品国产品国语在线app| 亚洲av黄片一区二区| 国产情侣亚洲自拍第一页| 草色噜噜噜av在线观看香蕉| 白天躁晚上躁麻豆视频| 麻豆变态另类视频在线观看| 亚洲日本一区二区在线观看| 国产精品亚洲精品国产| 亚洲男同gay在线观看| 少妇白浆高潮无码免费区| 69堂在线无码视频2020| 射进去av一区二区三区| 公和我做好爽添厨房| 中文字幕精品一区二区2021年| 国产精品久久久久久久专区| 一级二级三一片内射视频| 男人的天堂一区二av| 丁字裤少妇露黑毛| 免费av在线国模| 午夜精品一区二区三区av免费| 黄射视频在线观看免费| 久久国产亚洲高清观看| 国产精品久久码一区二区 | 人人妻人人澡人人爽欧美一区 | 自愉自愉产区二十四区| 久久久久久久98亚洲精品| 美女偷拍一区二区三区| 国产午夜在线视频观看| 国产婷婷色综合av蜜臀av|