亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        面向偏振成像小目標(biāo)檢測的YOLOv5改進方法

        2023-08-05 02:48:44朱達榮王端標(biāo)汪方斌嚴(yán)瑞陽
        長春師范大學(xué)學(xué)報 2023年6期
        關(guān)鍵詞:特征檢測信息

        朱達榮,王端標(biāo),汪方斌,龔 雪,楊 崗,嚴(yán)瑞陽

        (1.安徽建筑大學(xué)機械與電氣工程學(xué)院,安徽 合肥 230601;2.安徽建筑大學(xué)建筑機械故障診斷與預(yù)警重點實驗室,安徽 合肥 230601;3.安徽建筑大學(xué)工程機械智能制造重點實驗室,安徽 合肥 230601)

        0 引言

        隨著深度學(xué)習(xí)的快速發(fā)展,目標(biāo)檢測取得巨大突破,被廣泛應(yīng)用于醫(yī)療檢測[1]、人臉檢測[2]、行人檢測[3]、缺陷檢測[4]等。目標(biāo)檢測性能好壞與目標(biāo)尺度密切相關(guān),在目前公開數(shù)據(jù)集中,小目標(biāo)檢測存在誤檢和漏檢且檢測精度較低的情況[5]。而小目標(biāo)檢測在實際場景中具有重要的應(yīng)用,例如,在自動駕駛中,當(dāng)行人或者交通信號等目標(biāo)較小時,自動駕駛車輛需要快速準(zhǔn)確地識別此類目標(biāo);在遙感圖像分析中,需對船舶、汽車等目標(biāo)進行檢測[6],但由于這些目標(biāo)尺度過小造成檢測精度不高;在工業(yè)自動檢測中,需檢測出整個物料表面上小的缺陷[7]。因此,如何有效提高小目標(biāo)檢測性能,是當(dāng)前目標(biāo)檢測領(lǐng)域非常重要的研究課題。

        通常對小目標(biāo)的定義有兩種:1)目標(biāo)所占像素點數(shù)占總像素點數(shù)的比例小于0.12%;2)根據(jù)具體的數(shù)據(jù)集進行定義,如在COCO數(shù)據(jù)集中,將尺寸小于32×32像素的目標(biāo)稱為小目標(biāo)。近年來,國內(nèi)外學(xué)者針對小目標(biāo)檢測方法進行了深入研究。唐聰?shù)萚8]提出多視窗SSD(Single Shot multibox Detector)模型,解決了傳統(tǒng)SSD在小目標(biāo)檢測上的不足。TAKEKI等[9]將深度檢測器與語義分割結(jié)合,并通過支持向量機將結(jié)果集成,解決了不同尺度下的目標(biāo)檢測問題。LIM等[10]連接多尺度特征并引入坐標(biāo)注意力機制,提高了對小目標(biāo)檢測的準(zhǔn)確性。

        以上研究均是將可見光圖像作為輸入圖像,但可見光波段下的目標(biāo)檢測受外界環(huán)境因素影響很大,如光照條件、天氣狀況、空氣質(zhì)量等,這些外界環(huán)境因素直接影響目標(biāo)檢測識別率。而偏振成像受環(huán)境影響較小,同時偏振圖像能獲取目標(biāo)的偏振矢量信息,目標(biāo)與背景對比度高,增強圖像中目標(biāo)的清晰度,因此引入偏振成像技術(shù)。目前偏振探測技術(shù)應(yīng)用到諸多領(lǐng)域,驗證了目標(biāo)檢測中引入偏振探測技術(shù)的可行性。宮劍等[11]提出一種紅外偏振圖像的艦船目標(biāo)檢測方法,解決海上環(huán)境惡劣時艦船與背景對比度低導(dǎo)致紅外探測準(zhǔn)確率不高等問題。薛模根等[12]利用偏振信息抑制豐富的背景分量,能有效檢測荒漠背景下弱小目標(biāo)。

        目前目標(biāo)檢測方法分為以R-CNN(Region-based CNN)系列為代表的基于候選框的兩階段目標(biāo)檢測算法和以YOLO(You Only Look Once)系列為代表的單階段目標(biāo)檢測算法。而YOLOv5具有檢測精度高、速度快等特點,因此本文在標(biāo)準(zhǔn)YOLOv5算法的基礎(chǔ)上,將改進算法應(yīng)用在光伏組件表面落葉數(shù)據(jù)集中,實驗和測試的結(jié)果驗證了本文改進算法的有效性。

        1 相關(guān)工作

        YOLO是第一個將卷積神經(jīng)網(wǎng)絡(luò)識別思想擴展到目標(biāo)檢測的算法,將輸入圖像通過Backbone提取特征后,從整個連接層映射到一個維度張量。YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)由輸入端、Backbone、Neck、Prediction四部分構(gòu)成,如圖1所示。

        圖1 YOLOv5算法結(jié)構(gòu)

        輸入端通過Mosaic數(shù)據(jù)增強、圖片自適應(yīng)縮放等操作對輸入圖像進行處理,Backbone用CSPDarkNet53網(wǎng)絡(luò)提取圖像中的特征信息。Neck將特征金字塔網(wǎng)絡(luò)和路徑聚集網(wǎng)絡(luò)結(jié)合,對不同尺度的特征信息進行融合。Prediction對Neck輸出的特征圖進行預(yù)測。

        本文在YOLOv5網(wǎng)絡(luò)的基礎(chǔ)上進行改進,在輸入端輸入偏振度圖像,提高目標(biāo)與背景對比度;減少C3模塊數(shù)量,保留圖像中高頻信息的同時提取更多的淺層特征信息;主干網(wǎng)絡(luò)中加入坐標(biāo)注意力機制,增大目標(biāo)物體的特征信息的權(quán)重,抑制無關(guān)信息;優(yōu)化邊界框回歸損失函數(shù),解決訓(xùn)練過程中梯度消失等問題。下面分別從輸入端偏振度圖像、特征提取網(wǎng)絡(luò)、坐標(biāo)注意力機制、損失函數(shù)四個方面進行詳細介紹。

        2 改進的YOLOv5算法

        2.1 輸入端偏振度圖像

        采用斯托克斯(Stokes)矢量描述光的偏振信息,假設(shè)進入SALSA相機的光學(xué)信號的Stokes矢量為

        (1)

        其中,S0表示光的總強度,S1表示水平方向線偏振光的強度,S2表示對角方向線偏振光的強度,S3表示圓偏振光的強度,一般情況下圓偏振分量極少,可以忽略。I0、I45、I90、I135表示光通過方向角度分別為0°、45°、90°、135°的偏振片的強度。

        偏振度P為

        (2)

        由圖2可知,由于光伏組件是人造目標(biāo),表面較為光滑,而落葉是自然目標(biāo),二者具有不同的偏振特性,故在偏振度圖像中二者亮度差異明顯。對比四幅圖可知,偏振度圖像能提高目標(biāo)與背景的對比度,增強目標(biāo)的邊緣輪廓。

        (a)S0

        (b)S1

        (c)S2

        (d)DOP

        2.2 特征提取網(wǎng)絡(luò)

        偏振度圖像中目標(biāo)與背景對比度高,目標(biāo)邊緣輪廓清晰,邊緣輪廓中含有大量的高頻信息,而在標(biāo)準(zhǔn)YOLOv5主干網(wǎng)絡(luò)中,大量的卷積操作(圖3)會使這些特征信息丟失,無法準(zhǔn)確檢測小目標(biāo)物體。因此本文簡化特征提取網(wǎng)絡(luò),減少C3模塊數(shù)量,如表1所示,保留高頻信息的同時獲得更多的淺層特征信息,同時減少模型的部署成本。

        圖3 C3模塊

        2.3 坐標(biāo)注意力機制

        如圖4所示,坐標(biāo)注意力機制是分別在水平方向和垂直方向上進行平均池化,再對空間信息編碼,最后把空間信息通過在通道上加權(quán)的方式融合。坐標(biāo)注意力機制能改變圖像中不同物體的權(quán)重,在偏振度圖像中目標(biāo)特性差異明顯,可以采用坐標(biāo)注意力機制加大利于檢測的特征信息的權(quán)重,減小無關(guān)信息的權(quán)重,聚焦目標(biāo)物體。

        圖4 CA結(jié)構(gòu)

        如圖5所示,在標(biāo)準(zhǔn)YOLOv5網(wǎng)絡(luò)輸出特征圖中落葉與背景光伏組件不易區(qū)分,對比(b)(c)兩圖,在加入坐標(biāo)注意力機制后,落葉權(quán)重被增大而背景光伏組件權(quán)重被減小,因此落葉更為清晰,邊緣輪廓信息也得到增強,且增強了輸入偏振度圖像的特性。

        (a)輸入圖像

        (b)標(biāo)準(zhǔn)YOLOv5

        (c)加入CA

        本文針對主干網(wǎng)絡(luò)改進后的網(wǎng)絡(luò)參數(shù)如表1所示,改進后的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

        表1 改進后的CSPDarkNet53網(wǎng)絡(luò)參數(shù)

        圖6 改進后網(wǎng)絡(luò)

        2.4 損失函數(shù)

        在標(biāo)準(zhǔn)YOLOv5模型中使用GIOU Loss作為邊界框回歸損失函數(shù),但GIOU Loss無法解決預(yù)測框在目標(biāo)框內(nèi)部且預(yù)測框大小相同的情況,GIOU Loss無法區(qū)分各預(yù)測框之間的位置關(guān)系。本文采用完全交并比損失函數(shù)(complete intersection over union loss,CIOU Loss)作為邊界框回歸損失函數(shù),如式(3)所示。

        (3)

        (4)

        (5)

        (6)

        其中,α是一個平衡參數(shù),不參與梯度計算;v是衡量長寬比一致性的參數(shù);I表示交并比;A和B分別是預(yù)測框和真實框;CIOU Loss中考慮了邊界框中心點的距離信息與邊界框?qū)捀弑鹊某叨刃畔?直接度量兩個框的距離,使邊界回歸結(jié)果更好。

        3 實驗結(jié)果和分析

        以光伏組件表面落葉為研究對象進行識別,由于復(fù)雜自然環(huán)境的影響,光伏組件表面落葉分布稀疏程度不同,易出現(xiàn)漏檢、誤檢,且落葉占整幅圖像的比例小于10%,可認為其是小目標(biāo)。

        3.1 實驗環(huán)境與模型訓(xùn)練

        CPU配置為Intel?CoreTMi5-1035G1 CP @1.00 GHz,16 GB運行內(nèi)存,操作系統(tǒng)Windows10,64位。Pytorch版本為1.7,Python語言環(huán)境為3.9。落葉數(shù)據(jù)集按照7∶3比例隨機劃分為訓(xùn)練集和測試集,圖片分別為308張和130張。批訓(xùn)練數(shù)據(jù)量為16,學(xué)習(xí)率為0.01,模型迭代150次,優(yōu)化函數(shù)采用隨機梯度下降(stochastic gradient descent,SGD)對模型進行訓(xùn)練。

        3.2 實驗數(shù)據(jù)集

        選用分時型偏振成像系統(tǒng)采集光伏組件表面落葉偏振度圖像,如圖7所示,通過在成像探測器前加可旋轉(zhuǎn)偏振片獲取不同時刻、不同方向的偏振光強圖像。整個系統(tǒng)主要由三部分組成:SALSA液晶偏振相機、鏡頭(SAMYANG AF35mm F1.4-22C)、帶偏振圖像采集軟件的筆記本電腦。

        圖7 實驗平臺

        實驗圖片采集于晴天上午8點至10點、中午11點至13點以及14點至16點三個固定時間段(每時間段為2小時)進行,每天拍攝約100張圖片,拍攝總天數(shù)為5天。光伏組件與地面傾角為60°,采取多個觀測角度、不同成像距離進行拍攝。數(shù)據(jù)集的部分樣本如圖8所示。將采集到的圖片使用標(biāo)記軟件對其中落葉進行標(biāo)注,并將標(biāo)注信息轉(zhuǎn)成txt形式導(dǎo)出。

        (a)

        (b)

        (c)

        數(shù)據(jù)集落葉分布情況如圖9所示,其中,圖9(a)表示落葉中心點在圖片中的位置坐標(biāo)分布情況,圖9(b)表示落葉目標(biāo)框的長和寬分別占圖片長和寬的比例。由圖9可知,數(shù)據(jù)集中落葉大小不一,小目標(biāo)落葉數(shù)量較多,落葉較為均勻地分布在圖片各個位置。

        (a)落葉位置分布

        (b)落葉目標(biāo)框長寬分布

        3.3 評價指標(biāo)

        使用準(zhǔn)確率(precision)、召回率(recall)、平均精度均值(mean average precision)等評價指標(biāo)評估算法的性能。準(zhǔn)確率VP表示被預(yù)測為正的樣本中實際為正樣本的概率,見式(7),其中TP代表真正例,FP代表假正例。召回率VR表示正的樣本中被預(yù)測為正樣本的概率,見式(8),其中FN代表假反例。平均精度均值VmAP是數(shù)據(jù)集中所有類別的平均精度的均值,見式(9)。

        (7)

        (8)

        (9)

        3.4 實驗結(jié)果與分析

        訓(xùn)練過程中標(biāo)準(zhǔn)YOLOv5算法和本文改進算法的邊框回歸損失和置信度損失對比曲線見圖10,其橫坐標(biāo)為訓(xùn)練次數(shù),縱坐標(biāo)為Loss值。從圖10(a)可看出,改進YOLOv5算法比標(biāo)準(zhǔn)YOLOv5算法收斂速度更快。從圖10(b)可看出,在25次迭代后改進YOLOv5算法的損失值小于標(biāo)準(zhǔn)YOLOv5算法的損失值??梢?改進YOLOv5算法最終的損失值要小于標(biāo)準(zhǔn)YOLOv5算法的損失值。

        (a)邊框回歸損失

        (b)置信度損失

        3.5 對比實驗結(jié)果分析

        消融實驗結(jié)果如表2所示,以YOLOv5為標(biāo)準(zhǔn)算法增加改進點,其中改進點1是減少主干網(wǎng)絡(luò)C3模塊的數(shù)量,改進點2是加入坐標(biāo)注意力機制,改進點3是優(yōu)化邊框回歸損失函數(shù)。

        表2 消融實驗結(jié)果

        由表2可知,在標(biāo)準(zhǔn)YOLOv5算法的基礎(chǔ)上進行改進,得到的優(yōu)化算法在準(zhǔn)確率、召回率和平均精度均值上都有不同程度的提升。將改進點同時作用到標(biāo)準(zhǔn)YOLOv5算法時,準(zhǔn)確率提升了0.59%,召回率提升了1.93%,平均精度均值提升了0.36%。實驗結(jié)果表明,改進點1、改進點2、改進點3的共同優(yōu)化使得YOLOv5算法能更加準(zhǔn)確地定位和識別落葉,整體提高落葉的檢測性能。

        3.6 檢測結(jié)果

        從測試機中隨機選擇圖片進行測試,檢測結(jié)果如圖11所示。其中圖11(a)表示標(biāo)準(zhǔn)YOLOv5算法檢測結(jié)果,圖11(b)至(d)分別表示改進點1、改進點2、改進點3的檢測結(jié)果,圖11(e)表示完全改進后算法檢測結(jié)果。對比可以看出,標(biāo)準(zhǔn)YOLOv5算法檢測存在不少漏檢的情況,改進點2、改進點3能較好地解決部分漏檢,但當(dāng)落葉在光伏組件邊框附近時仍無法被準(zhǔn)確檢測出來,而改進點1能較好地檢測到位于光伏組件邊框附近的落葉,完全改進后算法檢測結(jié)果的整體置信度和效果均要高于標(biāo)準(zhǔn)YOLOv5算法。

        中間特征圖比較結(jié)果見圖12,對比圖12(c)(e)和(d)(f)可以看出,減少C3模塊數(shù)量后特征圖中落葉的邊緣輪廓更加清晰,保留了輸入圖像中較多的高頻信息提取了更多的淺層信息;加入坐標(biāo)注意力機制后抑制背景等無關(guān)信息,特征圖中落葉與背景光伏組件的對比度得到提高,因此完全改進后算法落葉檢測的置信度高于標(biāo)準(zhǔn)YOLOv5算法。

        (a)輸入圖像

        (b)標(biāo)注圖

        (c)原算法P/2特征圖

        (d)改進后算法P/2特征圖

        (e)原算法P/4特征圖

        (f)改進后算法P/4特征圖

        (g)原算法P/8特征圖

        (h)改進后算法P/8特征圖

        (i)原算法P/16特征圖

        (j)改進后算法P/16特征圖

        (k)原算法P/32特征圖

        (l)改進后算法P/32特征圖

        4 結(jié)論

        本文在標(biāo)準(zhǔn)YOLOv5的基礎(chǔ)上,分別從輸入端偏振度圖像、特征提取網(wǎng)絡(luò)、坐標(biāo)注意力機制、損失函數(shù)四個方面進行改進,有效地增強了YOLOv5網(wǎng)絡(luò)模型對小目標(biāo)物體的檢測精度。運用改進后算法在自建數(shù)據(jù)集上進行大量實驗,實驗結(jié)果表明,在準(zhǔn)確率、召回率、平均精度均值上分別提升了0.59%、1.93%、0.36%。

        猜你喜歡
        特征檢測信息
        “不等式”檢測題
        “一元一次不等式”檢測題
        “一元一次不等式組”檢測題
        如何表達“特征”
        不忠誠的四個特征
        抓住特征巧觀察
        訂閱信息
        中華手工(2017年2期)2017-06-06 23:00:31
        小波變換在PCB缺陷檢測中的應(yīng)用
        展會信息
        中外會展(2014年4期)2014-11-27 07:46:46
        線性代數(shù)的應(yīng)用特征
        河南科技(2014年23期)2014-02-27 14:19:15
        人妻系列无码专区久久五月天| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 91精品人妻一区二区三区久久久| 久久久亚洲熟妇熟女av| 人成午夜大片免费视频77777| 国产精品日本一区二区在线播放| 边喂奶边中出的人妻| 天天弄天天模| 久久精品国产自清天天线| 日韩在线观看你懂的| 男人阁久久| 亚洲视频在线观看青青草| 国产高清在线精品一区不卡| 中文字幕乱码亚洲在线| av在线观看一区二区三区| 精品国产第一国产综合精品| 4hu四虎永久在线观看 | 国产三级在线观看免费| 国产av成人精品播放| 亚洲av永久无码精品水牛影视| 亚洲中文字幕高清乱码毛片| 久久国产精品色av免费看| 日本一区二区三级在线观看| 欧美人与禽z0zo牲伦交| 日本亚洲色大成网站www久久| 少妇人妻偷人精品无码视频| 亚洲精品6久久久久中文字幕| 精品一区二区三区中文字幕在线| 亚洲av色香蕉一区二区三区av| 国产一区二区三区不卡在线观看| 欧美 日韩 人妻 高清 中文| 在线不卡av片免费观看| 调教在线播放黄| 亚洲熟女国产熟女二区三区| 国产爽快片一区二区三区| 欧美不卡一区二区三区| 中文无码乱人伦中文视频在线v| 亚洲依依成人综合在线网址| 久9热免费精品视频在线观看| 一区二区三区在线观看视频| 日本系列有码字幕中文字幕|