亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于改進Faster R-CNN模型的櫻桃缺陷檢測

        2021-11-17 13:29:56裴悅琨姜艷超周品志張永飛
        食品與機械 2021年10期
        關(guān)鍵詞:特征檢測信息

        魏 冉 裴悅琨 姜艷超 周品志 張永飛

        (1.大連大學(xué)遼寧省北斗高精度位置服務(wù)技術(shù)工程實驗室,遼寧 大連 116622;2.大連大學(xué)大連市環(huán)境感知與智能控制重點實驗室,遼寧 大連 116622)

        中國櫻桃種植面積已居世界首位。但由于水果產(chǎn)后處理技術(shù)不完善,導(dǎo)致新鮮的櫻桃不能及時進行分級分揀,影響出口銷售[1]。

        表面缺陷是果品分級分揀的重要影響因子[2]。傳統(tǒng)的果品缺陷檢測技術(shù)通常是在果品采收后依靠人工分類,效率低、工作量大。目前,機器視覺中用于缺陷識別的方法可分為光譜成像、機器學(xué)習(xí)、圖像處理和深度學(xué)習(xí)四大類。Siedliska等[3]采用VNIR高光譜成像實現(xiàn)了櫻桃核的無損檢測,精度達96%,但該技術(shù)存在特征波段的選擇和準(zhǔn)確性不穩(wěn)定等缺點。Zawbaa等[4]將經(jīng)尺度不變特征變換(SIFT)提取的算子輸入隨機森林(RF)識別蘋果,精度達96.97%,這種將圖像處理提取的特征結(jié)合機器學(xué)習(xí)分類器(如 Adaboost[5]、SVM[6]、DPM[7]等)進行分類的算法,受環(huán)境影響較大,且設(shè)計的表征模型具有針對性。裴悅琨等[8]基于卷積神經(jīng)網(wǎng)絡(luò)設(shè)計的櫻桃缺陷識別方法精度達到97.99%,但并不能定位到果品的位置。

        基于以上檢測技術(shù)的缺點,國內(nèi)外學(xué)者逐漸將果品識別的研究熱點轉(zhuǎn)向了基于深度學(xué)習(xí)的目標(biāo)檢測算法,更加關(guān)注圖像的局部區(qū)域和特定的物體類別,并應(yīng)用于多個領(lǐng)域[9-12]。Bargot等[13]使用Faster R-CNN檢測果園中的水果;Villacrés等[14]采用Faster R-CNN檢測真實果園中的櫻桃數(shù)量;Vasconez等[15]使用Faster R-CNN實現(xiàn)了不同田間條件下的水果追蹤和計數(shù)工作;但該算法在櫻桃缺陷識別中的研究尚未見報道。文章擬基于Faster R-CNN對櫻桃缺陷特征進行檢測,針對小目標(biāo)易誤檢、漏檢的問題,對原始網(wǎng)絡(luò)算法進行改進。采用表征能力較強的ResNet50[16]作為特征網(wǎng)絡(luò),代替原始的VGG16主干網(wǎng)絡(luò);不同于傳統(tǒng)的單特征圖預(yù)測,采用特征金字塔FPN[17]融合深淺層次網(wǎng)絡(luò),實現(xiàn)多尺度預(yù)測,并結(jié)合遷移學(xué)習(xí)初始模型權(quán)重;提出結(jié)合注意力機制SENet、SKNet,用于加強關(guān)鍵特征信息的學(xué)習(xí),增強模型魯棒性,建立櫻桃缺陷檢測模型,方便自動化處理程序根據(jù)返回的定位信息完成櫻桃的分配操作,為后期實現(xiàn)自動化缺陷檢測提供一定的理論基礎(chǔ)與技術(shù)支持。

        1 櫻桃數(shù)據(jù)集的構(gòu)建

        數(shù)據(jù)采集于遼寧省大連市金州區(qū)果園的櫻桃,基于實驗室分揀原型設(shè)備構(gòu)建用于櫻桃缺陷檢測的數(shù)據(jù)集,主要包括數(shù)據(jù)采集及增強、數(shù)據(jù)分類及標(biāo)注。

        1.1 數(shù)據(jù)采集及增強

        櫻桃數(shù)據(jù)品種為美早,將采集到的果體置于模擬分揀環(huán)境下獲取樣本。每次采集前在滾輪間放置多個不同類別的櫻桃,轉(zhuǎn)動齒輪使樣本數(shù)據(jù)盡量多地涵蓋果體各個面的特征,通常一張樣本圖中包含1~10個櫻桃。圖像像素為2 046×1 080,格式為JPG。為降低過擬合造成的試驗誤差,采用旋轉(zhuǎn)、隨機裁剪、翻轉(zhuǎn)、平移,調(diào)整亮度、色度、飽和度、對比度和銳度等數(shù)據(jù)增強技術(shù)擴充樣本數(shù)據(jù)集。

        1.2 數(shù)據(jù)分類及標(biāo)注

        共獲取10 000張櫻桃樣本集,根據(jù)其生長缺陷分為裂口、雙生、刺激生長、霉變、褐變腐爛和完好6種類別(見圖1)。優(yōu)等果果體完好,可投入水果貿(mào)易市場;裂口、雙生和刺激生長類型的次等果依然可以繼續(xù)銷售,價格低于優(yōu)等果;霉變和褐變腐爛果應(yīng)及時剔除,避免流入市場。

        圖1 6類櫻桃樣本圖

        選擇LabelImg工具對圖像進行標(biāo)注,并將標(biāo)注信息以PASCAL VOC的格式保存為XML文件。隨機選擇樣本的80%作為訓(xùn)練集,20%作為測試集,如圖2所示。

        圖2 櫻桃樣本種類及數(shù)量

        2 研究方法及模型

        Faster R-CNN[18]是深度學(xué)習(xí)目標(biāo)檢測中典型的兩階段檢測模型,主要包括特征網(wǎng)絡(luò)、RPN網(wǎng)絡(luò)、Roi Pooling層、分類和回歸網(wǎng)絡(luò)。模型先通過特征網(wǎng)絡(luò)獲得特征圖,利用RPN生成精細(xì)的候選框,與特征圖映射后得到局部特征層,傳入Roi Pooling完成池化后,輸入分類和回歸網(wǎng)絡(luò),最終得到目標(biāo)的類別和位置信息?;贔aster R-CNN的櫻桃缺陷檢測過程如圖3所示。

        圖3 基于Faster R-CNN的櫻桃缺陷檢測過程

        2.1 特征提取網(wǎng)絡(luò)

        基于ResNet50的殘差模塊包含Identity Block和Conv Block兩種結(jié)構(gòu)(見圖4)。Identity Block模塊的輸入和輸出向量的維度相同,可直接通過串聯(lián)加深網(wǎng)絡(luò),學(xué)習(xí)深層次的語義信息。Conv Block模塊的輸入和輸出向量的維度不同,需執(zhí)行1×1的卷積來匹配維度。

        圖4 Identity Block和Conv Block殘差結(jié)構(gòu)

        文章主要研究ResNet50作為特征網(wǎng)絡(luò)在櫻桃缺陷檢測中的表現(xiàn)效果,替代了原始框架中的VGG16,ResNet50由1個卷積層、1個全連接層和4組殘差模塊構(gòu)成,每組分別有3,4,6,3個block,每個block有3個卷積層(見圖5)。

        圖5 ResNet50結(jié)構(gòu)圖

        2.2 RPN

        RPN主要采用端到端的訓(xùn)練方式生成區(qū)域候選框,代替了原始的滑動窗口法和SS算法,極大地提高了檢測框的生成速度。

        RPN網(wǎng)絡(luò)訓(xùn)練時產(chǎn)生的損失函數(shù)由分類損失Lcls和回歸損失Lreg兩部分組成。模型的訓(xùn)練損失函數(shù)為:

        (1)

        (2)

        (3)

        ti=(tx,ty,tw,th),

        (4)

        (5)

        式中:

        i——依次遍歷RPN網(wǎng)絡(luò)生成的第i個邊界框;

        pi——第i個anchor預(yù)測為真實標(biāo)簽的概率;

        Ncls——一個batch中anchor的數(shù)目;

        Nreg——anchor位置的個數(shù);

        λ——兩部分損失的調(diào)和因子;

        ti——第i個邊界框的預(yù)測參數(shù);

        smoothL1——平滑函數(shù)。

        2.3 網(wǎng)絡(luò)的改進方法

        選用Faster R-CNN作為櫻桃缺陷檢測的模型,針對果體的缺陷特征,對該框架進行改進,以提高模型檢測精度。

        2.3.1 特征金字塔FPN 主干網(wǎng)絡(luò)前向傳播得到的最后一層共享特征圖,語義信息豐富,但圖像分辨率降低,丟失了大量的細(xì)節(jié)信息,易造成小目標(biāo)難檢問題;而淺層特征圖分辨率較高,具備大量的細(xì)節(jié)信息,目標(biāo)定位較精準(zhǔn)。因此,尺度差異一直是目標(biāo)檢測領(lǐng)域的研究熱點[19]。文章采取一種將局部和全局信息相結(jié)合的方法,構(gòu)建特征金字塔FPN,實現(xiàn)多尺度特征圖的融合和預(yù)測,在無明顯計算負(fù)擔(dān)的情況下增強特征的表達能力,以提高對小目標(biāo)的檢測精度。

        通過FPN得到的多特征映射,利用自頂向下和橫向連接,將上層的特征圖經(jīng)上采樣后與下一層特征圖進行融合[20],對不同深度的目標(biāo)實行多尺度預(yù)測,最終得到的新特征向量被送入全連接層執(zhí)行分類和回歸任務(wù)。融合后的特征向量同時具備了深層次的高語義信息和淺層次的細(xì)節(jié)信息,能改善對小目標(biāo)的檢測效果,其網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

        圖6 ResNet50融合FPN結(jié)構(gòu)示意圖

        2.3.2 注意力機制SENet SENet[21]是在特征圖的通道維度上增加注意力機制,在每個通道信號上增加一個權(quán)重以表示其與關(guān)鍵信息的相關(guān)性,從而篩選出重要信息,使模型加強關(guān)鍵特征,抑制無用特征。

        如圖7(a)所示,在ResNet中嵌入SE模塊,對分支上的殘差模塊特征進行特征重標(biāo)定。先對分支上的輸入值執(zhí)行全局池化操作Squeeze(Fsq),如式(6)所示,將維度特征降至一維,然后利用Excitation(Fex)操作預(yù)測每個通道的重要性,結(jié)合非線性激活ReLU擬合通道間的依賴關(guān)系,再利用Sigmoid歸一化權(quán)重,最后執(zhí)行Scale(Fscale)操作將權(quán)重值與原始特征通道加權(quán),從而使神經(jīng)網(wǎng)絡(luò)重點關(guān)注權(quán)重大的通道,提高模型檢測效率。

        (6)

        2.3.3 注意力機制SKNet SKNet[22]是在卷積核上增加注意力機制,同時考慮了通道和卷積的權(quán)重,針對不同圖像動態(tài)地生成不同尺寸的卷積核,使網(wǎng)絡(luò)自主選擇合適的卷積核,獲取不同感受野的信息,增強模型魯棒性。

        如圖7(b)所示,其操作過程主要包括:

        圖7 SE-ResNet模塊和SK-ResNet模塊

        (1)Split:為了提升精度,對輸入的特征圖X(C×H×W)使用不同大小的卷積核執(zhí)行Convolutions+Batch Normalization+ReLU運算,X被分成兩條(或多條)分支F1:X→U1∈H×W×C,F(xiàn)2:X→U2∈H×W×C。

        (2)Fuse:利用Add操作整合所有分支的信息:Uc=U1+U2,特征圖U融合了多個不同的感受野信息,然后利用全局平均池化操作嵌入全局信息,如式(7)所示。

        (7)

        式中:

        sc——s的第c個元素(代表每個通道的重要程度)。

        對1×1×C的s向量用一個全連接層進行線性變換,得到信息z(1×1×Z),如式(8)所示,再對每個分支使用線性變換,將Z維恢復(fù)到C維向量,以預(yù)測不同組卷積的注意力因素。

        z=Ffc(s)=δ[BN(Ws)],

        (8)

        式中:

        z∈d×1;

        δ——ReLU函數(shù);

        BN——批標(biāo)準(zhǔn)化;

        W∈d×C;

        r——壓縮因子;

        L——d的最小值。

        (3)Select:對分支進行歸一化,先將通道分?jǐn)?shù)與U1、U2相乘得到A1、A2,再將分支融合得到向量V,V相對于U融合了多個感受野信息。最終的特征映射V如式(9)和式(10)所示(其中e為自然數(shù))。

        Vi=ai×A1+bi×A2,

        (9)

        (10)

        式中:

        a、b——Select的2個權(quán)重矩陣;

        Ai、Bi——A、B的第i行(A,B∈C×d);

        ai、bi——a、b的第i個元素(ai+bi=1)。

        特征圖循環(huán)經(jīng)過殘差注意力機制后執(zhí)行FPN多尺度預(yù)測,傳入RPN與候選信息相映射,最后執(zhí)行分類和回歸任務(wù)。由于SKNet采用不同的卷積核,可以自適應(yīng)地調(diào)整自身的感受野,因此比SENet更加細(xì)膩,具有更高的精度。改進后的Faster R-CNN模型如圖8所示。

        圖8 改進后的Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)圖

        3 試驗與結(jié)果

        3.1 試驗配置

        如圖9所示,基于深度學(xué)習(xí)的櫻桃缺陷檢測系統(tǒng)硬件由模擬流水線環(huán)境和電腦配置兩部分組成。模擬流水線環(huán)境配置用于獲取櫻桃數(shù)據(jù)集,電腦配置部分用于對數(shù)據(jù)集進行處理。

        (1)工業(yè)化環(huán)境配置:照明系統(tǒng)、CMOS攝像機(acA2000-50g型)、鏡頭[M1614-MP29(CH)3型號]、POE千兆網(wǎng)卡(LR5M千兆網(wǎng)卡型號)和傳送齒輪等。

        (2)電腦配置:臺式電腦,GeForceGTX3080顯卡,單GPU10G顯存;Inter(R)Core(TM)i9-10900K處理器,32 G內(nèi)存,頻率DDR43000,基于PyCharm的Python編程語言,Windows-Sever 2019、64位操作系統(tǒng),采用Pytorch深度學(xué)習(xí)框架。

        3.2 模型訓(xùn)練

        在數(shù)據(jù)集Microsoft COCO預(yù)訓(xùn)練權(quán)重的基礎(chǔ)上,采用遷移學(xué)習(xí)初始化權(quán)重參數(shù),降低深度學(xué)習(xí)模型訓(xùn)練的難度?;贔aster R-CNN,模型所采用的特征網(wǎng)絡(luò)為ResNet50,輸入圖片的大小歸一化為300像素×300像素,采用隨機梯度法訓(xùn)練網(wǎng)絡(luò),動量設(shè)為0.9,學(xué)習(xí)率初始化為0.005,權(quán)重衰減因子為0.000 5,迭代次數(shù)為100,每訓(xùn)練5步以0.33倍速降低學(xué)習(xí)率值。訓(xùn)練時采用的batchsize大小為8,IoU值為0.5。

        3.3 模型評價指標(biāo)

        為衡量試驗?zāi)P蛯鉀Q櫻桃缺陷識別的有效性,采用深度學(xué)習(xí)領(lǐng)域常用的衡量指標(biāo)平均AP值(mAP)、F1值和每秒幀率(FPS)評價模型性能。

        mAP是所有類別平均精度AP的平均值,取值區(qū)間為[0,1],AP是由精確率P和召回率R繪制而成的曲線面積。F1綜合了P和R兩個指標(biāo),其計算為:

        (11)

        (12)

        (13)

        (14)

        (15)

        式中:

        TP——真正例;

        FP——假正例;

        FN——假反例;

        N——類別數(shù);

        AP(i)——第i類目標(biāo)的AP值。

        指標(biāo)每秒幀率(FPS)用于評估模型對圖片的處理速度,即每秒鐘識別的圖片數(shù)目。

        3.4 櫻桃缺陷檢測結(jié)果及分析

        為了更全面理解試驗方法對檢測結(jié)果的影響,通過對櫻桃缺陷數(shù)據(jù)集采用多種策略進行實驗驗證。先探究主干網(wǎng)絡(luò)ResNet50對試驗結(jié)果的影響。為避免試驗其他元素對結(jié)果的作用,在保證模型參數(shù)一致的前提下,對比特征網(wǎng)絡(luò)為VGG16、MobileNet-V2和ResNet50的3種檢測模型,試驗結(jié)果見表1。

        由表1可知,將原始的VGG16替換為MobileNet V2和ResNet50后,mAP指標(biāo)分別提升了5.89%,11.85%,F(xiàn)1值分別提升了4%,8%。網(wǎng)絡(luò)ResNet50的mAP、F1值均高于其他網(wǎng)絡(luò),說明其殘差結(jié)構(gòu)在試驗中具有優(yōu)越性和較強的表征能力?;赗esNet50的目標(biāo)模型雖然在雙生、刺激生長、完好這3類較大尺度的目標(biāo)上檢測結(jié)果較好,但對于裂口、霉變、褐變腐爛這種小目標(biāo)的檢測精度有待提高,識別能力相對較弱。

        在正常光線下,基于ResNet50的Faster R-CNN能識別出特征明顯的果體,但由于雙生與刺激生長、霉變與褐變腐爛兩兩之間的相似特征造成檢測效果較弱,未被正確識別,對裂口也易造成誤檢漏檢,為了提高對小目標(biāo)的檢測精度,同時緩解由于網(wǎng)絡(luò)層數(shù)的增多而帶來的目標(biāo)特征丟失現(xiàn)象,引入FPN進行多尺度預(yù)測,為加快訓(xùn)練速度,采用遷移學(xué)習(xí)初始化試驗?zāi)P蜋?quán)重。

        由表2可知,對特征網(wǎng)絡(luò)采用基于特征融合的多尺度預(yù)測后,模型對所有類別的檢測均有正向促進作用,尤其對霉變、褐變腐爛、裂口和刺激生長的改善效果明顯,AP值分別提高了18.13%,9.49%,9.21%,9.06%,對于完好和雙生果的精度也分別提高了0.69%,0.64%,模型mAP值提升了7.86%,證明了融合多尺度特征層更能獲得較準(zhǔn)確的物體信息,提高小目標(biāo)檢測精度。融合FPN后,試驗?zāi)P蛯τ谛∧繕?biāo)誤檢、漏檢現(xiàn)象得到了明顯改善,且對各種缺陷的檢測精度均值達到99%,說明結(jié)合FPN的策略是有效的。

        表2 櫻桃測試集上不同改進策略對比

        在上述改進策略后的基準(zhǔn)網(wǎng)絡(luò)上分別引入SENet、SKNet模塊,模型mAP值分別繼續(xù)提升了0.14%,0.48%,且注意力機制模塊參數(shù)少、計算快,改進前后并未對模型帶來明顯的網(wǎng)絡(luò)負(fù)擔(dān),證明了注意力機制在圖像檢測任務(wù)中的有效性。不同改進策略模型的Eval mAP和改進前后模型損失分別見圖10和圖11。

        圖10 不同優(yōu)化策略模型Eval mAP圖

        圖11 模型損失對比圖

        為了更好地證明試驗方法的優(yōu)越性,將改進的Faster R-CNN模型與其他基于深度學(xué)習(xí)的檢測算法進行對比,結(jié)果見表3和表4。

        由表3和表4可知,在各類物體的檢測結(jié)果上,試驗改進后的模型優(yōu)于其他典型的深度學(xué)習(xí)檢測方法,相比于SSD、YOLO V3、YOLO V4具有較高的檢測性能,mAP值分別提升了5.53%,4.64%,4.02%,F(xiàn)PS值為31.16幀/s。與文獻[8]檢測方法相比,試驗缺陷果檢測精度稍高,檢測速度為311個/s,遠高于文獻[8]。說明改進后的模型算法表現(xiàn)出了實際應(yīng)用的穩(wěn)定性,檢測耗時在可接受的范圍內(nèi),證明了試驗方法的可行性。

        表3 櫻桃測試集上不同檢測算法的對比

        表4 櫻桃缺陷種類識別結(jié)果對比

        4 結(jié)語

        為實現(xiàn)櫻桃智能識別分級分揀,建立了基于Faster R-CNN的櫻桃缺陷檢測模型,主要解決了小目標(biāo)易誤檢、漏檢的問題。主干網(wǎng)絡(luò)采用具有強特征提取能力的ResNet50,結(jié)合多尺度特征融合與預(yù)測的方式,提高了對小目標(biāo)區(qū)域的表征提取,以此更匹配試驗對象。采取主干網(wǎng)絡(luò)融合注意力機制的優(yōu)化方式,引導(dǎo)模型關(guān)注方向,提高了模型檢測精度。采用改進策略后的Faster R-CNN模型對缺陷、完好果的識別精度分別為98.13%,98.80%,通過與其他方法的對比,驗證了改進后的Faster R-CNN對于櫻桃缺陷識別具有高精度和可靠的實時性優(yōu)勢,能夠滿足流水線櫻桃缺陷檢測工程的精準(zhǔn)識別,但模型參數(shù)龐大,增加了內(nèi)存開銷,檢測速度有待提高,故后續(xù)擬研究輕量級深度網(wǎng)絡(luò)模型,在保證高精度的同時增強實時性檢測。

        猜你喜歡
        特征檢測信息
        “不等式”檢測題
        “一元一次不等式”檢測題
        “一元一次不等式組”檢測題
        如何表達“特征”
        不忠誠的四個特征
        抓住特征巧觀察
        訂閱信息
        中華手工(2017年2期)2017-06-06 23:00:31
        小波變換在PCB缺陷檢測中的應(yīng)用
        展會信息
        中外會展(2014年4期)2014-11-27 07:46:46
        線性代數(shù)的應(yīng)用特征
        河南科技(2014年23期)2014-02-27 14:19:15
        黄片免费观看视频播放| 亚洲无码图| 亚洲一区亚洲二区中文字幕| 国内精品免费一区二区三区| 亚洲国产成人影院在线播放| 午夜成人理论无码电影在线播放| 蜜桃网站在线免费观看视频| 虎白m粉嫩小在线播放| 久久综合丝袜日本网| 国产福利免费看| 日本午夜理伦三级好看| 自拍偷拍 视频一区二区| 国产成人精品无码一区二区老年人 | 粉嫩小泬无遮挡久久久久久| 丰满熟女人妻中文字幕免费| 青青草视频华人绿色在线| 少妇人妻av一区二区三区| 亚洲精品久久激情国产片| 亚洲老妇色熟女老太| 久久亚洲av成人无码软件| 久久精品国产亚洲av天美| 麻豆免费观看高清完整视频 | 欧美极品美女| 国产亚洲一区二区三区夜夜骚| 男人天堂亚洲天堂av| 少妇仑乱a毛片| 国产精品三级一区二区按摩| 极品新娘高清在线观看| 日韩欧美在线综合网另类| 处破痛哭a√18成年片免费| AV无码专区亚洲AVL在线观看| 国产综合开心激情五月| 在线 | 一区二区三区四区| 免费看奶头视频的网站| 美利坚亚洲天堂日韩精品| 波多野结衣不打码视频| 久久久久久久99精品国产片| 日韩在线手机专区av| 国产av一区二区三区性入口| 免费观看黄网站在线播放| 成人国产精品高清在线观看|