亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于深度學(xué)習(xí)的車載導(dǎo)航導(dǎo)光板表面缺陷檢測(cè)研究

        2022-03-07 02:21:25王昊李俊峰
        軟件工程 2022年3期
        關(guān)鍵詞:深度學(xué)習(xí)

        王昊 李俊峰

        摘? 要:針對(duì)車載導(dǎo)航導(dǎo)光板表面缺陷像素值分布不均且普遍較小、背景復(fù)雜多變等特點(diǎn),提出了基于改進(jìn)掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Mask Region-based Convolutional Neural Network, Mask R-CNN)模型檢測(cè)車載導(dǎo)航導(dǎo)光板表面缺陷的檢測(cè)方法。首先,引入PinFPN模塊改進(jìn)原有Mask R-CNN的特征融合網(wǎng)絡(luò),充分利用高低語義信息構(gòu)成各級(jí)語義、位置信息兼?zhèn)涞墓蚕硖卣鲗?,提升整體網(wǎng)絡(luò)的檢測(cè)精度;其次,通過引入跳層連接結(jié)構(gòu)和SE(Sequence and Excitation)模塊對(duì)網(wǎng)絡(luò)的分割分支進(jìn)行改進(jìn),改善了傳統(tǒng)Mask R-CNN網(wǎng)絡(luò)語義信息獲取不充分的問題;最后,通過在自建的車載導(dǎo)航導(dǎo)光板數(shù)據(jù)集上的一系列實(shí)驗(yàn)對(duì)比,證明了本方法在檢測(cè)精度和分割上的優(yōu)勢(shì),在自建數(shù)據(jù)集上的檢測(cè)準(zhǔn)確率達(dá)到了95.3%,滿足工業(yè)檢測(cè)的要求。

        關(guān)鍵詞:缺陷檢測(cè);深度學(xué)習(xí);Mask R-CNN;多尺度融合;SE模塊

        中圖分類號(hào):TP273? ? ?文獻(xiàn)標(biāo)識(shí)碼:A

        Research on Surface Defect Detection of Vehicle Navigation Light

        Guide Plate based on Deep Learning

        WANG Hao, LI Junfeng

        (School of Mechanical and Automatic Control, Zhejiang Sci-Tech University, Hangzhou 310018, China)

        2426028009@qq.com; ljf2003@zstu.edu.cn

        Abstract: Aiming at the uneven and generally small pixel value distribution and changeable background of surface defects of vehicle navigation light guide plate, this paper proposes a detection method for surface defects of vehicle navigation light guide plate based on improved Mask Region-based Convolutional Neural Network (Mask R-CNN) model. Firstly, PinFPN module is introduced to improve the feature fusion network of the original Mask R-CNN, and high and low semantic information is fully used to form a shared feature layer with both semantic and location information at all levels, so to improve the detection accuracy of the overall network. Secondly, the introduction of skip connection structure and SE (Sequence and Excitation) module improves segmentation branches of the network and insufficient acquisition of semantic information in traditional Mask R-CNN network. Finally, a series of comparative experiments are performed on the self-built data set of the vehicle navigation light guide plate, which proves that the proposed method has the advantages in detection accuracy and segmentation. The detection accuracy on the self-built data set reaches 95.3%, which meets the requirements of industrial detection.

        Keywords: defect detection; deep learning; Mask R-CNN; multi-scale fusion; SE module

        1? ?引言(Introduction)

        導(dǎo)光板(LGP)是顯示器背光模組的重要組成部分,被廣泛應(yīng)用于車載和手機(jī)液晶屏中,其質(zhì)量好壞直接決定了液晶屏成像的品質(zhì)效果。然而,在導(dǎo)光板生產(chǎn)加工過程中由于原材料、生產(chǎn)工藝及人為等因素,不可避免地會(huì)出現(xiàn)點(diǎn)壓傷、線劃傷、臟污等缺陷,嚴(yán)重影響了用戶使用。因此,各大面板廠商都必須在出廠前完成缺陷檢測(cè)工作。但由于車載導(dǎo)航導(dǎo)光板背景紋理復(fù)雜、缺陷細(xì)微等特點(diǎn),傳統(tǒng)的人工提取特征后分類的方法[1-3],需要針對(duì)不同種類缺陷設(shè)計(jì)特定的檢測(cè)方法且受光照等因素影響較大,導(dǎo)致算法穩(wěn)定性較差,因此并不可行。

        近年來,深度學(xué)習(xí)算法廣泛應(yīng)用于圖像處理領(lǐng)域,如目標(biāo)檢測(cè)與實(shí)例分割,可以獲取圖像中的感興趣目標(biāo)的位置、類別信息甚至具體輪廓,非常適合工業(yè)場(chǎng)景中的缺陷檢測(cè)任務(wù)。一些典型的目標(biāo)檢測(cè)算法如Faster R-CNN[4]、SPP-Net[5]、TDDNet[6]、YOLO系列網(wǎng)絡(luò)[7-10]等被陸續(xù)應(yīng)用于各種工業(yè)場(chǎng)景,包括磁瓦[11]、鋁型材[12]、表面鋼材[13-14]等領(lǐng)域。李維剛等[15]提出的基于改進(jìn)的YOLOv3實(shí)現(xiàn)帶鋼表面缺陷檢測(cè),其主要改進(jìn)在于提出了加權(quán)K-means聚類算法,優(yōu)化先驗(yàn)框參數(shù),融合淺層和深層的特征,生成更大尺度檢測(cè)圖層,在NEU-DET數(shù)據(jù)集上平均準(zhǔn)確率達(dá)到80%。張曉等[16]通過改進(jìn)Faster R-CNN實(shí)現(xiàn)設(shè)備的定位檢測(cè)工作,其主要改進(jìn)在于引入了注意力機(jī)制,調(diào)整了初始錨框并改進(jìn)了對(duì)錨框的融合方式,檢測(cè)精度與收斂速度都有較大提升。李海培[17]設(shè)計(jì)了一種改進(jìn)的Fast R-CNN的鋼軌表面缺陷檢測(cè)方法,提出一種基于灰度垂直投影法完成了軌面區(qū)域提取,并改進(jìn)網(wǎng)絡(luò)訓(xùn)練策略,檢測(cè)精度與實(shí)時(shí)性都有較大提升。CHEN等[18]利用SSD、YOLO等網(wǎng)絡(luò)來定位緊固件,并對(duì)目標(biāo)檢測(cè)網(wǎng)絡(luò)獲取的緊固件圖片進(jìn)行裁剪,最后利用分類網(wǎng)絡(luò)確定緊固件是否缺失。但以上缺陷檢測(cè)方法僅僅完成了對(duì)缺陷位置和類別信息的提取,忽略了缺陷形狀及語義信息的重要性,僅僅能夠做到缺陷檢出,但后續(xù)為了將缺陷信息反饋到生產(chǎn)線以改進(jìn)生產(chǎn)工藝,單純的目標(biāo)檢測(cè)網(wǎng)絡(luò)并不能滿足要求。

        針對(duì)這一情況,本文提出一種基于改進(jìn)Mask R-CNN的車載導(dǎo)航導(dǎo)光板缺陷檢測(cè)方法。首先,引入PinFPN模塊改進(jìn)原有Mask R-CNN的特征融合網(wǎng)絡(luò),充分利用高低語義信息構(gòu)成各級(jí)語義、位置信息兼?zhèn)涞墓蚕硖卣鲗樱嵘w網(wǎng)絡(luò)的檢測(cè)精度;其次,通過引入跳層連接結(jié)構(gòu)和SE(Sequence and Excitation)模塊對(duì)網(wǎng)絡(luò)的分割分支進(jìn)行改進(jìn),改善了傳統(tǒng)Mask R-CNN網(wǎng)絡(luò)語義信息獲取不充分的問題,實(shí)現(xiàn)對(duì)車載導(dǎo)航導(dǎo)光板缺陷的高效檢測(cè)與分割,并通過一系列對(duì)比實(shí)驗(yàn)進(jìn)行驗(yàn)證,證明了改進(jìn)的Mask R-CNN網(wǎng)絡(luò)應(yīng)用于車載導(dǎo)航導(dǎo)光板缺陷分割和檢測(cè)任務(wù)的有效性。

        2? 改進(jìn)Mask R-CNN檢測(cè)算法(Improved Mask R-CNN detection algorithm)

        2.1? ?改進(jìn)Mask R-CNN網(wǎng)絡(luò)

        Mask R-CNN是由HE等人[19]在2017 年提出的一種目標(biāo)檢測(cè)與實(shí)例分割框架,因其既能識(shí)別出目標(biāo)的位置與類別信息,又可以生成目標(biāo)的一個(gè)高質(zhì)量mask而備受歡迎。Mask R-CNN實(shí)際上相當(dāng)于是對(duì)Faster R-CNN的進(jìn)一步拓展,相對(duì)于Faster R-CNN,其具體改進(jìn)如下:

        (1)使用RoIAlign代替了RoIPooling,解決了因RoIPooling導(dǎo)致特征圖與原始圖像無法對(duì)準(zhǔn)的問題,使檢測(cè)精度大幅提升,RoIAlign可以基本保留目標(biāo)空間位置信息,實(shí)現(xiàn)像素級(jí)別的對(duì)準(zhǔn);

        (2)Mask R-CNN在Faster R-CNN的基礎(chǔ)上增加了一個(gè)分割分支,使其能夠在原有目標(biāo)檢測(cè)的基礎(chǔ)上進(jìn)一步實(shí)現(xiàn)對(duì)目標(biāo)的實(shí)例分割任務(wù)。

        Mask R-CNN模型主要包括以下四個(gè)模塊。模塊1:主干特征提取網(wǎng)絡(luò)(ResNet101)和特征融合網(wǎng)絡(luò)即特征金字塔(Feature Pyramid Networks, FPN)生成公共特征層;模塊2:RPN(Region Proposal Network)網(wǎng)絡(luò)提取感興趣區(qū)域并生成候選框;模塊3:將由RPN生成的候選區(qū)域送入RoIAlign,通過雙線性插值來進(jìn)行對(duì)齊操作,具體來說就是將RoI映射成固定維數(shù)的特征向量;模塊4:將上一模塊的特征分別送入分類、邊框回歸、Mask預(yù)測(cè)三個(gè)分支,完成目標(biāo)檢測(cè)與分割任務(wù)。但是,傳統(tǒng)Mask R-CNN的特征融合網(wǎng)絡(luò)只對(duì)高層語義信息進(jìn)行一次上采樣,經(jīng)過通道調(diào)整后與同維度的淺層語義信息進(jìn)行粗略的特征融合,不能充分利用特征信息,難以準(zhǔn)確識(shí)別缺陷類型和位置信息。為了實(shí)現(xiàn)車載導(dǎo)航導(dǎo)光板缺陷高精度檢出,本文借鑒了PANet的優(yōu)點(diǎn),引入PinFPN[20]改進(jìn)了Mask R-CNN特征融合網(wǎng)絡(luò),充分融合高低語義信息以提升目標(biāo)檢測(cè)任務(wù)的精度,同時(shí)通過引入跳層連接結(jié)構(gòu)和SE模塊[21]改進(jìn)分割分支,使分割分支語義信息提取能力大大提升。改進(jìn)后的Mask R-CNN結(jié)構(gòu)如圖1所示。

        2.2? ?改進(jìn)的特征融合網(wǎng)絡(luò)

        本文在傳統(tǒng)特征金字塔FPN的基礎(chǔ)上引入了PinFPN模塊,結(jié)構(gòu)如圖2所示,其中C1—C5分別代表從主干特征提取網(wǎng)絡(luò)ResNet101各個(gè)卷積階段獲得的有著豐富信息資源的特征層,并且隨著主干卷積網(wǎng)絡(luò)運(yùn)算的不斷進(jìn)行,感受野不斷加深,圖像細(xì)粒度逐漸呈現(xiàn)下降趨勢(shì)。M2、M3卷積運(yùn)算較少,對(duì)小缺陷更加敏感是提升小物體目標(biāo)檢測(cè)精度的關(guān)鍵,相應(yīng)的較大物體在特征金字塔中分辨率較低、感受野較大的M4和M5中加以獲取。傳統(tǒng)特征金字塔的缺點(diǎn)在于M4與M5沒有充分融合淺層語義信息,導(dǎo)致位置信息十分不清晰,很難充分獲取底層的細(xì)節(jié)信息,因此又添加了一路N2—N5自底向上的下采樣路徑,將底層位置信息向高層語義中的缺陷種類信息做了一定補(bǔ)充。但結(jié)合車載導(dǎo)航導(dǎo)光板的具體特點(diǎn),點(diǎn)缺陷與線缺陷占比較大,也是影響檢測(cè)精度整體水平的關(guān)鍵,大多數(shù)目標(biāo)依賴N2與N3,但兩者中的特征信息與M2、M3所含信息差別并不是很大,很難獲得更充分的語義信息,對(duì)提高相應(yīng)缺陷的檢測(cè)精度沒有很大幫助。因此,又繼續(xù)增加了第三組特征融合,并添加一步跳層連接將M一列特征層與同維度P一列對(duì)應(yīng)特征層進(jìn)行堆疊,實(shí)現(xiàn)了對(duì)特征融合網(wǎng)絡(luò)最終輸出特征層的一次有效補(bǔ)充。P2、P3、P4、P5是多次融合的結(jié)果,有著十分豐富的特征信息,對(duì)提升檢測(cè)精度有很大幫助。P6為分割分支的共享特征層,因其充分融合了高低語義信息,對(duì)提升分割效果也有著極大的促進(jìn)作用。

        特征金字塔利用式(1)實(shí)現(xiàn)不同尺度特征層上檢測(cè)多尺度目標(biāo)。

        其中,指代寬高分別為和的目標(biāo)區(qū)域;取4,表示特征金字塔層數(shù);640表示用于模型訓(xùn)練的圖像尺寸。

        2.3? ?改進(jìn)的Mask分支

        Mask分支得到來自RoIAlign雙線性插值后得到的RoI,對(duì)它們各自使用四次卷積和一個(gè)反卷積操作。針對(duì)每一個(gè)RoI,Mask輸出 維向量,其中是類別數(shù)目,為特征圖尺寸,對(duì)每一個(gè)大小為的Mask進(jìn)行編碼,得到每一個(gè)RoI的 個(gè)類別的概率值,以實(shí)現(xiàn)實(shí)例分割任務(wù)。Mask使用全卷積操作來提取語義信息,對(duì)局部語義信息敏感度較好,但對(duì)各個(gè)像素進(jìn)行分類,沒有充分考慮像素與像素之間的關(guān)系,忽略了在通常基于像素分類的分割方法中使用的空間規(guī)整(Spatial Regularization)步驟,缺乏空間一致性即忽略了上下文信息。傳統(tǒng)的Mask分支如圖3所示。

        由于車載導(dǎo)航導(dǎo)光板數(shù)據(jù)集中擁有數(shù)目可觀的面缺陷,因此全局信息與局部信息同樣重要,對(duì)車載圖像各個(gè)尺度特征信息進(jìn)行融合,可以一定程度上增大信息量,因此引入跳層連接結(jié)構(gòu),并引入多尺度注意力機(jī)制,以補(bǔ)全原有Mask分支上所缺乏的高層語義信息。Mask分支中卷積層和與之相堆成的反卷積層之間通過跳層連接將卷積層每一層的輸出結(jié)果通過SE模塊之后與上采樣的結(jié)果實(shí)現(xiàn)堆疊,最終使用激活層構(gòu)造分割Mask。通過改進(jìn)的Mask分支,實(shí)現(xiàn)了不同尺度的特征層依照權(quán)重完成有效連接,使得分割分支獲取了十分豐富的特征信息,大大提升了對(duì)目標(biāo)區(qū)域的分割效果。改進(jìn)后的Mask分支如圖4所示。

        跳層連接結(jié)構(gòu)能夠有效融合高低語義信息,對(duì)車載導(dǎo)航導(dǎo)光板細(xì)節(jié)信息提取更加充分,但因?yàn)閷?dǎo)光板缺陷本身亮度不均勻,特別是較大的面缺陷,其內(nèi)部缺陷之間像素值差別較大,單純進(jìn)行一步多尺度融合并不能十分有效地分割出缺陷信息。因此,引入SE模塊[22],該模塊的優(yōu)越性在于其關(guān)注通道(Channel)之間的關(guān)系,通過設(shè)置權(quán)值,使模型可以自動(dòng)學(xué)習(xí)到不同的通道特征,使模型提升關(guān)鍵特征的權(quán)重,從而有效提升分割效果。SE模塊結(jié)構(gòu)如圖5所示。

        SE模塊主要由Squeeze和Excitation兩部分組成。和分別表示特征層寬與高,為通道數(shù)。第一步是壓縮操作,具體操作是一步全局平均池化,壓縮后得到維特征向量;第二步是激勵(lì)操作,由兩個(gè)全連接組成,作用是降低通道個(gè)數(shù)從而降低計(jì)算量;最后一步是多尺度融合操作,是將SE模塊計(jì)算所得通道權(quán)重分別與特征圖各自對(duì)應(yīng)通道相乘,得到具有注意力信息的有效特征層。

        2.4? ?損失函數(shù)

        Mask R-CNN是多任務(wù)模型,對(duì)于車載導(dǎo)航導(dǎo)光板缺陷而言,分類、回歸、分割三個(gè)任務(wù)是同等重要的,但多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)對(duì)于不同任務(wù)的學(xué)習(xí)難易程度往往有較大差異,不同任務(wù)有著不同的收斂速度,分割任務(wù)的難度要遠(yuǎn)遠(yuǎn)大于目標(biāo)檢測(cè),若簡(jiǎn)單地將損失函數(shù)權(quán)重進(jìn)行相同設(shè)置,往往難以收斂,因此本實(shí)驗(yàn)采用加權(quán)損失函數(shù),具體損失函數(shù)公式如下:

        其中,是分類誤差、是坐標(biāo)誤差、是分割誤差;分別為加權(quán)系數(shù)。

        3? ?實(shí)驗(yàn)內(nèi)容(Experimental content)

        3.1? ?實(shí)驗(yàn)數(shù)據(jù)

        車載導(dǎo)航導(dǎo)光板質(zhì)量檢測(cè)精度較高,工業(yè)面陣攝像頭難以滿足要求,本文檢測(cè)系統(tǒng)采用16 k線掃相機(jī)呈現(xiàn)清晰的車載導(dǎo)航導(dǎo)光板圖像。車載導(dǎo)航導(dǎo)光板缺陷分為以下幾類:點(diǎn)缺陷、線缺陷和面缺陷。本實(shí)驗(yàn)采用亮度變化、背景替換等方法對(duì)數(shù)據(jù)進(jìn)行補(bǔ)充。所有樣本按上述方法處理后,考慮到車載導(dǎo)航導(dǎo)光板數(shù)據(jù)集中各種缺陷分布不均,數(shù)據(jù)集中各樣本的比例大致設(shè)定為1∶1∶1,訓(xùn)練集和測(cè)試集的比例設(shè)定為7∶3。具體數(shù)據(jù)集設(shè)置如表1所示。

        3.2? ?實(shí)驗(yàn)參數(shù)設(shè)置

        實(shí)驗(yàn)參數(shù)設(shè)置:初始學(xué)習(xí)率和最終學(xué)習(xí)率分別為0.01和0.001,批量處理大小為16,軟硬件設(shè)置如表2所示。

        3.3? ?算法評(píng)價(jià)指標(biāo)

        本文采用目標(biāo)檢測(cè)網(wǎng)絡(luò)常用的評(píng)價(jià)指標(biāo),如精度(AP)和平均精度(mAP)。AP能反映網(wǎng)絡(luò)對(duì)各種缺陷的檢測(cè)能力;mAP作為模型的綜合性能評(píng)價(jià)指標(biāo),能夠反映模型中各個(gè)類別的平均檢測(cè)精度。

        AP是準(zhǔn)確率和召回率之間的定積分,具體表達(dá)式如下:

        其中,表示某種缺陷,表示準(zhǔn)確率,表示召回率。

        mAP是所有類型的平均AP,表達(dá)式如下:

        其中,是所有類型缺陷的集合。

        準(zhǔn)確率和召回率的具體表達(dá)式如下:

        其中,TP、FP和FN分別表示真正例、假正例和假負(fù)例的數(shù)目。此外,TN代表真負(fù)例的個(gè)數(shù),在本檢測(cè)任務(wù)中沒有實(shí)際意義。

        3.4? ?結(jié)果與分析

        為了方便與其他方法進(jìn)行對(duì)比,文中將目標(biāo)檢測(cè)結(jié)果與分割結(jié)果分開進(jìn)行對(duì)比討論。

        3.4.1? ?目標(biāo)檢測(cè)結(jié)果

        為說明改進(jìn)的Mask R-CNN在目標(biāo)檢測(cè)任務(wù)上的精度優(yōu)勢(shì),使用相同的車載導(dǎo)航導(dǎo)光板缺陷數(shù)據(jù)分別與YOLOv3、Faster R-CNN、Mask R-CNN和本文改進(jìn)的Mask R-CNN進(jìn)行對(duì)比實(shí)驗(yàn),表3顯示了這些方法的缺陷檢測(cè)結(jié)果。由表3可知,改進(jìn)的Mask R-CNN具有更優(yōu)秀的目標(biāo)檢測(cè)能力,目標(biāo)檢測(cè)精度較傳統(tǒng)的Mask R-CNN有了明顯提升,也驗(yàn)證了PinFPN模塊能夠有效地融合高低語義信息,提升檢測(cè)精度,對(duì)點(diǎn)缺陷等像素值較小的目標(biāo)提升效果尤為明顯,較傳統(tǒng)的Mask R-CNN網(wǎng)絡(luò)點(diǎn)缺陷提升了近1.5%。而YOLOv3僅僅使用最簡(jiǎn)單的特征融合,僅完成一次高低語義信息融合,并且YOLOv3使用固定的感受野,很難對(duì)小物體目標(biāo)做出有效檢出,像素值較小的點(diǎn)缺陷與較淺的線缺陷在車載導(dǎo)航導(dǎo)光板復(fù)雜多變的背景干擾下更增大了識(shí)別難度。Faster R-CNN未進(jìn)行額外的特征融合,僅將主干特征提取網(wǎng)絡(luò)最后一層輸出層作為公共特征層,生成建議框時(shí)使用RoIPooling造成特征信息的進(jìn)一步缺失。加上二者都未對(duì)特征層進(jìn)行充分的多尺度融合,因此檢測(cè)精度都較低,達(dá)不到工業(yè)檢測(cè)的要求。本文所引入的PinFPN模塊,能夠充分利用淺層語義信息,提升了小物體目標(biāo)的檢測(cè)精度,對(duì)大物體目標(biāo)也保持較高的檢測(cè)精度。

        缺陷可視化結(jié)果如圖6所示。很明顯,改進(jìn)的Mask R-CNN能夠以更高的檢測(cè)精度檢出大部分缺陷,其他幾種模型檢測(cè)精度偏低,定位也不夠準(zhǔn)確,同一張測(cè)試圖片下YOLOv3甚至出現(xiàn)了誤檢問題。

        3.4.2? ?分割結(jié)果

        傳統(tǒng)的Mask R-CNN與改進(jìn)的Mask R-CNN實(shí)例分割結(jié)果如圖7所示??梢钥闯觯倪M(jìn)的Mask分支較原始Mask R-CNN有著明顯優(yōu)勢(shì),分割效果更加明顯,生成的掩膜覆蓋得更加完整,與原始圖像輪廓相差很小,體現(xiàn)了引入的注意力機(jī)制和多尺度機(jī)制的有效性。跳層連接結(jié)構(gòu)可以通過復(fù)用淺層特征來提高多尺度目標(biāo)(尤其是小目標(biāo))的分割能力;引入SE多通道注意力機(jī)制讓網(wǎng)絡(luò)自行判斷各個(gè)通道特征信息的比重,可以更加充分地完成有意義特征的篩選和定位。多尺度的特征融合機(jī)制配合注意力機(jī)制可以使得網(wǎng)絡(luò)具備適應(yīng)多尺度缺陷的檢測(cè)能力。綜上所述,本文改進(jìn)的網(wǎng)絡(luò)較傳統(tǒng)的Mask R-CNN在準(zhǔn)確性和通用性上有明顯提升,均具有優(yōu)勢(shì)。

        4? ?結(jié)論(Conclusion)

        針對(duì)車載導(dǎo)航導(dǎo)光板背景復(fù)雜、亮度多變等特點(diǎn),提出了一種基于改進(jìn)Mask R-CNN的車載導(dǎo)航導(dǎo)光板缺陷檢測(cè)方法。為了高效利用主干特征提取網(wǎng)絡(luò)中的高低語義信息,本文提出引入PinFPN模塊,有效地提升了網(wǎng)絡(luò)對(duì)小物體目標(biāo)的檢測(cè)能力。同時(shí),針對(duì)傳統(tǒng)Mask R-CNN分割效果較差的缺點(diǎn),引入跳層連接和SE模塊,實(shí)現(xiàn)了不同尺度的特征層依照權(quán)重實(shí)現(xiàn)有效連接,很大程度上提升了分割效果。在自建的車載導(dǎo)航導(dǎo)光板數(shù)據(jù)集上檢測(cè)準(zhǔn)確率達(dá)到95.3%,滿足工業(yè)檢測(cè)的要求,具有一定的應(yīng)用前景。

        參考文獻(xiàn)(References)

        [1] 李俊峰,李明睿.基于機(jī)器視覺的導(dǎo)光板缺陷檢測(cè)方法研究[J].光電子·激光,2019,30(3):256-265.

        [2] 湯勃,孔建益,伍世虔.機(jī)器視覺表面缺陷檢測(cè)綜述[J].中國(guó)圖象圖形學(xué)報(bào),2017,22(12):1640-1663.

        [3] 李俊峰,李明睿.基于多方向Gabor濾波的導(dǎo)光板輕微線刮傷檢測(cè)方法研究[J].光電子·激光,2019,30(4):395-401.

        [4] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6):1137-1149.

        [5] HE K M, ZHANG X, REN S. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 37(9):1904-1916.

        [6] DING R, DAI L, LI G. TDD-net: A tiny defect detection network for printed circuit boards[J]. CAAI Transactions on Intelligence Technology, 2019, 4(2):110-116.

        [7] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: Unified, real-time object detection[C]// IEEE. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, USA: IEEE, 2016:779-788.

        [8] REDMON J, FARHAD A. YOLO9000: Better, faster, stronger[J]. IEEE Conference on Computer Vision and Pattern Recognition, 2017, 65(30):7263-7271.

        [9] REDMON J, FARHADI A. YOLOv3: An incremental improvement[EB/OL]. (2018-04-08) [2021-12-25]. https://arxiv.org/abs/1804.02767.

        [10] BOCHKOVSKI A, WANG C Y, LIAO H M. YOLOv4: Optimal speed and accuracy of object detection[EB/OL]. (2020-04-23) [2021-12-25]. https://arxiv.org/abs/2004.10934.

        [11] XIE L, XIANG X, XU H, et al. FFCNN: A deep neural network for surface defect detection of magnetic tile[J]. IEEE Transactions on Industrial Electronics, 2020, 68(4):3506-3516.

        [12] NEUHAUSER F M, BACHMANN G, HORA P. Surface defect classification and detection on extruded aluminum profiles using convolutional neural networks[J]. International Journal of Material Forming, 2020, 13(3):3214-3218.

        [13] HE D, XU K, ZHOU P, et al. Surface defect classification of steels with a new semi-supervised learning method[J]. Optics and Lasers in Engineering, 2019, 117(7):40-48.

        [14] MING W, SHEN F, ZHANG H, et al. Defect detection of LGP based on combined classifier with dynamic weights[J]. Measurement, 2019, 143(3):211-225.

        [15] 李維剛,葉欣,趙云濤,等.基于改進(jìn)YOLOv3算法的帶鋼表面缺陷檢測(cè)[J].電子學(xué)報(bào),2020,48(7):1284-1292.

        [16] 張曉,丁云峰.基于改進(jìn)Faster R-CNN的IT設(shè)備圖像定位與識(shí)別[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2021,30(9):288-294.

        [17] 李海培.改進(jìn)Faster R-CNN的軌面缺陷檢測(cè)視頻分析方法研究[J].鐵道標(biāo)準(zhǔn)設(shè)計(jì),2021,65(5):172-178.

        [18] CHEN J, LIU Z, WANG H, et al. Automatic defect detection of fasteners on the catenary support device using deep convolutional neural network[J]. IEEE Transactions on Instrumentation and Measurement, 2018, 67(2):257-269.

        [19] HE K M, GKIOXARI G, DOLLAR P, et al. Mask? R-CNN[C]// IEEE. 2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE, 2017:2980-2988.

        [20] 李雪峰,劉?,?,劉高華,等.基于深度學(xué)習(xí)的輸電線路銷釘缺陷檢測(cè)[J].電網(wǎng)技術(shù),2021,45(8):2988-2995.

        [21] 趙庶旭,羅慶,王小龍.基于改進(jìn)Mask R-CNN的牙齒識(shí)別與分割[J].中國(guó)醫(yī)學(xué)物理學(xué)雜志,2021,38(10):1229-1236.

        [22] HU J, SHEN L, ALBANIE S, et al. Squeeze-and-excitation networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 42(8):2011-2023.

        作者簡(jiǎn)介:

        王? ?昊(1997-),男,碩士生.研究領(lǐng)域:計(jì)算機(jī)視覺,智能檢測(cè)與控制.

        李俊峰(1978-),男,博士,副教授.研究領(lǐng)域:機(jī)器視覺,模式識(shí)別,智能檢測(cè)與控制.

        猜你喜歡
        深度學(xué)習(xí)
        從合坐走向合學(xué):淺議新學(xué)習(xí)模式的構(gòu)建
        面向大數(shù)據(jù)遠(yuǎn)程開放實(shí)驗(yàn)平臺(tái)構(gòu)建研究
        基于自動(dòng)智能分類器的圖書館亂架圖書檢測(cè)
        搭建深度學(xué)習(xí)的三級(jí)階梯
        有體驗(yàn)的學(xué)習(xí)才是有意義的學(xué)習(xí)
        電子商務(wù)中基于深度學(xué)習(xí)的虛假交易識(shí)別研究
        利用網(wǎng)絡(luò)技術(shù)促進(jìn)學(xué)生深度學(xué)習(xí)的幾大策略
        考試周刊(2016年94期)2016-12-12 12:15:04
        MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場(chǎng)域建構(gòu)
        大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
        深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
        亚洲 欧美 国产 制服 动漫| 99人中文字幕亚洲区三| 国产av久久久久精东av| 青青草视频免费观看| 国内无遮码无码| 久久夜色精品亚洲天堂| 国产精品一区二区三区专区| 性欧美老人牲交xxxxx视频| 日本欧美小视频| 青青草免费在线手机视频| 国产熟女露脸91麻豆| 亚洲精品国产suv一区88| 国产中出视频| 一区二区久久精品66国产精品| 日韩中文字幕一区二区二区| 亚洲av无码成人网站在线观看| 国产极品美女高潮无套在线观看| 国产精品一区二区三区不卡| 蜜桃免费一区二区三区| 中国老熟女重囗味hdxx| 色综合自拍| 日本一区二区高清视频在线播放| 福利视频一区二区三区| 久久久老熟女一区二区三区| 国产91网址| 国产激情免费观看视频| 中国免费看的片| 欧美巨大巨粗黑人性aaaaaa| 就国产av一区二区三区天堂| 蜜桃国产精品视频网站| 7777色鬼xxxx欧美色妇| 久久亚洲sm情趣捆绑调教| 精品亚洲人伦一区二区三区| 国产精品狼人久久影院软件介绍 | 医院人妻闷声隔着帘子被中出| 成人天堂资源www在线| 久久高潮少妇视频免费| 国产一级一片内射视频播放| 亚洲色精品aⅴ一区区三区| 国产肉体XXXX裸体784大胆| 女人天堂国产精品资源麻豆|