亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于生成對(duì)抗網(wǎng)絡(luò)的葉片表面缺陷圖像數(shù)據(jù)增強(qiáng)*

        2022-07-27 04:36:24盧文壯袁志響
        關(guān)鍵詞:卷積葉片分類(lèi)

        丁 鵬,盧文壯,劉 杰,袁志響

        (南京航空航天大學(xué)機(jī)電學(xué)院,南京 210016)

        0 引言

        近年來(lái),國(guó)產(chǎn)各型航空發(fā)動(dòng)機(jī)在使用中暴露的質(zhì)量問(wèn)題十分突出,其中葉片的質(zhì)量問(wèn)題占了相當(dāng)大的比例[1],對(duì)葉片表面缺陷的檢測(cè)就顯得至關(guān)重要。隨著電荷耦合器件的發(fā)展,以及計(jì)算機(jī)技術(shù)中圖像處理、人工智能等算法的深入研究,機(jī)器視覺(jué)技術(shù)在工業(yè)質(zhì)檢中得到越來(lái)越廣泛的應(yīng)用[2-4]。

        AlexNet在擁有1400萬(wàn)幅圖像,涵蓋20000多種類(lèi)別的ImageNet數(shù)據(jù)集的分類(lèi)競(jìng)賽中取得了冠軍[5],自此卷積神經(jīng)網(wǎng)絡(luò)得到了眾多研究人員的關(guān)注。近年來(lái),新的網(wǎng)絡(luò)模型如VGG16Net[6]、GoogLeNet[7]、ResNet[8]等也受到廣泛關(guān)注,在圖像分類(lèi)領(lǐng)域獲得了不俗的成績(jī)。然而,這些模型依托的數(shù)據(jù)集是MNIST[9],ImageNet等大型數(shù)據(jù)集,當(dāng)樣本數(shù)據(jù)集較小時(shí),模型容易出現(xiàn)過(guò)擬合等問(wèn)題導(dǎo)致分類(lèi)準(zhǔn)確率明顯降低。在實(shí)際情況下,受到記錄條件的限制,收集大量帶標(biāo)簽的葉片表面缺陷圖像困難,僅能獲得少量的數(shù)據(jù)樣本。

        針對(duì)小型數(shù)據(jù)集中訓(xùn)練樣本小導(dǎo)致的過(guò)擬合或者泛化能力不強(qiáng)的問(wèn)題,數(shù)據(jù)增強(qiáng)成為解決該問(wèn)題的有效方法之一。GOODFELLOW等[10]提出了生成對(duì)抗網(wǎng)絡(luò)(GAN),這種致力于數(shù)據(jù)生成的模型為數(shù)據(jù)增強(qiáng)帶來(lái)了啟發(fā)。MIRZA等[11]提出條件生成對(duì)抗網(wǎng)絡(luò)(CGAN),在生成器的輸入中加入條件變量c對(duì)生成結(jié)果進(jìn)行約束,提高了模型生成圖像的效率。ODENA[12]提出了一種半監(jiān)督的生成對(duì)抗網(wǎng)絡(luò)模型(SGAN),該模型同時(shí)訓(xùn)練生成器和半監(jiān)督分類(lèi)器,優(yōu)化了生成模型,提高了生成圖像的質(zhì)量。大量的實(shí)踐證明[13-15]基于生成對(duì)抗網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)方法能夠有效地解決小樣本學(xué)習(xí)問(wèn)題,提高生成數(shù)據(jù)的多樣性和訓(xùn)練器的分類(lèi)精度。

        本文對(duì)條件生成對(duì)抗網(wǎng)絡(luò)(CGAN)進(jìn)行改進(jìn)并將其應(yīng)用于小樣本條件下的葉片表面缺陷數(shù)據(jù)增強(qiáng),經(jīng)過(guò)增強(qiáng)的葉片表面缺陷數(shù)據(jù)通過(guò)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi),分類(lèi)準(zhǔn)確度有明顯地提高。

        1 面向葉片表面缺陷數(shù)據(jù)生成的網(wǎng)絡(luò)架構(gòu)

        生成對(duì)抗網(wǎng)絡(luò)(GAN)是GOODFELLOW等[10]提出的一種新的深度學(xué)習(xí)算法。最初GAN包括一個(gè)生成器G(generator)和一個(gè)判別器D(discriminator),該網(wǎng)絡(luò)的生成器G和判別器D均為全連接網(wǎng)絡(luò)。GAN的核心思想便是生成器與判別器在訓(xùn)練過(guò)程中的相互博弈,通過(guò)相互博弈可以使生成器G和判別器D均達(dá)到最優(yōu)狀態(tài),生成器可以根據(jù)輸入生成以假亂真的圖像。近年來(lái),基于生成對(duì)抗網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)方法取得了許多成果,但是訓(xùn)練數(shù)據(jù)量不足的問(wèn)題同樣制約著GAN生成樣本的多樣性,使網(wǎng)絡(luò)難以生成有效的增強(qiáng)數(shù)據(jù)以提高分類(lèi)效果。本文從小樣本葉片表面缺陷數(shù)據(jù)出發(fā)對(duì)GAN網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn),搭建葉片表面缺陷數(shù)據(jù)生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)。

        1.1 生成器和判別器結(jié)構(gòu)

        為保證葉片表面缺陷圖片的紋理和結(jié)構(gòu)特征以及訓(xùn)練的效率,設(shè)置生成器的輸出和判別器的輸入圖片大小為(128,128),并設(shè)置隨機(jī)噪聲z的維度200。生成器網(wǎng)絡(luò)結(jié)構(gòu)有1個(gè)噪聲輸入模塊,4個(gè)反卷積模塊和1個(gè)圖像輸出模塊。輸入模塊使用隨機(jī)噪聲z和類(lèi)型標(biāo)簽y映射并重塑成(4,4,512)的向量,再通過(guò)神經(jīng)網(wǎng)絡(luò)的批量標(biāo)準(zhǔn)化處理和使用ReLU激活函數(shù)進(jìn)入反卷積模塊;反卷積模塊通過(guò)4層反卷積降低通道數(shù),并且每層反卷積模塊包括一次批量標(biāo)準(zhǔn)化處理和ReLU激活函數(shù)激活,最后使用通道數(shù)為3的反卷積層將生成的葉片表面缺陷圖像輸出。生成器網(wǎng)絡(luò)詳細(xì)參數(shù)如表1所示,生成器結(jié)構(gòu)如圖1所示。

        表1 生成器網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

        圖1 生成器結(jié)構(gòu)

        判別器結(jié)構(gòu)為1個(gè)圖像輸入模塊,5個(gè)卷積模塊,1個(gè)分類(lèi)模塊。圖像通過(guò)輸入模塊輸入,然后通過(guò)5層卷積模塊提高通道數(shù),每層卷積模塊包括一次批量標(biāo)準(zhǔn)化處理和LeakyReLU激活函數(shù)激活,最后通過(guò)兩個(gè)全連接層輸出圖像真假信息和分類(lèi)信息。

        由于葉片表面缺陷樣本數(shù)據(jù)量小,為降低網(wǎng)絡(luò)的過(guò)擬合性和避免網(wǎng)絡(luò)過(guò)早的達(dá)到平衡點(diǎn),使用神經(jīng)元隨機(jī)失活(dropout正則化)[16],以提高生成葉片表面缺陷圖像的多樣性。在判別器的卷積層的前兩層加入dropout層,隨機(jī)失活率為0.5,保證梯度下降速率的同時(shí)也緩和了網(wǎng)絡(luò)的過(guò)擬合性。判別器網(wǎng)絡(luò)詳細(xì)參數(shù)如表2所示,判別器結(jié)構(gòu)如圖2所示。

        表2 判別器網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

        圖2 判別器結(jié)構(gòu)

        1.2 損失函數(shù)

        從原始GAN到CGAN,網(wǎng)絡(luò)輸入加入類(lèi)別標(biāo)簽控制生成器的生成圖像的模式,但是判別器仍然停留在只判斷圖像真假的階段。ACGAN網(wǎng)絡(luò)的出現(xiàn)繼承了CGAN網(wǎng)絡(luò)中監(jiān)督生成數(shù)據(jù)的特點(diǎn),還在判別器中加入了輔助分類(lèi)器判斷輸入圖像的類(lèi)別。對(duì)于生成器G,不斷通過(guò)模擬真實(shí)圖像x的分布使判別器的輸出趨向于1,另外在輔助分類(lèi)器中達(dá)到正確的分類(lèi)輸出。對(duì)于判別器D,厘清輸入的圖像是生成的圖像還是真實(shí)的圖像,對(duì)于真實(shí)的圖像達(dá)到正確的分類(lèi)輸出。式(1)中LS為圖像的真假損失,式(2)中LC為圖像的分類(lèi)損失,判別器的訓(xùn)練將LS+LC最大化,生成器的訓(xùn)練將LC-LS最大化。

        LS=E[logP(S=real|Xreal)]+E[logP(S=fake|Xfake)]

        (1)

        LC=E[logP(C=c|Xreal)]+E[logP(C=c|Xfake)]

        (2)

        2 實(shí)驗(yàn)與分析

        2.1 葉片表面缺陷數(shù)據(jù)集建立

        本文使用的數(shù)據(jù)集是在航空葉片加工現(xiàn)場(chǎng)采集獲得。葉片表面缺陷采集系統(tǒng)主要包括:工業(yè)相機(jī),支架,穹頂光源等。缺陷圖像的質(zhì)量受到光照強(qiáng)度的影響,由于葉片表面是不規(guī)則曲面,使用穹頂光源保證各處受光均勻。使用高斯濾波[17]或雙邊濾波[18]對(duì)圖像進(jìn)行處理,可以在一定程度上消除噪聲對(duì)圖像特征提取的影響,但是同時(shí)也弱化了圖像的邊緣信息;使用Laplacian高通濾波[19]對(duì)圖像進(jìn)行銳化處理,突出缺陷的邊緣和輪廓特征如刻痕的刻痕邊,去噪和增強(qiáng)后的葉片表面缺陷圖像如圖3所示。

        圖3 預(yù)處理后圖像

        現(xiàn)場(chǎng)收集的葉片表面缺陷圖像有300張,其中缺陷類(lèi)型有4種,分別為刻痕、燒傷、缺口和刮蹭,圖像樣本集70%劃分為訓(xùn)練集,30%劃分為驗(yàn)證集。

        圖像在進(jìn)行生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練時(shí),由于圖像樣本過(guò)少,很容易發(fā)生過(guò)擬合導(dǎo)致生成的缺陷圖像過(guò)于單一,所以在此進(jìn)行圖像的預(yù)增強(qiáng)。預(yù)增強(qiáng)主要分為兩個(gè)步驟:①將圖像進(jìn)行仿射變換,使用圖像的隨機(jī)翻轉(zhuǎn)、鏡像等操作增加訓(xùn)練數(shù)據(jù);②確定缺陷的特征中心區(qū)域進(jìn)行隨機(jī)滑移采樣。

        先對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行隨機(jī)仿射變換,變換后的圖像為800×800,圖像中缺陷特征的大小約為400×400,采集圖像的窗口大小為600×600,圍繞缺陷特征中心進(jìn)行多次隨機(jī)滑移裁剪,最終獲得的葉片表面缺陷圖像約為6000張,其中訓(xùn)練圖像為4220張,驗(yàn)證圖像為1780張。具體數(shù)據(jù)集如表3所示。

        表3 預(yù)增強(qiáng)數(shù)據(jù)集

        2.2 對(duì)抗網(wǎng)絡(luò)訓(xùn)練

        綜上所述,葉片表面缺陷數(shù)據(jù)已經(jīng)通過(guò)預(yù)處理獲得新的樣本數(shù)據(jù)集,將訓(xùn)練樣本集導(dǎo)入網(wǎng)絡(luò)進(jìn)行訓(xùn)練。判別器的訓(xùn)練:葉片圖像以及其標(biāo)簽信息通過(guò)判別器時(shí),可以判斷出是由對(duì)抗網(wǎng)絡(luò)生成的假圖像還是真實(shí)輸入的圖像,同時(shí)對(duì)于輸入的真實(shí)圖像都能判斷出正確的類(lèi)別。生成器的訓(xùn)練:一定維度隨機(jī)噪聲和標(biāo)簽信息融合后通過(guò)生成器生成假圖像和對(duì)應(yīng)的標(biāo)簽信息,生成的假圖像能夠騙過(guò)判別器以及假圖像對(duì)應(yīng)的標(biāo)簽和判別器的判定的標(biāo)簽一致。

        在實(shí)際訓(xùn)練過(guò)程中,學(xué)習(xí)率直接控制著對(duì)抗網(wǎng)絡(luò)的梯度下降的效率,是網(wǎng)絡(luò)訓(xùn)練中最重要的參數(shù)之一。學(xué)習(xí)率過(guò)高時(shí),雖然梯度下降速度快但是很難達(dá)到最優(yōu)解,導(dǎo)致網(wǎng)絡(luò)無(wú)法收斂;學(xué)習(xí)率過(guò)低時(shí),容易陷入局部最優(yōu)解導(dǎo)致圖像生成的效果不佳。經(jīng)過(guò)多次訓(xùn)練對(duì)比后,設(shè)置學(xué)習(xí)率為0.000 1,并設(shè)置訓(xùn)練批次大小為64,迭代次數(shù)為10 000次,所使用的梯度優(yōu)化算法為Adam優(yōu)化算法[20]。表4為訓(xùn)練好的生成器生成的圖像與原樣本的對(duì)比。

        表4 ACGAN生成圖像

        2.3 卷積神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)置

        使用ACGAN模型的主要目的是增強(qiáng)葉片表面缺陷數(shù)據(jù)集,由訓(xùn)練好的生成器生成葉片表面缺陷數(shù)據(jù),再將生成數(shù)據(jù)和原來(lái)的訓(xùn)練數(shù)據(jù)集整合作為卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集,大大提升了訓(xùn)練的數(shù)據(jù)量,顯著地提高分類(lèi)網(wǎng)絡(luò)的準(zhǔn)確率。近年來(lái),多種高效的卷積神經(jīng)網(wǎng)絡(luò)模型被提出如VGG16Net、GoogLeNet、ResNet等,這里使用GoogLeNet對(duì)增強(qiáng)后的數(shù)據(jù)集進(jìn)行分類(lèi)。由于葉片初始數(shù)據(jù)集較小,GoogLeNet中特殊的模塊(Inception模塊)可以在一定程度上緩和過(guò)擬合性,圖4為Inception模塊的結(jié)構(gòu)圖。Inception模塊的出現(xiàn)打破了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的串聯(lián)結(jié)構(gòu),將特征矩陣同時(shí)輸入到多個(gè)分支進(jìn)行處理,再將輸出的矩陣按照深度進(jìn)行拼接,既增加了網(wǎng)絡(luò)深度的同時(shí)減少了參數(shù)的個(gè)數(shù),一定程度上提升網(wǎng)絡(luò)訓(xùn)練的效率。

        圖4 Inception模塊的結(jié)構(gòu)圖

        將增強(qiáng)后的數(shù)據(jù)集輸入GoogLeNet進(jìn)行訓(xùn)練,輸入圖片的大小為224×224,設(shè)置訓(xùn)練的批次大小為64,最大迭代次數(shù)為300,激活函數(shù)為ReLu,損失函數(shù)為交叉熵,梯度優(yōu)化算法為Adam優(yōu)化算法,學(xué)習(xí)率為0.003。

        2.4 結(jié)果分析

        本文基于生成對(duì)抗網(wǎng)絡(luò)對(duì)小樣本葉片表面缺陷數(shù)據(jù)進(jìn)行擴(kuò)充,并用卷積神經(jīng)網(wǎng)絡(luò)對(duì)擴(kuò)充后的數(shù)據(jù)進(jìn)行分類(lèi)。實(shí)驗(yàn)的硬件環(huán)境為:CPU是AMD 3700X,內(nèi)存為32 GB,GPU顯卡為NVIDIA 3070。軟件環(huán)境為:操作系統(tǒng)為Windows10 64bit版本,實(shí)現(xiàn)平臺(tái)為tensorflow2.4以及python3.8。為了體現(xiàn)生成對(duì)抗網(wǎng)絡(luò)的性能,從生成葉片表面缺陷圖像的多樣性和數(shù)據(jù)增強(qiáng)后葉片表面缺陷的平均分類(lèi)準(zhǔn)確率這兩個(gè)方面進(jìn)行評(píng)價(jià)。

        實(shí)驗(yàn)中使用生成對(duì)抗網(wǎng)絡(luò)的目的是生成具有多樣性的圖像以期達(dá)到數(shù)據(jù)增強(qiáng)的效果,而非生成與原圖像一模一樣的圖像。通過(guò)計(jì)算結(jié)構(gòu)相似度這個(gè)客觀指標(biāo),來(lái)評(píng)價(jià)兩幅葉片表面缺陷圖像之間視覺(jué)上的差異。在一定范圍內(nèi),生成葉片表面缺陷圖像和原葉片表面缺陷圖像的結(jié)構(gòu)相似度越低表示生成葉片表面缺陷圖像的多樣性越好,生成網(wǎng)絡(luò)的泛化性越好。結(jié)構(gòu)相似度定義如下:

        (3)

        式中,μx和μy分別表示兩張葉片表面缺陷圖像x和y的平均值;σx和σy則表示兩張葉片表面缺陷圖像的方差;σxy表示葉片表面缺陷圖像的協(xié)方差;C1和C2為常數(shù)。SSIM的取值在0~1之間,值越小,相似度越低;值越接近1表示兩幅葉片表面缺陷圖像越相似。

        對(duì)于某類(lèi)缺陷有n組葉片表面缺陷圖像,定義平均結(jié)構(gòu)相似度:

        (4)

        式中,SSIMi為第i組葉片表面缺陷圖像的結(jié)構(gòu)相似度。

        為了體現(xiàn)生成對(duì)抗網(wǎng)絡(luò)算法的數(shù)據(jù)增強(qiáng)效果,設(shè)計(jì)對(duì)比實(shí)驗(yàn),對(duì)小樣本葉片表面缺陷數(shù)據(jù)分別使用仿射變換和本文提出的數(shù)據(jù)增強(qiáng)算法增強(qiáng)數(shù)據(jù),輸入到CNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練,對(duì)比各個(gè)數(shù)據(jù)集的平均分類(lèi)準(zhǔn)確率。平均分類(lèi)準(zhǔn)確率定義如下:

        (5)

        式中,Ai為數(shù)據(jù)集中第i類(lèi)的分類(lèi)準(zhǔn)確率;n為類(lèi)別數(shù)。

        表5展示了各類(lèi)缺陷對(duì)應(yīng)的平均結(jié)構(gòu)相似度,表現(xiàn)了各類(lèi)生成圖像與對(duì)應(yīng)原圖像在人眼視覺(jué)上有一定的差異,體現(xiàn)生成數(shù)據(jù)的多樣性。圖5描述了3個(gè)數(shù)據(jù)集在GoogLeNet網(wǎng)絡(luò)訓(xùn)練中的平均準(zhǔn)確率和迭代次數(shù)的趨勢(shì)圖。隨著迭代次數(shù)的增加,平均準(zhǔn)確率不斷提高,最終曲線趨于平衡。使用生成對(duì)抗網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)增強(qiáng)的數(shù)據(jù)集,平均分類(lèi)準(zhǔn)確率最高,并且曲線收斂的速度也明顯較快。圖6為交叉熵?fù)p失隨迭代次數(shù)的下降趨勢(shì)圖,增強(qiáng)數(shù)據(jù)集的損失曲線在迭代100次后較其他兩條曲線更平緩穩(wěn)定,損失值最低。綜上所述,使用ACGAN網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)增強(qiáng)可以在一定程度上加快CNN分類(lèi)收斂速度,穩(wěn)定損失曲線,提高分類(lèi)準(zhǔn)確率。表6為3次實(shí)驗(yàn)的平均準(zhǔn)確率。

        表5 平均結(jié)構(gòu)相似度

        表6 實(shí)驗(yàn)結(jié)果

        圖5 平均分類(lèi)準(zhǔn)確率迭代曲線圖 圖6 分類(lèi)損失迭代曲線圖

        3 總結(jié)

        本文通過(guò)AGGAN網(wǎng)絡(luò)模型,在原有葉片表面缺陷樣本數(shù)據(jù)不足的情況下,對(duì)樣本數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng),解決了葉片表面缺陷樣本數(shù)據(jù)不足導(dǎo)致分類(lèi)效果不佳的問(wèn)題。ACGAN方法基于生成對(duì)抗網(wǎng)絡(luò),通過(guò)隨機(jī)噪聲信號(hào)生成增強(qiáng)數(shù)據(jù),保證了生成圖像的質(zhì)量和多樣性,實(shí)現(xiàn)了對(duì)小樣本葉片表面缺陷數(shù)據(jù)集的有效擴(kuò)充。實(shí)驗(yàn)結(jié)果表明,相比傳統(tǒng)的數(shù)據(jù)增強(qiáng)方法,使用ACGAN方法所訓(xùn)練的CNN網(wǎng)絡(luò)其泛化能力和收斂速度得到提高,平均分類(lèi)準(zhǔn)確率由86.2%提高至94.5%,體現(xiàn)了該數(shù)據(jù)增強(qiáng)方法的可靠性。

        猜你喜歡
        卷積葉片分類(lèi)
        月季葉片“雕刻師”
        基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
        分類(lèi)算一算
        兩種噴涂方法在TRT葉片上的對(duì)比應(yīng)用及研究
        從濾波器理解卷積
        電子制作(2019年11期)2019-07-04 00:34:38
        分類(lèi)討論求坐標(biāo)
        數(shù)據(jù)分析中的分類(lèi)討論
        基于傅里葉域卷積表示的目標(biāo)跟蹤算法
        教你一招:數(shù)的分類(lèi)
        基于CFD/CSD耦合的葉輪機(jī)葉片失速顫振計(jì)算
        亚洲中文无码精品久久不卡| 亚洲中文字幕久久无码精品| 一本精品99久久精品77| 三级在线看中文字幕完整版| 亚洲欧美国产日韩天堂在线视| 大屁股少妇一区二区无码| 国产精品99久久不卡二区| 日产国产亚洲精品系列| 噜噜综合亚洲av中文无码| 亚洲日本一区二区一本一道| 国产精品一区二区电影| 爆乳日韩尤物无码一区| 96中文字幕一区二区| 日本动漫瀑乳h动漫啪啪免费 | 野花社区视频在线观看| 精品久久亚洲中文无码| 亚洲成av人片无码不卡播放器| 日韩色久悠悠婷婷综合| 麻豆精品一区二区三区| 亚洲国产精品无码aaa片| 日本怡春院一区二区三区| 亚洲综合无码一区二区| 亚洲是图一区二区视频| 女同视频网站一区二区| 久久亚洲中文字幕乱码| 无码熟妇人妻av在线影片最多| 久久久久国产精品熟女影院| 国产91色在线|亚洲| 日本精品啪啪一区二区| 一区二区三区人妻av| 中文字幕人妻被公上司喝醉| 在线观看网址你懂的| 91精品国产乱码久久久| 国产一区高清在线观看| 日韩在线一区二区三区免费视频 | 色欲aⅴ亚洲情无码av| 最新国产av无码专区亚洲| 亚洲精品99久久久久久| 中文字幕亚洲一区视频| 久久人人爽人人爽人人片av高请 | 亚洲国产免费公开在线视频|