亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于改進U-Net網(wǎng)絡(luò)的半監(jiān)督裂縫分割方法

        2022-12-11 12:23:46萬黎明劉知貴
        計算機技術(shù)與發(fā)展 2022年12期
        關(guān)鍵詞:池化特征提取標簽

        羅 楊,萬黎明,李 理,劉知貴,2

        (1.西南科技大學 計算機科學與技術(shù)學院,四川 綿陽 621000;2.西南科技大學 信息工程學院,四川 綿陽 621000)

        0 引 言

        裂縫反映了混凝土結(jié)構(gòu)的受力狀態(tài)、耐久性與安全性等問題,是一種十分常見的結(jié)構(gòu)損傷。受恒活載荷、溫度、沉降不均、過度使用、自然災(zāi)害等影響均可能導致裂縫的產(chǎn)生[1]。而裂縫的產(chǎn)生將導致保護層對內(nèi)部鋼筋的保護失效,引起鋼筋銹蝕等問題加劇結(jié)構(gòu)耐久性的降低,即使在沒有鋼筋的路面結(jié)構(gòu),也會因裂縫的產(chǎn)生而對路基的穩(wěn)定性產(chǎn)生影響,嚴重時可能引發(fā)路面沉降、塌陷等問題,因此對于裂縫的準確檢測將有助于結(jié)構(gòu)健康的監(jiān)測與維護。伴隨著機器視覺技術(shù)及相關(guān)硬件的發(fā)展,利用數(shù)字圖像進行裂縫檢測成為了一種有效的結(jié)構(gòu)表面損傷無損檢測方法,得到了廣泛的應(yīng)用,并逐漸代替人工實現(xiàn)自動化檢測。

        在裂縫檢測任務(wù)中,傳統(tǒng)的檢測方法主要利用閾值分割、邊緣檢測以及基于手工特征的機器學習方法,雖然取得了較大的進步,但仍然存在精度不高、算法泛用性差等問題,在應(yīng)用中具有一定的局限性。得益于GPU(Graphics Processing Unit,圖像處理器)的發(fā)展,Alex Krizhevsky等人[2]利用GPU高效的并行運算能力,訓練了1個包含5個卷積層和3個全連接層的神經(jīng)網(wǎng)絡(luò),使深度學習技術(shù)在圖像領(lǐng)域取得了突破。這是一種無需人工進行特征設(shè)計的方式,深度學習的主干特征提取網(wǎng)絡(luò)可以自動進行特征提取,根據(jù)樣本數(shù)據(jù)訓練深度學習網(wǎng)絡(luò)不斷地更新權(quán)重,直至最優(yōu)。利用深度學習的方式進行裂縫檢測可以有效地提升任務(wù)效率,并且具有較高的可拓展性,受到了工業(yè)界的關(guān)注并進行了大量研究。劉鑫等人[3]利用改進的U-Net網(wǎng)絡(luò)實現(xiàn)巖層的裂縫圖像分割;余加勇等人[4]利用無人機與Mask R-CNN實現(xiàn)橋梁的裂縫識別;瞿中等人[5]利用空洞卷積神經(jīng)網(wǎng)絡(luò)和多特征融合的方式實現(xiàn)混凝土路面的裂縫圖像分割;劉凡等人[6]利用注意力機制與U-Net網(wǎng)絡(luò)實現(xiàn)路面與大壩的裂縫圖像分割。深度學習是以數(shù)據(jù)為驅(qū)動的一種機器學習方式,需要大量的樣本數(shù)據(jù)及對應(yīng)標簽,經(jīng)學習得到較為理想的結(jié)果,不過相較于圖像的獲取,數(shù)據(jù)的標注是非常費時費力的。為此,該文提出利用CPS(Cross Pseudo Supervision,交叉?zhèn)伪O(jiān)督)的訓練方式訓練U-Net網(wǎng)絡(luò)進行裂縫檢測,并對U-Net網(wǎng)絡(luò)進行改進,實現(xiàn)利用較少的標簽數(shù)據(jù)達到較為理想的檢測效果。

        1 相關(guān)工作

        1.1 U-Net網(wǎng)絡(luò)

        卷積神經(jīng)網(wǎng)絡(luò)是一種具有權(quán)值共享和局部連接等特點的前饋網(wǎng)絡(luò),利用卷積層和池化層的堆疊來提取圖像特征,實現(xiàn)輸入圖像特征映射到輸出空間。U-Net網(wǎng)絡(luò)[7]則是利用卷積神經(jīng)網(wǎng)絡(luò),在FCN(Fully Convolutional Network)[8]的基礎(chǔ)上進行改進和優(yōu)化,用于醫(yī)學圖像分割,整體結(jié)構(gòu)如圖1所示,由編碼器和解碼器兩個部分組成。

        圖1 U-Net網(wǎng)絡(luò)基礎(chǔ)框架

        編碼器部分可分為4個子模塊,由卷積層和池化層組成,用于圖像特征提取與下采樣,而解碼器部分的4個子模塊與編碼器一一對應(yīng)并跳躍連接,同時利用反卷積操作使圖像尺寸逐漸變大,并與跳躍連接的編碼器輸出進行融合。雖然U-Net網(wǎng)絡(luò)是針對醫(yī)學圖像分割提出的,不過其良好的表現(xiàn)使得很多領(lǐng)域的分割任務(wù)也都采用該網(wǎng)絡(luò)完成,如楊佳林等人[9]利用改進U-Net方法進行遙感圖像道路提取,李大海等人[10]利用改進U-Net進行遙感圖像云分割。

        1.2 殘差網(wǎng)絡(luò)

        研究發(fā)現(xiàn),通過堆疊卷積層加深網(wǎng)絡(luò)可以帶來更好的效果,但同樣也面臨著梯度消失、梯度爆炸以及網(wǎng)絡(luò)退化等難題。為此,He等人[11]提出了ResNet網(wǎng)絡(luò),對于一個堆疊塊(如圖2所示),采用跳躍連接的方式進行殘差學習,使得底層映射為H(x),通過調(diào)整使學習到殘差F(x)=H(x)-x,再將原始映射重鑄為F(x)+x,從而令整個網(wǎng)絡(luò)最壞的結(jié)果也僅僅是等效于淺層網(wǎng)絡(luò),保證了網(wǎng)絡(luò)的特征提取能力。

        圖2 殘差塊結(jié)構(gòu)

        1.3 注意力機制

        將注意力集中至圖像中的重要區(qū)域并忽略不相關(guān)信息,是人類視覺系統(tǒng)中常用的幫助高效理解和分析復雜場景的方法,即為注意力機制。研究人員將這一特性引入到計算機視覺任務(wù)中,設(shè)計了一個動態(tài)選擇過程,根據(jù)輸入信息中的重要性來自適應(yīng)地加權(quán)特征,從而實現(xiàn)重點關(guān)注某一區(qū)域,在神經(jīng)網(wǎng)絡(luò)中,其核心思想是通過這一過程來獲取到每張?zhí)卣鲌D重要性的差異,將神經(jīng)網(wǎng)絡(luò)的計算資源集中[12]。因此注意力模塊的使用可以使圖像分割網(wǎng)絡(luò)獲得更加密集的上下文信息,從而輔助分割任務(wù)進行更精確的像素分類。

        1.4 半監(jiān)督圖像分割

        圖像分割的標簽數(shù)據(jù)相比于原始圖像的獲取,其成本較為高昂,因此,半監(jiān)督圖像分割的思想便是利用大量的無標簽數(shù)據(jù)來提升算法的性能。常見的半監(jiān)督學習可分為兩類:一致性正則化(Consistency Regularization)和自訓練(Self-training)。一致性正則化通過對圖像增加各種噪聲擾動,使算法不同變換的同一樣本有著相似的輸出,例如文獻[13]對編碼器加入特征擾動。自訓練[14]則是通過少量有標簽的樣本訓練網(wǎng)絡(luò),利用訓練好的網(wǎng)絡(luò)對無標簽數(shù)據(jù)生成分割標簽,稱之為偽標簽,最后將原標簽數(shù)據(jù)與偽標簽數(shù)據(jù)混合再次對網(wǎng)絡(luò)進行訓練。

        2 網(wǎng)絡(luò)結(jié)構(gòu)

        2.1 池化層

        池化操作就是利用固定大小的窗口對輸入圖像以固定步長進行遍歷,并對窗口區(qū)域內(nèi)的像素值按一定的規(guī)則輸出為一個像素值,用于降低計算量,并在一定程度上防止過擬合。常用的有最大池化和均值池化,即選擇區(qū)域內(nèi)的最大值或者平均值作為輸出,兩者的輸出效果也不盡相同,其對比結(jié)果如圖3所示。最大池化有助于保留較暗背景中的高亮目標,而平均池化有助于保留高亮背景中的較暗目標[15]。在實際使用中普遍情況是目標亮度大于背景亮度,故而更多地使用了最大池化,而在裂縫圖像中,往往是裂縫區(qū)域的亮度低于其他非裂縫區(qū)域(與圖3中的白底黑線類似),在進行下采樣的過程中需要盡可能保留這一部分信息。因此,該文采用的是平均池化,代替原來的最大池化。

        圖3 池化操作對比情況

        2.2 Strip Pooling注意力

        對于常規(guī)的池化操作,通常是在一個范圍大小為h×w的區(qū)域內(nèi)進行,這種方式在處理不規(guī)則物體時常常會不可避免地合并一些不相關(guān)的區(qū)域。為了緩解這一情況,SP(Strip Pooling)注意力[16]使用一個條帶狀的池化窗口沿著水平或垂直方向進行池化操作,其結(jié)構(gòu)如圖4所示。對于輸入尺寸為H×W的特征圖,分別采用尺寸大小為H×1和1×W的池化窗口進行池化遍歷,對窗口內(nèi)元素求平均值:

        (1)

        (2)

        圖4 SP注意力結(jié)構(gòu)

        2.3 網(wǎng)絡(luò)總體框架

        整個網(wǎng)絡(luò)以具有34層深度的殘差網(wǎng)絡(luò)ResNet-34[11]為基礎(chǔ),第一卷積階段對輸入圖像以大小為7×7、通道數(shù)64的卷積核進行卷積處理,第二卷積階段首先進行3×3的平均池化操作,隨后的卷積操作由殘差塊構(gòu)成,每個塊分別由兩次卷積、批正則化、ReLU組成,并在Cov2到Cov5的四個卷積階段中分別進行3、4、6、3次的殘差塊堆疊,并且在每個殘差塊中,加入了SP注意力模塊,用于提升網(wǎng)絡(luò)特征提取能力。主干網(wǎng)絡(luò)采樣過程中,采用擴邊padding=1的方式使3×3卷積前后圖尺寸大小保持一致,而7×7的卷積層則填充為3。

        改進后整個U-Net的網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示,SP模塊與卷積模塊處理同一輸入,隨后融合。編碼器的輸出與解碼器對應(yīng)跳躍連接,用于輔助解碼器恢復下采樣過程中所丟失的特征信息,從而更好地恢復圖像。跳躍連接首先對特征圖經(jīng)過1×1卷積,再與解碼器中上采樣后的特征圖進行拼接,隨后進行3×3卷積,反復4次后再次經(jīng)過1×1卷積調(diào)整通道數(shù),經(jīng)Softmax激活后得到與原圖尺寸相同的概率圖。

        圖5 SP-Unet網(wǎng)絡(luò)結(jié)構(gòu)

        2.4 交叉?zhèn)伪O(jiān)督訓練

        數(shù)據(jù)集的標簽制作是一個非常耗時且費力的過程,對于標簽數(shù)據(jù)有限的數(shù)據(jù)集而言,利用半監(jiān)督學習訓練網(wǎng)絡(luò)是一種行之有效的方法。自訓練可以利用偽標簽擴充標簽數(shù)據(jù),而一致性學習則通過約束條件使網(wǎng)絡(luò)學習到更加緊密的特征編碼,CPS[17](Cross Pseudo Supervision,交叉?zhèn)伪O(jiān)督)則是將兩者相結(jié)合,利用兩種方法的優(yōu)勢,提高網(wǎng)絡(luò)精度。CPS結(jié)構(gòu)如圖6所示。訓練時,隨機初始化兩個網(wǎng)絡(luò)f(θ1)和f(θ2)處理用于同一輸入X,得到兩個不同的softmax輸出Out1和Out2,以及對應(yīng)的偽分割圖Y1和Y2,利用偽分割圖對Out1和Out2進行損失監(jiān)督。

        圖6 CPS結(jié)構(gòu)(---?表示損失監(jiān)督)

        3 實驗分析

        3.1 實驗設(shè)置

        該文所使用的混凝土裂縫數(shù)據(jù)集為自建數(shù)據(jù)集,共包含尺寸為1 024×1 024的圖像數(shù)據(jù)241張并全部由專業(yè)工程師利用Labelme工具進行標注,將其按7∶1∶2的比例分別設(shè)置為訓練集、驗證集和測試集。訓練時使用Adam算法[18]作為優(yōu)化器,學習率初始值設(shè)定為0.000 1,因同時訓練兩個網(wǎng)絡(luò),需要更大的顯存空間,受制于硬件設(shè)備,參數(shù)batch_size設(shè)定為2,并且為了防止數(shù)據(jù)量過大,訓練時將輸入圖像尺寸重塑為512×512大小。全部實驗均基于pyTorch深度學習框架,在顯存為 8 GB的NVIDIA RTX3070 Ti GPU上進行,編程語言為Python3.8,操作系統(tǒng)為Windows 10。

        3.2 評價指標

        圖像分割可視為一個對像素點進行前景與背景分類的二分類任務(wù),正樣本被正確分類時記為TP(True Positive),正樣本被錯誤分類時記為FN(False Negative),負樣本被正確分類時記為TN(True Negative),負樣本被錯誤分類時即為FP(False Positive),則常用的評價指標精度(precision)和IOU(Intersection Over Union)為:

        (3)

        (4)

        為了更加準確地評估算法性能,還選取了DICE系數(shù)、MIOU(Mean IOU)和FPS(Frames Per Second,每秒傳輸幀數(shù))作為補充評價指標,其中DICE系數(shù)是一種用于度量相似度的函數(shù),當達到完美分割時其值為1,因此也常用于分割網(wǎng)絡(luò)的損失函數(shù),其公式為:

        (5)

        MIOU為真實值和預測值兩個集合間的交并比,其公式為:

        (6)

        式中,pij表示真實值為i,被預測為j的數(shù)量,k+1為類別個數(shù),pii為真值的數(shù)量,pij和pji分別表示假正例和假負例。mIOU的計算是基于全局進行的,因此是一個全局性的評價。

        FPS用于分割速度的評價,值越大速度越快,其計算公式為:

        (7)

        式中,Snum表示測試集樣本數(shù)量,T表示測試所用時長。

        3.3 實驗結(jié)果分析

        為了評估方法的有效性,該文對比了U-Net、Res-UNet、PSPNet[19]和DeepLabv3+[20]等經(jīng)典的圖像分割方法,結(jié)果如表1所示。

        表1 分割效果對比實驗

        可以看出,該方法的分割精度最佳,并且其他各項指標也均取得最佳結(jié)果,這是由于在加入了SP注意力模塊與平均池化后,網(wǎng)絡(luò)特征提取效果得到了提高,更有利于裂縫的特征提取,并且交叉?zhèn)伪O(jiān)督的訓練方式變相擴充了數(shù)據(jù)集,對網(wǎng)絡(luò)訓練更有利。在方法的速度方面,由于使用了注意力機制,在圖像處理過程中,插入的注意力模塊會參與到特征提取過程中進行特征的細化,這部分的計算帶來了些許時間成本,導致了速度的下降。雖然改進后的方法對FPS指標略有影響,但分割精度有較大提升,整體上依然具有一定的優(yōu)勢。

        為了評估交叉?zhèn)伪O(jiān)督訓練的有效性,該文將訓練集減少至50%再次進行訓練,并利用相同測試集進行測試,結(jié)果如表2所示。

        表2 訓練結(jié)果對比(使用50%數(shù)據(jù)集) %

        可以看出,幾乎所有的方法在分割效果上都出現(xiàn)了不同程度的降低,這是訓練數(shù)據(jù)不足所引起的,網(wǎng)絡(luò)沒有得到足夠多的訓練樣本從而在特征提取方面表現(xiàn)不佳。相比于其他方法,文中方法影響最小,精度降低1.0%,IOU降低0.1%,這兩項指標略有降低,而mIOU和DICE系數(shù)與原來持平,總體上該方法還是保持在了一個較高的水平。

        圖7 不同分割方法對比

        圖7展示了不同算法的分割結(jié)果,第一列為原圖,從無標簽數(shù)據(jù)中隨機選取的圖像,后面5列分別為5種算法分割后的二值化圖像??梢钥闯觯珼eepLab3+、PSPNet和U-Net分割方法出現(xiàn)了不同程度的不連續(xù)分割,沒能完全分割出裂縫的整體輪廓,而Res-UNet方法則在第三張的左下角處出現(xiàn)了錯誤分割。相較于其他方法,文中分割方法整體上表現(xiàn)較好,整體分割更為細致,更少的像素被錯誤分類。

        4 結(jié)束語

        以U-Net為基礎(chǔ)網(wǎng)絡(luò)進行改進,提出了一種嵌套條帶注意力機制的分割方法(SP-Unet),將網(wǎng)絡(luò)主干下采樣部分替換為具有更強特征提取能力的ResNet-34,并在其中插入SP注意力模塊,同時將全部的池化層替換為平均池化,強化下采樣部分對裂縫區(qū)域的特征提取能力。另外,為了應(yīng)對數(shù)據(jù)集不足的問題,引入了交叉?zhèn)伪O(jiān)督訓練方法,同時訓練兩個網(wǎng)絡(luò)并利用輸出約束彼此,從而使網(wǎng)絡(luò)在具有較少標簽數(shù)據(jù)時依然能夠保持一個較高的精度。

        猜你喜歡
        池化特征提取標簽
        基于緊湊型雙線性網(wǎng)絡(luò)的野生茵識別方法研究
        無線電工程(2024年8期)2024-09-16 00:00:00
        基于Sobel算子的池化算法設(shè)計
        卷積神經(jīng)網(wǎng)絡(luò)中的自適應(yīng)加權(quán)池化
        軟件導刊(2022年3期)2022-03-25 04:45:04
        基于卷積神經(jīng)網(wǎng)絡(luò)和池化算法的表情識別研究
        基于Daubechies(dbN)的飛行器音頻特征提取
        電子制作(2018年19期)2018-11-14 02:37:08
        無懼標簽 Alfa Romeo Giulia 200HP
        車迷(2018年11期)2018-08-30 03:20:32
        不害怕撕掉標簽的人,都活出了真正的漂亮
        海峽姐妹(2018年3期)2018-05-09 08:21:02
        Bagging RCSP腦電特征提取算法
        標簽化傷害了誰
        基于多進制查詢樹的多標簽識別方法
        計算機工程(2015年8期)2015-07-03 12:20:27
        宅男666在线永久免费观看| 中文字幕日韩一区二区不卡| 色综合久久久久综合999| 亚洲欧美国产成人综合不卡| 在线亚洲免费精品视频| 91精品国产综合久久久密臀九色| 欧美性高清另类videosex| 99视频30精品视频在线观看| 国产精品成人免费视频网站京东| 亚洲精品视频久久| 国产一区二区三区视频了| 国产成人精品一区二区不卡| 国产偷国产偷亚洲高清视频 | 精品久久人妻av中文字幕| 国产熟女露脸大叫高潮| 欧美国产亚洲精品成人a v | 狠狠色婷婷久久一区二区| 日韩精品国产自在欧美| 人成视频在线观看免费播放| 国产精品国产三级国产an不卡| 美腿丝袜诱惑一区二区| 99精品人妻无码专区在线视频区| 啪啪无码人妻丰满熟妇| 亚洲国产cao| 亚洲av日韩精品一区二区| 亚洲av午夜一区二区三| 美女脱了内裤张开腿让男人桶网站 | 亚洲欧洲日产国码无码AV一| 国产高清自产拍av在线| 穿着白丝啪啪的av网站| 凹凸在线无码免费视频| 欧美成人a在线网站| 亚洲av影片一区二区三区| 久久久天堂国产精品女人| 首页 综合国产 亚洲 丝袜| 亚洲欧美成人a∨| 亚洲免费人成网站在线观看| 国产精品日韩av一区二区三区| 欧美真人性野外做爰| 伊人网在线视频观看| 中文字幕日韩精品亚洲精品|