樂 威， 楊 雷， 趙曉芳， 魯思薇

（1.東莞理工學(xué)院a.計算機(jī)科學(xué)與技術(shù)學(xué)院；b.國際微電子學(xué)院，廣東 東莞 523808；2.深圳大學(xué)電子與信息工程學(xué)院，廣東 深圳 518060）

0 引言

掃描電鏡（SEM）的基本原理是：利用聚焦很窄的高能電子束掃描物體，在物體表面形成具有一定能量的電子束，然后將各個方向的電子束收集起來形成一張反映物體形貌的亮暗不同的圖像［1］。對于阻燃材料煅燒后形成的炭渣，由于炭渣與空氣形成的孔隙的明暗程度不同，因此可以通過分割圖像中的炭渣與孔隙來分析阻燃材料的阻燃性能，這要求阻燃材料SEM圖像更加清晰且易于分割。然而，在實際應(yīng)用過程中往往受環(huán)境因素和儀器自身存在的電子噪聲等因素的影響，拍攝出來的圖像存在一定的噪聲，這使得后續(xù)的圖像分割不精準(zhǔn)，所以對SEM圖像進(jìn)行降噪處理是十分必要的。

在SEM成像過程中，噪聲的影響是客觀存在的，通過調(diào)整SEM自身的參數(shù)得到清晰無噪的圖像從原理上來講是不可行的［1-2］，所以需要采用降噪技術(shù)來實現(xiàn)對SEM圖像的去噪處理。李曉瑜［3］以小波分析為基礎(chǔ)設(shè)計了模極大值去噪、相關(guān)性去噪以及閾值去噪來實現(xiàn)對SEM 圖像的去噪處理。張蕾等［4］以非局部均值（NLM）算法為基礎(chǔ)提出了一種自適應(yīng)邊緣相似度的NLM圖像去噪方法，對自身像素與相鄰像素賦予權(quán)值來估算中心像素，從而構(gòu)成去噪圖像。Dabov等［5］提出了一種非局部圖像建模、主成分分析與局部形狀適應(yīng)性各向異性估計的圖像去噪方法，通過縮減相似圖像塊的三維變換頻譜將噪聲分開。Zhang 等［6］通過研究前饋去噪神經(jīng)網(wǎng)絡(luò)，結(jié)合批歸一化和線性修正單元設(shè)計了一個深度的網(wǎng)絡(luò)架構(gòu)，并利用殘差學(xué)習(xí)來提升去噪性能。Guo等［7］利用更真實的噪聲模型和真實世界的噪聲-清潔圖像對訓(xùn)練卷積盲去噪網(wǎng)絡(luò)（CBDNet），并在網(wǎng)絡(luò)中嵌入一個具有不對稱學(xué)習(xí)的噪聲估計子網(wǎng)絡(luò)來糾正去噪結(jié)果。從運算時間、計算消耗與去噪效果等方面綜合考慮，以上去噪算法不適用于阻燃材料炭渣SEM圖像的去噪。

基于以上分析，本文采用基于SCUNet（Swin-Conv-UNet）的降噪網(wǎng)絡(luò)處理阻燃材料的SEM 圖像，并與小波變換、NLM、三維塊匹配濾波（BM3D）和DnCNN（denoising convolutional neural network）等經(jīng)典的降噪方法相比較，驗證該降噪網(wǎng)絡(luò)的有效性。

1 SCUNet圖像處理

1.1 SCUNet架構(gòu)

SCUNet［8］是蘇黎世聯(lián)邦理工學(xué)院工作室提出的一種新型降噪網(wǎng)絡(luò)。將5 個SC（Swin-Conv）塊作為UNet的主要構(gòu)建模塊，在每一個SC 塊中輸入圖像并通過1 ×1 卷積將圖像分為2 個特征圖組，2 個特征圖組經(jīng)過處理后與輸入進(jìn)行殘差連接并輸出。SC 塊中的Rconv 塊受啟發(fā)于Devalla 等［9］在2018年提出的DRUNET，將局部殘差卷積塊合并到UNet中檢測重雜波的真實紅外圖像，取得了最優(yōu)表現(xiàn)，而SC 塊中的SwinT塊繼承了同工作室在2021年提出的SwinIR 網(wǎng)絡(luò)模型核心思想［10］。SCUNet 架構(gòu)將殘差卷積的局部建模能力與SwinT 塊的非局部建模能力相結(jié)合，成了當(dāng)時最先進(jìn)的降噪模型［8］。SCUNet流程如圖1 所示。

圖1 SCUNet流程

SCUNet的骨干網(wǎng)絡(luò)有4 個尺度，每個尺度都有一個用于降尺度的2 ×2 步幅卷積的殘差連接和一個用于升尺度的2 ×2 的轉(zhuǎn)置卷積。具體來講，含噪圖像輸入模型后經(jīng)過3 ×3 卷積生成特征向量X，隨后在SC塊中經(jīng)過1 ×1 卷積運算，被平均分成2 個特征圖組［8］，這個過程可以表述為

式中：Split表示把圖像X平均分割為兩部分X1和X2；Conv表示對圖像X進(jìn)行1 ×1 卷積運算。然后，X1和X2被送入SwinT 塊和Rconv 塊，這個過程可以表述為

式中：Concat 表示把2 張圖像合并為1 張圖像；SwinT表示圖像經(jīng)過SwinT 塊；Rconv 表示圖像經(jīng)過殘差連接塊。Y1和Y2經(jīng)過1 ×1 卷積后輸入X 進(jìn)行殘差連接，最后輸出Z，這個過程可以表述為

式（1）～（3）表示1 張輸入圖像經(jīng)過SC塊所要進(jìn)行的運算［8］。式（3）中的輸出Z還需進(jìn)行1 個殘差連接以及4 個SC塊和1 個3 ×3 卷積運算后得到去噪圖像。

1.2 數(shù)據(jù)集

噪聲一般被分為加性噪聲與乘性噪聲。加性噪聲是一直存在的系統(tǒng)背景噪聲，普遍以加性高斯白噪聲（AWGN）為代表。AWGN 是目前使用最廣泛的去噪假設(shè)，盡管與大多數(shù)自然界實際產(chǎn)生的噪音不符，但是依然可以用于評價去噪模型的好壞［11］。乘性噪聲普遍存在于實際圖像中，與信號是相乘關(guān)系，隨信號的存在而存在。相比于加性噪聲，乘性噪聲更符合實際成像，對圖像的污染也更加嚴(yán)重。

對阻燃材料炭渣SEM圖像進(jìn)行去噪處理，圖像中的噪聲呈雪花狀，如圖2 所示。

圖2 阻燃材料炭渣SEM圖像

為使模型的去噪效果更好，數(shù)據(jù)集的擴(kuò)充是有必要的。使用Matlab在真實SEM 圖像上添加不同噪聲水平的AWGN與乘性噪聲，作為訓(xùn)練集。選取500 張分辨率為1 200 ×960 的SEM圖像，并以該500 張圖像為原始圖像添加不同噪聲水平的噪聲來擴(kuò)充數(shù)據(jù)集。該500 張圖像由掃描電鏡在真實實驗室環(huán)境中拍攝得到。以擴(kuò)充后的數(shù)據(jù)集為訓(xùn)練集，添加AWGN與乘性噪聲進(jìn)行訓(xùn)練，經(jīng)過大約20 000 次的迭代后得到當(dāng)前最優(yōu)模型參數(shù)。由去噪圖像與原始圖像計算得到峰值信噪比（PSNR）與結(jié)構(gòu)相似性（SSIM）。

1.3 模型訓(xùn)練

由于原始SCUNet模型過于龐大而無法在單GPU中訓(xùn)練，因此對該模型進(jìn)行修改以適應(yīng)顯存較小的機(jī)器。在輸入到SC 塊之前的第1 個1 ×1 卷積中，將原始輸出通道縮小4 倍，同時由于SEM 圖像為灰度圖，因此輸入通道數(shù)修改為1。為了加快收斂速度，使用DIV2K［12］和Flick2K［13］數(shù)據(jù)集上的預(yù)訓(xùn)練模型參數(shù)，并修改相關(guān)通道以適應(yīng)修改后的模型架構(gòu)。采用Adam優(yōu)化器使lL1損失函數(shù)最小化，lL1損失函數(shù)可以表述為

式中：yi表示訓(xùn)練目標(biāo)值；f（xi）表示估計值；lL1表示目標(biāo)值與估計值的差值絕對值累加最小化［14］。設(shè)置初始學(xué)習(xí)率為10-3，為防止過擬合，權(quán)重衰減設(shè)置為10-5。使用cosineAnnealingLR策略更新學(xué)習(xí)率［15］，在每一輪訓(xùn)練結(jié)束后進(jìn)行調(diào)整。經(jīng)過20 次學(xué)習(xí)率調(diào)整完成1／4 個cosine周期。學(xué)習(xí)率的更新可表述為

式中：ηt表示更新后的學(xué)習(xí)率；ηmin表示學(xué)習(xí)率的最小值，默認(rèn)為0，本研究中設(shè)置為10-5；ηmax表示學(xué)習(xí)率的最大值，也是初始值，設(shè)置為10-3；Tcur表示已經(jīng)迭代的次數(shù)；Tmax表示學(xué)習(xí)率從初始值降到最小值所需要的迭代次數(shù)，本研究中設(shè)置為20，即1／4 個cosine 周期需迭代20 次。

patch和batch 分別設(shè)置為128 ×128 和4。首先對添加噪聲水平為25 的數(shù)據(jù)集進(jìn)行訓(xùn)練，訓(xùn)練過程中每迭代200 次計算驗證集損失值，若當(dāng)前損失值小于上次計算所得損失值則保存當(dāng)前模型，否則繼續(xù)迭代。每迭代1 000 次就輸出驗證集中隨機(jī)5 張圖片的去噪效果圖。所有實驗都在PyTorth 1.13.0 上實現(xiàn)，在NVIDIA RTX 4000 GPU上訓(xùn)練一個模型需要40 h。

2 實驗結(jié)果與分析

2.1 實驗結(jié)果

為驗證方法的有效性，根據(jù)訓(xùn)練出的模型隨機(jī)選取100 張圖像進(jìn)行去噪測試，噪聲水平為25。去噪后的圖像較含噪圖像更加清晰，明暗對比更加明顯，如圖3 所示。

圖3 含噪圖像與去噪圖像對比

值得注意的是，圖3（a）～（f）并非圖像實際尺寸，而是經(jīng)過裁剪后得到的，目的是為了更加直觀地看到去噪與含噪圖像的對比。

從圖3 可以看到，去噪后炭渣與孔隙之間分界明顯，有利于后續(xù)的分割。圖4 為同一張圖像在添加不同噪聲水平后的去噪效果對比。圖4（b）～（d）中，σ表示噪聲水平，σ ＝0 表示未手動添加噪聲。為體現(xiàn)對比效果，模型對噪聲水平分別為0、15 和30 的圖像進(jìn)行處理?？梢钥闯觯?＝0 時去噪效果最好，σ ＝30 時去噪效果最差。因此，訓(xùn)練集擴(kuò)充添加噪聲的圖像能夠為模型帶來更好地去噪表現(xiàn)。

圖4 不同噪聲水平下去噪圖像對比

2.2 去噪方法對比

對比了幾種經(jīng)典且較為常用的去噪方法，包括小波變換［3］、NLM［4］、BM3D［5］和DnCNN［6］。通過峰值信噪比與結(jié)構(gòu)相似性2 種衡量指標(biāo)比較噪聲水平為25 時各個方法的性能，如表1 所示。

表1 各方法的峰值信噪比和結(jié)構(gòu)相似性對比

表1 中的數(shù)據(jù)為100 張隨機(jī)測試圖像的平均值?？梢钥吹?，所提出的去噪方法比小波變換、NLM 和BM3D等在峰值信噪比與結(jié)構(gòu)相似性指標(biāo)上有著明顯的提升。本方法比DnCNN 在峰值信噪比上提升0.326 5 dB，增幅約為1.1%；在結(jié)構(gòu)相似性上提升0.009 9，增幅約為1.3%。

圖5 為不同噪聲水平下各方法去噪性能，所得數(shù)據(jù)均為隨機(jī)選取的100 張圖像去噪后的平均值?？梢钥吹剑谠肼曀捷^小時，DnCNN 與BM3D 的去噪效果比NLM 差。本方法無論在低噪聲水平還是高噪聲水平都優(yōu)于其余去噪方法。

圖5 不同噪聲水平下各方法去噪性能對比

圖6為隨機(jī)選取的圖像在噪聲水平為25 時使用不同方法測試的結(jié)果。從圖6 可以看到，利用小波變換去噪的圖像基本模糊，NLM去噪后的圖像產(chǎn)生了其他形狀的噪聲紋理，BM3D 生成的圖像較前2 種方法表現(xiàn)稍好，但也存在一定的模糊現(xiàn)象。本方法與DnCNN 去噪能力最好，而本方法生成的圖像比DnCNN更加平滑，明暗對比更加明顯。

圖6 不同方法測試結(jié)果對比

3 結(jié)語

利用SCUNet 對阻燃材料炭渣SEM 圖像降噪處理，并與幾種經(jīng)典的去噪方法在峰值信噪比與結(jié)構(gòu)相似性2 種衡量指標(biāo)上進(jìn)行對比。結(jié)果表明，所提出的降噪方法在峰值信噪比與結(jié)構(gòu)相似性上均優(yōu)于小波變換、NLM、BM3D和DnCNN等，更有利于阻燃材料炭渣SEM圖像分割。