周孟航 趙自新 楊興宇 杜怡君

(西安交通大學(xué)機(jī)械制造系統(tǒng)工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，陜西 西安710049 )

0 引言

航空航天領(lǐng)域的安全性檢測(cè)越來(lái)越重要，其中對(duì)葉片、機(jī)翼和芯片焊點(diǎn)等關(guān)鍵構(gòu)件進(jìn)行強(qiáng)度檢測(cè)評(píng)估具有重要意義[1]。通過(guò)數(shù)字全息干涉術(shù)可以對(duì)這些構(gòu)件的形貌形變進(jìn)行無(wú)損、大范圍、高精度的測(cè)量，進(jìn)而評(píng)估構(gòu)件的性能和強(qiáng)度。而這些構(gòu)建的表面通常為光學(xué)粗糙表面，激光照射到這些表面上時(shí)，各個(gè)微小的粗糙面元的反射光會(huì)在空間中隨機(jī)干涉，形成復(fù)雜的散斑噪聲，利用這些散斑噪聲的相關(guān)性可以對(duì)物體的面內(nèi)形變應(yīng)變等進(jìn)行測(cè)量分析[2,3]，但是在數(shù)字全息測(cè)量的過(guò)程中散斑噪聲會(huì)嚴(yán)重影響測(cè)量過(guò)程提取相位的質(zhì)量，降低測(cè)量的精度。因此對(duì)降低散斑噪聲帶來(lái)的相位誤差十分有必要。

散斑噪聲是一種分布復(fù)雜的噪聲，目前常見(jiàn)的降低散斑噪聲干擾的方法有兩種，一是從散斑的統(tǒng)計(jì)特性出發(fā)，獲取多視角或隨機(jī)照明的全息圖，以平均的方式降低噪聲的對(duì)比度。Quan, Chenggen等人通過(guò)改變不同的照明角度對(duì)散斑噪聲進(jìn)行平均[4]。此類方法通常是利用硬件進(jìn)行實(shí)現(xiàn)，裝置復(fù)雜，且需采集多幅全息圖像，記錄時(shí)間長(zhǎng)。第二種方式是通過(guò)數(shù)字圖像處理進(jìn)行濾波。傳統(tǒng)的圖像濾波方法種類繁多，有中值濾波、均值濾波及小波變換等，其中基于BM3D框架的系列算法取得了非常好的去噪效果[5-7]。但是由于散斑噪聲的乘性特點(diǎn)和分布不均勻特征使得圖像中的信號(hào)和噪聲難以像一般的高斯噪聲那樣分離，使得傳統(tǒng)的數(shù)字濾波方法在數(shù)字全息散斑去噪的應(yīng)用上很難取得很好的效果。

近年來(lái)，在大數(shù)據(jù)人工智能的熱潮下，基于深度學(xué)習(xí)的圖像濾波方法成為了研究的熱點(diǎn)，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的濾波方法不僅在自然圖像領(lǐng)域取得了卓越的去噪性能[8-12]，也在光學(xué)計(jì)量領(lǐng)域展現(xiàn)了獨(dú)特的優(yōu)勢(shì)。2019年，F(xiàn)UGUI HAO等人提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的分批去噪方法[13]，將一張電子散斑干涉條紋圖分批下采樣后一同輸入網(wǎng)絡(luò)進(jìn)行去噪處理，獲得了良好的去噪效果。2020年，Ketao Yan等人提出了一種兩幀的神經(jīng)網(wǎng)絡(luò)去噪方法，將帶有散斑噪聲的正弦和余弦的干涉條紋一同輸入網(wǎng)絡(luò)，分別去噪后再計(jì)算得到濾波后的相位信息[14]。2021年，JIANMING LI等人提出了一種結(jié)合空洞卷積的散斑干涉條紋去噪方法，增加了對(duì)不同尺度特征的提取能力[15]。2022年，Javier Gurrola-Ramos等人提出了一種基于U-Net的條紋去噪網(wǎng)絡(luò)，通過(guò)網(wǎng)絡(luò)模型對(duì)噪聲分布進(jìn)行建模，進(jìn)而去除噪聲[16]。這些方法大多是對(duì)條紋圖進(jìn)行去噪處理，再獲得相位信息，而且散斑噪聲的分布在空間上是不一致的，這些方法沒(méi)有針對(duì)這種不一致性進(jìn)行特殊處理，對(duì)于噪聲分布密集的區(qū)域去噪效果可能不佳，所以本文提出了一種基于多尺度空間注意力的卷積神經(jīng)去噪方法直接對(duì)帶有散斑噪聲的相位數(shù)據(jù)進(jìn)行處理，對(duì)噪聲分布不同的區(qū)域添加不同的權(quán)重以解決噪聲分布不一致的問(wèn)題，又結(jié)合空洞卷積和殘差模塊構(gòu)建了密集特征提取模塊提取多尺度更深層次的特征的同時(shí)避免梯度消失。通過(guò)仿真實(shí)驗(yàn)和微芯片焊點(diǎn)的熱變形實(shí)驗(yàn)結(jié)果可以看出，該方法能夠有效提高數(shù)字全息相位恢復(fù)的精度，在數(shù)字全息復(fù)雜粗糙表面的測(cè)量中具有很好的可行性。

1 方法原理及模型建立

數(shù)字全息干涉術(shù)獲得的干涉圖像可表達(dá)為式（1）所示：

其中，I表示全息強(qiáng)度圖，Io和Ir分布代表物光和參考光強(qiáng)，和為共軛的干涉項(xiàng)。干涉項(xiàng)中包含所需的物體相位信息，為+1級(jí)項(xiàng)可表示為

其中oφ為物體相位信息，φr為參考光相位，φs為散斑相位，當(dāng)物體發(fā)生形變后，φo和sφ都會(huì)發(fā)生變化，提取出將變形前后+1級(jí)項(xiàng)的相位后，進(jìn)行相減可得到變形相位，可表達(dá)為式（3）所示：

其中φΔ 為相減獲得的相位圖，Im(·)和Re(·)分別為虛部和實(shí)部，Δφo為變形產(chǎn)生的相位變化，ηs為散斑噪聲。所以對(duì)提取的相減相位而言，散斑噪聲可以表達(dá)為一種加性噪聲，而干涉條紋圖中的散斑噪聲是以乘性噪聲的形式出現(xiàn)，所以從原理上來(lái)看，對(duì)相位圖進(jìn)行去噪更加的合理。

1.1 去噪模型結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)模型實(shí)際上是一個(gè)復(fù)雜的映射函數(shù)F(·)，本文采用的是基于U-Net的卷積神經(jīng)網(wǎng)絡(luò)模型[16, 17]，并對(duì)U-Net框架進(jìn)行了改進(jìn)，從式（3）可得，相位與散斑噪聲可表達(dá)為一種加性的關(guān)系，所需的無(wú)噪聲相位可表達(dá)為：

因此，可以對(duì)噪聲分布進(jìn)行建模進(jìn)而去除噪聲。因此網(wǎng)絡(luò)的輸出可表達(dá)為：

這稱為殘差模型[18]，能夠更好的擬合噪聲的分布。主要的網(wǎng)絡(luò)結(jié)構(gòu)基于U-Net框架，由多層級(jí)的編碼器和解碼器構(gòu)成，整體的網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示，除了基本的U-Net框架，還增加了針對(duì)噪聲分布不一致問(wèn)題的多尺度空間注意力模塊和提取更深層特征的同時(shí)避免梯度消失的密集連接模塊。

圖1 所提去噪模型網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of the proposed denoising model

首先將帶有噪聲的相位圖輸入到多尺度空間注意力模塊中，將帶噪聲的圖像按照3中不同尺度進(jìn)行分割，并對(duì)分割后的不同尺度不同區(qū)域的圖像添加權(quán)重，以降低噪聲空間分布不均勻所帶來(lái)的影響，然后將3種尺度下的加權(quán)特征合并一同輸入到后續(xù)的卷積層中進(jìn)行編碼-解碼，由圖1可以看出，在后續(xù)卷積操作中，為了增加模型提取不同尺度特征的能力，一共設(shè)置了4層編碼層和4層解碼層，每次編碼使得輸出的特征通道增加為原來(lái)2倍，圖像尺寸下采樣為原來(lái)1/4，每次解碼使得輸出的特征通道減少為原來(lái)1/2倍，圖像尺寸上采樣為原來(lái)4倍，所以最終圖像尺寸又會(huì)恢復(fù)為與輸入圖像一致的尺寸，且每次的編碼-解碼過(guò)程中都引入了密集連接模塊，使得模型提取深層特征的同時(shí)避免梯度消失，也在每次的編碼前都合并了最開(kāi)始的多尺度加權(quán)特征，以避免網(wǎng)絡(luò)過(guò)深導(dǎo)致梯度消失。最后通過(guò)式（5）構(gòu)建的殘差觀測(cè)模型，求得清晰的相位圖。

1.2 多尺度空間注意力模塊

多尺度空間注意力模塊的結(jié)構(gòu)如圖2所示，首先將輸入的噪聲圖像（1×H×W）進(jìn)行三種尺度下的平均池化（1×1、2×2和4×4），分別對(duì)輸入圖像中1×1、2×2和4×4這三種尺度的區(qū)域計(jì)算一個(gè)權(quán)重，經(jīng)過(guò)多尺度池化，特征圖的尺寸分別變?yōu)樵瓉?lái)的1、1/2和1/4大小。這些特征圖尺寸大小分別為H×W、(H2 )× (W2)和(H4 )× (W4)，然后先對(duì)對(duì)這些尺度下的特征區(qū)域進(jìn)行1x1空間卷積獲得對(duì)應(yīng)區(qū)域的權(quán)重，為了能和原來(lái)的圖像(HW× 大小)相乘計(jì)算各個(gè)區(qū)域的權(quán)重，需再將權(quán)重進(jìn)行插值為HW× 大小，然后將這些尺度下的權(quán)重分別與輸入圖像進(jìn)行矩陣點(diǎn)乘即可得到對(duì)應(yīng)尺度下的空間區(qū)域加權(quán)特征分量，可以表達(dá)為式（6）所示：

其中，?w為加權(quán)后的特征分量，Wφ為空間區(qū)域權(quán)重，φ為輸入的噪聲圖像，P(·)和G(·)分別為不同尺度下的池化操作和卷積操作。最后將這些加權(quán)特征進(jìn)行合并獲得多尺度的加權(quán)特征如圖2所示，其中顏色越深代表權(quán)重越大。引入了多尺度空間注意力模塊不僅提取了不同尺度下的空間特征，也對(duì)空間不同區(qū)域進(jìn)行了加權(quán)計(jì)算，能夠降低空間分布不一致的散斑噪聲帶來(lái)的影響。

圖2 多尺度空間注意力模塊Fig.2 Multiscale spatial attention module

1.3 密集連接模塊

密集連接模塊的目的在于提取深層的特征，其結(jié)構(gòu)如圖3所示，輸入通道數(shù)為f的特征圖，通過(guò)3×3的卷積層輸出固定通道數(shù)為f/2的特征圖，然后為了防止梯度消失，與輸入特征進(jìn)行拼接后再進(jìn)一步提取深層特征，如圖3所示，一共經(jīng)過(guò)4次的3×3的卷積層獲得通道數(shù)為的特征圖，然后將通道數(shù)為3f的特征圖輸入到3層的空洞卷積模塊中，空洞卷積比分別為1、3、5，以提取三種尺度下的特征分量并合并為通道數(shù)為3f的特征圖，然后為了使特征通道數(shù)與最開(kāi)始一致（為了后續(xù)進(jìn)行殘差連接），又通過(guò)3×3的卷積層輸出通道數(shù)為f的特征圖，并與最初輸入的通道數(shù)為f的特征圖進(jìn)行殘差連接[18]，避免網(wǎng)絡(luò)過(guò)深帶來(lái)的梯度消失。

圖3 密集連接模塊Fig.3 Densely connected module

2 數(shù)據(jù)集生成與訓(xùn)練

考慮到實(shí)際測(cè)量過(guò)程中存在的散斑噪聲和高斯噪聲等因素，本文使用Matlab生成豐富的仿真數(shù)據(jù)集，仿真流程如圖4所示。首先通過(guò)Zernike多項(xiàng)式擬合隨機(jī)的形變相位分布，生成34 項(xiàng)Ci=(C2,C3,C4,...,C35),C1為常數(shù)項(xiàng)不輸入網(wǎng)絡(luò)訓(xùn)練，設(shè)定范圍為(0,2π)，設(shè)定尺寸大小為256×256像素，進(jìn)而生成變形后散斑場(chǎng)，與初始散斑場(chǎng)相減得到散斑干涉條紋圖，通過(guò)相移得到帶有散斑噪聲的包裹圖，再添加高斯噪聲等因素，使數(shù)據(jù)集更加豐富逼近實(shí)際，仿真數(shù)據(jù)如圖5所示。本文一共生成50000張帶有散斑噪聲的包裹相位圖及其無(wú)噪聲的標(biāo)簽，其中45000個(gè)數(shù)據(jù)作為訓(xùn)練集，5000個(gè)數(shù)據(jù)作為驗(yàn)證集來(lái)評(píng)價(jià)模型的訓(xùn)練效果。對(duì)所提的去噪網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練時(shí)，本文使用均方誤差為損失函數(shù)來(lái)使網(wǎng)絡(luò)輸出的圖像與對(duì)應(yīng)的無(wú)噪聲圖像的差異最小化。

圖4 訓(xùn)練數(shù)據(jù)生成流程Fig.4 Flowchart of training data generation.

圖5 仿真噪聲數(shù)據(jù)及其標(biāo)簽Fig.5 Simulation data with noise and labels

損失函數(shù)表達(dá)如式（7）所示：

其中θ為網(wǎng)絡(luò)模型參數(shù)，IClear和NoiseI分別為無(wú)噪聲標(biāo)簽和噪聲圖像，F(xiàn)(·)為網(wǎng)絡(luò)映射函數(shù)。基于Loss (θ)采用反向傳播梯度下降的方式更新網(wǎng)絡(luò)參數(shù)，采用Adam作為優(yōu)化器對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化，學(xué)習(xí)率設(shè)置為10-4，訓(xùn)練迭代次數(shù)為100，每次輸入32張圖像。

3 實(shí)驗(yàn)結(jié)果

模型訓(xùn)練好后，通過(guò)仿真數(shù)據(jù)和一組焊點(diǎn)的熱變形測(cè)量數(shù)據(jù)對(duì)模型的去噪性能進(jìn)行評(píng)價(jià)。首先選取了一組噪聲分布較為均勻的閉條紋數(shù)據(jù)（圖6（a））進(jìn)行測(cè)試，去噪的結(jié)果如圖6（b）所示，可以看出，原本的噪聲已經(jīng)被很好的去除了，恢復(fù)的圖像十分清晰干凈，圖6（c）為恢復(fù)結(jié)果與真實(shí)標(biāo)簽之間的殘差圖，也可以看出處理的誤效果很好，均方根誤差只有0.0051rad。

圖6 噪聲較為均勻數(shù)據(jù)的去噪結(jié)果(a)均勻噪聲包裹相位 (b) 去噪結(jié)果 (c) 去噪結(jié)果與其真實(shí)標(biāo)簽的殘差Fig.6 Denoising results of data with relatively uniform noise

又選取了一組存在明顯噪聲分布不均勻的數(shù)據(jù)圖7（a）進(jìn)行分析，這組數(shù)據(jù)左上角的噪聲分布相對(duì)于其他區(qū)域，更加密集，處理的結(jié)果如圖7（b）所示，雖然存在明顯的噪聲分布不均勻現(xiàn)象，此方法對(duì)各個(gè)區(qū)域的均能取得較好的去噪效果，而且從殘差圖也可以看出，在噪聲分布更加密集的區(qū)域，此方法恢復(fù)的精度依舊不亞于其他區(qū)域。

圖7 噪聲分布不一致數(shù)據(jù)的去噪結(jié)果 (a)不一致噪聲包裹相位 (b) 去噪結(jié)果 (c) 去噪結(jié)果與其真實(shí)標(biāo)簽的殘差Fig.7 Denoising results of data with inconsistent noise distribution

為了進(jìn)一步說(shuō)明此方法對(duì)于提高測(cè)量精度的效果，對(duì)去噪前后的相位恢復(fù)結(jié)果進(jìn)行了比較分析，圖8所示為噪聲不一致數(shù)據(jù)去噪前后相位恢復(fù)結(jié)果，可以看出去噪前的相位恢復(fù)效果非常差，尤其在噪聲密集區(qū)域已經(jīng)完全失真，而去噪后的結(jié)果在圖像的各個(gè)區(qū)域都能恢復(fù)出很好的相位信息，與真值的均方根誤差僅有0.0079rad，具有很高的恢復(fù)精度。為了評(píng)價(jià)該方法在實(shí)際測(cè)量中的應(yīng)用效果，本文搭建了數(shù)字全息顯微系統(tǒng)，對(duì)芯片焊點(diǎn)的熱形變進(jìn)行測(cè)量，如圖9所示。

圖8 噪聲不一致數(shù)據(jù)去噪前后相位恢復(fù)結(jié)果對(duì)比(a) 帶噪聲數(shù)據(jù)(b) 去噪結(jié)果(c) 噪聲數(shù)據(jù)相位恢復(fù)結(jié)果(d) 去噪后相位恢復(fù)結(jié)果Fig.8 Comparison of phase recovery results before and after noise inconsistent data denoising

圖9 數(shù)字全息顯微焊點(diǎn)形變測(cè)量系統(tǒng)Fig.9 Digital holographic microscopic solder joint deformation measurement system

提取的形變相位如圖10（a）所示，可以看出圖像中的散斑噪聲分布也是非常不均勻的，經(jīng)過(guò)間斷條紋估算，此形變相位的PV(Peak to valley)值約為22π（11個(gè)間斷條紋），焊點(diǎn)的形變量可以表示為式（8）所示：

其中φΔ 為恢復(fù)的形變相位，λ為激光波長(zhǎng)（632.8nm），為焊點(diǎn)的形變量。將最大形變相位估算值帶入式（8）可以得到，焊點(diǎn)的最大形變量約為3.5μm。經(jīng)過(guò)網(wǎng)絡(luò)模型去噪后的包裹相位如圖10（b）所示，可以看出該方法能夠有效降低噪聲帶來(lái)的干擾，恢復(fù)出清晰的包裹相位，分別將去噪前后的包裹相位進(jìn)行相位恢復(fù)并計(jì)算焊點(diǎn)的形變量，可以看出將未去噪的圖像直接進(jìn)行相位恢復(fù)時(shí)，由于受到噪聲干擾，相位恢復(fù)算法會(huì)將噪點(diǎn)看作是包裹的間斷以至于無(wú)法準(zhǔn)確的對(duì)各個(gè)間斷區(qū)域進(jìn)行判定，計(jì)算的最大形變量（圖10（c））為1.95μm，和實(shí)際出現(xiàn)了明顯的偏差（誤差約為1.5μm），而經(jīng)過(guò)該方法去噪后，計(jì)算的最大形變量（圖10（d））為3.45μm，符合實(shí)際的形變量分布，去噪后提高了1.45μm/3.5μm≈40%左右的相對(duì)形變測(cè)量精度，且結(jié)果更加光滑，說(shuō)明該方法在實(shí)際的數(shù)字全息干涉測(cè)量中擁有很好的應(yīng)用效果，能夠有效的提高測(cè)量的精度。

圖10 焊點(diǎn)熱形變數(shù)據(jù)處理結(jié)果a) 焊點(diǎn)形變相位 b) 去噪結(jié)果 c) 未去噪計(jì)算變形量 d) 去噪后計(jì)算變形量Fig.10 Phase results of solder joint thermal deformation data

4 結(jié)論

本文提出了一種基于多尺度空間注意力的高精度數(shù)字全息散斑去噪方法。該方法在使用U-Net卷積神經(jīng)網(wǎng)絡(luò)框架的基礎(chǔ)上，設(shè)計(jì)了多尺度的空間注意力模塊，能夠很好的對(duì)空間分布不同，尺寸不一致的噪聲進(jìn)行提取，并計(jì)算它們之間的權(quán)重，能夠有效的減少噪聲分布不均勻所帶來(lái)的影響，也構(gòu)建了空洞卷積和殘差模塊結(jié)合的密集連接模塊，在提取深層特征的同時(shí)避免梯度消失。通過(guò)散斑干涉測(cè)量的數(shù)學(xué)模型生成大量的高精度數(shù)據(jù)集對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，最后通過(guò)仿真實(shí)驗(yàn)和焊點(diǎn)的熱形變實(shí)驗(yàn)驗(yàn)證了該方法的有效性，尤其在處理噪聲分布不一致的數(shù)據(jù)時(shí)，能夠有效的提高測(cè)量的精度，在實(shí)際的數(shù)字全息干涉測(cè)量中有著很好的應(yīng)用前景。