王霞，張鑫，焦崗成，楊曄，程宏昌，延波

（1 微光夜視技術重點實驗室，西安 710065）

（2 北京理工大學光電學院光電成像技術與系統(tǒng)教育部重點實驗室，北京 100081）

0 引言

微光夜視技術是為了研究在較低光照的條件下，將所采集到的圖像進行增強，傳輸，儲存以及復現(xiàn)和應用的光電技術，是近代光電子技術的重要組成部分。由于人眼的固有特性，當環(huán)境的光照度比較低的時候，人眼只能觀察到物體的輪廓，對細節(jié)特征無法精確識別。增強型CCD/CMOS（Intensified CCD/CMOS，ICCD/ICMOS）是現(xiàn)有的應用廣泛、工作照度很低的固體微光成像器件。ICCD/ICMOS 是由像增強器和CCD/CMOS 耦合而成。

雖然ICMOS 可以在微光夜視條件下成像，但像增強器在增強信號的同時也放大了噪聲的強度，導致獲取到的圖像隨機噪聲明顯，并且噪聲特性相較于傳統(tǒng)CMOS 成像的噪聲更為復雜。由于微通道板的引入，ICMOS 圖像噪聲并不是獨立同分布的，而是具有空間相關性的聚合狀隨機噪聲［1］。聚合狀噪聲破壞了圖像原有的結(jié)構特征，這極大地增加了去噪的難度。

圖像去噪是底層計算機視覺領域研究的熱點問題。現(xiàn)有的去噪算法可以分為以下幾大類：空域去噪算法、變換域去噪算法、基于稀疏表示的去噪算法、基于深度學習的去噪算法?？沼蛉ピ胨惴ㄖ饕槍ψ匀粓D像噪聲在空間獨立同分布的特性，采用濾波的方式去除噪聲，如均值濾波、雙邊濾波［2］、非局部均值（Non-Local Median，NLM）［3］等，但這些方法并不適用于ICMOS 圖像中空間聚合狀的隨機噪聲。變換域去噪算法首先對噪聲圖像進行特定的變換，然后根據(jù)變換域的特征以及噪聲的性質(zhì)，在變換域中對變換系數(shù)進行處理，去除噪聲分量，保留信號分量，如傅里葉變換、小波變換［4］，塊匹配3D 濾波（Block-Matching and 3D filtering，BM3D）［5］等，其中BM3D 是公認的效果最好的傳統(tǒng)去噪算法。這類方法通常認為噪聲為高頻信息，圖像信號為低頻信息，但空間聚合噪聲不僅僅包括高頻信息，也存在低頻分量，所以變換域方法很難對該噪聲圖像進行分離。稀疏表示的方法是將噪聲圖像通過某個過完備原子庫進行稀疏表示，用若干個大信號來表示原始信號，利用稀疏性來將圖像和噪聲分離開，如奇異值分解［6］、可學習同步稀疏編碼（Learned Simultaneous Sparse Coding，LSSC）［7］、非局部集中稀疏表示（Nonlocally Centralized Sparse Representation，NCSR）［8］等。但這些方法在生成字典庫時計算量很大，效率很低。近年來，深度學習方法已經(jīng)廣泛應用于圖像去噪領域。深度學習方法通過從大量的噪聲數(shù)據(jù)樣本中學習噪聲的分布特征，從而將噪聲和圖像信號分離。2012年，BURGER H C 等［9］發(fā)現(xiàn)簡單的多層感知機就可以媲美BM3D 算法；ZHANG Kai 等［10］在2016年提出了一個端到端的去噪卷積神經(jīng)網(wǎng)絡（Denoising Convolutional Neural Networks，DnCNN），該網(wǎng)絡引入了殘差學習，從輸入圖像估計對應的噪聲分布。隨后，在DnCNN 的基礎上，又提出了快速靈活的去噪網(wǎng)絡（Fast and Flexible Denoising Convolutional Neural Network，F(xiàn)FDNet）［11］，可以實現(xiàn)對多個噪聲模型同時去噪。TAI Ying 等［12］提出了一個深層記憶網(wǎng)絡（Memory Network，MemNet），但網(wǎng)絡結(jié)構比較復雜，難以訓練。CHENG Shen 等［13］通過圖像自適應映射的方法實現(xiàn)了去噪效果（Noise Basis Network，NBNet）。YUE Zongsheng 等［14］提出了新的變分推理的方法（Variational Denoising Network，VDN），并把生成對抗網(wǎng)絡引入去噪模型［15］。ZAMIR S W 等［16］將多尺度注意力模型引入了圖像去噪領域。GUO Shi 等［17］針對真實場景噪聲進行仿真，并實現(xiàn)了真實噪聲數(shù)據(jù)的盲去噪處理（Convolutional Blind Denoising，

CBDnet）。

至今為止，現(xiàn)有的噪聲圖像數(shù)據(jù)集大都是基于仿真的高斯噪聲和泊松噪聲模型，也有一些真實場景下的可見光圖像噪聲數(shù)據(jù)，并沒有基于ICMOS 成像設備的圖像數(shù)據(jù)集；其次，對ICMOS 圖像去噪的研究也很少，目前并沒有基于深度學習的ICMOS 圖像去噪算法的相關研究。因此，本文首先基于實驗室的直耦型ICMOS 微光相機［18］在不同照度下采集了幾組暗室場景視頻序列制作了ICMOS 圖像數(shù)據(jù)集，由于監(jiān)督學習對數(shù)據(jù)的需求，訓練樣本中需要與噪聲圖像相對應的無噪聲真值圖像作為標簽，而真實場景中很難直接獲取到無噪聲的標簽圖像，因此，本文采用了多幀平均的方法：對特定照度下的一個靜態(tài)場景獲取大量噪聲圖像序列并做多幀平均，就可以得到對應場景的無噪標簽圖像。其次，本文結(jié)合ICMOS 的噪聲分布特征設計了一個針對ICMOS 圖像的雙殘差注意力網(wǎng)絡模型，其中，網(wǎng)絡采用噪聲殘差學習策略以及殘差網(wǎng)絡模塊提升網(wǎng)絡對圖像中的噪聲特征提取的性能，同時，引入通道注意力機制進一步優(yōu)化模型參數(shù)。實驗表明，本文算法能在10-1～10-3lx 照度條件下較好地去除ICMOS 圖像中的噪聲，并還原圖像細節(jié)。

1 基于ICMOS 的去噪算法模型

微光ICMOS 圖像是在微光場景中經(jīng)過多次光電轉(zhuǎn)換以及能量倍增之后獲取的圖像，與正常照度下獲取的自然圖像有較大差異性，信噪比較低，隨機噪聲明顯，極大降低了圖像整體的觀感，不利于人眼的觀察和識別。因此，對ICMOS 圖像進行噪聲去除，提高圖像信噪比，有利于進一步提升ICMOS 成像的性能，拓寬其應用領域。

1.1 噪聲原理分析

ICMOS 成像的原理相較于普通的CMOS 成像更加復雜，像增強器由光陰極、微通道板和熒光屏三部分組成［19］，如圖1所示。首先，鏡頭接收場景中的光子經(jīng)過光陰極光電轉(zhuǎn)換后將接收到的微弱的光信號轉(zhuǎn)換成電子圖像，生成的電子隨后被注入到微通道板中使得電子圖像聚焦成像并獲得能量倍增，其次，所有電子被投射到熒光屏上轉(zhuǎn)換成可見的光學圖像，最后由CMOS 傳感器捕捉熒光屏上的光信號生成圖像。

圖1 ICMOS 原理圖Fig.1 The pipeline of ICMOS

由于ICMOS 結(jié)構的復雜性，使得ICMOS 噪聲與自然圖像噪聲分布截然不同，其噪聲模型由四個部分的噪聲疊加而成：光陰極噪聲、MCP 噪聲、熒光屏噪聲以及最后的CMOS 噪聲。WANG Fei 等［1］對ICMOS的噪聲進行了分析：1）ICMOS 噪聲呈現(xiàn)空間聚合狀，與自然圖像獨立同分布的噪聲不同，ICMOS 圖像噪聲由于微通道板的引入具有一定的空間相關性，每一個像素點的強度都會受到周圍像素點的干擾，這種噪聲破壞了圖像本身的結(jié)構特征，同時引入了大量無效特征；2）ICMOS 噪聲具有很強的隨機性，低照度條件下，成像器件的顆粒噪聲非常明顯，整個ICMOS 圖像呈現(xiàn)閃爍噪聲，與傳統(tǒng)固定模式噪聲不同，這些顆粒噪聲隨機性很強，大大增加了去噪的難度。

假設y表示獲取到的ICMOS 圖像，x表示與y對應的干凈無噪聲圖像，n代表圖像噪聲，F(xiàn)代表ICMOS成像退化函數(shù)。那么ICMOS 成像模型可以表示為

因此，針對ICMOS 圖像去噪的模型可以表示為

式中，F(xiàn)-1為退化逆函數(shù)，即去噪模型。同時，從式（2）可以看出只要從圖像中提取出噪聲分量就可以通過殘差學習策略計算出干凈的無噪聲圖像。

1.2 雙殘差注意力網(wǎng)絡模型

現(xiàn)有的深度學習去噪算法如DnCNN、CBDnet 等，大都針對仿真的高斯-泊松分布噪聲以及一些自然圖像的真實噪聲數(shù)據(jù)進行網(wǎng)絡設計和模型訓練，這些算法并不適合直接運用于ICMOS 圖像。本文針對ICMOS 圖像空間聚合狀隨機噪聲設計了一個雙殘差注意力網(wǎng)絡模型，如圖2所示。

圖2 算法結(jié)構圖Fig.2 The overview of the method

這里簡單介紹一下網(wǎng)絡結(jié)構，從圖2可以看出，網(wǎng)絡結(jié)構可以分為三個部分，首先第一部分為輸入部分的卷積層和ReLU 激活單元，這一部分負責將輸入的三通道或者單通道圖像轉(zhuǎn)換到更高維度的特征空間從而為之后的特征提取做鋪墊；第二部分是4 個殘差注意力模塊，并且每一個模塊的特征圖的數(shù)量在不斷減少，從殘差注意力模塊的組成可以看出，該模塊由4 個殘差單元、1 個通道注意力層以及1 個卷積層組成，每一個單元的具體結(jié)構會在后面介紹，這里引入了通道注意力機制，可以賦予中間層輸出特征圖不同的權重，自動獲取到每個特征通道的重要程度，然后依照這個重要程度去提升有用的特征并抑制對當前任務用處不大的特征，并引導網(wǎng)絡不斷縮減特征圖維度。最后一部分為輸出部分的卷積層，該部分負責將殘差注意力模塊輸出的高維度的代表噪聲分量的特征圖轉(zhuǎn)換成與輸入維度相同的噪聲圖像。由于ICMOS 圖像噪聲具有一定的空間相關性，而下采樣會導致空間信息的丟失。為了最大程度地保真圖像本身的結(jié)構特征，整個網(wǎng)絡模型并不會改變中間特征層的尺度，保證了空間分辨率的一致性。網(wǎng)絡所采用的卷積層都是3×3 大小的卷積核，中間特征層的維度從前至后分別為256、128、64、32 維。

傳統(tǒng)的去噪算法模型大都是直接通過網(wǎng)絡學習噪聲圖像y到真值圖像x的端到端映射，也就是網(wǎng)絡直接輸出去噪后的圖像。而本文提出的雙殘差注意力網(wǎng)絡的任務是輸入ICMOS 圖像y，輸出圖像中的噪聲n，三者的關系如式（3）所示。

式中，y表示輸入的ICMOS 圖像，x表示與y對應的干凈無噪聲圖像，即標簽真值圖像，n表示圖像噪聲。算法模型采用噪聲殘差學習的策略，使得網(wǎng)絡只需要著力于提取圖像中的噪聲分量，而不用復原原始圖像的細節(jié)以及邊緣信息，這樣可以最大程度地減小網(wǎng)絡的訓練難度，同時在一定參數(shù)條件下提升網(wǎng)絡的性能。最后，將網(wǎng)絡訓練的輸出φ(y)和輸入y兩者相加即可得到去噪后的圖像x，此為雙殘差模型中的第一層殘差。

為了進一步提高網(wǎng)絡模型的性能，本文的主干網(wǎng)絡中引入了大量的殘差模塊［20］，如圖3所示。殘差模塊的映射函數(shù)表示為

圖3 殘差塊結(jié)構圖Fig.3 The structure of the residual block

式中，s代表殘差模塊輸入的特征圖，F(xiàn)res(s)表示整個殘差模塊的映射函數(shù)，ReLU 表示非線性激活單元，f(s)表示中間層輸出的結(jié)果。殘差模塊通過簡單的跳躍連接實現(xiàn)，不會額外增加模型參數(shù)，相當于網(wǎng)絡只學習到了輸入與輸出之間的殘差特征，降低了網(wǎng)絡訓練的難度，同時，殘差模塊的引入可以較好地解決梯度彌散、梯度爆炸以及梯度退化等問題。此為雙殘差模型中的第二層殘差。

為了進一步提升模型去噪性能，本文引入了通道注意力機制［21］，結(jié)構如圖4所示。

圖4 通道注意力模塊結(jié)構圖Fig.4 The structure of channel attention block

式中，s表示輸入特征圖，Hmax(s)表示最大池化經(jīng)過全連接層后的輸出，Havg(s)表示均值池化經(jīng)過全連接層后的輸出，F(xiàn)channel(s)表示注意力模塊的輸出。輸入的特征圖經(jīng)過最大池化和均值池化生成兩個維度向量，分別經(jīng)過全連接層線性優(yōu)化之后相加得到輸入特征圖的通道注意力向量，最后與輸入特征圖相乘獲得模塊的輸出特征圖。通道注意力機制也就是給網(wǎng)絡中間層特征圖的不同維度賦予不同的權重，使得網(wǎng)絡在參數(shù)優(yōu)化過程中提升對重要維度的注意力，減弱對不重要維度的注意力。由于本文的特征圖維度在不斷縮減，通道注意力也可以引導網(wǎng)絡在維度縮減過程中對重要特征的保留以及對冗余特征的舍棄。

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)集的建立

現(xiàn)有的真實場景噪聲數(shù)據(jù)大多通過調(diào)整相機ISO 參數(shù)來控制噪聲。比如RENOIR［22］、DND［23］、Nam［24］、PolyU［25］等數(shù)據(jù)集都是針對同一場景，拍攝低ISO 圖像作為真值圖像，高ISO 圖像作為噪聲圖像，并調(diào)整曝光時間等相機參數(shù)使得兩張圖像亮度一致。但這種方法顯然不適用于ICMOS 圖像的采集，低ISO 只會讓圖像亮度過低從而丟失圖像信息，因此，本文考慮采用多幀平均的方法，在暗室某一固定照度下對靜態(tài)場景采集圖像序列，然后多幀加權平均的方法合成真值圖像。

實驗在暗室環(huán)境下進行，并采用照度計對微光場景照度進行精確測量。本文數(shù)據(jù)集主要基于2×10-1、3×10-2、2×10-3lx 三種照度下采用直耦型ICMOS 相機進行圖像序列的采集，每一個照度下采集7 個場景的圖像序列并做幀平均得到對應場景的真值圖像。采集到的圖像如圖5所示，這里展示了一組靜態(tài)場景的示意圖，可以看出，隨著照度的降低，圖像的噪聲強度在不斷增加，亮度也在不斷降低，而對應的幀平均圖像可以比較好地去除圖像的噪聲，保留圖像的細節(jié)信息，同時，能夠與噪聲圖像的亮度保持一致。

圖5 不同照度下訓練數(shù)據(jù)示例圖Fig.5 Examples under different illumination in the datasets

由于不同照度下的噪聲強度和亮度不統(tǒng)一，所以本文針對不同照度下的圖像分別進行訓練，每種照度下采用兩種靜態(tài)場景作為訓練集，每一個場景下采集1 000 張噪聲圖像，并與幀平均圖像一一對應。

2.2 實驗參數(shù)設置

由于本文去噪算法的任務為圖像到圖像的端到端映射，所以，本文采用的損失函數(shù)為基于圖像評價指標的MSE 損失和SSIM 損失，具體表示為

式中，N表示訓練樣本數(shù)，φ(y)為網(wǎng)絡輸出結(jié)果，x為標簽真值圖像。網(wǎng)絡采用Adam 優(yōu)化方法進行參數(shù)的優(yōu)化，其中β1=0.9，β1=0.999。網(wǎng)絡權重采用Kaiming 初始化，學習率的初始值為1×10-3，并隨著訓練次數(shù)的增加不斷衰減，每增加200 輪則衰減為之前的0.9。所有圖像大小統(tǒng)一為1 920×1 080，但圖像在輸入時經(jīng)過隨機裁剪處理，每次輸入為256×256 大小的圖像塊。本文實驗采用的CPU 為Intel（R）Xeon（R）CPU E5-1603 v4，GPU 為NVIDIA RTX3090，內(nèi)存為32G。為了對比算法的性能，本文采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構相似度（Structural Similarity Index Measure，SSIM）客觀評價指標進行估計。

2.3 實驗對比效果

為了更好地評價雙殘差注意力網(wǎng)絡去噪算法的優(yōu)越性，本文采用幾種主流的圖像去噪算法與本文算法進行了對比實驗，包括BM3D、非局部均值（NLM）、CBDnet、DnCNN 和VDN。其中DnCNN、CBDnet 以及VDN 算法是基于深度學習的適用于真實圖像盲去噪的主流方法，本文采用作者提供的開源代碼以及預訓練好的盲去噪模型參數(shù)進行對比試驗。在測試時，雖然網(wǎng)絡訓練對輸入圖像進行了分塊操作，但由于卷積網(wǎng)絡的內(nèi)在特性，訓練好的模型可以處理任意大小的輸入圖像。圖6～11 展示了本文算法基于測試集中不同照度下的圖像的去噪效果以及與主流算法的對比圖。

圖6 2×10-1 lx 下鸚鵡圖像的去噪效果Fig.6 Denoising results of parrot image under 2×10-1 lx

從圖中可以看出，非局部均值法（NLM）和基于深度學習的三種算法處理后圖像仍然帶有很嚴重的噪聲干擾，主要因為這些算法對于ICMOS 圖像空間相關性的聚合狀噪聲泛化性較差，無法從輸入圖像中區(qū)分出噪聲分量。而BM3D 經(jīng)典算法能夠一定程度上去除圖像的噪聲，在2×10-1lx 下效果比較好，但圖像細節(jié)過于平滑，導致部分細節(jié)丟失；而在照度更低的情況下，BM3D 算法處理后圖像會出現(xiàn)有比較明顯的條紋狀偽影，雖然圖像的亮度有一定的提升，但這也比較影響圖像的觀感，其次，BM3D 算法的時間成本非常高，計算量很大。相比較來看，本文算法在三種不同的照度下都保持著比較好地去噪效果，在最大限度地去除噪聲的同時，也保留了圖像的細節(jié)特征，而且，本文算法的時間成本低，效率比較高。

圖7 2×10-1 lx 下蝴蝶圖像的去噪效果Fig.7 Denoising results of butterfly image under 2×10-1 lx

表1是本文算法與其他主流算法的客觀評價指標數(shù)據(jù)對比，這里同樣采用幀平均圖像作為對比的真值圖像?？梢钥闯?，本文算法在不同照度條件以及不同指標下都取得了最優(yōu)越的效果。在PSNR 方面，本文算法隨著照度的降低始終保持著比較高的指標，而其他算法的PSNR 則隨著照度降低不斷下降，本文算法基于所有測試圖像的PSNR 指標比輸入噪聲圖像提升了56%，相比于BM3D 算法領先了9.56 dB，而SSIM指標的結(jié)果也很類似，BM3D 算法的SSIM 指標相對于其他對比算法有比較大的領先，但仍然稍遜于本文算法，基于所有圖像測試圖像的SSIM 指標比輸入圖像提升了106%，領先了BM3D 算法0.050 3。為了更好地驗證本文算法的運行效率，表2是不同算法處理單幅1 920×1 080 大小圖像的運行時間，可以看出基于深度學習的算法的運行時間要遠遠低于傳統(tǒng)算法，而本文的算法速度最快，只需要0.005 s。

表1 不同算法客觀評價指標對比Table 1 Comparison of objective evaluation indicators of different methods

表2 不同算法處理單幅1 920×1 080 圖像的運行時間Table 2 The running time of different methods for processing a single 1 920×1 080 image

圖8 3×10-2 lx 鸚鵡圖像的去噪效果Fig.8 Denoising results of parrot image under 3×10-2 lx

圖9 3×10-2 lx 蝴蝶圖像的去噪效果Fig.9 Denoising results of butterfly image under 3×10-2 lx

圖10 2×10-3 lx 鸚鵡圖像的去噪效果Fig.10 Denoising results of parrot image under 2×10-3 lx

圖11 2×10-3 lx 蝴蝶圖像的去噪效果Fig.11 Denoising results of butterfly image under 2×10-3 lx

3 結(jié)論

ICMOS 是現(xiàn)有的應用廣泛、工作照度最低的固體微光成像器件，但由于像增強器的引入，拍攝到的圖像信噪比較低，隨機噪聲明顯，極大降低了圖像整體的觀感，不利于人眼的觀察和識別。本文設計了一個雙殘差注意力網(wǎng)絡模型，并基于暗室環(huán)境下拍攝的不同照度下的靜態(tài)場景數(shù)據(jù)建立了專門的ICMOS 微光數(shù)據(jù)集。大量的實驗結(jié)果表明，本文的算法能夠有效地去除ICMOS 圖像中的隨機噪聲，而其他主流的去噪算法效果較差。下一步可以考慮噪聲的時域特性，采用多幀融合的處理方式對ICMOS 視頻序列進行去噪算法的研究。