摘" 要： 航空光電成像載荷作為一種有效的偵察裝備，由于光學(xué)系統(tǒng)灰塵、探測器壞像元、探測器非均勻性等因素，導(dǎo)致光電成像載荷生成的圖像中存在固定噪聲，從而使載荷的成像質(zhì)量下降。為解決該問題，文中提出一種可以去除航空光電成像載荷系統(tǒng)固定噪聲的方法。首先使用光電成像載荷對標(biāo)準(zhǔn)光源進(jìn)行成像，得到標(biāo)準(zhǔn)圖像；再對標(biāo)準(zhǔn)圖像進(jìn)行處理，得到固定噪聲圖像；最后從待優(yōu)化圖像中將固定噪聲圖像剔除，得到去噪后圖像。實踐證明，該方法在保持圖像空間結(jié)構(gòu)信息以及不損失圖像細(xì)節(jié)的前提下，可以有效地去除光電成像載荷的系統(tǒng)固定噪聲，提升光電成像載荷圖像質(zhì)量。

關(guān)鍵詞： 航空偵察； 光電成像載荷； 系統(tǒng)固定噪聲； 圖像濾波； 噪聲去除； 圖像質(zhì)量提升

中圖分類號： TN911.73?34； TP751； TP391" " " " " 文獻(xiàn)標(biāo)識碼： A" " " " " " " " 文章編號： 1004?373X（2024）23?0176?05

A study of system?level fixed noise removal method for aerial optoelectronic imaging load

WANG Xiaoyi1， 2， NIE Haitao1

（1. Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences， Changchun 130033， China;

2. School of Optoelectronic Engineering， Changchun University of Science and Technology， Changchun 130022， China）

Abstract： As an effective reconnaissance equipment， aerial photoelectric imaging load， due to the factors such as dust on the optical system and unqualified pixels and the non?uniformity of the detector， can lead to the presence of fixed noise in the image generated by the photoelectric imaging load， which can degrade the imaging quality of the load. Therefore， a method that can remove system?level fixed noise from an aerial photoelectric imaging load is proposed. A standard light source is imaged by photoelectric imaging load to obtain a standard image， which is processed and then a fixed noise image is obtained. The fixed noise image is removed from the image to be optimized to obtain a denoised image. It is proved that the proposed method can effectively remove the system?level fixed noise of the photoelectric imaging load and improve the image quality under the premise of maintaining the spatial structure information of the image and not losing the image details.

Keywords： aerial reconnaissance; optical imaging load; system?level fixed noise; image filtering; noise removal; image quality improvement

0" 引" 言

航空光電成像載荷作為一種重要裝備，可以搭載于飛機(jī)、飛艇等航空動平臺上，是一種可以快速獲取高精度圖像的數(shù)據(jù)手段，在航空攝影測量[1]、軍事偵察[2]、國土調(diào)查、農(nóng)業(yè)監(jiān)測[3]、生態(tài)監(jiān)測[4]等領(lǐng)域有著廣泛應(yīng)用，為我國國防安全、經(jīng)濟(jì)發(fā)展、民生建設(shè)起到了至關(guān)重要的作用。航空光電成像載荷在進(jìn)行圖像信號采集的過程中，由于載荷內(nèi)部或外界環(huán)境等因素的干擾，導(dǎo)致生成的圖像中存在各種噪聲，從而影響圖像質(zhì)量。隨著各種應(yīng)用需求的不斷增強(qiáng)，對光電成像載荷的圖像質(zhì)量要求日益增高，因此如何保證圖像質(zhì)量、降低圖像噪聲，是提升光電成像載荷綜合性能、保障圖像下游應(yīng)用效能的關(guān)鍵[5]。

圖像去噪的相關(guān)方法研究經(jīng)歷了數(shù)十年的過程，在基礎(chǔ)理論和應(yīng)用算法方面都取得了重要進(jìn)展，同時在航空航天[6]、生物醫(yī)學(xué)[7]、工業(yè)工程[8]等領(lǐng)域都得到了較為廣泛的應(yīng)用。圖像去噪方法的研究主要分為兩類：一類是傳統(tǒng)方法[9]，早期主要采用濾波器的方法實現(xiàn)圖像降噪[10]，分為空間域濾波和變換域濾波，后期研究者們提出了基于模型的圖像去噪方法[11]，該類方法通過設(shè)計圖像先驗實現(xiàn)噪聲去除；另一類是基于深度學(xué)習(xí)的去噪方法[12]，研究者們將各種深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像去噪方法中，在去噪性能方面有較大提升。

然而，以往的圖像去噪方法研究多針對圖像本身的傳統(tǒng)噪聲問題，該類方法在處理特定成像設(shè)備生成的真實圖像噪聲時效果較差，近年來研究者們開始研究真實圖像的噪聲處理問題[13?14]。由于成像設(shè)備的光學(xué)系統(tǒng)、機(jī)械結(jié)構(gòu)、探測器件等自身因素，真實圖像中通常存在大量復(fù)雜且未知的噪聲特性，該類噪聲難以用單一的數(shù)學(xué)模型進(jìn)行描述，因此該類圖像噪聲的去除更具有挑戰(zhàn)性。

特別針對航空光電成像載荷，復(fù)雜的內(nèi)部結(jié)構(gòu)導(dǎo)致其在工作中會存在多種系統(tǒng)級固定噪聲，在實際工程項目中，現(xiàn)有的圖像去噪方法均無法有效去除其圖像噪聲。針對此問題，本文提出一種可以去除由航空光電成像載荷內(nèi)部因素導(dǎo)致的系統(tǒng)固定噪聲方法，采用該去噪方法，可以在保持圖像空間結(jié)構(gòu)信息以及不損失圖像細(xì)節(jié)的前提下，有效去除光電成像載荷的系統(tǒng)固定噪聲，提升光電成像載荷的成像質(zhì)量。

1" 航空光電成像載荷及其圖像噪聲

航空光電成像載荷一般具備可見光、紅外成像能力，以Spectro XR光電載荷[15]為例，如圖1所示。該系統(tǒng)具備可見光、紅外成像能力，以及多目標(biāo)跟蹤、地形測量計算等功能，其高精度目標(biāo)識別和跟蹤功能的實現(xiàn)，依賴于高信噪比的圖像獲取能力。因此，如何去除航空光電成像載荷的圖像噪聲、保證成像質(zhì)量是決定其效能發(fā)揮的重要因素。

航空光電成像載荷系統(tǒng)主要由光學(xué)系統(tǒng)、機(jī)械結(jié)構(gòu)系統(tǒng)、成像探測器、電控系統(tǒng)構(gòu)成，如圖2所示。

如圖3所示，導(dǎo)致光電成像設(shè)備圖像噪聲產(chǎn)生的因素有兩類：系統(tǒng)內(nèi)部因素主要包括光學(xué)系統(tǒng)灰塵、機(jī)械結(jié)構(gòu)形變、探測器壞像元、探測器非均勻性等，該類因素導(dǎo)致的噪聲一般為固定噪聲，表現(xiàn)為光環(huán)、波紋、線條等；外部環(huán)境因素主要包括抖動、云霧、雨水、氣流等，該類因素導(dǎo)致的噪聲一般具有隨機(jī)性。本文方法主要解決內(nèi)部因素。

目前的圖像去噪方法主要分為基于濾波器的方法、基于模型的方法和基于學(xué)習(xí)的方法三類?，F(xiàn)有方法都根據(jù)圖像自身結(jié)構(gòu)特性實現(xiàn)去噪，對于由外部因素導(dǎo)致的噪聲具有較好的去除效果，但無法有效去除某一特定光電成像載荷中由于內(nèi)部因素導(dǎo)致的系統(tǒng)固定噪聲，同時存在去噪效率低、無法在載荷端實現(xiàn)的問題。因此，本文針對由航空光電成像載荷系統(tǒng)內(nèi)部因素導(dǎo)致的圖像噪聲，提出一種有效的系統(tǒng)級固定噪聲去除方法。

2" 系統(tǒng)固定噪聲去除方法

2.1" 方法流程

為解決航空光電成像載荷系統(tǒng)內(nèi)部因素導(dǎo)致的圖像噪聲問題，彌補(bǔ)現(xiàn)有算法在具體工程應(yīng)用中的不足，本文提出了一種可以有效去除航空光電成像載荷系統(tǒng)固定噪聲的方法，如圖4所示。

去除航空光電成像載荷系統(tǒng)固定噪聲的方法步驟如下：

第1步：使用光電成像載荷對標(biāo)準(zhǔn)光源進(jìn)行成像，得到標(biāo)準(zhǔn)圖像；

第2步：對標(biāo)準(zhǔn)圖像進(jìn)行處理，得到固定噪聲圖像；

第3步：從待優(yōu)化圖像中將固定噪聲圖像剔除，得到去噪后的優(yōu)化圖像。

2.2" 光電成像載荷標(biāo)準(zhǔn)圖像獲取

為獲取特定光電成像載荷的系統(tǒng)級標(biāo)準(zhǔn)噪聲，首先需要獲取該光電成像載荷的標(biāo)準(zhǔn)圖像。根據(jù)光電成像載荷相關(guān)參數(shù)特性，選取合適口徑的積分球（可見光成像設(shè)備使用）或黑體（紅外成像設(shè)備使用），之后用光電成像載荷對標(biāo)準(zhǔn)光源進(jìn)行成像，得到該光電成像載荷的標(biāo)準(zhǔn)圖像。為保證光電成像載荷系統(tǒng)成像的一致性和準(zhǔn)確性，使用光電成像載荷對標(biāo)準(zhǔn)光源進(jìn)行多次成像，各像素點均取多次成像的平均值，從而得到標(biāo)準(zhǔn)圖像。光電成像載荷標(biāo)準(zhǔn)圖像計算公式如下：

[Si，j=k=1nTki，jn]" （1）

式中：[Si，j]為標(biāo)準(zhǔn)圖像[S]在[（i，j）]位置的像素值；[Tki，j]為第[k]次對標(biāo)準(zhǔn)光源成像所生成圖像[Tk]在[（i，j）]位置的像素值；[n]為對標(biāo)準(zhǔn)光源成像次數(shù)。

2.3" 噪聲圖像生成

得到光電成像載荷的標(biāo)準(zhǔn)圖像之后，需要進(jìn)一步提取系統(tǒng)級固定噪聲圖像。如圖5所示，首先計算標(biāo)準(zhǔn)圖像[S]的圖像直方圖；之后，為了排除探測器壞像元等特異性因素的影響，根據(jù)圖像直方圖計算尋找像素點個數(shù)大于10的像素值最小值；最后，用標(biāo)準(zhǔn)圖像[S]各像素值減去上述最小值，得到系統(tǒng)級固定噪聲圖像。

[Qi，j=Si，j-min（Si，j），" " h（min（Si，j））gt;10] （2）

式中：[Qi，j]為求得的系統(tǒng)級固定噪聲圖像[Q]在[（i，j）]位置的像素值；[min（Si，j）]為標(biāo)準(zhǔn)圖像[S]的像素最小值；[h（min（Si，j））]是值為[min（Si，j）]的像素點個數(shù)。

2.4" 系統(tǒng)級噪聲去除

從待優(yōu)化的原始圖像中將系統(tǒng)級固定噪聲圖像去除。首先，求出標(biāo)準(zhǔn)圖像像素點均值，公式如下：

[ES=i=0Mj=0NSi，jM×N]" " " （3）

式中：[ES]為標(biāo)準(zhǔn)圖像像素點均值；[M]、[N]分別為圖像長寬方向的像素點個數(shù)。

之后，求出待優(yōu)化的原始圖像像素點均值，公式如下：

[ESrc=i=0Mj=0NSrci，jM×N]" " " （4）

式中：[ESrc]為待優(yōu)化的原始圖像像素點均值；[Srci，j]為待優(yōu)化的原始圖像Src在[（i，j）]位置的像素值。

最后，去噪后的圖像通過式（5）計算生成：

[Ri，j=Srci，j-Qi，jESrcES]" "（5）

式中[Ri，j]為去噪后圖像[R]在[（i，j）]位置的像素值。

3" 實驗結(jié)果與分析

為了驗證本文提出的航空光電成像載荷系統(tǒng)級固定噪聲去除方法的有效性和可靠性，以某型航空光電成像載荷的可見光圖像作為實驗驗證對象，開展了圖像噪聲去除實驗。本文提出的方法既可以在上位機(jī)上實現(xiàn)圖像后處理，也可以在下位機(jī)實現(xiàn)嵌入式端上實時處理，端上處理方式可以實現(xiàn)載荷工作時實時生成優(yōu)化后圖像，有效提升載荷效能。

3.1" 實驗環(huán)境及參數(shù)設(shè)置

實驗采用的航空光電成像載荷的可見光探測器尺寸為1 920×1 080，圖像量化位數(shù)為8 bit。上位機(jī)代碼實現(xiàn)環(huán)境為Qt6+OpenCV，操作系統(tǒng)為Windows 10，計算機(jī)CPU為Core i5?8250U 1.8 GHz，內(nèi)存為8 GB。

3.2" 主觀評價

圖像主觀評價是指通過人眼觀察來對圖像質(zhì)量進(jìn)行定性評價[16]。根據(jù)第2節(jié)去噪方法描述，圖6展示了某型航空光電成像載荷可見光圖像采用本文方法的去噪效果。其中，圖6a）為對標(biāo)準(zhǔn)積分球進(jìn)行10次成像后根據(jù)公式（1）求得的標(biāo)準(zhǔn)圖像；圖6b）為根據(jù)公式（2）求得的系統(tǒng)級固定噪聲圖像；圖6c）為該航空光電成像載荷實飛拍攝的可見光圖像；圖6d）為根據(jù)本文方法生成的去噪處理后圖像。通過觀察可以發(fā)現(xiàn)圖6c）的待優(yōu)化原始圖像中存在“水波紋”“右下角黑圈”“橫縱兩條亮線”以及“透明小圓點”等系統(tǒng)級固定噪聲，經(jīng)過本文方法處理后，在圖6d）中均已消失，同時沒有損失原始圖像細(xì)節(jié)，優(yōu)化后圖像質(zhì)量得到大幅度提升，可見該方法可以有效去除系統(tǒng)級固定噪聲。

3.3" 客觀評價

客觀圖像質(zhì)量評價可分為全參考評價、半?yún)⒖荚u價和無參考評價三種[17]，前兩種評價方法都必須提供原始干凈圖像作為參考，而對于航空光電成像載荷的實際應(yīng)用場景，顯然無法提供原始干凈圖像作為參考，因此，本文采用無參考評價方法中經(jīng)典的圖像信噪比（SNR）和圖像信息熵（Entropy）對本文去噪方法效果進(jìn)行評價。由于現(xiàn)階段沒有專門針對特定成像裝備噪聲進(jìn)行優(yōu)化的方法，因此選取對真實場景效果較好且邊緣信息保留效果好的中值濾波和雙邊濾波算法與本文方法進(jìn)行對比。

為保證對比算法在該場景下的最佳效果，中值濾波的卷積核大?。╗ksize]）設(shè)置為7；雙邊濾波的濾波直徑參數(shù)（[d]）設(shè)置為9，顏色空間濾波器的標(biāo)準(zhǔn)差值（sigmaColor）設(shè)置為100，坐標(biāo)空間濾波器的標(biāo)準(zhǔn)差值（sigmaSpace）設(shè)置為120。圖7為不同方法的去噪效果對比圖。

從對比圖中可以看出，兩種傳統(tǒng)去噪方法對隨機(jī)噪聲有一定的去除能力，但對固定噪聲去除能力較差，圖像“水波紋”問題仍然存在?？陀^指標(biāo)評價方面，由于信噪比（SNR）和圖像信息熵（Entropy）的值均是越大說明去噪效果越好，從表1中可以看出，相比其他兩種方法，本文提出的方法在兩個評價指標(biāo)上均為最優(yōu)，證明了本文方法處理后的圖像信息更豐富、圖像質(zhì)量更高、去噪效果更優(yōu)。

4" 結(jié)" 語

本文針對航空光電成像載荷在成像過程中存在的系統(tǒng)級固定噪聲問題，提出了一種高效的噪聲去除方法，該方法可以在保持圖像空間結(jié)構(gòu)信息以及不損失圖像細(xì)節(jié)的前提下，有效去除由于光電成像載荷內(nèi)部因素導(dǎo)致的系統(tǒng)級固定噪聲。相比現(xiàn)有面向圖像本身的高復(fù)雜度圖像去噪方法，本文提出的方法面向特定光電成像載荷的真實成像場景，具有針對性強(qiáng)、效率高的特點，既可以在裝備端實時處理，也可以在上位機(jī)進(jìn)行事后處理。通過相關(guān)實驗對比，驗證了所提方法的有效性和實用性，在航空光電成像載荷上具有一定的應(yīng)用前景。

注：本文通訊作者為王瀟逸。

參考文獻(xiàn)

[1] ZHANGH W， YUAN G Q， LIU X J. Precise calibration of dynamic geometric parameters cameras for aerial mapping [J]. Optics and lasers in engineering， 2022， 149： 106816.

[2] SHIMONI M， HAELTERMAN R， PERNEEL C. Hypersectral imaging for military and security applications： Combining myriad processing and sensing techniques [J]. IEEE geoscience and remote sensing magazine， 2019， 7（2）： 101?117.

[3] ZHANG H D， WANG L Q， TIAN T， et al. A review of unmanned aerial vehicle low?altitude remote sensing （UAV?LARS） use in agricultural monitoring in China [J]. Remote sensing， 2021， 13（6）： 1221.

[4] KIM J I， CHI J H， MASJEDI A， et al. High?resolution hyperspectral imagery from pushbroom scanners on unmanned aerial systems [J]. Geoscience data journal， 2021， 9： 221?234.

[5] BUADES A， COLL B， MOREL J M. A review of image denoising algorithms， with a new one [J]. Multiscale modeling amp; simulation， 2005， 4（2）： 490?530.

[6] WANG X Y， LUO Z Z， LI W Q， et al. A self?supervised denoising network for satellite?airborne?ground hyperspectral imagery [J]. IEEE transactions on geoscience and remote sensing， 2021， 60： 1?16.

[7] 于淼，許錚鏵.生成對抗網(wǎng)絡(luò)醫(yī)學(xué)圖像去噪研究綜述[J].中國生物醫(yī)學(xué)工程學(xué)報，2022，41（6）：724?731.

[8] FAN J F， JING F S， YANG L， et al. A precise initial weld point guiding method of micro?gap weld based on structured light vision sensor [J]. IEEE sensors journal， 2019， 19（1）： 322?331.

[9] FAN L W， LI X M， GUO Q， et al. Nonlocal image denoising using edge?based similarity metric and adaptive parameter selection [J]. Science China （Information sciences）， 2018， 61（4）： 1?3.

[10] ZHANG X D， FENG X C， WANG W W. Two?direction nonlocal model for image interpolation [J]. Science China （Technological sciences）， 2013， 56（4）： 930?939.

[11] DABOV K， FOI A， KATKOVNIK V， et al. Image denoising by sparse 3?D transform?domain collaborative filtering [J]. IEEE transactions on image processing， 2007， 16（8）： 2080?2095.

[12] 王靜.基于卷積神經(jīng)網(wǎng)絡(luò)的圖像去噪方法研究[D].濟(jì)南：山東大學(xué)，2016.

[13] 許雪.基于多尺度特征的真實噪聲圖像去噪算法研究[D].南京：南京信息工程大學(xué)，2022.

[14] 陳暢.面向真實圖像恢復(fù)的降質(zhì)建模與算法設(shè)計[D].合肥：中國科學(xué)技術(shù)大學(xué)，2021.

[15] CARRIGAN K G. Manufacturing status of Tinsley visible qua?lity bare aluminum and an example of snap together assembly [C]// SPIE Conference on Infrared Technology and Applications. [S.l.： s.n.]， 2012： 1?6.

[16] 韓翰，卓力，張菁，等.基于深度學(xué)習(xí)的無參考圖像質(zhì)量評價綜述[J].測控技術(shù)，2022，41（4）：1?10.

[17] 鄢杰斌，方玉明，劉學(xué)林.圖像質(zhì)量評價研究綜述：從失真的角度[J].中國圖象圖形學(xué)報，2022，27（5）：1430?1466.

作者簡介：王瀟逸（1992—），男，吉林公主嶺人，碩士研究生，助理研究員，研究方向為航空光電載荷控制及光電圖像智能處理技術(shù)。

聶海濤（1986—），男，吉林長春人，博士研究生，副研究員，研究方向為光電圖像智能處理技術(shù)。