喬 凱，黃石生，智喜洋，孫 晅，趙 明

(1.北京跟蹤通信技術研究所，北京 100094；2.哈爾濱工業(yè)大學 空間光學工程研究中心，黑龍江 哈爾濱 150001；3.大連海事大學 信息科學技術學院，遼寧 大連 116026)

1 引 言

高分辨率遙感衛(wèi)星能夠迅速、準確地獲取地物信息，在軍民應用領域發(fā)揮著重要作用。特別是以KH-12為代表的美國軍用遙感衛(wèi)星，地面分辨率優(yōu)于0.1 m，以WorldView-3為代表的商業(yè)遙感衛(wèi)星，可提供分辨率優(yōu)于0.4 m全色圖像[1-3]。

但現(xiàn)有衛(wèi)星在軌圖像質(zhì)量仍不夠理想，主要體現(xiàn)為圖像模糊、有霧狀感、邊緣銳度不強，且存在動態(tài)范圍偏窄、有效量化和有效信息不足的問題。立足于光學遙感全鏈路，通過圖像復原的方法可消除相機光學系統(tǒng)、探測器、成像電子學以及衛(wèi)星平臺環(huán)境和大氣路徑等因素引起的圖像模糊、噪聲等像質(zhì)退化。關于模糊、噪聲處理算法的研究很多[4-7]。然而關于圖像動態(tài)范圍展寬方面，多是通過直方圖調(diào)整、多曝光圖像融合、多尺度圖像融合等地面處理方式，以增強圖像清晰度和對比度[8-11]。這些方法仍無法從根本上解決圖像有效量化不足的問題，且圖像中暗場景和邊緣區(qū)域的處理性能會受到制約。實際上，目前相機動態(tài)范圍(灰階)可達到211以上，理論上能夠滿足通常成像條件下場景信息的獲取需求，但國內(nèi)在軌衛(wèi)星(高分二號、吉林一號等)數(shù)據(jù)統(tǒng)計分析結(jié)果顯示，有效量化僅達到了6～8位，這主要是由于衛(wèi)星在軌運行過程中設置的成像參數(shù)和實時拍攝場景的動態(tài)范圍存在不適配性。

因此，依據(jù)衛(wèi)星在軌成像實時拍攝的動態(tài)場景進行相機成像參數(shù)的設計與動態(tài)調(diào)整，對進一步提升暗或亮場景細節(jié)信息的分辨能力，具有重要意義和實際工程應用價值。本文從衛(wèi)星在軌成像動態(tài)范圍的影響機理出發(fā)，研究衛(wèi)星在軌動態(tài)場景實時匹配方法，同時利用無人機開展飛行試驗驗證。

2 衛(wèi)星在軌成像場景動態(tài)及其影響要素分析

2.1 衛(wèi)星在軌成像圖像動態(tài)范圍分析

圖1 不同衛(wèi)星圖像直方圖拉伸前后分布對比Fig.1 Distribution comparison of different satellite image histograms before and after stretching

從低動態(tài)范圍衛(wèi)星在軌圖像直方圖(如圖1所示)拉伸前后結(jié)果來看，與高動態(tài)衛(wèi)星圖像相比，其衛(wèi)星圖像灰度層次不夠豐富，灰度分布在相對較窄范圍，而且直方圖經(jīng)拉伸后出現(xiàn)灰階斷層。這也是導致圖像整體偏暗或高亮度場景區(qū)域出現(xiàn)飽和、景物紋理細膩度不夠的主要原因。

2.2 有效動態(tài)影響要素分析

光學衛(wèi)星通常采用線陣推掃式TDICCD相機，通過多級TDI-CCD對地面同一場景進行多次曝光，從而獲取高信噪比、高質(zhì)量的圖像。為了避免高動態(tài)場景區(qū)域圖像灰度的過飽和，衛(wèi)星在軌運行中一般采用固定的積分級數(shù)與增益[12-13]。設置增益的作用是使芯片輸出電壓與AD轉(zhuǎn)換器電壓相適應，從而提高輸出量化位數(shù)。假定模數(shù)轉(zhuǎn)換器的最大電壓為2 V，曝光時間固定時，模擬電壓為0.5～1.1 V，通過增益放大2倍可使CCD輸出電壓與AD轉(zhuǎn)換器電壓相符。

然而衛(wèi)星在軌運行中，成像場景不斷轉(zhuǎn)變(可能由陸地變成海洋、森林變成沙漠)，氣候條件復雜多變(包含晴天、陰天)，太陽高度角也在時刻發(fā)生改變，因此相機在不同時刻獲取圖像中的場景動態(tài)范圍存在差異，采用固定的積分級數(shù)和增益參數(shù)無法滿足動態(tài)場景實時匹配需求。在軌應用中，為了避免高亮度場景發(fā)生灰度飽和，通常將積分級數(shù)和增益參數(shù)控制在相對適中的范圍以內(nèi)，從而使場景信息集中在低灰度范圍。這是造成圖像整體偏暗、暗場景區(qū)域細節(jié)信息丟失的根本原因。

為了實現(xiàn)衛(wèi)星在軌動態(tài)場景的實時匹配，需要在軌運行中實時解算成像場景的動態(tài)范圍，并以此為依據(jù)合理調(diào)整相機積分級數(shù)和增益參數(shù)。而相機入瞳處的輻照度不僅包含場景本身的輻射能量，還包含大氣程輻射，其在圖像中表現(xiàn)為背景輻射，直接影響有效灰階范圍。由圖2可見：大氣程輻射造成的背景輻射已占1/3，圖像整體偏暗、有霧狀感，且多處高亮度場景區(qū)域出現(xiàn)灰度飽和。本文結(jié)合鉗位技術在模擬域上消除背景輻射的影響，利用該技術可在高端動態(tài)保持不變的情況下，增大積分級數(shù)或增益，從而使相機的低端動態(tài)得到充分利用，有效提高有效灰階。

圖2 含大氣程輻射的實拍圖像(a)及其直方圖分布(b)Fig.2 Actual image with atmospheric radiation(a) and corresponding histogram distribution(b)

此外，當圖像中包含云場景時，由于云具有較高反射率，圖像中表現(xiàn)為高亮度飽和區(qū)域[14]，容易被誤判為地面場景的高動態(tài)信息，從而影響場景動態(tài)范圍的測量。

3 衛(wèi)星在軌動態(tài)場景實時匹配方法

3.1 匹配總體方案

衛(wèi)星在軌動態(tài)場景實時匹配方案如圖3所示。由圖3可知，為了實現(xiàn)相機在軌動態(tài)場景與實時拍攝的地面場景動態(tài)范圍達到最佳匹配，采用測光-解算-成像的工作方式。首先采用獨立的測光相機在t1時刻對地面場景進行成像，而后根據(jù)測光結(jié)果，結(jié)合大氣程輻射預估和云檢測獲得實時拍攝場景的動態(tài)范圍。最后成像相機根據(jù)場景動態(tài)調(diào)整積分級數(shù)和增益，并設置鉗位值，在t2時刻對地面場景進行成像。

圖3 衛(wèi)星在軌動態(tài)場景實時匹配方案Fig.3 Real-time matching scheme for satellite dynamic scene

3.2 場景動態(tài)范圍測量方法

由3.1節(jié)可見：大氣程輻射和云場景對地面場景低亮度和高亮度信息的測量存在干擾，在場景動態(tài)范圍測量中需將二者剔除。下面給出大氣程輻射預估和云檢測方法。

圖4 不同鉗位電壓值下的圖像直方圖Fig.4 Image histograms with different clamping voltage values

3.2.1 大氣程輻射預估方法

通過對不同拍攝時間、不同地面場景和含不同程度大氣程輻射效應的100幅圖像進行統(tǒng)計特性分析得知，大氣程輻射對圖像特性的影響體現(xiàn)為直方圖偏離原點。圖4為不同鉗位值時的圖像直方圖。由圖4可見，通過增大鉗位電壓值可使直方圖向左偏移，當鉗位電壓值達到某數(shù)值后，再增大鉗位值會使暗場景區(qū)域的目標信息丟失(如圖5)，此時直方圖的形狀也將發(fā)生改變(如圖4(d))。

圖5 鉗位電壓值為500 mV的成像結(jié)果Fig.5 Imaging results when clamp voltage value is 500 mV

圖6 鉗位電壓設置示意圖Fig.6 Demonstration of clamping voltage selection

根據(jù)上述特征，本文提出基于直方圖特性確定鉗位電壓值并在模擬域消除大氣程輻射的方法。首先，尋找圖像直方圖的首個上升沿(如圖6(a))所示)。然后，利用二次曲線擬合出上升沿函數(shù)，求出上升沿與橫坐標軸的交點，從而確定大氣程輻射對應的灰度值。最后，將該處的電壓值設置為鉗位電壓，保證暗場景細節(jié)信息不丟失。為了提高方法的魯棒性，從橫坐標軸與擬合曲線的交點處沿曲線向上搜索，發(fā)現(xiàn)圖像中包含暗點時判讀其是否為連續(xù)點，若包含連續(xù)點則將該點的電壓值設置為鉗位電壓。 圖6(b)中豎線所示位置即為鉗位電壓值處。

3.2.2 云檢測

云檢測的總體思路如圖7所示，主要包括特征分類訓練與源模式判別兩個部分。在特征分類訓練中，本文選取具有代表性的云及其下墊面圖像塊作為訓練樣本。首先，基于云與下墊面地物場景的物理屬性差異，構造并提取其特征參量，將樣本映射為特征空間中的點[14]。然后，根據(jù)各參量對云和下墊面樣本的分割程度選擇特征參量，并利用特征壓縮技術[15]進行特征空間壓縮。最后，利用分類學習機[16]對樣本進行分類訓練，得到分類器。在源模式判別中，本文針對待檢測圖像進行特征參量提取與壓縮，并輸入分類器進行模式判別，完成云檢測。

圖7 云檢測總體思路Fig.7 Overall scheme of cloud detection

3.2.3 場景動態(tài)范圍解算

剔除大氣程輻射和云對場景動態(tài)范圍測量的影響后，即可解算被攝場景的動態(tài)范圍，解算方法如圖8所示，首先根據(jù)測光相機輻射標定關系和飽和輻亮度預估值，確定測光相機的曝光時間和增益。然后，分別根據(jù)測光相機對地面兩次成像結(jié)果，統(tǒng)計出地面場景高亮度和低亮度信息，從而實現(xiàn)場景動態(tài)范圍的測量。

圖8 場景動態(tài)范圍解算方法Fig.8 Scene dynamic range calculation method

3.3 動態(tài)場景實時匹配方法

本文采用測光相機對場景動態(tài)范圍進行測量。由于測光相機與成像相機使用的傳感器不同，為了使測光相機得到的動態(tài)范圍可以被成像相機所用，必須首先對兩臺相機的輻射響應進行精確標定[17]。

(1)

然后根據(jù)實際成像的場景動態(tài)，并結(jié)合測光相機與成像相機標定關系，解算相機的成像參數(shù)，根據(jù)場景動態(tài)和相機動態(tài)范圍關系，分為兩種情況進行分析：

(1)當場景動態(tài)范圍小于相機動態(tài)范圍時，相機成像參數(shù)的解算公式為[12]：

(2)

(2)當場景動態(tài)范圍大于相機動態(tài)范圍時，又分為兩種情況進行解算：

①高亮度匹配：高亮度匹配即是成像相機動態(tài)范圍包含場景動態(tài)的最高亮度點，舍去部分的低亮度信息，保證高亮度信息的不丟失。匹配方法為令像面照度最大值處像素的輸出信號恰好飽和，此時，參數(shù)解算方法與第(1)種情況一致。

②低亮度匹配：低亮度匹配即是相機動態(tài)范圍包含場景動態(tài)的最低亮度點，舍去部分的高亮度信息，保證低亮度信息的不丟失。相機成像參數(shù)的解算公式為：

(3)

在t和gv的匹配優(yōu)化設置中，考慮到增大gv會引起噪聲放大，因此首先調(diào)整積分級數(shù)，僅在所需t超出系統(tǒng)允許上限時進行增益調(diào)整。

實際在軌應用中，場景動態(tài)范圍通常大于相機動態(tài)范圍，此時很難通過單次成像實現(xiàn)暗場景和亮場景細節(jié)信息的同時獲取?？刹捎脙纱纬上穹桨?，分別采用高亮度匹配和低亮度匹配，并采用一種基于亮度參考模型的圖像融合方法[18]對高匹配和低匹配圖像進行融合處理。首先，將圖像轉(zhuǎn)換為YCbCr空間，對Y分量的圖像進行濾波，得到亮度參考圖像。根據(jù)亮度參考圖像設置權重。權重設置原則為：給曝光適當?shù)膮^(qū)域設置較大權重， 對過曝光或欠曝光區(qū)域設置較小權重。考慮到正常曝光的像素值在128左右，本文為其設定了較大權重。

4 動態(tài)場景實時匹配試驗

4.1 匹配性能評價指標

圖像灰階范圍和信息熵能夠直接反映圖像的有效動態(tài)范圍和信息含量的豐富程度，因此本文采用它們對匹配方法的有效性和處理性能進行評價。

本文將圖像的灰階范圍定義為：

Range=graymax-graymin ,

(4)

式中，Range表示灰階范圍，graymax表示去除圖像中最亮10%像素后的最大灰度值，graymin為去除最暗10%像素后的最小灰度值。

圖像信息熵定義[19]為：

(5)

式中，Pi表示圖像中灰度值為i的像素所占的比例。

本文將匹配方法對圖像灰階和熵提升性能的評價指標定義為：

(6)

式中，Rate表示灰階范圍的平均提升值，N表示圖像大小，GRfixed、GRLpath分別表示消除大氣程輻射前、后圖像的灰階范圍。

4.2 無人機外場試驗方案

利用無人機搭載測光相機與成像相機，平臺結(jié)構示意圖和整機實物圖如圖9、圖10所示，其中測光相機和成像相機均選用德國ximea高速相機和尼康標準變焦鏡頭，其焦距為24～120 mm，最小光圈值為22，傳感器型號為MC050MG-SY。當飛行高度為100 m時，為了模擬衛(wèi)星在軌工作狀態(tài)，設置測光相機比成像相機預先觀測10 m的目標場景，此時計算測光相機與成像相機的角度為5.7°。為了保持無人機穩(wěn)定飛行，將其飛行速度設置為1 m/s，因此兩次測光-拍照之間的間隔為10 s。

圖9 無人機平臺結(jié)構圖Fig.9 Structure diagram of UAV platform

圖10 無人機整機實物圖Fig.10 Prototype of UAV

在設定無人機飛行軌跡時，設定一個目標點，令無人機按照1 m/s速度飛向目標點，在無人機飛行的過程中，利用其上搭載的測光相機獲取目標場景圖像，根據(jù)感興趣區(qū)域解算第二次曝光時間，待無人機運行1 s后時開始第二次測光。在測光相機第二次測光時，改變開窗位置對同一目標場景成像。通過兩次測光圖像，測量目標場景的動態(tài)范圍并確定成像相機的曝光時間和增益。10 s后成像相機到達測光相機測量的場景區(qū)域，在成像相機通過該區(qū)域時，利用動態(tài)場景實時匹配方法解算的曝光時間和增益采集地面場景圖像。同時，在相同飛行軌跡下，利用成像相機對準待測目標場景，而后改變曝光時間和增益拍攝場景，采集不同曝光時間和增益下同一場景的序列圖像，最后通過統(tǒng)計匹配圖像和序列圖像的灰階范圍與圖像熵，說明匹配方法的有效性和處理性能。

4.3 外場實驗及結(jié)果分析

2016年9月20日和2016年10月7日下午14:00(分別為晴天和陰天)，選擇10種不同類型的場景區(qū)域進行了無人機飛行試驗。圖11給出了不同曝光時間下場景1的序列圖像。第1次曝光時間設定為0.1 ms，解算第2次曝光時間為2.061 ms。由圖11(a)、11(b)可見，第1次成像盡管出現(xiàn)了暗場景信息丟失問題，但較好地保留了高動態(tài)的屋頂場景信息，而第2次成像出現(xiàn)了高動態(tài)場景信息丟失問題，但較好地保留了低動態(tài)場景信息。利用兩次圖像解算出實時匹配的成像相機曝光時間為0.424 ms。從圖11 (c)和其它曝光時間下成像獲取的序列圖像對比看，利用本文提出的匹配方法可根據(jù)實時拍攝的地面景物合理地設置相機參數(shù)，實現(xiàn)相機與場景動態(tài)范圍的最佳匹配。

圖11 不同曝光時間下相同場景的序列圖像Fig.11 Sequence images of the same scene with different integration times

利用測光相機對場景進行兩次測光，而后成像相機根據(jù)匹配結(jié)果實時調(diào)整參數(shù)對同一場景進行成像的結(jié)果如圖12所示。表1給出了匹配前后圖像質(zhì)量的評價結(jié)果。從圖12(c)和12(f)和表1可見，動態(tài)場景匹配方法能夠根據(jù)地面場景實時解算相機參數(shù)，匹配后圖像的有效灰階提升優(yōu)于100%，信息熵提升優(yōu)于40%。

圖12 兩次測光圖像及動態(tài)匹配結(jié)果Fig.12 Two photometric images and corresponding dynamic matching results 表1 外場實驗匹配前后的圖像質(zhì)量評價結(jié)果 Tab.1 Image quality evaluation results of field experiment before and after matching

圖像灰階圖像熵固定曝光匹配后提升/%固定曝光匹配后提升/%場景124.2204.3744.23.9456.949076.1場景215.9153.8867.33.4966.688191.3場景333.4217.3550.64.0806.360755.9場景442.9232.7442.44.5717.119155.7場景529.5189.1541.04.4736.988956.2場景638.6209.0441.54.0436.439359.3場景755.2229.8316.35.0827.455846.7場景850.2182.6263.73.7626.011459.8場景961.9226.0265.13.8755.426140.0場景1016.0157.5884.43.6336.904790.1

4.4 仿真實驗及分析

為進一步驗證方法的實際應用能力，本文在Visual Studio2013環(huán)境下開發(fā)了在軌動態(tài)場景實時匹配軟件，如圖13所示。以worldview3衛(wèi)星成像參數(shù)為參考，對提出方法的有效性和實時性進行了仿真實驗驗證，實驗所采用的機器為Windows64位系統(tǒng)，配置I3處理器、8G內(nèi)存。

圖14給出了幾組仿真實驗中兩次測光圖像及匹配結(jié)果。表2中給出了固定曝光和動態(tài)匹配曝光成像仿真結(jié)果的圖像熵和圖像灰階范圍等圖像質(zhì)量評價結(jié)果及算法運行時間，可看出經(jīng)過場景動態(tài)匹配后，圖像具有較高的動態(tài)范圍，圖像灰階范圍平均提升優(yōu)于200%，圖像熵平均提升40%以上。算法運行時間小于0.3 s，能夠滿足星上實時應用要求。

圖13 軟件界面Fig.13 Simulation software interface

表2 仿真實驗圖像匹配前后的圖像質(zhì)量評價結(jié)果Tab.2 Image quality evaluation results of simulation experiment before and after matching

圖14 模擬測光圖像及動態(tài)場景實時匹配結(jié)果Fig.14 Simulated photometric images and dynamic scene real-time matching results

5 結(jié) 論

為了達到衛(wèi)星相機在軌動態(tài)和成像場景動態(tài)實時匹配的目的，研究了衛(wèi)星在軌動態(tài)實時匹配方法。分析得出影響衛(wèi)星在軌動態(tài)范圍的關鍵要素，并考慮到大氣程輻射對圖像有效灰階和場景動態(tài)范圍測量的影響，提出基于直方圖特性的大氣程輻射預估方法，并給出結(jié)合動態(tài)鉗位技術在模擬域?qū)ζ溥M行消除的方法；建立了衛(wèi)星在軌動態(tài)場景實時匹配方案，并考慮到測光相機和成像相機的標定關系，結(jié)合大氣程輻射預估和云檢測，提出場景動態(tài)范圍、相機成像參數(shù)解算的方法；提出了衛(wèi)星在軌動態(tài)場景實時匹配方法，利用無人機開展了試驗驗證。結(jié)果表明：利用該方法可根據(jù)實時拍攝的地面景物，合理設置相機參數(shù)，實現(xiàn)相機與場景動態(tài)范圍的最佳匹配，有效灰階提升優(yōu)于100%，信息熵平均提升優(yōu)于40%。

本文的分析方法以及得出的相關結(jié)論可為后續(xù)高分辨率光學衛(wèi)星相機設計、在軌運行參數(shù)設置以及星上預處理算法的研究提供依據(jù)，具有理論意義和實際工程應用價值。