孫 武，韓誠(chéng)山，呂恒毅,2，薛旭成，胡長(zhǎng)虹

(1.中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林 長(zhǎng)春 130033；2.中國(guó)科學(xué)院大學(xué)，北京 100049)

1 引 言

國(guó)內(nèi)外現(xiàn)有高分辨率航天遙感相機(jī)多為推掃式航天遙感相機(jī)[1-2]，其動(dòng)態(tài)范圍一般不大于80 dB，無(wú)法滿(mǎn)足實(shí)際場(chǎng)景的遠(yuǎn)大于100 dB動(dòng)態(tài)范圍的要求。目前，提高相機(jī)動(dòng)態(tài)范圍的方法主要有4類(lèi)：(1)針對(duì)同一場(chǎng)景進(jìn)行多次不同量的曝光，獲取多幅不同曝光量的圖像，再將它們?nèi)诤蠟橐环碌母邉?dòng)態(tài)范圍的圖像，這是較為經(jīng)典的辦法。這類(lèi)方法于1997年由Paul E.D., Jitendra M.首次提出[3]，2003年至2005年，Robertson M.A.，Szeliski R.，Goshtasby A.A.等人針對(duì)該技術(shù)做了進(jìn)一步的探索和完善[4-6]。該方法主要針對(duì)同一靜態(tài)場(chǎng)景進(jìn)行動(dòng)態(tài)范圍拓展，由于推掃式航天遙感相機(jī)難以在較短的時(shí)間內(nèi)對(duì)同一場(chǎng)景進(jìn)行多次曝光，該方法不適用于該場(chǎng)合。(2)薛旭成等人提出在推掃式航天遙感相機(jī)上應(yīng)用雙排TDI CCD(Time Delay Integration-Charge Coupled Device)，對(duì)同一場(chǎng)景成兩幅或多幅積分級(jí)數(shù)不同的圖像，再通過(guò)圖像融合算法獲取高動(dòng)態(tài)范圍遙感圖像[7]。周繼權(quán)[8]等人提出基于相機(jī)陣列的高動(dòng)態(tài)范圍圖像合成方法也是同樣的原理，可以應(yīng)用于動(dòng)態(tài)變化的場(chǎng)景。該類(lèi)方法可以有效提高相機(jī)的動(dòng)態(tài)范圍，但是由于成本、功耗、重量、光學(xué)設(shè)計(jì)等問(wèn)題，在航天領(lǐng)域的工程應(yīng)用價(jià)值比較低。(3)呂濤、呂偉振等人提出利用數(shù)字微鏡獲取高動(dòng)態(tài)范圍圖像[9-10]，但是考慮到技術(shù)和產(chǎn)品的性能[11-13]、成熟度、可靠性等因素，目前難以應(yīng)用到航天相機(jī)領(lǐng)域。(4)Wu Sun等人提出采用面陣CMOS，并應(yīng)用數(shù)字TDI技術(shù)，設(shè)置2個(gè)高低不同的數(shù)字積分級(jí)數(shù)，針對(duì)同一場(chǎng)景可以獲取2幅不同曝光量的圖像，再通過(guò)融合算法獲取高動(dòng)態(tài)范圍遙感圖像[14]。該技術(shù)簡(jiǎn)單易行，可在不改變現(xiàn)有光機(jī)設(shè)計(jì)、不增加成本的前提下有效提高動(dòng)態(tài)范圍，但是該技術(shù)只能在新研制的遙感相機(jī)中應(yīng)用，對(duì)現(xiàn)有遙感相機(jī)需要需要進(jìn)行硬件改造。

本文提出了一種特殊的TDI-CCD積分級(jí)數(shù)設(shè)置方法：通過(guò)設(shè)置較低的P譜段積分級(jí)數(shù)，配合較高的多光譜譜段積分級(jí)數(shù)，提高動(dòng)態(tài)范圍。具體做法是：通過(guò)多譜段圖像融合獲取一幅低積分級(jí)數(shù)全色圖像；該圖像經(jīng)過(guò)上采樣后，與高積分級(jí)數(shù)、高分辨率全色圖像融合，以獲得一幅高動(dòng)態(tài)范圍、高分辨率的全色遙感圖像。該方法可以作為一種特殊的高動(dòng)態(tài)范圍成像模式，廣泛應(yīng)用于推掃式多光譜航天遙感相機(jī)中。

2 積分級(jí)數(shù)設(shè)置及動(dòng)態(tài)范圍拓展方法

為實(shí)現(xiàn)推掃式多光譜遙感相機(jī)的動(dòng)態(tài)范圍拓展，可結(jié)合TDI-CCD的像元尺寸、譜段分布等特點(diǎn)，將P譜段積分級(jí)數(shù)調(diào)高、B譜段積分級(jí)數(shù)調(diào)低，以分別獲取長(zhǎng)、短曝光時(shí)間的圖像，再通過(guò)圖像融合獲取高動(dòng)態(tài)范圍的圖像。

2.1 推掃式多光譜遙感相機(jī)

推掃式多光譜遙感相機(jī)常采用TDI-CCD作為探測(cè)器，將光信號(hào)轉(zhuǎn)換為數(shù)字圖像信號(hào)。TDI-CCD中分為全色譜段(記作P譜段)和多光譜譜段(統(tǒng)稱(chēng)為B譜段，分別記作B1, B2, B3, B4,…,Bn譜段)。一般而言，P譜段地面像元分辨率為δp，B譜段地面像元分辨率為δb。表1 列出了幾顆常見(jiàn)商業(yè)高分辨率遙感衛(wèi)星的探測(cè)器像元尺寸。一般而言，δb是δp的k倍，k為整數(shù)。B譜段圖像中第i行第j列的像元Bi，j對(duì)應(yīng)k×k個(gè)全色圖像的像元。與同一光學(xué)系統(tǒng)配合使用時(shí)，像元尺寸與地面像元分辨率成正比，Bx(x≤n)譜段圖像像元與P譜段圖像像元的對(duì)應(yīng)關(guān)系如圖1 所示。

表1 商業(yè)高分辨率遙感衛(wèi)星地面像元分辨率Tab.1 Ground pixel resolution of commercial high-resolution remote sensing satellites(nadir)

圖1 Bx譜段圖像與P譜段圖像的像元對(duì)應(yīng)關(guān)系 Fig.1 Corresponding relationship of pixels betweene Bx band image and P band image

各個(gè)譜段可以分別獲取一幅圖像，由于P譜段與B譜段地面像元尺寸大小不同，一般來(lái)說(shuō)，P譜段可以獲取高分辨率的圖像，B1,B2,B3,B4,…,Bn譜段可以分別獲取各自波長(zhǎng)范圍的較低分辨率的圖像。通過(guò)全色圖像與多光譜圖像的融合，可以獲取高分辨率彩色或假彩色圖像。

2.2 特殊積分級(jí)數(shù)設(shè)置方法及相應(yīng)動(dòng)態(tài)范圍

常規(guī)的遙感相機(jī)在設(shè)置積分級(jí)數(shù)時(shí)，僅考慮信噪比這一參數(shù)，一般選擇滿(mǎn)足TDI CCD不飽和的最大積分級(jí)數(shù)[15]。

為了獲取長(zhǎng)短曝光的遙感圖像，進(jìn)一步達(dá)到動(dòng)態(tài)范圍拓展的目的，本文提出一種新的積分級(jí)數(shù)設(shè)置方法，將各譜段積分級(jí)數(shù)設(shè)置偏離原有最佳數(shù)值：P譜段積分級(jí)數(shù)從原值MP調(diào)高μ1倍至NMP；B1,B2,B3,B4,…,Bn各譜段積分級(jí)數(shù)從原值MB1，MB2，MB3，MB4，…，MBn，調(diào)低μ2倍至NMB1，NMB2，NMB3，NMB4，…,NMBn。

P譜段直接成像，得到一幅全色圖像，記作ΓP。B譜段多幅圖像融合成一幅全色灰度圖像ΓB，插值后記作ΓBIN。在完成積分級(jí)數(shù)調(diào)整，提高ΓP的曝光量，降低ΓB的曝光量之后，將ΓP和ΓBIN融合在一起，可以獲取一幅高動(dòng)態(tài)范圍的全色圖像Γ。

新舊積分級(jí)數(shù)設(shè)置的關(guān)系如公式(1)～(2)所示。

NMP=μ1·MP,

(1)

NMBx=μ2·MBx,

(2)

其中x=1,2,3,…,n，μ1>1,0<μ2<1。

在原積分級(jí)數(shù)下，P譜段和B譜段單個(gè)像元的曝光量為E0。改變積分級(jí)數(shù)后，全色譜段的曝光量變?yōu)?/p>

EP=E0·μ1,

(3)

多光譜譜段曝光量變?yōu)?/p>

EB=E0·μ2,

(4)

探測(cè)器原有動(dòng)態(tài)范圍是：

(5)

其中，E指探測(cè)器可探測(cè)到的曝光量大小。

積分級(jí)數(shù)調(diào)整之后，考慮到曝光量與積分級(jí)數(shù)成正比，拓展得到的新的動(dòng)態(tài)范圍為：

(6)

進(jìn)而可知，動(dòng)態(tài)范圍拓展量為：

(7)

由式(7)可知，當(dāng)μ1=2,μ2=0.25的時(shí)候，動(dòng)態(tài)范圍提高量為18.06 dB。

3 融合與插值算法

3.1 多譜段圖像融合算法

觀察各多光譜遙感衛(wèi)星圖像可知，各譜段圖像的相關(guān)性很強(qiáng)，在多光譜圖像數(shù)據(jù)集合中，存在相當(dāng)多的信息冗余[16]。主成分分析算法(Principal Component Analysis,PCA)是一種統(tǒng)計(jì)分析方法，主要用于減少數(shù)據(jù)的維數(shù)[17-21]。在遙感領(lǐng)域，其常被用于多光譜與全色譜段圖像融合：一般是將配準(zhǔn)后的多光譜圖像ΓB1，ΓB2，ΓB3，…，ΓBn，作為輸入，經(jīng)過(guò)PCA變換后，得到PC1，PC2，PC3，…,PCn共n個(gè)主成分，這些主成分對(duì)應(yīng)n個(gè)從大到小的特征值γ1，γ2，γ3，…，γn。選取前3個(gè)主成分，用經(jīng)過(guò)直方圖匹配的全色譜段、高分辨率圖像替換PCA變換結(jié)果中的第一主成分，然后再進(jìn)行PCA反變換，得到高分辨率彩色圖像的RGB成分。

主成分分析算法過(guò)程中，第一主成分圖像包含了各輸入譜段中的相同信息，而獨(dú)特的光譜信息則體現(xiàn)在其它輸出成分中[16]。各主成分分量對(duì)方差的貢獻(xiàn)大小可以用各自對(duì)應(yīng)的特征值來(lái)表示，從PC1到PCn逐漸減小。以特征值為權(quán)重，由各個(gè)主成分分量的加權(quán)平均值得到一幅灰度圖像，該圖像既包含了各個(gè)譜段的信息，又避免了信息冗余，與全色譜段的圖像最為接近。

Γ1，Γ2，Γ3，…，Γn分別對(duì)應(yīng)PC1，PC2，PC3，…,PCn共n個(gè)主成分，其像元灰度值可用Γ1(x,y)，Γ2(x,y)，Γ3(x,y)，…，Γn(x,y)表示。

經(jīng)過(guò)PCA變換后的融合過(guò)程可以用公式(8)表示：

(8)

3.2 圖像插值方法

對(duì)ΓB進(jìn)行插值可以獲取全色、高分辨率、長(zhǎng)曝光量的遙感圖像ΓBIN。

現(xiàn)有的各種插值方法，包括最近鄰域法、雙線性?xún)?nèi)插法和立方卷積內(nèi)插法等方法，都是基于周邊像元的灰度值進(jìn)行推斷的。本文提出充分利用對(duì)應(yīng)區(qū)域內(nèi)高積分級(jí)數(shù)、高分辨率全色譜段圖像ΓP的像素分布特點(diǎn)，對(duì)ΓB進(jìn)行插值得到ΓBIN。

根據(jù)圖1所示的像元對(duì)應(yīng)關(guān)系，與一個(gè)B譜段圖像像元Bi，j所對(duì)應(yīng)的是k×k個(gè)P譜段圖像像元，利用這k×k個(gè)P譜段圖像像元的灰度值比例關(guān)系估算插值后的B譜段k×k個(gè)像元的像素值，具體可以表示為：

(9)

3.3 高、低積分級(jí)數(shù)圖像融合方法

根據(jù)公式(1)～(4)對(duì)現(xiàn)有各譜段積分級(jí)數(shù)關(guān)系的描述，可以將ΓBIN的像元灰度值γ1(x,y)和ΓP的像元灰度值γ2(x,y)按照以下方式進(jìn)行融合：

由于

μ1<μ2,

(10)

一般有

γ1(x,y)≤γ2(x,y) ,

(11)

滿(mǎn)量程灰度值表示為:

ΦFS=2β.

(12)

在高積分級(jí)數(shù)圖像中，較暗區(qū)域顯示比較清晰，低積分級(jí)數(shù)圖像較亮區(qū)域顯示比較清晰，為充分利用上述特征，可以作以下融合，得到高動(dòng)態(tài)范圍圖像ΓHDR各像元灰度值γHDR(x,y)的表達(dá)式：

(13)

4 實(shí)驗(yàn)與結(jié)果

4.1 圖像采集

選取一臺(tái)TDI CCD相機(jī)進(jìn)行成像實(shí)驗(yàn)。首先將TDI CCD積分級(jí)數(shù)分別按照表2第一組、第二組數(shù)據(jù)設(shè)置，獲取相應(yīng)圖像并配準(zhǔn)。

表2 兩組積分級(jí)數(shù)設(shè)置Tab.2 Two groups of TDI stages

圖2 兩個(gè)積分級(jí)數(shù)各自對(duì)應(yīng)的P譜段圖像 Fig.2 Two images of band P with different values of MP

圖3 按照第二組積分級(jí)數(shù)設(shè)置所得到的8個(gè)B譜段圖像 Fig.3 Eight images of band B when selecting the second group of TDI stages

按照第一組積分級(jí)數(shù)設(shè)置，成像并配準(zhǔn)后的P譜段圖像為ΓP0，如圖2(a)所示；按照第二組積分級(jí)數(shù)設(shè)置，成像并配準(zhǔn)后的P譜段圖像為ΓP，如圖2(b)所示，B譜段圖像ΓB1，ΓB2，ΓB3，…，ΓB8如圖3所示。

4.2 多光譜圖像的融合與上采樣

將ΓB1，ΓB2，ΓB3，…，ΓB8作為輸入，進(jìn)行PCA變換，得到8個(gè)主成分分量，并按照3.1節(jié)中的方法得到融合后的低積分級(jí)數(shù)、低分辨率的灰度圖像ΓB，如圖4所示。

利用公式(9)對(duì)ΓB進(jìn)行上采樣，得到新的低積分級(jí)數(shù)、高分辨率的灰度圖像ΓBIN，如圖5所示。

圖4 ΓB：由8個(gè)B譜段圖像融合所得到的灰度圖像 Fig.4 ΓB：gray image fused from the 8 images of band B

圖5 ΓBIN：上采樣后的ΓB Fig.5 ΓBIN:ΓB image after upsampled

4.3 高動(dòng)態(tài)范圍圖像獲取

依據(jù)公式(13)將低積分級(jí)數(shù)、高分辨率的圖像ΓBIN與高積分級(jí)數(shù)、高分辨率圖像ΓP進(jìn)行融合，得到新的高動(dòng)態(tài)范圍、高分辨率灰度圖像ΓHDR，如圖6所示。

為了獲取更好的顯示效果，可以對(duì)灰度進(jìn)行調(diào)整，使之更符合人眼的視覺(jué)特性，達(dá)到圖像增強(qiáng)的目的[22-23]。對(duì)ΓHDR進(jìn)行灰度調(diào)整，得到Γadjust，如圖7所示。

圖6 ΓHDR：由ΓBIN和ΓP融合得到的高動(dòng)態(tài)范圍圖像 Fig.6 ΓHDR: the HDR image fused by ΓBIN and ΓP

圖7 灰度調(diào)整后的高動(dòng)態(tài)范圍圖像 Fig.7 HDR image after a grayscale adjustment

比較ΓBIN、ΓP和Γadjust，尤其是橢圓圈出的部分可以看出，ΓBIN中的較亮區(qū)域細(xì)節(jié)較為清晰，ΓP較暗區(qū)域細(xì)節(jié)較為清晰，而在高動(dòng)態(tài)范圍圖像ΓHDR中，這兩個(gè)區(qū)域的細(xì)節(jié)均可以較好地觀察到。

顯然，由于μ1=2,μ2=0.25，由公式(7)可得動(dòng)態(tài)范圍拓展量為18.06 dB。

5 結(jié) 論

根據(jù)推掃式航天遙感相機(jī)一般采用單排多譜段TDI CCD探測(cè)器，相機(jī)與場(chǎng)景之間存在高速相對(duì)運(yùn)動(dòng)的特點(diǎn)，本文提出了通過(guò)設(shè)置特殊積分級(jí)數(shù)提高相機(jī)動(dòng)態(tài)范圍的方法，并介紹了應(yīng)用PCA變換實(shí)現(xiàn)多光譜圖像到全色圖像的融合方法，以及根據(jù)高分辨率全色譜段圖像實(shí)現(xiàn)低分辨率圖像上采樣的方法。

實(shí)驗(yàn)與計(jì)算結(jié)果表明：該方法能有效提高推掃式航天遙感相機(jī)的動(dòng)態(tài)范圍，所獲取的HDR圖像能夠涵蓋比原圖像更大的動(dòng)態(tài)范圍。當(dāng)P譜段積分級(jí)數(shù)提高為原來(lái)的2倍， B譜段積分級(jí)數(shù)降低到原有積分級(jí)數(shù)的1/4時(shí)，動(dòng)態(tài)范圍可以提高18.06 dB。與常規(guī)遙感相機(jī)成像方法相比，利用該方法進(jìn)行動(dòng)態(tài)范圍拓展時(shí)，遙感圖像處理的時(shí)間復(fù)雜度有所增加，但圖像處理的工作可完全在地面實(shí)現(xiàn)，即可以在不增加相機(jī)硬件成本、不改變?cè)泄鈾C(jī)結(jié)構(gòu)的前提下，實(shí)現(xiàn)推掃式TDI CCD航天遙感相機(jī)動(dòng)態(tài)范圍拓展的目的，具有較高的工程應(yīng)用價(jià)值。