王 蘋

(陽(yáng)光學(xué)院)

0 引言

隨著美國(guó)在1972年實(shí)施地球資源衛(wèi)星計(jì)劃，圖像復(fù)原在遙感領(lǐng)域應(yīng)用展開，并迅速發(fā)展.在遙感圖像的成像過程中，由于成像鏈路的種種缺陷，造成遙感圖像的模糊，即像質(zhì)退化.現(xiàn)實(shí)中，遙感圖像的獲取代價(jià)非常昂貴，圖像的質(zhì)量直接影響著遙感信息獲取的準(zhǔn)確性和有效性，圖像信息的降質(zhì)降低了遙感圖像的科學(xué)研究和實(shí)際應(yīng)用價(jià)值，造成巨大的經(jīng)濟(jì)損失[1].圖像復(fù)原技術(shù)能夠抑制與補(bǔ)償由于圖像獲取系統(tǒng)自身所固有的不完善或其他環(huán)節(jié)造成的圖像降質(zhì)，從降質(zhì)的圖像中復(fù)原有用的信息.針對(duì)這一現(xiàn)狀，該課題針對(duì)實(shí)際遙感圖像降晰函數(shù)為空間變化的特點(diǎn)，研究全色圖像的復(fù)原處理算法和傳遞函數(shù)校正(MTFC)的方法[2]，以及向基于多DSP的實(shí)時(shí)圖像并行處理系統(tǒng)的移植技術(shù)，完成原理演示系統(tǒng)的設(shè)計(jì)與調(diào)試.

1 基于理想邊緣預(yù)測(cè)的自適應(yīng)PSF辨識(shí)

1.1 PSF辨識(shí)方法

由于圖像在降晰過程中的信息損失，從單幅圖像中辨識(shí)成像系統(tǒng)的PSF本身是一個(gè)病態(tài)問題，即可以得到降晰圖像的未退化清晰圖像與PSF的組合并不唯一.加入先驗(yàn)知識(shí)能過在一定程度上緩解.一般有兩種途徑加入先驗(yàn)知識(shí)：一是對(duì)圖像的模糊核進(jìn)行約束；二是對(duì)潛在的未退化清晰圖像進(jìn)行約束[3].該課題將采用后者.

作為一種無(wú)參盲PSF辨識(shí)方法，基于理想邊緣預(yù)測(cè)的自適應(yīng)PSF辨識(shí)方法[4]通過邊緣檢測(cè)搜索降晰圖像中階躍型邊緣的位置和方向，以確定用于PSF辨識(shí)的有效模糊邊緣，并通過預(yù)測(cè)有效模糊邊緣在理想成像情況下的灰度分布，來最終辨識(shí)成像系統(tǒng)的PSF.由于辨識(shí)原理的制約，該方法只適合于單峰PSF的辨識(shí).算法的主要計(jì)算流程如圖1所示.

圖1NEORM實(shí)現(xiàn)系統(tǒng)的層次結(jié)構(gòu)

1.2 實(shí)驗(yàn)和結(jié)果分析

基于理想邊緣預(yù)測(cè)的自適應(yīng)PSF辨識(shí)方法，可以利用含有高灰度差階躍型邊緣紋理的模糊圖像有效的辨識(shí)成像系統(tǒng)的PSF[5].此處通過一系列實(shí)驗(yàn)來驗(yàn)證基于理想邊緣預(yù)測(cè)的自適應(yīng)PSF辨識(shí)方法的有效性.

首先，分別采用9×9和21×21模板的高斯PSF對(duì)8bit量化的原始清晰圖像進(jìn)行模糊處理，并在圖像中添加標(biāo)準(zhǔn)偏差為10的高斯噪聲[6]，如圖2所示.

圖 2 原始清晰圖像與模糊圖像

圖3和圖4中，展示了基于理想邊緣預(yù)測(cè)的自適應(yīng)PSF辨識(shí)方法辨識(shí)圖像PSF的效果.通過真實(shí)的PSF與自適應(yīng)辨識(shí)的PSF在數(shù)值和圖像復(fù)原效果上的比較，在圖像中有高灰度差階躍型邊緣的情況下，基于理想邊緣預(yù)測(cè)的自適應(yīng)PSF辨識(shí)方法能夠準(zhǔn)確地辨識(shí)圖像的PSF.該文采用Wiener濾波[7]對(duì)模糊圖像進(jìn)行復(fù)原處理.

圖3 9×9模板PSF辨識(shí)及圖像復(fù)原效果比較

圖 4 21×21模板PSF辨識(shí)及圖像復(fù)原效果比較

在許多遙感圖像中不存在高灰度差的階躍型邊緣紋理，這將對(duì)基于理想邊緣預(yù)測(cè)的自適應(yīng)PSF辨識(shí)方法的PSF辨識(shí)效果有一定影響.在遙感圖像中存在較為理想的高灰度差階躍型邊緣的情況下，該方法也能夠有較好的成像系統(tǒng)PSF辨識(shí)表現(xiàn).

2 空間變化圖像復(fù)原算法仿真及結(jié)果

2.1 評(píng)價(jià)標(biāo)準(zhǔn)

為了客觀地評(píng)估改進(jìn)后的算法與經(jīng)典維納濾波的處理效果，下面給出使用的兩種評(píng)估標(biāo)準(zhǔn)：改善信噪比ISNR和結(jié)構(gòu)相似度SSIM[8].

在圖像處理領(lǐng)域被廣泛使用，用于評(píng)估處理后圖像改善的程度.其數(shù)學(xué)表達(dá)式為：

(1)

其中，Df為圖像f的定義域.

由于ISNR是基于全局統(tǒng)計(jì)特性的，很難體現(xiàn)對(duì)圖像局部區(qū)域內(nèi)的改變，下面略作改進(jìn)，通過計(jì)算各子塊圖像的ISNR的加權(quán)平均值來代替ISNR做為評(píng)估標(biāo)準(zhǔn)，其數(shù)學(xué)表達(dá)式為：

(2)

式中，w是子塊圖像的數(shù)量.在具體應(yīng)用中，可根據(jù)各子塊圖像中含有細(xì)節(jié)信息的多少來確定各個(gè)權(quán)值.

由于結(jié)構(gòu)相似度SSIM可以反映較細(xì)的結(jié)構(gòu)信息，這里仍然把它做為一個(gè)評(píng)估標(biāo)準(zhǔn)，它的定義為：

(3)

2.2 濾波效果和性能分析

圖5從主觀視覺角度給出了兩種算法的效果比較，可以看出該文的改進(jìn)算法在噪聲抑制和邊沿保持方面要優(yōu)于傳統(tǒng)維納濾波器.

圖 5 遙感圖像復(fù)原效果對(duì)比

在計(jì)算ISNR和MSSIM時(shí)，使用32×32的方形窗口.表1～表6使用ISNR和MSSIM兩種標(biāo)準(zhǔn)分別給出了對(duì)算法的客觀評(píng)價(jià).該算法用于處理不同降質(zhì)類型的圖像時(shí)，在信噪比改善和細(xì)節(jié)信息恢復(fù)方面比維納濾波器有一定的改善，得到了更好的復(fù)原效果.

表 1 ISNR比較:高斯模糊(方差α)加高斯噪聲(σ2=0.002)

表 2 MSSIM比較：高斯模糊(方差α)加高斯噪聲(σ2=0.002)

表 3 ISNR比較：高斯(α=0.9)+運(yùn)動(dòng)模糊(位移長(zhǎng)度d)+高斯噪聲

表 4 MSSIM比較：高斯(α=0.9)+運(yùn)動(dòng)模糊(位移長(zhǎng)度d)+高斯噪聲

表 5 ISNR比較：高斯模糊(α=0.9)+散焦模糊(散焦半徑r)+泊松噪聲

表 6 MSSIM比較：高斯模糊(α=0.9)+散焦模糊(散焦半徑r)+泊松噪聲

3 圖像復(fù)原算法的實(shí)時(shí)實(shí)現(xiàn)

3.1 硬件平臺(tái)

選用DSP、FPGA等高速處理器件成為圖像處理系統(tǒng)的數(shù)據(jù)處理器，以滿足處理速度的要求[9].目前，在高端研究領(lǐng)域中，圖像處理的實(shí)時(shí)性要求越來越高，僅僅依靠提高處理單元的處理速度來改善圖像處理實(shí)時(shí)性的效果不明顯.圖像并行處理技術(shù)主要用來解決海量圖像數(shù)據(jù)處理的實(shí)時(shí)性問題，其利用時(shí)間和資源的交錯(cuò)重疊增加圖像處理的吞吐量，改善圖像處理速度，彌補(bǔ)單個(gè)處理器件處理能力上的相對(duì)不足.

該課題所使用的是由FPGA和4個(gè)DSP組成的并行處理硬件平臺(tái)，利用FPGA的容量大、可編程實(shí)現(xiàn)很多功能，結(jié)合DSP具有高速的信息處理能力的特點(diǎn)，使得系統(tǒng)非常簡(jiǎn)潔，結(jié)構(gòu)靈活，通用性強(qiáng)，系統(tǒng)也易于維護(hù)和擴(kuò)展，如圖6所示.4個(gè)DSP可以共享SDRAM資源和其它各DSP內(nèi)部存儲(chǔ)器資源.各個(gè)DSP與SDRAM、FPGA的總線接口都是無(wú)縫連接的，從而做到了資源共享和并行分布式處理，提高了數(shù)據(jù)傳輸速率.

圖 6 并行處理系統(tǒng)總體框架結(jié)構(gòu)

3.2 算法復(fù)雜度分析

對(duì)實(shí)時(shí)系統(tǒng)來說，算法的計(jì)算復(fù)雜度是非常重要的，對(duì)于大規(guī)模圖像復(fù)原來說尤其如此[10].下面對(duì)算法的復(fù)雜度進(jìn)行分析，用來作為是否能實(shí)時(shí)實(shí)現(xiàn)的依據(jù)之一.

首先，假定算法對(duì)32×32(N1=32)的子塊圖像進(jìn)行FFT，這個(gè)過程要求=10240MAC運(yùn)算.對(duì)于一個(gè)2250×6144/s的圖像(實(shí)際輸入圖像的1/4)，它由13500(N2=2250×6144∕(32×32)=13500)個(gè)子塊圖像組成，一共需要約132MMAC運(yùn)算，即可求得G(u,v).輸入為M1×M2的圖像，這部分運(yùn)算量公式表達(dá)為：

(4)

然后，對(duì)大于閾值的像元計(jì)數(shù)(1024MAC)，用這個(gè)值來確定α.同樣對(duì)于2250×6144/s的圖像，需要72MMAC運(yùn)算.如果 已知，則不需要做任何計(jì)算.輸入為M1×M2的圖像，這部分運(yùn)算量公式表達(dá)為：

(5)

(6)

最后，若輸入為M1×M2的圖像，子塊圖像之間有m行n列的重疊，這樣子塊圖像的數(shù)量變?yōu)镹3：

(7)

以上N2用N3代替，總運(yùn)算量為c=c1+c2+c3.考慮使用子塊圖像之間有4行4列的重疊，這樣增加的計(jì)算量為96MMAC，對(duì)于2250×6144/s的圖像所有運(yùn)算加起來為458MMAC運(yùn)算.由計(jì)算可以看出該算法的計(jì)算量隨圖像的尺寸線性增加.

在實(shí)時(shí)系統(tǒng)中，處理器除了實(shí)現(xiàn)算法，還有相當(dāng)一部分時(shí)間是用于存取外部存儲(chǔ)器，這是由于受存儲(chǔ)器容量和圖像推掃獲取的限制，不可能全部在處理器內(nèi)部存放.對(duì)于9000×6144/s的圖像，在1s內(nèi)輸入、輸出一次，則數(shù)據(jù)吞吐率至少要128MB/s.

3.3 多DSP并行處理算法設(shè)計(jì)

DSP處理器的資源(包括存儲(chǔ)器、系統(tǒng)帶寬、運(yùn)算速度和精度等)有限，所以要對(duì)系統(tǒng)程序進(jìn)行合理的設(shè)計(jì)，以獲得最大限度地利用并行DSP處理器資源.圖7為并行處理系統(tǒng)在實(shí)時(shí)圖像處理應(yīng)用過程中的數(shù)據(jù)處理時(shí)空?qǐng)D.它描述了并行處理系統(tǒng)中，一個(gè)數(shù)據(jù)單元在處理過程中隨著時(shí)間推移按照流水方向先后經(jīng)過各種處理環(huán)節(jié)，在時(shí)間和空間兩個(gè)方向描述了流水線的工作機(jī)制.將時(shí)間離散化，在任意離散時(shí)間段內(nèi)，系統(tǒng)中的各DSP都處于工作狀態(tài)，對(duì)不同的數(shù)據(jù)單元進(jìn)行復(fù)原算法的處理，利用輸入數(shù)據(jù)的分拆提高處理速度.

圖 7 多DSP數(shù)據(jù)處理時(shí)空?qǐng)D

圖像輸入數(shù)據(jù)由FPGA采集，以8行為一個(gè)單位，模擬LINKPORT數(shù)據(jù)時(shí)序，分4次發(fā)送給DSP1，做為DSP1一次處理的數(shù)據(jù)，接下來的數(shù)據(jù)以此類推，分別發(fā)送給DSP2、DSP3和DSP4；DSP4接收完后，又由DSP1接收，形成一個(gè)循環(huán).各DSP的處理數(shù)據(jù)之間有一定的交集，這由片外的共享SDRAM通過地址空間交疊實(shí)現(xiàn).

輸出時(shí)與上述過程類似，在DSP1處理完一次數(shù)據(jù)后，分4次由LINKPORT發(fā)送給FPGA，F(xiàn)PGA將數(shù)據(jù)轉(zhuǎn)換為指定的圖像數(shù)據(jù)格式后輸出，接下來分別是DSP2、DSP3和DSP4輸出；然后又是DSP1輸出，如此循環(huán)執(zhí)行.系統(tǒng)采用SPMD(Single Program Multiple Data Stream Computers)形式，每個(gè)處理器執(zhí)行相同程序來處理數(shù)據(jù).

3.4 實(shí)驗(yàn)結(jié)果

圖 8 輸入的退化圖像

圖 9 復(fù)原處理后的圖像

圖8和圖9分別給出了算法在演示系統(tǒng)上進(jìn)行實(shí)時(shí)復(fù)原處理測(cè)試的客戶端截屏圖像.圖8為輸入的降晰圖像，圖9為經(jīng)過復(fù)原系統(tǒng)復(fù)原處理后輸出圖像.

4 結(jié)論

該文研究是以某型星載光學(xué)全色/多光譜相機(jī)的實(shí)時(shí)圖像復(fù)原處理原理演示系統(tǒng)為平臺(tái)，針對(duì)實(shí)際遙感圖像降晰函數(shù)為空間變化的特點(diǎn)，研究全色圖像的復(fù)原處理算法和傳遞函數(shù)校正(MTFC)的方法.主要研究?jī)?nèi)容是，降晰函數(shù)空間變化規(guī)律與MTFC的關(guān)系；單通道、單幅的空間變化的非迭代圖像復(fù)原算法；面向TS201的多DSP復(fù)原算法移植與優(yōu)化技術(shù)以及圖像模擬發(fā)生與采集分系統(tǒng)和復(fù)原處理系統(tǒng)的聯(lián)調(diào).同時(shí)，應(yīng)總體路線流程要求，進(jìn)行了各個(gè)模塊的處理分析與驗(yàn)證，并在圖像復(fù)原處理原理演示系統(tǒng)平臺(tái)上實(shí)現(xiàn)實(shí)時(shí)復(fù)原.