張 坤 李天偉

（海軍大連艦艇學(xué)院航海系 大連 116018）

1 引言

近年來，圖像超分辨率技術(shù)得到了有效發(fā)展，廣泛應(yīng)用于各種領(lǐng)域，如視頻監(jiān)控、醫(yī)學(xué)成像、高清晰度電視、遙感、手機與數(shù)碼相機等［1］。目前深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）方法在單幅圖像超分辨率（SISR）領(lǐng)域取得了非常大的進展［2～3］。但為了訓(xùn)練一個可用的深度網(wǎng)絡(luò)，基于該算法的圖像超分辨率方法需要一個很大的數(shù)據(jù)集［4］。在海上艦船目標(biāo)圖像的超分辨任務(wù)中，實地采集大量同時包含高低分辨率的成對圖像數(shù)據(jù)有很多難以克服的困難。因此為了有效利用現(xiàn)有海上艦船目標(biāo)高分辨率（High-Resolution，HR）圖像數(shù)據(jù)，需要一種退化函數(shù)，能把清晰的海上目標(biāo)圖像處理成低分辨率圖像（Low-Resolution，LR），以最大的接近實際采集的海上艦船目標(biāo)退化圖像，而后用生成的數(shù)據(jù)集訓(xùn)練超分辨率所用的深度網(wǎng)絡(luò)。

現(xiàn)有基于CNN 的SISR 方法主要假設(shè)低分辨率（LR）圖像由高分辨率（HR）圖像經(jīng)過雙三次（bicubic）降采樣得到，因此當(dāng)真實圖像的退化過程不遵循該假設(shè)時，其超分辨結(jié)果會非常差［5］。實驗表明，實際采集的海上艦船目標(biāo)圖像和其降采樣圖像并不完全符合雙三次降采樣特征，因此本文以互信息為評價準則，通過與實際采集的降采樣圖像對比的方法，基于二次線性差值方法和高斯低通過濾器為基礎(chǔ)，構(gòu)建一種有效的模擬海上目標(biāo)圖像退化函數(shù)的方法，該方法可對現(xiàn)有數(shù)據(jù)進行有效拓展。

2 目標(biāo)圖像采集方法

本文對實驗數(shù)據(jù)進行了實地的采集，通過選擇合理的地理位置，在港口和艦船的通航路線附近架設(shè)雙目攝像機，對停泊和航行中的艦船目標(biāo)進行拍攝。實驗使用用兩臺大華DH-IPC-HF5431組成雙目攝像頭，共同對同一海上目標(biāo)圖像進行采集。攝像機調(diào)至固定化參數(shù)，參數(shù)如表1。

表1 雙目攝像機參數(shù)

攝像機架設(shè)方式如圖1所示。

圖1 攝像機架設(shè)方式

在實際圖像采集中，由于目標(biāo)距離攝像機較遠，可以假設(shè)海上艦船目標(biāo)同時在長焦和廣角圖像的中間，從而忽略鏡頭畸變的影響。

最終得到如圖2 所示包含該同一目標(biāo)的低分辨率（LR）和高分辨率（HR）圖像，以一組圖像為例。

圖2 低分辨率和高分辨率圖像（左HR右LR）

3 bilinear 差值和高斯低通過濾器在圖像退化模型中的應(yīng)用

3.1 圖像退化模型

在通常的圖像退化模型中，一般包含一個退化函數(shù)和加性噪聲［6］，如圖3所示。

但在海上艦船目標(biāo)圖像的圖像退化過程中，由于使用了相同型號的攝像機同時采集低分辨率（LR）和高分辨率（HR）圖像，所以兩幅圖像有相同的加性噪聲，而任務(wù)目標(biāo)為把低分辨率（LR）盡量的恢復(fù)到高分辨率（HR）圖像，因此在這里只需要考慮退化函數(shù)，如圖4所示。

圖3 圖像退化模型1

圖4 圖像退化模型2

即為

H[f(x,y)]可化為卷積顯示，這樣式（1）可寫成g=h*f，其中h 可分為h1 和h2，其中h1 為圖像分辨率退化函數(shù)，h2 為圖像清晰度退化函數(shù)，因此退化函數(shù)可寫為

在圖像復(fù)原中，有3 種主要的估計退化函數(shù)的方法:1）觀察法，2）實驗法，3）數(shù)學(xué)建模法［6］。本文使用實驗估計法，使用與獲取退化圖像的設(shè)備相似的裝置進行實驗。從理論上講，可以得到一個準確的退化估計函數(shù)。

3.2 圖像分辨率退化函數(shù)

由高分辨率圖像（HR）向低分辨率圖像（LR）轉(zhuǎn)化過程中，需經(jīng)歷圖像差值過程，現(xiàn)有的圖像差值算法主要有最近鄰插值（nearest），雙線性差值（bilinear），雙三次插值（bicubic），lanczos 插值［7］等，本文采用的方法采用為雙線性差值。

雙線性插值，又稱為雙線性內(nèi)插。在數(shù)學(xué)上，雙線性插值是由兩個變量的插值函數(shù)的線性插值擴展，其核心思想是在兩個方向分別進行一次線性插值。假如我們想得到未知函數(shù)f在點P=（x，y）的值，假設(shè)我們已知函數(shù)f在Q11=（x1，y1），Q12=（x1，y2），Q21=（x2，y1），及Q22=（x2，y2）四個點的值。

在x，y方向分別差值，得到

若選擇一個坐標(biāo)系統(tǒng)使得f的四個已知點坐標(biāo)分別為（0，0）、（0，1）、（1，0）和（1，1），那么插值公式就可以化簡為

或用矩陣運算表示為

3.3 圖像清晰度退化函數(shù)

圖像濾波器兼有模糊處理和減小噪聲的作用，為使退化后的圖像接近實際采集的低分辨率圖像，同時減小低分辨率圖像的噪聲，需要對經(jīng)分辨率退化函數(shù)處理的圖像進行進一步的處理。

理想的低通濾波去掉了高頻信息，即細節(jié)信息，保留了低頻信息代表了原圖像概貌［8～9］。理想的低通濾波器模板為

其中，D0表示通帶的半徑。 D(u,v)計算方式也就是兩點間的距離，計算公式如下:

雖然低通濾波器濾除了高頻成分，所以使得圖像模糊。但由于理想低通濾波器的過度特性過于急峻，所以會產(chǎn)生了振鈴現(xiàn)象，為彌補這種不足，本文采用高斯低通濾波器可有效避免此類現(xiàn)象，Guassian 低通濾波器［10］是一種線性平滑濾波，其函數(shù)為

D0表示通帶的半徑。高斯濾波后圖像被平滑的程度取決于標(biāo)準差。它的輸出是領(lǐng)域像素的加權(quán)平均，同時離中心越近的像素權(quán)重越高。因此，相對于均值濾波［11］（mean filter），它的平滑效果更柔和，而且邊緣保留的也更好，不會產(chǎn)生振鈴現(xiàn)象。

4 實驗結(jié)果與分析

為測試本文所運用bilinear 差值和GLPF 圖像退化函數(shù)的有效性，本文使用Intel ?Core i7-7700@3.60GHz、RAM 16.00 GB 的機器，在Matlab 2014b 平臺下編程設(shè)計了相關(guān)實驗。實驗采用上文所述實地采集的數(shù)據(jù)，從中挑選50 對圖像作為驗證數(shù)據(jù)。使用余弦相似度［9］作為評價指標(biāo)，其公式為

xi和yi為二維圖像合成的一維向量。通過與nearest 插值，bicubic 插值，box 插值，lanczos2 插值，lanczos3 插值等常見差值方法的對比，對同樣50 副圖像進行差值和比較，得出各差值方法與原LR 圖像的余弦相似度均值、方差和運行時間，實驗結(jié)果如表2。

表2 差值效果對比1

相比于一般使用的bicubic 差值，bilinear 差值在余弦相似度上數(shù)值更大而方差更小，平均運行時間較短，生成的圖像更接近于實際采集的低分辨率圖像（LR）。

在采用雙線性差將高分辨率圖像轉(zhuǎn)換成低分辨率圖像后，使用清晰度過濾器對圖像進行進一步的處理，實驗使用均值濾波器、圓形均值濾波器、motion濾波器等濾波器作為對比，過濾器參數(shù)如下:

表3 過濾器參數(shù)

實驗圖像在經(jīng)過bilinear 差值處理成目標(biāo)分辨率后，再使用圖像過濾器進行進一步的實驗，經(jīng)過不同的過濾器處理后，再次與原低分辨率圖像（LR）進行比較，得到數(shù)據(jù)如表4。

表4 差值效果對比2

可以看到高斯低通濾波器最接近實際采集的低分辨率圖像且方差最小，平均運行時間較短。經(jīng)bilinear 差值和高斯低通濾波器處理后，得到經(jīng)退化函數(shù)處理的低分辨率圖像，部分對比圖像見圖5。

圖5 部分對比圖像和其余弦相似度

實驗結(jié)果表明，該算法能有效模擬海上艦船目標(biāo)圖像的退化過程，生成的圖像與原LR 圖像的余弦相似度平均在0.997以上。

5 結(jié)語

本文運用雙線性插值和高斯低通濾波器相結(jié)合的算法實現(xiàn)了對海上艦船目標(biāo)圖像的退化過程。實驗證明，該算法思想簡便，能高效地完成大規(guī)模數(shù)據(jù)的處理，達到了預(yù)期的效果。實驗結(jié)果表明，以余弦相似度作為評價指標(biāo)，原LR圖像與經(jīng)退化函數(shù)處理的HR 圖像有超過0.997 的余弦相似性。但是，該算法并未考慮實際的物理過程，對理論上圖像退化過程研究不深入，在雨霧的天氣條件下退化圖像和實際圖像可能有較大差別，需要進一步結(jié)合天氣等物理特性進行進一步優(yōu)化［12～13］。