孫越嬌,雷武虎*,胡以華,趙楠翔,任曉東
(1.國防科技大學 電子對抗學院 脈沖功率激光技術國家重點實驗室,合肥 230037;2.國防科技大學 電子對抗學院 電子制約技術安徽省重點實驗室,合肥 230037)
遙感圖像目標檢測與識別一直是遙感圖像處理和模式識別領域研究的熱點課題,而艦船作為海上運輸載體和重要的軍事目標,其自動檢測與識別具有非常重要的現(xiàn)實意義,無論在民用還是軍事領域都有著廣闊的應用前景[1]。
近年來,隨著對地觀測技術的飛速發(fā)展,衛(wèi)星遙感進入了一個前所未有的新階段,可利用的衛(wèi)星遙感圖像數(shù)據(jù)迅速增長,為海域偵察和艦船目標監(jiān)視提供了極為豐富的數(shù)據(jù)源。對于由衛(wèi)星、無人機等偵察平臺在海洋背景下獲取的海量的大幅面可見光圖像數(shù)據(jù)而言,若僅僅依靠人工目視判讀會出現(xiàn)工作量大、效率低、重復性高、主觀性強、成本高等問題,無法滿足現(xiàn)代社會對高效信息的需求。因此,為提高工作效率,研究海洋背景下目標的快速自動檢測很有必要。
當前,許多學者都深入研究了海洋背景下艦船目標檢測技術。參考文獻[2]中利用水體與艦船目標的灰度差異進行圖像分割,獲取艦船目標候選區(qū)域。參考文獻[3]中通過自適應定向正交投影的高斯分解法來擬合海洋區(qū)域直方圖,并采用改進的信息熵極小誤差分割算法進行圖像分割。參考文獻[4]中利用形態(tài)學對比度法在水域中進行目標檢測。參考文獻[5]中利用目標的灰度統(tǒng)計特性和目標的空間結構信息,提出一種基于標準差特征平面contrast box濾波的艦船目標檢測方法。參考文獻[6]中利用水體與艦船目標的類高階梯度差異進行圖像分割,實現(xiàn)艦船的檢測。以上方法均屬于基于統(tǒng)計特征的檢測方法。該方法需要對整幅圖像進行全局分析,計算復雜度比較高,且一般適用于平靜海面情況。對于復雜海面情況(如存在海浪、云霧、陰影、噪聲等干擾或水體較亮),容易產(chǎn)生虛警和漏警。參考文獻[7]中則利用艦船目標邊緣特征顯著的特性,線性組合原始灰度和邊緣強度圖,并進行Otsu自適應閾值分割。但是該方法僅在海面平靜且艦船與海面對比度明顯時,效果較好,對于復雜海面情況不適用。
作者將視覺關注模型與空間降維方法引入高分辨率海面遙感圖像的艦船目標檢測中,在大幅提高了檢測速度的同時,還降低了復雜海面背景對艦船檢測的影響。
高斯金字塔[8-9]的實質是通過高斯平滑和亞采樣獲得一些列下采樣圖像,其公式表示如下:
(1)
式中,l為高斯金字塔層數(shù),且1≤l≤N,Gl(i,j)為第l層高斯金字塔圖,G0(i,j)為原始圖,i和j分別為圖像行數(shù)與列數(shù);ω(m,n)=h(m)h(n)是5×5具有低通特性的窗口函數(shù),h是高斯密度分布函數(shù);由此可以得到G0,G1,G2,…,GN構成的高斯金字塔圖,其中N+1為金字塔總層數(shù),且上一層圖像大小是下一層圖像大小的1/4。金字塔示意圖如圖1所示。
Fig.1 Image of pyramid decomposition
傳統(tǒng)的圖像目標檢測算法大多是對整幅圖像進行全面搜索處理。而目標通常只占據(jù)圖像中的很小一部分區(qū)域,因此,這種傳統(tǒng)方法處理分析難度較大,計算效率受到嚴重制約。自底向上的視覺顯著算法能較好地解決這個問題。在面對一個復雜場景時,它能根據(jù)視覺刺激有選擇性地分配計算資源,從而提高計算效率,降低分析難度。因此將視覺顯著算法引入到遙感圖像的目標檢測中,有助于感興趣目標的快速檢測。
1998年,ITTI,KOCH等人在KOCH和ULLMAN的工作基礎上提出基于顯著性特征的注意力選擇模型,Itti模型[10]。
該模型首先利用高斯金字塔對輸入圖像進行線性濾波,然后提取初級視覺特征:顏色、亮度和方位,之后在多種尺度下使用中央周邊差異操作產(chǎn)生顏色,亮度和方位特征圖,并將這些特征圖融合得到最終的顯著圖,最后利用生物學中勝者為王(winner-take-all,WTA)的競爭機制和返回抑制的方法來完成注意焦點的提取和轉移。Itti模型結構如圖2所示。
Fig.2 General architecture of Itti model
從信息理論角度,信息可分為冗余部分和變化部分:
Him=Hin+Hp
(2)
式中,Hin表示突出的部分,Hp則表示冗余的信息。通過去除圖像冗余信息,就可以獲得圖像與眾不同的部分,即顯著目標。
對于給定圖像I(x),其顯著圖的計算如下:
A(f)=Re(F[I(x)])
(3)
P(f)=Im(F[I(x)])
(4)
L(f)=lg[A(f)]
(5)
R(f)=L(f)-hn(f)*L(f)
(6)
S(x)=g(x)*F-1{exp[R(f)+P(f)]}2
(7)
(8)
式中,f表示輸入的原始圖像,F(xiàn)和F-1分別表示傅里葉變換和傅里葉逆變換,A(f),P(f)分別為圖像的振幅譜和相位譜,L(f)是對數(shù)振幅譜,hn(f)是n×n均值濾波的卷積核,R(f)代表譜殘差,g(x)為高斯濾波器,用來平滑顯著圖,以獲取更好的視覺效果。最后由譜殘差和相位譜反向傅里葉變換得到顯著圖S(x)。
FT[12]方法從頻率的角度對圖像進行分析。
令ωl為低頻閾值,ωh為高頻閾值,為了強調最大的顯著性目標,ωl必須非常低,這也有助于突出整體顯著性區(qū)域;為了顯著性目標具有良好的邊界,ωh必須很高,然而,為了避免噪聲和紋理圖案,需要忽略最高的頻率。
FT方法使用高斯函數(shù)差分(difference of Gaussian,DoG)G(x,y)濾波器進行帶通濾波。
G(x,y,σ1)-G(x,y,σ2)
(9)
當算子ρ=σ1∶σ2=1∶1.6時,是最令人滿意的檢測物體邊緣的算子,σ1和σ2表示標準差,ρ限定了DoG的帶寬。因此組合幾個窄帶通DoG濾波器得到足夠大的[ωl,ωh]。
G(x,y,σρN)-G(x,y,σ)
(10)
可以通過選擇具有大的比例K=ρN的DoG來獲得應用幾個帶通濾波器的組合結果。取N=∞,則G(x,y,σρN)對圖像的濾波就是計算整幅圖像的平均值,而σ取一個小的高斯核,可以濾去一些噪聲。
得到顯著圖S的計算方程為:
S(x,y)=‖Iμ-Iωh(x,y)‖
(11)
式中,Iμ為圖像的平均特征,Iωh(x,y)是高斯模糊后的圖像的特征,‖·‖是L2范數(shù),L2范數(shù)是歐氏距離。FT方法使用的是Lab顏色空間,每個像素的位置是一個[L,a,b]T向量,其中,L是亮度,a,b是兩個顏色通道。
HC[13-14]是基于直方圖對比度的方法,它是根據(jù)像素間的顏色差異來分配顯著值,并產(chǎn)生具有全分辨率的顯著性圖像[15]。
圖像I中的像素Ik的顯著值被定義為:
(12)
式中,cl是像素Ik的顏色值,n是與cl不同的顏色的數(shù)量,fj是圖像I中的顏色cj的概率,D(cl,cj)為對應像素在Lab空間的顏色距離度量。由于3維直方圖計算量大,對直方圖進行簡化。
2.4.1 基于直方圖的算法加速 將每個通道的顏色量化到12個級別,減少為123=1728種顏色。忽略出現(xiàn)頻率較小的顏色,選擇高頻出現(xiàn)的顏色至覆蓋95%以上的像素,剩下的小于5%的像素所占的顏色由直方圖中距離最近的顏色所代替。
2.4.2 色彩空間平滑 雖然用顏色量化后的直方圖計算對比度提高了效率,但量化會產(chǎn)生瑕疵,一些相似的顏色可能被量化為不同的值。因此,為了減少這種隨機性給顯著性值計算帶來的噪聲,采用平滑操作來改善每個顏色的顯著性值。將每個顏色的顯著性值替換為相似顏色(用Lab距離測量)顯著性值的加權平均。選擇m=n/4個最近鄰顏色來改善顏色c的顯著性值。
(14)
式中,T為顏色c和其m個最近鄰顏色ci的距離和。
圖3是引入空間降維和視覺顯著模型后的高分辨率遙感圖像艦船目標快速檢測的流程圖。
Fig.3 Flow chart of rapid ship target detection
根據(jù)圖3可得到艦船目標快速檢測的算法步驟:(1)根據(jù)圖像的空間分辨率,按照(1)式計算原始圖像的高斯降維圖Gl(i,j);(2)將Gl(i,j)作為視覺顯著模型的輸入圖像,計算其視覺顯著圖;(3)采用最大類間方差法[16-18]對顯著圖進行分割,獲取目標。
為了驗證本文中算法的可行性,進行實驗仿真。實驗中所用軟件為Visual C++2010,硬件條件為i5CPU,內存2G。對海面艦船目標的快速檢測,分別作了2組實驗加以說明。其圖像來源于Google Earth。
對3組高分辨率艦船遙感圖像分別采用Itti,SR,F(xiàn)T,HC方法進行顯著圖的計算。實驗結果如圖4所示。圖4a為512×512的平靜海面背景下的艦船目標遙感圖像,且目標與海面對比度明顯;圖4b為512×512的不平靜海面背景下的艦船目標遙感圖像,且目標與海面對比度不明顯;圖4c為1024×600的多艦船目標遙感圖像。
Fig.4 Different saliency map
a~c—original image d~f—Itti saliency map g~i—SR saliency map j~l—FT saliency map m~o—HC saliency map
對圖4a~圖4c做圖像多次實驗,記錄其平均處理時間,如表1所示。
綜合分析實驗結果發(fā)現(xiàn),3組圖像的Itti顯著圖效果都較差,背景復雜,且目標與背景區(qū)分度小,不利于目標的分割,此外Itti算法計算復雜度高,處理時間較其它3重算法相比最長;SR顯著圖的優(yōu)點是計算簡單、速度快,但是只能粗略的顯示目標,且不能克服物體表面紋理的影響,不利于目標整體的分割(如第1幅圖像的SR顯著圖其艦船內部紋理影響目標突顯的完整性);FT和HC算法的計算時間都較快,且兩種方法在目標的突顯等方面具有明顯的優(yōu)勢,但HC算法在計算時間和顯著區(qū)域的一致高亮上略優(yōu)于FT算法。
Table 1 The processing time of different algorithms
分別計算實驗1中3幅圖像的高斯降維圖,并依次計算每幅圖像的第2層高斯降維圖的HC顯著圖,最后對HC顯著圖采用最大類間方差法算法分割檢測目標。在實際可見光海面遙感圖像艦船目標檢測中,根據(jù)圖像的分辨率及目標具體情況,可進行不同層次的高斯降維圖的計算。高斯降維的層數(shù)越多,檢測速度越快,但是圖像越模糊,若層數(shù)太多會導致檢測效果變差??紤]到本文中使用圖像的分辨率及目標情況,因此,本文中計算到第2層高斯降維圖。第1幅圖和第2幅圖兩層高斯降維后大小由512×512變?yōu)?28×128,第3幅圖兩層高斯降維后大小由1024×600變?yōu)?56×150,降維后的圖像為原圖像的1/16。實驗結果如圖5~圖7所示。
Fig.5 Comparison of ship detection results before and after dimension reduction of Fig.4a
a—original image b—HC saliency map c—the result of segmentation d—the reduced dimension image e—HC saliency map after dimension reduction f—the result of segmentation after dimension reduction
Fig.6 Comparison of ship detection results before and after dimension reduction Fig.4b
a—original image b—HC saliency map c—the result of segmentation d—the reduced dimension image e—HC saliency map after dimension reduction f—the result of segmentation after dimension reduction
Fig.7 Comparison of ship detection results before and after dimension reduction of Fig.4c
a—original image b—HC saliency map c—the result of segmentation d—the reduced dimension image e—HC saliency map after dimension reduction f—the result of segmentation after dimension reduction
圖5~圖7中分別給出了空間降維策略在不同的高分辨率遙感圖像中的目標檢測結果。從圖中所顯示的結果不難發(fā)現(xiàn),針對高分辨率遙感影像,降維后的目標檢測結果與沒有進行降維處理前基本一致,并且,對于海面不平靜的復雜紋理背景遙感圖像,降維處理能減小背景對目標檢測的影響(如圖6所示)。
從表2可以看出,與直接對遙感圖像進行基于HC視覺顯著的目標檢測相比,本文中在計算高斯降維圖后進行基于HC視覺顯著的目標檢測,最終檢測的運行時間縮減為原來的10%~12%,效率明顯提高。
Table 2 Comparison of target detection time
綜上所述,作者的算法利用高斯降維方式在提高檢測效率的前提下,通過視覺顯著圖的計算,能很好的突顯艦船目標區(qū)域,實現(xiàn)海洋背景下艦船的快速檢測。
傳統(tǒng)的高分辨率海面遙感圖像艦船目標的檢測方法大都采用滑動窗口對整幅圖像進行全面搜索,計算復雜度較高。對典型的幾種視覺顯著模型進行實驗對比分析后,將基于直方圖對比度的視覺顯著模型(HC視覺顯著模型)引入高分辨率遙感圖像的艦船目標檢測中,提出了一種新的基于視覺顯著與空間降維的高分辨率遙感圖像艦船目標檢測算法。實驗結果表明,該方法通過空間降維策略不僅使目標檢測所消耗的時間減小為原來的10%~12%,而且弱化了復雜海面紋理背景對目標檢測的影響,充分證明了該算法的有效性,具有理論意義與實用價值。
[1] ZHANG Zh. A study on harbor target recognition in high resolution optical remote sensing image [D].Hefei:University of Science and Technology of China, 2005:79-84(in Chinese).
[2] WANG M, LUO J Ch, MING D P. Extract ship targets from high spatial resolution remote sensed imagery with shape feature [J]. Geomatics and Information Science of Wuhan University, 2005, 30(8): 685-688(in Chinese).
[3] CHU Zh L, WANG Q H, CHEN H L,etal. Ship auto detection method based on minimum error threshold segmentation [J]. Computer Engineering, 2007, 33(11): 239-241(in Chinese).
[4] XIAO L P, CAO J, GAO X Y. Detection for ship targets in complicated background of sea and land [J]. Opto-Electronic Engineering, 2007, 34(6): 6-10(in Chinese).
[5] ZHAO Y H, WU X Q, WEN L Y,etal. Ship target detection scheme for optical remote sensing images [J]. Opto-Electronic Engineering, 2008, 35(8):102-106(in Chinese).
[6] XU J, XIANG J Y, ZHOU X,etal. A target segmentation algorithm based on feature field[J]. Infrared and Laser Engineering, 1998, 27(2): 21-24(in Chinese).
[7] ZHU C, ZHOU H, WANG R,etal. A novel hierarchical method of ship detection from spaceborne optical image based on shape and texture features[J]. IEEE Transactions on Geoscience & Remote Sensing, 2010, 48(9):3446-3456.
[8] WANG F Ch, ZHANG M, GONG L M,etal. Fast detection algorithm for ships under the background of ocean [J].Laser & Infrared, 2016, 46(5):602-606(in Chinese).
[9] ZHANG L B, WANG P F. Fast detection of regions of interest in high resolution remote sensing image [J].Chinese Journal of Lasers, 2012, 39(7):714001(in Chinese).
[10] ITTI L, KOCH C, NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1998, 20(11):1254-1259.
[11] HOU X, ZHANG L. Saliency detection: a spectral residual approach[C]// Computer Vision and Pattern Recognition CVPR 2007.New York,USA:IEEE, 2007:1-8.
[12] ACHANTA R, HEMAMI S, ESTRADA F,etal. Frequency-tuned salient region detection[C]// Computer Vision and Pattern Recognition CVPR 2009.New York,USA:IEEE,2009:1597-1604.
[13] CHENG M M, ZHANG G X, MITRA N J,etal. Global contrast based salient region detection[C]// IEEE Conference on Computer Vision and Pattern Recognition. New York,USA:IEEE, 2011:409-416.
[14] CHENG M M. Saliency and similarity detection for image scene analysis [D].Beijing:Tsinghua University, 2012:31-53(in Chinese).
[15] WEI Y. Research on image salient region detection methods and applications[D].Ji’nan: Shandong University, 2012:35-46(in Chinese).
[16] WANG Y W, LIANG Y Y, WANG Zh H. Otsu image threshold segmentation method based on new genetic algorithm[J]. Laser Technology, 2014, 38(3):364-367(in Chinese).
[17] WEI X F, LIU X. Research of image segmentation based on 2-D maximum entropy optimal threshold[J]. Laser Technology, 2013, 37(4):519-522(in Chinese).
[18] ZHANG J B, YANG H X, ZHOU T T,etal.Improved segmentation method of 2-D Otsu infrared image [J]. Laser Technology, 2014, 38(5):713-717(in Chinese).