亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于彩色偏振圖像的HSV 空間目標(biāo)增強(qiáng)方法

        2023-06-05 09:22:12梁建安梁美彥郭亞飛
        應(yīng)用光學(xué) 2023年3期
        關(guān)鍵詞:背景融合

        梁建安,劉 斌,梁美彥,郭亞飛

        (山西大學(xué) 物理電子工程學(xué)院,山西 太原 030000)

        引言

        偏振、強(qiáng)度、波長都是光的基本屬性。物體的偏振特性由其本身的物理屬性決定,比如粗糙程度、水分含量、介質(zhì)等,還與光照強(qiáng)度和觀察角度有關(guān)。與常見的可見光、紅外成像相比,偏振成像可以獲取物體多維度的偏振信息,呈現(xiàn)物體的輪廓和細(xì)節(jié),發(fā)現(xiàn)傳統(tǒng)圖像中不能分辨的部分[1],例如可以用偏振相機(jī)替代傳統(tǒng)相機(jī)來分辨物體表面的缺陷[2],還可以通過解析物體的偏振信息來識別目標(biāo),因此偏振成像在地質(zhì)勘探[3]、生物醫(yī)學(xué)[4]、軍事演練[5]、海洋開發(fā)[6]中有很大的應(yīng)用價值。

        在現(xiàn)實場景中,復(fù)雜的背景往往會干擾目標(biāo)的提取和識別,對目標(biāo)進(jìn)行增強(qiáng)就顯得尤為重要,圖像融合方法就是一種有效的目標(biāo)增強(qiáng)方法。目前,偏振圖像融合方法主要有:基于多尺度分析的融合算法[7-9]、基于學(xué)習(xí)的融合算法[10-11]和偽彩色融合算法[12-13]。例如ZHANG[7]等人提出了一種基于多尺度卷積稀疏分解(MCSD)的圖像融合方法,在可視化和數(shù)值評價上獲得了較好的效果。陳衛(wèi)[11]等提出了一種基于FWA(fireworks algorithm)的紅外偏振圖像融合方法,對紅外強(qiáng)度和紅外偏振圖像的特征進(jìn)行了保留,在相對熵、總結(jié)構(gòu)相似性、總互信息指標(biāo)上優(yōu)于其他算法。徐國明[13]等提出了一種偽彩色偏振圖像融合方案,將偏振圖像經(jīng)過直方圖規(guī)定化后轉(zhuǎn)入IHS(intensity,hue,saturation)顏色空間,得到了偽彩色融合結(jié)果,強(qiáng)化了目標(biāo),凸顯了特征。隨著偏振融合技術(shù)的發(fā)展,研究者往往都是將基于多尺度分析的算法或者基于學(xué)習(xí)的算法與偽彩色算法相結(jié)合,以此來更好地增強(qiáng)目標(biāo),例如:張家民[14]等就結(jié)合了多尺度分析和偽彩色融合方法,提出了一種HSL-RGB(hue,saturation,light-red,green,blue)圖像融合技術(shù),有效減少了多個偏振態(tài)圖像之間的互補(bǔ)性和冗余性,最終表明了這項融合技術(shù)在目標(biāo)探測方面的顯著效果。XU[15]等結(jié)合了學(xué)習(xí)算法和偽彩色算法,提出了一種基于字典學(xué)習(xí)的偏振圖像快速融合方法,賦予了物體顏色信息,提高了運(yùn)行效率。此外,目前偏振圖像融合針對的源圖像主要有同波段的不同類型圖像,例如將可見光波段的強(qiáng)度圖像和偏振度圖像進(jìn)行融合[16],以及不同波段的同類型圖像,例如將可見光波段與紅外波段的偏振度圖像進(jìn)行融合[17]。源圖像的多樣以及融合算法的多樣使得偏振融合方法能有效應(yīng)用于目標(biāo)增強(qiáng)領(lǐng)域。

        雖然現(xiàn)有的偏振圖像融合方法對圖像進(jìn)行了彩色化,使得目標(biāo)增強(qiáng)效果有了一定的提升,但是仍然缺少直接針對彩色偏振圖像的融合方法。此外,HSV(hue,saturation,value)顏色空間由于其各自獨立的顏色通道,研究者常常在該顏色空間內(nèi)進(jìn)行顏色分割。因此,本文結(jié)合彩色偏振圖像的特點和HSV 顏色空間提出了一種目標(biāo)增強(qiáng)的方法。研究結(jié)果表明,該方法在人眼主觀視覺效果和客觀指標(biāo)數(shù)據(jù)上均取得了明顯的提升。

        1 彩色偏振成像理論

        1.1 彩色偏振成像原理

        典型的偏振成像方法主要有分時法(DoT)[18]、分振幅法(DoAM)[19]、分孔徑法(DoAP)[20]和分焦平面法(DoFP)[21]。分焦平面法在結(jié)構(gòu)體積、成像速度和誤差控制上具有明顯優(yōu)勢,因此本文采用該成像方式。

        圖1 是彩色分焦平面法成像示意圖。圖1(a)是彩色分焦平面相機(jī),該相機(jī)由焦平面、Bayer 陣列濾光片、微偏振陣列組成。每4×4 個像元構(gòu)成一個模塊組,每個模塊組中有4 個顏色通道,從左上到右下分別是R 通道、G 通道、G 通道和B 通道,屬于經(jīng)典的Bayer 陣列排列方式,由于人眼視覺對綠色更為敏感,因此有2 個G 通道。每個顏色通道又包含4 個偏振通道,偏振通道的偏振角度從左上到右下分別是90°、45°、135°和0°。對采集到的圖像數(shù)據(jù)按照偏振角度進(jìn)行插值,即可生成0°、45°、90°和135°的彩色偏振圖像,成像過程如圖1(b)所示。

        1.2 Stokes 矢量表示法

        在獲得0°、45°、90°和135°的彩色偏振圖像后,將這4 個角度的彩色偏振圖像進(jìn)行顏色通道分離,分別得到R、G、B 通道下的0°、45°、90°和135°圖像,然后由Stokes 矢量矩陣可得R、G、B 通道下的DoLP 圖像、AoP 圖像和S0圖像,最后得到RGB空間的彩色DoLP 圖像、彩色AoP 圖像和彩色S0圖像。

        Stokes 矢量矩陣常用來定量化描述物體的偏振狀態(tài)。設(shè)Stokes 矩陣為

        式中:S0表示系統(tǒng)接收的總輻射強(qiáng)度;S1表示平行和垂直偏振方向上的輻射強(qiáng)度差;S2表示兩條對角線方向上的輻射強(qiáng)度差;S3表示右旋圓偏振光與左旋圓偏振光強(qiáng)度差,當(dāng)S3為正值時,表示右旋圓偏振占優(yōu)勢。在實際應(yīng)用中,右旋圓偏振光與左旋圓偏振光強(qiáng)度很小,可忽略不計,即S3=0。設(shè)Iθ表示不同角度下的光強(qiáng),則Stokes 矢量矩陣參量為

        由下列Stokes 矢量矩陣公式可得線偏振度和偏振角:

        式中:c∈(R,G,B),表示顏色通道。

        2 目標(biāo)增強(qiáng)方法

        為了實現(xiàn)目標(biāo)增強(qiáng),本文采用視覺顯著度提取目標(biāo)的輪廓和細(xì)節(jié),然后在HSV 顏色空間中進(jìn)行融合以增強(qiáng)目標(biāo)。首先對相機(jī)采集得到的0°、45°、90°和135°這4 個方向的彩色偏振圖像通過Stokes矢量法進(jìn)行預(yù)處理,得到彩色DoLP 圖像、彩色AoP圖像和彩色S0圖像,再分別通過視覺顯著度模型提取彩色DoLP、AoP 和S0圖像的顯著度,初步提取目標(biāo),然后將顯著度圖像按照相應(yīng)的規(guī)則映射到HSV 顏色空間以增強(qiáng)目標(biāo),最后轉(zhuǎn)到RGB 空間進(jìn)行展示。方案流程圖如圖2 所示。

        2.1 視覺顯著度提取

        自然界中常見的目標(biāo)和背景往往具有不同的偏振特性。在彩色偏振特性圖像中,目標(biāo)在一定程度上會得到突出,而背景雜波得到抑制。因此利用視覺顯著度可以對目標(biāo)進(jìn)行提取,進(jìn)一步增大目標(biāo)和背景的差異。這樣,目標(biāo)得到增強(qiáng)而背景得到抑制,人眼能夠在圖像中更精準(zhǔn)地對目標(biāo)進(jìn)行定位。因此,本文采用基于小波變換的視覺顯著度提取模型[22],提取目標(biāo)的顯著特征。

        該模型先將顯著度圖像轉(zhuǎn)到CIE Lab 顏色空間進(jìn)行小波分解與重構(gòu),因為該顏色空間中的亮度通道和雙色通道類似于人類感知。在進(jìn)行小波分解時,選用Daubechies 小波,因為它的濾波器大小與計算時間、整體結(jié)果的計算相匹配。在小波重構(gòu)時,忽略低頻部分,在保留圖像輪廓和細(xì)節(jié)的同時,提高了效率。在進(jìn)行小波分解與重構(gòu)后會生成兩個特征映射圖像,分別是全局顯著度圖和局部顯著度圖,再將這兩個顯著度圖進(jìn)行融合,就得到了最終的顯著度圖。

        全局sG(x,y)、局部sL(x,y)、最終s(x,y)顯著度圖可由式(5)~式(7)得到:

        式中:IK·K是K·K的高斯低通濾波器;p[f(x,y)]-1是概率密度函數(shù),特征在給定位置的可能性可以用概率密度函數(shù)來定義;N為小波分解的層次;分別是L、a、b 通道在s(s∈(1,N))比例尺度下的特征圖;分別是歸一化的全局和局部顯著度圖。

        以樓道場景為例,將彩色DoLP 圖像、彩色AoP圖像和彩色S0圖像分別通過基于小波變換的視覺顯著度提取模型,得到DoLP、AoP 和S0的顯著度圖像,如圖3 所示。從圖3 可以看到,DoLP 顯著度圖像初步提取出了標(biāo)識牌目標(biāo),并且在一定程度上顯示了標(biāo)識牌目標(biāo)的細(xì)節(jié),但存在部分細(xì)節(jié)模糊、不利于人眼觀察的情況。AoP 顯著度圖像很好地提取了標(biāo)識牌目標(biāo)的輪廓,但缺少目標(biāo)細(xì)節(jié)信息。S0顯著度圖像則對目標(biāo)和輪廓都有所顯示,但目標(biāo)細(xì)節(jié)提取效果并不明顯。由此實驗可以看出,DoLP、AoP 和S0的顯著度圖對目標(biāo)的提取效果各不相同,且都達(dá)不到最佳顯示效果。因此,可以將這3 幅圖像進(jìn)行融合,進(jìn)一步增強(qiáng)目標(biāo)。

        2.2 HSV 空間融合

        HSV 是除RGB 顏色模型之外應(yīng)用非常廣泛的一種顏色模型,該模型由色調(diào)(Hue)、飽和度(Saturation)和明度(Value)組成。HSV 顏色空間相較于RGB 顏色空間,沒有相互耦合的紅綠藍(lán)顏色通道,而是相互獨立的H、S、V 通道,在進(jìn)行圖像融合時,可以單獨對某一通道進(jìn)行變換,且不會破壞各顏色通道之間的相互關(guān)系。因此本文在HSV空間中進(jìn)行圖像融合,既保留了彩色偏振圖像中的偏振信息,又抑制了背景中的雜波,對目標(biāo)進(jìn)行了增強(qiáng)。

        一般來說,DoLP 和S0圖像的像素大小范圍是0~255,S 通道和V 通道的范圍也是0~255,因此通常將DoLP 圖像映射到飽和度S 通道,將S0圖像映射到明度V 通道。PAoP∈(0°,180°),H 通道范圍是0°~360°,兩者呈線性關(guān)系,因此將AoP 圖像映射到色調(diào)H 通道[23-24]。本文結(jié)合前人的融合思路,根據(jù)H、S、V 通道不同的物理意義來設(shè)置不同的映射規(guī)則,提出了一種新的融合方法,以此來增強(qiáng)目標(biāo)。

        3 個通道內(nèi)的融合規(guī)則如下:

        a)將AoP 顯著度圖像映射到H 通道,該通道決定了目標(biāo)的顏色。

        b)將DoLP 顯著度圖像映射到S 通道,并在S 通道中對像素點S(i,j)的值取閾值,閾值規(guī)則如(8)式所示。設(shè)置閾值是為了將目標(biāo)區(qū)域的飽和度值在歸一化后變?yōu)?,使得飽和度最大化,同時將非目標(biāo)區(qū)域的飽和度最小化,這就使得目標(biāo)和背景的飽和度差異最大化,更能突出目標(biāo)。

        c)將S0顯著度圖像和彩色DoLP 圖像灰度化后的圖像進(jìn)行指數(shù)相乘,并賦值到V 通道。顯著度圖像是二維圖像,彩色DoLP 圖像是三維圖像,二者不能直接融合,因此需要將彩色DoLP 圖像灰度化。V 通道融合是為了提升圖像整體的明亮程度,有利于圖像的可視化。

        式中:s0′是S0顯著度圖像,GDoLP是彩色DoLP 圖像灰度化后的圖像,兩者的歸一化后的范圍是(0,1),因此V∈(0,e)。而在HSV 空間中,V 通道在歸一化后的范圍是(0,1),為了避免V 通道數(shù)據(jù)失真,我們在V 通道設(shè)置閾值,這樣既保持了數(shù)據(jù)的真實性,又保留了目標(biāo)區(qū)域亮度高的優(yōu)勢。

        3 實驗結(jié)果與分析

        本次實驗使用的相機(jī)是LUCID 公司的2 448×2 048 像素的分焦平面彩色偏振相機(jī)。為了驗證我們的方法能夠有效增強(qiáng)目標(biāo),分別在樓道、停車場和湖邊等場景開展實驗。

        3.1 實驗結(jié)果

        圖4 是樓道場景圖,目標(biāo)是標(biāo)識牌。從圖4 可以看出,彩色DoLP 圖像中目標(biāo)較為明顯,并且圖像中的雜物干擾受到了一定的抑制作用,但是目標(biāo)和背景顏色差異小。彩色AoP 圖像雖然清晰地顯示了目標(biāo)的輪廓,但是目標(biāo)細(xì)節(jié)非常模糊,不利于人眼觀察。彩色S0圖像中的目標(biāo)清晰,但是和背景的顏色相近,兩者之間的對比度較小,并且樓道中雜物對目標(biāo)起到了一定的干擾作用。融合后的圖像對目標(biāo)進(jìn)行了顏色增強(qiáng),既突出了目標(biāo)的輪廓,又顯示出目標(biāo)的細(xì)節(jié),并且目標(biāo)與背景的顏色差異大,使人眼能方便地從圖像中找尋到目標(biāo),快速地聚焦于目標(biāo)。

        圖4 樓道場景圖Fig.4 Images of corridor scene

        圖5 是停車場場景圖,汽車目標(biāo)在圖中用紅色方框圈出,放大后顯示在圖像右下角。從圖5 可以看出彩色DoLP 圖像目標(biāo)周圍的樹木、建筑物等雜亂背景得到抑制,減少了對目標(biāo)的干擾。彩色AoP 圖像顯示出了目標(biāo)的輪廓,但是目標(biāo)的細(xì)節(jié)被掩蓋了。彩色S0圖像中目標(biāo)雖然很清晰,但是樹木等植被和建筑物等都對目標(biāo)產(chǎn)生了很大的干擾。融合后的圖像對目標(biāo)進(jìn)行了顏色增強(qiáng),同時減少了周圍物體對目標(biāo)的干擾,提升了目標(biāo)和周圍物體之間的對比度,使得人眼可以清晰地分辨出目標(biāo)。

        圖5 停車場場景圖Fig.5 Images of parking lot scene

        圖6 是湖邊場景圖,巡邏車目標(biāo)在圖中用紅色方框圈出,放大后顯示在右下角。從圖中可以看出,僅憑人眼很難發(fā)現(xiàn)遠(yuǎn)處岸邊樹下的巡邏車。在彩色DoLP 圖像中,周圍環(huán)境對目標(biāo)的干擾得到了一定的抑制,但是目標(biāo)在圖像中并沒有突出。在彩色AoP 圖像中,周圍壞境對目標(biāo)的顯示起到了很大的干擾作用。在彩色S0圖像中,目標(biāo)雖然可以顯示,但是由于目標(biāo)太小,周圍環(huán)境對目標(biāo)同樣存在干擾。融合后的圖像對目標(biāo)進(jìn)行了顏色增強(qiáng),同時減少了周圍環(huán)境對目標(biāo)的干擾,使得目標(biāo)在圖像中得以凸顯。

        圖6 湖邊場景圖Fig.6 Images of lakeside scene

        從以上實驗結(jié)果可以發(fā)現(xiàn),融合后的圖像中,雜亂背景得到了抑制,目標(biāo)都得到了顏色增強(qiáng),目標(biāo)與背景的對比度變大,使得人眼能夠快速找到并分辨出圖像中的目標(biāo)。特別地,對于停車場場景和湖邊場景,成像圖中的目標(biāo)很小,融合后的圖像使小目標(biāo)增強(qiáng)并凸顯,幫助人眼迅速地從場景中定位目標(biāo)。以上實驗說明,本文提出的融合方法能夠有效地抑制雜亂背景、增強(qiáng)目標(biāo),并且適用于小目標(biāo)的增強(qiáng),體現(xiàn)了本文融合方法應(yīng)用范圍的廣泛。

        3.2 實驗分析

        本文采用目標(biāo)和背景之間的對比度,以及RGB空間中的矢量-角度距離色差公式[25]作為實驗結(jié)果的客觀評價指標(biāo)。

        3.2.1 對比度分析

        在圖像中,目標(biāo)是我們所需要探測的物體,背景是目標(biāo)周圍的物體。目標(biāo)和背景的對比度為

        式中:Xr、Xg、Xb和XR、XG、XB分別表示彩色圖像目標(biāo)和背景在不同顏色通道下的的平均像素值。表1 是3.1 節(jié)中3 組實驗場景圖像的對比度計算結(jié)果。

        表1 3 組實驗圖像的對比度計算結(jié)果Table 1 Calculation results of contrast of 3 groups of experimental images

        從表1 可以看出,融合圖像的對比度比彩色DoLP 圖像平均高了1.438 倍,比彩色AoP 圖像平均高了3.971 倍,比彩色S0圖像平均高了3.375 倍。因為彩色DoLP 圖像一般可以體現(xiàn)出目標(biāo)的細(xì)節(jié),與融合圖像效果相差最小,所以融合圖像的對比度數(shù)據(jù)相較于彩色DoLP 圖像的提升最少。當(dāng)目標(biāo)和背景的對比度越大,則目標(biāo)在圖像中越突出,人眼就可以更快地發(fā)現(xiàn)目標(biāo)。結(jié)合3.1 節(jié)實驗結(jié)果可以發(fā)現(xiàn),對比度評價結(jié)果和人眼觀察結(jié)果是一致的。

        3.2.2 矢量角度距離分析

        設(shè)RGB 顏色空間中兩個顏色的坐標(biāo)分別是x1=(r1,g1,b1)和x2=(r2,g2,b2),在本文中,r1、g1、b1和r2、g2、b2表示的是目標(biāo)區(qū)域和背景區(qū)域在紅綠藍(lán)通道中的平均分量。矢量角度距離為

        式中:

        3.1 節(jié)中3 組實驗場景的矢量角度距離如表2所示。由(11)式可得,矢量角度距離越大,兩個顏色之間的色差越大,即目標(biāo)和背景的顏色差異越大,則目標(biāo)在整個圖像中相較于背景更加突出。從表2 可以看出,在前2 個場景中,彩色DoLP 圖像的矢量角度距離要大于彩色AoP 圖像和彩色S0圖像,但在第3 個場景中卻相反,這是因為第3 個場景中目標(biāo)最小,彩色DoLP 圖像中目標(biāo)和背景的顏色差異小,導(dǎo)致彩色DoLP 圖像矢量距離較小。但是在3 組圖像中,融合圖像的矢量角度距離均高于彩色DoLP 圖像、彩色AoP 圖像和彩色S0圖像,其比彩色DoLP 圖像平均高了1.711 倍,比彩色AoP 圖像平均高了1.579 倍,比彩色S0圖像平均高了1.574 倍。綜合來看,融合圖像中目標(biāo)和背景的顏色差異最大,目標(biāo)會更加突出,這與人眼觀察結(jié)果也是一致的。

        表2 3 組實驗圖像的矢量角度距離計算結(jié)果Table 2 Calculation results of vector angle distance of three groups of experimental images

        4 結(jié)論

        本文提出了一種基于彩色偏振圖像的目標(biāo)增強(qiáng)方法,通過視覺顯著度的方法提取彩色DoLP、AoP 和S0圖像中的目標(biāo)特征,然后在HSV 空間中進(jìn)行融合,達(dá)到抑制背景雜波、增大目標(biāo)和背景對比度的目的。首先,由彩色偏振相機(jī)采集到的0°、45°、90°和135°這4 個方向的彩色偏振圖像得到彩色DoLP、AoP 和S0圖像。然后使用基于小波的視覺顯著度提取模型得到彩色DoLP、AoP 和S0圖像的顯著度圖像,使得目標(biāo)得到初步的增強(qiáng)。再次,映射到HSV 顏色空間,在H 通道賦予圖像顏色,在S 通道提高目標(biāo)和背景的對比度,在V 通道提升圖像整體的亮度,使得目標(biāo)和背景的對比度達(dá)到最大,最大化的凸顯出目標(biāo),最后轉(zhuǎn)到RGB 空間得到目標(biāo)突出的最終圖像。實驗結(jié)果表明,該方法對目標(biāo)周圍的背景雜波起到了很好的抑制作用,并對圖像中的目標(biāo)進(jìn)行顏色增強(qiáng),提升了目標(biāo)和背景的對比度,使得人眼可以迅速并準(zhǔn)確地發(fā)現(xiàn)圖像中的目標(biāo)。同時,該方法在目標(biāo)和背景對比度以及矢量角度距離上也有了很大的提升,這與人眼觀察結(jié)果相一致。除此之外,該融合方法對小目標(biāo)也進(jìn)行了增強(qiáng),幫助人眼迅速地從場景中定位目標(biāo)。但是,該方法對圖像中的某些非目標(biāo)區(qū)域也會進(jìn)行增強(qiáng),容易對目標(biāo)形成干擾,因此,未來我們會針對這一問題進(jìn)行進(jìn)一步的研究。

        猜你喜歡
        背景融合
        一次函數(shù)“四融合”
        “新四化”背景下汽車NVH的發(fā)展趨勢
        村企黨建聯(lián)建融合共贏
        融合菜
        從創(chuàng)新出發(fā),與高考數(shù)列相遇、融合
        《論持久戰(zhàn)》的寫作背景
        寬窄融合便攜箱IPFS500
        黑洞背景知識
        《融合》
        晚清外語翻譯人才培養(yǎng)的背景
        国产99页| 国产亚洲精品美女久久久| 中国国语毛片免费观看视频| 精品乱子伦一区二区三区| 日本一区二区三区在线观看免费| 按摩师玩弄少妇到高潮av| 久久狠狠爱亚洲综合影院 | 曰本女人牲交全视频免费播放| 娇柔白嫩呻吟人妻尤物| 亚洲发给我的在线视频| 久久99精品久久久久久清纯| 免费观看黄网站在线播放| 丝袜欧美视频首页在线| 精品日韩在线观看视频| 亚洲国产av无码精品| 精品国产一区二区三区av 性色| 在线观看国产三级av| 青草草视频在线观看华人免费| 久久99国产精品久久| 男人边吻奶边挵进去视频| 九九99久久精品在免费线97| 中文字幕人妻一区二区二区| 亚洲日韩中文字幕在线播放| 亚洲av无码乱码国产精品fc2| 久久久久久久久高潮无码| 日本视频一区二区三区观看| 美丽人妻在夫前被黑人| 奇米狠狠色| av男人操美女一区二区三区| 可以免费看亚洲av的网站| 国产精品美女久久久久| 亚洲AV无码国产精品久久l| 亚洲一区二区三区在线视频| 亚洲国产成人久久三区| 99国产精品99久久久久久| 黑丝国产精品一区二区| 亚洲精品乱码久久久久久| 国产在线无码制服丝袜无码| 久久久调教亚洲| 精品亚洲一区二区三区四区五| 中文字幕久久精品一二三区 |