張合新,王 強(qiáng),宋 睿

(火箭軍工程大學(xué) 控制工程系，西安 710025)

激光圖像融合算法

張合新,王 強(qiáng),宋 睿

(火箭軍工程大學(xué) 控制工程系，西安 710025)

為了有效提高激光強(qiáng)度圖像的質(zhì)量，使其能夠更好地與其他多源圖像匹配，提出了一種激光強(qiáng)度圖像與距離圖像融合的方法。該方法首先分析了激光強(qiáng)度圖像與距離圖像不同類型像素點(diǎn)之間局部統(tǒng)計(jì)信息的差異，然后利用Ostu算法和模糊最小誤差閾值算法求出強(qiáng)度像和距離像的局部統(tǒng)計(jì)信息的全局閾值和最佳閾值，最后將這些閾值作為融合參數(shù)，按照一定的融合規(guī)則，將強(qiáng)度像與距離像進(jìn)行融合。仿真實(shí)驗(yàn)表明：與單純的濾波算法相比，該融合算法在控制激光散斑噪聲的同時(shí)，通過融合不同源圖像的互補(bǔ)信息，達(dá)到提高激光強(qiáng)度圖像的各方面性能的目的。

圖像融合；全局閾值；最佳閾值；互補(bǔ)信息

0 引言

與紅外、可見光等成像方式相比，激光成像的一個(gè)顯著優(yōu)勢就是能夠一次性獲取到目標(biāo)的強(qiáng)度像、距離像、速度、距離等多種信息[1]。但是與那些發(fā)展比較成熟的成像方式相比，激光主動(dòng)成像自身也有很多不足。其中，成像質(zhì)量不高，易受散斑噪聲的影響是抑制其實(shí)際應(yīng)用的兩個(gè)主要因素。激光圖像的噪聲抑制已經(jīng)有很多比較成熟的濾波算法。

對于如何改進(jìn)激光成像圖像的質(zhì)量，一般而言有兩條途徑。一是改善激光成像系統(tǒng)的硬件條件。從21世紀(jì)初，王琪院士帶頭研制的CO2激光相干成像雷達(dá)系統(tǒng)，到近幾年孫秀東等以YAG激光器為光源研制的激光成像雷達(dá)系統(tǒng)，經(jīng)過幾十年的發(fā)展，激光成像系統(tǒng)的硬件條件已經(jīng)有了很大的改善。二是從激光主動(dòng)成像的理論方面進(jìn)行了深入研究。就目前而言，圖像融合是改善激光圖像質(zhì)量的一種比較好的方法。而現(xiàn)在比較成熟的圖像融合算法一般都是像素級的融合。本文提出了一種基于激光圖像局部統(tǒng)計(jì)信息的圖像融合算法。實(shí)驗(yàn)結(jié)果表明，該算法能不僅夠有效控制激光圖像的散斑噪聲，還能提高圖像的清晰度等圖像性能。

1 圖像融合

圖像融合是指將同一對象、不同來源的圖像進(jìn)行空間配準(zhǔn)，將其中的優(yōu)勢信息或者互補(bǔ)信息有機(jī)結(jié)合的一種圖像處理技術(shù)。融合后的圖像信息更豐富、誤差更小，能夠更充分利用不同信息源提供的信息。

1.1 融合等級

根據(jù)圖像融合水平的不同通常將圖像融合分為三種不同的等級：像素級、特征級、決策級，這三種融合方法水平逐漸遞增[2]。不同等級融合的特點(diǎn)及優(yōu)缺點(diǎn)如表1所示。

表1 不同等級圖像融合方法對比

從表1可以看出不同等級的融合有不同的側(cè)重點(diǎn)。像素級的融合更加注重對于信息的保留和融合的精度控制，這就勢必造成這種融合方法在容錯(cuò)性、抗干擾性和實(shí)時(shí)性這些方面不夠理想；特征級融合是一種中等程度的融合，這種融合方法在各方面的表現(xiàn)比較均衡；決策級融合是最高等級的融合方法，它從圖像的屬性入手，對圖像的屬性進(jìn)行融合，這種融合方法最大的優(yōu)勢在于容錯(cuò)性、實(shí)時(shí)性好，開放程度高。

1.2 融合方法

對于不同等級的圖像融合，下面列舉一些常用的融合算法[3]，如表2所示。

表2 融合方法

2 融合算法基礎(chǔ)

2.1 局部標(biāo)準(zhǔn)差

局部標(biāo)準(zhǔn)差用于反映圖像局部對比度的變化。對于d×d大小的窗口，局部標(biāo)準(zhǔn)差公式如下所示

(1)

(2)

2.2 梯度圖像

圖像的梯度既包含方向又包含大小。一般用梯度的幅度就能表現(xiàn)出鄰域內(nèi)灰度的變化。

Sobel梯度算子以像素點(diǎn)為中心的3×3鄰域做灰度加權(quán)運(yùn)算，其定義為

(3)

其中，fx和fy分別是在水平方向和垂直方向上的梯度值。所有像素點(diǎn)的梯度值就組成了一個(gè)梯度圖像G。

2.3 Ostu算法求全局閾值[6-8]

首先應(yīng)用式(3)和式(4)求取圖像的局部標(biāo)準(zhǔn)差和Sobel算子的梯度值，再應(yīng)用Ostu算法求得整幅圖像的全局閾值T，根據(jù)全局閾值T可將整幅圖像分為灰度平坦區(qū)和灰度突變區(qū)。

Ostu算法的基本思想為：設(shè)閾值T將其對應(yīng)原圖的灰度分為2組，一組對應(yīng)灰度值變化不大的區(qū)域，一組對應(yīng)灰度變化較大的區(qū)域。則這2組組內(nèi)方差最小，組間方差最大。

組內(nèi)方差為

(4)

組間方差為

(5)

(6)

Ostu算法考慮的是整幅圖像的灰度分布情況，正是分離圖像信息所需要的。

2.4 模糊最小誤差閾值算法[8-11]

把像素灰度突變點(diǎn)分離為邊緣點(diǎn)和噪聲點(diǎn)是本文算法實(shí)現(xiàn)的關(guān)鍵所在，這里提出一種模糊最小誤差閾值算法。把V2分成噪聲點(diǎn)區(qū)域V21和邊緣點(diǎn)區(qū)域V22。V21的隸屬函數(shù)μ21=(k;a,b)、V22的隸屬函數(shù)μ22=(k;a,b)，分別表示圖像局部統(tǒng)計(jì)參數(shù)k對V21和V22的隸屬程度，即是每個(gè)局部統(tǒng)計(jì)參數(shù)對應(yīng)的像素點(diǎn)被劃為噪聲點(diǎn)和邊緣點(diǎn)的概率，分別為：P21和P22。μ12(k;a,b)為S型函數(shù)，μ22(k;a,b)為Z型函數(shù)，具體形式如下：

(7)

μ22(k;a,b)=1-μ12(k;a,b)

(8)

(9)

(10)

(11)

(12)

定義誤差函數(shù)J(a,b)定義為

J(a,b)= 1+2[Pe(a,b)logσe(a,b)+

Ps(a,b)logσs(a,b)]-

2[Pe(a,b)logPe(a,b)+

Ps(a,b)logPs(a,b)]

(13)

尋找參數(shù)(a,b)以得到圖像中最佳閾值，選擇最小分類誤差所對應(yīng)的參數(shù)值，即

(14)

代入最小誤差公式，可以得到最優(yōu)的參數(shù)(aopt,bopt)，從而得到最佳的閾值

(15)

3 本文融合算法

3.1 圖像統(tǒng)計(jì)特性分析

激光強(qiáng)度圖像與距離圖像是不同傳感器所成的異源圖像，灰度級相差很多，灰度的表現(xiàn)形式也相差很大。對于像素級的圖像融合肯定是不適用的，所以要側(cè)重在特征級和決策級的圖形融合上考慮[4]。

激光圖像不論是強(qiáng)度像還是距離像都受散斑噪聲的影響，為了研究方便，假設(shè)經(jīng)過濾波處理的圖像具有較高的信噪比。

在假設(shè)噪聲分布符合均勻同概率和獨(dú)立分布的條件下，不同信噪比圖像在3×3鄰域內(nèi)出現(xiàn)噪聲點(diǎn)的個(gè)數(shù)和概率如表3所示。

表3 不同信噪出現(xiàn)比噪聲點(diǎn)點(diǎn)數(shù)及其概率

從表3中可以看出在信噪比低于90%時(shí)出現(xiàn)2個(gè)噪聲的概率還是很大的。本文著重分析的是信噪比不是太低的情況。

在激光強(qiáng)度圖像中，如果某像素點(diǎn)為信號點(diǎn)，在其鄰域內(nèi)肯定存在與此像素點(diǎn)像素值相近的點(diǎn)，那么該點(diǎn)的局部標(biāo)準(zhǔn)差就比較小。我們可以應(yīng)用Ostu算法求取局部標(biāo)準(zhǔn)差的全局閾值T1，將整幅強(qiáng)度圖像分為灰度平坦區(qū)域和灰度突變區(qū)。

灰度突變區(qū)域一般指的是噪聲區(qū)域或者邊緣區(qū)域。這兩者的局部統(tǒng)計(jì)特征比較相近，但是也存在著一定的區(qū)別[5]。在噪聲區(qū)域，因?yàn)樾旁氡炔皇呛艿?，噪聲點(diǎn)較少，所以其鄰域內(nèi)少有與之像素值相似的點(diǎn)，所以局部標(biāo)準(zhǔn)差就很大；在邊緣區(qū)域，因?yàn)檫吘壘哂羞B續(xù)性，鄰域內(nèi)肯定存在幾個(gè)相似的像素點(diǎn)，所以局部標(biāo)準(zhǔn)差就比噪聲點(diǎn)稍低。

局部標(biāo)準(zhǔn)差的稍大與稍小不好把握，在這里只把局部標(biāo)準(zhǔn)差大于模糊最小誤差閾值T2的點(diǎn)定為噪聲點(diǎn)。對于剩下的灰度突變區(qū)的點(diǎn)要結(jié)合距離圖像來判斷。

在強(qiáng)度像中一般只有均質(zhì)區(qū)域會表現(xiàn)為灰度的連續(xù)性，與之不同的是在距離像中同一物體灰度值基本相同。所以在距離像中可以通過其梯度值的大小來判斷像素點(diǎn)屬于信號區(qū)域還是邊緣區(qū)域。

與強(qiáng)度像處理方式相同，再一次利用Ostu算法和模糊最小誤差閾值法求出距離梯度圖像的2個(gè)閾值T3和T4。當(dāng)某點(diǎn)的梯度值很大時(shí)，那么該點(diǎn)肯定為邊緣點(diǎn)，而T4就作為判斷的閾值。如果某點(diǎn)梯度值很小，小于全局閾值T3，那么該點(diǎn)在距離像中為信號點(diǎn)，但是強(qiáng)度像中局部標(biāo)準(zhǔn)差比較大，綜合判斷其在強(qiáng)度像中為噪聲點(diǎn)。對于強(qiáng)度像中局部標(biāo)準(zhǔn)差在T1和T2之間，而且對應(yīng)距離像中梯度值在T3和T4之間的點(diǎn)，結(jié)合強(qiáng)度梯度圖像判斷。

3.2 融合規(guī)則

從前文可知，通過選取不同的閾值可以將像素點(diǎn)劃分為不同的區(qū)域，對于信號點(diǎn)和邊緣點(diǎn)像素，不做任何處理地加以保留。而對于噪聲點(diǎn)用鄰域的8個(gè)像素均值代替[6]。融合規(guī)則如下：

(16)

對于中間點(diǎn)的規(guī)則是：T5是強(qiáng)度梯度圖的最佳閾值，當(dāng)大于T5時(shí)是噪聲點(diǎn)，小于T5是邊緣點(diǎn)。

4 評價(jià)指標(biāo)

圖像融合目的是通過融合不同源圖像之間的優(yōu)勢信息或者互補(bǔ)信息來改善圖像質(zhì)量，增加圖像中包含的信息量。而客觀、準(zhǔn)確的評價(jià)一個(gè)算法，對于改進(jìn)算法或者提出新算法具有特別重要的意義。因此本文采用主、客觀評價(jià)相結(jié)合的方法對本文融合算法做出評價(jià)。

4.1 主觀評價(jià)

主觀評價(jià)一般指的就是從視覺效果上定性地評價(jià)圖像的質(zhì)量。而在視覺效果中比較明顯的兩個(gè)方面是邊緣的展寬和弱邊緣的保護(hù)。邊緣的展寬和弱邊緣的保護(hù)對于圖像后期的應(yīng)用具有很大的影響。

4.2 客觀評價(jià)

設(shè)圖像的大小為M×N，融合后的圖像為F(x,y)，下面列舉了一些常用的評價(jià)標(biāo)準(zhǔn)。

1)均值：灰度的算術(shù)平均值，直觀表現(xiàn)為圖像的亮度。

(17)

標(biāo)準(zhǔn)差：反映了灰度相對于灰度均值的離散情況。

(18)

2)熵：融合圖像熵值表示了圖像包含的信息量，熵值越大，說明融合的效果越好，熵的定義如下。

(19)

其中，p(i)表示灰度值為i的像素?cái)?shù)目Ni與圖像總像素N之比，即：p(i)=Ni/N，其反映了圖像中灰度值為i的像素概率分布，類似于圖像的歸一化直方圖。

3)空間頻率：能夠反映一幅圖像空間域的總體活躍程度，空間頻率越大，說明融合效果越好，其定義如下：

(20)

(21)

(22)

其中，RF表示行頻率，CF表示列頻率。

4)清晰度：用來反映圖像質(zhì)量的改進(jìn)程度、圖像中微小細(xì)節(jié)反差和紋理變化特征。清晰度的提高往往表征圖像的質(zhì)量、細(xì)節(jié)信息和紋理特征的提高和增強(qiáng)。公式表示為

(23)

其中，△xf(i,j)、△yf(i,j)分別是f(i,j)沿x、y方向的差分。

5)散斑指數(shù)：該指標(biāo)用來評價(jià)散斑噪聲的抑制能力，圖像的散斑指數(shù)越小，算法抑制散斑噪聲的能力越好。

(24)

其中，M、N為圖像的維數(shù)，σ(i,j)、μ(i,j)為計(jì)算窗口中元素的標(biāo)準(zhǔn)差和均值。

以上列舉的評價(jià)指標(biāo)是從圖像本身來衡量圖像質(zhì)量的好壞。另外一種圖像評價(jià)方法是從融合后圖像和標(biāo)準(zhǔn)圖像之間的關(guān)系來評價(jià)圖像的質(zhì)量。但是標(biāo)準(zhǔn)圖像往往很難獲取或者是根本不存在，這就極大地限制了這種方法的實(shí)際應(yīng)用。本文用原圖替代標(biāo)準(zhǔn)圖像來獲取圖像的評價(jià)指標(biāo)。常用的一些評價(jià)參數(shù)如下所示。

6)總體交叉熵：表示融合圖像從源圖像提取得到的信息量。

(25)

(26)

7)平均交叉熵MCE和均方根交叉熵RMSCE越小，說明融合圖像從源圖像中提取的信息越多，融合效果越好。

8)互信息：待融合圖像A、B與融合圖像F之間的互信息為：

(27)

(28)

其中，pA、pB、pF分別為圖像A、B與融合圖像F的歸一化灰度直方圖?；バ畔⒃酱螅f明融合圖像從源圖像中提取的信息越多，融合效果也越好。

9)聯(lián)合熵：可以作為3幅圖像之間相關(guān)性的量度，定義如下

(29)

聯(lián)合熵反映了3幅圖像之間的聯(lián)合信息，源圖像與融合圖像之間的聯(lián)合熵越大，融合效果越好。

10)偏差指數(shù)：可以反映融合圖像與源圖像在光譜信息上的匹配程度。如果待融合源圖像為高分辨率圖像A與低分辨率多光譜圖像B，融合圖像F，則融合圖像F與原始多光譜圖像B的偏差指數(shù)為

(30)

偏差指數(shù)越小，說明融合圖像在提高空間分辨率的同時(shí)較好地保留了原始光譜圖像的光譜信息。

5 實(shí)驗(yàn)結(jié)果及分析

與單純的濾波不同，圖像融合技術(shù)在濾除噪聲的同時(shí)，還能結(jié)合不同源圖像之間的互補(bǔ)信息，保護(hù)、強(qiáng)化細(xì)節(jié)、邊緣等敏感信息[12-14]。例如：激光強(qiáng)度像在細(xì)節(jié)方面更加細(xì)致，距離圖像在目標(biāo)的邊緣上更加突出，兩者的融合使得融合后的圖像在細(xì)節(jié)和邊緣這兩方面都能兼顧到。為了對比突出本文融合算法在這方面的優(yōu)勢，接下來將本文算法與單純的濾波算法進(jìn)行比較，用主、客觀評價(jià)方法全面衡量本文融合算法。

在圖1中，(a)、(c)、(d)分別是某地區(qū)激光雷達(dá)下視強(qiáng)度圖像及其梯度像和標(biāo)準(zhǔn)差圖像，(b)、(e)是激光距離圖像和對應(yīng)的距離梯度圖像。根據(jù)融合規(guī)則首先計(jì)算出強(qiáng)度梯度像的最佳閾值和強(qiáng)度標(biāo)準(zhǔn)差圖像、距離梯度的全局閾值和最佳閾值用于決策，分離參數(shù)如表4所示。

表4 分離參數(shù)

(a)激光雷達(dá)強(qiáng)度圖像(b)激光雷達(dá)距離圖像(c)強(qiáng)度圖像的梯度圖像(d)強(qiáng)度圖像的標(biāo)準(zhǔn)差圖像(e)距離圖像的梯度圖像

首先從主觀上對圖像進(jìn)行評價(jià)。從圖2中可以明顯看到除了本文的融合算法，文中提供的幾種濾波算法在濾除散斑噪聲的時(shí)候或多或少都造成了圖像的模糊，導(dǎo)致圖像分辨率的下降，其中Lee濾波對圖像的模糊作用最為明顯。圖像模糊帶來的結(jié)果就是邊緣的展寬、移位和細(xì)節(jié)信息的丟失。所以從主觀上來判斷本文融合算法相對于其他幾種濾波算法具有絕對的優(yōu)勢。

(a)中值濾波(b)Lee濾波(c)加權(quán)平均融合濾波(d)小波融合濾波(e)本文融合算法

其次再對本文融合算法做出一個(gè)客觀的評價(jià)。從表5所列的圖像清晰度參數(shù)中可以看出，本文提出的圖像融合算法能夠小幅提升原圖像的清晰度。從空間頻率上來看，本文算法是幾種算法中對圖像的空間閾活躍程度保持最好的，融合的效果相比另外兩種更加出色。

表5 性能參數(shù)比較

但僅從圖像的本身參數(shù)不能完全說明融合算法的優(yōu)劣，還需要將融合后的圖像與理想圖像進(jìn)行對比[15]，由于理想圖像很難獲取或者說根本不存在，所以就將融合后圖像與原圖像進(jìn)行比對，來評價(jià)本文算法，如表6所示。

表6 融合圖像與原圖之間性能參數(shù)

從表6中可以再次發(fā)現(xiàn)本文算法是一個(gè)表現(xiàn)十分全面的融合算法，不僅濾波效果明顯，而且從原圖中繼承了大部分有用的熵值，較好地保留了原始光譜圖像的光譜信息。

6 結(jié)論

本文提出了一種基于圖像局部統(tǒng)計(jì)特性的激光圖像融合方法。該算法首先分析了激光強(qiáng)度像、距離像中的信息點(diǎn)、噪聲點(diǎn)和邊緣點(diǎn)的局部統(tǒng)計(jì)特性，然后根據(jù)不同類型像素點(diǎn)局部統(tǒng)計(jì)特性之間的區(qū)別，選取合適的閾值作為融合參數(shù)，按照一定的融合規(guī)則將激光強(qiáng)度像與距離像進(jìn)行融合。從實(shí)驗(yàn)結(jié)果可知，該融合算法不僅能有效濾除散斑噪聲，還能有效繼承原始圖像的信息熵，保留原始光譜信息，全面提高激光強(qiáng)度圖像的質(zhì)量。

[1] 張騰飛, 張合新, 孟飛,等. 一種級聯(lián)的激光主動(dòng)成像圖像融合降噪算法[J].激光與紅外, 2015, 45(9):1133-1137.

[2] 楊桄, 童濤, 陸松巖,等. 基于多特征的紅外與可見光圖像融合[J].光學(xué)精密工程, 2014, 22(2):489-496.

[3] 朱煉, 孫楓, 夏芳莉,等. 圖像融合研究綜述[J].傳感器與微系統(tǒng), 2014, 33(2):14-18.

[4] 孟飛.激光成像制導(dǎo)圖像處理與匹配算法研究[D].西安：第二炮兵工程大學(xué)，2011.

[5] Jiang Y, Wang M. Image fusion with morphological component analysis[J].Information Fusion,2014, 18(1):107-118.

[6] Zhang J, Zhang Q. Image fusion algorithm based on wavelet transform[C]//International Conference on Advanced Information Technology and Sensor Application. IEEE Computer Society, 2015:47-50.

[7] 鄧江洪, 趙領(lǐng). 基于小波變換的激光雷達(dá)圖像融合研究[J].激光雜志, 2015， 36(12)：31-34.

[8] 張小利, 李雄飛, 李軍. 融合圖像質(zhì)量評價(jià)指標(biāo)的相關(guān)性分析及性能評估[J].自動(dòng)化學(xué)報(bào), 2014, 40(2):306-315.

[9] 袁衛(wèi). 多傳感器圖像融合系統(tǒng)設(shè)計(jì)[J].激光雜志, 2014,1(10):40-42.

[10] 敬忠良. 圖像融合[M].北京： 高等教育出版社, 2007.

[12] 李奕, 吳小俊. 基于監(jiān)督學(xué)習(xí)的Takagi Sugeno Kang模糊系統(tǒng)圖像融合方法研究[J].電子與信息學(xué)報(bào), 2014,36(5):1126-1132.

[13] Balasubramaniam P, Ananthi V P. Image fusion using intuitionistic fuzzy sets[J].Information Fusion, 2014, 20(1):36-47.

[14] 陳磊, 楊風(fēng)暴, 王志社,等. 特征級與像素級相混合的SAR與可見光圖像融合[J].光電工程, 2014,41(3):55-60.

[15] 于坤林, 謝志宇, 原振文. 改進(jìn)的小波圖像融合算法及應(yīng)用研究[J].計(jì)算機(jī)與數(shù)字工程, 2014, 42(4):592-595.

[16] 張蕾, 金龍旭, 韓雙麗,等. 采用非采樣Contourlet變換與區(qū)域分類的紅外和可見光圖像融合[J].光學(xué)精密工程, 2015, 23(3):810-818.

Laser Image Fusion Algorithm

ZHANG He-xin, WANG Qiang, SONG Rui

(Department of Automation , Rocket Force University of Engineering, Xi’an 710025, China)

In order to improve the quality of the laser intensity image effectively, to match with other multi-source images better. A laser intensity image and distance image fusion method is proposed. The method begins with an analysis of the local statistical information differences between the different types of pixels of the laser intensity image and distance image, and then calculate the local statistical information global threshold and the optimal threshold value of the intensity image and distance image by Ostu algorithm and fuzzy minimum error thresholding algorithm, and these thresholds will as image fusion parameters.Finally, according to some designated fusion rules, the intensity image and range image are fusioned. Simulation results show that compared with filtering algorithms , the fusion algorithm not only control of the laser speckle noise effectivly, but also can be to improve laser intensity image performance.

Image fusion； Global threshold；Optimal threshold value；Complementary information

10.19306/j.cnki.2095-8110.2016.06.010

2016-06-13；

2016-07-18。

國家自然科學(xué)基金(61203189)

張合新(1967 - )，男，教授，博士生導(dǎo)師，主要從事控制科學(xué)與工程方面的研究。

TN751

A

2095-8110(2016)06-0050-07