殷向

（河南大學(xué)計(jì)算機(jī)與信息工程學(xué)院，開封 475001）

基于超像素分割的多聚焦圖像融合方法

殷向

（河南大學(xué)計(jì)算機(jī)與信息工程學(xué)院，開封 475001）

為了保留多聚焦融合圖像的系數(shù)相關(guān)性，提出一種基于超像素分割的融合方法。首先對(duì)兩幅圖像進(jìn)行平均融合，并進(jìn)行超像素分割，然后把兩幅圖像按照分割后的塊進(jìn)行區(qū)域劃分，針對(duì)不同的分割區(qū)域計(jì)算對(duì)應(yīng)的空間頻率，比較區(qū)域空間頻率的大小并進(jìn)行融合，得到融合結(jié)果圖。經(jīng)過主客觀評(píng)價(jià)發(fā)現(xiàn)，此方法可以得到較好的融合效果，適用性高，可以更好地保留細(xì)節(jié)信息，融合邊緣過渡自然。

圖像融合；超像素分割；多聚焦

0 引言

隨著科技的快速發(fā)展，越來越多的各種類型的傳感器也隨之出現(xiàn)，人們從傳感器中獲得的信息也逐漸增多。在同一場(chǎng)景中，由于傳感器的種類不同，得到的信息也不完全相同，為了把這些信息根據(jù)不同的規(guī)則提取出來，并融合在一起，形成更加準(zhǔn)確全面有效的內(nèi)容，出現(xiàn)了圖像融合技術(shù)。圖像融合技術(shù)應(yīng)用非常廣泛，在醫(yī)學(xué)、遙感科學(xué)、工業(yè)、軍事應(yīng)用的多個(gè)方面都有獨(dú)特的作用。在醫(yī)學(xué)上，利用CT圖像和MRI核磁共振圖像進(jìn)行融合，得到的融合圖像而已為病人的疾病提供更精確的描述；在軍事上，紅外圖像和可見光圖像進(jìn)行融合，得到的融合圖像可以提供被遮擋的目標(biāo)的準(zhǔn)確位置；還有在同一場(chǎng)景把獲取的多個(gè)聚焦目標(biāo)的圖像融合在一起，可以更加清晰的顯示場(chǎng)景中每一個(gè)目標(biāo)，對(duì)圖像的后續(xù)處理有重要的意義。本文就是對(duì)同一場(chǎng)景的多聚焦融合技術(shù)提出了一種新的思路。

目前常見的圖像融合方法主要包括基于空間域的算法和基于變換域的算法?；诳臻g域的算法主要是對(duì)圖像系數(shù)的直接處理，比如圖像系數(shù)加權(quán)法、主要成分分析法（PCA）、基于統(tǒng)計(jì)模型的貝葉斯優(yōu)化融合法、基于人類視覺特性提出的IHS變換等方法、基于人工神經(jīng)網(wǎng)絡(luò)的脈沖耦合神經(jīng)網(wǎng)絡(luò)融合法（PCNN）?；谧儞Q域的算法主要包括基于金字塔變換的融合方法、基于小波變換的融合方法、基于Contourlet變換的融合方法等。這些算法主要是針對(duì)單個(gè)像素或者目標(biāo)像素周圍少量像素形成的融合法則，但是圖像中的系數(shù)大多數(shù)不是孤立存在的，區(qū)域系數(shù)之間都有較強(qiáng)的相關(guān)性。為了能得到融合效果更好過渡更自然的融合圖像，增強(qiáng)融合圖像系數(shù)之間的相關(guān)性，本文提出了一種基于超像素分割的圖像融合方法。

該方法首先將待融合的圖像進(jìn)行超像素分割，分成有較高相關(guān)性和相似度的部分區(qū)域，針對(duì)不同的區(qū)域根據(jù)其空間頻率進(jìn)行融合，得到的融合圖像邊緣更加平滑，信息更加豐富，融合效果更好。

1 融合原理

1.1 超像素分割

超像素是2003年提出的一種圖像分割技術(shù)，主要是把具有相似特征的像素分成一組，形成有一定視覺意義的像素塊，并用像素塊的概念取代像素的概念，以此來表達(dá)圖像的紋理顏色亮度等特征，降低了圖像后處理的復(fù)雜度。目前已經(jīng)廣泛應(yīng)用于圖像分割、目標(biāo)跟蹤、目標(biāo)識(shí)別等領(lǐng)域。

本文采用SLIC（Simple Linear Iterative Clustering,簡單的線性迭代聚類）超像素分割方法對(duì)圖像進(jìn)行分割。它是一種思想簡單、實(shí)現(xiàn)方便、計(jì)算更快、效率更高的分割算法，分割得到的超像素塊緊湊整齊，更有利于后續(xù)的融合。算法實(shí)現(xiàn)步驟如下：

首先將圖像從RGB顏色空間轉(zhuǎn)化成CIELAB顏色空間，對(duì)應(yīng)每個(gè)像素的顏色值（L，a，b）和坐標(biāo)（x,y）組成向量[liaibixiyi]T，兩個(gè)像素的相似性即可用它們之間的距離衡量，距離越小，相似度越高。

假設(shè)圖像共有N個(gè)像素點(diǎn)，預(yù)計(jì)分割成K個(gè)超像素塊，則超像素的大小為N/K，相鄰聚類中心的距離近似為每隔S個(gè)像素取一個(gè)聚類中心。將中心移動(dòng)到與3×3鄰域中最低梯度位置相對(duì)應(yīng)的中心位置，避免將超像素定位在邊緣。

搜索聚類中心2S×2S范圍內(nèi)的像素值，并計(jì)算它與該中心點(diǎn)的距離，距離計(jì)算公式如下：

其中，dc表示顏色距離，ds代表空間距離，NC表示最大顏色距離，一般設(shè)置為常數(shù)，取值范圍[1,40]。由于每個(gè)像素都可能被周圍多個(gè)中心搜索到，因此比較距離D的大小，取最小值對(duì)應(yīng)的中心作為該像素點(diǎn)的聚類中心。

當(dāng)每個(gè)像素都和最近的聚類中心相關(guān)聯(lián)后，把聚類中心調(diào)整為該聚類中所有像素的均值作為新的中心。

多次重復(fù)迭代操作，直到分類結(jié)果基本不發(fā)生改變?yōu)橹?。?shí)踐發(fā)現(xiàn)一般10次迭代后都能得到比較理想的結(jié)果。

圖1為SLIC超像素分割結(jié)果圖。

圖1 Lena原圖和超像素分割后的圖像

1.2 融合過程

（1）首先把待融合圖像A和圖像B平均融合得到圖像C，并對(duì)圖像C進(jìn)行SLIC超像素分割得到分割后的圖像D。

（2）分別對(duì)大小為M×N的圖像A和圖像B按照?qǐng)D像D中分割的區(qū)域進(jìn)行分割，并計(jì)算每一塊區(qū)域的空間頻率?？臻g頻率Rsf計(jì)算公式如下：

其中Sum分割區(qū)域K中的像素的個(gè)數(shù)。

（3）比較圖像A和B中不同區(qū)域的空間頻率，如果A中某區(qū)域的空間頻率大于B中對(duì)應(yīng)區(qū)域的空間頻率，則融合圖像F中該對(duì)應(yīng)區(qū)域取A的點(diǎn)，否則，融合圖像F中該對(duì)應(yīng)區(qū)域取B的點(diǎn)。

其中LFk(x ,y)表示圖像F中區(qū)域K的坐標(biāo)。

融合流程如圖2所示：

圖2 圖像融合流程

2 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證算法的融合效果，本文對(duì)源圖像進(jìn)行了融合，并和基于小波變換（DWT）的融合方法、基于NSCT的融合方法、基于PCA的融合方法進(jìn)行了比較。除了主觀觀察多幅融合圖像的融合質(zhì)量，本文還采用五種融合圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)對(duì)不同的融合圖像進(jìn)行可光的比較，分別是邊緣信息保留值（QAB/F）、互信息（MI：Mutual Information）、信息熵（Entropy）、空間頻率（SFrquency：Spatial Frequency）、平均梯度（AG：Average Gradient）。上述幾個(gè)評(píng)價(jià)標(biāo)準(zhǔn)均是值越大融合效果越好。

圖3 本文算法和多種算法融合結(jié)果圖

表1

通過觀察圖3和表1可以看出，本文算法有比較明顯的優(yōu)勢(shì)，本文算法的結(jié)果圖中細(xì)節(jié)紋理都有比較好的保留，目標(biāo)清晰，圖像融合自然，多個(gè)指標(biāo)的數(shù)值也都名列前茅，既能保留較多的圖像信息，又有較高的清晰度和對(duì)比度。證明了本文算法的優(yōu)異性和魯棒性。

3 結(jié)語

本文針對(duì)多聚焦圖像融合問題，提出了一種基于超像素分割的融合算法。首先把兩幅源圖像簡單融合并進(jìn)行超像素分割，然后按照分割塊大小對(duì)源圖像進(jìn)行分割，得到不同的區(qū)域，并根據(jù)不同的區(qū)域進(jìn)行融合。本文算法得到的結(jié)果圖保留了更多的圖像特征信息，且邊緣過渡效果自然，在主觀分析和客觀評(píng)價(jià)中均有較好的表現(xiàn)。

[1]蔡植善,陳木生.基于小波變換的多聚焦圖像融合方法研究[J].激光與光電子學(xué)進(jìn)展,2015,52（9）：117-121.

[2]周生龍，張濤，蒯多杰等.基于方向區(qū)域的NSCT圖像融合算法[J].激光與紅外,2013,43（2）：204-207.

[3]徐月美.多尺度變換的多聚焦圖像融合算法研究[D].中國，中國礦業(yè)大學(xué)，2012：14-16.

[4]楊粵濤.基于非采樣Contourlet變換的圖像融合[D].中國，中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所，2012：16-20.

[5]宋瑞霞,王孟,王小春.NSCT與邊緣檢測(cè)相結(jié)合的多聚焦圖像融合算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2016,28（12）：2134-2141.

Multi-Focus Image Fusion Algorithm Based on Super-Pixel Segmentation

YIN Xiang
（College of Computer and Information Engineering,Henan University,Kaifeng 475001）

In order to preserve the coefficient correlation of multi-focus fusion images,proposes a fusion method based on super-pixel segmentation.Firstly,fusions two image with average and super-pixel division them,then divides the two images according to the division blocks,according to different segmentation regional calculating corresponding spatial frequency,compares the regional spatial frequency and fusion them,and gets the fusion result.According to the subjective and objective evaluation,this method can get better fusion effect and high applicability.It can better retain details and blend the edge transition nature.

Image Fusion；Super-Pixel Segmentation；Multi-Focus

高分重大專項(xiàng)課題（No.Y4D00100GF）、高分重大專項(xiàng)課題（No.Y4D0100038）

1007-1423（2017）32-0076-04

10.3969/j.issn.1007-1423.2017.32.017

殷向（1990-），男，河南開封人，研究生，研究方向?yàn)榭臻g數(shù)據(jù)處理和圖像處理

2017-08-22

2017-11-10