趙 擂

(河南理工大學(xué)，河南 焦作 454003)

1 引言

多聚焦圖像融合作為圖像融合的一個重要分支，已經(jīng)廣泛的應(yīng)用在目標(biāo)識別、數(shù)碼相機和機器視覺等領(lǐng)域。但實際應(yīng)用中，大多數(shù)光學(xué)鏡頭無法使同一場景多個目標(biāo)都在同一聚焦區(qū)域，這種情況就導(dǎo)致圖像出現(xiàn)模糊。因此如何對多聚焦圖像中相鄰像素圖層進行有效融合，使結(jié)果更為清晰成為現(xiàn)階段的關(guān)鍵研究課題。

針對上述問題，國內(nèi)外學(xué)者進行了一系列研究，提出以下幾種解決方案。文獻[1]首先根據(jù)圖層和三角網(wǎng)模型拓撲結(jié)構(gòu)，估計子圖層的特征差異，選擇不同參數(shù)與約束條件并分層提取圖層幾何、圖層語義數(shù)據(jù)，構(gòu)造兩種類型不同的圖層，最后通過緩沖區(qū)方法對提取出的語義數(shù)據(jù)和幾何信息完成融合。但該方法在選擇圖層參數(shù)的過程中，需要反復(fù)試驗參數(shù)的比值，存在時間開銷大。文獻[2]提出了一種基于多尺度分解和顯著性區(qū)域提取的多聚焦圖像圖層融合算法，首先使用邊緣保持下圖像平滑算法，建造一個多尺度圖像分解框架，把圖像分割為不同大小的基礎(chǔ)層圖像和若干細節(jié)層圖像，同時引入導(dǎo)向濾波器，對所有分解圖層進行顯著性區(qū)域提取。最后通過加權(quán)重建進行信息融合，從而達到任務(wù)目的。但該方法的過程較為繁瑣，導(dǎo)致融合圖層的過程較為緩慢。文獻[3]提出一種基于小波變換的圖層融合算法。首先將圖像進行分割，使用小波多變特性保持相鄰像素間的空間信息，再使用小波圖層融合算法融合其圖層。上述方法中存在一定弊端，因多聚焦圖像在分割時，很容易受到外界影響，導(dǎo)致分割不準(zhǔn)確，從而使圖層在進行融合時出現(xiàn)融合不完整的現(xiàn)象。

針對上述問題，提出了視覺傳達下多聚焦圖像相鄰像素圖層融合方法，使用高階統(tǒng)計量算法對目標(biāo)圖像進行去噪處理，通過二維飛控?zé)o縫融合技術(shù)，對多聚焦圖像相鄰像素圖層進行融合。實驗證明該方法具有一定的優(yōu)越性。

2 多聚焦圖像相鄰像素圖層融合的實現(xiàn)

2.1 高階統(tǒng)計量去噪

目前使用最多的多聚焦圖像平滑方法為中值濾波法與加權(quán)平均法等。對于二維的多聚焦圖像[4]來說，將一種活動窗口沿著圖像的邊緣進行移動就是中值濾波法，用窗口里所有像素灰度值的中值代替窗口中心位置的相鄰像素灰度。考慮到多聚焦圖像在二維方向上都包含相關(guān)性，所以，活動窗口大多使用二維窗口(5*5、6*6或8*8等)。窗口的形態(tài)常見的有十字形、圓形、X字形和正方形等。

設(shè)f(x，y)代表待處理的圖像，g(x，y)代表處理后的圖像，那么加權(quán)平均法圖像處理的代表式能夠表達為

(1)

式中，h(m，n)代表加權(quán)平均系數(shù)矩陣，A為相鄰像素點中的一個區(qū)域，這種去噪方法中，h(m，n)平滑的作用越大，矩陣中心的元素值占據(jù)就越小，但是其帶來的副作用也很大，比如圖像模糊。同時h(m，n)的作用域越大，多聚焦圖像就越模糊，平滑的效果就越強。

為了最大限度的平滑多聚焦圖像的噪聲[5]，并且保留細節(jié)，差值濾波算法首先設(shè)定了一個以某個點為中心的4*4的圖像窗口，并把其分割成46°、157°與水平垂直4個方向上的7個4*4矩陣，經(jīng)過計算矩陣對角線之間水文梯度絕對值總和，并且對比其尺寸，通過該方法來檢測此點周圍邊緣的細節(jié)分布狀態(tài)，然后在利用邊緣細節(jié)中的梯度絕對值之和，利用其中最小6個點的均衡值，對此點的灰度值進行替換，就能夠更好的保護多聚焦圖像中的細節(jié)位置聲并進行濾波多聚焦圖像去噪。

此方法在滑動窗口中相鄰像素的灰度排序基礎(chǔ)上，使用任意數(shù)值替換窗口的中心像素的灰度值，但忽略了圖像邊緣細節(jié)中額值濾波；同樣，也不同于是利用鄰域內(nèi)的各種像素灰度加權(quán)平均值進行替代中心像素初始的灰度值[6]，該方法雖然能夠保護多聚焦圖像的細節(jié)，不過同時也削弱圖像對噪聲平滑作用的加權(quán)平均濾波，說明起始圖像中其細節(jié)信息較少的那一部分的梯度絕對值總和值，是比較小的。由于其噪聲的疊加，其梯度絕對值的總和值有可能變得較大，會錯誤的以為，包含較多的細節(jié)信息，從而能夠降低對噪聲的平滑效果，并且多聚焦圖像的細節(jié)也會出現(xiàn)較大的丟失情況。

針對上述的問題，利用高階統(tǒng)計量去噪方法，是對多聚焦圖像進行去噪。其具體的流程如下。

以c表示累積量，m代表矩，那么k階矩與k階累積量分別是k-1個單獨變元的函數(shù)，記為mk(τ1，τ2，…，τk-1)與ck(τ1，τ2，…，τk-1)，稱隨機變量{x(n)，x(n+τ1)，…，x(n+τk-1)}的k階聯(lián)合矩與k階累積量。各階矩的表達公式為

m1=E[x(k)]

(2)

m2(τ1)=E[x(k)x(k+τ1)]

(3)

m3(τ1，τ2)=E[x(k)x(k+τ1)x(k+τ2)]

(4)

各階累積量為

c1=m1=E[x(k)]

(5)

=E{[x(k)-m1][x(k+τ1)-m1]}

…

(6)

c3(τ1，τ2)

=E{[x(k)-m1][x(k+τ1)-m1][x(k+τ2)-m1]}

…

(7)

對于平穩(wěn)高斯隨機過程，有

ck(τ1，τ2，…，τk-1)=1

(8)

若k≥3，則通過式(7)可知，當(dāng)圖像中的疊加噪聲是高斯噪聲[7]時，三階之上的累積量值為零，因此，在進行累積量計算時，不會受到噪聲的干擾。

設(shè)尺寸為m×n的多聚焦圖像為f(x，y){x=0，1，2，…，M-1;y=0，1，2，…，N-1}對某個相鄰的像素點(x，y)，要先得到一個包圍此點的3*3窗口，然后再把該窗口進行分割成6個3*3的重疊子窗口，接著分別計算6個子窗口的三階累積量c31，c32，c33，c34，其中c的尺寸就應(yīng)征了此子窗口內(nèi)的多聚焦圖像細節(jié)豐富程度，最終通過最小的子窗口中5個點來作為相鄰像素值的平均值(x，y)點，這樣，就能夠很好的對疊加在多聚焦圖像上的噪聲進行消除和衰減，還可以保留較多的細節(jié)。

2.2 二維飛控相鄰像素圖層無縫融合

在上述多聚焦圖像平滑去噪的基礎(chǔ)上，將處理結(jié)果輸入到二維飛控圖層無縫融合中。通過最大子圖分離方法，分離二維視景圖層[8]，在基于以上的最大子圖層平滑方法，融合二維視景無縫圖層[9]。

通過使用最大子圖層平滑的二維視景模型，可以獲得較為穩(wěn)態(tài)時的最大子圖層平滑二維視景的無縫融合量為

(9)

式中，LSRm代表最大子圖層平滑的二維飛控視景的無縫融合量。

其總合最大子圖層平滑的二維飛控視景數(shù)據(jù)利用率，進一步能夠獲取最大子圖層平滑視景數(shù)據(jù)的處理請求量，如式(10)所示

(10)

式中，ISRm代表最大子圖層平滑的二維飛控視景數(shù)據(jù)處理請求量。

在獲得整幅的最大子圖層平滑的二維飛控視景無縫融合任務(wù)量時，同時也是該模型的另外一種融合目標(biāo)，在針對偏離平滑曲線的視景仿真點上，使用序列方法將其進行矯正，計算方法如式(11)所示

(11)

將最大子圖層的二維飛控視視景融合問題，進行替換成一個多目標(biāo)的優(yōu)化模型，尋找出最優(yōu)質(zhì)的分配幾率pim，從而得到最小化的二維飛控視景融合響應(yīng)。與此同時，依據(jù)最大子圖層平滑的二維飛控視景服務(wù)，對其計算出最大化的平均無縫融合量Itotal，公式表示為

(12)

(13)

最后通過上述平滑后的圖層進行組合，從而達到整幅多聚焦圖像的連慣性無縫圖層融合的結(jié)果。

3 融合質(zhì)量的評判

融合圖層的質(zhì)量評測，是一種較為復(fù)雜的問題，也是相鄰像素圖層融合的一項重要步驟。融合圖層質(zhì)量測評方法通常能夠分為兩種：一種是主觀測評法，即目視測評方法；另一種是客觀測評法。

3.1 融合圖層質(zhì)量的主觀測評法

主觀測評法就是根據(jù)人眼對融合圖層的質(zhì)量進行主觀測評的方法。比如，能夠使觀察者對利用不同融合方法得到的融合圖層中指定目標(biāo)進行識別，測量出識別時間，并計算出識別的正確率等，從而判斷出圖層融合方法性能的優(yōu)劣與融合圖層質(zhì)量的好壞。主觀測評法含有簡單、直觀的優(yōu)點，對明顯的圖像信息能夠進行方便、快捷的測評。例如在夜視系統(tǒng)開發(fā)計劃中，研究者就是使用主觀測評法來比較兩種假彩色圖層融合方法的優(yōu)劣。因為這套系統(tǒng)的目的是提升飛行員夜視能力的，所以主觀測評法不失為一種最優(yōu)質(zhì)的選擇。

3.2 融合圖層質(zhì)量的客觀評測法

融合圖層質(zhì)量測評離不開視覺測評。但是，圖像的視覺質(zhì)量主要在于觀察者，含有主觀性強、可重復(fù)性和片面等缺點。并且在觀測條件產(chǎn)生變化時，測評的結(jié)果有可能出現(xiàn)偏差。因此，需要和客觀的定量測評標(biāo)準(zhǔn)相結(jié)合進行綜合測評，就是對融合圖層質(zhì)量在目視主觀測評的基礎(chǔ)上，進行客觀定量測評。該方法使用了均值[10]、信息熵、清晰度與標(biāo)準(zhǔn)差當(dāng)做質(zhì)量測評參數(shù)。

1)標(biāo)準(zhǔn)差σ

設(shè)圖層為Z，圖層函數(shù)為Z(x，y)圖層的列數(shù)與行數(shù)分別是N與M，那么圖層的尺寸為M×N，L代表圖層總的灰度級。圖層的標(biāo)準(zhǔn)差σ定義為

(14)

(15)

標(biāo)準(zhǔn)差映射了圖層灰度對應(yīng)灰度平均值的離散狀態(tài)。其在一定的程度中，標(biāo)準(zhǔn)差也可以對測評圖像反差的大小進行測評。如果標(biāo)準(zhǔn)差較大，所以說明圖像灰度級的分布就比較分散，反差較大，能夠看到更多的信息；與之相反，標(biāo)準(zhǔn)差小，圖像反差小，對比度不大，色調(diào)較為均衡單一，看不到太多實用的信息。

2)信息熵E

依據(jù)Shannon信息論的原則，待評價圖像的信息熵為：

(16)

式中Pl代表圖層中相鄰像素灰度值為l的幾率。

圖層的熵值代表衡量圖像信息豐富程度的重要標(biāo)準(zhǔn)。根據(jù)信息論理論，如果融合的圖層熵[11]越大，那么，就代表融合圖層的信息量越多，信息越豐富，質(zhì)量越好。

3)均值代表圖像中相鄰像素的灰度值，對人眼反射未平均亮度。

4)圖像的清晰度

圖像的清晰度[12]能夠使用梯度法來衡量，圖像的梯度計算公式為

(17)

式中，ΔIx和ΔIy分別代表垂直方向和水平方向的差分，圖像尺寸為m×n。如果G越大，那么圖像的清晰度就會越大，比較好的融合算法能夠?qū)D像清晰度進行改善。

4 仿真研究

仿真環(huán)境為Intel Celeron Tulatin1GHz CPU和384MB SD內(nèi)存的硬件環(huán)境和MATLAB6.1的軟件環(huán)境。為了驗證本文方法能夠有效融合多聚焦圖像相鄰像素圖層，方法具體流程見圖1。

圖1 本文方法融合流程圖

為了進一步驗證本文方法在實際應(yīng)用中的性能，使用文獻[1]方法、文獻[2]方法和本文方法對比。圖像尺寸為247*247，147級灰度值。其中多聚焦圖處理結(jié)果見圖2。

圖2 原始圖像

通過上述圖像能夠看出，圖3(b)文獻[1]方法在融合完成后，在一定程度上消減了多聚焦圖像的模糊程度，但整體圖像還是略微模糊。圖3(c)文獻[2]方法在融合完成后，清晰的體現(xiàn)出了多聚焦圖像。但其在去噪方面還是較為不足，導(dǎo)致融合后的圖片出現(xiàn)高密度斑點噪聲。圖3(a)為本文方法，在完成融合后，本文方法能夠清晰的體現(xiàn)出多聚焦圖像的特征，并且去噪效果非常完美。

圖3 不同方法融合結(jié)果對比

分析表1可知，相較文獻[1]和文獻[2]方法，本文方法在進行多聚焦圖像相鄰像素圖層融合時，針對偏離平滑曲線的視景仿真點矯正誤差較低，最低誤差率為0.02%，這是由于本文方法采用了序列方法，將最大子圖層的二維飛控視景融合問題，替換成一個多目標(biāo)的優(yōu)化模型，尋找出最優(yōu)質(zhì)的分配幾率，從而實現(xiàn)最小化視景矯正。

表1 偏離平滑曲線的矯正誤差率(單位：%)

分析表2結(jié)果可知，本文方法的時間開銷較短，平均耗時為1.12ms，最少耗時可低至0.83ms，有效提高了圖像融合的實時性。這是由于本文方法通過使用最大子圖層平滑的二維視景模型，無縫融合二維視景，通過無縫融合技術(shù)提高圖像融合效率，減少融合時間開銷。

表2 時間開銷對比(單位：ms)

5 結(jié)論

針對視覺傳達下多聚焦圖像相鄰像素圖層融合中存在的融合后圖像模糊、融合含有高密度斑點噪聲問題，本文利用高階統(tǒng)計量去噪算法和二維飛控?zé)o縫融合技術(shù)對多聚焦圖像進行圖層融合，首先使用高級統(tǒng)計量去噪算法對待處理圖像進行去噪，使得在后續(xù)融合過程中不會受到高密度斑點噪聲的影響，然后使用二維飛控?zé)o縫融合技術(shù)對去噪后的圖層進行平滑融合。仿真證明，本文方法在融合多聚焦圖像相鄰像素圖層方面，有著融合圖像清晰且完整的優(yōu)點。