陳 紓，孟 剛

(1.福州大學(xué)，福建 福州 350100；2.南京工業(yè)大學(xué)，江蘇 南京 211816)

1 引言

視覺傳感網(wǎng)絡(luò)可將多個(gè)攝像機(jī)的圖像數(shù)據(jù)做進(jìn)一步融合，為用戶提供一些高級服務(wù)，使用戶得到感興趣的信息。其與普通傳感網(wǎng)絡(luò)的主要區(qū)別是傳感器采集信息的性質(zhì)與數(shù)量不同[1]。由于采集的圖像需要利用無線傳輸方式進(jìn)行傳輸，在此過程中會(huì)消耗較大能量，而節(jié)點(diǎn)自身資源較為有限，經(jīng)常會(huì)導(dǎo)致圖像破損。因此有關(guān)圖像修復(fù)的內(nèi)容便引起業(yè)內(nèi)相關(guān)人士廣泛關(guān)注。

張小寒[2]等人提出基于平滑度測量和互相關(guān)制約的圖像修復(fù)算法。將圖像的Laplace算子引入到優(yōu)先權(quán)的運(yùn)算過程中，增強(qiáng)圖像邊緣信息，同時(shí)使用置信度與數(shù)據(jù)項(xiàng)構(gòu)建優(yōu)先權(quán)計(jì)算模型，得到優(yōu)先修復(fù)塊；使用等照度線的二階導(dǎo)數(shù)，獲取圖像平滑度；通過誤差平方和函數(shù)尋找最佳匹配塊，并對其唯一性進(jìn)行制約，提高匹配精度。樓幸欣[3]等人提出一種改進(jìn)的基于相似匹配塊組的修復(fù)方法。結(jié)合顏色信息定義匹配準(zhǔn)則，利用相似塊和目標(biāo)塊的匹配程度，確定稀疏系數(shù)權(quán)重，減少紋理模糊；確定不同區(qū)域樣本塊尺寸，避免修復(fù)過程中錯(cuò)誤傳播現(xiàn)象。

但是上述兩種方法需要預(yù)先設(shè)置一系列規(guī)則，導(dǎo)致圖像修復(fù)過程較為復(fù)雜，計(jì)算量大。對此，提出基于互信息的圖像破損數(shù)據(jù)交互方法來達(dá)到圖像修復(fù)目的。互信息屬于信息論中的一種信息度量，可將其看做是隨機(jī)變量中含有的有關(guān)另一個(gè)隨機(jī)變量的信息量。將歸一化互信息取大準(zhǔn)則作為交互的相似度準(zhǔn)則，不但減少計(jì)算量，還可以提高交互效果，增強(qiáng)圖像重構(gòu)后的質(zhì)量，有效提升視覺傳感網(wǎng)絡(luò)的服務(wù)質(zhì)量。

2 多尺度建模與去噪處理

2.1 多尺度建模

1)圖像時(shí)域模型

一般情況下，利用傳感器i獲得的采集圖像Ai和真實(shí)場景圖像S之間的關(guān)系可表示為

Ai=βiS+ai+εi，i=1，2，…，q

(1)

式中，q為傳感器數(shù)量，βi為第i個(gè)傳感器增益，ai為第i個(gè)傳感器存在的誤差，取決于傳感器自身性質(zhì)[4]，εi為第i個(gè)傳感器噪聲情況。

2)像素多尺度域模型

利用矩陣與算子形式表示式(1)，寫作如下所示的基于像素表示的局部圖像時(shí)域模型[5]的標(biāo)量形式

ai(k)=βi(k)s(k)+ai(k)εi(k)，i=1，2，…，q

(2)

式中，k=(xk，yj，m，r)為第m尺度上第r個(gè)像素的位置是(xk，yj)，ai(k)為第i個(gè)傳感器對于k點(diǎn)像素的觀測值，βi(k)為k點(diǎn)增益，s(k)為真實(shí)場景內(nèi)k點(diǎn)像素灰度值，此處的k、j與m均為離散整數(shù)指標(biāo)。

3)圖像的多傳感器矢量模型

對于式(2)表述的模型，與q個(gè)傳感器同樣位置點(diǎn)的各像素值構(gòu)成的矢量表示為

α(k)=β(k)s(k)a(k)+ε(k)

(3)

式中

(4)

(5)

(6)

(7)

上述模型能夠體現(xiàn)出每個(gè)傳感器獲得圖像的互補(bǔ)特性[6]以及傳感器的增益與噪聲特性等信息。

2.2 破損圖像預(yù)處理

由像素多尺度域模型可知從不同傳感器中采集的原始圖像，會(huì)受到設(shè)備或環(huán)境等因素影響存在一定噪聲，影響交互效果。因此在數(shù)據(jù)交互之前，需對圖像做預(yù)處理。本文對非局部均值算法(Non-local means，NLM)進(jìn)行改進(jìn)，提出一種雙邊NLM濾波方法。

傳統(tǒng)的NLM方法，相似性權(quán)重只取決于搜索窗口中全部的灰度距離，降低了權(quán)重計(jì)算的精確度。本文綜合分析當(dāng)前像素位置與周邊像素位置存在的關(guān)聯(lián)，建立非局部鄰域內(nèi)的位置系數(shù)h(pi，pj)

(8)

(9)

式中，f(i′，j′)表示將(i′，j′)作為中心進(jìn)行區(qū)域劃分的區(qū)塊像素值，pi′、pj′表示以i′與j′為中心的像素值。則獲取相鄰區(qū)域距離的加權(quán)表達(dá)式如下

(10)

(11)

(12)

此種去噪方法綜合分析了像素點(diǎn)和附近像素點(diǎn)之間存在的關(guān)聯(lián)，全方位考慮圖像有效像素點(diǎn)，使去噪效果更加突出。

3 基于歸一化互信息的圖像破損數(shù)據(jù)交互

3.1 圖像破損數(shù)據(jù)分布函數(shù)獲取

為更好的提高視覺傳感網(wǎng)絡(luò)圖像破損信息交互效果，需已知破損數(shù)據(jù)結(jié)構(gòu)與紋理區(qū)域。本文利用葉貝斯理論計(jì)算破損數(shù)據(jù)結(jié)構(gòu)與紋理部分稀疏系數(shù)[8]，獲得破損區(qū)域分布函數(shù)的均值與方差，詳細(xì)過程如下。

(13)

(14)

(15)

(16)

(17)

上述表明，在圖像破損數(shù)據(jù)交互過程中，先已知破損數(shù)據(jù)的結(jié)構(gòu)與紋理區(qū)域，通過葉貝斯理論確定這兩個(gè)部分的稀疏系數(shù)，計(jì)算破損區(qū)域分布函數(shù)的平均值與方差，為數(shù)據(jù)交互奠定基礎(chǔ)。

3.2 圖像交互實(shí)現(xiàn)

在獲得圖像破損數(shù)據(jù)分布函數(shù)后，利用不同初始圖像的信息背景，將特征匹配與灰度匹配方式相結(jié)合，即首先獲取特征信息，再使用以歸一化互信息為相似度準(zhǔn)則的匹配方法對破損圖像數(shù)據(jù)進(jìn)行交互。

3.2.1 梯度邊緣提取

對于不同傳感器而言，由于采集環(huán)境的差異會(huì)導(dǎo)致圖像信息不同，而圖像邊緣是最基本特征。邊緣部分指周圍像素灰度存在階躍變化或屋頂變化的像素集合，普遍存在于背景之間、物體和物體之間。不管是哪類圖像傳感器，邊緣是最主要的特征。因此必須利用有效方法提取梯度邊緣特征。

本文利用基于互信息的方法提取圖像邊緣特征，首先需設(shè)定一個(gè)擴(kuò)展結(jié)構(gòu)Q

(18)

式中，*屬于卷積運(yùn)算符號(hào)，Kp代表標(biāo)準(zhǔn)差的二維高斯核，Ix′與Iy′分別代表圖像梯度在x′、y′方向上的分量。針對任意一個(gè)像素點(diǎn)Q做特征分解，獲得兩個(gè)特征矢量w1與w2，以及兩個(gè)特性值u1與u2(u1>u2)。假設(shè)某像素對應(yīng)的兩個(gè)特性值存在較大差異，則判斷該像素點(diǎn)位于圖像邊緣處。

但強(qiáng)邊緣上對應(yīng)點(diǎn)特性值的差值遠(yuǎn)遠(yuǎn)高于弱邊緣上特性值的差值。為忽略差值與邊緣強(qiáng)弱的關(guān)系，針對所有像素，定義一個(gè)參數(shù)c如下

(19)

式中，參數(shù)c為像素在邊緣部分的信息水平，取值為[0，1]。該值越大說明像素處于邊緣的可能性越大，c=1代表此像素一定處于邊緣上，c=0代表不在邊緣上。τ為閾值，能夠避免均質(zhì)區(qū)域內(nèi)像素存在較大的c。τ的大小取決于u1，需要確保存在非零c值的像素占圖像整體像素的一半以下。對于每個(gè)像素而言，獲取對應(yīng)的c值后，即獲得邊緣圖像c。

上述方法不但可以完整提取原圖全部邊緣特征，還能將邊緣擴(kuò)展到周邊區(qū)域，增加可用交互的信息量，為交互效果提供信息保證。

3.2.2 歸一化互信息取大交互

在交互過程中相似度準(zhǔn)則的選取上，利用歸一化互信息取大的準(zhǔn)則，其中進(jìn)行交互的信息即為上述過程中提取的邊緣信息，由于邊緣信息比圖像整體灰度信息量少很多，因此可以提高破損信息交互速度，具體交互過程如下。

假設(shè)兩個(gè)待交互的圖像分別為A與B，它們的熵表示為H(A)與H(B)，聯(lián)合熵記作H(A，B)，則歸一化互信息表示為

(20)

式中

(21)

(22)

(23)

式中，PA(a′)與PB(b′)為A和B的邊緣分布函數(shù)，PAB(a′b′)為A和B聯(lián)合概率分布函數(shù)。

詳細(xì)的數(shù)據(jù)交互過程就是將圖像A當(dāng)作參考圖像，始終保持不動(dòng)，將圖像B做空間轉(zhuǎn)換。針對邊緣圖像A(m′，n′)與B(m′，n′)交互過程就是在相似性測度基礎(chǔ)上，選取確保兩幅圖像相似度達(dá)到最大空間轉(zhuǎn)換關(guān)系的過程。空間變換表達(dá)式為

(24)

式中，T′為空間變換關(guān)系。所以交互過程可表示為

(25)

當(dāng)兩幅破損圖像數(shù)據(jù)達(dá)到最佳交互效果時(shí)，與其對應(yīng)的圖像特征歸一化互信息最大。

由于使用歸一化互信息準(zhǔn)則時(shí)，參與運(yùn)算的信息是提取后的邊緣圖像，在增強(qiáng)交互效果的同時(shí)也提高了計(jì)算量。為解決這一問題，通過金字塔分解方式對整個(gè)交互過程進(jìn)行優(yōu)化。

利用金字塔分解技術(shù)對待交互的圖像進(jìn)行分解，劃分的層數(shù)可根據(jù)具體情況定義，通常分解為三級。也就是將圖像的高與寬都縮小到原來的1/8，此時(shí)頂層金字塔計(jì)算量是原來的1/64，因此大大減少計(jì)算量。優(yōu)化流程如下：

步驟一：選取變換模型，通常分為投影變換、平移、旋轉(zhuǎn)與縮放；

步驟二：將待交互的圖像進(jìn)行金字塔分解，確定最佳分解層數(shù)，獲取待交互的金字塔圖像；

步驟三：對圖像第λ層做空間轉(zhuǎn)換，獲取新的λ層圖像；

步驟四：對金字塔圖像的第λ層根據(jù)上述的梯度邊緣提取方法進(jìn)行處理，得到第λ層圖像的邊緣圖像；

步驟五：對邊緣圖像做歸一化互信息相似度匹配，判斷是否達(dá)到最佳交互效果，如果沒有則重新進(jìn)行步驟三，直到交互效果最優(yōu)為止；

步驟六：接受上一層破損圖形數(shù)據(jù)的交互結(jié)果，若不屬于金字塔0級圖層，則將最佳交互參數(shù)結(jié)果作為引導(dǎo)減少其交互計(jì)算過程，反復(fù)進(jìn)行步驟三到五，直至獲得最終交互參數(shù)；

步驟七：按照最終交互參數(shù)可實(shí)現(xiàn)圖像破損信息交互。

4 仿真結(jié)果分析

為驗(yàn)證所提交互方法的合理性，設(shè)置仿真。仿真環(huán)境如下：

1)軟件環(huán)境：操作系統(tǒng)為Windows 7，編譯環(huán)境時(shí)Visual Studio2010，仿真全過程利用C++語言，并通過OpenCV2.4.2開源庫獲得。其可以跨平臺(tái)操作，同時(shí)提供多種語言接口，實(shí)用性較強(qiáng)。

2)硬件環(huán)境：CPU是intel處理器，主頻為1.8GHz，安裝內(nèi)存為8G。

仿真過程中對破損圖像添加不同類型與參數(shù)的噪聲，然后分別利用文獻(xiàn)[1]、文獻(xiàn)[2]與本文方法對其修復(fù)。結(jié)果如圖1與圖2所示。

圖1 不同方法修護(hù)后的圖像效果

圖2 不同方法修護(hù)效果圖

圖1和圖2是兩幅受損程度不同的圖像，圖1受損情況較為嚴(yán)重，經(jīng)過三種方法修復(fù)后，依舊會(huì)留下修復(fù)痕跡，其中本文所提的破損數(shù)據(jù)交互方法的復(fù)原效果最好，修復(fù)痕跡最不明顯；而圖二更加體現(xiàn)了本文的交互效果，使交互后的圖像看不出任何損壞信息。這是因?yàn)楸疚耐ㄟ^邊緣提取獲得圖像基本特征，提高了交互效果，增強(qiáng)圖像質(zhì)量。

但是一些圖像的修復(fù)效果很難通過人眼進(jìn)行判斷，為此，引入客觀評價(jià)指標(biāo)互信息量對不同方法的圖像修復(fù)效果進(jìn)行評判?；バ畔⒁卜Q為相關(guān)熵，其表達(dá)式如下

(26)

由表1可知，對于不同破損圖像，所提方法交互后的圖像中包含的互信息數(shù)量最多，表明圖像質(zhì)量更高。同時(shí)本文利用金字塔分解方法對交互過程進(jìn)行優(yōu)化，在提高圖像質(zhì)量的同時(shí)減少計(jì)算量。

表1 不同方法互信息量對比

5 結(jié)論

為了對受損圖像進(jìn)行修復(fù)，提出了一種破損數(shù)據(jù)交互方法。通過提取圖像基本特征，將歸一化互信息取大準(zhǔn)則作為交互原則，經(jīng)過金字塔分解算法的優(yōu)化，實(shí)現(xiàn)信息交互。仿真表明，該方法對圖像的修復(fù)效果較好。但是在實(shí)際應(yīng)用過程中，傳感器之間的噪聲通常是獨(dú)立的，需進(jìn)一步改善去噪效果。