董琰彪，陳春曉，李杰

(南京航空航天大學(xué)生物醫(yī)學(xué)工程系，南京 211106)

1 引 言

多光譜術(shù)中引導(dǎo)技術(shù)能夠輔助醫(yī)生精確定位腫瘤[1]。近紅外圖像可以反映腫瘤大小、輪廓等信息，但難以判斷腫瘤精確位置；彩色圖像可以反映腫瘤位置、重要組織等信息。兩者融合可以為腫瘤的辨別提供更為全面的判斷依據(jù)。彩色與近紅外融合技術(shù)已廣泛應(yīng)用于醫(yī)療成像、航空導(dǎo)航等領(lǐng)域[2-3]。

拉普拉斯金字塔作為多尺度融合方法[4-5]，常用于可見光與近紅外圖像融合。Paris等[6]采用拉普拉斯金字塔進(jìn)行圖像模糊、邊界調(diào)整等處理，但速度較慢。盡管Paris通過限制層數(shù)來提高效率，但融合質(zhì)量明顯降低。Do等[7]為去除噪聲影響，提出基于廣義偽逆的拉普拉斯重構(gòu)算法，該方法在去噪的同時(shí)會(huì)模糊圖像。為提高運(yùn)算效率，邵靖凱等[8]對(duì)不同失焦程度的圖像采用并行優(yōu)化的拉普拉斯金字塔算法，有效增強(qiáng)了圖像的細(xì)節(jié)；張紹良等[9]結(jié)合中值濾波和邊緣增強(qiáng)算法對(duì)圖像進(jìn)行預(yù)處理，并釆用拉普拉斯金字塔算法進(jìn)行融合，保留邊界輪廓的同時(shí)，去除了噪聲的干擾，但該方法應(yīng)用于術(shù)中腫瘤邊緣的精確識(shí)別仍存在一定問題。

為了精確切除腫瘤，需要將其從正常組織中區(qū)分。因此，本研究采用彩色圖像綠色通道與近紅外圖像進(jìn)行融合；同時(shí)，利用圖像分割、邊緣強(qiáng)度最大及GPU技術(shù)有效去除背景、增強(qiáng)腫瘤輪廓并提高運(yùn)算速度。

2 拉普拉斯金字塔融合方法

拉普拉斯金字塔融合算法能夠處理不同頻率信息，步驟如下：

(1)通過原始圖像構(gòu)造高斯金字塔。圖像Gi由前一層圖像Gi-1經(jīng)過5×5高斯內(nèi)核卷積并去除偶數(shù)行與列后重組得到：

Gi=pyrDown(Gi-1)

(1)

(2)

(3)融合圖像由各層圖像Li分別融合，并向上重構(gòu)獲得。

3 改進(jìn)的拉普拉斯金字塔融合方法

3.1 多光譜術(shù)中引導(dǎo)系統(tǒng)

多光譜術(shù)中引導(dǎo)系統(tǒng)由熒光示蹤劑、近紅外光源、相機(jī)及圖像處理模塊組成(見圖1)。本研究采用ICG作為熒光示蹤劑，該試劑與血清蛋白集合后，在近紅外光的照射下能夠發(fā)出穿透能力較強(qiáng)的熒光。通過AD-080GE相機(jī)采集可見光與熒光圖像。

圖1 多光譜硬件系統(tǒng)

3.2 基于綠色通道的金字塔融合改進(jìn)方法

缺少了色彩信息，近紅外圖像難以精確判別腫瘤在正常組織中的邊界及位置。將近紅外圖像與彩色圖像進(jìn)行融合可以解決上述問題。為此，本研究提出了改進(jìn)的拉普拉斯金字塔圖像快速融合算法(見圖2)。

圖2 多光譜圖像處理流程

3.2.1腫瘤色彩標(biāo)記 本研究利用近紅外圖像對(duì)彩色圖像中的腫瘤進(jìn)行色彩標(biāo)記與增強(qiáng)。彩色圖像[R,G,B]由三通道組成。人體組織存在大量紅色信息；與藍(lán)色相比，人眼對(duì)于綠色具有較高敏感性。本研究采用綠色通道與近紅外圖像通過改進(jìn)的拉普拉斯金字塔進(jìn)行分解與融合。將綠色通道融合圖像G′與原始紅、藍(lán)通道重組，得到目標(biāo)圖像[R,G′,B]。結(jié)果圖像中的腫瘤將被標(biāo)記為綠色。

3.2.2腫瘤區(qū)域融合 逐層融合過程中，每層圖像包含的腫瘤信息不同，因此，需要采用不同的融合方法。本研究將金字塔圖像分為兩個(gè)部分：頂層圖像與非頂層圖像。融合規(guī)則如下：

(1)非頂層圖像包含原始數(shù)據(jù)在不同尺度下的高頻分量信息，如腫瘤邊緣。非頂層圖像融合規(guī)則參考邊緣強(qiáng)度最大算法，按公式(3)計(jì)算單個(gè)像素點(diǎn)的判斷系數(shù)。

Pi,j=abs(N(i,j))-abs(V(i,j))

(3)

N為近紅外拉普拉斯圖像，V為綠色通道拉普拉斯圖像，Pi,j為(i,j)坐標(biāo)像素點(diǎn)的判斷系數(shù)。對(duì)于圖像任意坐標(biāo)(i,j)都有：

(4)

F為融合圖像，k為邊緣細(xì)節(jié)增強(qiáng)系數(shù)。k值通過增強(qiáng)不同尺度高頻信息像素值來調(diào)整腫瘤邊界亮度。

(2)頂層近紅外圖像由于其激發(fā)與檢測(cè)波段較為接近，背景中包含大量非腫瘤信息。圖像分割技術(shù)能夠有效提取目標(biāo)。

本研究利用Canny算子提取腫瘤邊緣，利用形態(tài)學(xué)方法對(duì)邊緣圖像進(jìn)行閉運(yùn)算以連接斷點(diǎn)，并進(jìn)行孔洞填充操作，最后與原始頂層近紅外圖像相乘，得到目標(biāo)腫瘤圖像。

3.2.3CUDA并行化 為提高速度，本研究利用CUDA編程模型，將圖像處理放置在GPU端運(yùn)行。每個(gè)像素分配一個(gè)線程，同時(shí)將圖像分為16×16像素大小的模塊，每個(gè)模塊對(duì)應(yīng)一個(gè)線程塊。CPU與GPU之間通過函數(shù)調(diào)用和數(shù)據(jù)傳輸相互連接，見圖3。該模型可以提高本研究算法的運(yùn)算速度。

圖3 并行計(jì)算結(jié)構(gòu)

4 實(shí)驗(yàn)結(jié)果與討論

4.1 實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)一：為驗(yàn)證算法性能，本研究設(shè)計(jì)了ICG熒光試劑體外實(shí)驗(yàn)，流程如下：

(1)利用ICG與人體血清配置熒光試劑。

(2)利用多光譜成像系統(tǒng)觀察熒光試劑。

ICG結(jié)果見圖4。試劑產(chǎn)生的熒光信息記錄在近紅外圖像中。此外，圖像還記錄了重影、噪聲以及激發(fā)光等無關(guān)信息。結(jié)果表明：本研究提出的算法可有效抑制上述干擾，提高了融合質(zhì)量。

圖4 熒光試劑融合結(jié)果

實(shí)驗(yàn)二：為驗(yàn)證實(shí)際腫瘤處理效果，本研究設(shè)計(jì)了小鼠實(shí)驗(yàn)，流程如下：

(1)選取體重約20 g的腫瘤小鼠，深度麻醉。

(2)注射ICG試劑。

(3)腹部脫毛后，手術(shù)切開組織，利用多光譜成像系統(tǒng)觀察腫瘤，見圖5。

圖5 小鼠實(shí)驗(yàn)

與基于閾值的融合方法相比，本研究方法能夠體現(xiàn)低亮度值的腫瘤細(xì)節(jié)，展示更多細(xì)節(jié)信息。

4.2 融合評(píng)價(jià)指標(biāo)

本研究通過五種方法進(jìn)行評(píng)估：均值、信息熵、標(biāo)準(zhǔn)差、SSIM及平均梯度。均值可以體現(xiàn)圖像的可感知程度；信息熵與標(biāo)準(zhǔn)差能夠反映圖像包含信息的豐富程度[10]；平均梯度可以反映邊界的清晰程度[11]；SSIM值則反映了融合圖像與原圖的相似度[12]，公式如下：

SSIM(X，F(xiàn))=[l(X，F(xiàn))]α×[c(X，F(xiàn))]β×[s(X，F(xiàn))]γ

(5)

X為融合前的圖像，F(xiàn)為融合圖像，α、β、γ為非零系數(shù)，l(X，F(xiàn))、c(X，F(xiàn))、s(X，F(xiàn))分別為亮度失真、對(duì)比度失真和結(jié)構(gòu)畸變函數(shù)。融合圖像與近紅外、彩色圖像之間的SSIM定義為：

SSIM(N，C，F(xiàn))=tSSIM(N，F(xiàn))+(1-t)SSIM(C，F(xiàn))

(6)

N為近紅外圖像，C為彩色圖像,t為加權(quán)系數(shù)。

4.3 融合效果評(píng)價(jià)

非頂層圖像處理過程中，公式(4)系數(shù)k的取值將直接影響融合質(zhì)量。圖7顯示了小鼠彩色、近紅外、頂層融合圖像及非頂層融合圖像在不同增強(qiáng)系數(shù)下的融合效果。圖6顯示了k值對(duì)腫瘤中心亮度的影響。當(dāng)k超過2.6后，增強(qiáng)效果不再明顯，同時(shí)還會(huì)產(chǎn)生大量噪聲。k=2.6時(shí)，融合效果最佳。

針對(duì)熒光標(biāo)記腫瘤圖像，本研究采用低通比率金字塔(RP)[13]、雙樹復(fù)小波變換(DTCWT)[14]、曲波變換(CVT)[15]以及非下采樣輪廓波變換(NSCT)[16]算法，分別對(duì)圖像進(jìn)行融合。各算法性能指標(biāo)見表1。綜合比較發(fā)現(xiàn)，本研究方法能夠反映更多的腫瘤信息，具有更好的融合效果。

圖6腫瘤中心區(qū)域亮度均值

Fig6Meanluminanceoftumorcenterregion

圖7 細(xì)節(jié)增強(qiáng)

Table 1 Fusion index

4.4 融合速度評(píng)價(jià)

本研究在Matlab環(huán)境下，對(duì)熒光標(biāo)記腫瘤圖像不同融合方法速度進(jìn)行測(cè)試，見表2。

表2融合效率比較

Table 2 Fusion efficiency comparison

為保證視頻流暢，處理間隔應(yīng)在33 ms以下。本研究通過C環(huán)境，分別在CPU與GPU端對(duì)拉普拉斯金字塔下采樣函數(shù)及程序整體運(yùn)算速度進(jìn)行比較。表3顯示，利用GPU將圖像處理并行化，能夠提升運(yùn)算速度。

表3CPU與GPU處理速度比較

Table 3 Comparison of processing speed between CPU and GPU

5 結(jié)論

本研究算法對(duì)腫瘤的切除率及復(fù)發(fā)率具有較大影響。通過基于GPU的拉普拉斯金字塔快速融合算法對(duì)圖像進(jìn)行多尺度融合，并將包含腫瘤細(xì)節(jié)的非頂層近紅外圖像進(jìn)行強(qiáng)化處理，從而在融合圖像中標(biāo)記并區(qū)分腫瘤；對(duì)頂層近紅外圖像的分割可以去除背景、重影等非腫瘤信息。該算法具有運(yùn)算速度快，邊界清晰等優(yōu)點(diǎn)，可以幫助醫(yī)生準(zhǔn)確辨別腫瘤與健康組織，并精準(zhǔn)切除腫瘤。當(dāng)近紅外圖像噪聲、環(huán)境干擾較為明顯時(shí)，融合效果將受到影響。因此，本文方法主要適用于手術(shù)環(huán)境下，熒光標(biāo)記的多光譜腫瘤檢測(cè)與處理等方面。