殷朋宜，王志永

(1.陜西能源職業(yè)技術(shù)學(xué)院，陜西 西安 710613；2.陜西省結(jié)核病防治院(陜西省第五人民醫(yī)院)，陜西 西安 710100)

現(xiàn)代計(jì)算機(jī)的發(fā)展，促進(jìn)了醫(yī)學(xué)影像工程的發(fā)展，也研發(fā)了大量的CT、MRI等成像設(shè)備，為臨床診斷提供了更多的可能性。在臨床實(shí)際使用過(guò)程中，單一模態(tài)圖像無(wú)法為醫(yī)生提供足夠信息，要融合不同模態(tài)的圖像，得出全面信息，對(duì)病變和器官的組織信息進(jìn)行全面掌握，提高診斷精準(zhǔn)性，實(shí)現(xiàn)合適治療方案的制定。為此，對(duì)多模態(tài)醫(yī)學(xué)圖像分析尤為重要。

1 多模態(tài)跨尺度的醫(yī)學(xué)成像

1.1 超分辨單分子成像

疾病發(fā)展早期，生物學(xué)受到DNA、蛋白質(zhì)分子、RNA等亞細(xì)胞結(jié)構(gòu)的影響。對(duì)疾病早期的診斷，通過(guò)超分辨光學(xué)觀察活細(xì)胞水平亞細(xì)胞結(jié)構(gòu)，受激發(fā)射損耗顯微鏡技術(shù)STEM是將激光發(fā)射作為基礎(chǔ)增加空心光束，避免外圍樣品出現(xiàn)損耗等問(wèn)題，使成像的分辨率得到提高。在STED顯微成像的過(guò)程中，要提高熒光探針的光穩(wěn)定性、高效受激輻射率等。稀土上轉(zhuǎn)換發(fā)光納米材料(UCNPs)在980 mm激光照射過(guò)程中會(huì)導(dǎo)致光子雪崩和交叉馳豫等效應(yīng)，從而反轉(zhuǎn)局部。通過(guò)此特質(zhì)，能夠?qū)崿F(xiàn)28 nm的超分辨和低功率成像。

1.2 細(xì)胞成像與跟蹤

生物體基本構(gòu)成的主要單位為細(xì)胞，其輔助疾病的診斷。聚乙烯亞胺(PEI)包覆的NaYF：Yb，Er納米材料能夠有效結(jié)合葉酸，從而實(shí)現(xiàn)交聯(lián)靶向造影劑的創(chuàng)建，開(kāi)展納米材料活細(xì)胞成像。通過(guò)癌細(xì)胞天然細(xì)胞膜創(chuàng)建囊泡修飾納米材料，得到同源靶向能力，對(duì)細(xì)胞成像進(jìn)行跟蹤。人骨髓間充質(zhì)干細(xì)胞(hMSCs)的再生潛力比較強(qiáng)，但是因?yàn)槿鄙儆行Х椒▽?duì)體內(nèi)分化與遷移監(jiān)控，導(dǎo)致應(yīng)用受限。納米材料表面和光控接頭相互連接，對(duì)干細(xì)胞分化進(jìn)行有效控制，在干細(xì)胞研究過(guò)程中廣泛使用此種技術(shù)。

1.3 雙模態(tài)成像

雖然分子生物成像中上轉(zhuǎn)換納米材料(UCNPs)的使用具有一定優(yōu)勢(shì)，但單一模態(tài)成像無(wú)法將信息提供給監(jiān)測(cè)對(duì)象。利用雙模態(tài)融合解決不同成像技術(shù)中的應(yīng)用缺點(diǎn)，使診斷有效率得到提高，進(jìn)一步滿(mǎn)足精準(zhǔn)醫(yī)學(xué)的需求。納米材料的修飾能力和比表面積比較大，能夠創(chuàng)建多模態(tài)造影劑。利用不同信號(hào)組件的結(jié)合，與近紅外光學(xué)成像結(jié)合。

1.4 近紅外光成像

UCNPs具有良好的發(fā)光強(qiáng)度和光穩(wěn)定性，在980 nm激發(fā)下的主要優(yōu)點(diǎn)包括較強(qiáng)穿透力、無(wú)自熒光背景干擾、生物分子吸收少等，被廣泛應(yīng)用到活體成像與深組織成像中。使靶向整合素受體精氨酸-甘氨酸-天冬氨酸多肽和UCNPs共價(jià)偶聯(lián)配制分子探針，通過(guò)活體成像結(jié)果可以看出來(lái)，此納米粒子注射之后1 h，就能夠看到清楚地腫瘤靶向成像；在注射24 h之后就能夠得到腫瘤成像。

2 圖像融合算法的改進(jìn)

2.1 圖像分解

醫(yī)學(xué)圖像能夠分解為高頻細(xì)節(jié)紋理和低頻主體輪廊，為了對(duì)圖像高頻、低頻部分有效地處理，就要實(shí)現(xiàn)高頻低頻的區(qū)分。通過(guò)Mallat算法對(duì)醫(yī)學(xué)圖像進(jìn)行層分解，不同分階層具備4幅子圖像，指的是圖像被分解之后不同方向的高頻分量，包括水平、垂直、角方向和低頻等。圖像在分解之后產(chǎn)生高頻、低頻的子帶，低頻分量對(duì)圖像輪廊信息進(jìn)行描述；高頻分量對(duì)細(xì)節(jié)信息進(jìn)行描述。在小波分解層數(shù)增加的時(shí)候，會(huì)使子圖像尺寸得到縮小，MRI圖像小波分解的結(jié)構(gòu)如圖1所示。

圖1 MRI圖像小波分解結(jié)構(gòu)Fig. 1 Wavelet decomposition structure of MRI image

2.2 圖像融合過(guò)程

通過(guò)小波變換轉(zhuǎn)變頻率和局部，利用圖像提取信息，實(shí)現(xiàn)高低頻空間的細(xì)分化。利用小波變換使圖像融合算法得到實(shí)現(xiàn)，首先，實(shí)現(xiàn)融合圖像的小波分解，之后得出高低頻的子圖像。其次，以小波分解系統(tǒng)的特點(diǎn)，針對(duì)不同的分辨率進(jìn)行分解，根據(jù)不同的融合算法結(jié)合實(shí)際方案，利用小波變換得出最終融合結(jié)果。

在低頻系數(shù)融合過(guò)程中，針對(duì)醫(yī)學(xué)圖像，低頻分量影響恢復(fù)圖像的質(zhì)量，有效定位病灶。本文使用選擇與加權(quán)因子融合的規(guī)則，利用以下公式計(jì)算：

(,)=[(,)+·(,)]·-(,)-·(,)·(2)

(1)

式中：、和均為加權(quán)因子，其中為調(diào)節(jié)因子，能調(diào)節(jié)2幅圖像的比例，均衡2幅圖像的亮度；在因子不斷增加的過(guò)程中，圖像就會(huì)更亮；在因子不斷增加的過(guò)程中，會(huì)加強(qiáng)圖像邊緣。針對(duì)圖像類(lèi)型不同，適當(dāng)調(diào)整因子就能夠?qū)⒛：吘壪ＷC在消減過(guò)程中不過(guò)度的喪失圖像邊緣信息。

在融合高頻系數(shù)時(shí)，假如和為利用小波變換后的高頻分量；=(=，，)為融合后結(jié)果。計(jì)算基于高頻系數(shù)的區(qū)域能量，區(qū)域大小為×，和指的是奇數(shù)，并且≥3，≥3。

(2)

(3)

(4)

(5)

(6)

(7)

2.3 融合策略的改進(jìn)

圖像融合的重點(diǎn)就是圖像融合策略，所使用的規(guī)則和方法會(huì)對(duì)融合質(zhì)量和速度造成影響；在進(jìn)行融合時(shí)，融合作用尤為重要。為了提高圖像高低頻的處理效率，要進(jìn)行有效區(qū)分。本實(shí)驗(yàn)提出了將鄰域窗口一致性作為基礎(chǔ)的檢驗(yàn)規(guī)則，使融合圖像穩(wěn)定性得到提高，區(qū)域方差策略應(yīng)用到低頻融合過(guò)程中，將其作為基礎(chǔ)進(jìn)行實(shí)驗(yàn)。

低頻融合

圖像局部區(qū)域方差利用單個(gè)像素灰度對(duì)區(qū)域灰度均值離散情況進(jìn)行分析，展現(xiàn)出圖像的紋理、細(xì)節(jié)與邊緣等信息；在對(duì)低頻小波系數(shù)融合選擇的過(guò)程中，使局部區(qū)域方差融合策略得到實(shí)現(xiàn)。

(1)將點(diǎn)(,)作為在2幅源圖像中心的局域區(qū)域方差表示：

(8)

式中：為源圖像或者；與對(duì)局域區(qū)域大小進(jìn)行規(guī)定，本實(shí)驗(yàn)使用3×3局域區(qū)域；

(2)對(duì)圖像局部區(qū)域匹配度進(jìn)行計(jì)算：

(9)

(3)根據(jù)局域方差與匹配度確定小波空間的融合權(quán)重，實(shí)現(xiàn)確定匹配度閾值(=056)。在(，)<的時(shí)候，區(qū)域方差大的相應(yīng)點(diǎn)分解系數(shù)作為融合圖像分解系數(shù)：

(10)

在(,)≥的時(shí)，使用加權(quán)平均方法相應(yīng)分解系數(shù)。

高頻融合

將融合圖像應(yīng)用到臨床醫(yī)學(xué)中，集成全部圖像信息，避免存在誤診的情況。利用高頻子帶系數(shù)將源圖像細(xì)節(jié)信息展現(xiàn)出來(lái)，包括邊緣、紋理、輪廊等。通過(guò)細(xì)節(jié)信息構(gòu)成源圖像，醫(yī)學(xué)圖像細(xì)節(jié)在對(duì)病垢診斷時(shí)尤為重要，如果存在不同的細(xì)節(jié)，也有不同的診斷。所以，對(duì)高頻子帶圖像融合要進(jìn)行重視。

一致性檢驗(yàn)是以最大值原則為基礎(chǔ)，如果細(xì)節(jié)圖像為中心像素，鄰域中像素大部分都是細(xì)節(jié)圖像，那么要改變中心像素，使其成為細(xì)節(jié)像素。本實(shí)驗(yàn)實(shí)現(xiàn)高頻小波系數(shù)的滑動(dòng)鄰域操作，為了避免不同圖像中存在大部分鄰域融合系數(shù)，對(duì)于濾波后高頻小波系數(shù)調(diào)整鄰域窗口的一致性，進(jìn)一步提高融合圖像的穩(wěn)定性與連續(xù)性；一致性校驗(yàn)強(qiáng)度設(shè)置為5。

2.4 適應(yīng)度函數(shù)的選擇

在通過(guò)算法解決巡游問(wèn)題的時(shí)候，選擇適應(yīng)度函數(shù)會(huì)對(duì)遺傳優(yōu)化算法最終結(jié)果造成影響。利用優(yōu)化算法對(duì)最優(yōu)解進(jìn)行優(yōu)化，不需要外部因素，只要基于適應(yīng)度函數(shù)值計(jì)算迭代種群個(gè)體適應(yīng)度函數(shù)值，選擇代種群中的最優(yōu)解即可。

此算法的高低頻融合規(guī)則具備可變參數(shù)，通過(guò)遺傳優(yōu)化算法對(duì)自適應(yīng)性進(jìn)行確定。利用邊緣評(píng)價(jià)因子和信息熵開(kāi)展實(shí)驗(yàn)，充分展現(xiàn)圖像中的信息量，使其能夠作為適應(yīng)度函數(shù)，最大程度地繼承融合圖像的源圖像信息，重視信息的繼承，定義為：

(11)

邊緣信息評(píng)價(jià)因子能夠充分反映融合圖像輪廊邊緣的細(xì)節(jié)信息，使其成為適應(yīng)度函數(shù)，重視繼承細(xì)節(jié)信息。

2.5 醫(yī)學(xué)圖像的融合步驟

本實(shí)驗(yàn)算法主要步驟：

(1)利用NSST實(shí)現(xiàn)配準(zhǔn)的待融合源圖像進(jìn)行分解，得出低頻與高頻分量；

(2)因?yàn)榈皖l分量的稀疏性比較差，所以要對(duì)其實(shí)施稀疏表示，得到稀疏系數(shù)。之后，根據(jù)改進(jìn)融合規(guī)則實(shí)現(xiàn)稀疏系數(shù)融合，實(shí)現(xiàn)稀疏系數(shù)重構(gòu)得出融合之后的低頻分量；

(3)高頻分量的稀疏性良好，還能夠?qū)⒃磮D像細(xì)節(jié)信息進(jìn)行描述，使用簡(jiǎn)化自適應(yīng)融合規(guī)則實(shí)現(xiàn)融合，得出融合之后的高頻分量；

(4)針對(duì)融合之后的低頻與高頻分量實(shí)現(xiàn)逆變換，從而得到融合圖像。

3 結(jié)果與分析

為了全面分析算法有效性，對(duì)5種算法選擇后開(kāi)展灰度、彩色的圖像融合實(shí)驗(yàn)。根據(jù)不同指標(biāo)開(kāi)展客觀質(zhì)量評(píng)價(jià)，記錄多算法融合處理的時(shí)間。

3.1 灰度圖像融合實(shí)驗(yàn)

灰度圖像實(shí)驗(yàn)利用不同腦部狀態(tài)下圖像作為待融合圖像。圖2～圖4分別為正常腦部、急性腦卒中CT/MRI和多發(fā)性腦梗塞MR-T1/MR-T2醫(yī)學(xué)圖像融合結(jié)果。

圖2 正常腦部CT/MRI醫(yī)學(xué)圖像融合結(jié)果Fig. 2 CT/MRI medical image fusion results of normal brain

圖3 急性腦卒中CT/MRI醫(yī)學(xué)圖像融合結(jié)果Fig. 3 CT/MRI medical image fusion results of acute stroke

圖4 多發(fā)性腦梗塞MR-T1/MR-T2醫(yī)學(xué)圖像融合結(jié)果Fig. 4 MR-T1/MR-T2 medical image fusion results of multiple cerebral infarction

表1～表3分別為正常腦部、急性腦卒中CT/MRI和多發(fā)性腦梗塞MR-T1/MR-T2不同融合算法的醫(yī)學(xué)融合定量評(píng)價(jià)效果。

表1 正常腦部CT/MRI不同融合算法的醫(yī)學(xué)融合質(zhì)量結(jié)果Tab.1 Medical fusion quality results of different CT/MRI fusion algorithms for normal brain

表2 急性腦卒中CT/MRI不同融合算法的醫(yī)學(xué)融合質(zhì)量結(jié)果Tab.2 Medical fusion quality of CT/MRI fusion algorithms for acute stroke

表3 多發(fā)性腦梗塞MR-T1/MR-T2不同融合算法的醫(yī)學(xué)融合質(zhì)量結(jié)果Tab.3 Medical fusion quality of MR-T1/MR-T2 different fusion algorithms for multiple cerebral infarction

由表1～表3可知，評(píng)價(jià)指標(biāo)Qabf、SD、IE，本實(shí)驗(yàn)圖像融合算法更加優(yōu)異；CT/MRI的圖像融合效果更好。由表3還可知，評(píng)價(jià)指標(biāo)SD、IE，此算法能夠都得到MR-T1/MR-T2的融合圖像質(zhì)量。

3.2 彩色圖像融合實(shí)驗(yàn)

本選擇待融合的圖像是指不同狀態(tài)的組織圖像，利用RGB-IHS空間變換融合彩色圖像；圖5為彩色圖像的融合流程。

圖5 彩色圖像的融合流程Fig. 5 Color image fusion process

綜合實(shí)驗(yàn)對(duì)照數(shù)據(jù)，本文所提出的多模態(tài)跨尺度醫(yī)學(xué)成像融合算法能夠?qū)⒃磮D像保存，對(duì)比圖像灰度融合分散，就邊緣特性具有良好的傳遞效果。但是，此算法高頻部分比較復(fù)雜，所以整體運(yùn)算過(guò)程比較長(zhǎng)。

4 結(jié)語(yǔ)

從單分子成像到組織、細(xì)胞、活體成像，單一模態(tài)逐漸發(fā)展為4模態(tài)成像，納米材料在分子生物成像、腫瘤診斷一體化和細(xì)胞示蹤等方面具有較大的臨床應(yīng)用潛力。雖然納米材料的優(yōu)勢(shì)比較多，但在今后發(fā)展中，還要解決多方面的問(wèn)題。比如，提高化學(xué)穩(wěn)定性、體內(nèi)滯留時(shí)間比較長(zhǎng)，需要對(duì)代謝特性和生物毒性進(jìn)行驗(yàn)證。所以，如何創(chuàng)建強(qiáng)特異性、高穩(wěn)定性和良好生物兼容性的納米材料還需要進(jìn)一步研究。