簡(jiǎn)芙蓉，高玉棟，丁 博，何勇軍

(哈爾濱理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，哈爾濱 150080)

0 引 言

傳統(tǒng)的病理診斷是通過(guò)采集人體脫落細(xì)胞或組織制片染色，然后由病理醫(yī)生在鏡下觀察尋找異常細(xì)胞后做出診斷。其中，細(xì)胞病理診斷是采集脫落細(xì)胞進(jìn)行檢查，取材簡(jiǎn)單，應(yīng)用廣泛，又能做出定性診斷，特別適合篩查，但是目前的方法完全依賴(lài)于醫(yī)生的人工閱片，準(zhǔn)確率普遍較低并且工作量巨大。因此，近年來(lái)自動(dòng)化、智能化閱片技術(shù)在細(xì)胞診斷和篩查中起著越來(lái)越重要的作用。自動(dòng)化閱片技術(shù)的首要任務(wù)是采集清晰圖像。其中宮頸癌篩查中液基薄層細(xì)胞學(xué)(thinprep cytologic test, TCT)檢查的細(xì)胞圖像屬于多焦點(diǎn)圖像，傳統(tǒng)的自動(dòng)化閱片技術(shù)無(wú)法采集到同一景深中完全清晰的細(xì)胞圖像，所以需要在自動(dòng)化閱片過(guò)程中利用快速圖像融合技術(shù)?？焖賵D像融合技術(shù)就是將快速采集到不同景深的兩個(gè)或多個(gè)焦點(diǎn)處的圖像進(jìn)行融合，生成一幅完整清晰的圖像，也稱(chēng)為多焦點(diǎn)圖像融合[1]，該方法能夠解決多焦點(diǎn)圖像在自動(dòng)閱片中出現(xiàn)的問(wèn)題，所以快速圖像融合在自動(dòng)閱片技術(shù)中具有重要意義。

近年來(lái)，人們提出了多種多焦點(diǎn)圖像融合方法。這些方法可以分為兩大類(lèi)：空間域融合與變換域融合[2]?？臻g域融合是對(duì)單一像素進(jìn)行操作，是像素級(jí)融合方法。其中加權(quán)平均法是空間域融合方法中一種常用的方法，該方法是計(jì)算源圖像中每個(gè)像素的加權(quán)和，然后取其平均值，該方法簡(jiǎn)單易實(shí)現(xiàn)，但是融合之后的圖像對(duì)比度低[3]。Yin等[4]提出了一種局部度量方法，該方法針對(duì)對(duì)比度低時(shí)能更好的處理圖像邊緣和區(qū)域信息。對(duì)圖像分塊、分區(qū)域進(jìn)行操作也屬于空間域融合，該方法首先把圖像劃分成幾個(gè)固定大小的區(qū)域，然后獲得各個(gè)區(qū)域清晰的部分再進(jìn)行融合，這樣能夠更好的包含圖像的細(xì)節(jié)信息[5]。Farida等[6]提出了一種基于內(nèi)容自適應(yīng)模糊(content adaptive blurring, CAB)方法，該方法對(duì)源圖像中聚焦區(qū)域和模糊區(qū)域引入不同數(shù)量的模糊，然后與源圖像產(chǎn)生差分圖像，把差分圖像進(jìn)行初步分割之后再融合形成一個(gè)清晰的圖像。但是由于在計(jì)算區(qū)域時(shí)包含清晰信息和不清晰信息，就會(huì)導(dǎo)致融合之后的圖像出現(xiàn)偽影或者出現(xiàn)區(qū)域邊界模糊情況。近年來(lái)深度學(xué)習(xí)技術(shù)發(fā)展迅速，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)越來(lái)越多地應(yīng)用到圖像融合中。Li等[7]提出了一種基于零相位分量分析(zero-phase component analysis，ZCA)的深度特征融合框架，利用殘差網(wǎng)絡(luò)(residual network，ResNet)結(jié)合ZCA對(duì)提取到的深度特征進(jìn)行歸一化，得到初始權(quán)值映射。再通過(guò)softmax操作獲得最終的權(quán)重圖。最后根據(jù)權(quán)重圖，對(duì)源圖像采用加權(quán)平均策略進(jìn)行重構(gòu)，得到融合圖像。為了避免在融合過(guò)程中信息丟失，Du等提出了一種基于深度支撐值卷積神經(jīng)網(wǎng)絡(luò)的多焦點(diǎn)圖像融合方法(deep support value convolutional neural network, DSVCNN)，將卷積層代替最大池化層。該方法通過(guò)DSVCNN網(wǎng)絡(luò)進(jìn)行聚焦檢測(cè)，生成特征圖進(jìn)行二值化分割，使用形態(tài)學(xué)濾波優(yōu)化之后生成決策圖，然后像素加權(quán)平均融合成最終的圖像[8]。該方法相比傳統(tǒng)的空間域融合算法有更好的性能，但是通常情況下由于卷積網(wǎng)絡(luò)層數(shù)過(guò)多導(dǎo)致融合時(shí)間復(fù)雜度高。

變換域融合是對(duì)圖像進(jìn)行不同尺度、不同方向分解，即將圖像分解為低頻部分和高頻部分。低頻部分表現(xiàn)的是圖像的概貌和平均特性，高頻部分反應(yīng)的是圖像的細(xì)節(jié)特性。分別對(duì)不同的部分進(jìn)行不同規(guī)則的融合，再逆變換，對(duì)融合后的系數(shù)進(jìn)行重構(gòu)，最終得到融合的圖像。變換域融合基本方法有：拉普拉斯金字塔[9]、離散小波變換(discrete wavelet transformation, DWT)[10,11]、非下采樣輪廓波變換(nonsubsampled contourlet, NSCT)[12]、稀疏表示[13]、基于KSVD(K singular value decomposition)的字典學(xué)習(xí)法[14]等。Wang等在2004年提出一種基于多小波變換的圖像融合算法，該方法解決了拉普拉斯金字塔變換不具有方向性，導(dǎo)致融合之后圖像會(huì)出現(xiàn)部分細(xì)胞對(duì)比度降低的問(wèn)題。Wang采用的方法經(jīng)過(guò)多小波分解再重構(gòu)之后得到新的圖像[15]。但是由于傳統(tǒng)的小波變換存在下采樣過(guò)程，因此融合后的圖像邊緣存在偽輪廓。徐小軍等提出了基于下采樣分?jǐn)?shù)階小波變換，在小波變換的基礎(chǔ)上增加了分?jǐn)?shù)域概念，對(duì)于偽輪廓有很好的抑制作用，對(duì)圖像處理更加靈活，但是邊緣問(wèn)題依舊存在[16]。劉先紅等提出一種基于引導(dǎo)濾波的多尺度分解方法，該方法兼具了邊緣性和還原信息能力，改善了融合效果[17]。Wang等[18]提出了改進(jìn)的PCNN(pulse coupled neural networks)和引導(dǎo)濾波相結(jié)合的圖像融合方法，相較于大多數(shù)空間域融合方法，有效的降低了計(jì)算復(fù)雜度，并保留了圖像邊緣的細(xì)節(jié)信息。2019年，Huang等提出了一種基于非下采樣輪廓波變換(NSCT)的圖像融合分解方法，為了得到信息量更大的融合高頻分量，對(duì)高頻分量的不同子帶，應(yīng)用了最大絕對(duì)值融合規(guī)則和 PCNN融合規(guī)則。該方法得到的融合圖像在信息熵方面有更好的效果[19]。同年，Wang等將變換域與空間域相結(jié)合，提出了離散小波變換域的卷積神經(jīng)網(wǎng)絡(luò)，將DWT分解的多個(gè)子帶作為CNN的輸入，生成決策圖。根據(jù)決策圖，對(duì)多個(gè)子帶進(jìn)行融合，最后利用逆DWT得到融合后的圖像[20]。

快速采集到的多焦點(diǎn)細(xì)胞圖像存在大量背景，而背景并不包含細(xì)胞信息，所以不需要參與融合運(yùn)算，上述方法把背景信息加入運(yùn)算導(dǎo)致時(shí)間復(fù)雜度較高，針對(duì)此問(wèn)題，本文提出基于內(nèi)容分析的細(xì)胞圖像快速融合方法。該方法首先快速采集多焦點(diǎn)圖像，通過(guò)清晰度變化篩選圖像，然后對(duì)篩選出來(lái)的圖像進(jìn)行分割，將分割出來(lái)的細(xì)胞分為單細(xì)胞、成團(tuán)細(xì)胞和雜質(zhì)三類(lèi)，再對(duì)這三類(lèi)使用不同的方法獲得清晰的細(xì)胞圖像，最后將各個(gè)清晰部分拼接組成完整的清晰圖像。本文通過(guò)5種客觀評(píng)價(jià)方法對(duì)所提出的方法進(jìn)行了驗(yàn)證，實(shí)驗(yàn)表明該方法在保證融合效果的基礎(chǔ)上，降低了運(yùn)算的時(shí)間復(fù)雜度。

1 快速圖像融合方法

基于內(nèi)容分析的細(xì)胞圖像快速融合方法首先在顯微鏡自動(dòng)閱片的過(guò)程中，快速采集到不同視野下，位于焦曲面附近的多張圖像。其次是從采集到的多張圖像中篩選出用于融合的多焦點(diǎn)圖像，也就是存在細(xì)胞分層現(xiàn)象的圖像。再次將篩選出來(lái)的多焦點(diǎn)圖像進(jìn)行自適應(yīng)閾值分割，將分割出來(lái)的、去掉背景信息的圖像通過(guò)基于VGG-16模型的分類(lèi)器進(jìn)行分類(lèi)，將細(xì)胞分為單細(xì)胞、成團(tuán)細(xì)胞和雜質(zhì)三類(lèi)。其中單細(xì)胞圖像通過(guò)對(duì)比清晰度選擇最清晰圖像，成團(tuán)細(xì)胞采用基于引導(dǎo)濾波融合的方法得到最清晰圖像，雜質(zhì)不處理，最后將各類(lèi)別的清晰圖像拼接成完整圖像。完整的流程如圖1所示。

1.1 異步采圖

通過(guò)單一的聚焦算法無(wú)法得到完整的清晰的像，需要制定快速的圖像采集方法，從而得到多張比較清晰的圖像。傳統(tǒng)的采圖方法是平臺(tái)先移動(dòng)、停止，然后在平臺(tái)靜止?fàn)顟B(tài)下用相機(jī)采圖。本方法中異步采圖是平臺(tái)在焦點(diǎn)范圍上下移動(dòng)過(guò)程中，通過(guò)相機(jī)采集圖像，該方法與傳統(tǒng)方法相比，提高了采集速度。具體過(guò)程是，首先需要確定焦點(diǎn)位置，由于一個(gè)載玻片被劃分為400個(gè)視野，每個(gè)視野中的圖像屬于多焦點(diǎn)圖像，并且各個(gè)視野之間圖像的焦點(diǎn)位置不同，如果所有視野用固定的范圍去采集圖像，會(huì)導(dǎo)致得到的圖像都不清晰。本文利用五點(diǎn)聚焦解決以上問(wèn)題。首先通過(guò)五點(diǎn)聚焦得到擬合的焦曲面，進(jìn)而得到每一個(gè)視野下的焦點(diǎn)位置，然后確定Z軸移動(dòng)范圍，控制Z軸在當(dāng)前視野焦點(diǎn)范圍內(nèi)上下移動(dòng)，并且采集圖像。Z軸移動(dòng)范圍如圖2所示。

圖1 細(xì)胞圖像融合方法示意圖Fig.1 Schematic diagram of cell image fusion method

圖2 平臺(tái)移動(dòng)過(guò)程Fig.2 Platform movement process

經(jīng)過(guò)實(shí)驗(yàn)確定，a=150時(shí)采集到的圖像能夠更準(zhǔn)確的包含多張多焦點(diǎn)圖像。實(shí)驗(yàn)表明，在平臺(tái)變換視野的過(guò)程中，Z軸采用蛇形的移動(dòng)路線，能夠提高平臺(tái)變換時(shí)移動(dòng)速度，減少整體采圖時(shí)間，圖2所示的①②③為蛇形路線規(guī)劃。本文通過(guò)焦曲面確定采集范圍，同時(shí)采用異步采圖方法，與傳統(tǒng)的焦平面采圖方法相比，本文所提出的方法可以采集到多張較清晰圖像，并采集速度更快。

但是在此方法采集到的、同一視野下的圖像包含模糊圖像和多焦點(diǎn)圖像，如圖3所示。(a)，(e)是模糊圖像，(b)，(c)，(d)中成團(tuán)細(xì)胞存在分層現(xiàn)象是多焦點(diǎn)圖像，為了提高融合時(shí)圖像處理的速度，需要在采集到的圖像中篩選出多焦點(diǎn)圖像作為最終的融合樣本。

圖3 同一視野模糊圖像和多焦點(diǎn)圖像Fig.3 Same field of vision fuzzy image and multi focus image

1.2 圖像篩選

異步采圖的結(jié)果中包含多張模糊和較清晰的圖像，所以需要從采集到的圖像中進(jìn)行篩選，選擇出能夠用來(lái)融合的多焦點(diǎn)圖像。由于制片過(guò)程中使用滴管將液體滴到玻片上，所以一般制作成功的玻片上細(xì)胞呈圓形[21]。而在圖像采集過(guò)程中，由于平臺(tái)變換視野時(shí)移動(dòng)路線總體形狀是圓的外接矩形，所采集到的圖像中細(xì)胞含量不同，分為多細(xì)胞和少細(xì)胞，即需要對(duì)兩種細(xì)胞含量的圖像采用不同的篩選方法。

1.2.1 多細(xì)胞圖像篩選

利用Brenner梯度函數(shù)，計(jì)算相鄰兩個(gè)像素灰度差的平方，判斷圖像的清晰度，值越大圖像越清晰。該函數(shù)定義如下：

(1)

其中：D(I)為圖像清晰度計(jì)算結(jié)果，I(x,y)表示圖像I對(duì)應(yīng)像素點(diǎn)(x,y)的灰度值。

通過(guò)計(jì)算多個(gè)樣本，從每個(gè)樣本中400個(gè)視野的清晰度值得出，峰值最高的地方圖像最清晰，如圖4所示。圖中直線變化趨勢(shì)遞增并由緩變陡的部分，圖像清晰度值由小變大，(a)中3號(hào)圖像到4號(hào)圖像清晰度值有明顯的變化，(b)中1號(hào)圖像到2號(hào)圖像清晰度值也有明顯的變化，圖像由模糊變得比較清晰，說(shuō)明圖像中細(xì)胞開(kāi)始出現(xiàn)分層現(xiàn)象。清晰度值達(dá)到峰頂之后開(kāi)始遞減，(b)中4號(hào)圖像到5號(hào)圖像清晰度值遞減的速度變慢，圖像逐漸變得模糊。

圖4 采集到視野下圖像清晰度變化Fig.4 The change of image definition in the field of vision

清晰度值處于峰頂?shù)膱D像與它前后的兩張圖像是多焦點(diǎn)圖像，細(xì)胞圖像有分層情況，選擇此三張圖作為最終的融合樣本。經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)，模糊圖像與比較清晰圖像之間的清晰度增加范圍大于T時(shí)，圖像開(kāi)始變得清晰。如式(2)所示。

D(Im+1)-D(Im)>T(0≤m

(2)

其中：cn為采集到的圖像數(shù)量；Im為第m個(gè)圖像；Im+1為第m+1個(gè)圖像。選擇第m+1，m+2，m+3個(gè)圖像作為最終篩選結(jié)果。此篩選方式減少了清晰度計(jì)算次數(shù)，只需計(jì)算視野中前幾張圖像的清晰度值，降低了圖像篩選的時(shí)間復(fù)雜度。

1.2.2 少細(xì)胞圖像篩選

采集到的圖片中少細(xì)胞圖像占10%，雖然細(xì)胞含量少，但卻存在多焦點(diǎn)的情況，如圖5所示。(a)～(e)是通過(guò)異步采圖得到的少細(xì)胞圖像，(b)中紅框內(nèi)細(xì)胞清晰，(c)中紅框內(nèi)細(xì)胞模糊；(b)中綠框內(nèi)細(xì)胞模糊，(c)中綠框內(nèi)細(xì)胞清晰，(b)與(c)屬于多焦點(diǎn)圖像。通過(guò)計(jì)算清晰度發(fā)現(xiàn)，(a)～(e)每張圖像清晰度值變化不大，所以這類(lèi)圖像直接對(duì)比清晰度值，計(jì)算(a)～(e)每張圖像的清晰度，選擇清晰度值最大的圖像和它前后各一張圖像，一共三張圖像作為最終的篩選結(jié)果。

圖5 少細(xì)胞圖像Fig.5 Images with less cell content

1.3 圖像內(nèi)容識(shí)別

卷積神經(jīng)網(wǎng)絡(luò)中的VGG-16(Visual Geometry Group-16)網(wǎng)絡(luò)模型，如圖6所示。該網(wǎng)絡(luò)模型包括13個(gè)卷積層和3個(gè)全連接層。輸入圖像大小為224×244×3，卷積層中卷積核大小為3×3，經(jīng)過(guò)2個(gè)或3個(gè)連續(xù)的卷積核堆疊，能夠得到更細(xì)小的圖像特征。池化層窗口大小為2×2，壓縮輸入的特征圖像，提取圖像主要特征。全連接層中包括3個(gè)連續(xù)的全連接，連接所有的圖像特征，連接個(gè)數(shù)分別為4096、4096、3。最后通過(guò)softmax分類(lèi)層輸出。

圖6 VGG-16模型結(jié)構(gòu)圖Fig.6 VGG-16 model structure diagram

由于VGG-16模型利用多個(gè)3×3卷積核串聯(lián)，該方式與單獨(dú)使用一個(gè)大的5×5或7×7卷積核相比，能夠利用較少的參數(shù)達(dá)到更好地提取特征的效果，從而在圖像分類(lèi)中有很好的性能。

由于篩選出來(lái)的圖像In(0

1.4 成團(tuán)細(xì)胞融合

成團(tuán)細(xì)胞存在分層現(xiàn)象，屬于多焦點(diǎn)圖像，如圖7所示。為了得到各個(gè)層次都清晰的圖像，利用基于引導(dǎo)濾波的融合技術(shù)[22]。

圖7 成團(tuán)細(xì)胞融合Fig.7 The clumps of cells fuse

首先分別將成團(tuán)細(xì)胞通過(guò)均值濾波器，得到它的基礎(chǔ)圖像Bt。其中Rt為第t個(gè)成團(tuán)細(xì)胞的源圖像，Z為均值濾波器，濾波器大小為31*31。

Bt=Rt*Z

(3)

然后從源圖像中減去它的基礎(chǔ)圖像得到細(xì)節(jié)圖像。

Dt=Rt-Bt

(4)

再將源圖像通過(guò)拉普拉斯濾波器，利用圖像的局部平均值構(gòu)造顯著圖像St。接下來(lái)比較顯著圖像St確定權(quán)重圖。

(5)

在每個(gè)權(quán)重圖Pt上執(zhí)行引導(dǎo)濾波，其中相應(yīng)的源圖像Rt作為引導(dǎo)圖像。

(6)

(7)

最后將不同源圖像的基礎(chǔ)圖和細(xì)節(jié)圖通過(guò)加權(quán)平均法融合在一起，再將融合之后的基礎(chǔ)圖像和細(xì)節(jié)圖像相加即得最后的融合圖像F。

(8)

(9)

(10)

1.5 單細(xì)胞融合

單細(xì)胞圖像不存在分層現(xiàn)象，如圖8所示，所以比較源圖像In中單細(xì)胞圖像Ci的清晰度，得到一個(gè)最清晰的單細(xì)胞圖像C。

D(C)=max{D(C1),D(C2),D(C3),…,D(Ci)}

(11)

圖8 單細(xì)胞比較清晰度Fig.8 Single cells compare clarity

通過(guò)成團(tuán)細(xì)胞融合和單細(xì)胞比較清晰度的方法，可以得到完全清晰的成團(tuán)細(xì)胞和單細(xì)胞，最后，需要把清晰的細(xì)胞圖像融入背景中，所以從In中找一張最清晰的圖像I作為背景模板，將所有經(jīng)過(guò)圖像清晰化的單細(xì)胞C、成團(tuán)細(xì)胞R和雜質(zhì)O，按照分割輪廓的位置拼接成一張完整的清晰圖像。

2 實(shí)驗(yàn)結(jié)果

2.1 模型訓(xùn)練

本模型訓(xùn)練環(huán)境是基于ubuntu 16.04系統(tǒng)，配備N(xiāo)VIDIA GeForce RTX 2080顯卡，算法基于TensorFlow框架實(shí)現(xiàn)。首先將分割出來(lái)的圖像單細(xì)胞、成團(tuán)細(xì)胞和雜質(zhì)三類(lèi)，作為模型訓(xùn)練的樣本，其中樣本大小為224*224*3，單細(xì)胞、成團(tuán)細(xì)胞和雜質(zhì)訓(xùn)練樣本數(shù)量分別為3029、2938和2651個(gè)，測(cè)試樣本數(shù)量為訓(xùn)練樣本數(shù)量的1/10。然后將訓(xùn)練樣本，放入訓(xùn)練好的基于VGG-16的深度遷移學(xué)習(xí)模型。該模型的優(yōu)化方法采用隨機(jī)梯度下降法(Stochastic Gradient Descent，SGD)，每次選擇一個(gè)樣本迭代更新一次，并不針對(duì)所有樣本，因此該方法降低了計(jì)算量。模型訓(xùn)練過(guò)程中采用交叉熵?fù)p失函數(shù)計(jì)算損失值，當(dāng)損失值最小時(shí)，獲得最優(yōu)分類(lèi)模型。損失函數(shù)如式(12)所示。

(12)

其中：x為訓(xùn)練樣本；p為期望的類(lèi)別概率；q為模型預(yù)測(cè)的類(lèi)別概率。

最后，經(jīng)過(guò)多次訓(xùn)練，調(diào)整模型中Batch_Size、學(xué)習(xí)率和迭代次數(shù)，訓(xùn)練出適合單細(xì)胞、成圖細(xì)胞和雜質(zhì)樣本的分類(lèi)器，表1是不同參數(shù)的訓(xùn)練結(jié)果，當(dāng)?shù)螖?shù)為1500，學(xué)習(xí)率為0.001，Batch_Size為32時(shí)，最后準(zhǔn)確率可以達(dá)到99.22%。

表1 分類(lèi)器不同參數(shù)結(jié)果Tab.1 Different parameter junctions

2.2 閾值設(shè)置

篩選圖片過(guò)程中，根據(jù)對(duì)4個(gè)樣本400個(gè)視野中圖像清晰度的計(jì)算，發(fā)現(xiàn)模糊圖像與相鄰的多焦點(diǎn)圖像之間清晰度值有明顯變化，模糊圖像與模糊圖像之間清晰度變化不大。經(jīng)計(jì)算得到結(jié)果如圖9所示，橫坐標(biāo)表示視野編號(hào)，縱坐標(biāo)表示模糊圖像與相鄰的多焦點(diǎn)圖像的清晰度差值，發(fā)現(xiàn)400個(gè)視野中此值均大于0.5，而模糊圖像與模糊圖像之間此值均小于0.5，即設(shè)置式(2)中閾值T為0.5。最后使用此閾值進(jìn)行圖像篩選。

圖9 閾值T的選擇Fig.9 Selection of threshold T

2.3 實(shí)驗(yàn)結(jié)果及分析

為了便于與其他方法對(duì)比，從50組不同視野篩選出2張細(xì)胞圖像進(jìn)行對(duì)比實(shí)驗(yàn)的樣本，對(duì)比的融合算法有基于多尺度焦點(diǎn)測(cè)度與廣義隨機(jī)游動(dòng)(multi-scale focus measures and generalized random Walk, MFM-GRW)融合方法[23]，Curvelet變換(CVT)的融合方法[24]，非下采樣輪廓波變換(NSCT)的融合方法[25]，基于四叉樹(shù)(quadtree)的融合方法[26]，多尺度奇異值分解(multiscale singular value decomposition, MSVD)的融合方法[27]，雙樹(shù)復(fù)小波變換(the dual-tree complex wavelet transform, DTCWT)的融合方法[28]和FusionGAN融合方法[29]和DenseFuse融合方法[30]。其中基于變換域融合的方法中分解層數(shù)是4層。由于本方法與MFM-GRW均是RGB圖像的融合，為了與其他5種方法進(jìn)行對(duì)比，將本方法融合之后的RGB圖像進(jìn)行灰度圖像轉(zhuǎn)換，最后對(duì)融合結(jié)果通過(guò)主觀效果方面和客觀標(biāo)準(zhǔn)方面進(jìn)行了評(píng)價(jià)?？陀^評(píng)價(jià)標(biāo)準(zhǔn)為，信息熵(information entropy, IE)，平均梯度(avg gradient, AG)，邊緣保持度(edge intensity, EI)，空間頻率(space frequency, SF)，融合時(shí)間(time)。IE、AG、EI、SF這四個(gè)評(píng)價(jià)標(biāo)準(zhǔn)的值越大，代表圖像中信息含量更加完整，融合效果更好；Time代表融合所用的時(shí)間，時(shí)間值越小代表融合的速度越快，對(duì)與RGB圖像融合，最后得到的Time是實(shí)際時(shí)間的1/3。

本文從50組中找出1組作為示例，如圖10所示。源圖像是兩張2048×2048×3的多焦點(diǎn)圖像，其中包含單細(xì)胞、成團(tuán)細(xì)胞和雜質(zhì)。紅框內(nèi)為單細(xì)胞圖像，綠框內(nèi)為成團(tuán)細(xì)胞圖像，橘色框內(nèi)為雜質(zhì)。本方法為本實(shí)驗(yàn)方法融合的結(jié)果圖像。首先通過(guò)觀察可以發(fā)現(xiàn)Quadtree、FusionGAN方法中單細(xì)胞和成團(tuán)細(xì)胞并沒(méi)有融合成功，MSVD、DenseFuse方法得到的單細(xì)胞圖像模糊，MFM-GRW方法中單細(xì)胞圖像輪廓模糊，并且輪廓有偽影。NSCT方法中單細(xì)胞和成團(tuán)細(xì)胞相較于源圖像對(duì)比度降低。

圖10 圖像融合對(duì)比實(shí)驗(yàn)Fig.10 Image fusion contrast experiment

表2為50組圖像融合之后通過(guò)5種評(píng)價(jià)標(biāo)準(zhǔn)得到的具體數(shù)據(jù)的平均值分析。本方法由于運(yùn)用了基于引導(dǎo)濾波的融合方法，所以能夠更好的保持邊緣信息。單細(xì)胞圖像直接對(duì)比清晰度，對(duì)于圖像細(xì)節(jié)有更好的還原能力。在得到清晰的細(xì)胞圖像之后，對(duì)分割區(qū)域進(jìn)行還原，解決了清晰圖像與不清晰圖像邊緣之間出現(xiàn)偽影的情況。所以在AG、EI、SF的值高于其他方法。在IE方面，本方法的主要目的是獲得清晰的細(xì)胞圖像，所以針對(duì)無(wú)關(guān)的背景信息并沒(méi)有做處理，在計(jì)算圖像IE含量的過(guò)程中，背景信息也參與了計(jì)算，導(dǎo)致本方法的融合圖像IE值小，而其他方法是整張圖像融合，所以圖像IE值大。本方法相較與DenseFuse方法，信息含量IE值略少，但相差不大。在Time方面，本方法只對(duì)細(xì)胞信息進(jìn)行融合運(yùn)算，與其他方法的整張圖像運(yùn)算相比，運(yùn)算快耗時(shí)少。MSVD在其他方法中速度最快，本文提出的方法相較于MSVD方法提高了219%。所以本方法有更快的融合速度和較好的融合效果。

3 結(jié) 論

本文提出了一種基于內(nèi)容分析的細(xì)胞圖像快速融合方法，方法通過(guò)異步抓圖、圖像篩選、圖像內(nèi)容識(shí)別，圖像融合最終得到清晰的細(xì)胞圖像。在圖像內(nèi)容識(shí)別過(guò)程中，利用VGG-16分類(lèi)器將細(xì)胞圖像分為單細(xì)胞、成團(tuán)細(xì)胞和雜質(zhì)三類(lèi)，然后根據(jù)細(xì)胞類(lèi)型不同選擇不同方法獲取清晰圖像。其中單細(xì)胞通過(guò)Brenner清晰度評(píng)價(jià)函數(shù)選擇最清晰的部分；成團(tuán)細(xì)胞通過(guò)引導(dǎo)濾波的融合方法得到最后清晰的圖像；雜質(zhì)不做任何處理。最后把各個(gè)類(lèi)別都清晰圖像拼接形成最后完整的清晰圖像。實(shí)驗(yàn)表明，與傳統(tǒng)算法相比，本文所提出的方法保證了最后融合圖像的對(duì)比度，并且得到完整的清晰圖像。通過(guò)5種評(píng)價(jià)方法的客觀評(píng)價(jià)，本方法在保證良好融合效果的基礎(chǔ)上，有效解決了圖像融合時(shí)間復(fù)雜度高的問(wèn)題，縮短了融合時(shí)間，并且抗雜質(zhì)干擾。