鄭騰輝，陶青川

（四川大學(xué)電子信息學(xué)院，成都610065）

0 引言

在醫(yī)學(xué)領(lǐng)域，手術(shù)器械是重要的輔助工具。隨著時(shí)代的進(jìn)步，手術(shù)器械種類不斷增加，每種不同類型的手術(shù)器械之間存在著細(xì)節(jié)上較為明顯的差距。通常不同手術(shù)的手術(shù)盒里需要的手術(shù)器械種類不同，而每個(gè)手術(shù)盒里手術(shù)器械是否準(zhǔn)備完全，目前是通過人眼觀察比對去實(shí)現(xiàn)的，但該方式比較耗時(shí)，無法及時(shí)提供結(jié)果。本文為實(shí)現(xiàn)手術(shù)盒里手術(shù)器械的檢測，提出了手術(shù)器械圖像語義分割，以提取目標(biāo)位置，為之后手術(shù)器械的檢測提供技術(shù)支持。

隨著機(jī)器視覺和人工智能技術(shù)的發(fā)展，圖像語義分割水平獲得了快速提高[1]，但很少有人在手術(shù)器械上實(shí)現(xiàn)圖像語義分割。由于手術(shù)器械種類繁多，如圖1所示，手術(shù)器械和手術(shù)盒的圖像分割有著重要的研究意義。圖1中，前背景顏色近似，加上手術(shù)器械表面受光線影響，色澤亮度不均，因此無法直接使用傳統(tǒng)算法有效地分割出手術(shù)器械。為此，本文針對手術(shù)器械和手術(shù)盒的分割難點(diǎn)，結(jié)合FCN網(wǎng)絡(luò)結(jié)構(gòu)，提出一種基于全卷積神經(jīng)網(wǎng)絡(luò)的圖像語義分割算法。

1 實(shí)驗(yàn)材料和網(wǎng)絡(luò)模型

1. 1 手術(shù)器械圖像獲取

固定相機(jī)拍攝試驗(yàn)圖像，手術(shù)器械為一整套器械，所采集圖像手術(shù)器械全部置于手術(shù)盒中，每張圖像中手術(shù)器械若干，共300張，其中樣本集287張，測試集13張。為了便于研究，分辨率統(tǒng)一調(diào)整為512×512像素。圖像試驗(yàn)在Anaconda3的Spyder軟件平臺(tái)上進(jìn)行。部分圖像見圖1。

圖1 手術(shù)盒和手術(shù)器械

1. 2 網(wǎng)絡(luò)模型

（1）卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種多層次非全連接的神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)模擬人腦結(jié)構(gòu)，通過有監(jiān)督的深度學(xué)習(xí)，從原始圖像中直接識(shí)別視覺模式[2]。CNN模型一般有卷積層、池化層、全連接層、Softmax分類層等4個(gè)層次堆疊組成[3]。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)不同，卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建在多個(gè)獨(dú)立分布的神經(jīng)元組成的多個(gè)二維平面上，其中相鄰兩層的神經(jīng)元以非全連接方式進(jìn)行卷積計(jì)算，而全連接網(wǎng)絡(luò)則具有較多的網(wǎng)絡(luò)連接數(shù)和權(quán)值參數(shù)，因此卷積神經(jīng)網(wǎng)絡(luò)有效地降低了網(wǎng)絡(luò)模型的學(xué)習(xí)復(fù)雜度[4]。

①卷積層

卷積層通過若干個(gè)卷積核對輸入層或上一層輸出進(jìn)行卷積操作，并通過激勵(lì)函數(shù)將卷積結(jié)果組合成特征圖像[5]。卷積運(yùn)算指卷積核和輸入之間的線性計(jì)算。例如第l層卷積層的第j個(gè)特征圖的計(jì)算公式為：

式（1）中，xij表示第j個(gè)神經(jīng)元通過卷積后的輸出，f表示激活函數(shù)。常用的激活函數(shù)有：relu（x）、tanh（x）、Sigmoid（x）等。表示卷積核，通常為 3×3或 5×5大小。為偏移量。

②池化層

池化層主要作用為對上一層卷積層的特征圖進(jìn)行非線性下采樣操作，改善結(jié)果，有效地降低卷積特征圖維度，并大幅減少特征參數(shù)數(shù)量，減輕負(fù)擔(dān)，從而加快計(jì)算速度，并防止過擬合問題出現(xiàn)[6]。常用池化方法有最大池化、平均池化、重疊池化、空金字塔池化。例如步長和尺度都為2的最大池化函數(shù)為：

式（2）中，fpool特征圖經(jīng)過最大池化后的輸出結(jié)果，x為各點(diǎn)特征值。

③全連接層

全連接層一般會(huì)在圖像經(jīng)過上述兩層之后出現(xiàn)，將上一層所有神經(jīng)元和輸出層神經(jīng)元連接起來，形成一個(gè)類似淺層神經(jīng)網(wǎng)絡(luò)的多次感知機(jī)，起到將學(xué)到的“分布式特征表示”映射到樣本標(biāo)記空間的作用[7]。計(jì)算公式為：

式（3）中，w表示一個(gè)特征矩陣，b表示特征向量，x表示上一層的輸出，y表示本層輸出。

④輸出層

卷積神經(jīng)網(wǎng)絡(luò)的輸出層通常為分類器。常用分類層有Simoid分類層、Softmax分類層[4]。以Softmax分類層為例，Softmax函數(shù)可以分類成多個(gè)類別，例如可以對數(shù)字0-9進(jìn)行分類，分類成10類。本文只需分類成兩類，但為損失函數(shù)計(jì)算方便，更好的優(yōu)化模型，本文分為256類。

（2）VGG19

VGG是一個(gè)經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)，有著優(yōu)秀的分類性能[8]。VGG網(wǎng)絡(luò)是一個(gè)極其深的網(wǎng)絡(luò)架構(gòu)，一般有16-19層，本文使用的是VGG19網(wǎng)絡(luò)架構(gòu)。如圖2，VGG19大體由5大層卷積層和3層全連接層組成，圖中，conv1和conv2分別包含2層卷積層，conv3、conv4和conv5分別包含4層卷積層，加上3層全連接，一共19層。在VGG19里，若輸入1幅512×512×3像素級的圖像，每個(gè)卷積層采用3×3的卷積核，由1個(gè)或4個(gè)卷積層堆疊組成卷積序列，并使用邊界填充技術(shù)以達(dá)到更大感受野的效果前提下保持前后維度不變，在使用2×2池化窗口，步長為2的池化層，減少經(jīng)過卷積層之后的特征參數(shù)。最后接上3個(gè)全連接層，將二維數(shù)據(jù)轉(zhuǎn)化成一維數(shù)據(jù)，通道數(shù)分別為4096、4096、1000，輸出層由Softmax函數(shù)對1000個(gè)標(biāo)簽進(jìn)行分類。整個(gè)網(wǎng)絡(luò)顯得非常的簡潔，多個(gè)3×3的卷積核的組合效果可以優(yōu)于單個(gè)大卷積核。

圖2 VGG19網(wǎng)絡(luò)模型

在VGG19網(wǎng)絡(luò)的隱含層中都存在激活函數(shù)，使神經(jīng)網(wǎng)絡(luò)有了非線性映射能力[8]。通常激活函數(shù)包括Sigmoid函數(shù)、Tanh函數(shù)、ReLU函數(shù)[9]。ReLU函數(shù)是不飽和函數(shù)，具有一定的稀疏性，但對比生物大腦的95%稀疏性，ReLU的稀疏性還是具有一定差距的。但是ReLU的稀疏性是可以訓(xùn)練調(diào)節(jié)的，網(wǎng)絡(luò)是可以向著誤差減少方向優(yōu)化的，ReLU函數(shù)可以加快網(wǎng)絡(luò)優(yōu)化速度。因而從學(xué)習(xí)速度方面出發(fā)，ReLU函數(shù)更有效率。公式如下：

（3）FCN網(wǎng)絡(luò)模型

FCN網(wǎng)絡(luò)模型以VGG網(wǎng)絡(luò)為基礎(chǔ)，前5層是VGG19的卷積層和池化層，通常分別為pool1、pool2、pool3、pool4、conv5_3的特征圖，特征圖的尺度分別降低為原來的 1/2、1/4、1/8、1/16、1/32[10]。高層特征以語義組合為主，底層特征以局部細(xì)節(jié)為主[11]。第6-8層是轉(zhuǎn)置卷積層。卷積層依次把手術(shù)器械圖像和卷積核進(jìn)行卷積操作，得到特征圖。池化層對卷積層得到的特征圖進(jìn)行降維，減少特征參數(shù)，縮短訓(xùn)練時(shí)間。FCN網(wǎng)絡(luò)使用第5層的特征圖，向上采樣結(jié)合第3、4層的淺層特征，獲取更多細(xì)節(jié)信息。

（4）本文網(wǎng)絡(luò)模型

FCN網(wǎng)絡(luò)可輸入任意大小的手術(shù)器械圖像，以端對端的學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，完成訓(xùn)練目的。但對于手術(shù)盒中的手術(shù)器械圖像的語義分割仍存在一些缺陷。FCN網(wǎng)絡(luò)使用VGG19的最后一層卷積層的特征圖作為后三層的輸入，但存在細(xì)節(jié)丟失過多的缺點(diǎn)，而手術(shù)器械不同類別之間細(xì)節(jié)信息至關(guān)重要。為了提高手術(shù)器械圖像語義分割算法的自動(dòng)化性能，提出基于全卷積的神經(jīng)網(wǎng)絡(luò)，以實(shí)現(xiàn)對手術(shù)器械進(jìn)行相對精準(zhǔn)的語義分割。

圖3 本文網(wǎng)絡(luò)模型

本文網(wǎng)絡(luò)一共分為7層，如圖3所示。本文以512×512×3尺寸的特征圖作為輸入，經(jīng)過VGG19的前4大層，特征圖尺寸一致縮小，寬度擴(kuò)大，一直到pool4層的32×32×512尺寸的特征圖。為了計(jì)算損失函數(shù)，手術(shù)器械輸入標(biāo)簽圖和分割結(jié)果的輸出圖須尺度一致，所以后面3層反卷積層反卷積之后進(jìn)行上采樣操作再依次和pool3、pool2層的特征圖進(jìn)行線性計(jì)算，最后使用argmax函數(shù)得到預(yù)測圖。本網(wǎng)絡(luò)在VGG19的基礎(chǔ)上減去了VGG19的conv5層和后面3層全連接層，再不影響最終結(jié)果的前提下降低了特征參數(shù)數(shù)量，優(yōu)化了網(wǎng)絡(luò)運(yùn)行時(shí)間，減少網(wǎng)絡(luò)模型的學(xué)習(xí)復(fù)雜度。

損失函數(shù)為預(yù)測圖和輸入標(biāo)簽之間的交叉熵。如圖4，損失從一開始大幅度下降到最后趨向于0，數(shù)據(jù)顯示，最后損失平均值為0.08。

圖4 損失

（5）優(yōu)化器的選擇

常用優(yōu)化器有梯度下降算法的GradientDescent優(yōu)化器、動(dòng)量梯度下降算法的Momentum優(yōu)化器和實(shí)現(xiàn)Adam優(yōu)化器。本文使用的是Adam優(yōu)化器，Adam具有高效，易實(shí)現(xiàn)，內(nèi)存要求低，參數(shù)更新的步長合理等優(yōu)勢；再則，Adam能實(shí)現(xiàn)步長退火過程，適用于梯度稀疏或梯度存在很大噪聲的問題[12]。Adam的權(quán)值參數(shù)更新步驟如下：

（1）t時(shí)間的梯度 gt計(jì)算公式如式（4）：

式中，wt-1表示t-1時(shí)間的權(quán)值。

（2）m0初始化為0時(shí)，計(jì)算梯度指數(shù)的移動(dòng)平均數(shù) mt如式（5）：

式中，β1表示指數(shù)衰減率。

（3）v0初始化為0時(shí)，計(jì)算梯度平方的指數(shù)移動(dòng)平均數(shù) vt如式（6）：

式中，β2表示指數(shù)衰減率。

（4）訓(xùn)練初期，m0和v0初始化都為0，會(huì)導(dǎo)致mt和vt都偏向 0，糾正公式如式（7）和式（8）：

（5）新權(quán)值參數(shù)Wt如式（9）：

式中，α表示學(xué)習(xí)率，ε是為了防止除數(shù)為0的極小數(shù)。

2 實(shí)驗(yàn)結(jié)果

2. 1 運(yùn)行環(huán)境

操作系統(tǒng)：Windows 10 x64；

Python版本：Anaconda3 Python 3.6+TensorFlow 1.12.0；

GPU型號(hào)：NVIDIA GeForce GTX 1080Ti 11G顯存；

處理器型號(hào)：Intel i5-6500 3.20GHz主頻。

2. 2 實(shí)驗(yàn)數(shù)據(jù)

為了對比本文提出的模型和其他模型，我們使用Holistically-Nested Edge Detection（HED）[13]網(wǎng)絡(luò)模型，語義分割網(wǎng)絡(luò)DeepLab和傳統(tǒng)FCN網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)對比，實(shí)驗(yàn)樣本集和測試集是制作好的300張圖片。

使用測試集里的圖片進(jìn)行測試，如表1和圖4所示，表1為網(wǎng)絡(luò)運(yùn)行時(shí)長，圖4為3張圖片不同網(wǎng)絡(luò)的測試圖。對比表1、圖4，在預(yù)測圖整體效果方面，本文網(wǎng)絡(luò)整體效果較佳。對比HED、DeepLab、FCN網(wǎng)絡(luò)，其中，HED網(wǎng)絡(luò)在測試結(jié)果和運(yùn)行時(shí)長上都比FCN網(wǎng)絡(luò)和本文網(wǎng)絡(luò)差。而對于DeepLab網(wǎng)絡(luò)，該網(wǎng)絡(luò)在本次實(shí)驗(yàn)里抗光性較弱，相對于本文網(wǎng)絡(luò)，該網(wǎng)絡(luò)效果較差，但時(shí)長方面和本文網(wǎng)絡(luò)差不多。對比FCN網(wǎng)絡(luò)，本文網(wǎng)絡(luò)運(yùn)行時(shí)長減少，網(wǎng)絡(luò)效果和FCN網(wǎng)絡(luò)無明顯區(qū)別，網(wǎng)絡(luò)特征參數(shù)數(shù)量減少，網(wǎng)絡(luò)模型的學(xué)習(xí)復(fù)雜度減少。但仔細(xì)觀察，不難發(fā)現(xiàn)在光照影響下，手術(shù)器械反光嚴(yán)重的區(qū)域，本文網(wǎng)絡(luò)容易出現(xiàn)誤檢測，如圖4中手術(shù)器械出現(xiàn)的缺口。

表1 網(wǎng)絡(luò)運(yùn)行時(shí)長

圖4 預(yù)測圖

3 結(jié)語

本研究在FCN全卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，減少VGG19層數(shù)，從實(shí)驗(yàn)結(jié)果得到以下結(jié)論：

（1）手術(shù)器械特征提取的實(shí)驗(yàn)結(jié)果表明，通過基于全卷積的神經(jīng)網(wǎng)絡(luò)能有效提取出手術(shù)器械多層特征圖像，并通過Adam優(yōu)化器優(yōu)化參數(shù)，較好地實(shí)現(xiàn)手術(shù)器械圖像語義分割。

（2）手術(shù)器械特征提取的實(shí)驗(yàn)結(jié)果表明，在手術(shù)器械圖像語義分割方面，本文網(wǎng)絡(luò)對比DeepLab網(wǎng)絡(luò)，效果較佳，對比FCN神經(jīng)網(wǎng)絡(luò)，特征參數(shù)數(shù)量降低，網(wǎng)絡(luò)運(yùn)行時(shí)長減少，預(yù)測圖效果不變。

（3）手術(shù)器械特征提取的實(shí)驗(yàn)結(jié)果表明，本文網(wǎng)絡(luò)在抗光照能力還有待提高。