亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于全卷積神經(jīng)網(wǎng)絡(luò)的手術(shù)器械圖像語義分割算法

        2019-05-17 02:45:12鄭騰輝陶青川
        現(xiàn)代計算機 2019年9期
        關(guān)鍵詞:池化手術(shù)器械語義

        鄭騰輝,陶青川

        (四川大學電子信息學院,成都610065)

        0 引言

        在醫(yī)學領(lǐng)域,手術(shù)器械是重要的輔助工具。隨著時代的進步,手術(shù)器械種類不斷增加,每種不同類型的手術(shù)器械之間存在著細節(jié)上較為明顯的差距。通常不同手術(shù)的手術(shù)盒里需要的手術(shù)器械種類不同,而每個手術(shù)盒里手術(shù)器械是否準備完全,目前是通過人眼觀察比對去實現(xiàn)的,但該方式比較耗時,無法及時提供結(jié)果。本文為實現(xiàn)手術(shù)盒里手術(shù)器械的檢測,提出了手術(shù)器械圖像語義分割,以提取目標位置,為之后手術(shù)器械的檢測提供技術(shù)支持。

        隨著機器視覺和人工智能技術(shù)的發(fā)展,圖像語義分割水平獲得了快速提高[1],但很少有人在手術(shù)器械上實現(xiàn)圖像語義分割。由于手術(shù)器械種類繁多,如圖1所示,手術(shù)器械和手術(shù)盒的圖像分割有著重要的研究意義。圖1中,前背景顏色近似,加上手術(shù)器械表面受光線影響,色澤亮度不均,因此無法直接使用傳統(tǒng)算法有效地分割出手術(shù)器械。為此,本文針對手術(shù)器械和手術(shù)盒的分割難點,結(jié)合FCN網(wǎng)絡(luò)結(jié)構(gòu),提出一種基于全卷積神經(jīng)網(wǎng)絡(luò)的圖像語義分割算法。

        1 實驗材料和網(wǎng)絡(luò)模型

        1. 1 手術(shù)器械圖像獲取

        固定相機拍攝試驗圖像,手術(shù)器械為一整套器械,所采集圖像手術(shù)器械全部置于手術(shù)盒中,每張圖像中手術(shù)器械若干,共300張,其中樣本集287張,測試集13張。為了便于研究,分辨率統(tǒng)一調(diào)整為512×512像素。圖像試驗在Anaconda3的Spyder軟件平臺上進行。部分圖像見圖1。

        圖1 手術(shù)盒和手術(shù)器械

        1. 2 網(wǎng)絡(luò)模型

        (1)卷積神經(jīng)網(wǎng)絡(luò)

        卷積神經(jīng)網(wǎng)絡(luò)是一種多層次非全連接的神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)模擬人腦結(jié)構(gòu),通過有監(jiān)督的深度學習,從原始圖像中直接識別視覺模式[2]。CNN模型一般有卷積層、池化層、全連接層、Softmax分類層等4個層次堆疊組成[3]。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)不同,卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建在多個獨立分布的神經(jīng)元組成的多個二維平面上,其中相鄰兩層的神經(jīng)元以非全連接方式進行卷積計算,而全連接網(wǎng)絡(luò)則具有較多的網(wǎng)絡(luò)連接數(shù)和權(quán)值參數(shù),因此卷積神經(jīng)網(wǎng)絡(luò)有效地降低了網(wǎng)絡(luò)模型的學習復(fù)雜度[4]。

        ①卷積層

        卷積層通過若干個卷積核對輸入層或上一層輸出進行卷積操作,并通過激勵函數(shù)將卷積結(jié)果組合成特征圖像[5]。卷積運算指卷積核和輸入之間的線性計算。例如第l層卷積層的第j個特征圖的計算公式為:

        式(1)中,xij表示第j個神經(jīng)元通過卷積后的輸出,f表示激活函數(shù)。常用的激活函數(shù)有:relu(x)、tanh(x)、Sigmoid(x)等。表示卷積核,通常為 3×3或 5×5大小。為偏移量。

        ②池化層

        池化層主要作用為對上一層卷積層的特征圖進行非線性下采樣操作,改善結(jié)果,有效地降低卷積特征圖維度,并大幅減少特征參數(shù)數(shù)量,減輕負擔,從而加快計算速度,并防止過擬合問題出現(xiàn)[6]。常用池化方法有最大池化、平均池化、重疊池化、空金字塔池化。例如步長和尺度都為2的最大池化函數(shù)為:

        式(2)中,fpool特征圖經(jīng)過最大池化后的輸出結(jié)果,x為各點特征值。

        ③全連接層

        全連接層一般會在圖像經(jīng)過上述兩層之后出現(xiàn),將上一層所有神經(jīng)元和輸出層神經(jīng)元連接起來,形成一個類似淺層神經(jīng)網(wǎng)絡(luò)的多次感知機,起到將學到的“分布式特征表示”映射到樣本標記空間的作用[7]。計算公式為:

        式(3)中,w表示一個特征矩陣,b表示特征向量,x表示上一層的輸出,y表示本層輸出。

        ④輸出層

        卷積神經(jīng)網(wǎng)絡(luò)的輸出層通常為分類器。常用分類層有Simoid分類層、Softmax分類層[4]。以Softmax分類層為例,Softmax函數(shù)可以分類成多個類別,例如可以對數(shù)字0-9進行分類,分類成10類。本文只需分類成兩類,但為損失函數(shù)計算方便,更好的優(yōu)化模型,本文分為256類。

        (2)VGG19

        VGG是一個經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò),有著優(yōu)秀的分類性能[8]。VGG網(wǎng)絡(luò)是一個極其深的網(wǎng)絡(luò)架構(gòu),一般有16-19層,本文使用的是VGG19網(wǎng)絡(luò)架構(gòu)。如圖2,VGG19大體由5大層卷積層和3層全連接層組成,圖中,conv1和conv2分別包含2層卷積層,conv3、conv4和conv5分別包含4層卷積層,加上3層全連接,一共19層。在VGG19里,若輸入1幅512×512×3像素級的圖像,每個卷積層采用3×3的卷積核,由1個或4個卷積層堆疊組成卷積序列,并使用邊界填充技術(shù)以達到更大感受野的效果前提下保持前后維度不變,在使用2×2池化窗口,步長為2的池化層,減少經(jīng)過卷積層之后的特征參數(shù)。最后接上3個全連接層,將二維數(shù)據(jù)轉(zhuǎn)化成一維數(shù)據(jù),通道數(shù)分別為4096、4096、1000,輸出層由Softmax函數(shù)對1000個標簽進行分類。整個網(wǎng)絡(luò)顯得非常的簡潔,多個3×3的卷積核的組合效果可以優(yōu)于單個大卷積核。

        圖2 VGG19網(wǎng)絡(luò)模型

        在VGG19網(wǎng)絡(luò)的隱含層中都存在激活函數(shù),使神經(jīng)網(wǎng)絡(luò)有了非線性映射能力[8]。通常激活函數(shù)包括Sigmoid函數(shù)、Tanh函數(shù)、ReLU函數(shù)[9]。ReLU函數(shù)是不飽和函數(shù),具有一定的稀疏性,但對比生物大腦的95%稀疏性,ReLU的稀疏性還是具有一定差距的。但是ReLU的稀疏性是可以訓練調(diào)節(jié)的,網(wǎng)絡(luò)是可以向著誤差減少方向優(yōu)化的,ReLU函數(shù)可以加快網(wǎng)絡(luò)優(yōu)化速度。因而從學習速度方面出發(fā),ReLU函數(shù)更有效率。公式如下:

        (3)FCN網(wǎng)絡(luò)模型

        FCN網(wǎng)絡(luò)模型以VGG網(wǎng)絡(luò)為基礎(chǔ),前5層是VGG19的卷積層和池化層,通常分別為pool1、pool2、pool3、pool4、conv5_3的特征圖,特征圖的尺度分別降低為原來的 1/2、1/4、1/8、1/16、1/32[10]。高層特征以語義組合為主,底層特征以局部細節(jié)為主[11]。第6-8層是轉(zhuǎn)置卷積層。卷積層依次把手術(shù)器械圖像和卷積核進行卷積操作,得到特征圖。池化層對卷積層得到的特征圖進行降維,減少特征參數(shù),縮短訓練時間。FCN網(wǎng)絡(luò)使用第5層的特征圖,向上采樣結(jié)合第3、4層的淺層特征,獲取更多細節(jié)信息。

        (4)本文網(wǎng)絡(luò)模型

        FCN網(wǎng)絡(luò)可輸入任意大小的手術(shù)器械圖像,以端對端的學習網(wǎng)絡(luò)結(jié)構(gòu),完成訓練目的。但對于手術(shù)盒中的手術(shù)器械圖像的語義分割仍存在一些缺陷。FCN網(wǎng)絡(luò)使用VGG19的最后一層卷積層的特征圖作為后三層的輸入,但存在細節(jié)丟失過多的缺點,而手術(shù)器械不同類別之間細節(jié)信息至關(guān)重要。為了提高手術(shù)器械圖像語義分割算法的自動化性能,提出基于全卷積的神經(jīng)網(wǎng)絡(luò),以實現(xiàn)對手術(shù)器械進行相對精準的語義分割。

        圖3 本文網(wǎng)絡(luò)模型

        本文網(wǎng)絡(luò)一共分為7層,如圖3所示。本文以512×512×3尺寸的特征圖作為輸入,經(jīng)過VGG19的前4大層,特征圖尺寸一致縮小,寬度擴大,一直到pool4層的32×32×512尺寸的特征圖。為了計算損失函數(shù),手術(shù)器械輸入標簽圖和分割結(jié)果的輸出圖須尺度一致,所以后面3層反卷積層反卷積之后進行上采樣操作再依次和pool3、pool2層的特征圖進行線性計算,最后使用argmax函數(shù)得到預(yù)測圖。本網(wǎng)絡(luò)在VGG19的基礎(chǔ)上減去了VGG19的conv5層和后面3層全連接層,再不影響最終結(jié)果的前提下降低了特征參數(shù)數(shù)量,優(yōu)化了網(wǎng)絡(luò)運行時間,減少網(wǎng)絡(luò)模型的學習復(fù)雜度。

        損失函數(shù)為預(yù)測圖和輸入標簽之間的交叉熵。如圖4,損失從一開始大幅度下降到最后趨向于0,數(shù)據(jù)顯示,最后損失平均值為0.08。

        圖4 損失

        (5)優(yōu)化器的選擇

        常用優(yōu)化器有梯度下降算法的GradientDescent優(yōu)化器、動量梯度下降算法的Momentum優(yōu)化器和實現(xiàn)Adam優(yōu)化器。本文使用的是Adam優(yōu)化器,Adam具有高效,易實現(xiàn),內(nèi)存要求低,參數(shù)更新的步長合理等優(yōu)勢;再則,Adam能實現(xiàn)步長退火過程,適用于梯度稀疏或梯度存在很大噪聲的問題[12]。Adam的權(quán)值參數(shù)更新步驟如下:

        (1)t時間的梯度 gt計算公式如式(4):

        式中,wt-1表示t-1時間的權(quán)值。

        (2)m0初始化為0時,計算梯度指數(shù)的移動平均數(shù) mt如式(5):

        式中,β1表示指數(shù)衰減率。

        (3)v0初始化為0時,計算梯度平方的指數(shù)移動平均數(shù) vt如式(6):

        式中,β2表示指數(shù)衰減率。

        (4)訓練初期,m0和v0初始化都為0,會導(dǎo)致mt和vt都偏向 0,糾正公式如式(7)和式(8):

        (5)新權(quán)值參數(shù)Wt如式(9):

        式中,α表示學習率,ε是為了防止除數(shù)為0的極小數(shù)。

        2 實驗結(jié)果

        2. 1 運行環(huán)境

        操作系統(tǒng):Windows 10 x64;

        Python版本:Anaconda3 Python 3.6+TensorFlow 1.12.0;

        GPU型號:NVIDIA GeForce GTX 1080Ti 11G顯存;

        處理器型號:Intel i5-6500 3.20GHz主頻。

        2. 2 實驗數(shù)據(jù)

        為了對比本文提出的模型和其他模型,我們使用Holistically-Nested Edge Detection(HED)[13]網(wǎng)絡(luò)模型,語義分割網(wǎng)絡(luò)DeepLab和傳統(tǒng)FCN網(wǎng)絡(luò)進行實驗對比,實驗樣本集和測試集是制作好的300張圖片。

        使用測試集里的圖片進行測試,如表1和圖4所示,表1為網(wǎng)絡(luò)運行時長,圖4為3張圖片不同網(wǎng)絡(luò)的測試圖。對比表1、圖4,在預(yù)測圖整體效果方面,本文網(wǎng)絡(luò)整體效果較佳。對比HED、DeepLab、FCN網(wǎng)絡(luò),其中,HED網(wǎng)絡(luò)在測試結(jié)果和運行時長上都比FCN網(wǎng)絡(luò)和本文網(wǎng)絡(luò)差。而對于DeepLab網(wǎng)絡(luò),該網(wǎng)絡(luò)在本次實驗里抗光性較弱,相對于本文網(wǎng)絡(luò),該網(wǎng)絡(luò)效果較差,但時長方面和本文網(wǎng)絡(luò)差不多。對比FCN網(wǎng)絡(luò),本文網(wǎng)絡(luò)運行時長減少,網(wǎng)絡(luò)效果和FCN網(wǎng)絡(luò)無明顯區(qū)別,網(wǎng)絡(luò)特征參數(shù)數(shù)量減少,網(wǎng)絡(luò)模型的學習復(fù)雜度減少。但仔細觀察,不難發(fā)現(xiàn)在光照影響下,手術(shù)器械反光嚴重的區(qū)域,本文網(wǎng)絡(luò)容易出現(xiàn)誤檢測,如圖4中手術(shù)器械出現(xiàn)的缺口。

        表1 網(wǎng)絡(luò)運行時長

        圖4 預(yù)測圖

        3 結(jié)語

        本研究在FCN全卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上,減少VGG19層數(shù),從實驗結(jié)果得到以下結(jié)論:

        (1)手術(shù)器械特征提取的實驗結(jié)果表明,通過基于全卷積的神經(jīng)網(wǎng)絡(luò)能有效提取出手術(shù)器械多層特征圖像,并通過Adam優(yōu)化器優(yōu)化參數(shù),較好地實現(xiàn)手術(shù)器械圖像語義分割。

        (2)手術(shù)器械特征提取的實驗結(jié)果表明,在手術(shù)器械圖像語義分割方面,本文網(wǎng)絡(luò)對比DeepLab網(wǎng)絡(luò),效果較佳,對比FCN神經(jīng)網(wǎng)絡(luò),特征參數(shù)數(shù)量降低,網(wǎng)絡(luò)運行時長減少,預(yù)測圖效果不變。

        (3)手術(shù)器械特征提取的實驗結(jié)果表明,本文網(wǎng)絡(luò)在抗光照能力還有待提高。

        猜你喜歡
        池化手術(shù)器械語義
        基于緊湊型雙線性網(wǎng)絡(luò)的野生茵識別方法研究
        無線電工程(2024年8期)2024-09-16 00:00:00
        基于Sobel算子的池化算法設(shè)計
        卷積神經(jīng)網(wǎng)絡(luò)中的自適應(yīng)加權(quán)池化
        持續(xù)質(zhì)量改進對手術(shù)器械供應(yīng)及時性與準確性的影響
        語言與語義
        基于卷積神經(jīng)網(wǎng)絡(luò)和池化算法的表情識別研究
        “上”與“下”語義的不對稱性及其認知闡釋
        認知范疇模糊與語義模糊
        提高手術(shù)器械準備完善率
        神經(jīng)外科手術(shù)器械指南
        久久九九有精品国产尤物 | 摸丰满大乳奶水www免费| 日本公与熄乱理在线播放| 成人激情四射网| 亚洲区一区二区三区四| 黄片视频免费观看蜜桃| 国产精品亚洲欧美大片在线看| 亚洲综合中文字幕乱码在线| 亚洲精品精品日本日本| 亚洲国产中文字幕在线视频综合| 欧美一性一乱一交一视频| 97se色综合一区二区二区| 国产精品_国产精品_k频道w| 久久无码人妻一区=区三区| 男女视频网站免费精品播放| 大桥未久av一区二区三区| 伊人激情av一区二区三区| 午夜tv视频免费国产区4| 国产日韩乱码精品一区二区| 精品亚洲一区二区区别在线观看| a级毛片免费观看在线| 连续高潮喷水无码| 美女福利视频在线观看网址| 亚洲自偷精品视频自拍| 亚洲欧美日韩综合久久久| 久久99精品久久久久久国产人妖| 亚洲精品中文字幕导航| 亚洲成在人线在线播放无码| 欧美精品中文字幕亚洲专区| 久久五月精品中文字幕| 内射白浆一区二区在线观看| 亚洲精品国产av成拍色拍| 三级全黄的视频在线观看| 日本免费久久高清视频| 久久99精品久久久久久9蜜桃 | 国产成人亚洲精品2020| 一区二区三区四区亚洲免费 | 最新国产熟女资源自拍| 特级av毛片免费观看| 久久亚洲第一视频黄色| 在线观看一区二区三区在线观看|