羅 鋒，陳 鋒，吳 航，許兆坤，宋麗梅，韓思齊，趙子賢，余 明*

（1.軍事科學(xué)院系統(tǒng)工程研究院，天津 300161；2.天津理工大學(xué)，天津 300384）

0 引言

手術(shù)器械檢測可應(yīng)用于手術(shù)器械實時跟蹤[1]、手術(shù)視頻回顧性分析[2]、人機(jī)協(xié)同手術(shù)[3]等方面，其相關(guān)的研究顯著增加。大部分研究都是基于微創(chuàng)手術(shù)視覺數(shù)據(jù)集[4-6]，傳統(tǒng)開放性手術(shù)相關(guān)的研究較少。開放性手術(shù)是外科手術(shù)中重要的組成部分，在自然災(zāi)害、戰(zhàn)場等特定環(huán)境中十分重要。微創(chuàng)手術(shù)需要內(nèi)窺鏡輔助開展，內(nèi)窺鏡的運(yùn)用簡化了微創(chuàng)手術(shù)視頻數(shù)據(jù)的采集過程，使其更加便捷，而開放性手術(shù)存在倫理、技術(shù)等問題難以構(gòu)建數(shù)量和質(zhì)量均滿足卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的真實手術(shù)視覺數(shù)據(jù)集。損害控制手術(shù)是以維持傷病員基本生命體征為主的簡易開放性外科手術(shù)[7]。本文基于高仿真生物模擬人系統(tǒng)構(gòu)建損害控制手術(shù)視覺數(shù)據(jù)集，用于手術(shù)器械檢測等相關(guān)方面的研究。該數(shù)據(jù)集不僅可用于手術(shù)器械檢測，還可支持后續(xù)的手術(shù)技能評估、手術(shù)流程識別等相關(guān)研究。

手術(shù)器械檢測方法可大致分為以下幾種：（1）改造手術(shù)器械，安裝傳感器[8]；（2）處理手術(shù)器械表面，通過涂抹顏色、雕刻棋盤格或二維碼[9]等方式賦予手術(shù)器械標(biāo)簽；（3）不對手術(shù)器械做任何處理，僅基于計算機(jī)視覺完成手術(shù)器械檢測任務(wù)[10]。前2 種方法的實施難度較低，但會改變手術(shù)器械的形狀和質(zhì)量，干擾外科醫(yī)生操作，且手術(shù)器械改造會增加設(shè)備成本和滅菌任務(wù)，不利于技術(shù)推廣。傳統(tǒng)的目標(biāo)檢測任務(wù)主要是基于尺度不變特征轉(zhuǎn)換[11]（scale invariant feature transform，SIFT）和方向梯度直方圖[12]（histogram of oriented gradients，HOG）等方法實現(xiàn)，但精度和檢測速度不如目前的深度學(xué)習(xí)[13]。

深度學(xué)習(xí)中的目標(biāo)檢測網(wǎng)絡(luò)可分為一階段網(wǎng)絡(luò)和二階段網(wǎng)絡(luò)，兩者的代表性網(wǎng)絡(luò)分別是YOLO（you only look once）系列[14-19]和基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（region-based convolutional neural networks，R-CNN）系列[20-23]。一階段網(wǎng)絡(luò)無獨(dú)立生成建議區(qū)域的子網(wǎng)絡(luò)，將目標(biāo)檢測任務(wù)直接視為回歸任務(wù)，檢測速度快，但精度低。二階段網(wǎng)絡(luò)先生成建議區(qū)域進(jìn)行粗調(diào)，然后篩選部分符合條件的建議區(qū)域進(jìn)行微調(diào)完成目標(biāo)檢測任務(wù)。二階段網(wǎng)絡(luò)的檢測精度高，但速度較慢。目前國內(nèi)外開放性損害控制手術(shù)相關(guān)研究較少，且本文課題的后續(xù)研究以手術(shù)視頻回顧性分析為主，確保手術(shù)器械的檢測精度即可，對檢測速度無嚴(yán)格要求。因此，二階段網(wǎng)絡(luò)更符合本文要求。二階段目標(biāo)檢測網(wǎng)絡(luò)R-CNN 系列主要包含R-CNN、Fast R-CNN、Faster R-CNN 和Mask R-CNN 等。Faster R-CNN 的檢測精度和檢測速度優(yōu)于R-CNN 和Fast R-CNN，而Mask R-CNN 是在Faster R-CNN 基礎(chǔ)上添加了全卷積網(wǎng)絡(luò)[24]（fully convolutional networks，F(xiàn)CN）分支，可同時實現(xiàn)目標(biāo)檢測任務(wù)和實例分割任務(wù)。本文僅實現(xiàn)手術(shù)器械檢測任務(wù)，因此采用Faster R-CNN作為手術(shù)器械目標(biāo)檢測模型。

1 損害控制手術(shù)數(shù)據(jù)集

目前，國內(nèi)外公開的手術(shù)視覺數(shù)據(jù)集以微創(chuàng)手術(shù)為主，暫未檢索到公開的開放性外科手術(shù)數(shù)據(jù)集。本研究用的數(shù)據(jù)集是由本研究團(tuán)隊和上海某三甲醫(yī)院創(chuàng)傷科合作構(gòu)建的損害控制手術(shù)視覺數(shù)據(jù)集。該數(shù)據(jù)集包含135 例手術(shù)視頻，由9 名外科醫(yī)生在高仿真生物模擬人系統(tǒng)上執(zhí)行。每名外科醫(yī)生均需執(zhí)行3種手術(shù)任務(wù)（腸道吻合、肝破裂修復(fù)和臨時開關(guān)腹），并重復(fù)執(zhí)行每個手術(shù)任務(wù)5 次。該模擬人系統(tǒng)主要包含肝臟、腸道、腎臟等模擬臟器以及腹部模擬皮膚，腹腔內(nèi)臟器采用以水凝膠為主的生物材料，與人體組織有高度的相似性和相近性，且模擬人系統(tǒng)臟器的含水率、彈性模量、電導(dǎo)率等關(guān)鍵參數(shù)與人體臟器偏差不超過20%，可表現(xiàn)出與人體組織相近的觸感和力反饋。

患者傷情不同，處理優(yōu)先級亦不同。美國外科學(xué)院創(chuàng)傷委員會（American College of Surgeons Committee on Trauma，ACS COT）提供的高級創(chuàng)傷生命支持項目旨在向醫(yī)生傳授一種有效的、系統(tǒng)的創(chuàng)傷患者評估和治療方法，在全世界范圍內(nèi)有著巨大影響力。項目中指出優(yōu)先處理氣道損傷，其次是控制出血。但氣道損傷屬于戰(zhàn)術(shù)區(qū)救治階梯中的現(xiàn)場急救階段，而損害控制手術(shù)屬于早期救治階段，且后送過程中存活的患者基本脫離氣道損傷造成的生命危險。因此，構(gòu)建損害控制手術(shù)視覺數(shù)據(jù)集優(yōu)先選擇控制出血相關(guān)術(shù)式，如腸道吻合、肝破裂修復(fù)。而為了豐富損害控制手術(shù)視覺數(shù)據(jù)集的術(shù)式，本文又增加了與損害控制手術(shù)密切相關(guān)的臨時開關(guān)腹術(shù)式。

如圖1 紅框所示位置，手術(shù)視頻數(shù)據(jù)采集設(shè)備集成在手術(shù)燈中。手術(shù)視頻采集設(shè)備的采集視野和手術(shù)燈的燈照視野的中心線重合，本文稱該攝影方式為手術(shù)燈同軸攝影。

圖1 手術(shù)燈同軸攝影

本文以1 幀/s 的頻率對手術(shù)視頻進(jìn)行抽幀，并使用標(biāo)注工具（如labelimg 軟件）標(biāo)注手術(shù)器械邊界框等手術(shù)器械信息。手術(shù)器械包含手術(shù)過程中直接或者間接用于人體的儀器、設(shè)備、器具、體外診斷試劑及校準(zhǔn)物等。而本文所指的手術(shù)器械僅為損害控制手術(shù)視覺數(shù)據(jù)集中的手術(shù)剪、鑷子、持針器、止血鉗、明膠海綿及手術(shù)刀6 種手術(shù)器械。

2 方法

2.1 損害控制手術(shù)數(shù)據(jù)集劃分

為了損害控制手術(shù)視覺數(shù)據(jù)集能夠應(yīng)用于手術(shù)器械檢測模型訓(xùn)練以及后續(xù)的相關(guān)研究，本文沒有簡單地按照8∶1∶1 的比例隨機(jī)劃分為訓(xùn)練集、驗證集和測試集，而是將數(shù)據(jù)集以視頻例數(shù)為單位按照2∶1進(jìn)行分層劃分（確保3 種手術(shù)術(shù)式的數(shù)量在各個劃分子集中較為均衡）得到視頻數(shù)據(jù)集A 和視頻數(shù)據(jù)集B。視頻數(shù)據(jù)集B 抽幀獲得的圖像數(shù)據(jù)集作為手術(shù)器械檢測模型的測試集，而視頻數(shù)據(jù)集A 再以圖像張數(shù)為單位按照9∶1 進(jìn)行隨機(jī)劃分，分別作為手術(shù)器械檢測模型的圖像訓(xùn)練集C 和圖像驗證集D。按上述數(shù)據(jù)集劃分方式所獲得的訓(xùn)練集C、驗證集D以及由視頻數(shù)據(jù)集B 抽幀所得圖像測試集的圖像數(shù)量分別為33307、3701、16294 張。

2.2 手術(shù)器械檢測模型

本文基于卷積神經(jīng)網(wǎng)絡(luò)Faster R-CNN 實現(xiàn)損害控制手術(shù)器械檢測。如圖2 所示，F(xiàn)aster R-CNN 架構(gòu)主要包括網(wǎng)絡(luò)骨架（Backbone）、建議區(qū)域網(wǎng)絡(luò)（region proposal network，RPN）和感興趣區(qū)域（region of interest，ROI）網(wǎng)絡(luò)3 個模塊。

首先，Backbone 用于提取圖像特征圖，主要由卷積層組成，文中使用的Backbone 是VGG16[25]。其次，RPN 根據(jù)特征圖生成若干個可能含有手術(shù)器械的建議區(qū)域，并輸出每個建議區(qū)域的邊界框坐標(biāo)和區(qū)域內(nèi)含手術(shù)器械的概率。最后，先將符合要求的建議區(qū)域輸入ROI 池化層統(tǒng)一尺寸后再輸入全連接層（即ROI 模塊）微調(diào)建議區(qū)域的邊界框坐標(biāo)和手術(shù)器械分類置信度。RPN 和ROI 網(wǎng)絡(luò)均預(yù)測手術(shù)器械邊界框坐標(biāo)的偏移量，同時兩者均預(yù)測分類置信度（前者預(yù)測的是建議區(qū)域中是否包含手術(shù)器械的分類置信度，后者預(yù)測的是建議區(qū)域內(nèi)手術(shù)器械種類的分類置信度）。因此，本文在訓(xùn)練RPN 和ROI 網(wǎng)絡(luò)時使用了相似的損失函數(shù)，損失函數(shù)L（{pi}，{ti}）的定義如下：

式中，Lcls是交叉熵?fù)p失函數(shù)；Lreg是平滑L1（Smooth L1）損失函數(shù)；i 是同一批次建議區(qū)域的索引值；pi是建議區(qū)域的分類置信度；pi*是真實地面值的標(biāo)簽，當(dāng)建議區(qū)域和手術(shù)器械真實邊界框之間的交并比（intersection over union，IoU）值大于所設(shè)定閾值時，pi*為1，當(dāng)IoU 小于設(shè)定閾值時，pi*為0；ti是預(yù)測的邊界框坐標(biāo)偏移量，而ti*則是“正”標(biāo)簽建議區(qū)域與手術(shù)器械真實邊界框之間的位置偏移量；Ncls和Nreg是損失標(biāo)準(zhǔn)化權(quán)重，在文中兩者的值等于參與損失計算的所有建議區(qū)域的數(shù)量，如256 和128；λ 是確保分類損失和位置偏移量損失在同一個數(shù)量級上的權(quán)重，文中取值為1。需要說明的是，RPN 和ROI 網(wǎng)絡(luò)預(yù)測的位置偏移量分別是錨框與真實邊界框的位置偏移量和輸入ROI 網(wǎng)絡(luò)的建議區(qū)域與真實邊界框的位置偏移量，故解釋式（1）時使用的名詞“建議區(qū)域”既表示RPN 中的錨框也表示輸入ROI 網(wǎng)絡(luò)中的建議區(qū)域。

本文的手術(shù)器械檢測模型共訓(xùn)練30 輪，采用隨機(jī)梯度下降法（stochastic gradient descent，SGD）更新模型參數(shù)，初始學(xué)習(xí)率為0.001，模型訓(xùn)練20 輪后，學(xué)習(xí)率降為0.0001。為加快模型收斂速度，本文采用遷移學(xué)習(xí)技術(shù)，模型初始化參數(shù)為在ImageNet 上預(yù)訓(xùn)練獲得。同時為了減少過擬合，本文使用圖像水平、垂直隨機(jī)翻轉(zhuǎn)等數(shù)據(jù)增強(qiáng)方式增加圖像樣本量。此外，圖像預(yù)處理通常使用ImageNet 訓(xùn)練集的均值和標(biāo)準(zhǔn)差進(jìn)行圖像歸一化處理。但損害控制手術(shù)視覺數(shù)據(jù)集中的圖像主要為醫(yī)療手術(shù)器械，而ImageNet中包含手術(shù)器械的圖像較少。因此，本文統(tǒng)計了手術(shù)器械檢測模型訓(xùn)練集（即2.1 節(jié)內(nèi)容中的圖像訓(xùn)練集C）的均值和標(biāo)準(zhǔn)差，兩者分別為0.3404、0.3647、0.3541 和0.3406、0.3535、0.3488，并使用其進(jìn)行圖像歸一化處理。

3 結(jié)果

平均精度（average precision，AP）是目標(biāo)檢測任務(wù)常用的評價指標(biāo)，AP 是Precision-Recall（P-R）曲線下的面積，P-R 曲線以精度為縱坐標(biāo)、召回率為橫坐標(biāo)。

精度（Precision，P）又稱為查準(zhǔn)率，其計算公式如下：

式中，TP 為模型預(yù)測目標(biāo)種類正確（即預(yù)測的分類分?jǐn)?shù)大于設(shè)定的閾值），且預(yù)測邊界框與實際邊界框之間IoU 大于設(shè)定的閾值的例數(shù)；FP 為模型預(yù)測的目標(biāo)種類和邊界框與實際邊界框之間的IoU 至少有一個小于設(shè)定的閾值的例數(shù)。

召回率（Recall，R）又稱為查全率，其計算公式如下：

式中，F(xiàn)N 為模型預(yù)測當(dāng)前圖像中不存在感興趣的目標(biāo)，但實際存在的例數(shù)。

由上述可知，P 和R 的值與設(shè)定的分類置信度閾值和IoU 閾值相關(guān)。IoU 不變時，多個分類置信度閾值對應(yīng)多組P 和R，因此構(gòu)成P-R 曲線。AP 衡量的是模型對單種目標(biāo)的檢測精度，而平均精度均值（mean average precision，mAP）則是衡量模型的整體性能，即多種目標(biāo)AP 的均值。

本文IoU 閾值為0.5，即手術(shù)器械的預(yù)測邊界框與真實邊界框之間的IoU 大于0.5，且器械分類無誤，則認(rèn)為模型預(yù)測正確。使用不同均值和標(biāo)準(zhǔn)差進(jìn)行圖像歸一化處理時手術(shù)器械檢測模型的檢測精度對比見表1。

從表1 可以看出，當(dāng)使用本文的損害控制數(shù)據(jù)集的均值和標(biāo)準(zhǔn)差進(jìn)行圖像歸一化處理時，6 種手術(shù)器械的AP 均有提升，且mAP 為79.0%，模型整體性能表現(xiàn)較好。但其中明膠海綿和手術(shù)刀的AP 僅有44.5%和65.8%，檢測精度較低。

圖3 展示了手術(shù)器械檢測模型檢測的正確以及錯誤例子。圖中錯誤例子主要暴露了模型存在的2個問題：（1）持針器和止血鉗因角度問題容易混淆，甚至是手術(shù)剪亦可能被識別成持針器；（2）出現(xiàn)在手術(shù)視頻中的手術(shù)刀和明膠海綿大部分呈狹長狀，定位精度誤差較大，且模型對非狹長狀手術(shù)刀或是明膠海綿無法識別。

圖3 手術(shù)器械檢測模型檢測示例

手術(shù)刀和明膠海綿AP 偏低的主要原因可能是：（1）損害控制手術(shù)視覺數(shù)據(jù)集包含3 種手術(shù)術(shù)式，但手術(shù)刀僅在臨時開關(guān)腹中的開腹階段出現(xiàn)，而明膠海綿僅在肝破裂修復(fù)中的止血階段出現(xiàn)，模型訓(xùn)練時相應(yīng)的數(shù)據(jù)偏少。（2）手術(shù)刀本身為狹長的形狀，且在開腹時主刀醫(yī)生使用執(zhí)筆式執(zhí)刀，導(dǎo)致手術(shù)刀的長軸與手術(shù)燈同軸攝影設(shè)備的視線之間的角度較小，因此手術(shù)視頻中手術(shù)刀的形狀通常如圖4 中的（a）、（b）所示，常呈狹長或者小面積形狀。而Faster R-CNN 對于狹長狀和小面積目標(biāo)檢測的精度較差。第三，明膠海綿在肝破裂修復(fù)手術(shù)中被處理成了狹長狀，且明膠海綿的作用是止血，在止血階段的大部分時間位于傷口內(nèi)，暴露在采集視野的面積較小，因此手術(shù)視頻中明膠海綿的形狀通常如圖4 中的（c）、（d）所示，亦呈狹長或者小面積形狀，不利于Faster R-CNN 模型檢測。

圖4 手術(shù)視頻中的手術(shù)刀和明膠海綿

4 結(jié)語

手術(shù)器械檢測對于手術(shù)視頻自動分析非常重要，但基于開放性外科手術(shù)的手術(shù)器械檢測相關(guān)研究較少，且目前尚未檢索到公開的、可獲取的開放性外科手術(shù)視頻數(shù)據(jù)集。本文基于高仿真生物模擬人系統(tǒng)構(gòu)建了損害控制手術(shù)視覺數(shù)據(jù)集，數(shù)據(jù)集中包含了3 種手術(shù)術(shù)式。且本文使用Faster R-CNN 網(wǎng)絡(luò)模型實現(xiàn)了手術(shù)器械檢測，6 種手術(shù)器械的mAP 為79.0%，模型性能較好，但是明膠海綿和手術(shù)刀的數(shù)據(jù)量較少，且出現(xiàn)在手術(shù)視頻中的形狀常呈狹長狀或面積較小，導(dǎo)致二者的檢測精度較低，僅有44.5%和65.8%。

開放性外科手術(shù)較微創(chuàng)手術(shù)有如下幾點(diǎn)不同：（1）手術(shù)場景更為復(fù)雜，包含待手術(shù)器官和組織、手術(shù)器械、醫(yī)生和助理的手等；（2）部分手術(shù)器械主要區(qū)別在于手術(shù)器械尖端的特征，但手術(shù)過程中手術(shù)器械的尖端通常會被待手術(shù)組織、醫(yī)生手部等遮擋。綜上所述，開放性外科手術(shù)的單張圖像的手術(shù)器械檢測模型精度提升難度較大。Faster R-CNN 對小目標(biāo)檢測精度較差，可考慮加入多尺度特征融合提升小目標(biāo)檢測的精度，并結(jié)合上下文信息等技巧提升手術(shù)器械檢測模型的整體檢測精度。

此外，本文采用的Faster R-CNN 屬于二階段網(wǎng)絡(luò)，檢測精度較高，但實時性較差。選擇該網(wǎng)絡(luò)的主要原因是在后續(xù)的損害控制手術(shù)視頻分析研究中對手術(shù)器械檢測精度要求較高。未來，在損害控制手術(shù)視頻分析方法成熟后，可考慮使用實時性更好的網(wǎng)絡(luò)（如一階段網(wǎng)絡(luò)中的YOLO 系列）替換本文的Faster R-CNN 網(wǎng)絡(luò)，以實現(xiàn)損害控制手術(shù)的器械在線檢測以及視頻在線分析。