賈海晶，郭克友

(北京工商大學(xué) 材料與機(jī)械工程學(xué)院,北京 100048)

1 引 言

靜脈留置針[1]是臨床醫(yī)學(xué)上為減輕反復(fù)扎針給患者帶來痛苦而設(shè)計(jì)的裝置，目前的穿刺術(shù)中，護(hù)士眼觀及手觸確定穿刺靶血管，預(yù)估穿刺點(diǎn)位置和進(jìn)針角度，手動(dòng)穿刺。穿刺成功率取決于護(hù)士經(jīng)驗(yàn)和患者血管條件，對(duì)于靶血管處脂肪較厚、水腫、靶血管較細(xì)或皮膚彈性較差等條件較差的血管，穿刺成功率難以保證，因此，智能靜脈穿刺器的研究是醫(yī)療領(lǐng)域的必要課題。智能穿刺指運(yùn)用圖像識(shí)別技術(shù)自動(dòng)定位超聲圖像中穿刺靶血管，結(jié)合留置針的穿刺角度，確定留置針在預(yù)穿刺患者皮膚表層上的穿刺點(diǎn)的物理位置以及留置針的進(jìn)針距離，進(jìn)針距離發(fā)送至機(jī)械手臂控制器，機(jī)械手臂驅(qū)動(dòng)留置針自動(dòng)穿刺。本研究將經(jīng)外周靜脈置入中心靜脈導(dǎo)管(PICC)[2]穿刺術(shù)中的超聲引導(dǎo)機(jī)制引入靜脈留置針穿刺，提出一套智能定位穿刺點(diǎn)的解決方案。

2 超聲圖像中血管的自動(dòng)定位

超聲圖像中血管定位指獲取血管半徑和深度信息。目前獲得信息的方法有兩種，一是護(hù)士通過超聲系統(tǒng)提供的中心網(wǎng)格進(jìn)行預(yù)估，見圖1。二是手動(dòng)標(biāo)注出兩點(diǎn)，超聲系統(tǒng)給出兩點(diǎn)的直線距離，見圖2。前者存在較大觀測(cè)誤差，后者依賴護(hù)士輔助標(biāo)注。超聲系統(tǒng)尚未提供超聲圖像中血管的自動(dòng)定位功能，并不意味著該功能無法實(shí)現(xiàn)。本研究基于深度學(xué)習(xí)算法Faster RCNN實(shí)現(xiàn)超聲圖像中血管的自動(dòng)定位。

圖1中心網(wǎng)格法示意圖

Fig1Centralgridmethod

圖2手動(dòng)標(biāo)注法示意圖

Fig2Manuallabelingmethod

2.1 Faster RCNN

Faster RCNN[3]是基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)的目標(biāo)檢測(cè)算法，由Fast RCNN[4]和RPN(region proposal network，RPN)兩部分組成。RPN取代傳統(tǒng)的選擇查找算法[5]生成眾多候選區(qū)域， Fast RCNN對(duì)候選區(qū)域進(jìn)行分類和邊框回歸。Faster RCNN通過交替訓(xùn)練實(shí)現(xiàn)特征提取和候選區(qū)域提取網(wǎng)絡(luò)的參數(shù)共享。本研究借助交替訓(xùn)練實(shí)現(xiàn)自然數(shù)據(jù)集到醫(yī)學(xué)數(shù)據(jù)集的特征遷移，在有限訓(xùn)練樣本情況下，實(shí)現(xiàn)超聲圖像中血管檢測(cè)模型的訓(xùn)練。

2.2 血管檢測(cè)器的訓(xùn)練

理論上Faster RCNN中的CNN可設(shè)計(jì)成任意數(shù)量的卷積、池化、RELU操作的組合，但醫(yī)學(xué)圖像獲取較難，該領(lǐng)域使用的深層學(xué)習(xí)網(wǎng)絡(luò)[6-8]通常比常用的CaffeNet要低2～5個(gè)數(shù)量級(jí)。靜脈超聲圖像獲取相對(duì)容易，故可使用較復(fù)雜的CNN架構(gòu)。ZF[9]包含5層卷積+池化，其特點(diǎn)是卷積時(shí)用較小的卷積核對(duì)圖像濾波，保留更多的原始像素信息。VGG-Net[10]增加現(xiàn)有CNN架構(gòu)的深度。

本研究使用SonoStar公司線陣10.0 MHz無線超聲系統(tǒng)，采集5000張上肢貴要靜脈超聲圖像作為試驗(yàn)數(shù)據(jù)集，訓(xùn)練和測(cè)試樣本各占50%。訓(xùn)練結(jié)果見圖3，網(wǎng)絡(luò)經(jīng)過多次迭代后，ZF+原圖模型的AP=0.7983，VGG16+原圖模型的AP=0.8056。兩種模型的AP值均較低，原因來自于樣本標(biāo)注環(huán)節(jié)：(一)穿刺過程中，穿刺點(diǎn)最終停留在穿刺中分線上(見圖4中綠線)，在原始圖像的標(biāo)注過程中，主要關(guān)注了圓心位于中分線附近的靜脈，導(dǎo)致邊緣的靜脈被忽略；(二)B超機(jī)設(shè)定的聚焦位置為深度1.5 cm，位置較深的血管成像條件較差，標(biāo)注時(shí)疏于關(guān)注。

圖3 Faster RCNN訓(xùn)練PR曲線圖

Fig3PRcurvesusingdifferentCNNmodels

圖4 穿刺中分線和感興趣區(qū)域示意圖

Fig4Puncturemidlineandregionofinterest

結(jié)合上述分析，截取超聲圖像中一定的感興趣區(qū)域(ROI)進(jìn)行標(biāo)注，ROI的位置見圖4所示白色矩形區(qū)域，大小為230×300像素。訓(xùn)練Faster RCNN，結(jié)果見圖3，ZF+ROI模型的AP=0.891，VGG16+ROI模型的AP=0.896。去除原始圖像的多余信息后，模型的AP值提高。

2.3 血管檢測(cè)中的非極大值抑制

Faster RCNN檢測(cè)過程中，RPN網(wǎng)絡(luò)對(duì)230×300像素的樣本提取17550個(gè)候選框，丟掉小于16×6像素的候選框后的17300余個(gè)候選目標(biāo)并不需要全部送入Fast RCNN。非極大值抑制[11](non-maximum suppression，NMS)篩除置信度較低和重疊較大的候選框，避免不相關(guān)和相關(guān)度不高的候選區(qū)域在Fast RCNN過程中消耗時(shí)間。

NMS中，取RPN后生成的per_nms_topN個(gè)候選框送入NMS，NMS去除大于重疊閾值nms_overlap_thres的候選框，NMS后取置信度最高的前after_nms_topN個(gè)候選框送入Fast RCNN。per_nms_topN優(yōu)化，nms_overlap_thres值應(yīng)較小，令其為0.7，after_nms_topN的值等于NMS操作后剩余候選框的數(shù)量，試驗(yàn)結(jié)果見圖5(a)，per_nms_topN=2500時(shí)，檢測(cè)器對(duì)穿刺靶血管的召回已達(dá)到1，安全考慮，優(yōu)化per_nms_topN為3000。nms_overlap_thres優(yōu)化，per_nms_topN取上文的3000，after_nms_topN等于NMS操作后剩余候選框的數(shù)量，試驗(yàn)結(jié)果見圖5(b)，nms_overlap_thres≤0.8時(shí)，檢測(cè)器對(duì)穿刺靶血管的召回均為1，優(yōu)化nms_overlap_thres為0.8。after_nms_topN優(yōu)化，per_nms_topN取上文的3000，nms_overlap_thres的值應(yīng)較小，取0.7，試驗(yàn)結(jié)果見圖5(c)，after_nms_topN=100時(shí)，檢測(cè)器對(duì)穿刺靶血管的召回達(dá)到1，安全考慮，優(yōu)化after_nms_topN為200。

2.4 血管檢測(cè)

基于VGG16的血管檢測(cè)模型的AP稍高于ZF，但在上文優(yōu)化的NMS下，基于ZF+ROI和VGG16+ROI的Faster RCNN對(duì)穿刺靶血管的召回均可達(dá)到1。考慮檢測(cè)過程的時(shí)間消耗，基于ZF+ROI的血管檢測(cè)器檢測(cè)時(shí)間是15.6 FPS, VGG16+ROI為6.5 FPS,選擇時(shí)間消耗小的基于ZF+ROI的血管檢測(cè)模型作為最終的靜脈超聲圖像中血管檢測(cè)器。

3 靜脈留置針穿刺點(diǎn)智能定位

圖6為PICC人工穿刺示意圖，本研究中的智能穿刺采用平面外穿刺，工作平面與PICC穿刺平面一致，為垂直于超聲探頭的最大截面的中分面，即圖7中過點(diǎn)A垂直于探頭最大截面的平面。不同的是智能穿刺中放棄使用限制穿刺點(diǎn)位置的固定角度導(dǎo)針器，由機(jī)械臂控制器保證穿刺針位于穿刺平面，并根據(jù)前文確定的穿刺靶血管位置在穿刺平面內(nèi)調(diào)整穿刺角度，即圖6中∠ABC。本研究主要關(guān)注如何根據(jù)血管檢測(cè)器檢測(cè)到的血管自動(dòng)定位穿刺點(diǎn)C，換言之確定AC的距離。

圖5 參數(shù)優(yōu)化試驗(yàn)圖

(a).per_nms_topN優(yōu)化試驗(yàn)圖， (b). nms_overlap_thres優(yōu)化試驗(yàn)圖， (c). after_nms_topN優(yōu)化試驗(yàn)圖

Fig5Parameteroptimizationtestchart

(a). optimization test chart of per_nms_topN，

(b). optimization test chart of nms_overlap_thres，

(c). optimization test chart of after_nms_topN

3.1 穿刺靶血管的自動(dòng)定位

血管檢測(cè)器檢測(cè)到超聲圖像中所有的血管，其中只有一根血管是護(hù)士確定的穿刺靶血管(與超聲探頭的中分線的距離小于5像素)，穿刺靶血管的自動(dòng)定位即獲取穿刺中分線上血管的位置信息。系統(tǒng)通過判斷血管的中心與超聲探頭的中分線的距離，確定血管是否為靶血管。系統(tǒng)對(duì)判斷結(jié)果進(jìn)行標(biāo)注，計(jì)算穿刺靶血管的物理位置，且給出適當(dāng)?shù)奶崾尽?/p>

圖6 PICC人工穿刺示意圖

Fig6PICCartificialpuncture

圖7 智能穿刺示意圖

Fig7Intelligentpuncture

圖8 靜脈留置針穿刺示意圖

當(dāng)某一血管的中心與超聲探頭的中分線在靜脈超聲圖像上的距離小于5像素時(shí)，在人機(jī)交互界面上顯示：“找到靶血管，且該靶血管符合穿刺要求”；當(dāng)所有血管的中心與超聲探頭的中分線的距離均大于5像素，且若某一血管的中心與超聲探頭的中分線在靜脈超聲圖像上的距離小于20像素時(shí)，提示：“找到靶血管，但該靶血管不滿足穿刺要求，請(qǐng)移動(dòng)超聲探頭，使血管的中心位于超聲探頭的中分線上”；若所有血管的中心與超聲探頭的中分線在靜脈超聲圖像上的距離均大于20像素時(shí)，提示“未找到符合條件的靶血管，請(qǐng)移動(dòng)超聲探頭位置以尋找靶血管”。

確定穿刺靶血管后，結(jié)合靜脈超聲圖像的成像比例尺，計(jì)算穿刺靶血管的物理位置。

3.2 穿刺點(diǎn)智能定位

穿刺靶血管自動(dòng)定位后，定位信息發(fā)送至機(jī)械手臂控制器，控制器調(diào)整穿刺角度。針對(duì)不同深度的靶血管，有3種固定的穿刺角度：靶血管深度位于0.5 cm附近，穿刺角度為55°；深度位于1.0 cm附近，穿刺角度為45°；深度位于1.5 cm附近，穿刺角度為35°。

圖8為靜脈留置針穿刺示意圖，超聲探頭與靶血管軸線方向相切，已知留置針的穿刺角度，穿刺靶血管的物理位置，便可確定留置針穿刺點(diǎn)在皮膚上的位置(AC)以及留置針的進(jìn)針距離，從而機(jī)械手臂驅(qū)動(dòng)留置針自動(dòng)穿刺。

4 試驗(yàn)

4.1 檢測(cè)方法對(duì)比

為測(cè)試深度學(xué)習(xí)方法對(duì)血管識(shí)別的有效性，本研究將其與傳統(tǒng)的基于機(jī)器學(xué)習(xí)的HAAR特征+級(jí)聯(lián)Adaboost、LBP特征+級(jí)聯(lián)Adaboost、HOG特征+SVM三種檢測(cè)算法進(jìn)行對(duì)比。

在相同訓(xùn)練樣本的條件下，LBP+級(jí)聯(lián)Adaboost的虛警率高，不利于后續(xù)篩選穿刺靶血管；HOG+SVM的虛警率較低，但對(duì)血管的定位不夠精準(zhǔn)，不利于量化管徑和深度；HAAR+級(jí)聯(lián)Adaboost虛警率較低，且對(duì)血管的定位較準(zhǔn)確。從對(duì)穿刺靶血管的召回和IOU兩方面對(duì)比基于HAAR+級(jí)聯(lián)Adaboost和Faster RCNN的血管檢測(cè)器的檢測(cè)效果，其中IOU為檢測(cè)框與人工標(biāo)記框的交集比上兩者的并集。結(jié)果顯示，基于Faster RCNN的血管檢測(cè)器在召回和IOU兩方面的效果均優(yōu)于傳統(tǒng)的檢測(cè)方法。

4.2 靶血管定位

基于深度學(xué)習(xí)的超聲圖像中靶血管自動(dòng)檢測(cè)效果見表1，偏離穿刺中分線的非穿刺靶血管用虛線標(biāo)注，穿刺靶血管用實(shí)線框標(biāo)注，并給出適當(dāng)?shù)娜藱C(jī)交互提示信息。

4.3 智能穿刺試驗(yàn)

在血管超聲訓(xùn)練體膜上反復(fù)進(jìn)行穿刺試驗(yàn)，驗(yàn)證了智能定位穿刺點(diǎn)的可靠性以及智能穿刺的有效性。通過倫理答辯后，臨床上進(jìn)行了10例穿刺試驗(yàn)，試驗(yàn)對(duì)象是經(jīng)歷過一次人工穿刺失敗的患者。智能穿刺成功8例，失敗的2例中一位患者有暈針癥狀，扎針后血管收縮嚴(yán)重，另一位患者血管內(nèi)成像條件較差導(dǎo)致進(jìn)針后針尖顯影不明顯，雖有回血但無法判斷針尖停留的具體位置。

表1血管檢測(cè)器對(duì)不同條件血管的檢測(cè)效果表

Table1Bloodvesseldetectoronthedifferentconditionsofbloodvesselsdetectionresults

成像描述原始ROI圖像檢測(cè)結(jié)果提示信息靶血管定位(R,H)血管內(nèi)成像差找到靶血管,且該靶血管符合穿刺要求R:0.181 cmH:0.80 cm多根血管找到靶血管,且該靶血管符合穿刺要求R:0.154 cmH:1.72 cm血管壁不清晰找到靶血管,且該靶血管符合穿刺要求R:0.179 cmH:1.62 cm血管融合找到靶血管,且該靶血管符合穿刺要求R:0.160 cmH:0.51 cm血管偏離未找到符合條件的靶血管,請(qǐng)移動(dòng)超聲探頭位置以尋找靶血管———

5 結(jié)束語

本研究基于深度學(xué)習(xí)算法設(shè)計(jì)一套靜脈留置針穿刺點(diǎn)智能定位方法，進(jìn)而實(shí)現(xiàn)智能穿刺。雖在體膜上反復(fù)試驗(yàn)證實(shí)方案有效，但智能穿刺有待于與人工穿刺進(jìn)行大量的臨床試驗(yàn)對(duì)比，此外可以考慮實(shí)時(shí)跟蹤穿刺過程，保證穿刺成功率。