尚尚，林思劼，郭偉新，叢豐裕

1.大連理工大學(xué) 電子信息與電氣工程學(xué)部 生物醫(yī)學(xué)工程學(xué)院，遼寧 大連 116024；2.同濟(jì)大學(xué) a.環(huán)境科學(xué)與工程學(xué)院 環(huán)境科學(xué)系 教育部長江水環(huán)境重點(diǎn)實(shí)驗(yàn)室；b.電子與信息工程學(xué)院，上海 200092

引言

光學(xué)顯微鏡在生物醫(yī)學(xué)研究和臨床疾病診斷中應(yīng)用廣泛。顯微鏡的生產(chǎn)廠商一般會(huì)提供與設(shè)備相配套的數(shù)字圖像處理軟件，一些第三方軟件公司也會(huì)提供專用的光學(xué)顯微影像處理軟件。這些軟件雖然提供了豐富的圖像處理功能，卻未能集成近年來新興的深度學(xué)習(xí)圖像分析功能。最新的設(shè)備可能自帶深度神經(jīng)網(wǎng)絡(luò)的軟件功能，但新設(shè)備往往價(jià)格昂貴，且需要配備高性能計(jì)算機(jī)，不適合中小規(guī)模的醫(yī)院或科研單位。此外，我國廣大企業(yè)、醫(yī)院和高校對人工智能（Artificial Intelligence，AI）圖像處理有著各自的訂制化需求，單一的廠商軟件難以滿足千差萬別的用戶需求，因此需要開發(fā)低成本、訂制化的AI硬件設(shè)備。目前，我國光學(xué)顯微鏡裝機(jī)量龐大，如果能夠?qū)⑿屡d的深度學(xué)習(xí)算法與大量已安裝的光學(xué)顯微鏡相結(jié)合，則可實(shí)現(xiàn)用AI賦能現(xiàn)有設(shè)備，使之與傳統(tǒng)的光學(xué)顯微鏡設(shè)備相結(jié)合，推動(dòng)光學(xué)顯微鏡在醫(yī)療和科研中的升級應(yīng)用。

近年來，深度神經(jīng)網(wǎng)絡(luò)在圖像處理、語音分析、自動(dòng)駕駛等領(lǐng)域取得了廣泛應(yīng)用[1-6]。由于深度神經(jīng)網(wǎng)絡(luò)具有高計(jì)算復(fù)雜度、高功耗的特征，限制了其在便攜式設(shè)備中的應(yīng)用。這個(gè)問題的解決方法之一是將數(shù)據(jù)傳輸?shù)皆贫朔?wù)器進(jìn)行處理，再將處理結(jié)果發(fā)送到終端設(shè)備，但是這種方法對數(shù)據(jù)傳輸速度提出了較高要求，而且租用云端服務(wù)器也會(huì)帶來額外費(fèi)用成本，不太適合中小型醫(yī)院或科研單位。另一種解決辦法是將深度神經(jīng)網(wǎng)絡(luò)部署在便攜式終端計(jì)算設(shè)備，但是便攜式設(shè)備對算力和功耗有限制，無法運(yùn)行過于復(fù)雜的神經(jīng)網(wǎng)絡(luò)。為解決這一問題，目前大致有兩種思路，其一是設(shè)計(jì)小型化、高性能的神經(jīng)網(wǎng)絡(luò)，但研發(fā)難度較大且無法滿足千差萬別的用戶需求；其二是開發(fā)可運(yùn)行中小型神經(jīng)網(wǎng)絡(luò)的通用嵌入式設(shè)備，如果能夠做到成本低廉且性能較好，則可以運(yùn)行各種訂制開發(fā)的神經(jīng)網(wǎng)絡(luò)，具有較好的可推廣性。在現(xiàn)有的嵌入式計(jì)算設(shè)備中，F(xiàn)PGA（Field Programmable Gate Array）提供了部署深度神經(jīng)網(wǎng)絡(luò)的方案。FPGA在單位能耗下性能較強(qiáng)，適用于資源有限的嵌入式應(yīng)用[7]。專用于深度學(xué)習(xí)的芯片[8]也是一種解決方案，例如谷歌的張量處理單元（Tensor Processing Unit，TPU）[9]，對于特定的任務(wù)場景下具有高效率、低能耗的特點(diǎn)。

考慮到我國大量顯微鏡用戶千差萬別的個(gè)性化需求，本研究通過權(quán)衡深度神經(jīng)網(wǎng)絡(luò)的精度、速度和能耗指標(biāo)，選擇Nvidia公司便攜式AI硬件平臺Jetson TX2部署深度神經(jīng)網(wǎng)絡(luò)[10]，并將該系統(tǒng)與傳統(tǒng)的數(shù)字光學(xué)顯微鏡相結(jié)合，實(shí)現(xiàn)對斑馬魚卵顯微圖像中不同魚卵發(fā)育類型的分類檢測，從包含大量魚卵的圖像中迅速識別受精、未受精、死亡魚卵，為臨床前藥物實(shí)驗(yàn)提供圖像分析支持[11-14]。本研究所構(gòu)建的系統(tǒng)可達(dá)到3幀/s的圖像處理速度，設(shè)備購置成本控制在3000元以內(nèi)，不僅適用于斑馬魚卵的顯微圖像處理，對于其他類型光學(xué)顯微圖像的AI分析也具有良好借鑒價(jià)值。

1 方法

1.1 整體流程

本研究以斑馬魚卵圖像的自動(dòng)化分類應(yīng)用為例，使用便攜式計(jì)算設(shè)備加載深度神經(jīng)網(wǎng)絡(luò)并將其與傳統(tǒng)數(shù)字光學(xué)顯微鏡相結(jié)合，實(shí)現(xiàn)了對傳統(tǒng)顯微鏡的低成本AI賦能。在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練階段，首先采用傳統(tǒng)數(shù)字光學(xué)顯微鏡采集得到斑馬魚卵圖像，經(jīng)過人工圖像標(biāo)注在高性能計(jì)算機(jī)工作站上完成深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練，再將訓(xùn)練好的網(wǎng)絡(luò)下載到便攜式計(jì)算設(shè)備中。在應(yīng)用階段，裝載了深度神經(jīng)網(wǎng)絡(luò)的便攜式設(shè)備從顯微鏡所連的計(jì)算機(jī)中導(dǎo)入新采集的圖像并完成分析，再將分析結(jié)果傳回計(jì)算機(jī)供用戶查看。本方法的整體流程如圖1所示。

圖1 系統(tǒng)的配置過程和應(yīng)用流程

本研究對斑馬魚卵施加了化學(xué)藥物，經(jīng)藥物作用后的魚卵可能處于受精、未受精或死亡狀態(tài)。其中，受精的魚卵的月芽形細(xì)胞群部分是渾濁的，未受精的魚卵月芽形細(xì)胞群部分是澄清的，而死亡的魚卵則會(huì)呈現(xiàn)不規(guī)則的暗色斑塊。通過檢測處于不同狀態(tài)的魚卵數(shù)目比例，可以對藥物的毒性給予評估。由于圖像中魚卵眾多，人工辨識的工作量很大，因此需要自動(dòng)化的計(jì)算機(jī)算法來完成這一任務(wù)。圖2展示了所處理的斑馬魚卵圖像。

圖2 斑馬魚卵顯微圖像以及各種類別魚卵示例

1.2 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

本研究采用Faster R-CNN（Region Convolutional Network）[15]網(wǎng)絡(luò)實(shí)現(xiàn)不同狀態(tài)魚卵的檢測。Faster R-CNN是用于目標(biāo)檢測與定位領(lǐng)域的專用深度神經(jīng)網(wǎng)絡(luò)，其整體網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，本研究基本延用了經(jīng)典的Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)。圖像被輸入網(wǎng)絡(luò)后，通過5個(gè)卷積層和3個(gè)全連接層提取全圖范圍的分類特征圖。得到的特征圖被輸入?yún)^(qū)域提議網(wǎng)絡(luò)獲取各類魚卵區(qū)域的初始坐標(biāo)范圍和初始分類結(jié)果，然后根據(jù)初始坐標(biāo)范圍提取每個(gè)區(qū)域的局部特征圖并輸入給全連接網(wǎng)絡(luò)和進(jìn)一步的分類層和回歸層，最終得到對每個(gè)魚卵的分類結(jié)果和區(qū)域坐標(biāo)范圍。受篇幅所限，關(guān)于Faster R-CNN網(wǎng)絡(luò)原理的介紹請讀者參見文獻(xiàn)[15]。

圖3 本研究所采用的Faster R-CNN網(wǎng)絡(luò)的結(jié)構(gòu)圖

本研究隨機(jī)選取了59幅斑馬魚卵顯微圖像作為Faster R-CNN網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集，其中50用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，9幅用于對網(wǎng)絡(luò)的性能做獨(dú)立驗(yàn)證。采用人工標(biāo)記的方式從訓(xùn)練數(shù)據(jù)中標(biāo)注了938個(gè)魚卵的正方形包圍盒，并標(biāo)注了每個(gè)魚卵的狀態(tài)（受精、未受精或死亡）。在此基礎(chǔ)上，進(jìn)一步對所標(biāo)注的938個(gè)魚卵進(jìn)行數(shù)據(jù)擴(kuò)增處理，通過圖像旋轉(zhuǎn)（以5°角為步長旋轉(zhuǎn)70次）得到938×70=65660個(gè)魚卵，從而增加了訓(xùn)練數(shù)據(jù)的數(shù)目。擴(kuò)增后魚卵均用來訓(xùn)練Faster-RCNN神經(jīng)網(wǎng)絡(luò)，其中訓(xùn)練（Training）數(shù)據(jù)49245例，驗(yàn)證（Validation）數(shù)據(jù)16415例，即訓(xùn)練與驗(yàn)證集的比例為3:1。9幅測試（Testing）圖像中共包含魚卵461個(gè)，經(jīng)過專家標(biāo)識出受精卵349個(gè)，相當(dāng)于未經(jīng)數(shù)據(jù)擴(kuò)增之前的訓(xùn)練用魚卵數(shù)目（938個(gè)）的一半，其中未受精卵85個(gè)、死亡魚卵27個(gè)作為金標(biāo)準(zhǔn)。本研究邀請一位具有三年斑馬魚顯微影像研究經(jīng)驗(yàn)的專業(yè)人員依據(jù)領(lǐng)域內(nèi)著作做出金標(biāo)準(zhǔn)的標(biāo)定[16]，其標(biāo)定結(jié)果再由一位十年以上專業(yè)經(jīng)驗(yàn)的資深專家復(fù)審確定。

由于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練并不需要在便攜式設(shè)備上進(jìn)行，因此Faster R-CNN網(wǎng)絡(luò)的訓(xùn)練是在計(jì)算能力較強(qiáng)的計(jì)算機(jī)工作站上進(jìn)行的，該工作站配備2.4 GHz四核心CPU和87 GB的內(nèi)存以及擁有8 GB顯存的NVIDIA Qudro k4000型號圖形處理單元（Graphics Processing Unit，GPU）。該服務(wù)器運(yùn)行Ubuntu版本的Linux操作系統(tǒng)，并為了運(yùn)行Faster R-CNN配置了Caffee2深度學(xué)習(xí)環(huán)境。

1.3 便攜式計(jì)算設(shè)備的配置

訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)被下載到Jetson TX2便攜式計(jì)算設(shè)備中。Jetson TX2是英偉達(dá)（NVIDIA）公司開發(fā)的便攜式AI平臺，外形小巧（50 mm×87 mm），整體功耗低于7.5 W，具有6個(gè)CPU核心、8 GB內(nèi)存、256個(gè)GPU核心，適用于機(jī)器人、無人機(jī)、智能攝像機(jī)和便攜醫(yī)療式設(shè)備等智能終端設(shè)備。本研究為Jetson TX2設(shè)備安裝了Ubuntu版本的Linux操作系統(tǒng)，并在該操作系統(tǒng)基礎(chǔ)上進(jìn)一步配置了與訓(xùn)練工作站相同的Caffe2深度學(xué)習(xí)環(huán)境，因此下載到Jetson TX2的神經(jīng)網(wǎng)絡(luò)無需額外調(diào)整即可正常運(yùn)行，從而為深度神經(jīng)網(wǎng)絡(luò)的移植提供了便利。

完成了Faster R-CNN網(wǎng)絡(luò)向便攜式計(jì)算設(shè)備的移植后，進(jìn)一步通過無線局域網(wǎng)將Jetson TX2與操控?cái)?shù)字顯微鏡的計(jì)算機(jī)相連接。由于Jetson TX2本質(zhì)上是一臺Linux計(jì)算機(jī)，因此可通過常規(guī)的安全外殼協(xié)議軟件（Secure Shell，即SSH）或者其他各種遠(yuǎn)程登錄方法實(shí)現(xiàn)PC機(jī)對Jetson TX2的遠(yuǎn)程控制和文件傳輸，并遠(yuǎn)程調(diào)用Jetson TX2中的Faster R-CNN網(wǎng)絡(luò)完成對傳入圖像的處理，得到不同類別魚卵的檢測結(jié)果（包括對不同類別魚卵的標(biāo)記圖以及各類魚卵數(shù)目）再傳回PC機(jī)供用戶查看。圖4為整個(gè)系統(tǒng)的硬件配置圖，可以看到Jetson TX2設(shè)備的尺寸較小，可以方便地放置在顯微鏡的操作電腦旁。設(shè)備僅需連接電源并連入室內(nèi)無線局域網(wǎng)，額外占用空間很小。

圖4 系統(tǒng)的硬件配置圖

2 結(jié)果

為評估系統(tǒng)的性能，本研究使用光學(xué)顯微鏡采集了9幅斑馬魚卵圖像作為測試圖像，所采用的顯微鏡型號是Olympus SZ61，光源為LED冷光透射照明。圖像采集視野為200 mm×150 mm、8倍放大倍數(shù)，采集圖片保存為jpeg格式，每張圖片同時(shí)包含受精、未受精和死亡的魚卵。采用所搭建的系統(tǒng)對9幅測試用斑馬魚卵圖像進(jìn)行了深度神經(jīng)網(wǎng)絡(luò)檢測，進(jìn)一步測量了魚卵的檢測精度、速度，并將該系統(tǒng)的運(yùn)行精度與速度與高性能工作站進(jìn)行對比。

2.1 顯微圖像檢測結(jié)果

經(jīng)過測試，所有魚卵均被成功檢測到，沒有漏掉的魚卵。由于本研究所處理的斑馬魚卵圖像背景相對單純，視野中除了魚卵不包含其它干擾物體，因此檢出的精確度和召回率都是100%，這主要?dú)w功于實(shí)驗(yàn)條件的控制。對于將來可能遇到的包含了干擾物的斑馬魚卵顯微圖像，應(yīng)該根據(jù)具體情況設(shè)計(jì)和訓(xùn)練專用的神經(jīng)網(wǎng)絡(luò)，暫不作為本文現(xiàn)階段研究內(nèi)容。圖5展示了本研究所搭建系統(tǒng)對斑馬魚卵顯微圖像的檢測結(jié)果，系統(tǒng)成功標(biāo)記各類魚卵的區(qū)域，并給出了每個(gè)魚卵的分類概率。

圖5 斑馬魚卵顯微圖像的檢測結(jié)果

進(jìn)一步地，本研究采用靈敏度（Sensitivity）和特異性（Specificity）來定量衡量每一類魚卵的檢測效果。圖6展示了三類魚卵檢測的混淆矩陣，其中每一列代表了被算法檢測到的類別，每一行代表了金標(biāo)準(zhǔn)的真實(shí)類別，第i行第j列中的數(shù)字代表了真實(shí)類別i被檢測為類別j的樣本數(shù)目?；谠摶煜仃?，靈敏度被定義為Sensitivity=NTP/(NTP+NFN)，特異性被定義為Specificity=NTN/(NTN+NFP)，其中NTP、NTN、NFP和NFN分別代表真陽性、真陰性、假陽性和假陰性識別的魚卵個(gè)數(shù)。表1列出了不同類別魚卵的靈敏度和特異性。

圖6 三類斑馬魚卵檢測結(jié)果的混淆矩陣

表1 不同類別斑馬魚卵檢測準(zhǔn)確率（%）

由表1可見，F(xiàn)aster R-CNN網(wǎng)絡(luò)對于各種類別魚卵的檢測特異性都較好（均在0.90以上），而敏感度略低于特異性，但也在0.88以上。通過分析混淆矩陣可知，敏感度略低的原因在于網(wǎng)絡(luò)對于受精與未受精這兩類魚卵有一定的混淆錯(cuò)誤，因?yàn)檫@兩類魚卵的區(qū)別僅在于月牙形細(xì)胞群部分是否澄清，而這一部分的面積占整個(gè)魚卵的三分之一以下，給準(zhǔn)確區(qū)分帶來一定挑戰(zhàn)。相比之下，死亡與未死亡（包括受精和未受精）魚卵之間的錯(cuò)誤分類則較少，這是因?yàn)樗劳鲷~卵呈現(xiàn)整體性的暗色斑塊，相對容易區(qū)分。

在檢測效率方面，系統(tǒng)對于3072×1728像素尺寸的圖片的檢測速度為0.31～0.34 s/幅，相當(dāng)于3 FPS（每秒幀率，F(xiàn)rame Per Second）的檢測速度?？紤]到斑馬魚卵顯微圖像的采集效率一般為若干分鐘一幅，本系統(tǒng)的檢測效率可以滿足真實(shí)應(yīng)用環(huán)境的速度需求。

2.2 與高性能工作站的對比

在上述檢測實(shí)驗(yàn)基礎(chǔ)上，研究進(jìn)一步對比了便攜式計(jì)算設(shè)備與高性能工作站的檢測性能。這里所采用的高性能工作站與訓(xùn)練神經(jīng)網(wǎng)絡(luò)的工作站為同一臺設(shè)備，硬件配置為CPU主頻2.4 GHz、內(nèi)存87 GB、GPU顯存8 GB。使用該工作站運(yùn)行相同的神經(jīng)網(wǎng)絡(luò)處理相同的測試圖像，得到的各類魚卵識別準(zhǔn)確率與表1相同，測試速度可達(dá)到15 FPS的檢測速度。然而，由于高性能工作站不能裝配在顯微鏡所處的實(shí)驗(yàn)室房間內(nèi)，需要將圖像拷貝至工作站再運(yùn)行神經(jīng)網(wǎng)絡(luò)程序，反而增加了額外的數(shù)據(jù)拷貝時(shí)間。

3 討論

本研究提出了一種新式的、低成本的、可操作性強(qiáng)的傳統(tǒng)光學(xué)顯微鏡AI賦能方法，借助便攜式計(jì)算設(shè)備運(yùn)行深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了顯微鏡圖像的AI分析，避免了因軟硬件設(shè)備升級帶來的高額成本支出，為不同用戶訂制化的分析需求提供了技術(shù)方案。本方案僅需不足3000元的便攜式計(jì)算設(shè)備購置成本，明顯低于購置計(jì)算機(jī)工作站的成本，并且可以將設(shè)備安放在顯微鏡旁側(cè)供用戶隨時(shí)使用。這種傳統(tǒng)顯微鏡設(shè)備的AI賦能方案適用于我國已經(jīng)安裝的大量光學(xué)顯微鏡，可推廣性較好。

本文以斑馬魚卵的檢測和分類為應(yīng)用案例驗(yàn)證了所提出方案的可行性。系統(tǒng)對于受精、未受精和死亡魚卵的檢測敏感度和特異性較好，并且達(dá)到了3 FPS的實(shí)時(shí)檢測效率。相比高性能的計(jì)算機(jī)工作站，便攜式計(jì)算設(shè)備的檢測精度一致，只有檢測速度略低，但仍達(dá)到了每秒多幅的檢測效率。這種檢測速度對于普通的醫(yī)療單位和科研機(jī)構(gòu)是完全夠用的。

相比于高性能的工作站，便攜式計(jì)算設(shè)備的一個(gè)局限性在于不能運(yùn)行大規(guī)模的神經(jīng)網(wǎng)絡(luò)或處理較大尺寸的圖像數(shù)據(jù)（如三維醫(yī)學(xué)影像）。本研究所采用的Jetson TX2設(shè)備的內(nèi)存為8 GB，該內(nèi)存被CPU和GPU共享，用于處理傳統(tǒng)的數(shù)字光學(xué)顯微鏡所采集的圖像尺寸（3072×1728像素）是足夠的。實(shí)驗(yàn)證明，對于像Faster R-CNN這樣規(guī)模的神經(jīng)網(wǎng)絡(luò)，Jetson TX2設(shè)備完全可以承載，而這種網(wǎng)絡(luò)已經(jīng)可以滿足很多應(yīng)用場景的物體檢測需求。近年來，更小規(guī)模的物體檢測網(wǎng)絡(luò)不斷被提出[17-20]，便攜式計(jì)算設(shè)備的內(nèi)存和運(yùn)算能力也在不斷提高，因此本研究所提出的方案還有較大的性能提升空間。

本研究雖然以斑馬魚卵顯微圖像為測試數(shù)據(jù)，但是所提出的方案也適用于其他類別的生物醫(yī)學(xué)顯微圖像，比如人體或動(dòng)物的細(xì)胞或組織，因此本文方法對于其他光學(xué)顯微鏡的應(yīng)用場景也有借鑒價(jià)值。需要說明的是，對于不同的用戶應(yīng)用場景，應(yīng)該訓(xùn)練不同的專用網(wǎng)絡(luò)。對于一般的醫(yī)療和生物醫(yī)學(xué)研究機(jī)構(gòu)，神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和訓(xùn)練需要聘請專業(yè)的技術(shù)人員或與科研單位合作。目前各大技術(shù)企業(yè)提供的云端AI系統(tǒng)正變得越來越廉價(jià)易用[21]，技術(shù)門檻正在逐步降低，以至于沒有理工科背景的用戶也能方便使用。由于Jetson TX2采用通用的計(jì)算機(jī)構(gòu)架，可以在不改變硬件配置的前提下運(yùn)行不同的神經(jīng)網(wǎng)絡(luò)，這也是本文方法可推廣性較好的原因之一。

目前，國內(nèi)外也有其它嵌入式AI硬件系統(tǒng)可以用來解決類似問題。一些技術(shù)企業(yè)和科研機(jī)構(gòu)開發(fā)了專用的AI芯片[8-9]。但是，由于專用芯片設(shè)計(jì)成本高，不適用于現(xiàn)有傳統(tǒng)顯微鏡設(shè)備的升級改造。另外，基于FPGA的神經(jīng)網(wǎng)絡(luò)應(yīng)用近年來也取得快速進(jìn)步[7]，但其技術(shù)門檻高于本研究提出的方案，需要掌握FPGA編程技能。相比之下，本方案僅需要掌握在Linux或windows操作系統(tǒng)下訓(xùn)練和運(yùn)行神經(jīng)網(wǎng)絡(luò)算法的技能即可。當(dāng)然，Jetson TX2設(shè)備相比專門的AI芯片或FPGA設(shè)備的運(yùn)行效率會(huì)更低，因此我們將其應(yīng)用于光學(xué)顯微鏡圖像處理這種對計(jì)算效率要求不高的需求場景。

在將來的研究中，我們會(huì)進(jìn)一步嘗試設(shè)計(jì)和使用更小規(guī)模的神經(jīng)網(wǎng)絡(luò)，以便提高系統(tǒng)的檢測效率。我們還將進(jìn)一步推廣該系統(tǒng)至更多的醫(yī)療和科研單位，推進(jìn)AI技術(shù)與傳統(tǒng)光學(xué)顯微鏡設(shè)備的結(jié)合。

4 結(jié)論

本研究針對傳統(tǒng)光學(xué)顯微鏡的AI賦能問題提出了一種基于便攜式計(jì)算設(shè)備的低成本解決方法，并以斑馬魚卵顯微圖像的分類檢測應(yīng)用為例驗(yàn)證了該方法的可行性。本研究所提出的技術(shù)方案有助于促進(jìn)深度學(xué)習(xí)技術(shù)在中小規(guī)模醫(yī)療和科研單位中的應(yīng)用，推動(dòng)新興AI技術(shù)在生物醫(yī)學(xué)研究中的普及。