郭玉彬，林欣穎，曾曉銀，孫 堅，李西明

（1.華南農(nóng)業(yè)大學數(shù)學與信息學院，廣東 廣州 510642；2.華南農(nóng)業(yè)大學獸醫(yī)學院，廣東 廣州 510642）

【研究意義】目前我國乃至全世界動物源細菌存在耐藥現(xiàn)象十分普遍，多重耐藥、泛耐藥的菌株不斷出現(xiàn)，給公共衛(wèi)生和食品安全造成了很大威脅［1-2］。實現(xiàn)耐藥性控制的前提條件是實時、準確地進行細菌的耐藥性監(jiān)測。目前耐藥監(jiān)測的主要手段是對采樣細菌進行藥物敏感性試驗，再利用試驗結果獲取監(jiān)測范圍內(nèi)致病菌感染發(fā)生率及耐藥動態(tài)。而這些結果是動態(tài)預測耐藥趨勢及抗菌藥物治療效果、指導臨床用藥、研究耐藥機理的依據(jù)，同時也為政府耐藥性監(jiān)管、新藥研發(fā)等工作提供支持［3］。細菌藥物敏感性試驗（antimicrobial susceptibility test，AST），簡稱藥敏試驗，是一種定量測定微生物對抗菌藥物耐受程度的方法［2-8］。目前我國大部分養(yǎng)殖場，特別是中小型養(yǎng)殖場使用最多的AST試驗方法是微量肉湯稀釋法［2,6］。因此，研究提高藥敏試驗結果判讀效率具有重要意義?！厩叭搜芯窟M展】微量肉湯稀釋法主要過程是將分離培養(yǎng)后的菌株加入已配置不同濃度藥劑的微孔板試劑盒的各個微孔中，孵育一段時間后，通過觀察試劑盒中微孔的顏色或渾濁度變化來確定最低抑菌濃度（minimal inhibitory concentration，MIC）。目前，多數(shù)實驗室通過實驗人員肉眼觀察來確定細菌MIC值。雖然近年國內(nèi)外市場已出現(xiàn)了一些基于微量肉湯稀釋法的自動快速檢測系統(tǒng)，但儀器價格昂貴、試驗條件要求復雜，無法支持我國基層的養(yǎng)殖場，特別是中小型養(yǎng)殖戶批量測試的需求。而人工讀取數(shù)據(jù)的方法效率低，且對實驗人員眼力、體力是一個嚴重考驗，無法長時間連續(xù)工作。近年來人工智能技術的突破引領計算機視覺的飛速發(fā)展，物體識別問題已初步解決，例如，ImageNet挑戰(zhàn)賽的物體識別正確率已經(jīng)達到人類水平。這方面研究成果正大規(guī)模應用于人們生產(chǎn)、生活場景，如刷臉支付、視頻/監(jiān)控分析等［9-11］?！颈狙芯壳腥朦c】本研究將卷積神經(jīng)網(wǎng)絡在物體識別方面的研究成果應用于藥敏試驗中結果的判讀，首先利用手機等設備采集藥敏試驗結果圖像，再利用卷積神經(jīng)網(wǎng)絡進行試驗結果識別，最終通過微孔坐標和藥物濃度分布計算得出細菌耐藥試驗的MIC值?！緮M解決的關鍵問題】本研究選擇在圖像分類領域表現(xiàn)優(yōu)異的Inception_V4模型和MobileNet_V1模型進行藥敏試驗結果識別，通過對比分析選擇更適合試驗環(huán)境的卷積神經(jīng)網(wǎng)絡進行試驗結果圖像識別，提高MIC值計算的精度和判讀效率。

1 研究基礎

1.1 藥敏試驗

微量肉湯稀釋法是目前最常用的藥敏試驗方法。該法采用96孔微量梯度稀釋藥敏板（簡稱96孔板），對每個微孔按順序添加不同濃度的多種藥物，用于測量某種細菌對指定藥物的MIC值［4］。藥敏試驗結果中粉紅色的圓孔代表有細菌生長，深藍色或紫色的圓孔代表無細菌生長。由于高濃度的微孔中細菌不易生長而較低濃度的微孔中細菌容易生長，而且同一種藥物的微孔從高濃度至低濃度按順序排列，因此正常情況下微孔的顏色排列從藍色逐漸變?yōu)榉凵５谝粋€出現(xiàn)的粉色微孔的前一個紫色微孔對應的藥物濃度即為所測細菌對所測藥物的MIC值。如果出現(xiàn)同一種藥物相鄰微孔顏色從粉色突變?yōu)樗{色，或出現(xiàn)其他漸變的顏色排列，則認為發(fā)生“跳孔”現(xiàn)象，無法獲得正確的MIC值，需要重新試驗。

1.2 卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡能夠?qū)υ紙D像進行層次化抽象處理，自行抽取圖像的特征包括顏色、紋理、形狀等，從而取代手工選擇圖像特征的繁重工作［12］。與傳統(tǒng)的神經(jīng)網(wǎng)絡相比，卷積神經(jīng)網(wǎng)絡具有適用性強、泛化能力強、全局優(yōu)化訓練參數(shù)少等優(yōu)點［13］。卷積神經(jīng)網(wǎng)絡的結構一般為輸入層-卷積層-池化層-卷積層-池化層-全連接層-輸出層。其中輸入層是整個神經(jīng)網(wǎng)絡的輸入，在處理圖像的卷積神經(jīng)網(wǎng)絡中，它是指圖片的像素矩陣。卷積層通過深入分析神經(jīng)網(wǎng)絡中的每一個小塊獲取抽象程度更高的特征。池化層對卷積層輸出的特征圖傳遞進行特征選擇和信息過濾。在多輪卷積層和池化層處理后，一般會由1個或2個全連接層來總結之前的特征并將其映射到樣本空間中。輸出層使用邏輯函數(shù)或歸一化指數(shù)函數(shù)輸出計算結果［10,12］。

1.3 Inception_V4網(wǎng)絡模型

Inception網(wǎng)絡源于2014年ILSVRC競賽冠軍神經(jīng)網(wǎng)絡GoogleNet（Inception_V1），Inception_V4是目前應用最廣泛的版本。Inception_V4網(wǎng)絡結構（圖1）中的stem模塊由多個卷積層和池化層組成，其作用是預處理數(shù)據(jù)。stem模塊連 接3種Inception模 塊，3種Inception模 塊 間的Reduction模塊起到池化作用。Inception-A模塊使用兩個3×3卷積，并且使用平均池化，主要處理35×35的特征圖。Inception-B模塊使用1×N和N×1卷積，同樣使用平均池化，主要處理17×17的特征圖。Inception-C模塊用1×3卷積和3×1卷積。

圖1 Inception_V4網(wǎng)絡結構Fig.1 Convolutional neural network model of Inception_V4

1.4 MobileNet_V1網(wǎng)絡模型

MobileNet分類網(wǎng)絡是Google研究團隊針對嵌入式設備提出的一種輕量級的深度神經(jīng)網(wǎng)絡。MobileNet模型基于深度可分解的卷積，將標準卷積分解為1個深度卷積和1個點卷積（1×1卷積核）。這種分解使計算時間減少為分解前的1/9，計算參數(shù)減少為分解前的1/7。深度卷積層的每個濾波器都跟輸入的每個通道進行卷積，點卷積層負責合并深度卷積層的結果［14］。標準卷積分解如圖2所示。

圖2 標準卷積分解過程Fig.2 Decomposition process of standard convolution

MobileNet_V1的網(wǎng)絡結構如表1所示。Moblienet_V1模型第一層為全卷積層，接著是13對深度卷積層和點卷積層組合，接下來是池化層、全連接層以及softmax層，共30層。所有層都包含批規(guī)格化操作且使用ReLU非線性激活函數(shù)，除了全連接層沒有非線性激活函數(shù)直接送入softmax層進行分類。

2 試驗設計與實現(xiàn)

國家獸醫(yī)微生物耐藥性風險評估實驗室是國家發(fā)改委、農(nóng)業(yè)部批準立項的國家重點實驗室。畜禽重要病原菌耐藥性監(jiān)測是該實驗室的一項重要工作，目前已積累從全國各省養(yǎng)殖場獲取并分離到的細菌4萬多株，且每年新增畜禽樣品1萬多個、新分離細菌2 000株左右。在藥敏監(jiān)測工作中，已保存大量藥敏監(jiān)測信息，包括樣品、菌株、藥品、藥敏板圖像和試驗結果等信息。本研究依托該實驗室開展。

首先對藥敏試驗圖像進行校正、增強、切割形成適合卷積神經(jīng)網(wǎng)絡訓練和驗證的試驗數(shù)據(jù)集。試驗數(shù)據(jù)集中每張圖像是1個微孔圖像。標簽分有菌、無菌兩類，依據(jù)人工判讀的試驗結果為每張圖片設置標簽。

目前業(yè)界開發(fā)了許多成熟的深度學習框架包 括Tensorflow［15］、Caffe［16］、PyTorch［17］等，這些框架推動了機器學習和深度神經(jīng)網(wǎng)絡研究，同時更方便將卷積神經(jīng)網(wǎng)絡等模型應用于更多專業(yè)領域，引領、帶動了應用的發(fā)展。本研究選擇Tensorflow中用來構建、訓練、評估復雜模型的輕量化庫TF-Slim來開展試驗工作。圖像識別采用Inception_V4和MobileNet_V1兩種神經(jīng)網(wǎng)絡模型，兩個模型來自TF-Slim。對兩個模型分別進行模型訓練、圖像識別，目標是挑選對藥敏試驗結果識別準確率、效率都比較高的模型。對識別結果結合96孔板藥物濃度排列對照計算得到藥敏試驗的MIC值結果，并依據(jù)對獲取的MIC值與人工判別結果進行對比，驗證結果的可靠性。

表1 MobileNet_V1網(wǎng)絡結構Table 1 Convolutional neural network of MobileNet_V1

本研究神經(jīng)網(wǎng)絡訓練采用Ubuntu-MS-7A54服務器、GPU NVIDIA GeForce GTX 1080Ti，2塊，操作系統(tǒng)為Ubuntu16.04，調(diào)用OpenCV3.4.2庫進行圖像處理（校正、增強和分割等），MIC計算采用Java1.8.0完成，神經(jīng)網(wǎng)絡訓練用圖像識別，使用Python3.5.4語言調(diào)用Tensorflow1.6.0（GPU版）完成。

2.1 試驗數(shù)據(jù)集構建

國家獸醫(yī)微生物耐藥性風險評估實驗室提供歷年MIC試驗有效96孔板圖像約6 000張，圖片由統(tǒng)一專業(yè)設備拍攝，背景為黑色底板。本研究隨機抽取其中200張96孔板試驗圖像，裁剪得到微孔圖像19 200張。去掉其中由于光線模糊、切割位置不準確等原因造成的不可用的微孔圖像。對可用微孔圖像通過旋轉、翻轉增加噪聲等操作獲取更多圖像，方便神經(jīng)網(wǎng)絡訓練。本試驗所得數(shù)據(jù)情況如表2所示，其中訓練集微孔圖像100 000張，驗證集微孔圖像29 976張。

2.2 圖像預處理

試驗圖像預處理是指將原始拍攝的藥敏試驗結果96孔板圖像轉換成神經(jīng)網(wǎng)絡模型可使用格式，得到試驗數(shù)據(jù)集。圖像預處理過程及各步驟處理結果見圖3。首先對原始圖像進行幾何校正、大小調(diào)整，灰度化，得到96孔板的750×1 000正射灰度圖；第2步進行高斯濾波處理，消除和抑制噪聲；第3步進行Morphology形態(tài)學變換處理（開運算：先腐蝕再膨脹），進一步消除噪聲；第4步進行Canny邊緣檢測處理，得到圖像上輪廓的點集合圖像；第5 步對點集集合進行直線擬合，擬合出96孔板4條最外圍邊界直線，從直線交點得到每個微孔的外切正方形4個頂點坐標，利用這些坐標在原圖像上標注96孔板位置；第6步根據(jù)上一步得到的坐標將96孔板從原圖中裁剪下來，通過透視變換得到標準矩形形式的96孔板圖像；第7步根據(jù)孔位置相對不變性調(diào)整參數(shù)，在標準96孔板圖像上定位96個微孔；第8步裁剪得到96個正方形微孔圖像，對每個微孔圖像去除4個角的冗余信息得到試驗圖像；最后一步對數(shù)據(jù)設置標簽，本試驗將數(shù)據(jù)集分為有菌、無菌兩類標簽。微孔顏色偏紅色的表示有菌生長，標簽標注為“有菌”，微孔顏色偏紫色表示無菌生長，標簽標注為“無菌”。對數(shù)據(jù)的標注依據(jù)人工判讀的藥敏試驗MIC值進行。

表2 試驗數(shù)據(jù)分布情況Table 2 Distribution of experimental data

圖3 圖像預處理過程Fig.3 Preprocessing procedure of image

經(jīng)過數(shù)據(jù)預處理后得到微孔圖像19 200張，去掉不可用的微孔圖像（原因可能是拍攝角度、變換失真等）后得到有效微孔圖像15 573張，再經(jīng)過圖像旋轉、翻轉和添加噪聲數(shù)據(jù)等變換將圖像增加至186 876張，得到標注為“有菌”的圖像64 976張，標注為“無菌”圖像121 900張，為了平衡樣本數(shù)量從紫色微孔圖像中隨機篩選65 000張，最后得到的樣本總數(shù)為129 976張，將其中的100 000張圖片作為訓練集，29 976張圖片作為驗證集（表2）。

2.3 卷積神經(jīng)網(wǎng)絡訓練

本研究使用Inception_V4和MobileNet_V1兩個卷積神經(jīng)網(wǎng)絡進行圖像識別。兩個卷積神經(jīng)網(wǎng)絡模型訓練過程相同，首先設置模型的超參數(shù)進行訓練，依據(jù)損失值和準確率進行模型評估，若收斂到穩(wěn)定損失值和準確率則停止試驗，否則重復訓練與模型評估過程直到符合停止條件。

模型超參數(shù)設置：初始學習率為0.01，權重衰減為0.00004，訓練和驗證時batch_size為32，采用均方根反向傳播（RMSProp）學習策略提高收斂速度。

對兩個卷積神經(jīng)網(wǎng)絡每訓練5萬步進行1次模型評估，2個模型都訓練了50萬步。模型的損失曲線如圖4所示。由圖4可見，MobileNet_V1模型在訓練步數(shù)20萬步左右達到收斂狀態(tài)；Inception_V4模型在訓練步數(shù)30萬步左右達到斂狀態(tài)，收斂速度稍慢。由圖5可知，兩個模型的驗證準確率均隨著訓練次數(shù)增加而上升，在相同的驗證集且驗證集數(shù)量達到29 976張圖片的情況下，MobileNet_V1驗證準確率達到99.9733%，而Inception_V4則達到了99.9966%，兩個模型驗證準確率都非常高，但略有差異。

圖4 兩種模型的損失曲線Fig.4 Loss curve of two models

圖5 兩種模型的驗證曲線Fig.5 Validation curve of two models

2.4 MIC計算及試驗異常判定

上述圖像識別是針對單個微孔的，若要用于藥敏檢測結果識別還需要依據(jù)微孔坐標及96孔板藥物及濃度排列進行判定。首先將每個微孔的分類結果依據(jù)坐標轉換形成一個01矩陣（“ 0”表示圖像識別結果為“無菌”，“1”表示圖像識別結果為“有菌”）。對每種藥物，因為微孔板上藥物深度從高到低排列，因此正確的識別結果應為全0、全1，或連續(xù)多個0之后連續(xù)多個1（例如0001111）。若出現(xiàn)了從1變?yōu)?的序列（例如0011101）則說明發(fā)生了識別錯誤或“跳孔”現(xiàn)象。計算MIC值的流程如圖6所示。

圖6 MIC值計算流程Fig.6 Flowchart of MIC calculation

計算流程中當一種藥物的識別結果集合大小不為1時檢測藥物集合，該子流程具體情況如圖7所示。識別結果集合大小為1時則分兩種情況：一表明該“藥物”是陰性對照或陽性對照，需進行陰性對照和陽性對照的檢測；二表明微孔板中只為該藥物設計了1個濃度值，故只需檢測單孔。若識別結果為1，則該藥物的MIC 值為該微孔所表示的濃度；若識別結果為0，則該藥物無MIC值。

圖7 藥物集合檢測流程Fig.7 Detection flowchart of medicine set

3 結果與分析

本研究測試組取80張試驗結果96孔板圖像，經(jīng)過圖像處理形成微孔圖像，利用已訓練好的卷積神經(jīng)網(wǎng)絡進行判讀，得到8×12的01矩陣（0代表無菌，1代表有菌），再按圖6、圖7計算得到每種藥物的MIC值，進而了解耐藥情況，試驗結果見表3。

表3 兩種模型對藥敏結果判讀效果對比Table 3 Comparison of the interpretation effects of two models on drug susceptibility results

通過對Inception_V4和MobileNet_V1兩種神經(jīng)網(wǎng)絡模型的訓練，單微孔圖像識別準確率分別達到99.99%、99.97%，特異性和敏感性比率也非常高。MIC準確率略低的原因在于每張96孔板由96單微孔組成，MIC值的計算依賴于不同濃度藥物在微孔板上的排列。但兩個模型的MIC準確率仍可達到97.30%、94.40%。因為耐藥性計算依賴于判定標準的折點值，因此，其準確率高于MIC值準確率，兩模型的耐藥性準確率達到99.13%、98.40%。同時，本研究對Inception_V4和MobileNet_V1在相同驗證集下進行了效率對比，對整張96孔板圖像，兩個模型的識別時間分別是55 s和234 s，Inception_V4模型的圖像識別時間約是MobileNet_V1模型的4.25倍。由試驗結果可得到MobileNet_V1網(wǎng)絡圖像識別準確率比Inception_V4較低，但是模型的識別效率比Inception_V4高，這是由于InceptionV4模型網(wǎng)絡層數(shù)多，而Mobilenet_V1網(wǎng)絡為輕量化網(wǎng)絡模型，網(wǎng)絡層數(shù)較少。

4 討論

通過試驗分析，Inception_V4和MobileNet_V1模型都可用于藥敏結果判讀。Inception_V4模型判讀精度略高于MobileNet_V1模型，但其時間消耗高于MobileNet_V1模型。在精度要求高、時間要求不高的場合，可使用Inception_V4模型進行試驗結果判讀；而在時間要求高、精度要求不太高的場合，可使用MobileNet_V1模型進行試驗結果判讀。實時上，通過簡單調(diào)整，MobileNet_V1模型達到可實用化的程度，即可構建應用系統(tǒng)，讓實驗人員通過網(wǎng)絡上傳試驗結果圖像，利用MobileNet_V1進行試驗結果判讀并返回結果。

與傳統(tǒng)人工判讀試驗結果的方法相比，本研究提供的方法增加了試驗結果拍照、相關資料電子等工作，將試驗結果判讀環(huán)節(jié)簡化為拍照、上傳、利用神經(jīng)網(wǎng)絡進行結果判讀、讀取試驗結果。這一方面可提高實驗人員工作效率，另一方面，可降低對實驗人員的要求，不再需要經(jīng)過專業(yè)的判讀訓練，只需按規(guī)程拍照上傳即可獲取試驗結果。這些工作看似增加了實驗人員的工作量，但此項工作可提高耐藥性監(jiān)測工作的信息化程度，為藥敏監(jiān)測工作積累原始數(shù)據(jù)，為后期耐藥性監(jiān)測、預測和指導臨床用藥等工作保存了原始證據(jù)。另外，也為利用深度學習、大數(shù)據(jù)技術與分析挖掘其中更具價值的規(guī)律性知識提供了基礎。

目前藥敏試驗圖像拍攝環(huán)節(jié)略有困難，使用手機、相機等設備拍照，易受視角、光照等因素影響，從而導致藥敏板上個別微孔試驗結果無法讀取或判讀錯誤。對此問題，可從兩個方面考慮，一是開發(fā)專用拍照設備，固定角度與光照條件以提高圖像質(zhì)量；二是對MobileNet_V1模型進行改進，進一步提高單孔判讀準確率。另外，針對藥敏圖像特點改進神經(jīng)網(wǎng)絡模型，進一步提高卷積神經(jīng)網(wǎng)絡模型訓練和圖像識別效率后續(xù)要開展的工作。

5 結論

本研究將卷積神經(jīng)網(wǎng)絡應用于藥敏監(jiān)測試驗中MIC值判讀和耐藥性判定，利用Inception_V4和MobileNet_V1兩種模型進行藥敏試驗單微孔圖像識別，并給出MIC值計算、耐藥性判定及試驗結果異常判別的算法。單微孔圖像識別試驗結果表明，兩種模型都可應用于藥敏試驗結果判讀。藥敏試驗MIC值準確率分別達到97.30%、94.40%，耐藥性判定的準確率更是達到99.13%、98.40%。以MobileNet_V1模型的判讀算法為基礎，可對此進行實用化推廣，達到替代人工判讀藥敏試驗結果的目標。與傳統(tǒng)藥敏試驗結果的人工判讀相比，本研究工作提高藥敏試驗結果判讀準確率及效率，可提高藥敏試驗信息化程度。