李西明,馬李曉,曾曉銀,王 璇,孫 堅,郭玉彬

(1.華南農(nóng)業(yè)大學數(shù)學與信息學院,廣東 廣州 510642; 2.華南農(nóng)業(yè)大學獸醫(yī)學院,廣東 廣州 510642)

0 引 言

細菌藥物敏感性實驗(Antimicrobial Susceptibility Test, AST)，簡稱藥敏試驗，是一種定量測定微生物對抗菌藥物耐受程度的實驗方法[1]。在當前我國耐藥性普遍存在的情況下，它是耐藥監(jiān)測與控制的主要技術(shù)手段，利用藥敏實驗結(jié)果才能獲取監(jiān)測范圍內(nèi)致病菌感染發(fā)生率及耐藥動態(tài)、預測耐藥趨勢及抗菌藥物治療效果，進而指導臨床用藥、研究細菌耐藥機理[2]。

目前常用的藥敏實驗方法大致分為傳統(tǒng)方法和分子生物學手段2大類[3]。當對大批量細菌進行多種抗菌藥物的敏感性測試時，傳統(tǒng)的藥敏實驗方法由于工作量大，費時費力，而使用分子生物學的方法又需要一些昂貴的設(shè)備以及特殊的試劑，并不適用于基層養(yǎng)殖場。因此大部分養(yǎng)殖場，特別是中小型養(yǎng)殖場主要使用的藥敏實驗方法還是傳統(tǒng)方法，其中使用最多的是微量肉湯稀釋法[2-3]。

微量肉湯稀釋法實驗?zāi)壳爸饕峭ㄟ^實驗員肉眼觀察實驗試劑盒各圓孔的渾濁度變化來確定最低抑菌濃度(Minimal Inhibitory Concentration， MIC)[4]。MIC表示微生物對某一藥劑的敏感性，MIC值越高說明該微生物對該藥劑的敏感性越低。這種讀取結(jié)果方法受實驗員主觀因素影響，誤判率高且效率低。另外這種人工讀取數(shù)據(jù)的方法對實驗人員眼力、體力也是一個嚴重考驗，難以長時間連續(xù)工作。而近年國內(nèi)外市場出現(xiàn)的一些基于微量肉湯稀釋法的藥敏試劑盒和實驗結(jié)果快速檢測的軟硬件系統(tǒng)，例如賽默飛全自動微生物鑒定及藥敏分析儀器系列[5]，這些儀器一般較昂貴、實驗條件要求復雜，無法支持我國基層養(yǎng)殖場，特別是中小型養(yǎng)殖戶批量測試的需求。

近年來人工智能技術(shù)取得重要突破，進而引領(lǐng)了計算機視覺、聽覺等技術(shù)的發(fā)展，尤其是物體識別方面[6]。目前著名的ImageNet挑戰(zhàn)賽的物體識別正確率已經(jīng)達到人類水平，物體識別問題已經(jīng)基本解決，當前計算機視覺正在向物體關(guān)系理解、場景識別、與語言理解結(jié)合等方向發(fā)展[7]，相關(guān)研究成果可解決更多應(yīng)用問題。

深度神經(jīng)網(wǎng)絡(luò)通過組合低層特征形成更抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示[8]。在深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，AlexNet[9]、Inception[10]、MobileNet[11]等卷積神經(jīng)網(wǎng)絡(luò)因為在圖像分類中的出色表現(xiàn)而受到研究者們的廣泛關(guān)注。目前這些神經(jīng)網(wǎng)絡(luò)模型已集成到流程的主流深度學習框架，供開發(fā)者使用。

隨著人工智能的快速發(fā)展，各個行業(yè)都開始融合人工智能技術(shù)。在音頻領(lǐng)域中，將音樂文件轉(zhuǎn)化為相對應(yīng)的頻譜圖，借助卷積神經(jīng)網(wǎng)絡(luò)在圖像識別中的出色表現(xiàn)及循環(huán)神經(jīng)網(wǎng)絡(luò)在時序性的良好表現(xiàn)，對轉(zhuǎn)化后的頻譜圖進行多類別識別，從而提高音樂分類的精確度[12]。在醫(yī)學領(lǐng)域中，通過構(gòu)建三維卷積神經(jīng)網(wǎng)絡(luò)對腦腫瘤圖像進行分割，極大地提高了醫(yī)護人員對腦腫瘤的研究效率[13]。而在生物化學領(lǐng)域中，以微孔板為載體的各種藥敏實驗，依舊采用人工讀取實驗結(jié)果或采用相應(yīng)的專業(yè)儀器進行實驗記錄[14]。但微孔板實驗結(jié)果眾多，人工讀取不但效率低下，而且容易出錯。而專業(yè)的讀取儀器費用昂貴，給研究帶來很大的開銷。

因此，本文將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于藥敏實驗領(lǐng)域，基于卷積神經(jīng)網(wǎng)絡(luò)設(shè)計一個分類網(wǎng)絡(luò)模型對藥敏實驗中使用的微孔板的96個圓孔的實驗結(jié)果進行分類。后續(xù)可基于該網(wǎng)絡(luò)模型判讀的96個圓孔結(jié)果和微孔板藥物濃度分布信息進一步計算得出細菌耐藥實驗的MIC值，可提高MIC值計算的精度和判讀效率。該方法不需額外地添加儀器，即硬件代價零成本；同時使重復的微孔板實驗結(jié)果讀取及眾多的實驗記錄工作變得更輕松、更快捷，使研究人員有更多的精力及時間去研究主體內(nèi)容。

1 研究基礎(chǔ)

1.1 圖像的邊緣檢測

圖像的邊緣檢測是在二值化圖像或灰度圖像中找出亮度變化明顯的邊緣位置。通過邊緣檢測處理去除與目標特征無關(guān)的像素點，從而減少了數(shù)據(jù)量，并顯著地保留了圖像中的目標特征。通常在邊緣檢測處理過程中，使用高斯濾波對圖像進行預處理，以降低圖像中的噪聲。目前，邊緣檢測的計算方法主要分為基于搜索和基于零交叉這2大類。

1)基于搜索的邊緣檢測方法主要是根據(jù)邊緣強度構(gòu)造出一階導數(shù)，并采用梯度方向計算出邊緣的局部方向。目前常用的一階導數(shù)的檢測算子有Sobel算子[15]、羅盤算子[16]等。

2)基于零交叉的邊緣檢測方法是由圖像直接得出二階導數(shù)的零交叉點，并通過零交叉點確定目標的邊緣位置。目前常用的二階導數(shù)的檢測算子有Canny算子[17]、Laplacian算子[18]等。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

近年來，深度學習技術(shù)再次成為研究人員的研究熱點，各種深層神經(jīng)網(wǎng)絡(luò)的算法層出不窮，如VGG[19]、ResNet[20]、DenseNet[21]等。由于神經(jīng)網(wǎng)絡(luò)的性質(zhì)，為了獲得更好的性能，網(wǎng)絡(luò)層數(shù)不斷增加。這種方式雖然使得網(wǎng)絡(luò)性能得到了提高，但隨之而來的就是效率問題。因此近年來涌現(xiàn)出不少輕量化網(wǎng)絡(luò)模型。輕量化模型設(shè)計主要思想在于設(shè)計更高效的卷積方式，從而使網(wǎng)絡(luò)參數(shù)減少的同時，不損失網(wǎng)絡(luò)性能。在2017年，Howard等人[11]在傳統(tǒng)卷積核上進行了改進，提出了深度可分離卷積核的概念，即將大小為3×3、深度為N的傳統(tǒng)卷積核拆分成大小為3×3、深度為M的深度可分離卷積核和大小為1×1、深度為N的普通卷積核，在保證準確率的基礎(chǔ)上極大地提升了運行速度，從而實現(xiàn)在移動設(shè)備上快速地運行神經(jīng)網(wǎng)絡(luò)模型。隨著對抗網(wǎng)絡(luò)(GANs)的提出與發(fā)展，Odena等人[22]提出了ACGAN網(wǎng)絡(luò)模型。ACGAN網(wǎng)絡(luò)模型是一種半監(jiān)督的圖像分類網(wǎng)絡(luò)，將對抗網(wǎng)絡(luò)中的辨別器設(shè)置成一種多分類器，然后通過生成器對沒有做標簽的圖像進行增強識別，最后在手寫數(shù)字集上取得了99%的準確率。ACGAN網(wǎng)絡(luò)的提出，極大地減輕了研究人員對深度學習標注數(shù)據(jù)工作的負擔，通過人工對少部分圖像進行精確標注，然后把沒有標注和標注的圖像放進網(wǎng)絡(luò)中進行學習，從而使百萬級甚至百萬億級的數(shù)據(jù)集用于神經(jīng)網(wǎng)絡(luò)模型的訓練成為可能。

綜上，可以發(fā)現(xiàn)深度學習技術(shù)仍在快速發(fā)展，并且應(yīng)用領(lǐng)域也變得越來越廣，從最初的圖像分類到現(xiàn)在的目標跟蹤、圖像生成，都離不開深度學習技術(shù)。因此，將基于卷積神經(jīng)網(wǎng)絡(luò)的深度學習算法應(yīng)用于微孔板的渾濁度分類必然能提升識別的精度，從而有效地幫助研究人員對藥敏檢測結(jié)果的讀取。

2 實驗設(shè)計

本文的實驗首先通過微孔板切割算法和圓孔切割算法生成圓孔數(shù)據(jù)集，然后將數(shù)據(jù)集用于渾濁度分類模型的訓練、評估和測試，最后根據(jù)評估的結(jié)果篩選出識別精度最高的圓孔渾濁度模型。

2.1 圓孔數(shù)據(jù)集介紹與制作

藥敏實驗中使用的微孔板如圖1所示，一塊微孔板共有96個圓孔。圓孔渾濁度分類網(wǎng)絡(luò)就是對從微孔板切割出來的各個圓孔的渾濁度進行分類。圓孔的渾濁度分為2類，分別為渾濁和清晰，其中渾濁代表該圓孔為有細菌生長的一類，清晰代表該圓孔為無細菌生長的一類。本文的微孔板由國家獸醫(yī)微生物耐藥性風險評估實驗室提供，其中每張微孔板的96個圓孔的渾濁度(即分類結(jié)果)均由該實驗室的專業(yè)人員判斷認定。

圖1 微孔板圖像

訓練圓孔渾濁度分類網(wǎng)絡(luò)需要大量圓孔數(shù)據(jù)集。因此本文首先需制作圓孔數(shù)據(jù)集，該過程簡單描述如下：

首先利用傳統(tǒng)的圖像處理算法，對自然拍照下的微孔板圖像進行圖像預處理，然后基于邊緣檢測算法原理對預處理后的二值圖像進行邊界擬合，從而計算出微孔板的4個頂點坐標，最后利用微孔板圓心、半徑與微孔板的長寬比例不變將圓孔從微孔板上切割出來。

本文最終收集到的圓孔圖像數(shù)據(jù)集共有36456幅。根據(jù)肉眼的區(qū)分情況及圓孔切割的準確程度，將數(shù)據(jù)集劃分為4種級別樣本集：

1)easy：簡單樣本集。肉眼可以很容易區(qū)分渾濁度且切割準確的圓孔圖像。

2)difficult_0：中等難度樣本集。由一部分簡單樣本集的圖像和一部分困難樣本集的圓孔圖像組成。

3)difficult_1：困難樣本集。肉眼很難區(qū)分渾濁度且切割準確的圓孔圖像。

4)difficult_2：超級困難樣本集。指肉眼很難區(qū)分，且切割不準確的圓孔圖像。

這4種級別的圖像如圖2所示。樣本集圖像分布情況如表1所示。

圖2 圓孔圖像

表1 樣本集圖像分布

2.2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

表2 網(wǎng)絡(luò)結(jié)構(gòu)

本文的重點是設(shè)計神經(jīng)網(wǎng)絡(luò)中的卷積層，使神經(jīng)網(wǎng)絡(luò)提取到的圖像特征更明顯。但基于切割的圓孔數(shù)量并不多，不適合復雜網(wǎng)絡(luò)的訓練，且可分離卷積核有更快的運算速度，本文設(shè)計一個12層的神網(wǎng)絡(luò)結(jié)構(gòu)，如表2所示，其中Conv表示使用傳統(tǒng)卷積核的卷積層，DepthConv表示使用深度可分離卷積核的卷積層，AvgPool表示平均池化層，F(xiàn)C表示全連接網(wǎng)絡(luò)層，并且在計算卷積核運算時都使用填充處理。

3 實驗過程

3.1 交叉驗證設(shè)置

本文以8∶1∶1的比例將具有36456幅圖像的圓孔數(shù)據(jù)集劃分為訓練集、驗證集和測試集。即訓練集有29165幅圖像,驗證集有3646幅圖像,測試集有3645幅圖像。本文采用交叉驗證的實驗方法，對于數(shù)據(jù)集的具體劃分方法如下：

對于測試集,分別將4個級別的圓孔樣本集一部分圖像單獨作為4個測試集，在測試的時候，計算各個測試集的正確率以及它們的平均值。對于訓練集數(shù)據(jù)，分別將剩下的簡單樣本集圖像、剩下的中等困難樣本集圖像以及剩下的困難樣本集圖像合并為一個數(shù)據(jù)集圖像，并采用5折交叉驗證的方法對數(shù)據(jù)集圖像進行訓練集和驗證集的劃分。如圖3所示，將訓練集均等劃分為5份，在訓練模型的時候，依次取其中的一份作為驗證集，以驗證模型的正確率，同時保證驗證集的隨機性。最后通過對5個不同的驗證集訓練出5個模型，對這5個模型進行測試評估篩選出最優(yōu)的模型。

圖3 數(shù)據(jù)集劃分圖

3.2 訓練參數(shù)配置

由于設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)比較簡單，并且使用深度可分離卷積核，加快了卷積的乘法運算，因此，訓練參數(shù)的訓練步數(shù)可以不用設(shè)置很多，以避免過擬合。具體的訓練參數(shù)配置如表3所示。

表3 訓練參數(shù)配置

4 實驗結(jié)果分析

4.1 訓練結(jié)果及分析

為了更好地評估模型和篩選出最優(yōu)的網(wǎng)絡(luò)模型，同時還要考慮數(shù)據(jù)集中渾濁圓孔和清晰圓孔的不平衡影響，本文采用recall、precision和f1_score這3種指標來評估模型。其評估結(jié)果如圖4所示，從圖中可以發(fā)現(xiàn)，第3段數(shù)據(jù)集，即k_fold_2訓練出的模型效果最好，f1_score的值達到了93%。

圖4 不同數(shù)據(jù)段結(jié)果對比

根據(jù)評估結(jié)果，將數(shù)據(jù)集k_fold_2訓練的模型參數(shù)和結(jié)構(gòu)導出到模型文件，并把網(wǎng)絡(luò)中的所有參數(shù)凍結(jié)。然后將easy、difficult_0、difficult_1、difficult_2幾個級別的測試集分別放進導出的模型中進行測試，在測試的時候，計算各個測試集的正確率以及它們的平均值。其測試結(jié)果如圖5所示，從圖中可以發(fā)現(xiàn)，模型在簡單測試集easy上的表現(xiàn)最好，基本上達到了90%以上，但對于其他的數(shù)據(jù)集，比如困難樣本集difficult_1的表現(xiàn)就差很多，基本上為84%左右。因此，本文設(shè)計的模型還有很大的提升空間。

圖5 不同測試集測試準確率結(jié)果對比

4.2 訓練優(yōu)化

本文主要在數(shù)據(jù)集和網(wǎng)絡(luò)結(jié)構(gòu)上對圓孔渾濁度分類模型進行改進與優(yōu)化。在數(shù)據(jù)集上，通過增加更多的圓孔數(shù)據(jù)給神經(jīng)網(wǎng)絡(luò)進行訓練，以達到強化學習的目的。在網(wǎng)絡(luò)結(jié)構(gòu)上，主要對圖像特征提取層進行了改進，由原來的10層卷積層增加到16層的卷積層，以提高模型對圓孔圖像的特征提取能力。更多的層數(shù)使得原來的網(wǎng)絡(luò)模型可以提取到圓孔圖像更多的細節(jié)信息，從而提高了網(wǎng)絡(luò)模型對圓孔渾濁度識別的準確率。

首先進行數(shù)據(jù)增強，然后在k_fold_0、k_fold_1、k_fold_2、k_fold_3、k_fold_4的5個數(shù)據(jù)段上進行評估。其評估結(jié)果如圖6所示。從圖中可以看出，k_fold_1數(shù)據(jù)段的表現(xiàn)結(jié)果最好，其f1_score為93%。

圖6 不同數(shù)據(jù)段增強優(yōu)化后的結(jié)果對比

加深網(wǎng)絡(luò)結(jié)構(gòu)后的實驗結(jié)果如圖7所示，從圖中可以看出，k_fold_4數(shù)據(jù)段的表現(xiàn)結(jié)果最好，其f1_score為94%。

圖7 不同數(shù)據(jù)段網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化后的結(jié)果對比

根據(jù)評估結(jié)果，分別將增加數(shù)據(jù)集后k_fold_1訓練的模型參數(shù)和結(jié)構(gòu)以及加深卷積層后k_fold_4訓練的模型參數(shù)和結(jié)構(gòu)導出到模型文件，并把這2個模型中的所有參數(shù)凍結(jié)。然后將easy、difficult_0、difficult_1、difficult_2幾個級別的測試集分別放進導出的模型中進行測試，在測試的時候，計算各個測試集的正確率以及它們的平均值。其測試結(jié)果如圖8所示。圖中的標注說明如下：

1)Turbidity_classification_model表示原來模型的測試準確率。

2)Turbidity_classification_model_more_dataset表示增加數(shù)據(jù)集規(guī)模的模型測算準確率。

3)Turbidity_classification_model_depth_net表示加深卷積層的模型測試準確率。

圖8 不同優(yōu)化方式測試準確率結(jié)果對比

經(jīng)過測試，從圖8中可以發(fā)現(xiàn)，無論是增強數(shù)據(jù)集的優(yōu)化方式還是加深卷積層的優(yōu)化方式，在各個測試集上的識別準確率都明顯高于原來的渾濁度分類網(wǎng)絡(luò)的準確率，且加深了卷積層的渾濁度分類網(wǎng)絡(luò)在各個數(shù)據(jù)集上的識別精度又略高于只增加數(shù)據(jù)集的渾濁度分類網(wǎng)絡(luò)的識別精度。仔細觀察可知原始網(wǎng)絡(luò)(92%)在“easy”下的準確率遠不及改進后的網(wǎng)絡(luò)(96%，97%)。但是隨著數(shù)據(jù)集難度的增加原始網(wǎng)絡(luò)的準確率下降速率略低于加深卷積層的網(wǎng)絡(luò)，數(shù)據(jù)集的復雜度主要是由于數(shù)據(jù)集中可能存在較多的噪聲數(shù)據(jù)，而加深卷積層擬合了這些噪聲數(shù)據(jù)，所以準確度可能存在大幅度的下降，這也是屬于正?，F(xiàn)象。

5 結(jié)束語

將人工智能技術(shù)應(yīng)用于現(xiàn)代化的其他領(lǐng)域，提高現(xiàn)實生活中的生產(chǎn)效率一直是人工智能訓練模型的最終目的。

本文通過大量的模型訓練最終得到一個較為合理的識別模型，其中主要的使用范圍為，通過直接將某藥物微孔板的照片(已經(jīng)完成分割后)進行識別渾濁度的大小。在最后的結(jié)果中達到了96%以上的識別率，雖然沒有達到100%的識別率，但相比人工識別有很大優(yōu)勢。

模型的訓練過程中不僅僅是得到了好的模型，并且通過控制變量法得到了其他的結(jié)論：

1)卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)并不是越多越好，需要根據(jù)需求而定。

2)更高分辨率的圖片可以大大增加識別率。

3)在訓練過程中要防止過擬合現(xiàn)象的發(fā)生。

最后需要指出的是目前藥敏實驗圖像拍攝環(huán)節(jié)略有困難，使用手機等通用移動設(shè)備拍照，易受視角、光照等因素的影響，從而導致藥敏板上個別圓孔實驗結(jié)果無法讀取或判讀錯誤。對此問題，本文從2個方面考慮：1)開發(fā)專用拍照設(shè)備，固定角度與光照條件，提高圖像質(zhì)量；2)對設(shè)計的網(wǎng)絡(luò)模型進一步改進，提高微孔板的準確率。另外，針對藥敏圖像特點改進神經(jīng)網(wǎng)絡(luò)模型，進一步提高卷積神經(jīng)網(wǎng)絡(luò)模型訓練和圖像識別效率是下一步要開展的工作。