王 壇，王衛(wèi)軍，賀利樂，徐 征

（1.西安建筑科技大學(xué)機電工程學(xué)院，陜西 西安 710055；2.廣州中國科學(xué)院先進(jìn)技術(shù)研究所，廣東 廣州 511458）

1 引言

合成生物學(xué)是一門交叉學(xué)科，融合了生物學(xué)、化學(xué)、計算機科學(xué)、物理學(xué)等多個學(xué)科。合成生物海量性的試錯實驗遠(yuǎn)遠(yuǎn)超過人工承受的范圍，目前我國只有少部分的自動化工作流程，與國外相比還存在較大差距。實現(xiàn)生物實驗室自動化已成為生物現(xiàn)代化的發(fā)展趨勢，而實現(xiàn)細(xì)胞培養(yǎng)板的分類識別，是自動化流程的關(guān)鍵環(huán)節(jié)。

傳統(tǒng)分類識別方法通過固定尺寸的窗口遍歷圖像，進(jìn)行感興趣區(qū)域搜索，然后使用HOG［1］、SIFT［2］等方法對窗口內(nèi)的圖像進(jìn)行特征提取，最后使用SVM［3］、Adaboost［4］等分類器對提取的特征進(jìn)行分類。近年來，隨著卷積神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)的分類識別算法不斷涌現(xiàn)，較傳統(tǒng)算法在準(zhǔn)確性和魯棒性上有所提升。目前基于卷積神經(jīng)網(wǎng)絡(luò)的分類識別算法主要分為兩類：（1）以R-CNN［5］、Fast-RCNN［6］、為代表的基于候選區(qū)域的檢測算法；（2）以SSD［7］、YOLO［8］為代表的端對端檢測算法。

針對生物實驗室中細(xì)胞培養(yǎng)板分類識別的問題，提出一種基于YOLOv5s的細(xì)胞培養(yǎng)板分類識別方法（YOLOv5s-tiny）。首先通過多尺度Retinex顏色恢復(fù)算法對輸入端圖像進(jìn)行預(yù)處理；在考慮實驗場景的基礎(chǔ)上對小目標(biāo)的檢測進(jìn)行剪枝，優(yōu)化算法中的損失函數(shù)及非極大值抑制算法，并加入CBAM注意力機制以提高網(wǎng)絡(luò)性能；最后，通過實驗驗證這里方法的有效性。

2 圖像預(yù)處理

針對實驗環(huán)境下光照不均，造成采集的圖像出現(xiàn)過暗和模糊的問題，分別通過單尺度Retinex算法、多尺度Retinex算法和顏色恢復(fù)算法MSRCR對實驗環(huán)境下采集的圖像進(jìn)行預(yù)處理，并通過圖像質(zhì)量評價指標(biāo)對各算法的處理結(jié)果進(jìn)行對比分析。

2.1 Retinex理論

文獻(xiàn)［9］于20世紀(jì)60年代提出Retinex理論，其基本內(nèi)容是物體被觀察的顏色由物體對光線反射能力和周圍的光照強度決定的。Retinex理論將圖像分解為環(huán)境光和物體表面對環(huán)境光反射的乘積，Retinex光照反射模型，如圖1所示。計算過程，如式（1）所示。

圖1 Retinex光照反射模型Fig.1 Retinex Light Reflection Model

式中：S(x，y)—觀測圖像；I(x，y)—環(huán)境光的亮度分量；R(x，y)—帶有圖像信息的反射分量。

2.2 圖像增強效果

采用單尺度Retinex 算法（SSR），多尺度Retinex 算法（MSR）和顏色恢復(fù)算法（MSRCR）對實驗環(huán)境下的圖像進(jìn)行增強，選取了亮度不足的昏暗場景進(jìn)行對比分析。三種算法在燈光亮度不足的實驗場景下的圖像增強結(jié)果，如圖2所示。

原始圖像，如圖2（a）所示?？梢钥闯鰧嶒灜h(huán)境亮度不足，圖像顯示效果差，圖像不清晰，無法清楚地分辨培養(yǎng)板和背景。經(jīng)過單尺度處理后的圖像，如圖2（b）所示。圖像亮度稍許提高，清晰度提高，但色彩失真嚴(yán)重。經(jīng)過多尺度算法處理后的圖像，如圖2（c）所示。圖像亮度得到明顯提升，整體對比度增強，但依然存在色彩失真問題。經(jīng)過顏色恢復(fù)算法處理后的圖像，如圖2（d）所示。MRCSR有效的改善了圖像顏色失真問題，墻壁上的文字能夠輕松識別，培養(yǎng)板輪廓清晰可見，可以明顯區(qū)分出培養(yǎng)板和背景，圖像成像效果得到提升。

2.3 圖像質(zhì)量評價

引入平均信息熵、結(jié)構(gòu)相似度和峰值信噪比作為圖像質(zhì)量評價指標(biāo)，原始圖像和經(jīng)過三種圖像增強算法處理后圖像的信息熵、結(jié)構(gòu)相似度和峰值信噪比參數(shù)，如表1所示。

表1 圖像評價指標(biāo)參數(shù)Tab.1 Image Evaluation Index Parameters

由表中的平均信息熵可知，經(jīng)過MRCSR算法處理后比SSR算法提高了0.1%，比MSR算法提高了10%。經(jīng)過MRCSR算法處理后，圖像攜帶的信息量變大，物體輪廓細(xì)節(jié)更加清楚。由表中的結(jié)構(gòu)相似度得出，經(jīng)過MRCSR算法處理后的圖像光照分量高于其他算法，圖像亮度得到明顯提高。分析表中的峰值信噪比可知，經(jīng)MRCSR算法處理后比SSR算法提高了118%，比MSR算法提高了61%，圖像失真程度小，成像效果好。

3 改進(jìn)的YOLOv5s-tiny算法

3.1 YOLO v5s基本思想

YOLOv5s 是由Ultralytics 公司開發(fā)的一種可以預(yù)測對象類別和邊界框的端對端神經(jīng)網(wǎng)絡(luò)。同等尺寸下，較其他網(wǎng)絡(luò)，檢測效果好，速度快且穩(wěn)定性高。

YOLOv5s 主要分為輸入端、Backbone、Neck 和Prediction 四部分，其網(wǎng)絡(luò)結(jié)構(gòu)，如圖3所示。YOLOv5s較上一代YOLO 算法有較多創(chuàng)新，其中輸入端的創(chuàng)新包括Mosaic數(shù)據(jù)增強、自適應(yīng)錨定框計算、自適應(yīng)圖片縮放；Backbone的創(chuàng)新為Focus切片操作及CSPDarknet53網(wǎng)絡(luò)，解決了卷積神經(jīng)網(wǎng)絡(luò)中網(wǎng)絡(luò)優(yōu)化的梯度信息重復(fù)問題；Neck 的創(chuàng)新為在主干網(wǎng)絡(luò)后加入SPP 模塊和FPN+PAN結(jié)構(gòu)，提高了特征提取的能力；還加入了CSP結(jié)構(gòu)，加強了網(wǎng)絡(luò)特征融合的能力；輸出端采用非極大值抑制算法，對遮擋目標(biāo)的識別有所改進(jìn)。

YOLOv5s的輸出端采用和YOLOv3相同的預(yù)測頭。輸入圖片經(jīng)過卷積層分別得到（19×19），（38×38），（76×76）三個不同尺寸的特征圖，為了更好的提取特征，通過上采樣將（38×38）的特征圖與（19×19）的特征圖進(jìn)行融合，將（76×76）的特征圖與（38×38）的特征圖進(jìn)行融合，構(gòu)成了YOLOv5s的預(yù)測框架，分別負(fù)責(zé)大、中、小物體的預(yù)測。

3.2 YOLOv5s-tiny的網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv5s預(yù)測的三個特征層尺寸由淺到深分別是（76×76），（38×38），（19×19）對應(yīng)不同尺寸的錨定框，因此實現(xiàn)了多尺度檢測。因?qū)嶒灜h(huán)境下，對小目標(biāo)的檢測場景極少出現(xiàn)，故省略（76×76）的特征層檢測，以輕量化網(wǎng)絡(luò)結(jié)構(gòu)。YOLOv5s-tiny 網(wǎng)絡(luò)結(jié)構(gòu)，如圖4所示。

圖4 YOLOv5s-tiny網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 The Network Structure of YOLOv5s-Tiny

3.2.1 深度可分離卷積

文章采用深度可分離卷積代替主干網(wǎng)絡(luò)中的普通卷積使網(wǎng)絡(luò)模型輕量化，該模塊分為深度卷積（Depthwise Convolution）和逐點卷積（Pointwise Convolution）兩個過程，如圖5所示。該模型的提出是為了減少參數(shù)量提高運算效率。不同于普通卷積，深度卷積對通道數(shù)為M的輸入層的每個通道獨立進(jìn)行卷積運算，然后逐點卷積使用1×1×M的卷積核對上一步生成的特征圖在深度方向進(jìn)行組合，輸出M個新的特征圖。

圖5 深度可分離卷積Fig.5 Depth Separable Convolution

圖6 LDIoU計算原理Fig.6 The Calculation Principle of LDIoU

假設(shè)輸入的特征圖尺寸為HInput×WInput×M，普通卷積核尺寸為Hc×Wc×M，輸出的特征圖尺寸為HOutput×WOutput×N，逐通道卷積核尺寸為HD×WD×M，普通卷積的參數(shù)量為Hc×Wc×M×N，深度可分離卷積的參數(shù)量為HD×WD×M+1×1×M×N。若按照YOLOv5s 的參數(shù)，采用深度可分離卷積的參數(shù)量較普通卷積減少了87%。

3.2.2 損失函數(shù)

目標(biāo)檢測中常用交互比（IoU）作為評價預(yù)測檢測框和真實檢測框的重合程度。IoU的計算過程，如式（2）所示。一般IoU越接近1，說明檢測結(jié)果越準(zhǔn)確。由于IoU對目標(biāo)物體的尺度、重疊率不敏感，所以YOLOv5s中使用廣義交互比（GIoU）作為邊界框的損失函數(shù)，GIoU的計算過程，如式（3）所示。GIoU雖然解決了IoU在預(yù)測框和真實框不重疊時梯度消失的問題，但仍存在收斂速度慢的缺點。

式中：Bgt=(xgt，ygt，wgt，hgt)—真實框的坐標(biāo)和大??；

B=(x，y，w，h)—預(yù)測框的坐標(biāo)和大小。

式中：C—覆蓋預(yù)測框和真實框的最小框。

針對以上算法的不足，這里采用基于距離交互比的損失函數(shù)（LDIoU）作為YOLOv5s-tiny的損失函數(shù)，定義為：

式中：b—預(yù)測框；bgt—真實框的中心點；ρ—兩個中心點之間的歐式距離；c—覆蓋預(yù)測框和真實框的最小閉合框的對角線距離。

相較于GIoU損失函數(shù)，LDIoU計算時加入了邊界框的重疊區(qū)域和中心點距離因素，不僅直接最小化預(yù)測框和真實框之間的距離，提高了收斂速度；而且在兩框處于水平方向和垂直方向時，加快了損失回歸。

3.2.3 非極大值抑制

非極大值抑制算法（NMS）廣泛應(yīng)用于目標(biāo)檢測的后處理過程中，其原理是找出檢測分?jǐn)?shù)最高的檢測框，其他與被選中的檢測框重疊區(qū)域大于閾值的框被剔除，將這一過程不停迭代，從而找到最佳的目標(biāo)檢測位置。由于IoU大于閾值的檢測框被直接剔除，會出現(xiàn)兩框重疊率較高時被剔除得分較小框的問題。因此，文獻(xiàn)［10］提出了軟化非極大值抑制算法（Soft_NMS），通過降低與最高得分框重疊的相鄰檢測框的置信度，解決了NMS直接剔除檢測框的問題。NMS計算過程，如式（5）所示。

式中：si—當(dāng)前檢測框的得分；M—當(dāng)前最高得分的檢測框；bi—待檢測框；Nt—IoU的閾值。

Soft_NMS高斯加權(quán)算法計算過程，如式（6）所示。bi和M的IoU越大，bi的得分si就下降的越厲害。

式中：σ—權(quán)重系數(shù)；

D—最終檢測框的集合。

通過在不斷修改權(quán)重系數(shù)對數(shù)據(jù)集進(jìn)行測試，經(jīng)過實驗研究，Soft_NMS 高斯加權(quán)算法在權(quán)重系數(shù)為（0.4～0.6）的變化范圍內(nèi)，表現(xiàn)了優(yōu)秀的性能，與NMS算法相比，使用Soft_NMS高斯加權(quán)算法作為后處理的平均精確度提升了2.2%。經(jīng)分析對比，在包含重疊目標(biāo)的培養(yǎng)板數(shù)據(jù)集上，Soft_NMS 高斯加權(quán)算法的預(yù)測框更加準(zhǔn)確。

3.2.4 注意力機制

注意力機制（Attention Mechanism）是在計算機處理能力有限的情況下，解決信息過載問題的一種技術(shù)手段，其核心目的是從眾多信息中提取出對當(dāng)前任務(wù)更關(guān)鍵的信息。在圖像識別中通過生成掩碼（Mask）的方式，對其進(jìn)行評價打分，從而提高圖像信息處理的效率和準(zhǔn)確性。使用集成了通道注意力機制和空間注意力機制的卷積塊注意力模塊（CBAM），通過對YOLOv5s卷積特征圖中培養(yǎng)板的特征分配高權(quán)重，對背景分配低權(quán)重，從而使準(zhǔn)確率得到提升，解決了局部遮擋情況下容易漏檢的問題。CBAM 模塊，如圖7（a）所示。通道注意力機制和空間注意力機制，如圖7（b）、圖7（c）所示。給定一個中間層的特征圖F作為輸入，其維度是C×H×W，CBAM依次生成一個維數(shù)為C×1×1的通道注意力權(quán)重Mc和一個維數(shù)為1×H×W的空間注意力權(quán)重，將通道注意力權(quán)重Mc乘以特征圖F得到F'，再計算F'的空間注意力特征圖，最后兩者逐元素相乘得到注意力權(quán)重F''，計算結(jié)果，如式（7）所示。

圖7 CBAM模塊Fig.7 Convolution Block Attention Module

式中：?—對應(yīng)元素一一相乘。

通道注意力機制首先通過最大池化和平均池化操作，對特征圖F的每個通道在空間維度上進(jìn)行壓縮，生成兩個通道注意力向量然后分別將其輸入到一個由隱藏層組成的共享多層感知器（MLP）中，并生成兩個維數(shù)為C×1×1的注意力向量；將上述兩個向量相加，通過sigmoid激活函數(shù)，最后生成一個維數(shù)為C×1×1的通道注意力向量Mc，計算公式，如式（8）所示。

式中：σ—sigmoid激活函數(shù)；W0—MLP第一層的權(quán)重；W1—MLP的第二層的權(quán)重；AvgPool—平均池化；MaxPool—最大池化。

空間注意力機制將特征圖F通過最大池化和平均池化操作，得到兩個維數(shù)相同的特征圖，然后將二者串行拼接成一個新的特征圖，再將其輸入（7×7）的卷積層中，得到一個與原特征圖維數(shù)相同的空間注意力權(quán)重矩陣，然后回乘到原特征圖上，計算公式，如式（9）所示。

4 實驗分析

4.1 實驗數(shù)據(jù)集

細(xì)胞培養(yǎng)板數(shù)據(jù)集均在實驗室環(huán)境下采集，使用Intel Realsense D435i深度相機作為采集設(shè)備，通過改變機械臂的不同姿態(tài)，分別在不同角度下拍攝培養(yǎng)板圖像，拍攝時的背景為實驗室貨架背景，能反映真實的使用環(huán)境。最終采集的圖像970張，像素大小為（1280×720），包含4種不同規(guī)格的培養(yǎng)板。

培養(yǎng)板數(shù)據(jù)集按照COCO數(shù)據(jù)集格式制作，將970張圖像按照7：2：1的比例，隨機分成訓(xùn)練集、驗證集和測試集，其中訓(xùn)練集679張圖像，驗證集194張圖像，測試集97張圖像。通過labelimg軟件對培養(yǎng)板數(shù)據(jù)集進(jìn)行邊界框標(biāo)注，訓(xùn)練集圖片共標(biāo)注2369個培養(yǎng)板，驗證集共標(biāo)注216個培養(yǎng)板。

4.2 實驗環(huán)境及參數(shù)設(shè)置

為驗證改進(jìn)后網(wǎng)絡(luò)的可行性和有效性，與YOLOv5s網(wǎng)絡(luò)模型進(jìn)行實驗對比。在CPU為Inte（lR）Xeon（R）Sliver 4110，顯卡為NVIDIA GTX 2080Ti，內(nèi)存為64G 的工作站上進(jìn)行訓(xùn)練測試，軟件環(huán)境為Anaconda 4.8.3，CUDA 10.2，CUDNN 7.5，編譯語言為Python 3.7，深度學(xué)習(xí)框架為pytorch 1.5.1。訓(xùn)練網(wǎng)絡(luò)輸入圖像尺寸為（608×608），沖量系數(shù)為0.937，batch_size 為16，學(xué)習(xí)率為10-4，epoch為300。

這里采用Kmeas++聚類算法對實驗數(shù)據(jù)集重新設(shè)計錨框，Kmeans++算法改進(jìn)了初始聚類中心的選取方式。在權(quán)衡計算量和檢測召回率后，選取8個尺寸的錨框，均勻分布在大中兩種尺度上，每種尺度預(yù)測4個邊界框。重復(fù)Kmeans++聚類實驗10次，取10次實驗中平均IoU最高值對應(yīng)的錨框尺寸，8個錨框的尺寸分別為（175×120）、（160×156）、（185×173）、（278×291）、（245×168）、（224×218）、（259×242）、（389×407）。

4.3 評價指標(biāo)

這里采用精確率（Precision）、召回率（Recall）、平均精確率（mAP）、權(quán)重（Weight）、耗時（Time）作為評價指標(biāo)［11］。精確率評估正確分類樣本數(shù)量占預(yù)測樣本數(shù)量的比例；召回率評估正確分類樣本數(shù)量占真實樣本數(shù)量的比例；平均精確度評估多類別目標(biāo)的平均檢測精度；權(quán)重評估網(wǎng)絡(luò)模型的大小；耗時評估網(wǎng)絡(luò)運算的速度。精確率和召回率的計算過程，如式（10）、式（11）所示。

式中：TP—正確將正類判定為正類的數(shù)量；

FP—錯誤將負(fù)類判定為正類的數(shù)量；

FN—錯誤將正類判定為負(fù)類的數(shù)量。

4.4 實驗結(jié)果

YOLOv5s算法和YOLOv5s-tiny算法在培養(yǎng)板數(shù)據(jù)集上的檢測能力，如表2所示。由表2可知，相比于YOLOv5s算法，文章提出的YOLOv5s-tiny 算法召回率、精確度和mAP 分別提升了1.4%、4.5%和2.6%；網(wǎng)絡(luò)權(quán)重較YOLOv5s減小約20%；檢測的平均耗時較YOLOv5s增加約22%。

表2 圖像評價指標(biāo)參數(shù)Tab.2 Image Evaluation Index Parameters

分別使用式（3）、式（4）的損失函數(shù)訓(xùn)練YOLOv5s-tiny 網(wǎng)絡(luò)模型，獲得訓(xùn)練的Loss 曲線，如圖8 所示。可以看出，采用GIoU_Loss訓(xùn)練的模型收斂區(qū)間為（0.038～0.13），在270次epoch之后收斂，而采用DIoU_Loss訓(xùn)練的模型損失收斂區(qū)間明顯小于GIoU_Loss，為（0.018～0.1292），在60次epoch之前的收斂速度高于GIoU_Loss。

圖8 損失函數(shù)曲線Fig.8 Loss Curve

YOLOv5s 和YOLOv5s-tiny 算法在培養(yǎng)板數(shù)據(jù)集上測試的部分檢測結(jié)果，如圖10所示。YOLOv5s在檢測時出現(xiàn)了培養(yǎng)板誤檢和漏檢的問題。如圖9（a）顯示box1被多個預(yù)測框標(biāo)記，box2置信度為0.64，box3 置信度為0.81；圖9（b）顯示box2 未被檢出，box3置信度為0.82，box4置信度為0.78；圖9（c）顯示三個目標(biāo)全被檢出，置信度分別為0.865、0.85及0.87；圖9（d）顯示三個目標(biāo)全被檢出，置信度分別為0.71、0.83及0.81?？梢钥闯?，針對生物實驗室中細(xì)胞培養(yǎng)板的分類識別問題，YOLOv5s-tiny 改善了誤檢和漏檢問題，預(yù)測框置信度得到了提升，驗證了算法的可行性和有效性。

圖9 YOLOv5s和YOLOv5-tiny部分檢測結(jié)果Fig.9 Partial Test Results of YOLOv5s and YOLOv5-Tiny

5 結(jié)語

針對生物實驗室中細(xì)胞培養(yǎng)板分類識別問題，提出一種改進(jìn)YOLOv5s的細(xì)胞培養(yǎng)板分類識別方法。該方法首先對小目標(biāo)檢測層進(jìn)行剪枝操作，然后對輸入層圖像進(jìn)行圖像增強，使用深度可分離卷積代替普通卷積，優(yōu)化損失函數(shù)和非極大值抑制，最后引入注意力機制，提高識別的準(zhǔn)確性。通過實驗表明，比較YOLOv5s算法，改進(jìn)后的方法在精確率和平均精確度方面分別提升了4.5%和2.6%，權(quán)重文件減小了20%，方法可行有效，為生物實驗室自動化提供了理論支持。