黃文軒， 羅 恒， 倪啟東

（蘇州科技大學電子與信息工程學院，江蘇 蘇州 215009）

隨著社會的發(fā)展和科技的進步，推動戰(zhàn)略前沿領域創(chuàng)新、鼓勵跨領域跨行業(yè)的協(xié)同創(chuàng)新是自“十三五”規(guī)劃以來我國經(jīng)濟發(fā)展的持久動力。 加強前沿技術多路徑的探索，不同領域之間的交叉融合更是國家未來產(chǎn)業(yè)的發(fā)展趨勢。 “十四五”規(guī)劃中將務實推進疫情防控和公共衛(wèi)生等領域的科技合作，推動生物技術和信息技術融合創(chuàng)新作為構筑產(chǎn)業(yè)體系的新支柱。 人工智能作為信息科學的分支，在近幾年獲得了長足的發(fā)展，其應用場景也覆蓋智能交通、智慧物流、智慧醫(yī)療等領域，加快了數(shù)字產(chǎn)業(yè)化，促進了共享經(jīng)濟、平臺經(jīng)濟健康發(fā)展。 由于受到疫情沖擊，世界經(jīng)濟陷入低迷期，我國投入大量人力物力進行防控取得了重大戰(zhàn)略成果，在這個特殊的時期也體現(xiàn)出了社會基礎設施的重要性。 醫(yī)療器械設備作為衛(wèi)生領域服務型基礎設施，應向高端化智能化方向優(yōu)化，目前我國醫(yī)療器械設備更新?lián)Q代比較慢且智能化水平不高，將人工智能與醫(yī)療行業(yè)融合對提升醫(yī)療服務水平有著重大作用。

EP 管作為生化實驗室的必需品，廣泛應用于實驗室的離心、聚合酶鏈式反應（Polymerase Chain Reaction，PCR）實驗以及樣本存儲和樣本回收操作。 由于每個試管中存放的液體不同，需要使用標簽對每個試管進行區(qū)分。 在進行標簽信息收集時，需要人工干預保證信息輸入的準確性，實驗人員作為信息輸入端沒有得到輸入的反饋，很有可能會造成交叉感染等重大醫(yī)療事故。 當前對于試管標簽信息的讀入方法有射頻識別（Radio Frequency Identification，RFID[1]）以及利用不同顏色反射可見光波長不同的條形碼識別技術。 其中RFID 射頻技術由天線發(fā)出特定射頻信號獲得電子標簽的編碼信息， 該方法可對標簽任意角度進行讀取，讀取精確度高，但成本非常高昂。 條形碼識別技術應用范圍十分廣泛，檢測時多采用手持式讀碼器，可對條碼角度進行人工調整，雖然識別精確率高但不適用于多個目標的密集放置情況。 在疫情防控當前，現(xiàn)有的醫(yī)護人員更是無法滿足大量的檢測需求，迫切需要高效、低成本可靠的智能化醫(yī)療設施。 將計算機視覺技術應用于該領域成本較低并且可以保證較高的正確率。 使用計算機視覺識別標簽主要分為目標定位、目標傾斜校正以及內容識別。 在內容識別方面，光學字符識別（Optical Character Recognition，OCR）技術已經(jīng)十分成熟，文中主要討論對密集小目標的定位傾斜校正。

1 國內外研究現(xiàn)狀

近些年來深度學習的發(fā)展推動了計算機視覺在目標檢測領域的進步，目前該領域算法主要分為兩種方式：第一種為單階段模型檢測如YOLO[2-4]、SSD[5]等，該方式實現(xiàn)端到端的目標檢測，運算參數(shù)少，檢測速度快；另一種方式為兩階段模型檢測如RCNN[6]、SPPNET[7]等，該方法先輸出圖像中可能存在目標的候選框，之后再對每一個候選框進行逐一目標甄別，在準確性上具有優(yōu)勢但計算成本以及內存要求較大。 在密集場景中，由于兩階段的目標檢測算法通常在神經(jīng)網(wǎng)絡的末端對結果進行預測[8]，過深的神經(jīng)網(wǎng)絡層會導致空間和細節(jié)特征信息的丟失，對密集小目標的檢測十分不利。 單階段的目標檢測模型如YOLOv3，在網(wǎng)絡的設計中既使用了殘差塊[9]保證深層網(wǎng)絡不會因為太深而退化，同時YOLOv3 特征金字塔思想[10]的網(wǎng)絡結構很好地避免了密集目標下采樣時特征同化[11]導致漏檢的狀況，能夠很好地完成對密集試管的定位。

傾斜校正作為標簽識別的關鍵步驟，通常解決方法主要有基于Radon 變換的方法，如郭文誠團隊提出了一種改進Radon 變換法的傾斜圖像校正方法[12]，該方法引入模板匹配法對復雜環(huán)境中的圖像進行校正，經(jīng)過實驗其具有很強的自適應性。 基于線性回歸的方法，曾凡鋒等人提出了一種在復雜背景下文字圖像校正方法[13]，該方法使用最小二乘法自適應的提取出文本特征子區(qū)，再擬合文字行直線獲得傾角，但對于垂直線的擬合結果誤差較大。 基于Hough 變換的方法，相較于Radon 方法，該方法應用于二值圖中，僅處理前景像素和背景像素，能保證較快的處理速度，適用于前后景顏色差異較大的情況，馮雷等人基于Hough 變換思想提出一種基于梯度方向的文檔圖像矯正方法[14]，該方法利用圖像的梯度方向分段累積直方圖獲得傾斜角度，對圖像噪聲也有很強的抗干擾能力；王蕾團隊將Hough 變換應用在織物紋理方向角度檢測中[15]，對織物圖像進行傅里葉變換后的功率圖譜進行Hough 變換確定織物紋理方向，顯示出高精度、高自動化的優(yōu)點。 此外，傾斜校正的應用場景十分廣泛。王越等人提出了基于區(qū)域劃分和霍夫變換的車牌傾斜校正方法[16]，先將定位到的車牌根據(jù)閾值劃分為等分域，再對圖像進行Hough 變換，最后對水平傾斜進行雙線性插值校正，該方法減少了Hough 變換的區(qū)域，提升了矯正的速度。 關博熠團隊提出了針對畸變Data Matrix 碼圖像的傾斜校正算法[17]，針對Data Matrix 的特性使用LoG 算子對畸變Data Matrix 進行特征提取，再使用向量叉乘的方法計算Data Matrix 傾斜角度，達到經(jīng)過一次旋轉實現(xiàn)校正，節(jié)省了圖像恢復過程中的時間和工作量。 鄧翔宇團隊提出了針對紙質簡譜圖像的傾斜校正方法[18]，該方法提出了PCNN（脈沖耦合神經(jīng)網(wǎng)絡）和深度神經(jīng)網(wǎng)絡結合的自動分割算法，選取最優(yōu)區(qū)域提取基線進行傾斜校正，在復雜光照條件下體現(xiàn)出很好的魯棒性和高效率。

目前大多數(shù)傾斜校正方法應用于單個目標或一張圖像中具有相同傾斜角的情況，而在密集多目標場景中，多目標多傾斜角度的傾斜校正面臨著目標物體所占像素少、定位和標簽特征提取困難等問題。 文中提出一種密集試管場景下的標簽定位傾斜校正方法，先使用填充算法對試管架進行粗定位，并在定位出的試管架圖像中使用YOLOv3 對試管小目標進行逐個定位，最后對單個目標采用濾波[19-21]去噪、動態(tài)腐蝕[22]提取標簽中的基線特征，并基于概率霍夫變換（Progressive Probabilistic Hough Transform，PPHT）[23]結合數(shù)字形態(tài)學腐蝕獲取基線端點，達到經(jīng)過一次旋轉還原的效果。

2 試管架粗定位

由于試管架中的試管經(jīng)常處于密集放置的情況，因此在得到所有檢測目標的視野下，單獨的目標試管會發(fā)生檢測特征不明顯和特征上下文混淆的情況，文中針對這種問題首先對試管架進行粗定位，排除采集圖像中除目標試管架之外的大部分混淆環(huán)境因素更有利于準確的識別試管。 文中首先針對原圖像進行一系列預處理得到將試管架與環(huán)境分離的二值圖，再通過對試管架最小外接矩形的定位分離出試管架。 該過程中由于光照和攝像機拍攝或試管架放置傾斜等因素的影響，需要先對試管架的位置亮度和對比度進行調整，定義αb作為亮度的縮放因子。 亮度變換后的圖像dst（x，y）b由下式計算

定義αc和γc作為對比度縮放因子，使用下式得出處理后的圖像buf（x，y）

根據(jù)生物安全實驗室建筑技術規(guī)范2020 年版，標準實驗室具有無強烈反光的密閉潔凈燈，在該環(huán)境下并通過大量實驗（αb=0.94，αc=87，γb=-11 008）可得到理想的便于處理的圖像。 對該圖像進行灰度和閾值二值化得到binary（x，y）。并使用5×5 大小的結構元素進行數(shù)字形態(tài)學腐蝕，最后分別設置種子點（0，0），（0，h-1），（w-1，0），（w-1，h-1），依次對圖像進行滿水填充。 過程圖如圖1 所示。

圖1 試管架粗定位過程圖

在得出的填充圖中將輪廓面積最大的點集合的最大外接矩形視為試管架所處位置，截取原圖像對應區(qū)域最終定位試管架。

3 試管編號校正和識別算法

由于試管架中的試管經(jīng)常處于密集放置的情況，直接對試管架中的所有試管校正十分困難，故文中采取針對每一個定位出的試管單獨進行校正的方法。 首先對試管架圖像進行目標檢測定位試管，對每一個定位出的試管進行充分預處理包括灰度化、去噪、動態(tài)腐蝕以及邊緣檢測操作，使用改進的Hough 變換算法對單個試管圖像的圓和基線進行檢測，通過基線特征獲取傾斜校正所要旋轉的角度，最后根據(jù)向量叉乘公式計算出傾斜角度并進行校正，總流程圖如圖2 所示。

圖2 算法總流程圖

3.1 試管定位

圖3 為YOLOv3 對密集小目標的特征提取效果圖，圖3（a）為僅通過神經(jīng)網(wǎng)絡層的特征圖，圖3（b）為將圖3（a）融合淺層網(wǎng)絡特征信息后提取的特征圖。

圖3 YOLOv3 融合深層網(wǎng)絡與淺層網(wǎng)絡的特征

從圖3 可以看出具有特征金字塔模塊的YOLOv3 能夠在網(wǎng)絡層數(shù)較深的情況下依舊可以保持精確的識別率。

3.2 圖像預處理

3.2.1 灰度化

對試管圖片進行圖像預處理，使用加權平均值法對圖片進行灰度化處理。 灰度化去除多余信息，在之后進行Hough 變換等操作時可以大大減少計算量。 若處理后圖像為f（x，y），其計算公式如下

3.2.2 濾波去噪

在獲取試管的標簽信息時，噪聲會降低圖像的質量，對圖像檢測造成困難，中值濾波器作為一種非線性的信號處理手段，可以消除孤立的噪聲點，減少隨機噪聲并保留圖像邊緣信息。 若取中值濾波滑動窗口大小為m（奇數(shù)），計算公式如下

在實際環(huán)境中，試管帽外的任何信息都視為妨礙識別編號的信息，故應將試管帽所在區(qū)域圓進行定位。 文中使用Hough 梯度法定位區(qū)域圓。

3.2.3 圖像腐蝕去除毛刺

腐蝕操作是圖像形態(tài)學中的概念，對減少圖像中的毛刺有著很大作用。 針對灰度圖的腐蝕運算的函數(shù)表達為

該式表示將使用結構元素G對圖像f進行腐蝕運算的結果作為圖像位置x 的函數(shù)，x 是圖像中的坐標向量，s 是平面結構元素G中的坐標向量。從式中可以看出，在圖像與結構元素的相交區(qū)域，將灰度最小值作為中心元素的值，對圖像明亮的區(qū)域腐蝕可以有效去除白噪聲。

3.2.4 邊緣檢測

對去噪后的圖像進行邊緣檢測，由于邊緣點是圖中灰度值變化最劇烈的點，映射到三維坐標軸中即求梯度最大的點，所以可以使用一階微分算子進行邊緣檢測。 文中使用sobel 算子對每一個像素點進行卷積獲得橫向梯度和縱向梯度

式（6）中設sobel 算子橫向提取梯度為Gx，縱向提取梯度為Gy；式（7）使用反正切函數(shù)計算出梯度的方向。 對圖像進行非極大值抑制后，可采用雙閾值抑制進行邊緣點的連接，最終獲得邊緣圖像。

3.3 基于Hough 變換的基線提取算法

基于累計概率的Hough 變換（PPHT）可以準確地提取出圖像中的直線，相較于經(jīng)典的Hough 變換不需要對每一個點進行計算。 其基本步驟為：

Step1隨機抽取圖像中一特征點，若該點確定為邊緣點則保存該點繼續(xù)抽取下一個邊緣點，直至所有邊緣點都抽取完畢。

Step2對之前保存的邊緣點進行Hough 變換，使用二維數(shù)組累加器進行累加并計算。

Step3在滿足最小投票數(shù)的線段中找出屬于規(guī)定線段長度的線段，并將屬于該線段的所有點刪除。 重復以上三步為PPHT 的基本思路。 最終可得到線段的端點坐標。

文中基于PPHT 的基礎設計直線提取算法，具體算法流程如下：

設對灰度圖邊緣檢測的閾值為（25n，150），PPHT 中最大線段間隔gap且初始值為3，設數(shù)組sizes 為[（0，0），（2，1），（2，2），（3，1），（3，2）]，下標為i，數(shù)字形態(tài)學腐蝕結構元素大小為size[i][0]，迭代次數(shù)為I初始值為size[i][1]。 算法具體流程如圖4 所示。

圖4 基線提取算法流程圖

文中在標簽上添加的基線有助于一次性獲取傾斜角，可通過檢測基線經(jīng)過一次旋轉獲得標簽信息。 首先，通過Hough 變換獲取基線的線性方程，直線在笛卡爾坐標系和極坐標系中的表示為

式（8）中k為直線的斜率，b為直線的截距；式（9）中r為該直線到原點的距離，θ 代表原點向直線的垂線與x軸的夾角。

最后通過向量的叉乘公式判斷基線相對于中心點的位置。 如圖5 所示，當基線向量處于中心點的上方時，旋轉角度需要增加180°，文中將中心點與交點構成的向量與基線向量叉乘

圖5 直線在中心點位置圖

由公式（11）可知，在兩個向量的叉乘結果中t為負時說明中心點在基線的上方，反之中心點在基線的下方。

3.4 清除基線

設置基線有助于準確找到標簽傾斜角度，但在之后進一步識別時會起到一定的干擾作用，故在得出傾角后要對基線進行清除。 為避免識別出基線不完整的情況將基線在圖中的延長線全部涂白。 由已識別出的基線端點可以得出基線延長線與試管圖像的兩個交點坐標， 即dx和dy已知， 故使用以下式（12）和式（13）對基線延長線與圖像交點進行計算

假設與圖像兩交點坐標為C（Xedge1，Yedge1），D（Xedge2，Yedge2），先通過dx和dy的大小確定延長線L為水平線或垂直線，判斷流程圖如圖6 所示。

圖6 判斷L 是否為特殊線段流程圖

圖6 中當延長線L垂直于X軸時，即Xedge1=X1，Yedge1=0；Xedge2=X2，Yedge2=h-1；當延長線L垂直于Y軸時，即Xedge1=0，Yedge1=Y1；Xedge2=w-1，Yedge2=Y2。 若延長線L不屬于特殊直線，令

由式（14）可推出

由式（16）可進行分段函數(shù)計算D點坐標如下

同理可由式（15）進行分段函數(shù)計算C點坐標。

4 實驗結果與分析

4.1 實驗準備

文中使用1080P 廣角變焦攝像頭對試管架進行樣本采集， 在室內光線明亮的環(huán)境中拍攝80 張裝有不同數(shù)量試管的試管架照片作為樣本，使用labelimg 工具進行人工標注。 對于所有試管信息分為三個類，分別為close（試管蓋閉合）、open（試管蓋開啟）、cover（試管蓋遮蓋），最終得到6 350 條試管信息作為訓練集和測試集。

4.2 實驗結果

圖7 為在正常視野和進行粗定位之后的密集試管檢測對比圖，由圖7（a）可見在不進行粗定位的情況下，尤其在試管架邊緣部分試管檢測很容易出現(xiàn)漏檢、誤檢等現(xiàn)象，而在圖7（b）中試管域粗定位之后該現(xiàn)象有了明顯改善。

圖7 粗定位方法定位密集試管圖

圖8 為經(jīng)過傳統(tǒng)ACE 對比度增強算法和文中動態(tài)腐蝕算法對比圖。圖8（a）為原圖，圖8（b）為不經(jīng)腐蝕圖，圖8（c）為ACE 算法圖，圖8（d）為動態(tài)腐蝕圖。從圖8 中可以看出，ACE 算法因為需要手動設置半徑可能會出現(xiàn)反效果。

圖8 不同對比度增強算法對比圖

文將使用傳統(tǒng)的圖像處理方法對定位出的試管傾斜校正與文中提出的傾斜校正方法做對比，由圖9 可以看出，文中的方法在保證標簽信息清晰的情況下更能捕捉到真正基線的位置從而精確的得出旋轉角度。

圖9 傳統(tǒng)方法與文中方法對比

將該方法應用在密集試管放置的試管架中，并進行最終的試管標簽驗證如圖10 所示。 試管上方為試管所在矩陣的坐標，下方為經(jīng)過傾斜校正后識別出的標簽信息。

圖10 通過文中方法經(jīng)定位傾斜校正后結果圖

4.3 評估標準

其中，TP為真正例即深度網(wǎng)絡預測出的目標為真目標的個數(shù)，F(xiàn)P為假正例即預測出的目標不是真目標的個數(shù)。TP和FP都為試管帽屬于閉合狀態(tài)時的個數(shù)。 經(jīng)過測試，該方法在試管數(shù)據(jù)集中的準確率為98.8%，見表1。

表1 試管定位傾斜校正準確率

5 結語

針對EP 試管在試管架中的密集放置，人工提取標簽易造成失誤的情況，基于計算機視覺提出了一種在密集目標情境下的試管定位傾斜校正方法，該方法主要用于識別標簽前的傾斜校正步驟。 文中在該步驟上使用Hough 變換結合動態(tài)腐蝕的方法有效提取圖形基線并同時增強圖像中的有效信息，使得標簽信息能夠精確校正并有利于之后的識別過程。 實驗結果表明，該算法對閉蓋試管傾斜校正準確率達到98.8%，可以用在真實試管識別的環(huán)境中。