劉聰，侯劍平，趙萬(wàn)里，王馳，馬海偉

安圖實(shí)驗(yàn)儀器（鄭州）有限公司，河南 鄭州 450016

引言

隨著現(xiàn)代醫(yī)學(xué)技術(shù)水平的發(fā)展，越來(lái)越多的科技成果正不斷地被快速迭代，并應(yīng)用于臨床檢驗(yàn)醫(yī)學(xué)。近年來(lái)，臨床微生物檢測(cè)技術(shù)也得到了飛速的發(fā)展，已經(jīng)達(dá)到了既能準(zhǔn)確地分離出病原菌，又能快速向臨床報(bào)道結(jié)果的發(fā)展方向[1‐2]。

由于機(jī)器視覺(jué)系統(tǒng)具有非接觸性、速度快、柔性好等突出優(yōu)點(diǎn)，在現(xiàn)代制造業(yè)中有著重要的應(yīng)用前景。萬(wàn)子平等[3]應(yīng)用圖像處理的方式成功的測(cè)量了零件的尺寸；仲月嬌等[4]應(yīng)用基于非下采樣輪廓波的亞像素角點(diǎn)提取算法測(cè)量了塑料螺母對(duì)邊長(zhǎng)和對(duì)角長(zhǎng)亞像素距離；吳智峰等[5]主要介紹使用機(jī)器視覺(jué)非接觸測(cè)量外螺紋尺寸系統(tǒng)；韓偉聰?shù)萚6]將機(jī)器視覺(jué)技術(shù)應(yīng)用在了竹材的尺寸測(cè)量中；戴知圣等[7]運(yùn)用圖像處理實(shí)現(xiàn)了手機(jī)U盤(pán)芯片長(zhǎng)度和偏角的非接觸式測(cè)量；Rahimi‐Ajdadi等[8]將機(jī)器視覺(jué)技術(shù)應(yīng)用于土壤含水量的測(cè)量中；Ding等[9]應(yīng)用機(jī)器視覺(jué)技術(shù)對(duì)此畸變量進(jìn)行測(cè)量；Khalili等[10]將機(jī)器視覺(jué)技術(shù)應(yīng)用于裂紋幾何參數(shù)的測(cè)量中；Podr?aj等[11]提出一種新穎的具有較高的精確性測(cè)量方法，極大地提高了生產(chǎn)效率和檢測(cè)精度。

平板劃線接種[12‐14]是將細(xì)菌分離培養(yǎng)的常用技術(shù)，目的是使混有多種細(xì)菌的培養(yǎng)物形成單個(gè)菌落或分離出單一菌株，以便于識(shí)別和鑒定。目前的微生物實(shí)驗(yàn)室大都使用手動(dòng)的方式進(jìn)行平板劃線接種，這種方式主要有以下缺點(diǎn)：① 接種環(huán)人工接種法為主，防護(hù)等級(jí)要求高，生物危害大；② 受操作者個(gè)人水平和接種習(xí)慣的影響，主觀影響因素較多，重復(fù)性差；③ 經(jīng)典的細(xì)菌接種方法工作效率低，難以進(jìn)行標(biāo)準(zhǔn)化和實(shí)施質(zhì)量控制；④ 無(wú)法滿足現(xiàn)代化實(shí)驗(yàn)室對(duì)自動(dòng)化、標(biāo)準(zhǔn)化的要求。

實(shí)現(xiàn)平板接種的全自動(dòng)化具有非常實(shí)用的價(jià)值和意義，不僅可以解放更多的人力，而且可以提高接種效率，使接種更加標(biāo)準(zhǔn)化，為了提高全自動(dòng)平板接種儀平板劃線的可靠性與穩(wěn)定性，論文詳細(xì)分析了平板接種在實(shí)現(xiàn)全自動(dòng)化的過(guò)程中遇到的關(guān)鍵性誤差問(wèn)題，研究出了一種基于機(jī)器視覺(jué)的接種移液器吸頭（Pipette Tip，TIP）的高度檢測(cè)系統(tǒng)如圖1所示。

圖1 接種儀平板劃線過(guò)程與接種平板

1 儀器誤差結(jié)構(gòu)分析與方法

1.1 儀器誤差結(jié)構(gòu)分析

安圖生物公司通過(guò)對(duì)自研接種儀機(jī)械結(jié)構(gòu)的分析，構(gòu)建出高度計(jì)算模型，并根據(jù)模型，計(jì)算出各個(gè)分量的構(gòu)成，從而調(diào)整精準(zhǔn)控制整個(gè)運(yùn)動(dòng)系統(tǒng)，滿足實(shí)際需求。

接種儀接種的核心高度控制所面臨的主要問(wèn)題：如果TIP距離瓊脂表面過(guò)高，TIP的運(yùn)動(dòng)將無(wú)法在接種平板瓊脂表面均勻劃線，相反，如果高度太低，TIP容易扎入瓊脂表面導(dǎo)致吐樣時(shí)TIP管堵塞如圖2所示。因此需要精確的算出TIP頭距離接種平板的高度，才能讓后續(xù)的高度控制得到保障，經(jīng)過(guò)驗(yàn)證，劃線距離平板瓊脂高度為0.5 mm，誤差范圍需要保證在±0.2 mm以內(nèi)。

圖2 由于誤差導(dǎo)致的失敗接種樣本

通過(guò)對(duì)整體誤差模型的分析發(fā)現(xiàn)，誤差主要存在于兩個(gè)模塊如圖3所示，雖然機(jī)械控制TIP的位置每次都會(huì)到固定位置，但是由于TIP本身存在誤差如表1，針對(duì)廠家生產(chǎn)的不同型號(hào)的TIP分別進(jìn)行了5個(gè)批次的測(cè)試，原廠盒高度差范圍在0.299～0.494 mm，定制金屬盒高度差范圍在0.237～0.313 mm。分析可知，TIP自身高度誤差大于0.2 mm，為了消除此誤差，設(shè)計(jì)了預(yù)設(shè)的校準(zhǔn)臺(tái)（超聲波絕對(duì)零點(diǎn)平面），通過(guò)計(jì)算Dtip的高度，并以此來(lái)控制TIP自身的高度誤差；由于平板瓊脂表面的不平整導(dǎo)致的誤差dx，通過(guò)超聲波測(cè)量[14‐17]得到。

圖3 TIP高度控制誤差分析示意圖

表1 TIP高度誤差測(cè)試結(jié)果

根據(jù)誤差模型分析，整體誤差主要由以上兩部分組成如式(1)，其中Dtip為T(mén)IP尖端到校準(zhǔn)臺(tái)的距離，dx為校準(zhǔn)臺(tái)到瓊脂表面的距離。通過(guò)兩者誤差的累加，得到TIP頭距離平板瓊脂的高度，控制電機(jī)進(jìn)行z軸方向的移動(dòng)使得TIP頭距離平板瓊脂的高度保持固定，從而保證了高度的精度控制。

在設(shè)計(jì)機(jī)器視覺(jué)檢測(cè)系統(tǒng)前，接種儀僅使用超聲波測(cè)量平板瓊脂表面距離超聲波基準(zhǔn)零點(diǎn)的距離而忽視了TIP自身的誤差，整體精度為0.2 mm，這是因?yàn)槌暡z測(cè)僅能檢測(cè)平板瓊脂高度的不平整導(dǎo)致的誤差，而無(wú)法測(cè)量TIP自身誤差。通過(guò)模型分析，在超聲波測(cè)距基礎(chǔ)之上引入視覺(jué)，并采用視覺(jué)測(cè)量計(jì)算出TIP頭末端到超聲絕對(duì)零點(diǎn)的校準(zhǔn)臺(tái)的TIP高度誤差，從而控制了整體系統(tǒng)的誤差，新的設(shè)計(jì)使高度檢測(cè)精度達(dá)到了0.06 mm，極大地提升了高度的計(jì)算精度。

1.2 方法

1.2.1 系統(tǒng)主要功能

針對(duì)該需求，公司自主研發(fā)了一套軟硬件系統(tǒng)，用于TIP高度的檢測(cè)。軟件系統(tǒng)主要包含以下幾個(gè)功能的實(shí)現(xiàn)如圖4所示：① 與下位機(jī)互連；② 對(duì)接種TIP頭進(jìn)行拍照；③ 定位出TIP頭所在位置，若沒(méi)有檢測(cè)到TIP頭，報(bào)警返回；④ 定位出校準(zhǔn)臺(tái)所在位置，若沒(méi)有檢測(cè)到校準(zhǔn)臺(tái)，報(bào)警返回；⑤ 兩者都存在的情況下計(jì)算兩者之間的垂直距離；⑥ 將計(jì)算的垂直距離換算成實(shí)際距離，發(fā)送給下位機(jī)。硬件系統(tǒng)主要包括：① 光源系統(tǒng)選型與設(shè)計(jì)；② 光源系統(tǒng)有效性驗(yàn)證。

圖4 軟件系統(tǒng)流程

1.2.2 圖像TIP高度檢測(cè)系統(tǒng)硬件部分設(shè)計(jì)

相機(jī)模塊安裝在移液器龍門(mén)架上，移液器穿過(guò)甲板以吸取樣品。 由一個(gè)攝像頭，一對(duì)交叉極化濾波器，一個(gè)基準(zhǔn)板，一個(gè)漫射器和一個(gè)LED背光組成。設(shè)計(jì)圖像處理的一個(gè)關(guān)鍵目標(biāo)是使其保持非常簡(jiǎn)單、通用、快速和健壯：① 簡(jiǎn)單，因?yàn)樗勾a更易于設(shè)計(jì)，測(cè)試和維護(hù)；② 通用，以便它可以支持不同的攝像頭，照明和TIP；③ 健壯，以便忽略環(huán)境照明，相機(jī)噪音和模塊中一定程度的污垢的變化；④ 快速，因?yàn)樗幱陉P(guān)鍵路徑上，吞吐量一直是該儀器的主要關(guān)注點(diǎn)。

1.2.3 系統(tǒng)光源設(shè)計(jì)

儀器上安裝了大華Technology A3A20CU24 USB攝像頭，用于確定是否存在TIP，計(jì)算每個(gè)TIP的高度。相機(jī)組件使用帶背光的交叉偏振器，偏振器確保圖像中的TIP將顯示為明亮的物體，并且沒(méi)有TIP，背景將非常暗，見(jiàn)圖5。

圖5 帶有交叉偏振光的TIP高度檢

該系統(tǒng)使用帶有交叉偏振器[18]的背光，因此在沒(méi)有TIP存在的情況下，相機(jī)看到純黑色區(qū)域，只有受限者可見(jiàn)（受限者是非極化的并且顯示為純白色）。當(dāng)存在塑料TIP時(shí)，塑料散射背光的偏振，TIP將作為非常明亮的白色物體顯示給相機(jī)。與沒(méi)有極化的系統(tǒng)相比，這會(huì)產(chǎn)生非常有利于判別的圖像質(zhì)量。

由于圖像在黑色背景下基本上是白色的，因此對(duì)其進(jìn)行閾值處理并獲得精確的結(jié)果是非常簡(jiǎn)單的，該結(jié)果在很大程度上不受噪聲和光照變化的影響，并且當(dāng)替換不同的相機(jī)時(shí)幾乎不需要改變。

1.2.4 光源系統(tǒng)驗(yàn)證

為了使系統(tǒng)盡可能健壯以及后續(xù)的可擴(kuò)展性，采用“前后”圖像處理方法，即在“吸氣前”捕獲當(dāng)前TIP的圖像；移液器吸取樣品并返回到完全相同的位置，此時(shí)捕獲“后”圖像。

從前圖像中減去后圖像，并且以這種方式消除了TIP之間的變化，此時(shí)，兩個(gè)圖像之間的唯一差異是由于TIP中存在的樣本。處理所得到的“差異”圖像以準(zhǔn)確地確定感興趣區(qū)域中存在多少差異（具有一些噪聲過(guò)濾等）并且如果差異超過(guò)特定閾值則確定樣本確實(shí)存在。

試配備了一組廣泛變化的樣品用于測(cè)試，紅色、綠色和黃色模具（包括形成黃綠色，棕色和橙色的組合）的組合，代表一系列生物學(xué)上可能的顏色。它們以濃縮的形式制備并稀釋100倍。然后通過(guò)添加牛奶使所有這些都變得更不透明，以產(chǎn)生不同混濁的樣品，通過(guò)不同的組合，共形成了24個(gè)實(shí)驗(yàn)樣品。此外，還制備了普通水和兩種稀釋的普通牛奶以及兩個(gè)“無(wú)樣品”的對(duì)照，由于散射和折射略微增加，可以檢測(cè)到清晰的樣品。由于通過(guò)TIP的光傳輸顯著減少，不透明的樣品非常清楚地顯示出來(lái)，半透明樣品也可以很好地顯示，因?yàn)樯⑸湫?yīng)使它們通過(guò)交叉偏振器顯得更亮。

通過(guò)對(duì)圖像的處理檢測(cè)不同樣品的TIP區(qū)域內(nèi)的白色像素的百分比，見(jiàn)圖6～8，得出結(jié)論：濃縮樣品通常產(chǎn)40%～60%的白色像素，稀釋樣品產(chǎn)生的白色像素的范圍為15%～25%?？諛颖井a(chǎn)生0%的白色像素。大約5%～10%的閾值分割即可作為可擴(kuò)展的樣品檢測(cè)算法，目前測(cè)試的樣品具有100%的準(zhǔn)確度，實(shí)驗(yàn)充分驗(yàn)證了光源系統(tǒng)的有效性以及后續(xù)的可擴(kuò)展性，保證了TIP檢測(cè)的穩(wěn)定性。

圖6 稀釋和密集的彩色透明樣品

圖7 不透明的樣品，稀釋和濃縮

圖8 水和空杯

1.2.5 距離標(biāo)定

由于電機(jī)行進(jìn)距離是以實(shí)際的距離為判別單位進(jìn)行，因此需要將像素大小與實(shí)際距離進(jìn)行標(biāo)定[19‐20]。由于相機(jī)以平視的角度垂直于接種TIP頭所在平面放置，且每次檢測(cè)，下位機(jī)都會(huì)控制TIP頭到達(dá)同一平面。因此選擇直接對(duì)TIP頭所在平面進(jìn)行距離的校準(zhǔn)，根據(jù)實(shí)際測(cè)量物體大小與所占像素進(jìn)行等比換算即為每個(gè)像素對(duì)應(yīng)的實(shí)際距離。

1.2.6 TIP高度檢測(cè)軟件設(shè)計(jì)

進(jìn)行切分后的待檢測(cè)接種TIP頭圖像如圖9所示。TIP高度的圖像處理算法流程：① 將原始待檢測(cè)圖像轉(zhuǎn)為灰度圖像；② 根據(jù)自適應(yīng)閾值化得到對(duì)應(yīng)的二值化圖像如圖10所示； ③ 對(duì)二值圖像提取連通區(qū)域外輪廓；④ 檢測(cè)對(duì)應(yīng)輪廓特征，根據(jù)面積與形狀判斷輪廓所屬類(lèi)型；⑤ 若沒(méi)有檢測(cè)到對(duì)應(yīng)TIP頭或校準(zhǔn)臺(tái)，則給下位機(jī)報(bào)警。

圖9 原始圖像

圖10 原始圖像二值化

1.2.7 接種TIP與超聲波絕對(duì)零點(diǎn)平臺(tái)檢測(cè)

對(duì)灰度圖像進(jìn)行二值化之后，需要進(jìn)行連通區(qū)域檢測(cè)，提取輪廓特征。主要提取的特征為輪廓的長(zhǎng)寬比與輪廓在圖像中的所占的面積。通過(guò)觀察可以發(fā)現(xiàn)，TIP頭的輪廓具有較大的長(zhǎng)寬比如式(2)所示，其中ObjboundboxH為檢測(cè)對(duì)象的高度，ObjboundingboxW為檢測(cè)對(duì)象的寬度，以及相對(duì)較小的占空比如式(3)所示，其中Objarea為檢測(cè)對(duì)象的面積，Objboundingboxarea為檢測(cè)對(duì)象的最小外接矩形的面積，而零點(diǎn)平臺(tái)輪廓具有較小的長(zhǎng)寬比以及相對(duì)較大的占空比，根據(jù)輪廓特征，區(qū)分出標(biāo)準(zhǔn)臺(tái)與接種TIP頭如圖11所示，若沒(méi)有檢測(cè)到對(duì)應(yīng)兩者，則需向下位機(jī)報(bào)警。如果分別對(duì)兩者檢測(cè)出之后，求出兩者的垂直像素距離，換算為實(shí)際距離，發(fā)送給下位機(jī)，從而使下位機(jī)控制電機(jī)微調(diào)距離進(jìn)行誤差校準(zhǔn)。

圖11 檢測(cè)出的TIP與超聲波絕對(duì)零點(diǎn)校準(zhǔn)平臺(tái)

2 結(jié)果

論文提出了一種基于圖像處理的接種儀TIP高度檢測(cè)系統(tǒng)的設(shè)計(jì)方案，從硬件選型到算法設(shè)計(jì)，具有很強(qiáng)的實(shí)用性。

針對(duì)光源有效性設(shè)計(jì)方案，選取了4組不同顏色的真實(shí)標(biāo)本進(jìn)行目標(biāo)測(cè)試。實(shí)驗(yàn)結(jié)果如圖12所示，針對(duì)不同顏色的消化樣本，都可以較容易的定位出TIP頭以及校準(zhǔn)臺(tái)，表明了光源設(shè)計(jì)與視覺(jué)檢測(cè)算法的有效性與精確性。

圖12 不同消化液樣本的檢測(cè)結(jié)果

針對(duì)以上視覺(jué)測(cè)距方案，利用視覺(jué)測(cè)距的方式將TIP運(yùn)動(dòng)至三個(gè)固定位置點(diǎn)(高點(diǎn)98000×10‐4mm處、中點(diǎn)65000×10‐4mm 處、低點(diǎn) 32000×10‐4mm 處 )進(jìn)行視覺(jué)檢測(cè)，統(tǒng)計(jì)合計(jì)89組數(shù)據(jù)如圖13所示，通過(guò)圖示曲線可知，數(shù)據(jù)在比較小的范圍內(nèi)進(jìn)行波動(dòng)。

圖13 TIP運(yùn)動(dòng)至三個(gè)固定位置點(diǎn)的視覺(jué)測(cè)量的高度

將89組機(jī)械運(yùn)動(dòng)數(shù)據(jù)的最值點(diǎn)進(jìn)行篩選及數(shù)據(jù)轉(zhuǎn)換如表2所示，得出最大誤差為613×10‐4mm，遠(yuǎn)小于接種所需要的±0.2 mm范圍內(nèi)的誤差，實(shí)驗(yàn)充分證明了視覺(jué)測(cè)量方式的有效性。

表2 三個(gè)位置的誤差對(duì)比（×104 mm）

在設(shè)計(jì)平板接種系統(tǒng)中，通過(guò)對(duì)1042份血平板加樣劃線，嚴(yán)格按照劃線長(zhǎng)度符合、均勻加注且加注過(guò)程無(wú)斷線如圖14所示，其符合個(gè)數(shù)為1001，成功率96.07%；沒(méi)有出現(xiàn)樣本加注不上的情形，整體系統(tǒng)設(shè)計(jì)的有效性達(dá)到100%，大大提高了接種儀的接種成功率，進(jìn)而保證了單菌落分離效果。

圖14 接種成功樣本

3 討論

傳統(tǒng)的手工平板接種采用接種環(huán)來(lái)進(jìn)行，不僅操作復(fù)雜，且內(nèi)容繁復(fù)，效率較低，且因操作者的水平不一，直接影響單菌落分離效果。此外當(dāng)前市場(chǎng)上存在的自動(dòng)化與半自動(dòng)化的接種儀器，采用了接種環(huán)的方式實(shí)現(xiàn)的平板接種，這種方式存在接種環(huán)重復(fù)使用，如操作不當(dāng)或殺菌不徹底將會(huì)導(dǎo)致交叉污染等生物安全風(fēng)險(xiǎn)，此外，平板瓊脂的加樣位置具有固定性，不能根據(jù)加樣位置的平板瓊脂表面凹凸?fàn)顟B(tài)進(jìn)行有效調(diào)整，且固定加樣位置會(huì)導(dǎo)致加樣位置樣本分配不均勻，不能有效利用平板內(nèi)瓊脂。

本文討論的平板接種方法運(yùn)用機(jī)器視覺(jué)技術(shù)，通過(guò)誤差模型分析，采用視覺(jué)檢測(cè)的方式消除了TIP自身的高度誤差，提升了加樣位置的精度，從而使菌落加樣位置可以實(shí)現(xiàn)多樣化與均勻化，進(jìn)而有效保證了接種的效率與成功率，同時(shí)更換了傳統(tǒng)的接種環(huán)接種方式，采用了一次性的接種刷進(jìn)行接種，在保證樣本單菌落分離的一致性的同時(shí)，也從從根本上解決了交叉污染的風(fēng)險(xiǎn)。

4 結(jié)論

論文通過(guò)對(duì)接種儀誤差模型進(jìn)行分析，創(chuàng)新性的加入視覺(jué)模塊進(jìn)行誤差的校正，具有較好的實(shí)用性與創(chuàng)新性，通過(guò)設(shè)計(jì)針對(duì)接種儀誤差模型的分析，分解出各個(gè)誤差的類(lèi)型，并據(jù)此分析分解出誤差各個(gè)部分的計(jì)算方式，有效提升了接種儀接種的成功率，具有較強(qiáng)的實(shí)用意義，一定程度上加快并標(biāo)準(zhǔn)化了接種微生物實(shí)驗(yàn)室的工作流程，同時(shí)研究為同類(lèi)科室相關(guān)的儀器設(shè)計(jì)等提供了一種較為有效誤差的解決方式，具有較好的創(chuàng)新性和參考意義。