申 鷹 謝 鋒 王玉琳 譚 波 范金旭

(1. 貴州省分析測試研究院, 貴州 貴陽 550014; 2. 貴州省檢測技術(shù)研究應(yīng)用中心, 貴州 貴陽 550014)

在食品、化妝品、環(huán)境監(jiān)測、醫(yī)療衛(wèi)生檢驗等行業(yè)的質(zhì)量檢測過程中,菌落計數(shù)是一項基礎(chǔ)又重要的日常工作,是判斷被檢產(chǎn)品衛(wèi)生質(zhì)量的依據(jù),但菌落計數(shù)的平板數(shù)量往往較多,計數(shù)工作較繁重[1]。隨著計算機與圖像分析技術(shù)的發(fā)展,借助人工智能及圖像處理工具等降低工作強度,提高工作效率[2],實現(xiàn)自動計數(shù)已成為一種趨勢,菌落計數(shù)工作也不再是單純依靠人眼識別和計數(shù)[3-4],而是利用基于圖像識別和處理的自動菌落計數(shù)方法[5-6],不僅大大提高了菌落計數(shù)的準確度和工作效率,同時也相對減輕了檢測人員的工作量[7]。

目前,用于菌落計數(shù)的儀器在計數(shù)軟件方面大多采用傳統(tǒng)的語義分割模型,通常采用淺層次的特征圖進行分割,分割精度不佳、分割結(jié)果的邊界不夠清晰、難以處理遮擋問題、分割結(jié)果出現(xiàn)錯誤,且只能用于特定領(lǐng)域的數(shù)據(jù)集,具有較大的參數(shù)量,需要耗費大量的計算資源[8-9];在硬件方面存在所采集圖像易受平板背景陰影干擾、需要檢測人員將待測平板樣本逐一放到全自動菌落計數(shù)器內(nèi)進行拍攝和計數(shù),從某種程度上說,檢測人員需要做的重復(fù)性工作較多,因此常見的菌落計數(shù)儀在基層檢驗實驗室中至今未得到很好的應(yīng)用。另外,目前計數(shù)系統(tǒng)大多數(shù)局限于菌落的計數(shù)結(jié)果,無法實現(xiàn)檢測過程和信息可追溯。因此在檢測工作數(shù)量大和效率高的雙重要求下,研究擬針對現(xiàn)存問題研發(fā)一種基于流水線操作的全自動高通量菌落計數(shù)儀,在硬件設(shè)計方面,以實現(xiàn)批量連續(xù)自動采集平板菌落圖像方式,試驗人員只需要進行平板裝載,系統(tǒng)會將平板自動輸送至指定拍照位置,自動對焦后進行拍攝,拍照完成后系統(tǒng)自動進行下一個平板的運送和拍攝[10];在計數(shù)軟件方面,采用一種深度學(xué)習(xí)的語義分割模型Unet++模型進行計數(shù)軟件開發(fā)[11-12],使其能夠更好地提取特征信息,分割邊界方面表現(xiàn)更好,在較短時間內(nèi)完成訓(xùn)練和推理,更好地解決遮擋問題;同時將該設(shè)備與實驗室LIMS系統(tǒng)進行連接以實現(xiàn)一鍵生成原始記錄[13],旨在為菌落計數(shù)的自動化和高通量技術(shù)提供依據(jù)。

1 菌落計數(shù)儀機械結(jié)構(gòu)設(shè)計

1.1 菌落計數(shù)儀機械結(jié)構(gòu)組成

菌落計數(shù)儀主要由箱體、上料框、平板輸送系統(tǒng)、拍照系統(tǒng)、物料回收系統(tǒng)組成,其中拍照系統(tǒng)由GigE工業(yè)相機、可變鏡頭和照明系統(tǒng)組成。

1.2 平板輸送系統(tǒng)設(shè)計

平板輸送系統(tǒng)主要由箱體、平板裝載載具、平板輸送模塊、平板回收載具、機械夾具等組成,平板輸送模塊通過氣缸和機械抓手將平板輸送至不同階段需要到達的預(yù)定位置。

試驗人員將通過菌落總數(shù)檢測試驗所形成的菌落平板裝載于平板裝載載具中,由頂升裝置將平板裝載載具移動至指定位置;機械夾具將平板自動輸送并投放至指定拍攝點,儀器自動進行載具擋停定位;待拍照完成,平板輸送模塊將平板輸送至回收工位及平板回收載具中。平板輸送系統(tǒng)工作流程如圖1所示。

圖1 平板輸送系統(tǒng)工作流程圖

1.3 圖像采集系統(tǒng)設(shè)計

圖像采集系統(tǒng)由視覺工控機(XEP-2100)、GigE工業(yè)相機和鏡頭(彩色10.7MP像素相機,10MP像素8MM CCD)、定制光源組(KM-R1D 110V-W,多光源組合定制)組成,采用多光源組合配合背光照明,通過調(diào)節(jié)環(huán)境亮度、色溫、減少反光等方式改善拍照環(huán)境,選用1 600萬像素GigE工業(yè)相機、可變鏡頭和照明系統(tǒng)組合進行拍攝,以保證照片的清晰度[14]。

當(dāng)平板輸送系統(tǒng)將平板輸送至指定拍照位置后,圖像采集器系統(tǒng)會自動運行,光源和攝像頭自動下移至預(yù)設(shè)高度,自動對焦后進行拍照,拍照完成后,光源和攝像頭自動歸位。當(dāng)?shù)谝粋€平板拍照工序全部完成后,機械夾具、光源和攝像頭自動歸位并進入下一個平板的拍照工序,如此循環(huán)完成該批次所有平板的拍照。

2 菌落計數(shù)軟件設(shè)計

菌落計數(shù)包括圖像預(yù)處理、語義分割、菌落計數(shù)(包括結(jié)果輸出及人工校正)三部分。

2.1 圖像預(yù)處理

2.1.1 改變圖片像素 圖像采集器使用高清攝像頭,所采集到的圖片分辨率大小為4 068×3 456,將該尺寸的圖片直接輸入模型進行識別將會極大地增加運算的復(fù)雜程度,且分辨率過高的數(shù)據(jù)并不會明顯提高識別的準確程度。因此,將圖片大小變換到912×688,才能在保證較高準確度的同時最大限度地減少運算復(fù)雜度,提升軟件的運行效率[15]。

2.1.2 去除邊界 針對菌落圖片較為規(guī)則的特點,選擇dcircle的方法,首先對菌落圖片中平板的圓形邊界進行學(xué)習(xí),避免去除邊界時造成菌落未被計數(shù)而形成計數(shù)誤差,然后在進行菌落識別前先將圖片的平板邊界去除,以減少邊界對最終識別結(jié)果的影響[16]。

2.1.3 頂帽變換 為了增加輸入圖像的對比度,提升分割效果,需要在識別之前對圖像進行增強處理,主要目的是根據(jù)實際需要有選擇地突出圖像的重要信息的過程。圖像增強處理是圖像分割之前的重要部分,對于提高圖片質(zhì)量,進而提高分割精度有著非常重要的作用。針對圖片采集過程中存在的平板照片亮度不均勻的問題,同時菌落相對于背景而言是在暗背景上亮物體,系統(tǒng)設(shè)計中選擇通過形態(tài)學(xué)頂帽變換的方法增強圖片對比度,提升計數(shù)精度[17-18]。

2.2 語義分割

選擇Unet、Unet++、Resnet50、Resnet101等8類軟件識別模型[19-20],在相同的數(shù)據(jù)集上進行對比,訓(xùn)練集為有標(biāo)注的224張平板菌落照片,使用mini batch的方法訓(xùn)練20個epoch,在20張圖片構(gòu)成的驗證集上進行驗證得到各項指標(biāo)見表1,通過對各項指標(biāo)進行對比分析,選擇最好的識別模型作為圖像識別系統(tǒng)的語義分割模型。

表1 8類模型性能驗證結(jié)果

由表1可知,Unet++模型在進行菌落分割自動計數(shù)時具有明顯的優(yōu)越性,Unet++模型在訓(xùn)練集與驗證集上的F1得分、平均交并比以及誤差率均優(yōu)于其他語義分割模型。因此,在進行平板菌落自動計數(shù)軟件開發(fā)過程中,選擇使用Unet++模型作為語義分割的主要模型。

2.3 菌落計數(shù)

2.3.1 菌落識別系統(tǒng)運行流程 基于python語言進行圖像識別系統(tǒng)開發(fā),首先在擁有4塊3080Ti的服務(wù)器上進行語義分割模型訓(xùn)練,保存訓(xùn)練完成的模型參數(shù),利用該模型參數(shù)進行菌落識別系統(tǒng)開發(fā)。菌落識別系統(tǒng)的運行主要包括平板圖像的采集、數(shù)據(jù)的預(yù)處理以及菌落計數(shù)3個部分,整個運行流程如圖2所示。

圖2 軟件運行流程圖

2.3.2 菌落識別系統(tǒng)界面及使用 菌落識別系統(tǒng)界面主要包括對圖片的旋轉(zhuǎn)、平板邊緣的去除、在形態(tài)學(xué)上對圖片進行增強、對菌落的分割、人工校正功能以及最終計數(shù)的結(jié)果等。

如圖3所示,首先選擇需要計數(shù)的菌落圖片進行上傳,上傳完成后即可在軟件界面左側(cè)顯示所選菌落圖片及該菌落圖片的基本信息,例如采樣時間、樣品編號、樣品檢測時間等;然后點擊菌落識別按鈕,菌落識別系統(tǒng)自動進行菌落識別和計數(shù),系統(tǒng)識別到的菌落會在菌落圖片上進行顏色標(biāo)注,并將菌落數(shù)量顯示在軟件界面右側(cè)的計數(shù)結(jié)果欄內(nèi);若檢測人員發(fā)現(xiàn)在菌落識別過程中產(chǎn)生了結(jié)果偏差,可以直接在顯示標(biāo)記狀態(tài)處增加或者減少標(biāo)注,計數(shù)結(jié)果將根據(jù)菌落識別的標(biāo)注變化情況而自動進行計數(shù)結(jié)果的修改;最后點擊確認即可通過統(tǒng)一格式的命名方式將圖片以及自動計數(shù)的結(jié)果進行保存;同時,實驗室 LIMS系統(tǒng)預(yù)先綁定有包含計算公式的菌落總數(shù)項目原始記錄模板,LIMS系統(tǒng)通過樣品編號信息及數(shù)據(jù)接口將計數(shù)結(jié)果輸入原始記錄模板中對應(yīng)空格處,完成原始記錄表格的填寫。

圖3 軟件功能界面顯示

3 試驗驗證

3.1 菌落圖像采集效果驗證

由圖4可知,其他圖像采集器拍攝的圖片存在不同程度的反光點、背景干擾或者邊緣效應(yīng)等情況,而采用試驗所述的菌落計數(shù)儀圖像采集系統(tǒng)采集的菌落圖片不存在這些問題,邊緣和各種形態(tài)的菌落均能被清晰地呈現(xiàn)出來,且不受培養(yǎng)基顏色和菌落形態(tài)的影響,采集一個平板圖像需要的時間僅為38 s,能很好地克服其他采集方式的缺點,為菌落的準確識別和計數(shù)提供保障。

a～c為通過試驗所述的菌落計數(shù)儀圖像采集系統(tǒng)采集的菌落圖片;d～f為其他圖像采集器拍攝的圖片

3.2 菌落圖片預(yù)處理效果驗證

通過像素變換、邊緣檢測、頂帽變換等預(yù)處理[21],得到的菌落圖片預(yù)處理前后的對比圖。

由圖5可知,通過形態(tài)學(xué)頂帽變換的方法增強圖片的對比度,可提升計數(shù)精度,圖像經(jīng)像素變換、邊緣檢測、頂帽變換等圖像預(yù)處理后,將邊緣淡化、菌落突出顯示。經(jīng)圖像預(yù)處理后的菌落相對于背景而言是在暗背景上的亮物體,能很明顯地顯示出系統(tǒng)對菌落的識別。

圖5 菌落圖片預(yù)處理前后對比

3.3 菌落分割計數(shù)及校正

通過Unet++模型對平板圖片進行分割,然后計算分割之后的圖片的連通域個數(shù),最終實現(xiàn)菌落圖片的自動計數(shù)[22]。模型分割的結(jié)果將在原圖中以深色標(biāo)注出來,即深色覆蓋的部分為模型自動識別到的菌落,而未覆蓋的部分或者錯誤覆蓋的部分即為識別錯誤,語義分割模型進行處理后可以將不同的菌落進行分割,無論是較為規(guī)則的偏向圓形的菌落還是不規(guī)則形狀菌落都可以實現(xiàn)識別,且圖像傳輸和菌落識別計數(shù)整個過程所需時間僅為3～5 s。為了使菌落計數(shù)結(jié)果更加準確,在菌落計數(shù)識別軟件中增加人工校正功能,研究人員可以通過對識別結(jié)果的觀察,并與原圖和實物進行對比后根據(jù)需要進行人工校正,在模型輔助的情況下通過對識別后的圖像進行連通域計算,系統(tǒng)自動計算出平板的菌落個數(shù)并顯示在軟件界面中對應(yīng)的位置。

3.4 菌落圖片采集效率、傳輸速度、計數(shù)結(jié)果準確性和重復(fù)性

利用試驗設(shè)備對包含不同形態(tài)菌落的500張菌落圖像進行菌落總數(shù)識別,并將識別結(jié)果與現(xiàn)行菌落總數(shù)計數(shù)標(biāo)準計數(shù)所得結(jié)果進行比較和誤差分析,結(jié)果見表2。

表2 菌落總數(shù)自動計數(shù)結(jié)果及誤差分析?

由表2可知,試驗設(shè)備對包含不同形態(tài)菌落的500張菌落圖像進行菌落總數(shù)的識別平均誤差<8%,且計數(shù)的重復(fù)性非常好,大部分計數(shù)結(jié)果無差別,僅個別菌落計數(shù)時兩次結(jié)果出現(xiàn)微小差別。這可能是因為菌落之間粘連成片或者成串比較嚴重的平板,人眼識別時也無法準確進行分割,因此降低了識別的準確率。

4 結(jié)論

研究了菌落圖像算法、菌落計數(shù)系統(tǒng)與LIMS系統(tǒng)的融合,通過采用GigE工業(yè)相機、可變鏡頭和多光源組合照明系統(tǒng)進行菌落圖像的連續(xù)采集,并采用Unet++分割模型開發(fā)了一種全自動高通量菌落計數(shù)儀。結(jié)果表明,該設(shè)備與LIMS系統(tǒng)進行無縫鏈接,實現(xiàn)了菌落圖像的批處理采集和菌落自動計數(shù),且菌落計數(shù)結(jié)果可以一鍵上傳至LIMS系統(tǒng)并生成原始記錄,實現(xiàn)了實驗室設(shè)備的自動化、智能化,克服了以往很多菌落計數(shù)軟件中的模型部署效率低和特征融合匹配度低的缺點,且該儀器的菌落識別軟件設(shè)計了學(xué)習(xí)功能,軟件會對檢驗檢測人員在校正過程中進行的菌落形態(tài)等形成記憶,并應(yīng)用于后續(xù)的菌落識別中,使菌落計數(shù)準確率不斷提高,在提高菌落計數(shù)工作效率和結(jié)果準確性的同時,實現(xiàn)了檢驗檢測過程的可追溯。采用Unet++分割模型的全自動高通量菌落計數(shù)儀對蔓延菌落、粘連成片或者成串比較嚴重的菌落計數(shù)還存在誤差,后期可利用軟件學(xué)習(xí)功能加大模型訓(xùn)練,逐漸提升這類菌落計數(shù)準確率。