查悅明, 陀韋為, 王 卓, 張剛平, 黃耀熊
(暨南大學(xué) 生物醫(yī)學(xué)工程系, 廣東 廣州 510632)
在生物醫(yī)學(xué)實(shí)驗(yàn)中往往需要分析大量的圖片,僅僅依靠人眼觀察比較,只能獲得粗略的定性的理解,若要獲得定量的數(shù)據(jù)或?qū)D像進(jìn)行增強(qiáng)改善,則需要借助圖像處理與分析軟件?,F(xiàn)在一般通用的圖像處理分析軟件功能比較單一,針對(duì)性不強(qiáng),智能化自動(dòng)化程度低,很多操作需要手動(dòng)完成,造成人為誤差,檢測不準(zhǔn)確,且耗時(shí)費(fèi)力[1-2]。在實(shí)際使用中,各個(gè)實(shí)驗(yàn)室實(shí)驗(yàn)條件不同,圖像千差萬別,通用的圖像處理分析軟件作用很有限。這就需要我們針對(duì)特定的實(shí)驗(yàn)圖像與檢測要求設(shè)計(jì)軟件,傳統(tǒng)的編程語言系統(tǒng)編寫程序工作量大,需要時(shí)間長[3-4],對(duì)于編寫只針對(duì)某一兩種實(shí)驗(yàn)使用的軟件十分不劃算。而Vision Builder AI(VBAI)則是NI公司推出的快速生成視覺自動(dòng)檢測生成器,用戶基本無需編程,就可以在數(shù)小時(shí)甚至幾分鐘內(nèi)建立好自己的檢測程序[5-6],從而對(duì)圖像進(jìn)行自動(dòng)的,大批量的,客觀的,準(zhǔn)確的檢測,并自動(dòng)計(jì)算、保存、輸出結(jié)果,十分適合在生物醫(yī)學(xué)實(shí)驗(yàn)室中使用。
微球作為載體、傳感器等在生物醫(yī)學(xué)領(lǐng)域的應(yīng)用十分廣泛[7-8],在實(shí)驗(yàn)中通常需要對(duì)微球進(jìn)行檢測和分析,分析的指標(biāo)主要有半徑[9]、圓度、折射率等等。利用基于VBAI的顯微圖像分析是比較方便的方式。
將微球投入溶液中,使其分布較均勻,并置于顯微鏡下觀察,得到清晰的微球顯微圖像。根據(jù)我們先前的工作,通過測定微球的外徑D以及其在溶液中所成像的黑環(huán)內(nèi)徑的d,可以根據(jù)有關(guān)理論方程來確定微球或其周邊介質(zhì)的折射率[10]。因此,需要精確測定D與d。下面介紹我們用VBAI編寫的程序如何實(shí)現(xiàn)對(duì)微球像D與d的智能自動(dòng)測定。
圖1 微球顯微圖像
利用VBAI設(shè)計(jì)檢測的程序流程如圖2所示。
進(jìn)入VBAI的Inspection State編輯窗口,可以編輯整個(gè)程序的主要過程,如圖3所示。我們的設(shè)計(jì)是:先在“Inspect”過程中對(duì)圖像進(jìn)行預(yù)處理并找到物體,得到物體個(gè)數(shù);然后在“GO ON?”過程中判斷檢測到幾個(gè)物體,是否已經(jīng)檢測完全部物體;隨后在“Measure”過程中對(duì)當(dāng)前序號(hào)的物體進(jìn)行檢測。
進(jìn)入每個(gè)過程進(jìn)行具體步驟的編輯,只需雙擊右側(cè)工具中的相應(yīng)操作,就可以將該操作加入程序中,在屬性窗口中對(duì)操作的各項(xiàng)參數(shù)進(jìn)行設(shè)定。在“Inspection”過程中,我們首先打開圖片,選中循環(huán)取圖將依次獲取目標(biāo)文件夾中的每個(gè)圖像文件。如要測量真實(shí)尺寸,則要對(duì)圖像進(jìn)行標(biāo)定,VBAI中Calibrate image有多種方式,如圖4所示。通常實(shí)驗(yàn)室顯微鏡采用顯微標(biāo)尺進(jìn)行標(biāo)定,選擇第一種模式,導(dǎo)入顯微標(biāo)尺的圖像,標(biāo)定完成后生成標(biāo)定文件,檢測時(shí)自動(dòng)讀取。接著我們對(duì)圖像進(jìn)行預(yù)處理,這將打開vision assistant窗口,可對(duì)圖像進(jìn)行LUT變換、濾波、分割、形態(tài)學(xué)變換等多項(xiàng)操作,在本實(shí)例中將圖像處理為適合尋找物體的二值化圖像。然后對(duì)處理過的二值化圖片進(jìn)行Detect Objects操作,得到物體數(shù)列。Select Image操作將原圖像讀入,代替處理過的二值化圖像,為下一步檢測做準(zhǔn)備。Set Variable的操作是將Detect Objects操作中檢測到的物體個(gè)數(shù)存入代表剩余物體數(shù)的X。
圖3 Inspection State編輯窗口
圖4 Calibration選項(xiàng)
“GO ON?”過程中沒有圖像處理的具體操作,只在Inspection State編輯中有一個(gè)判斷,在指向end的箭頭定出編輯走向end的條件,為剩余物體數(shù)X<1,當(dāng)X≥1時(shí)將執(zhí)行默認(rèn)箭頭,走向“Measure”過程。如圖5所示。
“Measure”過程中,首先Index Measurements讀取之前Detect Objects中檢測得到的物體數(shù)列的的第X個(gè)物體。接著,要設(shè)置程序可以根據(jù)物體的位置、大小等自動(dòng)建立相應(yīng)的ROI,即檢測區(qū)域,由于要進(jìn)行微球圖像直徑的檢測,因此區(qū)域類型選擇圓環(huán)形。
圖5 Measure過程
然后就可以在檢測區(qū)域內(nèi)進(jìn)行圓的直徑檢測了,利用Find Circular Edge操作可以很方便地做到這一點(diǎn)。其參數(shù)設(shè)置界面如圖6所示。
圖6 Find Circular Edge選項(xiàng)
在直徑檢測中,程序在檢測區(qū)域內(nèi)沿徑向生成一系列的檢測線,圖5中下方的曲線為沿檢測線方向上灰度值變化曲線的一次導(dǎo)數(shù)曲線,反映了灰度值的變化速率,負(fù)數(shù)部分對(duì)應(yīng)圖像由亮變暗,正數(shù)部分對(duì)應(yīng)圖像由暗變亮,極值處即變化速率最快處,也就是邊緣所在位置。曲線上方的參數(shù)設(shè)定包括判斷邊緣的閾值,平滑算子的大小,取樣寬度,每條檢測線之間的間隔等。由于是根據(jù)擬合出的曲線確定邊緣位置,因此可以超越像素的限制,實(shí)現(xiàn)亞像素等級(jí)的超分辨率精確度。檢測程序首先得到每條檢測線上的邊緣點(diǎn)位置,再根據(jù)所有邊緣點(diǎn)擬合出圓形邊界,計(jì)算出直徑數(shù)值,程序中給出精確到0.01個(gè)像素的結(jié)果。結(jié)果的穩(wěn)定性還要取決于拍攝環(huán)境、光照、相機(jī)穩(wěn)定性等。圖像中微球邊緣的黑環(huán)是由于光線折射造成的,根據(jù)我們先前工作[10],證明其粗細(xì)與微球與溶液的折射率比值成一定比例關(guān)系。因此,程序中通過分別測量各微球的D與d,調(diào)整Find Circular Edge操作中搜尋方向、邊緣種類等參數(shù)可以搜尋到內(nèi)徑圓和外徑圓。在精確測定D與d值后,可自動(dòng)根據(jù)我們先前工作導(dǎo)出的方程式[10],給出微球的折射率或是其周邊介質(zhì)的折射率。
Calculator是界面類似LabVIEW圖像化編程工具的一項(xiàng)功能,可以由用戶自己選擇輸入輸出量、制定復(fù)雜的運(yùn)算程序等,本實(shí)例中為利用文獻(xiàn)[10]的方程式計(jì)算出微球的折射率。Data Logging可以選擇需要記錄的數(shù)據(jù)寫入指定的txt或csv文件,以便后續(xù)的數(shù)據(jù)分析統(tǒng)計(jì)。最后Set Variable將變量X減1。
VBAI應(yīng)用編寫完成后可作為專用的檢測軟件使用,處理圖片時(shí)將需要分析的圖像放在同一目錄下,進(jìn)入VBAI文件,指定該路徑,點(diǎn)擊Run Inspection in Loop,就可以自動(dòng)完成所以圖片的分析,并得到記錄有數(shù)據(jù)的txt或csv文件。
這樣生成的檢測程序智能、客觀、準(zhǔn)確、快速,實(shí)現(xiàn)了圖像中微球的識(shí)別尋位、移動(dòng)ROI建立、兩個(gè)直徑的測量、折射率計(jì)算、數(shù)據(jù)保存等操作的完全自動(dòng)化運(yùn)行。而且整個(gè)操作與運(yùn)算排除了人為操作中的主觀性因素,精度亦達(dá)到亞像素水平,平均單個(gè)微球的測量時(shí)間僅需0.20 s。
為了檢驗(yàn)其測定的準(zhǔn)確性,在對(duì)拍攝系統(tǒng)和環(huán)境進(jìn)行標(biāo)定和控制之后,選擇合適的微球作為檢測對(duì)象進(jìn)行多次檢測,其檢測結(jié)果如表1所示。同時(shí),用以往常用的油浸法[11]對(duì)微球折射率作對(duì)照測定,測得的折射率與本VBAI生成系統(tǒng)測定結(jié)果高度吻合,說明VBAI檢測程序的測量準(zhǔn)確性可重復(fù)性較高。
表1 微球折射率檢測結(jié)果 溫度:20℃ 水折射率:1.333 0
油浸法測得微球折射率:1.462 0±0.000 5
細(xì)胞是生物醫(yī)學(xué)研究的重要對(duì)象之一,通過分析細(xì)胞的顯微圖像我們可以得到很多有用的信息。紅細(xì)胞是人類血液中存在的主要細(xì)胞,一直是研究的熱點(diǎn)。正常的紅細(xì)胞呈雙凹圓盤狀,而衰老和不健康的紅細(xì)胞會(huì)呈棘形、雙凹消失等不規(guī)則的形態(tài)[12]。通過觀察與分析顯微圖像中紅細(xì)胞的形態(tài)可以評(píng)價(jià)其健康程度[13-14]。所以這里以紅細(xì)胞為例說明如何采用VBAI編寫適合于進(jìn)行細(xì)胞圖像分析的技術(shù)過程。
將紅細(xì)胞懸浮于緩沖液中,置于顯微鏡下觀察,利用數(shù)碼CCD攝像頭拍攝下細(xì)胞的圖像,如圖7-a所示。
檢測程序上需要先尋找到各個(gè)細(xì)胞,再對(duì)每個(gè)細(xì)胞進(jìn)行檢測,與微球檢測的過程類似,程序總體設(shè)計(jì)上依然可以利用上節(jié)中微球的檢測程序的設(shè)計(jì),但需要根據(jù)有關(guān)圖像處理分析的內(nèi)容更改具體的圖像處理分析操作。
(a)原圖像(b)處理后的圖像
圖7 紅細(xì)胞圖像處理前后
在圖像預(yù)處理操作中需要將原始圖像處理為適合物體識(shí)別的二值化圖像,利用Vision Assistant,先對(duì)圖像轉(zhuǎn)灰度圖像、適當(dāng)?shù)腖UT處理,在分割處理上,由于細(xì)胞邊緣處明暗對(duì)比較大,邊緣銳利,因此選用基于移動(dòng)窗口分割的算法可以較容易地找到邊緣。通過實(shí)驗(yàn)比較證明,選用Background correction分割,可綜合局部和全局的灰度變化信息。分割移動(dòng)窗口大小設(shè)置為邊長接近細(xì)胞邊緣寬度2倍的正方形最為合適。分割完成后再對(duì)二值圖像進(jìn)行一定的形態(tài)學(xué)變換操作,將邊緣盡量變得閉合并填充孔洞。最后進(jìn)行Detect Objects操作,得到圖7(b)所示的圖像。
接著將對(duì)細(xì)胞形態(tài)進(jìn)行分析。首先根據(jù)Detect Objects操作中所檢測到的物體列表,對(duì)每個(gè)細(xì)胞進(jìn)行檢測區(qū)域的建立,即設(shè)置ROI。然后依然使用Find Circular Edge操作,在該操作中調(diào)整參數(shù),使得檢測線能較準(zhǔn)確的發(fā)現(xiàn)邊緣。該操作完成后,將輸出一項(xiàng)名為Deviation的參數(shù),該參數(shù)代表了細(xì)胞邊緣與標(biāo)準(zhǔn)圓的標(biāo)準(zhǔn)偏差。同時(shí)該操作還可以得到細(xì)胞直徑等相關(guān)的信息。將Deviation除以直徑后可以得到細(xì)胞邊緣與標(biāo)準(zhǔn)圓的相對(duì)標(biāo)準(zhǔn)偏差,由于健康紅細(xì)胞的圖像是近似圓形的,因此Deviation參數(shù)可以一定程度上反映紅細(xì)胞的健康程度。
將實(shí)驗(yàn)中拍攝到的采用不同保存格式、保存不同天數(shù)的紅細(xì)胞圖片歸類,用VBAI程序進(jìn)行分析,結(jié)果保存在csv文件中。
如圖8(a)所示為較健康的細(xì)胞,圖像中細(xì)胞外輪廓近似圓形,Deviation/R=1.2‰;圖8(b)所示為發(fā)生了一定形變的細(xì)胞,Deviation/R=3.2‰;圖8(c)所示為嚴(yán)重變形的棘形細(xì)胞,Deviation/R=7.3‰。隨著細(xì)胞變形程度加重,細(xì)胞的相對(duì)標(biāo)準(zhǔn)偏差值也隨之增加。
(a) Deviation/R=0.12%
(b) Deviation/R=0.32%
(c) Deviation/R=0.73%
圖8 不同形態(tài)紅細(xì)胞及其Deviation/R的值
通過軟件分析的優(yōu)勢在于:可以客觀而定量地給出每個(gè)細(xì)胞的變形程度;可以快速自動(dòng)地分析大量的圖片,得到大量的數(shù)據(jù),并對(duì)數(shù)據(jù)進(jìn)行后續(xù)的統(tǒng)計(jì)處理,具有統(tǒng)計(jì)學(xué)意義。除此之外,還可以獲得細(xì)胞的大小信息,通過視野內(nèi)細(xì)胞個(gè)數(shù),得到細(xì)胞分布密度信息等。
某些生物醫(yī)學(xué)樣品的顯微圖像,由于各種原因,其清晰度與對(duì)比度都不能滿意[15],對(duì)此,也可以運(yùn)用VBAI的圖像處理的方式對(duì)圖像進(jìn)行改善。下面介紹花粉孢子斷層掃描圖像中噪音及對(duì)比度不理想的斷層圖作改善的技術(shù)過程。
首先對(duì)整幅圖像中的噪雜進(jìn)行去除,通常改善的方法有空域?yàn)V波和頻域?yàn)V波,兩種方法都可通過Vision Assistant中的算法實(shí)現(xiàn)。其中空域?yàn)V波的算子較多,功能更加豐富,其設(shè)置頁面如圖9所示。不僅提供了低通、高通等10多種算子、每種算子3×3,5×5,7×7三種尺寸,還可以由用戶自定義算子以滿足特殊需要。圖10所示為原圖像、使用Local Average算子和使用自定義算子處理后的圖像。
整幅圖像改善完成后對(duì)左右對(duì)比度及清晰度不理想的花粉孢子斷層圖像進(jìn)行增強(qiáng),首先建立一覆蓋圖11(a)中央花粉孢子像的區(qū)域,使用一可旋轉(zhuǎn)的長方形區(qū)域,長方形的方向與左右像平移的方向垂直,寬度等于左右像平移的距離。
圖9 Filters設(shè)置界面
(a) 原圖像
(b) Local Average算子
(c) 自定義算子
(a) 增強(qiáng)前的圖像
(b) 左右斷層圖像增強(qiáng)后的圖像
接著利用Calculator操作計(jì)算圖11(a)左右像的位置。輸入中央像的中心點(diǎn)(X0,Y0)、角度α和平移距離L,則左像、右像中心點(diǎn)(X1,Y1),(X2,Y2)分別為:
以此為中心點(diǎn)坐標(biāo)參數(shù),長寬與角度參數(shù)使用中央?yún)^(qū)域的長寬與角度,分別建立覆蓋左右像的區(qū)域,使用Vision Assistant對(duì)左右區(qū)域內(nèi)的圖像進(jìn)行對(duì)比度、明暗度的調(diào)整增強(qiáng),如圖12所示。
得到處理后的圖像,三個(gè)層面的圖像的對(duì)比度基本相同,結(jié)果如圖11(b)所示。
利用VBAI對(duì)圖像進(jìn)行處理與改善,不僅功能豐富,適用性強(qiáng),且操作簡單,易于掌握,程序建立完成后還可以快速的對(duì)其他同類圖片進(jìn)行處理,大大節(jié)省了時(shí)間。
圖12 明暗及對(duì)比度調(diào)整界面
使用VBAI創(chuàng)建圖像分析處理程序,可對(duì)各種生物醫(yī)學(xué)對(duì)象進(jìn)行分析和檢測,可對(duì)圖像進(jìn)行處理與改善,其優(yōu)勢在于:
(1) 相比起人眼觀測和手動(dòng)測量,本方法能夠提供客觀和量化的數(shù)據(jù),可快速對(duì)大量圖像進(jìn)行自動(dòng)分析并保存檢測結(jié)果。
(2) 相比起通用化的測量分析軟件,本方法針對(duì)性強(qiáng),針對(duì)各種特定情況和需要制定適應(yīng)的程序,準(zhǔn)確性、有效性和實(shí)用性高。
(3) 相比起使用VC等編程軟件編寫特定測量分析軟件,本方法簡單,有大量強(qiáng)大的模塊化功能自由選用,程序開發(fā)周期短,工作量小,不需要專業(yè)編程技能,一般人易于掌握,且程序易于調(diào)整改進(jìn)。
綜上所述,使用VBAI可簡單快捷的針對(duì)不同生物醫(yī)學(xué)圖像建立相應(yīng)檢測處理程序,可快速自動(dòng)地對(duì)大量圖像進(jìn)行分析,得到客觀量化的數(shù)據(jù)。VBAI是實(shí)驗(yàn)室快速建立生物醫(yī)學(xué)圖像處理與分析檢測程序的有力工具。
[1] 岳慧琴. 生命科學(xué)數(shù)字顯微圖像分析的新進(jìn)展[J]. 實(shí)驗(yàn)室科學(xué), 2006(10): 112-114.
YUE Hui-qin. New advances in the life sciences digital microscopic image analysis[J]. Laboratory Science, 2006(10): 112-114.
[2] 賀賽龍, 楊 鳴, 蔣剛毅. 一種高性能數(shù)字顯微圖像分析系統(tǒng)[J]. 寧波大學(xué)學(xué)報(bào)(理工版), 2003(9): 248-252.
HE Sai-long, YANG Ming, JIANG Gang-yi. New High-Performance Digital Microscopic Image Analysis System[J]. Journal of Ningbo University (NSEE), 2003(9): 248-252.
[3] 黃建燈, 陳慶全. 基于支持向量機(jī)的紅細(xì)胞彩色圖像分割[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用, 2009(1): 35-38.
HUANG Jian-deng, CHEN Qing-quan. A red blood cells color image segmentation algorithm based on support vector machines[J]. Computer Systems & Applications, 2009(1): 35-38.
[4] 范一峰, 王義平. 圖像分割技術(shù)在昆蟲識(shí)別中的應(yīng)用[J]. 實(shí)驗(yàn)室研究與探索, 2011,30(4):9-10.
FAN Yi-feng, WANG Yi-ping. Application of Image Segmentation in InsectRecognition[J]. Research and Exploration in Laboratory, 2011,30(4):9-10.
[5] 趙偉杰, 高 勇. 機(jī)器視覺在光纖端面缺陷檢測中的應(yīng)用[J]. 現(xiàn)代電子技術(shù), 2011,34(19):136-143.
ZHAO Wei-jie, GAO Yong. Application of machine vision in defects inspection of optical fiber end surface[J]. Modern Electronics Technique, 2011,34(19):136-143.
[6] 胡明明, 喬鐵柱, 鄭補(bǔ)祥. 基于NI機(jī)器視覺的膠帶縱向撕裂檢測系統(tǒng)[J]. 儀表技術(shù)與傳感器, 2013(11):41-43.
HU Ming-ming, QIAO Tie-zhu, ZHENG Bu-xiang. Inspection System of Belt Longitudinal Tear Based on NI Machine Vision[J]. Instrument Technique and Sensor, 2013(11):41-43.
[7] 鄧勇輝, 汪長春, 楊武利, 等. 磁性聚合物微球研究進(jìn)展[J]. 高分子通報(bào), 2006(5): 27-35.
DENG Yong-hui, WANG Chang-chun, YANG Wu-li,etal. Research progress of magnetic polymer microspheres[J]. Polymer Bulletin, 2006(5): 27-35.
[8] 陸 楊. 明膠微球的研究進(jìn)展[J]. 明膠科學(xué)與技術(shù), 2006(6): 57-68.
LU Yang. Research progress of gelatin microspheres[J]. The Science and Technology of Gelatin, 2006(6): 57-68.
[9] 陳素芬, 李 波, 張占文. 二氧化硅氣凝膠微球制備技術(shù)[J]. 強(qiáng)激光與粒子束, 2004,16(3): 309-312.
CHEN Su-fen, LI Bo, ZHANG Zhan-wen. Fabrication of SiO2 aerogel microsphere[J]. High Power Laser & Particle Beams, 2004,16(3): 309-312.
[10] 岳糧躍, 王平, 黃耀熊. 處在不均勻介質(zhì)微區(qū)中的微球折射率的簡單測定方法[J]. 生物傳感器和生物電子學(xué), 2011(30): 216-222.
Liang-Yue Yue, Ping Wang, Yao-xiong Huang. Easy method to determine refractive indices of microspheres and in micro-regions of inhomogeneous media[J]. Biosensors and Bioelectronics, 2011(30): 216-222.
[11] Little D J, Kane D M. 基于圖像對(duì)比的油浸法測量蜘蛛絲折射率[J]. 光學(xué)快報(bào), 2011,19(20): 19182-19189.
Little D J, Kane D M. Image contrast immersion method for measuring refractive index applied to spider silks[J]. Optics Express. 2011,19(20):19182-19189.
[12] Bessis M. 紅細(xì)胞形態(tài):一種圖像分類方法及其原理[J]. 新法國血液雜志, 1972,12(6):721-45.
Bessis M. Red cell shapes. An illustrated classification and its rationale[J]. Nouvelle Revue FranCEaise D'hématologie, 1972,12(6):721-45.
[13] 李周璇, 雷建明, 王 迪, 等. 聯(lián)合動(dòng)靜態(tài)圖像分析技術(shù)研究鱷魚血紅細(xì)胞形態(tài)功能隨pH值的變化[J]. 光學(xué)技術(shù), 2011(6):723-729.
LI Zhou-xuan, LEI Jian-ming, WANG Di, etc. Study on morphology and structure of single living crocodilian erythrocyte as functions of pH using techniques of static and dynamic image analysis[J]. Optical Technique, 2011,37(6):723-729.
[14] Gompper G, Schick M. 軟物質(zhì):第四卷 脂質(zhì)雙分子層與紅細(xì)胞[M]. Wiley, 2008.
[15] 于文靜, 楊富琴, 馮偉國. 圖像修復(fù)實(shí)驗(yàn)的設(shè)計(jì)[J]. 實(shí)驗(yàn)室研究與探索, 2012,31(6):40-43.
YU Wen-jing, YANG Fu-qin, FENG Wei-guo. Design of the Experiment on Image Impainting[J]. Research and Exploration in Laboratory, 2012,31(6):40-43.
·名人名言·
如果你問一個(gè)善于溜冰的人怎樣獲得成功時(shí),他會(huì)告訴你:“跌倒了,爬起來?!边@就是成功。
——牛頓