劉 暢，甘 奇，馬 馳，孟倩芳，汪潔麗，劉 威

(武漢大學(xué) 物理科學(xué)與技術(shù)學(xué)院，湖北 武漢430072)

0 引 言

傳統(tǒng)顯微鏡的操作方式主要基于操作者的手動(dòng)操作，載物臺(tái)移動(dòng)、鏡頭聚焦、照明光源調(diào)控和色溫調(diào)整等一系列操作均由人工操作完成。這種自動(dòng)化程度低的操作模式對(duì)操作者的經(jīng)驗(yàn)要求較高，使得獲取圖像的過(guò)程極為緩慢。傳統(tǒng)顯微鏡的觀測(cè)方式基本是直接通過(guò)目鏡進(jìn)行觀察，而現(xiàn)代計(jì)算機(jī)技術(shù)和圖像處理技術(shù)［1］的發(fā)展使得通過(guò)計(jì)算機(jī)進(jìn)行觀察和處理顯微圖像成為可能，現(xiàn)代儀器的發(fā)展方向即是自動(dòng)化和智能化［2］。

本文設(shè)計(jì)開(kāi)發(fā)了一種可自動(dòng)獲取圖像、自動(dòng)對(duì)焦的自動(dòng)化顯微成像系統(tǒng)，使用過(guò)程的所有操作都通過(guò)觸控手勢(shì)完成。本系統(tǒng)使得應(yīng)用廣泛的顯微鏡使用起來(lái)更簡(jiǎn)便、更智能化，使得專(zhuān)家能夠?qū)ξ⒂^世界進(jìn)行更深入、更全面、更細(xì)微的探索。

1 系統(tǒng)結(jié)構(gòu)

1.1 系統(tǒng)結(jié)構(gòu)劃分

系統(tǒng)硬件結(jié)構(gòu)劃分如圖1 所示，由五部分組成，包括支持觸控功能的PC(上位機(jī)控制系統(tǒng))，單片機(jī)和相應(yīng)的電機(jī)驅(qū)動(dòng)裝置(下位機(jī)控制系統(tǒng))，帶可控制載玻片移動(dòng)的電機(jī)的載物臺(tái)，可換鏡頭的光學(xué)顯微鏡和攝像頭。

圖1 系統(tǒng)硬件結(jié)構(gòu)圖Fig 1 Hardware structure diagram of system

軟件主要包括PC 上的系統(tǒng)觸控軟件和寫(xiě)入單片機(jī)的電機(jī)控制軟件兩部分，兩者通過(guò)串口進(jìn)行通信實(shí)現(xiàn)系統(tǒng)的自動(dòng)化控制。系統(tǒng)觸控軟件的功能主要包括觸控改變觀察區(qū)域、自動(dòng)對(duì)焦、拍照、目標(biāo)尋回定位等。電機(jī)控制軟件的主要功能即為控制載物臺(tái)電機(jī)和鏡頭電機(jī)的移動(dòng)。

1.2 系統(tǒng)精度

儀器的自動(dòng)控制主要是由下位機(jī)控制系統(tǒng)完成的，該系統(tǒng)主要完成對(duì)系統(tǒng)三個(gè)電機(jī)的控制。經(jīng)測(cè)試，在水平方向，電機(jī)2 的精度可以達(dá)到0.04 mm，垂直方向，電機(jī)1 的精度可達(dá)0.02 mm，上下方向，電機(jī)3 的精度可以達(dá)到0.01 mm。

2 系統(tǒng)工作流程

開(kāi)啟系統(tǒng)的上位機(jī)控制系統(tǒng)和下位機(jī)控制系統(tǒng)，打開(kāi)照明光源，調(diào)節(jié)使之達(dá)到適宜的亮度，將待觀察的樣片放在載玻片放置處，在上位機(jī)運(yùn)行系統(tǒng)觸控軟件。

通過(guò)系統(tǒng)觸控軟件的預(yù)覽窗口可觀察由圖像采集系統(tǒng)采集到的圖像，同時(shí)可在觸屏上用平移手勢(shì)發(fā)出指令與下位機(jī)控制系統(tǒng)進(jìn)行通信，從而控制電機(jī)實(shí)現(xiàn)載玻片移動(dòng)來(lái)實(shí)現(xiàn)視野的變換，以便對(duì)樣品不同部分進(jìn)行觀察。

若預(yù)覽圖像對(duì)焦不夠清晰，可選用自動(dòng)方式和手動(dòng)方式進(jìn)行對(duì)焦;若選用自動(dòng)方式，在屏幕使用長(zhǎng)按手勢(shì)發(fā)出指令與下位機(jī)控制系統(tǒng)進(jìn)行通信，可控制電機(jī)實(shí)現(xiàn)鏡頭的上下移動(dòng)以實(shí)現(xiàn)自動(dòng)對(duì)焦，自動(dòng)對(duì)焦指令完成后，還可通過(guò)軟件進(jìn)行微調(diào)。若選用手動(dòng)方式，可直接轉(zhuǎn)動(dòng)轉(zhuǎn)輪改變鏡頭的位置實(shí)現(xiàn)手動(dòng)對(duì)焦。

在觀測(cè)過(guò)程中，若發(fā)現(xiàn)感興趣的目標(biāo)，可控制圖像采集系統(tǒng)進(jìn)行拍照保存，再通過(guò)系統(tǒng)觸控軟件進(jìn)行圖像處理與分析，還可截取感興趣目標(biāo)圖像，顯示在截圖顯示區(qū)中。之后可再通過(guò)點(diǎn)擊截圖來(lái)控制電機(jī)移動(dòng)自動(dòng)定位以便再次觀察該目標(biāo)。系統(tǒng)操作流程可用圖2 表示。

3 觸控操作設(shè)計(jì)與實(shí)現(xiàn)

多點(diǎn)觸控技術(shù)和儀器操作的結(jié)合成為現(xiàn)代儀器發(fā)展的一個(gè)新趨勢(shì)［3］。要實(shí)現(xiàn)通過(guò)軟件觸控操作儀器，首先就需要設(shè)計(jì)觸控手勢(shì)，并和相對(duì)應(yīng)的功能連接起來(lái)。

本系統(tǒng)的觸控輸入手勢(shì)如圖3 所示，主要有平移手勢(shì)、長(zhǎng)按手勢(shì)、短按手勢(shì)和截圖手勢(shì)，分別對(duì)應(yīng)于控制電機(jī)移動(dòng)載物臺(tái)(預(yù)覽功能)、移動(dòng)鏡頭(自動(dòng)對(duì)焦)、移動(dòng)載物臺(tái)(定位功能)和 保存截圖(截圖功能)。

系統(tǒng)各項(xiàng)功能所基于的觸控操作分為對(duì)硬件和軟件兩方面的控制，即控制電機(jī)移動(dòng)和調(diào)用圖像處理函數(shù)。

3.1 觸控移動(dòng)電機(jī)

觸控移動(dòng)電機(jī)的過(guò)程是:先由使用者輸入觸控手勢(shì)，上位機(jī)識(shí)別手勢(shì)并向下位機(jī)發(fā)送指令，下位機(jī)接收指令并控制電機(jī)移動(dòng)。

上位機(jī)控制系統(tǒng)通過(guò)觸控軟件識(shí)別觸控手勢(shì)，轉(zhuǎn)換為相應(yīng)命令，采用全雙工的串行通信方式與單片機(jī)通信。上位機(jī)工作流程如圖4 所示。

圖2 系統(tǒng)操作流程圖Fig 2 Operation flowchart of system

圖3 觸控輸入手勢(shì)分類(lèi)圖Fig 3 Classification map of touch control input gesture

圖4 上位機(jī)流程圖Fig 4 Flowchart of upper computer

下位機(jī)控制系統(tǒng)通過(guò)單片機(jī)接收命令后，結(jié)合載物臺(tái)位置傳感器狀態(tài)和鏡頭位置編碼器信息對(duì)電機(jī)發(fā)出移動(dòng)指令。下位機(jī)工作流程如圖5 所示。

圖5 下位機(jī)流程圖Fig 5 Flowchart of lower computer

3.2 觸控處理圖像

觸控處理圖像僅由上位機(jī)觸控軟件來(lái)實(shí)現(xiàn)。首先，上位機(jī)觸控軟件識(shí)別輸入手勢(shì)，然后，調(diào)用相應(yīng)函數(shù)來(lái)實(shí)現(xiàn)對(duì)圖像的處理，整個(gè)過(guò)程如圖6 所示。

圖6 圖像處理流程圖Fig 6 Flowchart of image processing

4 系統(tǒng)功能測(cè)試

4.1 自動(dòng)對(duì)焦測(cè)試

在軟件預(yù)覽區(qū)域使用長(zhǎng)按手勢(shì)，上位機(jī)控制系統(tǒng)發(fā)出指令與下位機(jī)控制系統(tǒng)進(jìn)行通信，通過(guò)算法控制電機(jī)使鏡頭自動(dòng)到達(dá)可以觀測(cè)到最清晰圖像的位置。

本系統(tǒng)是采用一種改進(jìn)的對(duì)焦深度法來(lái)實(shí)現(xiàn)自動(dòng)對(duì)焦的。對(duì)焦深度法是一種建立在搜尋過(guò)程上的對(duì)焦方式，它通過(guò)選取一種適當(dāng)?shù)脑u(píng)價(jià)函數(shù)來(lái)評(píng)價(jià)不同對(duì)焦位置所獲得圖像的清晰度［4］。清晰度評(píng)價(jià)函數(shù)主要有圖片的灰度熵、灰度方差、灰度梯度、能量譜、拉普拉斯算子等［4～6］。經(jīng)過(guò)實(shí)驗(yàn)，最終本系統(tǒng)采用的清晰度評(píng)價(jià)函數(shù)是圖像的灰度方差函數(shù)。

圖7 為兩種不同樣片進(jìn)行自動(dòng)對(duì)焦測(cè)試時(shí)的部分圖像，表現(xiàn)了由離焦到聚焦再離焦的過(guò)程。圖7(a)為洋蔥鱗片葉表皮細(xì)胞圖像，圖7(b)為蠶豆葉下表皮細(xì)胞圖像。兩列圖像中的第三幅是在對(duì)焦最清晰位置拍攝的圖像。

4.2 手勢(shì)截圖與目標(biāo)尋回定位測(cè)試

觀測(cè)者在軟件預(yù)覽窗口觀察到感興趣區(qū)域時(shí)，可以通過(guò)手指移動(dòng)將感興趣區(qū)域圈出，系統(tǒng)會(huì)自動(dòng)將其顯示在截圖顯示窗口。圖8(a)為預(yù)覽窗口所顯示的圖像，圖像中白色曲線為觀測(cè)者手指移動(dòng)的軌跡，該軌跡包含的區(qū)域即為觀測(cè)者欲截取的區(qū)域，截圖將顯示在截圖顯示窗口中。圖8(b)所示即為截圖顯示窗口顯示的效果，此次截圖對(duì)應(yīng)其中的第四幅圖像。

目標(biāo)尋回定位功能主要是為了讓觀測(cè)者可以方便地再次回到感興趣的區(qū)域進(jìn)行觀察。如當(dāng)前觀測(cè)區(qū)域遠(yuǎn)離圖8(a)顯示的區(qū)域后，通過(guò)點(diǎn)擊顯示在圖8(b)中的截圖可以再次觀察此區(qū)域。

具體實(shí)現(xiàn)過(guò)程如下:觀測(cè)者第一次在軟件預(yù)覽窗口觀察到感興趣區(qū)域R(如圖9(a)所示，圖9(a)與圖8(a)相同但沒(méi)有顯示手勢(shì)軌跡)時(shí)，將感興趣區(qū)域截取出來(lái)顯示在截圖顯示窗口，此時(shí)軟件會(huì)記錄電機(jī)當(dāng)前的位置坐標(biāo)。在之后觀察過(guò)程中，當(dāng)觀察區(qū)域移動(dòng)到遠(yuǎn)離圖9(a)的地方(如9(b)所示區(qū)域)時(shí)，若觀測(cè)者想要再次觀察區(qū)域R，只需點(diǎn)擊截圖顯示窗口中對(duì)應(yīng)的截圖，軟件就會(huì)自動(dòng)計(jì)算出當(dāng)前位置與目標(biāo)位置間的距離和偏移方向，并發(fā)送指令給單片機(jī)，再由單片機(jī)控制電機(jī)將載玻片移動(dòng)到指定位置以實(shí)現(xiàn)目標(biāo)尋回定位，定位后的區(qū)域拍攝的圖像如圖9(c)所示。

圖9(a)為第一次觀測(cè)區(qū)域R 時(shí)拍攝的圖像，與第二次拍攝的圖像圖9(c)比較，可看到兩次所拍攝的圖像顯示的區(qū)域有少許位移，即是電機(jī)在運(yùn)動(dòng)過(guò)程中所產(chǎn)生的誤差。

5 結(jié)束語(yǔ)

本系統(tǒng)在需要使用顯微鏡的各個(gè)領(lǐng)域，包括生物、醫(yī)學(xué)等方面將有廣闊的應(yīng)用前景。傳統(tǒng)顯微鏡都是基于操作者繁復(fù)的手動(dòng)操作控制，并直接通過(guò)目鏡觀察，而本系統(tǒng)則可以通過(guò)簡(jiǎn)單觸控手勢(shì)進(jìn)行精確操作和圖像處理。本系統(tǒng)可添加更專(zhuān)業(yè)功能，如通過(guò)圖像處理實(shí)現(xiàn)識(shí)別腫瘤細(xì)胞［7］，同時(shí)進(jìn)行細(xì)胞計(jì)數(shù)，計(jì)算出腫瘤細(xì)胞的比例等功能，另一方面，通過(guò)建立網(wǎng)絡(luò)交流平臺(tái)實(shí)現(xiàn)不同地區(qū)系統(tǒng)資源的共享［8，9］。

［1］ 姜志國(guó)，韓冬兵，謝鳳英，等.基于全自動(dòng)顯微鏡的圖像新技術(shù)研究［J］.中國(guó)體視學(xué)與圖像分析，2004，9(1):31-36.

圖7 自動(dòng)對(duì)焦測(cè)試圖Fig 7 Test pictures of automatic focusing

圖8 手勢(shì)截圖示意圖Fig 8 Diagram of gesture screenshot

圖9 目標(biāo)定位示意圖Fig 9 Diagram of target localization

［2］ 余啟剛.儀器儀表的虛擬化、網(wǎng)絡(luò)化和智能化［J］.自動(dòng)化博覽，2003，20(1):32-34.

［3］ 王麗霞，王志剛，王照平.基于多點(diǎn)觸控技術(shù)的智能儀器面板設(shè)計(jì)［J］.測(cè)控技術(shù)，2012，31(8):120-122.

［4］ 尤玉虎，劉 通，劉佳文.基于圖像處理的自動(dòng)對(duì)焦技術(shù)綜述［J］.激光與紅外，2013，43(2):132-136.

［5］ 姜志國(guó)，韓冬兵，袁天云，等.基于全自動(dòng)控制顯微鏡的自動(dòng)聚焦算法研究［J］.中國(guó)圖象圖形學(xué)報(bào)，2004，9(4):396-401.

［6］ 方 以，鄭崇勛，閆相國(guó).顯微鏡自動(dòng)聚焦算法的研究［J］.儀器儀表學(xué)報(bào)，2005，26(12):1275-1277.

［7］ 萬(wàn) 劍，程憲平.腫瘤細(xì)胞計(jì)算機(jī)輔助診斷系統(tǒng)的研究［J］.電腦開(kāi)發(fā)與應(yīng)用，2004，17(5):37-38.

［8］ 李學(xué)靜，劉 飛，楊 育，等.儀器資源網(wǎng)絡(luò)化產(chǎn)學(xué)研共享系統(tǒng)研究［J］.現(xiàn)代科學(xué)儀器，2005(4):37-40.

［9］ 傅雅靜，郭麗潔，高 建，等.虛擬顯微鏡技術(shù)及其在醫(yī)學(xué)領(lǐng)域的應(yīng)用［J］.解剖科學(xué)進(jìn)展，2007，13(3):283-285.