閆明月， 陳安琪,2， 畢 磊,2， 胡舜迪,2， 聞路紅,2

(1.寧波大學高等技術研究院，浙江 寧波 315211; 2.寧波華儀寧創(chuàng)智能科技有限公司，浙江 寧波 315100)

0 引 言

目前，國內(nèi)外顯微操作領域，無論是顯微注射、微血管組裝[1]還是單細胞分析[2,3]都需要對毛細針的空間位置進行精確的定位。在顯微操作開始之前，首先就是在顯微視野下找到毛細針尖的位置，而在當前的顯微操作機器人系統(tǒng)中，定位毛細針尖的位置主要是由熟練的操作人員手動執(zhí)行。文獻[4,5]利用基于操縱桿的顯微注射系統(tǒng)進行貼壁細胞研究，由于難以控制操縱桿對末端執(zhí)行器進行精確的定位，因此該系統(tǒng)無法進行高通量分析并且成功率低、可重復性差；文獻[6]將基于操縱桿的操作轉(zhuǎn)換為計算機鼠標點擊，要求操作員使用操縱桿并觀察顯微鏡的目鏡來手動執(zhí)行一些關鍵步驟，缺乏自動定位移液器尖端的關鍵功能，降低了該系統(tǒng)在生物學實驗室常規(guī)使用的潛力。由于毛細針的尺寸小且易碎，因此對手動定位尖端具有極高的技術要求，非常耗時，并且可能導致毛細針尖端損壞、系統(tǒng)成功率低、可重復性差等。因此，自動化毛細針尖定位技術對于減少人為干預并實現(xiàn)全自動的顯微操作機器人是必不可少的。

現(xiàn)有的自動化毛細針X,Y平面定位方法如文獻[7]利用模板匹配法來矯正針尖位置，但方法需要及時更換模板；張安[8]利用針尖最小外接矩形邊緣的兩角中點作為針尖點，可較為快速的定位針尖位置但是當針尖口不規(guī)則時必然存在誤差；盧桂章等人[9]檢測掃描線上的灰度值變化的方法定位針尖，方法計算簡單但同樣當針尖口不平滑時會存在幾微米的誤差。

針對上述問題，本文提出點掃描算法，精確的定位針尖X，Y方向的位置。針尖的Z方向定位通常利用自動聚焦算法來獲得，它是自動化顯微系統(tǒng)的關鍵步驟，決定毛細針的下降距離，直接影響操作系統(tǒng)的成功率。Sun Y等人[10]和文獻[11]通過模板匹配技術自動聚焦，方法需要將模板遍歷整張圖像因此計算量較大。Zhang Y等人[12]基于熵計算聚焦評價函數(shù)進行自動聚焦，但毛細針呈傾斜放置時易聚焦在針臂，聚焦錯誤。Liu J等人[13]通過遞歸四叉樹法可準確的聚焦在針尖區(qū)域，但算法復雜、計算量大?；谝陨峡紤]本文提出一種適用于傾斜放置的毛細針尖z方向定位方法即毛細針的自動聚焦。

1 算法介紹

1.1 針尖平面定位：點掃描

1.1.1 閾值分割

(1)

得到使類間方差最大的閾值k*,將I(x,y)>k*的像素點(x,y)劃分為毛細針區(qū)域，反之為背景區(qū)域，閾值分割的圖像H(x,y)為

(2)

1.1.2 針尖點掃描

對二值化的毛細針圖像H(x,y)進行最大連通域檢測，去除背景噪聲得到只含毛細針部分的圖像G(x,y)，然后在圖像G(x,y)中，自左向右地(左針：自右向左)由背景部分到毛細針部分的移動的豎直線與毛細針的第一個切點為上端點，自下向上由背景部分到毛細針部分的移動的水平線與毛細針的第一個切點為下端點，取上端點和下端點的中點作為毛細針尖點。

1.2 微針尖Z方向定位：感興趣區(qū)域自動聚焦

對于水平放置的毛細針對整張圖像使用傳統(tǒng)的聚焦評價方法[14]可以準確的聚焦，然而毛細針呈傾斜放置時，針對整張圖像聚焦在針尖位置時的聚焦評價函數(shù)值如圖1(a)低于聚焦在針臂時的聚焦評價函數(shù)值如圖1(b)，導致聚焦錯誤。因此，本文提出一種基于自動確定感興趣區(qū)域(region of interest,ROI)結合拉普拉斯方差聚焦評價函數(shù)進行針尖自動聚焦。

1.2.1 自動確定ROI

遵循1.1節(jié)針尖自動定位方法定位針尖。在本研究中的ROI即為針尖區(qū)域，利用上述針尖點掃描法定位后自動確定ROI。如圖1(c)～(e)分別為針尖在焦平面之上時的ROI，針尖處在焦平面時的ROI以及針尖在焦平面之下時的ROI，從圖中可看出:ROI區(qū)域比整張圖像清晰度變化更為明顯，因此通過判斷此區(qū)域的清晰度來確定針尖是否聚焦。

圖1 毛細針尖聚焦

1.2.2 清晰度計算

計算獲得ROI內(nèi)的聚焦評價函數(shù)值，值越高代表圖像越清晰即離焦平面越近。聚焦評價函數(shù)：本文采用拉普拉斯方差函數(shù)[15]，這個函數(shù)可以被定義為

(3)

2 實驗結果與分析

2.1 針尖X,Y平面定位

為驗證點掃描算法的定位效果，實驗采用針尖口徑約5 μm毛細針進行定位，圖像分辨率為1 920像素×1 200像素，通過Python 3.7編程實現(xiàn)。

根據(jù)點掃描算法實現(xiàn)流程，結果如圖2所示。將如圖2(a)所示的針尖原始圖像與背景圖像進行幀差法背景扣除后自適應閾值分割結果如圖2(b)所示，圖2(c)為最大連通域檢測結果圖，檢測出毛細針區(qū)域的同時去除噪聲。圖2(d),(e)分別掃描毛細針尖的上端點與下端點，其最終定位結果如圖2(f)，通過結果可以看出點掃描算法可以準確的定位到毛細針尖的位置。

圖2 點掃描算法

為了進一步分析點掃描算法的準確性，將點掃描定位法與現(xiàn)有的主動輪廓法[13]、改進的粒子濾波(refined particle filtering,RPF)[16]進行比較，其結果如表1所示。結果表明點掃描法優(yōu)于主動輪廓和RPF的定位結果，該方法定位最為準確。

表1 算法結果對比

改進的粒子濾波方法在針尖遮擋時也可以估算出針尖的位置，但其定位精度偏低、算法復雜；主動輪廓較適用于尖端的毛細針如顯微注射中的注射針，對于相對平滑的吸持針會得到一個不精確的針尖位置。而本文提出的點掃描法不僅簡單易實現(xiàn)，且在各種復雜的背景以及不同形態(tài)的毛細針如圖3(a),(b)所示情況下均可以準確地定位在毛細針尖位置。綜上，本文的點掃描定位法是最適用的定位方法。

圖3 針尖定位

2.2 針尖Z方向定位

不同大小的ROI會得到不同的聚焦評價函數(shù)曲線，為確定合適大小的ROI窗口，因此對自動ROI聚焦算法的ROI大小進行研究。

自動確定ROI窗口大小分別為6×6,10×10,20×20,40×40，研究自動ROI聚焦法獲得清晰度曲線的陡峭度[17]、標準范圍[18]、計算時間，結果如表2及圖4(a)所示。陡峭度越高，聚焦評價函數(shù)的靈敏度越好；標準范圍值越大越不易陷入局部極大值。

表2 不同ROI大小聚焦曲線結果對比

由表2可知，針尖周圍6×6的區(qū)域陡峭度最高、計算時間短，但該區(qū)域標準范圍相對較小因此易陷入局部極值，同時會聚焦錯誤如圖4(a)中淺灰色曲線。ROI越大越易聚焦在針臂、計算量越大，綜合評估10×10區(qū)域陡峭度較高、計算時間少且如圖4(a)深灰色曲線能夠準確聚焦，故選取針尖周圍10×10的區(qū)域作為ROI。

圖4 自動ROI聚焦評價函數(shù)值曲線

圖4(b)，(c)為不同放置方式的聚焦函數(shù)結果表明本文算法不僅適用于毛細針呈傾斜放置時的自動聚焦，還適用于毛細針呈水平放置時自動聚焦，且當毛細針形狀發(fā)生變化時仍能準確聚焦。

綜上所述，本文的自動ROI法所得聚焦評價函數(shù)曲線靈敏度高、單峰性好，且該方法具有魯棒性。因此本文的自動ROI方法不僅可以準確聚焦在針尖，得到精確的毛細針Z方向位置，同時針對不同形狀、不同放置方式的毛細針均可以準確的聚焦在毛細針尖。

3 結 論

本文對傾斜放置的毛細針空間位置進行研究，針對針尖平面定位提出點掃描算法，通過掃描針尖的上下端點提高毛細針平面定位精度；針對針尖Z方向位置識別提出自動ROI聚焦算法，將點掃描算法與拉普拉斯方差函數(shù)結合計算ROI內(nèi)的聚焦評價函數(shù)值，獲得更精確的定位結果。實驗結果表明：應用本方法既可以解決計算量較大、聚焦在毛細針針臂的問題，又能實現(xiàn)毛細針的高精度定位，為后續(xù)單細胞操作、顯微注射、微血管組裝等系統(tǒng)研究奠定良好的基礎。