劉艷余, 康輝民, 胡斌梁, 許功元, 周知進(jìn)

(1.湖南科技大學(xué) 機(jī)電工程學(xué)院，湖南 湘潭 411201；2.湖南科技大學(xué) 難加工材料高效精密加工湖南省重點(diǎn)實(shí)驗(yàn)室，湖南 湘潭 411201；3.貴州理工學(xué)院 機(jī)械工程學(xué)院，貴州 貴陽 550003)

微裝配中零部件搜索方法*

劉艷余1,2, 康輝民1,2, 胡斌梁1,2, 許功元1,2, 周知進(jìn)3

(1.湖南科技大學(xué)機(jī)電工程學(xué)院，湖南湘潭411201；2.湖南科技大學(xué)難加工材料高效精密加工湖南省重點(diǎn)實(shí)驗(yàn)室，湖南湘潭411201；3.貴州理工學(xué)院機(jī)械工程學(xué)院，貴州貴陽550003)

針對如何快速且準(zhǔn)確地在微裝配的顯微視野中尋找到目標(biāo)零部件，并獲取目標(biāo)零部件的全局視覺信息的問題，提出了一種基于顯微視覺倍率切換的微裝配零部件搜索機(jī)制。詳細(xì)分析了如何確定自動搜索步長；論述了自動搜索策略的原理與過程：通過自動掃描目標(biāo)平面，以準(zhǔn)確識別出目標(biāo)平面內(nèi)的微零部件，有效地克服了大范圍微裝配中顯微視覺范圍遠(yuǎn)小于操作域的局限性，保證了微裝配零部件目標(biāo)始終呈現(xiàn)在不同顯微倍率視野中，為微裝配機(jī)器人的進(jìn)一步操作奠定了視覺基礎(chǔ)。實(shí)驗(yàn)結(jié)果表明：提出的搜索方法搜索成功率達(dá)到了95 %，平均搜索時(shí)間為28 s。

微裝配機(jī)器人； 搜索機(jī)制； 連續(xù)變倍； 顯微視覺

0 引 言

微裝配機(jī)器人主要以工藝復(fù)雜、精度要求極高且技術(shù)難度大為技術(shù)特點(diǎn)[1]，在超精密機(jī)器、醫(yī)療、生物細(xì)胞等研究領(lǐng)域獲得廣泛應(yīng)用，近年來已成為國內(nèi)外機(jī)器人研究的熱點(diǎn)之一。其顯微視覺系統(tǒng)[2～6]是微裝配中獲取圖像信息的重要組成部分，涉及到兩大關(guān)鍵技術(shù)：1)在微裝配過程中，為了保證視野圖像細(xì)節(jié)的清晰度和精確性，通常采用提高顯微放大倍數(shù)的方法來獲得，但因顯微視場范圍的有限性，對于不確定分布的微裝配零部件而言，提高顯微放大倍數(shù)會降低顯微視場的可視范圍，不利于全局視覺信息的獲取，而且產(chǎn)生較大的視野誤差；2)為增大視野范圍而選擇降低視野倍率，目標(biāo)尺寸的減小會導(dǎo)致目標(biāo)微零部件分辨率的降低，從而增加顯微圖像處理與分析的難度，更不利于微零部件全局視覺信息的獲取。因此，如何實(shí)現(xiàn)對不確定分布整體目標(biāo)的快速自動搜索并準(zhǔn)確獲取微零部件的全局視覺信息，是微裝配機(jī)器人研究領(lǐng)域所面臨的難題。目前，國內(nèi)外圍繞微裝配機(jī)器人的搜索識別算法和全局信息獲取進(jìn)行了大量研究[7～10]，取得了很多有價(jià)值的研究成果,但多數(shù)需要依賴操作人員的經(jīng)驗(yàn)判斷，效率較低且增加不便性。

為此，本文利用連續(xù)變倍顯微鏡本身的特點(diǎn)，提出了一種快速而有效的微零部件自動搜索與識別方法，首先在低倍率顯微視覺中，通過對比二值化后的圖像灰度值判別微零部件是否進(jìn)入視野，經(jīng)確認(rèn)后將顯微倍率切換至高倍率視野中；然后通過基于霍夫圓檢測的顯微圖像處理方法識別微零部件，以獲取微零部件的全局視覺信息。

1 顯微視覺系統(tǒng)的構(gòu)成

顯微視覺系統(tǒng)如圖1所示，主要由CCD攝像頭、微動平臺、上位機(jī)及單筒顯微鏡構(gòu)成。其中,CCD一端與單筒顯微鏡連接，另一端通過USB接口與上位機(jī)相連，用于采集顯微圖像并儲存至上位機(jī)，系統(tǒng)基于平臺已可自動聚焦的基礎(chǔ)下進(jìn)行操作[11]。

圖1 顯微視覺系統(tǒng)

2 微零部件變倍自動搜索策略

2.1 顯微系統(tǒng)參數(shù)

系統(tǒng)中顯微鏡光學(xué)變倍范圍為0.35～2.25倍，攝像機(jī)選擇的是黑白CCD攝像機(jī)(具備USB2.0接口)，像素尺寸為2.2μm×2.2 μm，攝像機(jī)分辨率設(shè)定為1 280×960(BIN)，可以得到22幀左右的連續(xù)動態(tài)圖像，CCD攝像機(jī)的靶面尺寸為1/2.5 in(1in=25.4 mm)，對應(yīng)的傳感器對角線尺度為7.2 mm，根據(jù)數(shù)碼顯微鏡放大原理可得

(1)

表1 顯微鏡標(biāo)定結(jié)果

一般人眼可以觀測到的宏觀景物范圍應(yīng)在平方厘米(cm2)級以上，從表1可知，在0.35倍顯微鏡下，一個(gè)屏幕視野為3.796 8 cm2，所以,要在0.35倍的顯微鏡下觀測全局空間布局范圍為20 mm×20 mm，且在此范圍內(nèi)快速搜索目標(biāo)具有可行性。

2.2 搜索步長確定

利用連續(xù)變倍顯微系統(tǒng)能夠提供不同視野范圍以及不同定位精度的特性，采用“全局粗搜索、局部精檢測”原則，完成了由整體到局部、由粗到精的搜索過程。同時(shí)為了滿足微零部件快速搜索的需要，根據(jù)目標(biāo)亞毫米級大小、顯微倍率大小以及全局空間布局(20 mm×20 mm)，初步設(shè)定粗檢測搜索步長為40 μm。

由表1可知，在顯微鏡最低的光學(xué)放大倍率0.35 倍下，單位像素的尺寸為17.6 μm，視場范圍22.6 mm×16.8 mm，足夠包含寬視野內(nèi)一個(gè)邊長的所有信息(22.6 mm>20 mm)。即目標(biāo)在0.35 倍的光學(xué)倍率下為42 μm時(shí)，不會將目標(biāo)當(dāng)噪聲忽略，亦不會遺漏目標(biāo)。

當(dāng)顯微鏡的光學(xué)放大倍率為2.25 倍時(shí)，對應(yīng)的像素尺寸為2.2 μm×2.2 μm，屏幕視野范圍為2.8 μm×2.1 μm，此時(shí)目標(biāo)放大4.5/0.7=6.43倍，目標(biāo)尺寸為42×6.73=270 μm，精檢測搜索步長定為200 μm。對于此倍率下直徑為270 μm的微零部件可以保證足夠的精度，且在此步長內(nèi)微零部件不可能完全越過視野，或被作為噪聲忽略，由此推斷漏判的概率很小。將視野寬闊的方向(從左至右)定為移動搜索方向，在0.35倍的光學(xué)顯微倍率下帶動控制平臺(載物臺移動，即平臺從右向左移動)搜索。

2.3 自動搜索策略

基本原理是在對目標(biāo)范圍進(jìn)行搜索時(shí)，根據(jù)整幅圖像的平均灰度值判斷微零部件是否在視野范圍內(nèi)。當(dāng)目標(biāo)微零部件在視野之外時(shí)，整幅圖像的背景幾乎無變化，灰度值不變；當(dāng)疑似目標(biāo)進(jìn)入視野后，其平均灰度值會發(fā)生相應(yīng)變化，且變化值隨目標(biāo)的清晰度、大小和材質(zhì)的不同而異。

該算法在一定情況下對目標(biāo)微零部件是否進(jìn)入視野能夠做出正確的判斷，但也存在一定的缺陷：當(dāng)疑似目標(biāo)微零部件進(jìn)入視野之后，圖像平均灰度值會有一定的變化，但是由于目標(biāo)細(xì)小，平均灰度值的變化不大，可能作為噪聲被忽略；在搜索過程中疑似目標(biāo)進(jìn)入視野的區(qū)域不確定，微零部件可能僅有部分進(jìn)入視野，不易判斷是否為疑似目標(biāo)。

針對這上述陷，通過改變搜索步長的方法獲取顯微圖像，并根據(jù)步長分為全局粗檢測和局部精檢測；對顯微圖像的平均灰度值進(jìn)行閾值處理，以達(dá)到準(zhǔn)確判斷疑似目標(biāo)是否進(jìn)入視野的目的。微零部件搜索流程如圖2所示。

圖2 微零部件搜索流程

1)對系統(tǒng)進(jìn)行初始化后采集圖像，并將采集的圖像進(jìn)行實(shí)時(shí)二值化處理，以便將視野內(nèi)無目標(biāo)的起始圖像的二值化灰度值作為起始灰度值；2)在全局大范圍搜索中設(shè)定粗檢測搜索步長搜索疑似目標(biāo)，當(dāng)實(shí)時(shí)二值化后的顯微圖像灰度值改變時(shí)，作為搜索到疑似目標(biāo)的視域選擇區(qū)域，并將其切換至高倍率物鏡且保證目標(biāo)在高倍視野中央，同時(shí)加大搜索步長并縮小顯微視覺視野，以放大疑似目標(biāo)做局部精檢測；3)根據(jù)基于霍夫圓檢測識別是否為目標(biāo)微零部件，若不是，則重回低倍率全局大范圍搜索。

圖3 補(bǔ)充搜索流程

另一個(gè)問題是當(dāng)開始位置可能在視野范圍中的任何地方時(shí)，如何搜索到目標(biāo)位置。如果起始位置為目標(biāo)位置的左側(cè)，直接控制搜索平臺從右至左移動。如果起始位置不在有效區(qū)域左側(cè)內(nèi)，沿搜索方向一直搜索均無灰度值的大變化，根據(jù)搜索方法，不能找到正確的目標(biāo)位置。此時(shí)，搜索策略中需要添加補(bǔ)充策略。如果搜索方向錯(cuò)誤，搜索位置從有效區(qū)域移動到無效區(qū)域，則需要轉(zhuǎn)換搜索方向，進(jìn)行第二輪的搜索過程，搜索結(jié)束，灰度值最大差值處的位置為目標(biāo)位置。如圖3所示。

為了節(jié)省在轉(zhuǎn)換搜索方向后再重復(fù)已搜索過程的時(shí)間，本文設(shè)定從開始位置獲取圖片起始，將實(shí)時(shí)所獲取的在線顯微圖像均按照獲取順序依次標(biāo)記序列號。如圖3所示，當(dāng)出現(xiàn)補(bǔ)充搜索策略中需要轉(zhuǎn)換搜索方向進(jìn)行第二次搜索時(shí)，實(shí)時(shí)在線快速搜索，根據(jù)顯微序列圖像記憶庫的信息進(jìn)行高效率的反向回到起始位置，恢復(fù)初始化時(shí)的搜索速度與搜索策略。

3 實(shí)驗(yàn)結(jié)果與分析

根據(jù)上述原理，以0.15 mm的亞毫米級鋼珠作為實(shí)驗(yàn)材料進(jìn)行搜索和識別實(shí)驗(yàn)。鋼珠的全局空間范圍20 mm×20 mm，設(shè)粗檢測搜索步長為25 μm。

3.1 微零部件自動搜索實(shí)驗(yàn)

首先對起始位置進(jìn)行一個(gè)經(jīng)過二值化的圖像灰度值計(jì)算，然后每移動一個(gè)設(shè)定的搜索步長便與初值進(jìn)行一次比較，若超過設(shè)定值，則認(rèn)為疑似目標(biāo)已進(jìn)入視野。實(shí)驗(yàn)過程中所拍攝的圖像如圖4(a)、圖4(b)所示。分別是疑似目標(biāo)尚未進(jìn)入視野和疑似目標(biāo)進(jìn)入視野時(shí)所拍攝的照片。

圖4 顯微圖像及其直方圖

對圖4(a)、圖4(b)直接求灰度值后，所得圖像分別如圖4(c)、圖4(d)所示。顯然，兩幅顯微圖像的灰度值差別太小，不足以作為目標(biāo)是否進(jìn)入視野的評判依據(jù)。在實(shí)驗(yàn)過程中，由于存在角度因素，鏡頭到跟蹤目標(biāo)的工作距離會隨移動平臺的移動而變化，且顯微鏡頭的景深淺會導(dǎo)致移動過程中目標(biāo)零件成像出現(xiàn)模糊的情況。同時(shí)實(shí)驗(yàn)中存在光照變化的情況，視野越小，光線越暗，越容易影響判斷。故本文在獲取圖像時(shí)，首先通過對圖像背景二值化處理，保留原始圖像的基本信息，通過比較處理后的圖像灰度直方圖判斷微零部件是否進(jìn)入目標(biāo)。

圖5 二值化后的顯微圖像及其直方圖

圖5(a)、圖5(b)為目標(biāo)未進(jìn)入視野和目標(biāo)進(jìn)入視野時(shí)二值化后的顯微圖像。經(jīng)過二值化后的顯微圖像僅處理了背景，目標(biāo)依舊保持在顯微圖像中，便于進(jìn)行搜索判斷。

對圖5(a)、圖5(b)進(jìn)行灰度值的計(jì)算，結(jié)果如圖5(c)、圖5(d)所示，由圖5(c)、圖5(d)中的灰度直方圖可知，圖5(c)中的像素僅最右側(cè)存在峰值，最大值為255(代表白色)；而圖5(d)中存在3個(gè)峰值，最左側(cè)的0(代表黑色)說明已有目標(biāo)進(jìn)入視野中。于是0峰值成為判斷是否有目標(biāo)進(jìn)入視野的關(guān)鍵依據(jù)。

3.2 微零部件檢測識別實(shí)驗(yàn)

在搜索到目標(biāo)后可通過鼠標(biāo)左鍵點(diǎn)擊目標(biāo)，即可自動識別所跟蹤的目標(biāo)，并快速自動且大步長地將目標(biāo)置于視野中心位置。為了獲取目標(biāo)的細(xì)節(jié)信息，逐步放大顯微倍率和分辨率，縮小視野范圍，直到獲取目標(biāo)的更多細(xì)節(jié)信息。目標(biāo)的視野切換過程如圖6(a)～圖6(c)所示，分別為顯微光學(xué)放大倍率0.35倍、1倍以及2.25倍的目標(biāo)圖像，圖6(c)中得到最高分辨率圖像。

通過不同顯微倍率的連續(xù)變化，能同時(shí)獲取微零部件(鋼珠)的整體輪廓和微觀細(xì)節(jié)信息，微零部件(鋼珠)的金屬屬性和圓形特征均可在高倍率視野中清晰地觀測到。

圖6 不同層次結(jié)構(gòu)的全局視野

對最大顯微光學(xué)放大倍率下的顯微圖像進(jìn)行基于霍夫圓檢測的微零部件識別，實(shí)驗(yàn)檢測結(jié)果如圖7所示?？煽焖偾覝?zhǔn)確地識別出顯微圖像中的鋼珠為圓，用時(shí)0.05 s。

圖7 基于霍夫圓檢測的微零部件識別

實(shí)驗(yàn)過程中，顯微鏡頭的景深，視野光線等均對掃描有一定影響。為了排除偶然性，對10個(gè)120～180 μm的微零部件進(jìn)行了100次搜索實(shí)驗(yàn)，搜索成功率達(dá)到了95 %，平均搜索時(shí)間為28 s(人工搜索在2 min以上)，識別準(zhǔn)確性高且速度快。表明方法既提高了目標(biāo)判斷的效率，也為后續(xù)精檢測提供了準(zhǔn)確的位置信息，以便精檢測放大的同時(shí)移動目標(biāo)至視野中央，并且在實(shí)時(shí)條件稍有光照變化干擾的情況下進(jìn)行快速準(zhǔn)確的判斷。

4 結(jié)束語

提出了一種基于顯微視覺倍率切換的微裝配零部件搜索機(jī)制。該搜索機(jī)制結(jié)合顯微單元參數(shù)、全局布局大小和微零部件的特征設(shè)定搜索步長，快速地搜索目標(biāo)位置，根據(jù)二值化后的圖像灰度值變化判斷目標(biāo)是否進(jìn)入視野，并基于霍夫圓檢測識別，以便獲得準(zhǔn)確的全局視覺信息。實(shí)驗(yàn)結(jié)果表明：方法檢測效率高，且適應(yīng)性強(qiáng)，有效地減少了操作人員的工作量；利用單筒顯微鏡連續(xù)變倍的特點(diǎn)，使大范圍微裝配目標(biāo)的視覺信息獲取更便捷，為進(jìn)一步的微裝配中視覺伺服奠定基礎(chǔ)。

[1] 沈 飛,徐 德,唐永建,等.微操作/微裝配中微力覺的測量與控制技術(shù)研究現(xiàn)狀綜述[J].自動化學(xué)報(bào),2014,40(5):785-797.

[2] 李海鵬,邢登鵬,張正濤,等.宏微結(jié)合的多機(jī)械手微裝配機(jī)器人系統(tǒng)[J].機(jī)器人,2015(1):35-42.

[3] 胡小平,陳國良,陽小燕,等.微操作機(jī)器人顯微視覺系統(tǒng)研究[J].自動化儀表,2007,28(2):5-9.

[4] 陳國良,黃心漢,王 敏.面向微裝配的顯微視覺伺服[J].機(jī)械工程學(xué)報(bào),2008,44(2):82-86.

[5] 吳葉蘭,楊 飛,劉 陽,等.基于顯微視覺的微小型零件跟蹤系統(tǒng)[J].傳感器與微系統(tǒng),2015，34(2):95-98.

[6] 吳葉蘭,秦艷紅,張之敬.基于顯微視覺的微小型零件邊緣檢測技術(shù)研究[J].計(jì)算機(jī)工程與應(yīng)用,2016,52(17):266-270.

[7] 叱干鵬飛,寧紀(jì)鋒,石武禎.基于全局搜索的實(shí)時(shí)分布場目標(biāo)跟蹤方法[J].計(jì)算機(jī)應(yīng)用研究,2014,31(10):3169-3172.

[8] 聶海濤,龍科慧,馬 軍,等.采用改進(jìn)尺度不變特征變換在多變背景下實(shí)現(xiàn)快速目標(biāo)識別[J].光學(xué)精密工程,2015,23(8):2349-2356.

[9] 賈 平,徐 寧,張 葉.基于局部特征提取的目標(biāo)自動識別[J].光學(xué)精密工程,2013,21(7):1898-1905.

[10] Rosten E,Porter R,Drummond T.Faster and better:A machine learning approach to corner detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(1):105-119.

[11] 劉 暢,甘 奇,馬 馳,等.觸控自動化顯微成像系統(tǒng)[J].傳感器與微系統(tǒng),2015,34(3):106-109.

Methodofcomponentsearchinginmicro-assembly*

LIU Yan-yu1,2, KANG Hui-min1,2, HU Bin-liang1,2, XU Gong-yuan1,2， ZHOU Zhi-jin3

(1.CollegeofMechanicalandElectricalEngineering,HunanUniversityofScienceandTechnology,Xiangtan411201,China;2.HunanProvincialKeyLaboratoryofHighEfficiencyandPrecisionMachiningofDifficult-to-CutMaterial,HunanUniversityofScienceandTechnology,Xiangtan411201，China;3.CollegeofMechanicalEngineering,GuizhouInstituteofTechnology,Guiyang550003,China)

Aiming at problem of how to find target components quickly and accurately in microscopic field in micro-assembly,and obtain global visual information of target components,micro-assembly component search mechanism based on micro-visual magnification switching is presented.Analyze on how to determine automatic search step size.Discuss on principle and process of automatic search strategy.By automatically scanning target plane,micro-components within target plane are accurately identified,effectively overcome limitation that the micro-visual range in a wide range of micro-assembly is much less than limitation of operating domain,guarantee that the micro-assembly components target has always been presented in different micro-magnification field of view,which lay a visual basis for further operation for the micro-assembly robot.The experimental results show that the searching successful rate of the search method is 95 % and the average search time is 28 s.

micro-assembly robot； searching mechanism； zoom； microscopic vision

10.13873/J.1000—9787(2017)12—0028—04

TP 242.6

A

1000—9787(2017)12—0028—04

2017—10—23

湖南省教育廳基金資助項(xiàng)目(12B042,15A063)；湖南省自然科學(xué)基金資助項(xiàng)目(2017JJ2090)；湖南省重點(diǎn)實(shí)驗(yàn)室開放基金資助項(xiàng)目(E21637)；湖南省研究生科研創(chuàng)新項(xiàng)目(CX2016B550)

劉艷余(1993-)，女，碩士研究生，主要研究方向?yàn)轱@微視覺系統(tǒng)，E—mail：elegancelyy@163.com。康輝民(1975-)，男，通訊作者，博士，副教授，主要從事數(shù)控技術(shù)及裝備、機(jī)器人技術(shù)研究工作，E—mail：xykanghm@163.com。