張 超,段發(fā)階,董宇青,陳 偉,王 凱
(天津大學精密測試技術(shù)及儀器國家重點實驗室,天津300072)
編程器用來燒錄芯片如 EPROM、EEPROM、Flash、MCU、PLD等,可以采用一臺計算機帶幾臺編程器的方式進行量產(chǎn)編程,可以提高工作效率和減少生產(chǎn)成本。全自動編程器通過機械喂料,視覺定位,將芯片準確的放到芯片槽上,實現(xiàn)無人操作自動化編程,是編程器生產(chǎn)的巨大飛躍,同時也是國家大力扶植的產(chǎn)業(yè)。
視覺定位是全自動編程器實現(xiàn)產(chǎn)業(yè)化中的難點和重點。機械喂料中的氣吸和運動平臺產(chǎn)生的機械摩擦,使得定位困難。具有魯棒性的視覺定位算法[1-5]為系統(tǒng)實現(xiàn)的關(guān)鍵所在。方曉勝等[6]通過對BGA封裝芯片進行定位,但是對TQFP,PLCC等封裝并不適合,盧成靜,黃桂平等[7]對圓的定位算法進行研究,比較和分析質(zhì)心法和擬合法。邢德奎等[8]對鏡頭畸變進行了分析和補償,[9-12]也提出了自己的算法。以上算法對不同封裝芯片都沒有提出通用性的視覺定位計算方法。我們通過對徑向畸變不敏感的圓形靶標得到單目二維視覺測量的攝像機參數(shù)。通過種子自增長法提取目標,通過質(zhì)心算法獲得中心坐標,通過霍夫變換提取直線,獲得旋轉(zhuǎn)角度,保證視覺反饋控制的精確性。
如圖1(a)所示,是實驗中拍攝到的原始靶標圖像。如圖1(b)所示是經(jīng)過中值濾波后的圖像??梢钥闯觯?jīng)過中值濾波后的圖像質(zhì)量得到了明顯的改善。
圖1 原始圖像和預處理圖像
在采集的靶標圖像中包含了12個完整的圓和7個殘缺的圓,標定中需要確定12個完整圓的圓心用于線性擬合,而對于7個殘缺的圓應該予以濾除,這個過程可以通過目標標記實現(xiàn)。目標標記是對二值化后的目標圖像中的多個感興趣區(qū)域采用不同的灰度值進行標記,選擇合適的閾值(閾值大小通過實驗數(shù)據(jù)判斷一般為單個圓形像素總數(shù)大小的1/10)即可將較小的目標區(qū)域或噪聲剔除。我們提出了改進的基于種子自增長法的目標標記方法:圖2是種子自增長法的程序流程圖。圖3是經(jīng)過目標標記后的圖像,不同的灰度表示不同的目標對象。用重心算法計算被標記的12個對象的重心,即可進行下一步的線性擬合。
圖2 種子自增長法流程圖
圖3 目標標記后的圖象
如表1所示,是通過重心算法12個目標圓的圓心坐標和對應的物空間坐標。
設(shè)有n 組二維坐標點yi(yi0,yi1),xi(xi0,xi1),求最優(yōu)矩陣使得取最小值,通過最小二乘法,最優(yōu)解為
表1 標定點坐標實驗測試數(shù)據(jù)
表2 線性擬合各點的誤差
芯片定位需要計算的兩個關(guān)鍵參數(shù)是中心坐標和旋轉(zhuǎn)角度,圖4是相機拍攝的芯片原始圖像。由于芯片在圖像中的目標較大,我們采用種子自增長法標記出目標芯片,還可以濾除一些圖像預處理中無法除掉的大面積噪聲或污漬。
圖4 原始目標圖像
圖5是經(jīng)過中值濾波,二值化和種子自增長法目標標記之后的圖像,印字的存在不便于后續(xù)的處理,需要消除目標中印字的影響。我們可以對背景和印字進行二次目標標記,選擇合適的閾值,即可實現(xiàn)對印字的填充。經(jīng)過二次目標標記后的圖像,如圖6所示。
圖5 處理后的圖像
圖6 二次目標標記后的圖像
經(jīng)過上述一系列圖像處理后,接下來需要檢測圖像中白色矩形區(qū)域的中心和旋轉(zhuǎn)角度。檢測方法種類較多,以下將分別采用三種方法進行測量,并對檢測的實驗結(jié)果進行對比。
(1)霍夫變換法
通過霍夫變換檢測目標區(qū)域中的四條邊界線,計算邊界線的角度即為芯片的旋轉(zhuǎn)角度,同時根據(jù)邊界線的四個交點可進一步計算出矩形區(qū)域的中心。如圖7是經(jīng)過霍夫變換后的圖像,圖中紅條是經(jīng)過標記后的直線。選擇直線段中的最長線段,可以準確的計算出芯片的旋轉(zhuǎn)角度,但如何從多條直線中準確的挑選出四條邊界線是需要解決的問題,因此,霍夫變換不適合用于對中心的檢測。
圖7 霍夫變換后圖像
(2)四點定位法
四點定位法是通過找到矩形的四個角點來計算出芯片的中心和旋轉(zhuǎn)角度。對角點的定位可以通過行掃描和列掃描實現(xiàn)。首先,對圖像從上向下進行行掃描,掃描到的第一個點作為矩形的第一個角點。然后對圖像從下向上做同樣的掃描,掃描得到的第一個點作為矩形的第四個角點。相同的方法進行列掃描,可依次得到剩下的兩個點。為了避免在矩形的旋轉(zhuǎn)角度較小時,行掃描和列掃描得到相同的點,對于掃描的方向需做一定的規(guī)定,如圖8是掃描示意圖。這種通過掃描的方法可以達到較快的速度,并能較為準確的得出中心和旋轉(zhuǎn)角,但是當預處理得到的圖像四個角比較圓滑時,會產(chǎn)生較大的誤差。
圖8 四角點掃描示意圖
(3)重心定位法
通過求解重心來定位矩形區(qū)域的中心是最直觀簡單的方法,而且能達到較快的速度和精度,但明顯的缺點是無法計算芯片的旋轉(zhuǎn)角度。
經(jīng)過以上的分析對比可知,三種方法具有各自的特點,在實際中,我們可以選擇其中的一種或多種組合。我們采用霍夫變換求角度和重心算法求中心相結(jié)合的方法。如表3所示,是通過三種方法對圖4中的芯片求解得到的中心坐標和旋轉(zhuǎn)角度。從表中可以看出,三種方法得到的結(jié)果相差較小,說明所選用的圖像處理算法具有合理性。
表3 三種方法求解的實驗數(shù)據(jù)對比
在實驗室條件下搭建二維機械臂模擬系統(tǒng)。兩根導軌通過正交的放置用于模擬物空間的x軸和y軸,其中一根導軌固定在另一根導軌之上,導軌的運動通過運動控制卡進行控制。需要定位的芯片被放置在兩根導軌的交叉處。照明系統(tǒng)選用日本的CCS光源,并采用直射的方式照射在需要檢測的芯片上。系統(tǒng)的工作流程如下:芯片隨著導軌的運動進入相機視野后,通過相機進行定位,相機計算出芯片的坐標后,通過坐標變換轉(zhuǎn)化為其在物空間的坐標,并計算出其與目標點之間的坐標偏差,計算的結(jié)果通過USB傳遞給上位機,上位機根據(jù)坐標偏差向兩根導軌發(fā)出相應命令。導軌在運動控制卡的控制下運動到目標位置。
文中結(jié)合自動編程器反饋控制的需要,對自動定位視覺算法進行了深入的研究。表明圓形靶標在單目二維視覺攝像機標定中具有很高的魯棒性,通過霍夫變換,四點定位,重心算法對芯片實時定位進行比較研究,實驗表明采用霍夫變換求角度和重心算法求中心相結(jié)合的方法可以實現(xiàn)定位。
[1]解楊敏,史航,劉強.高精度貼片機視覺定位系統(tǒng)的研究與設(shè)計[J].裝備制造技術(shù),2007,12:39 -41.
[2]汪宏昇,熊飛,史鐵林.高速高精度的機器視覺定位的算法[J].光電工程,2005,32(9):71 -74.
[3]梁偉文,馬如震.基于視覺定位的高精度多功能貼片機技術(shù)[J].機電工程技術(shù),2005,34(3):86 -88.
[4]李建平,鄒中升,王福亮.熱超聲倒裝鍵合機視覺定位系統(tǒng)的設(shè)計與實現(xiàn)[J].電子技術(shù)應用,2006,6:12 -15.
[5]劉一凡.基于視覺定位的微小芯片插片機控制系統(tǒng)的研究[J]機床與液壓,2008,36(11):94 -96.
[6]方曉勝,胡躍明,高紅霞.BGA芯片的高速高精度視覺檢測與定位算法[J].電子工藝技術(shù),2006,27(5):262 -268.
[7]盧成靜,黃桂平,李廣云.視覺檢測中圓形標志的定位方法研究[J].宇航計測技術(shù),2008,28(2):5 -13.
[8]邢德奎,達飛鵬,張虎.圓形目標精密定位方法的研究與應用[J].儀器儀表學報,2009,30(12):2593 -2598.
[9]李君蘭,張大衛(wèi),王以忠.面向IC封裝的顯微視覺定位系統(tǒng)[J].光學精密工程,2010,18(4):965 -970.
[10]袁鵬,胡躍明,劉海明.貼片機屏蔽罩視覺定位算法研究[J].計算機測量與控制,2009,17(6):1141 -1142.
[11]趙杰,高強,程萬勝.基于單CCD視覺定位的BGA自動貼裝系統(tǒng)設(shè)計[J].哈爾濱商業(yè)大學學報,2008,24(2):178 -181.
[12]張勇斌,盧榮勝,劉晨.一種視覺定位系統(tǒng)的標定新方法[J].電子質(zhì)量,2003,8:9 -10.