劉 軍,劉 超
(江蘇大學(xué)汽車與交通工程學(xué)院,江蘇鎮(zhèn)江 212000)
電源線(接插端子)加工在機械加工制造業(yè)領(lǐng)域有著巨大的市場。目前國內(nèi)比較成熟的生產(chǎn)線在裁線、剝皮、打端子、PVC封裝等重要工序中都能實現(xiàn)較高程度的自動化,但由于缺少將線束智能識別并壓分至指定加工流道的技術(shù),使得電源線加工的高集成度自動化無法實現(xiàn)。國際上相關(guān)企業(yè)和傳感器供應(yīng)商為此類案例進行的設(shè)計嘗試,但均存在造價昂貴、難以維護和對不同來料的兼容性不佳等缺點。
目前解決顏色識別主要采取CCD視覺方案,線纜線束識別的難點主要包括以下幾個方面:
1)出于精簡和縮短生產(chǎn)線的考慮,要求在一個工站中完成對整束線芯線分布情況的觀察,并按指定的順序旋轉(zhuǎn)線束,以利于后續(xù)工序中一次性壓裝到位。因此,對實際成像的效果不僅要求每根芯線都能有較好的光照度,而且要考慮不同顏色芯線之間的相互干擾。
2)線材是圓柱狀的,因此正確處理其鏡面邊緣(specula’s edges)和遮擋邊緣(occlusion edges)[1]給圖像處理帶來一定的難度。
3)三芯線不僅有單色的藍(lán)色、黑色需要識別,作為地線的黃綠雙色線也給系統(tǒng)識別帶來困難。
4)芯線和橡膠外皮間的滑石粉對圖像質(zhì)量會產(chǎn)生影響。
5)芯線的纏繞曲張程度的隨機性會給系統(tǒng)帶來隨機誤差。
系統(tǒng)由刷粉單元、圖像識別單元、機械糾正單元和PLC通訊單元組成。工作流程如圖1所示。
圖1 系統(tǒng)工作流程
電機帶動齒輪減速機,控制2個刷頭分別做順時針和逆時針的高速轉(zhuǎn)動,以達(dá)到基本除去芯線表面粉塵的目的。經(jīng)試驗,80%以上的表面粉塵都能被很好地去除。
包含工業(yè)CCD、圖像采集卡、圖像處理計算機、光源和背景。CCD選型的出發(fā)點是處理速度快,幀數(shù)高,而在像素級別和視場大小上則無需太高的要求。本系統(tǒng)采用東芝Teli CleverDragon系列相機。光源選擇方面,由于被測線材的特殊性,需要盡可能除去芯線重疊部分的陰影,并且對圓柱表面投上柔和的正光,故采用碗狀光源或環(huán)形光源。
包含夾爪、氣缸、伺服器、電機、PLC模塊。用一組氣缸控制夾線夾爪的關(guān)閉和打開,一組高精度高速伺服控制器和電機控制旋轉(zhuǎn)角度。PLC模塊用于實現(xiàn)和上位機的通訊、接收和返回指令。
顏色空間按基本結(jié)構(gòu)可分兩大類:基色顏色空間和“色”、“亮”分離顏色空間。前者的典型是RGB和 CMY、CMYK、CIE XYZ等;后者包括 HSL、YCC/YUV、Lab,以及一批“色相類顏色空間”。
在計算機技術(shù)及CCD視覺方案中,使用最廣泛的彩色空間是RGB(圖2)彩色空間(RGB color space),它建立在加性混合3種基色R、G、B的基礎(chǔ)上?;诮^大多數(shù)情況下是圖像傳感器的“參考色”,它們構(gòu)成三維正交(彩色)矢量空間的基矢量,其中零矢量代表黑色。在RGB空間,任何彩色都可以看作基矢量的線性組合。但是將RGB顏色空間引入本系統(tǒng)有很多不合適的地方。首先,它的細(xì)節(jié)難以進行數(shù)字化的調(diào)整,它將色調(diào)、亮度、飽和度3個量放在一起表示,很難分開;其次,由于在藍(lán)色和綠色2個分量上產(chǎn)生過多的顏色細(xì)節(jié),因此很容易在辨識電源的黃綠線和藍(lán)線時造成誤判。
本系統(tǒng)采用HSL(圖3)顏色模型。在HSL模型中,H定義顏色的波長,稱為色調(diào)(Hue);S定義顏色的強度(intensity),稱為飽和度(Saturation);L定義摻入的白光量,稱為亮度(lightness)。由于人的視覺對亮度的敏感程度遠(yuǎn)強于對顏色濃淡的敏感程度,因此HSL顏色空間比RGB色彩空間更符合人的視覺特性[2]。圖像處理和計算機視覺中的大量算法都可在HSL色彩空間中方便地使用,它們可以分開處理且是相互獨立的。由于黃色和綠色在色環(huán)上處在相鄰的位置,故可以通過限制Hue的上下限準(zhǔn)確地將黃綠色識別為一種顏色。但是HSL色彩空間仍有一個缺陷,就是在判斷黑色芯線的時候,由于黑色不具有hue信息,只能依靠限定的低亮度和低飽和度來完成識別,所以在保證正確率的同時必然降低了識別率。
HSL色彩空間和RGB色彩空間只是同一物理量的不同表示法,因而它們之間存在著轉(zhuǎn)換關(guān)系。在RGB到HSL的轉(zhuǎn)換中,設(shè)(r,g,b)分別是一個顏色的紅、綠和藍(lán)坐標(biāo),它們的值是0到1之間的實數(shù)。設(shè)max等價于r,g和b中的最大者,min等于這些值中的最小者。要找到在HSL空間中的(h,s,l)值,這里的 h∈[0,360)是角度的色相角,而 s,l∈[0,1]是飽和度和亮度,則:
其中h的值通常規(guī)范化到0°到360°之間,而 h=0用于max=min(即灰色)時。
引入中值濾波的原因是刷粉工站雖然去除了大部分滑石粉,但是仍然會殘留無法去除的粉塵以及CCD成像得到的噪點,需要在圖像識別前進行過濾。
中值濾波器由于具有平滑圖像時保持邊緣的特征而常用于灰度圖像,是一種非線性的算子,它對一個局部窗口中的像素根據(jù)其灰度進行排列,并用序列中部的像素替換窗口中心的像素。將標(biāo)量中值濾波的概念擴展到彩色圖像處理過程中,由于缺少一種“自然”地排列矢量的概念,彩色失真和邊緣保留特性的丟失都可能發(fā)生。如果要同時考慮所有3個彩色分量,那么就要確定彩色矢量序列的順序[3],以定義是否一個矢量比另一個矢量大。
考慮到實用性和準(zhǔn)確性,在幾種已提出的彩色圖像中值濾波技術(shù)中,系統(tǒng)采用了用于HSI空間的色度的中值濾波器[4]。由于在色度平面搜索均值,因而保證了輸出圖像的值與輸入圖像里特定窗中的值相同。這種方法可看作上述矢量中值的一種變形,僅工作在色度平面上。色度定義為一個復(fù)函數(shù),其中,色調(diào)t(x,y)看作相位而飽和度s(x,y)看作絕對值。計算色度圖像b(x,y),其實部R和虛部I可借助歐拉公式計算:
色度 b(x,y)可定義為
搜索窗中與其他像素的平方距離最小的像素,在輸出圖像中,確定該像素的色度。對一個尺寸為m×n的窗,k=mn,像素i到像素j的歐氏平方距離為
其中:1≤I;j≤k。像素i到所有其他像素的平方距離和為
如果一個像素的色度滿足d2=min{},則該像素被選入輸出圖像。與矢量中值類似,這個最小值并非總是無歧義的。如果多個像素滿足上述條件,那么就選取與原始值最接近的色度值。選取一個粉塵較多、噪點較大的圖像做Median3x3預(yù)處理,結(jié)果顯示觀測區(qū)域的很多白點及噪聲得到消除,如圖4所示。
圖4 圖像做Median3x3預(yù)處理
將彩色圖像轉(zhuǎn)換為只有黑色和白色2個顏色的圖像,稱為圖像的二值化。二值圖像比彩色圖像或者灰度圖像更容易處理,可以減少大量的計算,從而節(jié)省程序運算時間。
傳統(tǒng)的圖像二值化處理主要是將灰度圖像按設(shè)定的閾值進行全局或局部的處理?;叶葓D像的單閾值二值化處理擴展到彩色圖像的多閾值二值化處理需要用到之前的HSL顏色空間。所謂的多閾值[5]就是通過H、S、L 3個分量來分別確定圖像處理的閾值,然后將處理結(jié)果疊加以達(dá)到對圖像二值化處理的目的。
圖5 圖像的二值化
形態(tài)濾波的引入來自圖像邊緣的識別要求。圖像中的邊緣由圖像函數(shù)的不連續(xù)性刻畫。由于場景中幾何和光度的不同,邊緣的產(chǎn)生可有完全不同的原因。
鏡面邊緣(specula’s edges)或高光邊緣(highlight edges)源于光源和物體表面之間的特殊朝向,也與物體材料性質(zhì)有關(guān)。在實際生產(chǎn)過程中,表現(xiàn)為如圖6所示的特征。
圖6 棕色芯線上表現(xiàn)出的高光邊緣
遮擋邊緣(occlusion edges)是指目標(biāo)和背景間由觀察者看到的邊界。遮擋邊緣并不代表場景中的物理邊緣,他們的存在性取決于特殊的觀察位置。由于兩芯線之間的入射光強度的不一致性,導(dǎo)致其遮擋邊緣不能呈現(xiàn)清晰的界線,同時由于線材具有一定的反射特征,顏色容易互相映襯和疊加,導(dǎo)致二值化后的圖像邊緣不是很平整,為后續(xù)的位置計算帶來困難。
數(shù)學(xué)形態(tài)濾波的基本操作是腐蝕(erosion或Minkowski減法)和膨脹(dilation或 Minkowski加法)。它們可成功消除灰度圖像中的噪聲[6]。在形態(tài)學(xué)中,結(jié)構(gòu)元素是最重要和最基本的概念。結(jié)構(gòu)元素在形態(tài)變換中的作用相當(dāng)于信號處理中的“濾波窗口”。用B(x)代表結(jié)構(gòu)元素,對工作空間E中的每一點x,腐蝕和膨脹的定義為:
腐蝕:X=E⊙B={x:B(x)?E}
膨脹:Y=E⊕B={y:B(y)∩E≠φ}
如果直接對彩色圖像進行形態(tài)濾波,結(jié)構(gòu)元素此時對所有矢量分量都定義為固定的尺寸和形狀,那么圖像會由于把各個獨立的結(jié)果合并而產(chǎn)生彩色失真。形態(tài)濾波后圖像中細(xì)節(jié)的丟失(在對灰度圖像的濾波中就已存在)將會在彩色圖像中體現(xiàn)得更為明顯。所以本系統(tǒng)在二值化后進行濾波,可以較好地解決這兩個問題。分別進行一次閉合(圖7)操作與一次開啟(圖8)操作,兩次處理分別實現(xiàn)不同的過濾目標(biāo)。最后選擇采用開啟形態(tài)濾波器的方式來優(yōu)化結(jié)果。
圖7 閉合操作
圖8 開啟操作
圖9所示為需求的處理結(jié)果,3根芯線呈“品”字形固定于載具中,流入預(yù)壓工站。
受線材位置的影響,壓在下層的芯線無法獲得較佳的光照度。經(jīng)試驗,如果同時考察3根芯線,則每種芯線HSL通道難以精確制定,導(dǎo)致極低的識別率和一定的誤判率。但若只觀察最高點的單根芯線,效果較佳。
受以往設(shè)計經(jīng)驗的影響,工程師會為需要進行顏色分析的點設(shè)定極小的“感興趣的區(qū)域”(region of interest)。當(dāng)該區(qū)域填充滿預(yù)設(shè)量的像素點時,判斷被測物體已達(dá)到目標(biāo)位置。
圖9 流出工站時需求的結(jié)果
受制于線材性質(zhì)的影響,芯線在鏡頭下的絕對位置并不是很固定,無法通過芯線在影像中的坐標(biāo)來準(zhǔn)確推斷芯線的實際高度,進而導(dǎo)致之后的角度校準(zhǔn)效果偏差較大。日本某品牌傳感器公司為類似案例提供了加載一個高度傳感器的解決方案,即當(dāng)判斷傳感器返回的最高點達(dá)到拐點(峰值)時,可以對ROI進行采像處理。
由于之前優(yōu)質(zhì)的圖像過濾效果,本系統(tǒng)采用對單芯線和整線束分別進行特征分析、計算比對兩者中點的方式,判斷芯線達(dá)到最高點的位置。此方案可以有效包容線纜因隨機偏離視場中心造成的無法識別的情況,且減少了元器件的數(shù)量,提高了系統(tǒng)的穩(wěn)定性。
對軟性材料的加工制造是自動化產(chǎn)業(yè)中的一個難點。而彩色CCD視覺方案多用于判斷已定義的規(guī)范物體的有無和一些簡單的顏色判別,對于外界環(huán)境較惡劣、被測物體相互間干擾較大的情況,則需要更多的圖像處理技術(shù)和優(yōu)化算法作為輔助。本系統(tǒng)基于HSL顏色空間理論,合理融合了中值濾波、圖像二值化、數(shù)學(xué)形態(tài)濾波等彩色數(shù)字圖像處理技術(shù),對電源線自動化生產(chǎn)中的三芯線識別進行了探索性研究,并完成了基于CCD視覺的硬件和軟件的設(shè)計,對光照、環(huán)境和線材來料實現(xiàn)了較好的兼容性,為線纜類及相關(guān)產(chǎn)品自動化生產(chǎn)的研究和發(fā)展提供了寶貴經(jīng)驗。
[1]余見.彩色圖像邊緣檢測和分類[D].廈門:廈門大學(xué),2008.
[2]Koschan,Andreas,Abidi M.Digital color image processing[Z].Wiley-Interscience,2008.
[3]張旭明,徐濱士,董世運.用于圖像處理的自適應(yīng)中值濾波[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2005,17(2):295-299.
[4]Frey,Herbert.Digitale bildverarbeitung in farbrflumen[Z].1988.
[5]王星,劉金義.基于HIS的彩色圖像二值化技術(shù)研究[J].科學(xué)技術(shù)與工程,2011(7):1671-1815.
[6]Serra,Jean.Image analysis and mathematical morphology[M].London:Academic Press,1982.