惠婉玉 吳玉秀 張文忠
摘? 要:自適應K-means++被用于提取線束連接器的主色特征值。首先對相機采集的圖像進行去噪和增強對比度的操作;然后進行圖像灰度化處理,通過大津閾值法分離線束主體與背景;再根據(jù)Canny算子提取每根導線的輪廓,由輪廓位置獲取增強圖像對應的圖像塊;最后通過線寬選取聚類區(qū)域并利用自適應K-means++提取主色特征值。實驗通過中位切分法、K-means及自適應K-means++分別提取特征值,并與人眼視覺觀測的特征值進行色差對比。實驗表明自適應K-means++方法提取的特征值較準確。
關(guān)鍵詞:線束連接器;主色特征值;自適應K-means++;色差
中圖分類號:TP391.41? ? ? ?文獻標識碼:A 文章編號:2096-4706(2021)01-0071-06
Research on Line Order Eigenvalue Extraction Method Based on Adaptive K-means++
HUI Wanyu,WU Yuxiu,ZHANG Wenzhong
(School of Electrical and Information Engineering,Anhui University of Techology,Maanshan? 243032,China)
Abstract:Adaptive K-means++ is used to extract the dominant color eigenvalue of the harness connector. First,denoise and enhance the contrast of the image collected by the camera;then the image is grayed,and the main body and background are separated by Otsu threshold method;then,the contour of each wire is extracted according to Canny operator,and the image block corresponding to the enhanced image is obtained from the contour position;finally,the clustering region is selected by linewidth and the dominant color eigenvalue is extracted by adaptive K-means++. The experiment uses median segmentation,K-means and adaptive K-means++ to extract eigenvalue,and compare them with the eigenvalue observed by human vision. Experiments show that the eigenvalue extracted by the adaptive K-means++ method are more accurate.
Keywords:harness connector;dominant color eigenvalue;adaptive K-means++;chromatic aberration
0? 引? 言
線束連接器是電子電路設備中不可或缺的一種重要器件,結(jié)構(gòu)上包含兩個部分,上部分是用于裝線的膠殼,下部分是連接線。它的作用是在兩個或者多個孤立不流通的電子電路之間搭設連通的橋梁,使電流流通,實現(xiàn)電子元器件的各項功能[1]。隨著電子制造業(yè)的快速發(fā)展以及連接器需求量地不斷增加,涉及的領域有汽車、電信與數(shù)據(jù)通信、航空航天、醫(yī)療設施以及軍事領域等。由于全球連接器生產(chǎn)能力不斷向中國偏移以及更多的國際連接器企業(yè)把生產(chǎn)基地轉(zhuǎn)移到中國,中國市場成為全球連接器訂單量增長最快的市場,因此對連接器品質(zhì)的要求越來越嚴格[2]。線束連接器是由各種不同顏色的導線按照一定的順序插入到對應的孔位,因此顏色特征是其最顯著的特征。利用顏色特征識別不同的導線,是線序檢測中常用的一種有效方法。為了防止由于人為因素或者環(huán)境因素導致線束顏色順序排列錯誤而產(chǎn)生電表誤接線、機器故障等情況,工作人員需要將不符合導線顏色排列規(guī)則的產(chǎn)品即不合格產(chǎn)品檢測出來,不能在市場上售賣。
目前,線序檢測大多采用人工目檢的方式,這種方式會因為操作員的視覺疲勞或注意力不集中而導致漏檢或檢錯,從而降低企業(yè)的生產(chǎn)效率和聲譽進而導致企業(yè)訂單流失。伴隨著機器視覺的興起以及在工業(yè)生產(chǎn)方面的廣泛應用,通過機器視覺自動識別線束順序是否正確,從而實現(xiàn)線束自動化檢測。
1? 研究架構(gòu)
目前,國內(nèi)關(guān)于對線束的外觀檢測(如顏色)方面的研究及發(fā)表的論文比較少,絕大多數(shù)的研究主要集中在對線束內(nèi)部檢測(如開路、短路、錯接等方面)的研究,對已有線束檢測和識別的文獻進行了檢索。文獻[3]采用中值濾波去除采集圖像的噪聲,利用大津閾值法對圖像進行閾值分割并利用Sobel算子檢測邊緣,最后通過計算線束每根導線表面像素點的平均值作為每根導線的顏色特征值。文獻[4]對采集到的線束圖像進行中值濾波,然后截取線束的檢測區(qū)域進行二值化,接著分割導線并得到每根導線的輪廓,通過各輪廓位置獲取對應原圖像中圖像塊并計算顏色聚合向量特征。
以上文獻均為本文的研究提供了思路,由于線束導線表面的字符及高光會對線束顏色產(chǎn)生干擾,已有的提取主色特征值的方法不夠準確。由此本文提出線束顏色特征值提取流程框架圖,如圖1所示。
第1步,利用工業(yè)相機采集雙排線束圖像;第2步,為避免導線交叉重疊,提取緊靠在膠殼孔位的下方區(qū)域作為圖像的感興趣區(qū)域進行處理,采用雙線性插值法對其進行線性拉伸;第3步,通過雙邊濾波法進行去噪;第4步,利用對數(shù)變換法突出線束主體與背景的差別;第5步,通道分離,將R、G、B這3個子通道灰度圖以0.299、0.587、0.114的加權(quán)系數(shù)進行算術(shù)運算得到加權(quán)均值灰度圖;第6步,考慮到彩色圖像灰度化會丟失部分顏色的信息,因此將B通道灰度圖和加權(quán)均值灰度圖以一定比例進行融合得到新的加權(quán)融合圖;第7步,對圖像中線束主體與背景進行自適應閾值分割;第8步,采用Canny算子提取圖像邊緣,根據(jù)各導線輪廓的位置獲取增強圖像對應的圖像塊。第9步,通過線寬選取聚類區(qū)域,利用自適應K-means++提取各部分的特征值。
2? 線束圖像預處理
2.1? 線束圖像濾波
在相機采集線束圖像過程中,由于光照強度變化、機械平臺抖動等原因會導致采集到的圖像信息中含有一定程度的噪聲,這種噪聲會降低圖像的像質(zhì),因此需要對其進行降噪操作,需要利用雙邊濾波法對圖像進行降噪,其效果圖如圖2所示。雙邊濾波法的主要原理是結(jié)合圖像的空間鄰近度和像素值近似度對圖像去噪,使得圖像在濾波中同時考慮空間域信息和灰度相似性,實現(xiàn)去除噪聲時還能保留圖像的輪廓信息的優(yōu)點[5]。
2.2? 線束圖像增強
為了強調(diào)線束圖像目標的特征以及擴大圖像中背景和目標間的差距,改善圖像的質(zhì)量和提高圖像的視覺效果,需要對去噪后的圖像進行增強操作,需要利用對數(shù)變換法對去噪后的圖像進行增強,其效果圖如圖3所示。對數(shù)變換法的基本原理是通過將圖像中范圍分布較窄的低灰度值進行部分擴展,展示出低灰度部分更多的細節(jié),并且將范圍分布較寬的高灰度值進行部分壓縮,從而達到增強圖像中低灰度細節(jié)的目的[6]。
2.3? 色彩空間轉(zhuǎn)換
由色度學原理可知,彩色圖像中的每個像素均可由紅、綠、藍三種顏色按照不同比例合成[7]。常見的彩色圖像灰度化方法有分量法、最大值法、最小值法、平均值法和加權(quán)均值法等。其中分量法指的是取該像素點三分量中的任何一個分量作為該點的像素灰度值,而加權(quán)均值法是按照人眼對紅色R通道、綠色G通道、藍色B通道的重要性將各通道按照一定權(quán)重進行加權(quán)后取均值,把該加權(quán)均值作為灰度圖像的灰度值。
彩色線束圖像的R分量圖、G分量圖、B分量圖分別如圖4(a)、4(b)、4(c)所示,從圖4(a)、圖4(b)和圖4(d)可以看出,從左到右依次按順序第1根、第2根、第3根、第11根以及第12根導線在進行灰度轉(zhuǎn)換之后灰度值偏大,在灰度圖中表現(xiàn)為顏色偏亮,這導致與背景的差別較小,難以區(qū)分??紤]到下一步需要將圖像中的每一根導線分割出來,單一的灰度轉(zhuǎn)換方法存在很大的局限性,故將B分量圖和加權(quán)均值圖進行加權(quán)運算融合得到了一幅新的灰度圖,如圖4(e)所示。
2.4? 線束圖像背景分割
為了將線束圖像中的每根導線從圖像中分割出來,采用大津閾值法自動獲取線束目標的最佳閾值。大津閾值法簡稱OTSU,又稱最大類間方差法,該方法根據(jù)目標圖像的灰度特性將圖像分為目標和背景兩個部分,并計算這兩部分的方差。當目標和背景間灰度值的方差相差最大時,該閾值為最佳分割閾值,此時目標與背景間的差別最大,分割最有效[8]。經(jīng)過大津閾值法分割的線束目標(黑色像素點)與背景(白色像素點),如圖5所示。
2.5? 線束圖像邊緣檢測
邊緣是圖像中屬性區(qū)域的分界,也是圖像目標與背景間的像素灰度產(chǎn)生突變的區(qū)域。邊緣檢測的目的就是提取圖像邊緣輪廓信息并消除相關(guān)信息,從而減少分析的數(shù)據(jù)量。John Canny在1986年提出了階梯型邊緣檢測算子即Canny算子,該算子具有信噪比好、定位精準以及最簡的邊緣響應的優(yōu)點。該算子的基本思想是通過高閾值準確定位邊緣片段以及低閾值跟蹤連接邊緣,高低閾值的有效配合極大地降低了將噪聲誤判為邊緣的可能性。其基本步驟有:利用高斯濾波器平滑噪聲、計算邊緣梯度的強度和方向、由梯度方向?qū)μ荻确颠M行非極大值抑制、雙閾值檢測邊緣以及邊緣連接[9]。Canny算子邊緣檢測效果如圖6所示。
3? 主色特征值提取
3.1? K-means++概述
K-means是聚類算法中經(jīng)典算法之一,該算法需要預先指定K個聚類數(shù),隨機選取K個初始聚類中心,以歐氏距離作為相似性指標,將各個樣本劃分到距離聚類中心最近的類中,通過不斷迭代更新聚類中心[10]。K-means算法的不足之處在于需要預先確定聚類個數(shù)以及隨機選取初始聚類中心,當初始聚類中心選取不恰當時,聚類算法容易陷入局部最優(yōu)解。為了解決這個問題,Arthur提出了改進的聚類算法K-means++,該算法通過計算概率選取聚類中心,極大地改善了K-means聚類中心初始值不準確的問題[11]。
3.2 K-means++主色特征值提取方法
經(jīng)過圖像預處理操作后,我們可以提取到線束圖像每根導線的輪廓。由于處理前后,圖像的輪廓沒有發(fā)生變化。增強圖像不僅去除了噪聲而且突出了線束每根導線的特征。根據(jù)各個導線輪廓的位置獲取增強圖像中對應的各個導線區(qū)域,為了減少聚類所用的時間,我們?nèi)D像上每根導線的部分區(qū)域進行聚類分析,如圖7標注的矩形框所示。
矩形聚類區(qū)域的選取步驟:
(1)確定每根導線聚類區(qū)域的寬(設為ω):對Canny邊緣檢測后的圖6,取第一行從左到右依次掃描,并將白色像素點的行號記錄下來,此時每根導線的右邊線行號與該左邊線行號的差即為每根導線的寬度,簡稱線寬,以該線寬作為每根導線聚類區(qū)域的寬。
(2)確定每根導線聚類區(qū)域的高(設為h):由于處理前后各圖像的大小不發(fā)生改變,取Canny邊緣檢測后圖像寬的一半上下各取10個像素點總共20個像素點作為聚類區(qū)域的高。
圖7(a)的紅色矩形區(qū)域為每根導線的聚類區(qū)域,其中每個聚類區(qū)域共有N個像素點,其中N為聚類區(qū)域的寬(ω)和高(h)的乘積,N個像素點組成的數(shù)據(jù)集X={xi|xi∈R3,i=1,2,…,N},每個數(shù)據(jù)點xi是由3個表征其特征的R、G、B數(shù)據(jù)組成的向量。例如(255,255,255)、(0,0,0)等。
K-means++的聚類目標是將數(shù)據(jù)集X中的N個數(shù)據(jù)點劃分到K類組成的數(shù)據(jù)集C={ck|k=1,2,…,K},其中ck類的類中心為μk,一個被劃分到ck類的數(shù)據(jù)點xi到類中心μk的歐氏距離為:
disted(xi,μk)=||xi-μk||2,xi∈ck? ? ? ? ? ? ? (1)
所有被劃分到ck類的數(shù)據(jù)點xi到該類的類中心μk的歐氏距離和為:
(2)
求得K類中的數(shù)據(jù)點到其對應類中心的歐氏距離總和,即:
(3)
聚類目標就是使J(C)的值最小。
算法框架圖如圖8所示。
3.3? 自適應K-means++
通常情況下,K-means中聚類數(shù)K值的選取是根據(jù)先驗知識估計的一個值,K值選擇是否合適決定著聚類效果的好壞。針對這種情況,通過聚類評估指標輪廓系數(shù)[12]來搜索樣本的最佳聚類,實現(xiàn)自動確定最佳聚類數(shù)K。求取平均輪廓系數(shù)的具體計算步驟為:
(1)對于數(shù)據(jù)集X里的數(shù)據(jù)點xi,假設xi被聚類到類A,計算xi與類A內(nèi)所有其他數(shù)據(jù)點距離的平均值,記作a(i),用于度量類內(nèi)的凝聚度;
(2)選取非類A之外的另一個類B,計算xi與類B中所有數(shù)據(jù)點的平均距離。依次遍歷所有其他非A類的類,從而找到最近的平均距離并記作b(i),用于度量類之間的分離度;
(3)對于數(shù)據(jù)點xi,計算其輪廓系數(shù):
(4)計算數(shù)據(jù)集X中所有數(shù)據(jù)點的輪廓系數(shù),并求出其平均輪廓系數(shù)。平均輪廓系數(shù)(i)的取值范圍為[-1,1],在此范圍內(nèi),類內(nèi)數(shù)據(jù)點之間的距離越小,類間數(shù)據(jù)點間的距離越大,平均輪廓系數(shù)越大,表明聚類效果越好。因此平均輪廓系數(shù)最大的聚類數(shù)目K就是最佳的聚類數(shù)。
當聚類數(shù)目K為1時,說明圖像像素點呈現(xiàn)均勻分布的情況,無明顯特征差異,通常最小聚類數(shù)為2??紤]到聚類區(qū)域會受到表面高光、表面字符以及背面線束遮擋的干擾,將導致提取線束區(qū)域的主色特征不準確,因此設置最大聚類數(shù)目為4。自適應K-means++聚類流程圖如圖9所示。
4? 實驗結(jié)果與分析
彩色線束圖像的顏色特征提取的過程主要依賴硬件和軟件兩部分配合完成。硬件部分包括USB接口的高性能工業(yè)CCD相機、變焦鏡頭、LED條形光源以及普通計算機。軟件部分包括使用Visual Studio 2015工具作為系統(tǒng)環(huán)境的開發(fā)平臺和OpenCV3.1.0的開源計算機視覺庫來實現(xiàn)線束圖像處理。
一般來說,相機采集的彩色圖像依賴于RGB色彩空間,但RGB空間的顏色分布不均勻,獲取到的RGB值很難確切地表示該值代表的顏色認知屬性。而CIELAB空間是色彩均勻的空間,它與人眼視覺感知一致,通過將RGB色彩空間獲取的RGB坐標值轉(zhuǎn)換為相應的XYZ和LAB坐標值,并利用CIELAB色差公式計算該實驗方法和通過人眼視覺獲取到的線束圖像主體顏色上的差異即色差ΔE[13],并通過與中位切分法、K-means及自適應K-means++分別提取主顏色特征值和計算色差值。結(jié)果如表1所示。
總體來看,表1中中位切分法提取的顏色特征值與人眼視覺觀察到的特征值之間的顏色差異較大,說明該算法提取的顏色特征值不準確;而自適應K-means++相對色差較小,說明該算法提取的顏色特征值較為準確。
5? 結(jié)? 論
顏色識別是線序檢測中的重要特征,為了準確地提取每根導線的主色特征值,提出了自適應K-means++提取主色的方法。通過相機獲取雙排線束圖像,選取圖像感興趣區(qū)域進行處理并對其進行線性拉伸;利用雙邊濾波去噪、對數(shù)變換增強后進行通道分離,分別獲取到R、G、B三通道的灰度圖;利用加權(quán)和融合的方式得到新的灰度圖;并利用大津閾值法分離線束主體與背景;采用Canny算子提取線束圖像的邊緣,即得到每根導線的輪廓,通過線寬選取各輪廓的位置對應到增強圖像的圖像塊。最后利用自適應K-means++提取區(qū)域的主色特征值。最后實驗通過中位切分法、K-means以及自適應K-means++提取的顏色特征值和人眼視覺獲取的特征值進行色差對比,結(jié)果表明自適應K-means++算法提取的圖像特征值較為準確。
參考文獻:
[1] 范冬冬.基于機器視覺的雙排線束檢測儀的研究與設計 [D].馬鞍山:安徽工業(yè)大學,2019.
[2] 吳暉輝,曾憲榮,賴燕君,等.基于機器視覺的線束連接器字符檢測 [J].測試技術(shù)學報,2018,32(2):174-179.
[3] SHI G M,JIAN W. Wiring harness assembly detection system based on image processing technology [C]//2011 International Conference on Electronics,Communications and Control (ICECC).Ningbo:IEEE,2011:2397-2400.
[4] 吳宗勝,薛茹.基于顏色聚合向量的線序檢測方法 [J].計算機測量與控制,2019,27(6):182-185.
[5] 石坤泉,魏文國.采用雙邊濾波的冷軋鋁板表面缺陷圖像去噪方法的研究 [J].表面技術(shù),2018,47(9):317-323.
[6] 豐遠遠,高賢君,楊元維,等.改進對數(shù)變換聯(lián)合局部增強的高分遙感影像陰影自動補償方法 [J].激光與光電子學進展,2020,57(20):67-75.
[7] 劉美,薛新松,劉廣文,等.對比度增強的彩色圖像灰度化算法 [J].長春理工大學學報(自然科學版),2018,41(5):70-74.
[8] 陳雪鑫,卜慶凱.基于改進的最大類間方差法的水果圖像識別研究 [J].青島大學學報(工程技術(shù)版),2019,34(2):33-38+62.
[9] 鄭健,王繼,宋世銘.Canny雙閾值算子在邊緣提取中的優(yōu)勢 [J].地理空間信息,2019,17(11):128-130+12.
[10] CHEN G L,WANG G W,JU J,et al. Research on the Influence of Kmeans Cluster Preprocessing on Adversarial Images [C]//Proceedings of the 2019 7th International Conference on Information Technology:IoT and Smart City.New York:Association for Computing Machinery,2019:248–252.
[11] KUBO Y,NII M,MUTO T,et al. Artificial humeral head modeling using Kmeans++ clustering and PCA [C]//2020 IEEE 2nd Global Conference on Life Sciences and Technologies (LifeTech).Kyoto:IEEE,2020:5-7.
[12] 朱連江,馬炳先,趙學泉.基于輪廓系數(shù)的聚類有效性分析 [J].計算機應用,2010,30(S2):139-141+198.
[13] 范鵬飛,孫俊.基于機器視覺的色差檢測算法 [J].傳感器與微系統(tǒng),2016,35(10):120-122+126.
作者簡介:惠婉玉(1996—),女,漢族,安徽宿州人,碩士研究生在讀,研究方向:機器視覺與圖像處理;吳玉秀(1982—),男,漢族,河南安陽人,講師,博士,研究方向:機器視覺與圖像檢測;張文忠(1997—),男,漢族,安徽桐城人,碩士研究生在讀,研究方向:機器人調(diào)度。