石錦成，劉 鑫，劉 蜜，劉 超

(貴州航天電器股份有限公司，貴州貴陽 550009)

0 引言

電子元器件上所附加的導(dǎo)線在穿線、剝線、壓接等工序過程中常具有缺陷特征細(xì)微、多樣、難攝取、不易量化等特點(diǎn)，在產(chǎn)品外觀質(zhì)量篩檢過程中，采用人工篩檢的方法會(huì)受到觀測方法限制、篩檢標(biāo)準(zhǔn)不統(tǒng)一等因素的影響，而采用傳統(tǒng)機(jī)器視覺技術(shù)則存在缺陷特征難以量化和提取、缺陷圖像識(shí)別能力弱等不足。由于存在細(xì)微而又多樣的形態(tài)過渡變化，產(chǎn)品外觀質(zhì)量的“優(yōu)、良、中、差”并不能受統(tǒng)一的精確尺寸所衡量。在實(shí)際人工篩檢過程中，其質(zhì)量品級(jí)常存在大范圍的模糊過渡的狀態(tài)，無法精確界定，篩檢過程非常依賴篩檢人員的觀察和感覺。電子元器件導(dǎo)線線頭部位的深度及形態(tài)均會(huì)影響最終檢測結(jié)果，而在過渡的產(chǎn)品中則會(huì)存在一種或多種失效特征，對(duì)精確判斷產(chǎn)品是否合格造成嚴(yán)重干擾。篩檢工作對(duì)人員要求高、強(qiáng)度大、經(jīng)驗(yàn)依賴性強(qiáng)等特點(diǎn)嚴(yán)重制約了電子元器件導(dǎo)線線頭的檢測效率和精度。

利用機(jī)器視覺技術(shù)可大幅提升產(chǎn)品外觀檢測的效率[1]。伴隨機(jī)器視覺技術(shù)的發(fā)展，在自動(dòng)化檢測領(lǐng)域有一批技術(shù)應(yīng)用成果[2-5]。然而在實(shí)際工程應(yīng)用中，存在檢測困難和實(shí)際應(yīng)用場景的特性情況需要處理，采用經(jīng)典機(jī)器視覺的方式往往難以全面應(yīng)對(duì)各種檢測場景，或需要較復(fù)雜的處理流程，因此難以適應(yīng)日益增長的生產(chǎn)需求。以深度學(xué)習(xí)為代表的新一代人工智能技術(shù)的發(fā)展為尋求更加精確、高效的檢測方法提供了途徑[6-10]。

針對(duì)電子元器件導(dǎo)線檢測篩選過程中存在的問題，本文在硬件和軟件方面進(jìn)行研究。硬件方面，構(gòu)建多角度高速成像機(jī)構(gòu)，將人工篩檢時(shí)的從線頭正面角度觀測轉(zhuǎn)變?yōu)閺木€頭側(cè)面多角度旋轉(zhuǎn)觀測，增加篩檢的全面性和準(zhǔn)確性；軟件方面,基于工程師經(jīng)驗(yàn)和試驗(yàn)分析結(jié)果對(duì)從側(cè)面捕獲的圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)樣本標(biāo)簽標(biāo)注，通過數(shù)據(jù)集建設(shè)沉淀固化檢測人員的篩檢標(biāo)準(zhǔn)，形成有標(biāo)簽的產(chǎn)品質(zhì)量品級(jí)數(shù)據(jù)集，進(jìn)而訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)有監(jiān)督的學(xué)習(xí)，使機(jī)器具備檢測人員的產(chǎn)品外觀檢測能力，達(dá)到經(jīng)驗(yàn)豐富的檢驗(yàn)人員的篩檢水平，保證篩檢過程高質(zhì)量、穩(wěn)定、可靠完成。

1 檢測角度與檢測機(jī)構(gòu)

受到電子元器件導(dǎo)線產(chǎn)品外形尺寸的限制，人工篩檢時(shí)為保證效率會(huì)依靠檢測器械從線頭頂部的正面觀測篩檢。這種觀測方式對(duì)于導(dǎo)線外型的檢測具有較高的效率，但是對(duì)于導(dǎo)線側(cè)面壓痕、切傷等則難以觀測，特別是對(duì)于導(dǎo)線外層絕緣材料的燙線質(zhì)量難以做出較精確的判斷。圖1展示了不同燙線質(zhì)量的導(dǎo)線線頭。由于燙線時(shí)間、燙線溫度在導(dǎo)線個(gè)體上存在差異，導(dǎo)致燙線效果也不相同。

圖1 導(dǎo)線燙線質(zhì)量示例圖

人工篩檢對(duì)于這種篩檢情況會(huì)存在兩方面的問題：一方面會(huì)容易導(dǎo)致漏篩錯(cuò)篩，給后道工序埋下巨大質(zhì)量隱患；另一方面，人員長時(shí)間在顯微鏡下檢測篩選，工作勞動(dòng)強(qiáng)度大，導(dǎo)致線頭篩檢一致性差，有相當(dāng)一部分的合格線頭因錯(cuò)篩報(bào)廢。為了解決人工分選存在問題，采用全新的觀測角度和觀測方法，構(gòu)建新型夾持和觀測機(jī)構(gòu)，實(shí)現(xiàn)核心部位的一體化檢測。

如圖2所示，新型電子元器件導(dǎo)線線頭成像機(jī)構(gòu)采用3個(gè)相機(jī)均勻分布且線頭可夾持旋轉(zhuǎn)的方式，使得基于每一個(gè)待檢測線頭都可生成至少6張不同角度的線頭側(cè)面觀測圖像。電子元器件導(dǎo)線線頭缺陷檢測系統(tǒng)核心部分由“檢測裝置視覺模塊”和“后臺(tái)模型訓(xùn)練模塊”兩部分組成。其中檢測裝置視覺模塊處于電子元器件導(dǎo)線線頭缺陷檢測裝置內(nèi)，主要包括光學(xué)成像子模塊、缺陷在線檢測計(jì)算子模塊。如圖2所示，電子元器件導(dǎo)線線頭成像機(jī)構(gòu)由3套呈120°角圓環(huán)形排列的工業(yè)相機(jī)與鏡頭，LED光源照明組成。電子元器件導(dǎo)線線頭位于機(jī)構(gòu)中心，每只線頭由電機(jī)與夾持機(jī)構(gòu)帶動(dòng)旋轉(zhuǎn)，多角度成像。

圖2 電子元器件導(dǎo)線線頭成像機(jī)構(gòu)示意

2 篩檢邏輯

由于電子元器件導(dǎo)線線頭實(shí)際表面形態(tài)復(fù)雜，為降低檢測難度，提高檢測效率和準(zhǔn)確性，采取兩階段的產(chǎn)品外觀質(zhì)量篩檢過程，如圖3所示，采用線頭宏觀尺寸初篩和線頭微觀部位細(xì)篩相結(jié)合的篩選處理過程。

圖3 線頭圖像檢測范圍分割示意圖

通過以上兩處檢測過程的改進(jìn)和相應(yīng)機(jī)構(gòu)的構(gòu)建，可實(shí)現(xiàn)兩階段的產(chǎn)品外觀質(zhì)量篩檢過程。第1步，采用經(jīng)典機(jī)器視覺算法，對(duì)導(dǎo)線線頭絕緣部位尺寸進(jìn)行篩檢，可在篩檢初期將絕緣層異常的產(chǎn)品篩除。第2步，確定線頭核心部位范圍，進(jìn)一步獲取高清圖像，為后續(xù)采用人工智能算法對(duì)線頭外形及缺陷篩選做好準(zhǔn)備。如圖4所示，基于改進(jìn)的機(jī)構(gòu)，本研究擬采用基于傳統(tǒng)機(jī)器視覺算法對(duì)大視野粗粒度的外觀檢測，與人工智能算法對(duì)小視野細(xì)粒度的外觀檢測相結(jié)合，以提高檢測水平。

圖4 篩選邏輯流程

3 篩檢邏輯

由于采用旋轉(zhuǎn)線頭拍攝的方式，基于每一個(gè)待檢測線頭，都可生成至少6張不同角度的線頭側(cè)面觀測圖像。圖5展示了若干待檢測樣本線頭部位的圖像。由圖5可以看出，基于從線頭側(cè)面旋轉(zhuǎn)觀測的方式，可以得到內(nèi)容豐富的圖像樣本。一方面，得到了全方位的觀測結(jié)果，另一方面也在一定程度上增加了檢測結(jié)果的多樣性，確保正確的檢測結(jié)果。在圖5中標(biāo)記了若干失效特征，由于電子元器件導(dǎo)線線頭有多種失效形式且難以量化，此處僅列舉出部分典型失效形式。

圖5 線頭部位失效圖像示例

除圖5展示的各種失效形式外，線頭外觀質(zhì)量的平滑過渡也是經(jīng)典機(jī)器視覺不易處理的問題之一。圖6展示了產(chǎn)品外觀質(zhì)量的“優(yōu)、良、中、差”的過渡變化?？梢钥闯觯瑑H線頭部位燙線外觀質(zhì)量一項(xiàng)，即使采用人工篩檢也難以確定精確的標(biāo)準(zhǔn)。由于受到頂部正面觀測角度和精細(xì)度限制，人工篩檢難以對(duì)線頭外觀質(zhì)量過渡態(tài)進(jìn)行精細(xì)正確的標(biāo)定。

圖6 線頭部位質(zhì)量過渡示意圖 (質(zhì)量等級(jí)從右至左為優(yōu)、良、中、差)

3.1 數(shù)據(jù)集建設(shè)

算法模型保證了結(jié)果精度的下限，而數(shù)據(jù)決定了結(jié)果精度的上限。本應(yīng)用場景下的產(chǎn)品外觀篩檢工作是一個(gè)典型的分類任務(wù)，即在獲取產(chǎn)品外觀圖像的基礎(chǔ)上，判別樣本為合格品或不合格品，本質(zhì)上可以被設(shè)置為一個(gè)二分類問題。但由于受到失效特征多樣、失效形式復(fù)雜等因素的影響，本研究將此分類問題細(xì)化，構(gòu)建多分類模型，結(jié)合實(shí)際產(chǎn)品數(shù)據(jù)，基于工程師抽樣進(jìn)行樣本數(shù)據(jù)的整理收集、模式分類及標(biāo)簽標(biāo)注，確定分類標(biāo)簽及樣本數(shù)量，并重點(diǎn)對(duì)不合格品的不同失效形式做了類別細(xì)化，特別對(duì)未來未知失效形式制訂了單獨(dú)的分類標(biāo)簽，以實(shí)現(xiàn)針對(duì)性的處理，構(gòu)建符合業(yè)務(wù)需要的多分類基礎(chǔ)數(shù)據(jù)集。

在具體實(shí)施過程中，基礎(chǔ)數(shù)據(jù)集的構(gòu)建可分為兩個(gè)階段：

第一階段，基于檢測工程師經(jīng)驗(yàn)，結(jié)合auto-encoder無監(jiān)督聚類結(jié)果,將所收集到的樣本圖像數(shù)據(jù)按照外觀質(zhì)量從高到低的順序，定義了“NG(不合格)”、“QS(缺絲)”、“GD-NG(過渡偏不合格)”、“GD-OK(過渡偏合格)”、“OK(合格)”5大類的分類類別，并做相應(yīng)的標(biāo)簽標(biāo)注。

第二階段，提取出基礎(chǔ)數(shù)據(jù)集中線頭的“正”、“歪”、“淺”、“散”、“斷”、“缺”等核心特征，并以此為基礎(chǔ)構(gòu)建失效特征更加細(xì)化的分類標(biāo)簽結(jié)果，使基礎(chǔ)數(shù)據(jù)集中的分類標(biāo)簽設(shè)置更加合理充分。值得注意的是，部分類別數(shù)據(jù)由于數(shù)據(jù)量過少，有可能對(duì)分類模型的分類邊界造成噪音干擾，從而導(dǎo)致模型過擬合的不良情況產(chǎn)生，致使在數(shù)據(jù)量稀少的樣本附近有可能被模型判斷為錯(cuò)誤類別，造成了分類誤差，對(duì)多分類模型的預(yù)測精度造成影響。為了避免該情況的發(fā)生，在數(shù)據(jù)集建設(shè)階段需基于部分稀少類別的數(shù)據(jù)集，在風(fēng)險(xiǎn)可控的條件下，進(jìn)行合理合并，使各類別數(shù)據(jù)集之間的數(shù)據(jù)樣本比例相對(duì)均勻，從數(shù)據(jù)集的角度支持模型給于更加穩(wěn)健的類別劃分。

同時(shí)，如圖7所示，針對(duì)個(gè)別具備重要失效特征且又存量極少的樣本類型，需研究進(jìn)行基于亮度的樣本增強(qiáng)，模仿實(shí)際篩檢工況下的光源亮度變化，從而使模型不僅能夠增加在亮度維度下的適應(yīng)能力，而且提高對(duì)于少量失效特征的識(shí)別準(zhǔn)確率。

圖7 線頭部分?jǐn)?shù)據(jù)增強(qiáng)示意圖

3.2 算法框架建設(shè)

本研究的本質(zhì)是基于卷積神經(jīng)網(wǎng)絡(luò)CNN解決多分類預(yù)測問題，其核心是CNN網(wǎng)絡(luò)的實(shí)施。在當(dāng)?shù)谝浑A段經(jīng)典機(jī)器視覺對(duì)線頭尺寸篩檢工作完成后，CNN網(wǎng)絡(luò)則負(fù)責(zé)線頭部位的篩檢，最后系統(tǒng)取得兩個(gè)部分的計(jì)算參數(shù)與分類結(jié)果，綜合考慮線頭應(yīng)歸屬的類別。在具體實(shí)施時(shí)，采用自動(dòng)化設(shè)備通用編程軟件與經(jīng)典深度學(xué)習(xí)開源框架聯(lián)合編程，搭建了經(jīng)典機(jī)器視覺算法與CNN網(wǎng)絡(luò)模型有效結(jié)合的智能化軟件系統(tǒng)架構(gòu)。基于自動(dòng)化設(shè)備通用編程軟件實(shí)現(xiàn)檢測目標(biāo)數(shù)據(jù)獲取、存儲(chǔ)與預(yù)處理，并構(gòu)建工程師經(jīng)驗(yàn)引導(dǎo)的算法流程，核心識(shí)別模型則基于深度學(xué)習(xí)算法框架實(shí)現(xiàn)。

由于電子元器件導(dǎo)線線頭失效形式復(fù)雜多樣，所構(gòu)建的基礎(chǔ)數(shù)據(jù)集無法做到對(duì)失效特征的全面覆蓋。針對(duì)這一問題，可基于基礎(chǔ)數(shù)據(jù)集訓(xùn)練初始深度學(xué)習(xí)模型，并在此基礎(chǔ)上構(gòu)建人工智能算法與工程師經(jīng)驗(yàn)相結(jié)合的處理模式，實(shí)現(xiàn)訓(xùn)練集樣本數(shù)量和種類的擴(kuò)充，在可控的條件下實(shí)現(xiàn)算法精度的迭代上升。每一輪迭代過程中，都是在之前模型判斷結(jié)果的基礎(chǔ)上，對(duì)發(fā)現(xiàn)的已有樣本數(shù)據(jù)分類標(biāo)簽錯(cuò)誤的進(jìn)行更正，在控制訓(xùn)練集規(guī)模的同時(shí)對(duì)未知的樣本數(shù)據(jù)進(jìn)行細(xì)化分類、補(bǔ)充或歸屬處理，進(jìn)而基于新的訓(xùn)練集對(duì)模型進(jìn)行重新訓(xùn)練，實(shí)現(xiàn)樣本識(shí)別準(zhǔn)確率進(jìn)一步提高，達(dá)到預(yù)期目標(biāo)。

樣本數(shù)據(jù)的質(zhì)量、類別標(biāo)簽的完整度及類別間樣本規(guī)模及數(shù)量比等因素決定了分類識(shí)別模型學(xué)習(xí)的上限。為了能夠使模型不斷完善，識(shí)別準(zhǔn)確率不斷提高，本研究在樣本數(shù)據(jù)集建設(shè)方面構(gòu)建適應(yīng)于業(yè)務(wù)場景的流程及更新模式?；跀?shù)據(jù)庫技術(shù)實(shí)現(xiàn)產(chǎn)品數(shù)據(jù)在線采集整理，結(jié)合統(tǒng)計(jì)分析及反饋調(diào)節(jié)機(jī)制，重點(diǎn)對(duì)未知新型失效樣本進(jìn)行整理，實(shí)現(xiàn)基于工程師監(jiān)督的識(shí)別模型自適應(yīng)樣本標(biāo)簽跟蹤及改進(jìn)機(jī)制，進(jìn)而實(shí)現(xiàn)訓(xùn)練集的周期性動(dòng)態(tài)更新。電子元器件導(dǎo)線線頭篩選方案整體實(shí)施流程如圖8所示。

圖8 電子元器件導(dǎo)線線頭篩選方案整體實(shí)施流程

4 對(duì)比試驗(yàn)與結(jié)果分析

本文選用的深度學(xué)習(xí)工作站裝配了Intel Xeonw-2123處理器，16G內(nèi)存，以及Nvidia GeForce GTX1080 Ti顯卡，性能滿足研究需求。為驗(yàn)證算法流程以及所構(gòu)建數(shù)據(jù)集的有效性，本文選用googlenet作為深度學(xué)習(xí)網(wǎng)絡(luò)模型，基礎(chǔ)學(xué)習(xí)率為0.001,學(xué)習(xí)率變化頻率為300次迭代改變1次，學(xué)習(xí)率變化指數(shù)為0.9，權(quán)重衰減值為0.000 2，基于4萬以上的帶有數(shù)據(jù)增強(qiáng)的樣本集共完成6 600次迭代完成模型的訓(xùn)練。

表1為10個(gè)批次包含不同數(shù)量的電子元器件導(dǎo)線線頭篩檢對(duì)比的實(shí)驗(yàn)結(jié)果。由表1可以看出，采用本研究所提出的經(jīng)典機(jī)器視覺與深度學(xué)習(xí)相結(jié)合的方式進(jìn)行電子元器件導(dǎo)線產(chǎn)品外觀質(zhì)量檢測，其篩檢結(jié)果與人工篩檢結(jié)果達(dá)到了接近的水平。

5 結(jié)論

本研究采用新型視覺檢測機(jī)構(gòu)，從立體全面的角度觀測待檢測品，克服了電子元器件導(dǎo)線表面外觀質(zhì)量篩檢中人工篩檢角度限制的不足；基于機(jī)器視覺技術(shù)和深度神經(jīng)網(wǎng)絡(luò)技術(shù)，形成了產(chǎn)品外觀檢測宏觀尺寸和微觀特征檢測相結(jié)合的兩階段檢測流程，提升檢測效率和準(zhǔn)確率；基于弱監(jiān)督聚類算法，輔助人工進(jìn)行樣本類別標(biāo)注，形成了一套針對(duì)產(chǎn)品表面外觀質(zhì)量篩檢的樣本標(biāo)注及數(shù)據(jù)集快速構(gòu)建的實(shí)施流程，構(gòu)建了一套針對(duì)電子元器件導(dǎo)線線頭部位失效形式的基

表1 10批產(chǎn)品篩檢對(duì)比實(shí)驗(yàn)結(jié)果

礎(chǔ)數(shù)據(jù)集；針對(duì)核心少量特征數(shù)據(jù)，形成適應(yīng)于工業(yè)應(yīng)用場景的樣本增強(qiáng)方案；面向工業(yè)生產(chǎn)實(shí)際需求，構(gòu)建相適應(yīng)的判據(jù)融合方案，提升視覺識(shí)別整體準(zhǔn)確率。

本研究采用經(jīng)典機(jī)器視覺結(jié)合卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)電子元器件導(dǎo)線線頭的智能篩檢，實(shí)現(xiàn)的工程意義如下：

(1)實(shí)現(xiàn)了產(chǎn)品外觀檢測的自動(dòng)化，部分取代人工，降低了成本，提高篩檢效率。

(2)通過數(shù)據(jù)集建設(shè)形成篩檢標(biāo)準(zhǔn)，將之前依靠人工感覺篩檢轉(zhuǎn)變?yōu)楹Y檢標(biāo)準(zhǔn)的沉淀與迭代更新，使檢測結(jié)果穩(wěn)定可靠，合格品一致性更好。

(3)相應(yīng)設(shè)備的投入使用將使篩檢工程師從一線篩檢工作中解放出來，轉(zhuǎn)而投入到電子元器件導(dǎo)線失效特征數(shù)據(jù)收集、數(shù)據(jù)集更新與維護(hù)、產(chǎn)線生產(chǎn)狀態(tài)跟蹤與分析、失效特征機(jī)理分析與工藝改進(jìn)、設(shè)備運(yùn)維等的工作中，進(jìn)一步提升產(chǎn)品的質(zhì)量。

(4)基于設(shè)備的篩檢結(jié)果進(jìn)行實(shí)時(shí)的統(tǒng)計(jì)分析及數(shù)據(jù)應(yīng)用，可以實(shí)現(xiàn)產(chǎn)線生產(chǎn)狀態(tài)與產(chǎn)品生產(chǎn)質(zhì)量的實(shí)時(shí)跟蹤數(shù)據(jù)基礎(chǔ)，進(jìn)而形成基于數(shù)據(jù)驅(qū)動(dòng)的實(shí)時(shí)產(chǎn)線管理決策機(jī)制，實(shí)現(xiàn)產(chǎn)線智能化管理新模式。

(5)依據(jù)詳細(xì)劃分質(zhì)量等級(jí)的分類標(biāo)準(zhǔn)，模型分類結(jié)果更精確，對(duì)于工藝改進(jìn)、產(chǎn)品質(zhì)量提升等都有推動(dòng)作用。