鐘冠祺 吳天信

（廣州廣合科技股份有限公司，廣東 廣州 510730）

0 前言

印制電路板（PCB）發(fā)展過程中，板件生產(chǎn)日趨小型化、精密化，線條越來越細(xì)，孔徑越來越小，圖形間距也越來越密集，同時對PCB的質(zhì)量要求也越來越高，這使得提高PCB的檢測技術(shù)必不可少。PCB最早的檢測使用的是人工目測的方法，但是單靠人工檢測已經(jīng)無法確保檢驗結(jié)果是精確的以及是有效的，引進(jìn)自動光學(xué)檢測系統(tǒng)AOI（Automatic Optic Inspect）再輔以人工智能（AI）圖像識別技術(shù)可以學(xué)習(xí)人工檢測缺陷的特性，進(jìn)而協(xié)助或者取代人，從而達(dá)到減少復(fù)檢人員的數(shù)量，實現(xiàn)產(chǎn)品的量產(chǎn)，達(dá)到提升檢測覆蓋率，降低誤判的效果。AOI使用光學(xué)技術(shù)[精密光學(xué)鏡頭、高精度CCD（圖像傳感器）、CMOS等感光組件]獲取圖像的光信號，再經(jīng)過光電信號轉(zhuǎn)換、數(shù)字圖像處理、識別等算法處理后，從被檢測物件獲得所需要的信息，利用這些信息可進(jìn)行產(chǎn)品外觀檢測，缺陷鑒定分類，主要應(yīng)用于內(nèi)層芯板檢測和外層成品檢測中的缺陷，比如缺口、突銅、凹銅、短路、斷路、殘銅、針孔、線寬線距不足等問題。由于現(xiàn)在的芯片載板越來越精細(xì)，檢規(guī)也越來越嚴(yán)格，導(dǎo)致在線AOI掃描的結(jié)果存在大量的假缺陷，如果把內(nèi)層和外層的缺陷都統(tǒng)計起來，集中傳送到人工檢修站（VT）檢測機(jī)，這一定會增加設(shè)備成本、人工成本、時間成本，而直接影響生產(chǎn)效率，這對于重資產(chǎn)的制造業(yè)來說是致命的。人為的限制（包括誤操作和疲勞）或?qū)CB缺陷的錯誤識別也會影響良率，甚至?xí)p害PCB本身。將AI集成到AOI的過程中就是為了解決上述效率、良率和成本的問題專門定做而成，提高整體效率和運營是AI系統(tǒng)的最大機(jī)會。實驗證明這其中輔以AI圖像識別技術(shù)通過模仿人工目檢的判斷操作方式來運行，AI解決真假缺陷的方案也是以人工的判斷結(jié)果進(jìn)行訓(xùn)練的，通過對各種真假缺陷的類型進(jìn)行多次深度學(xué)習(xí)，能夠區(qū)分缺陷程度的重或輕，從而過濾掉不會對板面造成電氣性能影響的假缺陷，并且可以對此類曾經(jīng)釋放過的缺陷的初始特征作記憶保留進(jìn)而達(dá)到理想的表現(xiàn)。

1 AOI的工作流程

1.1 圖像識別

標(biāo)準(zhǔn)圖像來源golden board金板（無缺陷板）當(dāng)機(jī)獲得，或者從CAM（計算機(jī)輔助制造）房取得CAD（計算機(jī)輔助設(shè)計）格式的資料，經(jīng)過工作站處理成AOI可識別的料號文件，AOI系統(tǒng)首先分析并處理PCB中CAM文件的標(biāo)準(zhǔn)圖像信息，再控制設(shè)備的光學(xué)成像部件將PCB通過光學(xué)掃描的方式在計算機(jī)內(nèi)部產(chǎn)生實物的掃描圖像，并將標(biāo)準(zhǔn)圖像與實物圖像兩者之間進(jìn)行各種邏輯算法對比，從而實現(xiàn)缺陷的初步判別和分類，如圖1所示。

圖1 AOI軟件結(jié)構(gòu)

1.2 工作流程

人工通過計算機(jī)將PCB的各種缺陷資料下傳到離線判別載體VRS（驗證與修理工作站），借助AI技術(shù)的邏輯算法再次識別真假缺陷資料，就可以把假點自動過濾掉，然后再通過數(shù)控計算機(jī)把真點傳到人工檢修站VT，進(jìn)行人工的最終判斷。

2 AOI工作原理

2.1 獲取圖像原理

通過光學(xué)部分獲得需要檢測的圖像，通過圖像處理部分來進(jìn)行分析和判斷，其中圖像處理部分需要很強(qiáng)的軟件支持，因為各種缺陷的特征不同計算的方法也會不同。AOI與人的判斷原理相同，人識別物體是通過反射回來的光量進(jìn)行判斷的，反射量多為亮，反射量少為暗，AOI通過LED燈光代替自然光，通過CCD代替人眼，把從光源反射回來的光信號強(qiáng)弱轉(zhuǎn)化為相對應(yīng)的電信號，把模擬量轉(zhuǎn)變?yōu)閿?shù)字量，AOI就可以區(qū)分PCB板面的圖形情況，再和標(biāo)準(zhǔn)設(shè)定值進(jìn)行比較，分析。掃描PCB圖像形成就是利用光的反射原理及銅和基材對于光有不同反射能力的特性，形成有區(qū)別的掃描對象，如圖2所示。

圖2 硬件結(jié)構(gòu)

2.2 圖像讀取原理

自然界的各種顏色都可以由紅綠藍(lán)（RGB）三種顏色調(diào)配而成，為了圖像在采集的過程區(qū)分銅面和基材避免失真，需要進(jìn)行圖像的灰度化，就是將圖像上的像素點的灰度值（黑的程度，即是介于純黑和純白之間）設(shè)置為256個不同的灰度級別，用0到255的數(shù)字表現(xiàn)出來。然后將灰度化的圖像進(jìn)行二值化處理，把大于某個臨界灰度值的像素灰度設(shè)為灰度極大值，把小于這個值的像素灰度設(shè)為極小值，從而實現(xiàn)二值化。二值化可以把灰度圖像轉(zhuǎn)換成二值圖像，這是圖像分割的一種最簡單的方法，目的是將圖像上的像素的灰度值設(shè)置為0或者是255將整個圖像呈現(xiàn)出明顯的只有黑白的視覺效果。其中二值圖像是指：每個像素點均為黑色或者白色的圖像，經(jīng)常用黑白、單色圖像表示二值圖像。圖像數(shù)字化是指將連續(xù)色調(diào)的模擬圖像（空間上連續(xù)不分割、信號值不分等級的圖像）經(jīng)過采樣量化后轉(zhuǎn)換成數(shù)字影像（空間上被分割成離散像素信號值分為有限等級、用數(shù)碼0和1）表示的過程，數(shù)字圖像化運用的是計算機(jī)圖形和圖像技術(shù)。

2.3 生產(chǎn)能效

彩色AOI4.0版本采用彩色CCD（line彩色影像），搭載可調(diào)光源技術(shù)，適用于更多的板材，如M4，M6，白料板等，銅面和基材分層清晰，使二值化解析清楚；有群組復(fù)檢功能，相對黑白版本來說容易獲取更多資訊，有效避免復(fù)檢人員的嚴(yán)重漏失，通常一臺主機(jī)搭配1-2臺VRS（復(fù)檢機(jī)）。

3 AOI缺陷的種類

3.1 缺陷區(qū)分與識別

缺陷的真假評判注重兩個指標(biāo)，第一個是缺陷類別的信息，第二個是缺陷的嚴(yán)重程度的信息，要區(qū)分重度、中度、輕度三大類。一套AI模型建好了之后，就可以根據(jù)判斷標(biāo)準(zhǔn)不同的客戶專門定制化設(shè)置參數(shù)，以滿足客戶的特定要求。

大銅面缺陷：孔內(nèi)凸銅、孔內(nèi)殘銅、基材壓傷折傷、空曠區(qū)暗孔殘銅，銅面去膜不凈、銅面異物、銅面破洞、銅面氧化、孔內(nèi)蝕刻不凈、大銅面黑色點。

線路面缺陷：開路、短路、線路黑點、擦花、線路去摸不凈、線路異物、線路凸銅、線路缺口、線路針孔、線細(xì)和過蝕、線路面氧化、線路蝕刻不凈。

AI識別真點見圖3所示。

圖3 AI識別真點情況

AI識別假點見圖4所示。

圖4 AI識別假點

3.2 人工離線復(fù)檢

3.2.1 漏檢概念

AOI無法區(qū)分異物、破洞、氧化，VRS只能標(biāo)出凸出和凹陷、短路和開路、大銅面異物和破洞都標(biāo)注針孔，所以就無法準(zhǔn)確區(qū)分缺陷哪些可以通過或不可以通過。但是AI可以由大量的圖片訓(xùn)練，學(xué)習(xí)人工把此類缺陷分辨允許接收和不允許接收。PCB上的缺陷當(dāng)AOI不能夠報告出來稱為“漏檢”，根據(jù)漏檢產(chǎn)生的過程可分為三種。

（1）缺陷被設(shè)備找到了，但檢測參數(shù)設(shè)定不嚴(yán)格把缺陷當(dāng)成假缺陷不報告出來，或者本來能檢測到的因設(shè)備狀況變化被漏檢。

（2）缺陷無法被設(shè)備找到，也無法把缺陷報告出來。

（3）缺陷被設(shè)備找到了，但檢測參數(shù)設(shè)定嚴(yán)格無法把缺陷報告出來。

3.2.2 料號選取

（1）如圖5所示，唯一選擇在線AOI3-#機(jī)臺前面打鉤，選擇信息來源機(jī)臺；

圖5 料號選取

（2）下拉倒三角，選擇起始日期和結(jié)束日期，確定時間范圍；

（3）點擊雙面或者單面讀取，選擇AI過濾類型，有三種上線模式，全秀、不看OK、不看NG，點擊對應(yīng)的上線模式；

（4）點擊搜索料號，等待VRS頁面更新料號；

（5）選擇料號，白色表示沒有過濾，黃色代表沒有完全過濾完整，綠色代表全部過濾完整。

3.2.3 上線模式1

（1）不看AIOK，則頁面全部顯示8個NG型缺陷，人工只需要從8個NG缺陷里面再次過濾假點；

（2）當(dāng)點擊綠色AIOK，則全部為PASS。當(dāng)選中ALLNG，則全部為NG；

（3）當(dāng)前界面缺陷篩選完畢，可點擊左上角切換頁數(shù)，也可按住方向鍵切換頁數(shù)。見圖6所示。

圖6 上線模式1

3.2.4 上線模式2

（1）不看AING，則頁面全部顯示8個OK型缺陷，人工只需要從8個OK缺陷里面再次過濾假點。

（2）當(dāng)點擊綠色ALLOK，則全部為PASS。當(dāng)選中ALLNG，則全部為NG；

（3）當(dāng)前界面缺陷篩選完畢，可點擊右下角切換頁數(shù)，也可按住方向鍵切換頁數(shù)。見圖7所示。

圖7 上線模式2

4 效率和良率

4.1 統(tǒng)計規(guī)則

應(yīng)用AI技術(shù)后，大銅面占比約3/4和線路面占比約1/4綜合一起漏失率在0.01%～0.1%之間，過濾率在70%以上。

（1）AI總?cè)秉c數(shù)＝AI（OK）數(shù)＋AI（NG）數(shù)

（2）AIOK總?cè)秉c數(shù)＝AI（OK）數(shù)

（3）正確率＝（AIOK同時人工OK數(shù)＋AING同時人工NG數(shù)）／AI 總?cè)秉c數(shù)×100

（4）漏失率＝（AIOK同時人工NG數(shù)）/總?cè)秉c數(shù)×100

（5）誤判率＝（AING同時人工OK數(shù)）/總?cè)秉c數(shù)×100

（6）OK過濾率＝（AIOK同時人工OK）/（AIOK數(shù)同時人工OK數(shù)＋AIOK數(shù)同時人工OK數(shù)＋AI不確定數(shù)同時人工OK數(shù)）

4.2 實際節(jié)省成本

4.2.1 人工層面

車間實際配備的機(jī)器能力：VT機(jī)3.6面/min，每日有效生產(chǎn)時間為19.6 h，每日產(chǎn)能19 051 pnl/d；月產(chǎn)能533 433 pnl/月，設(shè)備能力1.8 pnl/min。超負(fù)荷狀態(tài)，車間人員復(fù)檢11 h，那么可以有單人一個班次工作總量等于11×60×3.6/2＝1188塊板。

在生產(chǎn)車間的實際調(diào)查情況：不同料號的在制芯板代表質(zhì)量的真點和假點的數(shù)量是不同的，線路面和大銅面的缺陷也有很大的差異，從大量數(shù)據(jù)統(tǒng)計得知一塊芯片可以折合15個沒有經(jīng)過AI過濾的原始缺陷含真點和假點，熟練的VT復(fù)檢員工每天一個班次工作11 h，每天的工作個人總量可以達(dá)到檢查在線AOI原始資料1200塊芯板，這個數(shù)據(jù)和VT設(shè)備能力的1188塊板吻合?？偘鍞?shù)一定，那么真點和假點總數(shù)也可以吻合。所以可以進(jìn)行下述數(shù)據(jù)演算。

取假點數(shù)13318，假點過濾率63%進(jìn)行理論和實際結(jié)合來驗證AI的能力，沒有應(yīng)用AI前時VRS采用雙面讀取的方式13318/2＝6659塊，折算成需要6659/1200＝5.5個人來工作，那么每人每天需要過濾缺陷總數(shù)含真點和假點151447/5.5＝27553個；總?cè)秉c數(shù)含真點和假點151447，折算成單位塊芯片的平均缺陷點數(shù)151447/6659＝22.7個（比車間實際的15個點多）。

運用AI圖像識別技術(shù)處理后OK過濾率達(dá)到了63%，那么折算每塊芯板的平均點數(shù)只有真點22.7×（1～63%）＝8.3個，此時總點數(shù)只有真點8.3×6659＝55269.7個，這是需要復(fù)檢人數(shù)是55269.7/27535＝2個人。即是從5.5個人減少3.5個人只需要2個人，減少了人數(shù)量占比3.5/5.5＝0.63，也就是人數(shù)減少量2/3，如果從每臺VT機(jī)配備1個復(fù)檢人員的話，也就是可以減少2/3臺VT機(jī)。

4.2.2 時間層面

節(jié)省率＝總節(jié)省時間／總時間，其中總節(jié)省時間＝總時間－AI總時間

（1）總時間＝每片平均時間×（總片數(shù)－零點片數(shù)）＋零點片數(shù)×（5.0 s/片）

（2）AI總時間＝AI每片平均時間×（總片數(shù)－零點片數(shù)）＋零點片數(shù)×（5.0 s/片）

（3）每片平均時間＝［總?cè)秉c數(shù)/（總片數(shù)－零點片數(shù)）］×1 s/每點＋17.2 s/每片（上下料）

（4）AI每片平均時間＝［（總?cè)秉c－AIOK總數(shù)）/（總片數(shù)－零點片數(shù)）］×1 s/每點＋17.2 s/每片（上下料）

節(jié)省人力＝總節(jié)省時間/8 h×3600 s

5 AI優(yōu)化方法

AI優(yōu)化方案基于所收到的數(shù)據(jù)，而且是以人類操作員的判斷結(jié)果進(jìn)行訓(xùn)練的，因此有能力以一致的正確性自主執(zhí)行分類判斷。但要達(dá)到理想的表現(xiàn)，必須以正確的數(shù)據(jù)模式（data pattern）進(jìn)行訓(xùn)練，才能讓AI系統(tǒng)逐步學(xué)習(xí)到正確的算法行為。此外由于最細(xì)微的數(shù)據(jù)變化也會完全翻轉(zhuǎn)AI系統(tǒng)判斷的結(jié)果，可見數(shù)據(jù)是AI應(yīng)用的關(guān)鍵之一，因此AI系統(tǒng)的數(shù)據(jù)非常重要，此外AI作為一種新技術(shù)從測試到上市本身就是一個不斷完善的過程，在測試前期更是一個需要投入人力，投入時間的過程，所以需要在生產(chǎn)實踐中真正把AI運用起來，綜合輸出的真假點缺陷數(shù)據(jù)，找到優(yōu)化的方案。

5.1 AI優(yōu)化方法1

優(yōu)化是對原圖像進(jìn)行二次轉(zhuǎn)換提取特征的過程，相當(dāng)于信號處理的濾波器，簡單概括流程圖就是卷積層－采樣層－全連接層。

（1）大致理解為通過第一個卷積層提取由在線AOI掃描出來的最初特征，然后輸出特征圖；

（2）通過第二個采樣層對最初的特征圖進(jìn)行特征選擇，去除多余特征重構(gòu)新的特征圖；

（3）第二個卷積層是對上一層的采樣層的輸出特征圖進(jìn)行第二次特征提?。?/p>

（4）第二個采樣層也是對上一層輸出進(jìn)行二次特征選擇；

（5）循環(huán)往復(fù)卷積－采樣－卷積－采樣……

（6）全連接層便是對全部特征的進(jìn)行分類。

5.2 AI優(yōu)化方法2

圖像相似度計算主要用于對于兩幅圖像之間內(nèi)容的相似程度進(jìn)行打分，區(qū)別于差值法，是根據(jù)兩張圖片的重合度來判斷圖像內(nèi)容的相近程度。待在線AOI掃描出來的缺陷圖和工程資料中的CAM圖進(jìn)行對比，想要檢測兩個圖片是否相等，當(dāng)這兩個圖片完全相同的時候，可以直接返回一個True，當(dāng)這兩個圖片有微小差距的時候，也希望可以返回True，但是如果嚴(yán)格用差值法對比圖片，第二個需求就不滿足，所以需要通過研究圖像的相似性也就是圖像相似度來解決PCB中假點和非功能漏失點的總體比例，提高假點過濾率，進(jìn)而提高生產(chǎn)效率。

6 結(jié)束語

本文首先分析了PCB生產(chǎn)過程中AOI檢測機(jī)器的工作原理，并指出在缺陷檢測過程中存在效率低，識別準(zhǔn)確率不足等問題；然后提出將AI圖像識別技術(shù)應(yīng)用在缺陷圖像檢測中去，提高識別效率與識別準(zhǔn)確率，減輕操作員的工作量；同時

由于缺陷檢測的復(fù)雜程度大，使得必須通過建立龐大的訓(xùn)練數(shù)據(jù)集來提高AI軟件泛化能力和穩(wěn)定性；最后提出了定期使用數(shù)據(jù)集表對照芯板或者成品板的方式評估AI軟件和AOI設(shè)備的檢測能力，保證AI軟件和AOI設(shè)備的穩(wěn)定性，降低漏檢率。理論上VRS離線復(fù)檢的效率可以達(dá)到VT復(fù)檢的六倍，應(yīng)用AI技術(shù)后VRS復(fù)檢達(dá)到了智能化,VT檢查機(jī)能夠直接調(diào)取AI檔資料，這就可以節(jié)省一名人工離線復(fù)判的人力成本和提升時間效率。