鐘冠祺 吳天信

（廣州廣合科技股份有限公司，廣東 廣州 510730）

0 前言

印制電路板（PCB）發(fā)展過(guò)程中，板件生產(chǎn)日趨小型化、精密化，線條越來(lái)越細(xì)，孔徑越來(lái)越小，圖形間距也越來(lái)越密集，同時(shí)對(duì)PCB的質(zhì)量要求也越來(lái)越高，這使得提高PCB的檢測(cè)技術(shù)必不可少。PCB最早的檢測(cè)使用的是人工目測(cè)的方法，但是單靠人工檢測(cè)已經(jīng)無(wú)法確保檢驗(yàn)結(jié)果是精確的以及是有效的，引進(jìn)自動(dòng)光學(xué)檢測(cè)系統(tǒng)AOI（Automatic Optic Inspect）再輔以人工智能（AI）圖像識(shí)別技術(shù)可以學(xué)習(xí)人工檢測(cè)缺陷的特性，進(jìn)而協(xié)助或者取代人，從而達(dá)到減少?gòu)?fù)檢人員的數(shù)量，實(shí)現(xiàn)產(chǎn)品的量產(chǎn)，達(dá)到提升檢測(cè)覆蓋率，降低誤判的效果。AOI使用光學(xué)技術(shù)[精密光學(xué)鏡頭、高精度CCD（圖像傳感器）、CMOS等感光組件]獲取圖像的光信號(hào)，再經(jīng)過(guò)光電信號(hào)轉(zhuǎn)換、數(shù)字圖像處理、識(shí)別等算法處理后，從被檢測(cè)物件獲得所需要的信息，利用這些信息可進(jìn)行產(chǎn)品外觀檢測(cè)，缺陷鑒定分類，主要應(yīng)用于內(nèi)層芯板檢測(cè)和外層成品檢測(cè)中的缺陷，比如缺口、突銅、凹銅、短路、斷路、殘銅、針孔、線寬線距不足等問(wèn)題。由于現(xiàn)在的芯片載板越來(lái)越精細(xì)，檢規(guī)也越來(lái)越嚴(yán)格，導(dǎo)致在線AOI掃描的結(jié)果存在大量的假缺陷，如果把內(nèi)層和外層的缺陷都統(tǒng)計(jì)起來(lái)，集中傳送到人工檢修站（VT）檢測(cè)機(jī)，這一定會(huì)增加設(shè)備成本、人工成本、時(shí)間成本，而直接影響生產(chǎn)效率，這對(duì)于重資產(chǎn)的制造業(yè)來(lái)說(shuō)是致命的。人為的限制（包括誤操作和疲勞）或?qū)CB缺陷的錯(cuò)誤識(shí)別也會(huì)影響良率，甚至?xí)p害PCB本身。將AI集成到AOI的過(guò)程中就是為了解決上述效率、良率和成本的問(wèn)題專門(mén)定做而成，提高整體效率和運(yùn)營(yíng)是AI系統(tǒng)的最大機(jī)會(huì)。實(shí)驗(yàn)證明這其中輔以AI圖像識(shí)別技術(shù)通過(guò)模仿人工目檢的判斷操作方式來(lái)運(yùn)行，AI解決真假缺陷的方案也是以人工的判斷結(jié)果進(jìn)行訓(xùn)練的，通過(guò)對(duì)各種真假缺陷的類型進(jìn)行多次深度學(xué)習(xí)，能夠區(qū)分缺陷程度的重或輕，從而過(guò)濾掉不會(huì)對(duì)板面造成電氣性能影響的假缺陷，并且可以對(duì)此類曾經(jīng)釋放過(guò)的缺陷的初始特征作記憶保留進(jìn)而達(dá)到理想的表現(xiàn)。

1 AOI的工作流程

1.1 圖像識(shí)別

標(biāo)準(zhǔn)圖像來(lái)源golden board金板（無(wú)缺陷板）當(dāng)機(jī)獲得，或者從CAM（計(jì)算機(jī)輔助制造）房取得CAD（計(jì)算機(jī)輔助設(shè)計(jì)）格式的資料，經(jīng)過(guò)工作站處理成AOI可識(shí)別的料號(hào)文件，AOI系統(tǒng)首先分析并處理PCB中CAM文件的標(biāo)準(zhǔn)圖像信息，再控制設(shè)備的光學(xué)成像部件將PCB通過(guò)光學(xué)掃描的方式在計(jì)算機(jī)內(nèi)部產(chǎn)生實(shí)物的掃描圖像，并將標(biāo)準(zhǔn)圖像與實(shí)物圖像兩者之間進(jìn)行各種邏輯算法對(duì)比，從而實(shí)現(xiàn)缺陷的初步判別和分類，如圖1所示。

圖1 AOI軟件結(jié)構(gòu)

1.2 工作流程

人工通過(guò)計(jì)算機(jī)將PCB的各種缺陷資料下傳到離線判別載體VRS（驗(yàn)證與修理工作站），借助AI技術(shù)的邏輯算法再次識(shí)別真假缺陷資料，就可以把假點(diǎn)自動(dòng)過(guò)濾掉，然后再通過(guò)數(shù)控計(jì)算機(jī)把真點(diǎn)傳到人工檢修站VT，進(jìn)行人工的最終判斷。

2 AOI工作原理

2.1 獲取圖像原理

通過(guò)光學(xué)部分獲得需要檢測(cè)的圖像，通過(guò)圖像處理部分來(lái)進(jìn)行分析和判斷，其中圖像處理部分需要很強(qiáng)的軟件支持，因?yàn)楦鞣N缺陷的特征不同計(jì)算的方法也會(huì)不同。AOI與人的判斷原理相同，人識(shí)別物體是通過(guò)反射回來(lái)的光量進(jìn)行判斷的，反射量多為亮，反射量少為暗，AOI通過(guò)LED燈光代替自然光，通過(guò)CCD代替人眼，把從光源反射回來(lái)的光信號(hào)強(qiáng)弱轉(zhuǎn)化為相對(duì)應(yīng)的電信號(hào)，把模擬量轉(zhuǎn)變?yōu)閿?shù)字量，AOI就可以區(qū)分PCB板面的圖形情況，再和標(biāo)準(zhǔn)設(shè)定值進(jìn)行比較，分析。掃描PCB圖像形成就是利用光的反射原理及銅和基材對(duì)于光有不同反射能力的特性，形成有區(qū)別的掃描對(duì)象，如圖2所示。

圖2 硬件結(jié)構(gòu)

2.2 圖像讀取原理

自然界的各種顏色都可以由紅綠藍(lán)（RGB）三種顏色調(diào)配而成，為了圖像在采集的過(guò)程區(qū)分銅面和基材避免失真，需要進(jìn)行圖像的灰度化，就是將圖像上的像素點(diǎn)的灰度值（黑的程度，即是介于純黑和純白之間）設(shè)置為256個(gè)不同的灰度級(jí)別，用0到255的數(shù)字表現(xiàn)出來(lái)。然后將灰度化的圖像進(jìn)行二值化處理，把大于某個(gè)臨界灰度值的像素灰度設(shè)為灰度極大值，把小于這個(gè)值的像素灰度設(shè)為極小值，從而實(shí)現(xiàn)二值化。二值化可以把灰度圖像轉(zhuǎn)換成二值圖像，這是圖像分割的一種最簡(jiǎn)單的方法，目的是將圖像上的像素的灰度值設(shè)置為0或者是255將整個(gè)圖像呈現(xiàn)出明顯的只有黑白的視覺(jué)效果。其中二值圖像是指：每個(gè)像素點(diǎn)均為黑色或者白色的圖像，經(jīng)常用黑白、單色圖像表示二值圖像。圖像數(shù)字化是指將連續(xù)色調(diào)的模擬圖像（空間上連續(xù)不分割、信號(hào)值不分等級(jí)的圖像）經(jīng)過(guò)采樣量化后轉(zhuǎn)換成數(shù)字影像（空間上被分割成離散像素信號(hào)值分為有限等級(jí)、用數(shù)碼0和1）表示的過(guò)程，數(shù)字圖像化運(yùn)用的是計(jì)算機(jī)圖形和圖像技術(shù)。

2.3 生產(chǎn)能效

彩色AOI4.0版本采用彩色CCD（line彩色影像），搭載可調(diào)光源技術(shù)，適用于更多的板材，如M4，M6，白料板等，銅面和基材分層清晰，使二值化解析清楚；有群組復(fù)檢功能，相對(duì)黑白版本來(lái)說(shuō)容易獲取更多資訊，有效避免復(fù)檢人員的嚴(yán)重漏失，通常一臺(tái)主機(jī)搭配1-2臺(tái)VRS（復(fù)檢機(jī)）。

3 AOI缺陷的種類

3.1 缺陷區(qū)分與識(shí)別

缺陷的真假評(píng)判注重兩個(gè)指標(biāo)，第一個(gè)是缺陷類別的信息，第二個(gè)是缺陷的嚴(yán)重程度的信息，要區(qū)分重度、中度、輕度三大類。一套AI模型建好了之后，就可以根據(jù)判斷標(biāo)準(zhǔn)不同的客戶專門(mén)定制化設(shè)置參數(shù)，以滿足客戶的特定要求。

大銅面缺陷：孔內(nèi)凸銅、孔內(nèi)殘銅、基材壓傷折傷、空曠區(qū)暗孔殘銅，銅面去膜不凈、銅面異物、銅面破洞、銅面氧化、孔內(nèi)蝕刻不凈、大銅面黑色點(diǎn)。

線路面缺陷：開(kāi)路、短路、線路黑點(diǎn)、擦花、線路去摸不凈、線路異物、線路凸銅、線路缺口、線路針孔、線細(xì)和過(guò)蝕、線路面氧化、線路蝕刻不凈。

AI識(shí)別真點(diǎn)見(jiàn)圖3所示。

圖3 AI識(shí)別真點(diǎn)情況

AI識(shí)別假點(diǎn)見(jiàn)圖4所示。

圖4 AI識(shí)別假點(diǎn)

3.2 人工離線復(fù)檢

3.2.1 漏檢概念

AOI無(wú)法區(qū)分異物、破洞、氧化，VRS只能標(biāo)出凸出和凹陷、短路和開(kāi)路、大銅面異物和破洞都標(biāo)注針孔，所以就無(wú)法準(zhǔn)確區(qū)分缺陷哪些可以通過(guò)或不可以通過(guò)。但是AI可以由大量的圖片訓(xùn)練，學(xué)習(xí)人工把此類缺陷分辨允許接收和不允許接收。PCB上的缺陷當(dāng)AOI不能夠報(bào)告出來(lái)稱為“漏檢”，根據(jù)漏檢產(chǎn)生的過(guò)程可分為三種。

（1）缺陷被設(shè)備找到了，但檢測(cè)參數(shù)設(shè)定不嚴(yán)格把缺陷當(dāng)成假缺陷不報(bào)告出來(lái)，或者本來(lái)能檢測(cè)到的因設(shè)備狀況變化被漏檢。

（2）缺陷無(wú)法被設(shè)備找到，也無(wú)法把缺陷報(bào)告出來(lái)。

（3）缺陷被設(shè)備找到了，但檢測(cè)參數(shù)設(shè)定嚴(yán)格無(wú)法把缺陷報(bào)告出來(lái)。

3.2.2 料號(hào)選取

（1）如圖5所示，唯一選擇在線AOI3-#機(jī)臺(tái)前面打鉤，選擇信息來(lái)源機(jī)臺(tái)；

圖5 料號(hào)選取

（2）下拉倒三角，選擇起始日期和結(jié)束日期，確定時(shí)間范圍；

（3）點(diǎn)擊雙面或者單面讀取，選擇AI過(guò)濾類型，有三種上線模式，全秀、不看OK、不看NG，點(diǎn)擊對(duì)應(yīng)的上線模式；

（4）點(diǎn)擊搜索料號(hào)，等待VRS頁(yè)面更新料號(hào)；

（5）選擇料號(hào)，白色表示沒(méi)有過(guò)濾，黃色代表沒(méi)有完全過(guò)濾完整，綠色代表全部過(guò)濾完整。

3.2.3 上線模式1

（1）不看AIOK，則頁(yè)面全部顯示8個(gè)NG型缺陷，人工只需要從8個(gè)NG缺陷里面再次過(guò)濾假點(diǎn)；

（2）當(dāng)點(diǎn)擊綠色AIOK，則全部為PASS。當(dāng)選中ALLNG，則全部為NG；

（3）當(dāng)前界面缺陷篩選完畢，可點(diǎn)擊左上角切換頁(yè)數(shù)，也可按住方向鍵切換頁(yè)數(shù)。見(jiàn)圖6所示。

圖6 上線模式1

3.2.4 上線模式2

（1）不看AING，則頁(yè)面全部顯示8個(gè)OK型缺陷，人工只需要從8個(gè)OK缺陷里面再次過(guò)濾假點(diǎn)。

（2）當(dāng)點(diǎn)擊綠色ALLOK，則全部為PASS。當(dāng)選中ALLNG，則全部為NG；

（3）當(dāng)前界面缺陷篩選完畢，可點(diǎn)擊右下角切換頁(yè)數(shù)，也可按住方向鍵切換頁(yè)數(shù)。見(jiàn)圖7所示。

圖7 上線模式2

4 效率和良率

4.1 統(tǒng)計(jì)規(guī)則

應(yīng)用AI技術(shù)后，大銅面占比約3/4和線路面占比約1/4綜合一起漏失率在0.01%～0.1%之間，過(guò)濾率在70%以上。

（1）AI總?cè)秉c(diǎn)數(shù)＝AI（OK）數(shù)＋AI（NG）數(shù)

（2）AIOK總?cè)秉c(diǎn)數(shù)＝AI（OK）數(shù)

（3）正確率＝（AIOK同時(shí)人工OK數(shù)＋AING同時(shí)人工NG數(shù)）／AI 總?cè)秉c(diǎn)數(shù)×100

（4）漏失率＝（AIOK同時(shí)人工NG數(shù)）/總?cè)秉c(diǎn)數(shù)×100

（5）誤判率＝（AING同時(shí)人工OK數(shù)）/總?cè)秉c(diǎn)數(shù)×100

（6）OK過(guò)濾率＝（AIOK同時(shí)人工OK）/（AIOK數(shù)同時(shí)人工OK數(shù)＋AIOK數(shù)同時(shí)人工OK數(shù)＋AI不確定數(shù)同時(shí)人工OK數(shù)）

4.2 實(shí)際節(jié)省成本

4.2.1 人工層面

車(chē)間實(shí)際配備的機(jī)器能力：VT機(jī)3.6面/min，每日有效生產(chǎn)時(shí)間為19.6 h，每日產(chǎn)能19 051 pnl/d；月產(chǎn)能533 433 pnl/月，設(shè)備能力1.8 pnl/min。超負(fù)荷狀態(tài)，車(chē)間人員復(fù)檢11 h，那么可以有單人一個(gè)班次工作總量等于11×60×3.6/2＝1188塊板。

在生產(chǎn)車(chē)間的實(shí)際調(diào)查情況：不同料號(hào)的在制芯板代表質(zhì)量的真點(diǎn)和假點(diǎn)的數(shù)量是不同的，線路面和大銅面的缺陷也有很大的差異，從大量數(shù)據(jù)統(tǒng)計(jì)得知一塊芯片可以折合15個(gè)沒(méi)有經(jīng)過(guò)AI過(guò)濾的原始缺陷含真點(diǎn)和假點(diǎn)，熟練的VT復(fù)檢員工每天一個(gè)班次工作11 h，每天的工作個(gè)人總量可以達(dá)到檢查在線AOI原始資料1200塊芯板，這個(gè)數(shù)據(jù)和VT設(shè)備能力的1188塊板吻合?？偘鍞?shù)一定，那么真點(diǎn)和假點(diǎn)總數(shù)也可以吻合。所以可以進(jìn)行下述數(shù)據(jù)演算。

取假點(diǎn)數(shù)13318，假點(diǎn)過(guò)濾率63%進(jìn)行理論和實(shí)際結(jié)合來(lái)驗(yàn)證AI的能力，沒(méi)有應(yīng)用AI前時(shí)VRS采用雙面讀取的方式13318/2＝6659塊，折算成需要6659/1200＝5.5個(gè)人來(lái)工作，那么每人每天需要過(guò)濾缺陷總數(shù)含真點(diǎn)和假點(diǎn)151447/5.5＝27553個(gè)；總?cè)秉c(diǎn)數(shù)含真點(diǎn)和假點(diǎn)151447，折算成單位塊芯片的平均缺陷點(diǎn)數(shù)151447/6659＝22.7個(gè)（比車(chē)間實(shí)際的15個(gè)點(diǎn)多）。

運(yùn)用AI圖像識(shí)別技術(shù)處理后OK過(guò)濾率達(dá)到了63%，那么折算每塊芯板的平均點(diǎn)數(shù)只有真點(diǎn)22.7×（1～63%）＝8.3個(gè)，此時(shí)總點(diǎn)數(shù)只有真點(diǎn)8.3×6659＝55269.7個(gè)，這是需要復(fù)檢人數(shù)是55269.7/27535＝2個(gè)人。即是從5.5個(gè)人減少3.5個(gè)人只需要2個(gè)人，減少了人數(shù)量占比3.5/5.5＝0.63，也就是人數(shù)減少量2/3，如果從每臺(tái)VT機(jī)配備1個(gè)復(fù)檢人員的話，也就是可以減少2/3臺(tái)VT機(jī)。

4.2.2 時(shí)間層面

節(jié)省率＝總節(jié)省時(shí)間／總時(shí)間，其中總節(jié)省時(shí)間＝總時(shí)間－AI總時(shí)間

（1）總時(shí)間＝每片平均時(shí)間×（總片數(shù)－零點(diǎn)片數(shù)）＋零點(diǎn)片數(shù)×（5.0 s/片）

（2）AI總時(shí)間＝AI每片平均時(shí)間×（總片數(shù)－零點(diǎn)片數(shù)）＋零點(diǎn)片數(shù)×（5.0 s/片）

（3）每片平均時(shí)間＝［總?cè)秉c(diǎn)數(shù)/（總片數(shù)－零點(diǎn)片數(shù)）］×1 s/每點(diǎn)＋17.2 s/每片（上下料）

（4）AI每片平均時(shí)間＝［（總?cè)秉c(diǎn)－AIOK總數(shù)）/（總片數(shù)－零點(diǎn)片數(shù)）］×1 s/每點(diǎn)＋17.2 s/每片（上下料）

節(jié)省人力＝總節(jié)省時(shí)間/8 h×3600 s

5 AI優(yōu)化方法

AI優(yōu)化方案基于所收到的數(shù)據(jù)，而且是以人類操作員的判斷結(jié)果進(jìn)行訓(xùn)練的，因此有能力以一致的正確性自主執(zhí)行分類判斷。但要達(dá)到理想的表現(xiàn)，必須以正確的數(shù)據(jù)模式（data pattern）進(jìn)行訓(xùn)練，才能讓AI系統(tǒng)逐步學(xué)習(xí)到正確的算法行為。此外由于最細(xì)微的數(shù)據(jù)變化也會(huì)完全翻轉(zhuǎn)AI系統(tǒng)判斷的結(jié)果，可見(jiàn)數(shù)據(jù)是AI應(yīng)用的關(guān)鍵之一，因此AI系統(tǒng)的數(shù)據(jù)非常重要，此外AI作為一種新技術(shù)從測(cè)試到上市本身就是一個(gè)不斷完善的過(guò)程，在測(cè)試前期更是一個(gè)需要投入人力，投入時(shí)間的過(guò)程，所以需要在生產(chǎn)實(shí)踐中真正把AI運(yùn)用起來(lái)，綜合輸出的真假點(diǎn)缺陷數(shù)據(jù)，找到優(yōu)化的方案。

5.1 AI優(yōu)化方法1

優(yōu)化是對(duì)原圖像進(jìn)行二次轉(zhuǎn)換提取特征的過(guò)程，相當(dāng)于信號(hào)處理的濾波器，簡(jiǎn)單概括流程圖就是卷積層－采樣層－全連接層。

（1）大致理解為通過(guò)第一個(gè)卷積層提取由在線AOI掃描出來(lái)的最初特征，然后輸出特征圖；

（2）通過(guò)第二個(gè)采樣層對(duì)最初的特征圖進(jìn)行特征選擇，去除多余特征重構(gòu)新的特征圖；

（3）第二個(gè)卷積層是對(duì)上一層的采樣層的輸出特征圖進(jìn)行第二次特征提??；

（4）第二個(gè)采樣層也是對(duì)上一層輸出進(jìn)行二次特征選擇；

（5）循環(huán)往復(fù)卷積－采樣－卷積－采樣……

（6）全連接層便是對(duì)全部特征的進(jìn)行分類。

5.2 AI優(yōu)化方法2

圖像相似度計(jì)算主要用于對(duì)于兩幅圖像之間內(nèi)容的相似程度進(jìn)行打分，區(qū)別于差值法，是根據(jù)兩張圖片的重合度來(lái)判斷圖像內(nèi)容的相近程度。待在線AOI掃描出來(lái)的缺陷圖和工程資料中的CAM圖進(jìn)行對(duì)比，想要檢測(cè)兩個(gè)圖片是否相等，當(dāng)這兩個(gè)圖片完全相同的時(shí)候，可以直接返回一個(gè)True，當(dāng)這兩個(gè)圖片有微小差距的時(shí)候，也希望可以返回True，但是如果嚴(yán)格用差值法對(duì)比圖片，第二個(gè)需求就不滿足，所以需要通過(guò)研究圖像的相似性也就是圖像相似度來(lái)解決PCB中假點(diǎn)和非功能漏失點(diǎn)的總體比例，提高假點(diǎn)過(guò)濾率，進(jìn)而提高生產(chǎn)效率。

6 結(jié)束語(yǔ)

本文首先分析了PCB生產(chǎn)過(guò)程中AOI檢測(cè)機(jī)器的工作原理，并指出在缺陷檢測(cè)過(guò)程中存在效率低，識(shí)別準(zhǔn)確率不足等問(wèn)題；然后提出將AI圖像識(shí)別技術(shù)應(yīng)用在缺陷圖像檢測(cè)中去，提高識(shí)別效率與識(shí)別準(zhǔn)確率，減輕操作員的工作量；同時(shí)

由于缺陷檢測(cè)的復(fù)雜程度大，使得必須通過(guò)建立龐大的訓(xùn)練數(shù)據(jù)集來(lái)提高AI軟件泛化能力和穩(wěn)定性；最后提出了定期使用數(shù)據(jù)集表對(duì)照芯板或者成品板的方式評(píng)估AI軟件和AOI設(shè)備的檢測(cè)能力，保證AI軟件和AOI設(shè)備的穩(wěn)定性，降低漏檢率。理論上VRS離線復(fù)檢的效率可以達(dá)到VT復(fù)檢的六倍，應(yīng)用AI技術(shù)后VRS復(fù)檢達(dá)到了智能化,VT檢查機(jī)能夠直接調(diào)取AI檔資料，這就可以節(jié)省一名人工離線復(fù)判的人力成本和提升時(shí)間效率。