趙慧娟，姜盼松，黃文聰

(青島科技大學 經(jīng)濟與管理學院，山東 青島 266061)

隨著制造業(yè)智能化和自動化的成熟與發(fā)展，電子產(chǎn)品的競爭愈演愈烈，消費者對電子產(chǎn)品的要求也越來越高。攝像頭作為電子產(chǎn)品中必不可少的部件，在電子產(chǎn)品中發(fā)揮重要作用。然而，即使是世界頂尖的攝像頭供應商，仍然存在圖像傳感器次品率高的問題，其中不恰當?shù)馁|(zhì)量檢測方法是主要原因之一。不恰當?shù)臋z測方法無法完全檢測出不合格的圖像傳感器，使其摻雜于合格品中流向市場，最終導致產(chǎn)品返修甚至退貨，增加企業(yè)生產(chǎn)成本并影響企業(yè)信譽。因此，精確的檢測方法對于圖像傳感器檢測尤為關鍵，成為提升圖像傳感器合格率的重要影響因素。

目前，大量學者對質(zhì)量檢測方法的研究已在不同領域取得重大突破[1-6]，智能檢測成為質(zhì)量控制的重要手段。盧榮勝等[7]基于表面缺陷在線自動檢測的背景，運用自動光學檢測方法，借助自動光學系統(tǒng)集成中的關鍵技術最終實現(xiàn)質(zhì)量的控制。譚奇[8]針對攝像頭測試過程中像素壞點和區(qū)域陰影的問題，采用FT光學測試將問題找出以達到提升產(chǎn)品質(zhì)量的目的。於文苑等[9]認為圖像識別技術應更多地滿足個性化需求，圖像處理工作逐漸從二維圖像演變到三維圖像,甚至向多維度方向發(fā)展。這種三維圖像處理更能反映出產(chǎn)品特性，檢測結果更加準確。陳婧[10]通過實驗對比分區(qū)檢測和全面檢測，分區(qū)檢測可以避免像素檢測的運行速度問題，實現(xiàn)小區(qū)域質(zhì)量問題檢測。范宏[11]提出自適應的“十字交叉法”對待檢品進行定位，在特征識別方面選用Haar-like特征配合AdaBoost分類器對待檢品進行分類，但分區(qū)檢測和“十字交叉法”這2種方法對于產(chǎn)品特征提取并不全面，因此檢測結果的可信度不高。

目前，學者在質(zhì)量控制方法、圖像識別方面的研究為本文研究提供借鑒，但現(xiàn)有研究更多地從技術角度改進質(zhì)量檢測環(huán)節(jié)，并未采用恰當?shù)臋z測方法。此外，圖像識別技術應用于圖像傳感器的研究較少，該領域仍有較大的發(fā)展空間。鑒于此，本文將圖像識別應用于攝像頭圖像傳感器質(zhì)量檢測環(huán)節(jié)，以L公司手機攝像頭質(zhì)量檢測為例，分析其Warpage Test中存在的不足，運用圖像識別算法重新定義，設計了新的Warpage Test檢測方法，通過Matlab軟件對算法效果進行仿真測試，以期新的檢測方法在提高檢測結果準確率方面有一定效果。

1 圖像質(zhì)量檢測現(xiàn)狀分析

1.1 手機攝像頭的生產(chǎn)工藝流程

圖像傳感器是手機攝像頭中最為重要的一部分，決定了手機攝像頭的性能高低，其裝配質(zhì)量很大程度上決定整個手機攝像頭的質(zhì)量。所研究案例的生產(chǎn)流程圖如圖1所示。

圖1 手機攝像頭生產(chǎn)工藝流程圖Figure 1 Mobile camera production process flow chart of L

1.2 圖像質(zhì)量檢測現(xiàn)狀

本文所研究案例為H型號手機攝像頭，一次良品通過率僅為80%，為滿足客戶要求的95%良品通過率，需對產(chǎn)品質(zhì)量影響較大的工序，進行綜合改進，以提升產(chǎn)品一次良品通過率，達成質(zhì)量目標，降低制造故障成本。

按現(xiàn)有質(zhì)量控制體系要求，每班次每工序每設備第一批次生產(chǎn)時，試生產(chǎn)出一定數(shù)量產(chǎn)品后，停止稼動設備，隨機抽取3個產(chǎn)品進行質(zhì)量檢測，若3個隨機產(chǎn)品均為合格則該班次該工序該設備可以進行批量生產(chǎn)；若3個產(chǎn)品中存在不合格品，則對設備進行調(diào)試，再試生產(chǎn)一定數(shù)量產(chǎn)品后，再次進行隨機抽取3個產(chǎn)品進行質(zhì)量檢測。直至隨機抽取3個產(chǎn)品均為合格品為止。質(zhì)量檢測流程如圖2所示。

圖2 質(zhì)量檢測流程Figure 2 Quality testing process of L

本文主要研究的質(zhì)量檢測項目為Warpage Test，即測量圖像傳感器表面平坦度。手機攝像頭生產(chǎn)過程中，若圖像傳感器表面平坦度超過5 μm將對其成像感光性能產(chǎn)生影響，因此生產(chǎn)工序應保證其表面平坦度高度差不超過5 μm。目前借助基恩士VR3000 3D輪廓測量儀，獲取圖像傳感器的表面圖像，并借助3D輪廓測量儀配套分析軟件計算圖像傳感器表面高度差，具體分析步驟如下。

1) 選取圖像傳感器的感光區(qū)域，以此作為基準面，自動計算出基準面的平均高度，作為整個區(qū)域的0度基準線，并設置顯示高度顏色信息，示意圖見圖3。

圖3 現(xiàn)有測量方法步驟1示意圖Figure 3 Schematic diagram of step 1 of the existing

2) 在選取區(qū)域內(nèi)自左上至右下、自左下至右上分別繪制2條直線，線寬為30，即同時繪制均寬的30條直線，得出30條直線所經(jīng)過區(qū)域的高度線，算取平均值作為自左上至右下、自左下至右上所繪制直線的高度線，見圖4。

圖4 現(xiàn)有測量方法步驟2示意圖Figure 4 Schematic diagram of step 2 of the existing measurement method

3) 手動選取繪制直線的中點位置作為參考點，依次手動選取繪制直線的起點、1/4點、3/4點和終點，最終軟件可自動得出參考點與后4點之間的高度差(見圖5中[1]、[2]、[3]、[4])。另一條繪制直線重復操作。

圖5 現(xiàn)有測量方法步驟3示意圖Figure 5 Schematic diagram of step 3 of the existing measurement method

4) 作業(yè)者查看最終高度差數(shù)據(jù)，其最大值不超過5 μm即判定為良品。

1.3 現(xiàn)有圖像質(zhì)量檢測存在問題

通過與現(xiàn)場作業(yè)者、質(zhì)量監(jiān)管者等溝通，運用頭腦風暴等方法總結出現(xiàn)有測量方法的諸多不足，并基于人機料法環(huán)測—魚骨圖分析法梳理所存在的問題，見圖6。

圖6 現(xiàn)有測量方法不足魚骨圖Figure 6 The existing measurement methods are insufficient for fishbone diagram

1) 現(xiàn)有圖像測量方法不夠科學，人為主觀性強。圖像識別以感光區(qū)域為主，缺少科學提取方法?，F(xiàn)有檢測采用手動劃線、設中心點等獲取檢測區(qū)間，不能全面準確反映整體平面圖像特征，容易漏檢。

2) 檢測環(huán)節(jié)不夠科學。因現(xiàn)有生產(chǎn)工序限制，基座安裝工序無法在保持圖像傳感器表面平坦度不變的前提下直接測試，僅在貼片工序結束后進行的Warpage Test環(huán)節(jié)，無法保證檢測質(zhì)量的可靠性。

2 基于圖像識別算法的Warpage Test方法改善

針對現(xiàn)有測量方法中存在的不足，在對原始圖像灰度處理后，采用Laplacian微分算子進行圖像邊緣識別檢測，構建HSL色彩模型，借助Matlab軟件對圖像特征信息智能提取，最后與標準數(shù)據(jù)進行對比檢測，以實現(xiàn)測量方法的智能化、標準化、精準化，圖像傳感器質(zhì)量檢測流程如圖7所示。

2.1 基于Laplacian算子的圖像邊緣識別

Laplacian算子是最簡單的各向同性微分算子，一個二維圖像函數(shù)的Laplacian變換是各向同性的二階導數(shù)，定義為

圖7 圖像傳感器質(zhì)量檢測流程Figure 7 Quality detection process of image sensor

為應用于數(shù)字圖像處理，該方程可表示為離散形式：

Matlab中Laplacian算子邊緣檢測可依靠edge函數(shù)[12]實現(xiàn)，其功能為輸入一個二值化圖像，輸出一個同等大小的二值化圖像，其中函數(shù)檢測到的邊緣為1，其他地方為0，分析過程如下：

1) imread函數(shù)讀取采集到的原始圖像，并對其進行灰度處理；

2) 運行edge函數(shù)，依靠Laplacian算子對灰度處理后的圖像進行邊緣檢測，并剔除干擾點；

3) 對上一步處理后的圖像邊緣進行縱向、橫向膨脹，并剔除干擾點，識別出主要成像區(qū)域與成像區(qū)域邊緣；

4) 對圖像進行黑白色轉換，獲取主要成像區(qū)域的像素坐標點；

5) 通過像素坐標點對原始圖像進行裁剪，得到主要成像區(qū)域圖像。

以實測圖像為例，其各步驟運行結果圖如圖8所示。

2.2 采集圖像的色彩模式轉換

圖像識別過程的第2步即為色彩模型的數(shù)字化。RGB色彩模型是目前運用最廣的顏色系統(tǒng)之一，但3個顏色變量之間的變化規(guī)律是極其復雜的。為使圖像采集變量更可靠簡便，將RGB色彩模型轉換為HSL色彩模型。HSL色彩模型中采用H、S、L分別表示顏色的色相、飽和度和亮度，顏色變換只需改變H分量，簡單易行。

RGB與HSL的數(shù)值轉換[13]過程如下。r、g、b分別為RGB色彩模型中R、G、B顏色分量，且r,g,b∈[0,1]；h、s、l分別為HSL色彩模型中色相、飽和度、亮度3個分量，且h∈[0,360]，s,l∈[0,1]。max、min 為某像素點r、g、b的中最大值和最小值，則(r,g,b)到 (h,s,l)的轉換公式如下。

圖8 圖像邊緣檢測過程圖Figure 8 Image edge detection process diagram

通過對主要測量區(qū)域圖像進行RGB色彩模型轉HSL色彩模型，保存圖像色彩數(shù)據(jù)。

2.3 采集圖像的特征信息智能提取

3D輪廓測量儀可得出測量區(qū)域內(nèi)的高度最大值heightmax、最小值 heightmin，其中用紅色表示高度較高區(qū)域，深藍色表示高度較低區(qū)域。對于整個平面的高度特征信息提取則只需要找出圖像數(shù)字化處理后的HSL色彩模型矩陣[H,S,L]中最大色彩數(shù)值(紅色數(shù)值)、最小色彩數(shù)值(藍色數(shù)值)，兩者之間的數(shù)值差距即為整個平面內(nèi)的高度特征信息差距。故整個測量區(qū)域的高度矩陣分量值為

對圖像傳感器測量區(qū)域進行高度特征信息提取，獲得平面高度矩陣后即可將原二維平面圖像轉換為三維立體圖像，并利用統(tǒng)計原理對平面高度特征信息進行數(shù)據(jù)分析。以實測圖像為例，對比效果見圖9。

2.4 采集圖像的特征信息數(shù)據(jù)分析

提取出采集圖像的主要測量區(qū)域的高度信息后，對高度信息進行數(shù)據(jù)分析，運用數(shù)據(jù)統(tǒng)計原理中的標準差工具，獲取測量區(qū)域的平坦度評價。其計算公式為

圖9 二維、三維圖像對比效果圖Figure 9 Comparison diagram of 2d and 3d image effect

n、m分 別為圖像主要成像區(qū)域縱向、橫向像素點個數(shù)；為圖像主要成像區(qū)域高度信息的平均值。

3 實例分析

3.1 產(chǎn)品實測實驗設置

為求出改善后方法測量得到的高度信息的閾值，以確定產(chǎn)品是否為良品，并找出對圖像傳感器表面平坦度影響較大的工序，特設置產(chǎn)品實測實驗。

此實驗樣本數(shù)量為50，對產(chǎn)品進行編號后分組，因基座安裝工序后對產(chǎn)品Warpage Test需將產(chǎn)品圖像傳感器表面的基座揭掉，整個產(chǎn)品將報廢，無法流至下一工序生產(chǎn)。參考已有生產(chǎn)資料，得到現(xiàn)有生產(chǎn)工序?qū)D像傳感器平坦度影響可能較大的工序為假硬化、加熱硬化、基座安裝、校準粘合、焊錫、測試，故各小組測量設置如表1所示。前4組實驗測試為相同產(chǎn)品在不同工序后的Warpage Test，后3組實驗測試為不同產(chǎn)品分別在不同工序后的Warpage Test。

前期生產(chǎn)過程中因發(fā)現(xiàn)圖像傳感器表面平坦度不良而保留的9個產(chǎn)品為參照。

表1 實測實驗設置Table 1 Experimental settings

3.2 產(chǎn)品實測實驗數(shù)據(jù)分析

采用改善后的Warpage Test方法，對各實驗組產(chǎn)品進行測量。其中，22號、39號、40號產(chǎn)品因后續(xù)生產(chǎn)中發(fā)生物理性能變化導致產(chǎn)品不良，無法流至下一工序生產(chǎn)，故測試數(shù)據(jù)中缺失部分22號、39號、40號的數(shù)據(jù)。此次實驗測試中共獲得133組實驗數(shù)據(jù)。

3.2.1 改善方法中高度閾值設定

選取第1組實驗產(chǎn)品測量結果，因其為壓焊工序結束后對產(chǎn)品進行Warpage Test，參考現(xiàn)有生產(chǎn)資料，其測量結果與正常生產(chǎn)中貼片后的Warpage Test測量結果無差異，故其可作為正常生產(chǎn)中Warpage Test閾值設定的參考數(shù)據(jù)。獲得第1組實驗產(chǎn)品的測量結果，即測量區(qū)域高度矩陣的標準差，樣本數(shù)據(jù)μ=1.852 4、σ=0.314 3，如表2所示。

表2 第1組實驗產(chǎn)品測量結果Table 2 Measurement results of the first group of experimental products

運用Matlab軟件中 Kolmogorov-Smirnov對該組數(shù)據(jù)進行分布檢驗，驗證其服從正態(tài)分布。其散點圖、直方圖如圖10和圖11所示。

因圖像傳感器表面平坦度具有望小特性，其數(shù)據(jù)越小越好，最小值為0。參考現(xiàn)已有不良品測量結果(表3)，最小值為2.504 14，故閾值設定服從2σ原則，測量結果良品區(qū)間為[0,μ+2σ]，即 [0,2.481]，閾值設定為2.481，正常生產(chǎn)情況下良品率為97.7%。

3.2.2 影響圖像傳感器表面平坦度工序的確定

基于生產(chǎn)中發(fā)生過貼片工序Warpage Test檢驗為良品，但產(chǎn)品最終裝配完成后測試環(huán)節(jié)卻發(fā)現(xiàn)產(chǎn)品因圖像傳感器表面平坦度發(fā)生變化導致整個產(chǎn)品不良的品質(zhì)事故。其不良品即實驗中的51-59號。故為了徹底避免此類品質(zhì)事故的再次發(fā)生，則需生產(chǎn)技術人員確定Die Bonding工序后的各個工序中對圖像傳感器表面平坦度影響較大的工序，以此來縮小點檢范圍，找出對圖像傳感器表面平坦度影響的根本原因。

圖10 樣本數(shù)據(jù)散點圖Figure 10 Scatter diagram of sample data

在對Warpage Test測量方法進行改善后，可以對圖像傳感器的整個平面進行高度信息提取和數(shù)據(jù)分析，即可以找出對圖像傳感器表面平坦度影響較大的工序。對比第1組與其余各組在經(jīng)過各個工序裝配前后的Warpage Test 測量結果，并將測量結果進行差異顯著性檢驗，結果如表4所示。

圖11 樣本數(shù)據(jù)直方圖Figure 11 Sample data histogram

表3 不良品測量結果Table 3 Measurement results of defective products

表4 實測結果配對t 檢驗Table 4 Paired t-test

通過各組配對t檢驗反映各配對組間的差異顯著性。檢驗結果表明：第1組與第4組存在極顯著差異(p=0.003＜0.01)，第1組與第2組、第5組、第6組和第7組均存在顯著性差異(p=0.031＜0.05，p=0.037＜0.05，p=0.019＜0.05，p=0.040＜0.05)，而第1組與第3組無顯著性差異(p=0.080＞0.05)。

通過后6組測量結果與第1組測量結果進行對比，可得出以下實驗結論。

1) 第1組與第2、3、4組測量結果對比標準差分別為：0.173、0.126、0.305。以第1組與第2、4組測量結果為例，其對比圖如圖12和圖13所示。即在同一產(chǎn)品經(jīng)過假硬化、加熱硬化、基座安裝工序處理后，假硬化、加熱硬化工序?qū)D像傳感器的表面平坦度影響相對較小，基座開裝工序后圖像傳感器的表面平坦度開始發(fā)生變化。

圖12 第1組與第2組測量結果對比Figure 12 Comparison of measurement results between the first group and the second group

圖13 第1組與第4組測量結果對比Figure 13 Comparison of measurement results between the first group and the fourth group

2) 第1組與第2組測量結果對比，第2組數(shù)據(jù)普遍小于第1組數(shù)據(jù)，即同一產(chǎn)品在經(jīng)過假硬化工序后，圖像傳感器的表面平坦度逐漸變平穩(wěn)，說明假硬化工序有助于圖像傳感器的表面趨于平坦。因假硬化工序為對產(chǎn)品進行短暫低溫加熱，對產(chǎn)品其他性能不產(chǎn)生影響，故為使圖像傳感器的表面趨于平坦，可在個別對圖像傳感器表面平坦度影響較大的工序后增加假硬化工序。

3) 第1組與第4、5、6、7組測量結果對比標準差分別為：0.305、0.382、0.390、0.515。即產(chǎn)品在經(jīng)過基座安裝、校準粘合、焊錫、測試工序后圖像傳感器表面平坦度與最初表面平坦度均發(fā)生了較大變化。故生產(chǎn)技術人員可重點檢驗開始變化的工序，即基座安裝工序。

3.3 改善方法與原測量方法效果分析

改善方法借助計算機對圖像的智能識別，具有操作自動化、低誤差、低失誤率等優(yōu)點。其與原測量方法進行比較，改善后優(yōu)勢總結如下。

1) 無需作業(yè)員參與，程序算法可自動進行圖像識別、分析處理、輸出結果等過程，完全避免了因作業(yè)者操作失誤而出現(xiàn)的質(zhì)量控制問題，也完全避免了檢測過程中人為主觀因素的干擾。

2) 相較于原測量方法，改善方法可輸出整個平面的高度特征信息，而不是僅僅局限于手動繪制直線區(qū)域，能夠更全面地反映出整個圖像傳感器表面平坦度特征。

3) 大大縮短了整個測試過程時間。整個分析過程可實現(xiàn)計算機自運行，整個Warpage Test用時主要取決于3D輪廓測量儀采集圖像的時間，測試時間由5.1 min縮短至2 min。

4) 改善后對每一個工序后的產(chǎn)品進行Warpage Test，通過多組數(shù)據(jù)對表面平坦度進行縱向?qū)Ρ确治?，彌補改善前Warpage Test測量方法的不足。

4 結束語

本文分析現(xiàn)有測量方法的的不足，基于Laplacian算子圖像識別技術，并借助Matlab軟件，建立圖像識別模型，實現(xiàn)圖像采集、圖像邊緣智能識別、圖像特征信息智能提取分析功能，通過實例及差異顯著性檢驗驗證了該模型的有效性和準確性。本文研究成果對于類似領域的質(zhì)量檢測具有一定參考價值。但本文中提出的圖像識別算法目前為一個獨立的檢測程序，仍需作業(yè)者去操作3D輪廓測量儀對產(chǎn)品圖像進行采集，下一步改進方向為檢測程序與圖像采集程序相連接以實現(xiàn)整個檢測環(huán)節(jié)智能化。