梁雄，張舞杰，李聽聽

（華南理工大學(xué)機汽學(xué)院，廣東廣州510640）

根據(jù)ABI對于智能終端影像技術(shù)的最新研究，2012年全年超過10億的攝像頭用于智能手機和平板，到2018年將達到27億智能終端的出貨量智能手機將占其中80%的份額，并且很多國家都在建設(shè)LTE網(wǎng)絡(luò)，智能手機及平板目前在視頻通話越來越普及，一個手機同時設(shè)置了前置及后置攝像頭，因此隨著電子產(chǎn)品需求的增加，手機攝像頭的需求量將會越來越大。

攝像頭簡稱攝像頭模組，由鏡頭、紅外濾光片（IR Filter）、圖像傳感器（Sensor IC）、數(shù)字信號處理（DSP）以及軟板（FPC）構(gòu)成。在拍照及視頻過程中，光線穿過鏡頭后，經(jīng)過紅外濾光片濾波后照射到Sensor中，Sensor上圖像傳感器傳來的光線由光信號轉(zhuǎn)為電信號，然后經(jīng)過AD轉(zhuǎn)換為數(shù)字信號，供PC處理使用。在整個過程中圖像傳感器重要作用不言而喻，如果圖像傳感器上有灰塵都將會影響整個攝像頭的拍攝效果，從而影響手機的客戶滿意度。由于灰塵面積為μ級，等價于幾個像素，因此識別度較難，且隨著社會的快速發(fā)展，人們對手機像素的要求越來越高，因此對Sensor灰塵檢測精度要求也會加大。

Blob分析方法已經(jīng)被廣泛的應(yīng)用于很多行業(yè)中，例如工業(yè)檢測（塑料污點檢測）、醫(yī)學(xué)生物（血液細胞）、食品領(lǐng)域（如餅干）的品質(zhì)檢測、農(nóng)產(chǎn)品（如稻谷的缺陷檢測）及PCB表面上電子元器件檢測的應(yīng)用。目前該領(lǐng)域中的中高端設(shè)備完全被國外壟斷，國內(nèi)主要采用人工檢測的方法，由于人工檢測過程中人員流動性大，導(dǎo)致培養(yǎng)新人需求成本較大，同時人工效率低，易誤判。因此針對目前情況，提出了一種基于Blob分析的攝像頭模組缺陷檢測方法。

1 檢測系統(tǒng)的軟硬件構(gòu)造及工作原理

1.1 檢測系統(tǒng)的硬件方案設(shè)計

圖1為攝像頭模組檢測系統(tǒng)硬件架構(gòu)圖。由圖1可知攝像頭模組硬件架構(gòu)由3部分組成：1）運動控制系統(tǒng)；2）光學(xué)系統(tǒng)；3）光照系統(tǒng)。運動控制系統(tǒng)包括IPMC8188運動控制卡、伺服電機、伺服驅(qū)動器、絲桿、導(dǎo)軌及底座。光照系統(tǒng)由AOI環(huán)形光源、鹵素?zé)酎c光源、偏振片、單環(huán)形光源以及4路數(shù)字光源控制器。光學(xué)系統(tǒng)由相機、鏡頭構(gòu)成，其中相機為德國SVS的500萬黑白相機和500萬像素的彩色相機，接口采用網(wǎng)絡(luò)GigE Vision，鏡頭采用美國Thales Optem雙筒自動調(diào)焦T型鏡頭。

1.2 系統(tǒng)工作原理

在百級無塵室下將物體放于工作臺上，通過上位機發(fā)送信號給運動控制卡，運動控制卡發(fā)送脈沖信號給電機運轉(zhuǎn)將物體運送到光照系統(tǒng)下。根據(jù)待檢測的物體的尺寸，調(diào)節(jié)鏡頭的放大倍率、物鏡以及鏡頭的工作距離，獲得質(zhì)量較高的圖片。相機內(nèi)部CCD將采集的圖片從模擬信號轉(zhuǎn)為數(shù)字信號，在傳輸?shù)接嬎銠C中，通過自行設(shè)計的圖像算法軟件對圖片進行處理，從而檢測物體上是否有灰塵并存儲灰塵的坐標于數(shù)據(jù)庫，在檢測完成調(diào)用保存的坐標對物體上的灰塵進行人工在線清潔。

圖1 攝像頭模組架構(gòu)圖Fig.1 The framework of the camera module

2 光照系統(tǒng)的設(shè)計及Sensor圖像獲取

圖像一般由背景以及目標構(gòu)成，圖像的好壞直接影響算法的耗時性以及檢測的精確性進而影響檢測的效率及準確性。良好的圖片易于將目標與背景分離開，利于算法的處理。采集圖片過程中，光照對圖像質(zhì)量好壞具有很大的影響。光照過程一般分為明場照明和暗場照明，明場照明指光通過目標物體反射進入鏡頭，一般采用高角度的光源；暗場照明指在照射過程中由于物體表面的凹凸變化（目標物體），使得該漫反射的光線進入相機，其余的光線被反射離開相機，一般采用低角度環(huán)形光源或者點光源。根據(jù)攝像頭模組上圖像傳感器材質(zhì)的特性，以及灰塵的特性，采用暗場照明，由于Sensor上有灰塵的區(qū)域呈現(xiàn)凹凸，導(dǎo)致光線進入相機，使得灰塵區(qū)域呈現(xiàn)白色，其余區(qū)域呈現(xiàn)黑色，從而將背景與目標分開。圖2為采集帶有灰塵的局部Sensor圖片，能夠很好的將灰塵及背景分離開。

圖2 光照下采集的Sensor圖像Fig.2 The acquisition image of the optical system

圖3 光照系統(tǒng)圖Fig.3 The image of the optical system

表1表示自行設(shè)計的光照系統(tǒng)下檢測的灰塵與金相顯微鏡對比圖。由表1得出自行設(shè)計的光照系統(tǒng)與金相顯微鏡下檢測到的灰塵數(shù)基本相同，因此自行設(shè)計的光照系統(tǒng)能夠滿足算法的需求。

表1 檢測灰塵數(shù)對比Tab.1 The comparison of the sensor number

3 圖像關(guān)鍵算法設(shè)計流程

3.1 圖像二值化

圖像二值化就是通過設(shè)定一定的閾值將背景與目標物體分開[5]，使得圖像中的所以像素為0或255，從而為黑白圖像。在二值化過程中將大于閾值的像素點設(shè)為255，小于閾值的像素點設(shè)為0。目前普遍采用二值化為全局閾值和OSTU法，但本課題采集圖片像素為2 456×2 058，由于圖片較大，在光照過程中可能存在的微小不均勻性影響，為了提高實驗的準確性，對圖片進行分割，然后在對分割區(qū)域求取閾值進行二值化。

設(shè)圖像為G（x，y），x代表像素點的橫坐標，y代表像素點的縱坐標，每個像素點灰度值為G（xi，yi），二值化后的像素灰度值為F（xi，yi），采樣步長為n，平均閾值為Tk，K為區(qū)域塊的標記，則函數(shù)表達式為：

其中K為K1，K3中較小值

當(dāng)K為K3，K4時候二值化方法同上。

經(jīng)過實驗驗證，當(dāng)采樣步長為n=64時圖像二值化的處理速度最快。

3.2 Blob分析

Blob就是將圖像中具有相同特征的點連通起來，從而將物體中的背景與目標分離開，根據(jù)獲得的Blob連通域計算目標物體的一些特征參數(shù)，例如目標物體的形心、面積、周長等。在Blob分析中最為核心的就是連通域如何進行標識，因此在Blob分析中先對二值化后的圖像先進行連通域標識。

3.3 運用Blob游程鏈法獲取灰塵的形心

文獻[4]提出了一種在連通標記法中引用動態(tài)數(shù)組，按照從上到下，從左到右對圖像進行掃描，掃描過程只處理相鄰兩行像素。因此為了保存在處理過程中相應(yīng)的數(shù)據(jù)，設(shè)計了CBlob類、BeginRow和EndRow兩個動態(tài)鏈表，CBlob::BeginRow對應(yīng)處理第一行元素，CBlob::EndRow對應(yīng)第二行元素。在整個圖片搜索過程中尋找兩行之間的連通性關(guān)系，從而將連通性關(guān)系轉(zhuǎn)為了數(shù)組游程點之間的關(guān)系。如果兩行元素連通，將BeginRow歸屬于EndRow的所屬的Blob類中，否則為算法分配新的Blob類。

根據(jù)獲得的Blob中的連通域的關(guān)系求取灰塵的形心，求取形心的公式如下，設(shè)形心的坐標為（Xcenter，Ycenter）：

其中xi，yi分別為連通區(qū)域灰塵中像元的橫坐標和縱坐標，zi為連通區(qū)域灰塵每行像元個數(shù)的綜合，m為構(gòu)成一個灰塵的總像元數(shù)。

4 實驗結(jié)果及測試

4.1 實驗結(jié)果

針對目前市場上的主流攝像頭模組為8.5×8.5 mm尺寸，采用自行研發(fā)的圖像處理軟件處理前、后的圖片如圖4和圖5所示。從圖4和5可以看出，處理后的圖片能將Sensor上的灰塵全部檢測出來并采用方框做標記以便識別是否檢測，同時采用數(shù)據(jù)庫保存灰塵的坐標，有利于下一步在線清潔的實現(xiàn)。該檢測為實現(xiàn)自動檢測Sensor灰塵做好了準備。

4.2 耗時性對比測試

針對尺寸為8.5×8.5 mm的攝像頭模組做了10組樣品的耗時性測試，對比了運用Blob分析檢測與傳統(tǒng)的區(qū)域增長法做了算法耗時性比較，比較結(jié)果如表2所示。

圖4 處理前Sensor圖像Fig.4 Unprocessed image of the Sensor

圖5 處理后Sensor圖像Fig.5 Processing image of the Sensor

表2 算法耗時性測試結(jié)果Tab.2 Result of the time-consuming

從以上耗時性測試結(jié)果表明，算法的耗時性與灰塵的個數(shù)有關(guān)系，灰塵越多耗時性越高。目前由客戶端反饋數(shù)據(jù)統(tǒng)計，一組供料中僅有10%左右的攝像頭模組需要檢測，且被檢測攝像頭模組中每一個攝像頭模組上的灰塵不會超過5個，普遍在0個左右，由以上表看出5個灰塵檢測耗時為300 ms，傳統(tǒng)的區(qū)域增長法所需的時間最大為2 500 ms，是同等條件下Blob檢測的8倍，因此使用Blob算法能夠滿足攝像頭模組的檢測，同時能夠提高檢測效率。

4.3 灰塵形心檢測精度對比測試

由于灰塵的體積很小，在后續(xù)的清洗過程中需要進行人工進行清潔，因此對灰塵的位置精度要求較高，以便于能夠準確清洗圖片，在檢測后根據(jù)灰塵的形心設(shè)置了框形區(qū)域。本文針對8.5×8.5 mm的攝像頭模組在自行設(shè)計的軟件下計算的形心坐標與金相顯微鏡下計算的形心做了對比，實驗結(jié)果如表3所示。

從以上精度對比實驗結(jié)果表明，自行設(shè)計的檢測精度與金相顯微鏡精度誤差范圍在2個像素以內(nèi)，因此表明基于Blob分析算法能夠滿足物體形心的檢測。根據(jù)目標物體的形心標準，標記物體的位置，從而能夠滿足人工在線清潔。

表3 精度對比結(jié)果Tab.3 Result of the precision comparison

5 結(jié)束語

根據(jù)實驗數(shù)據(jù)得出，依據(jù)物體特性設(shè)計的光照及光源系統(tǒng)能夠完全滿足攝像頭模組上灰塵的檢測。基于Blob分析的攝像頭模組Sensor灰塵檢測方法耗時性較低，且定位精度較高，能夠滿足人工在線清潔以及高效率生產(chǎn)，為高像素的攝像頭模組缺陷檢測打下了基礎(chǔ)。

[1] 李映.手機攝像模組：像素攀高功能求新[N].中國電子報，2007-09-25.

[2] 馬寧.手機攝像頭的現(xiàn)狀與發(fā)展趨勢[J].世界電子元器件，2007（7）:39.MA Ning.Situation and trend of development of the mobile camera[J].Global Electronics China，2007（7）:39.

[3] 岡薩雷斯.數(shù)字圖像處理[M].北京:電子工業(yè)出版社，2009.

[4] 張二虎，馮江.Blob分析中基于游程鏈的連通區(qū)域標記[J].應(yīng)用科學(xué)學(xué)報，2008（5）:536-540.ZHANG Er-hu，F(xiàn)ENG Jiang.Run-list based connected components labeling for Blob analysis[J].Journal of Applied Sciences，2008（5）:536-540.

[5] 霍宏濤.數(shù)字圖像處理[M].北京：機械工業(yè)出版社，2003.

[6] 陳書海，傅錄祥.實用數(shù)字圖像處理[M].北京：科學(xué)出版社，2005.

[7] 陳兵旗.實用數(shù)字圖像處理與分析[M].清華出版社，2008.

[8] Carmona E J，Martnez Cantos J，MIRA J.A new video segmentation method of moving objects based blob level knowledge[J].Pattern Recognition Letters，2008，29（3）:272-285.

[9] TSAI Duming，HUANG Tseyun.Automated surface inspection for statistical textures[J].Image and Vision Computing，2003，21（4）:307-323.

[10] HU Qing-mao，QIAN Guo-yu.WIESLAW L N.Fast connected-com-ponent labeling in three-dimensional binary images based on itera-tive recursion[J].Computer Vision and Image Understanding，2005，99（3）:414-434.