摘 要:提出一種基于數(shù)學(xué)形態(tài)學(xué)定位和模糊模板匹配及垂直投影相結(jié)合的字符分割算法。先通過形態(tài)學(xué)運(yùn)算得到一系列候選區(qū)域，根據(jù)先驗知識從中找出封裝體所在區(qū)域，再利用模糊模板匹配的方法找到字符區(qū)域，通過字符垂直投影進(jìn)行單個字符分割。通過大量的實驗表明，該算法能夠有效解決集成電路印字定位和字符分割的問題，并具有較好的魯棒性。

關(guān)鍵詞:印字定位;字符分割;數(shù)學(xué)形態(tài)學(xué);垂直投影

中圖分類號:TP391.41文獻(xiàn)標(biāo)識碼:A

文章編號:1004-373X(2010)06-125-03

Research of Positioning and Segmentation for Printing Character on Integrated Circuit

LU Jun，MAO Weimin，ZHU Weiliang，PI Zhisong

(The 58th Research Institute，China Electronic Technology Group Corporation，Wuxi，214035，China)

Abstract: An algorithm using mathematical morphology positioning and fuzzy template matching together with the vertical projection to segment the printing characters is proposed.The algorithm utilizes morphological operation to detect the candidate regions at first，finds out the package area based on a priori knowledge，uses fuzzy template matching method to find out the character area，at last uses the vertical projection algorithm to segment single character.A large number of experiments show that the algorithm can realize pesitioning and segmentation of the printing character on the integrated circuit package，and the algorithm has good robustness.

Keywords:printing character position;character segmentation;mathematical morphology;vertical projection

集成電路(IC)是信息產(chǎn)業(yè)的核心和基礎(chǔ)，隨著技術(shù)的革新，硅成本已迅速下降，然而測試成本卻基本保持不變。據(jù)報道，現(xiàn)在芯片測試成本可能占到芯片成本的一半。因此提高集成電路產(chǎn)品檢測技術(shù)是整個產(chǎn)業(yè)發(fā)展的關(guān)鍵。產(chǎn)品外觀檢測是集成電路生產(chǎn)中一項重要的工序。傳統(tǒng)的目檢，由于人工成本高，效率低，很難適應(yīng)現(xiàn)代化生產(chǎn)，自動化檢測技術(shù)的研究已經(jīng)成為集成電路外觀檢測的關(guān)鍵內(nèi)容。對IC產(chǎn)品的印字進(jìn)行檢測能有效避免產(chǎn)品混批、方向錯誤等致命問題，是IC外觀檢測中必不可少的一個環(huán)節(jié)。實現(xiàn)自動化的印字檢測具有非常重要的現(xiàn)實意義。

目前工業(yè)上對IC檢測基本都是人機(jī)交互式模板匹配，該方法是將人工選擇印字的區(qū)域作為模板，然后選定查找區(qū)域，通過區(qū)域內(nèi)模板匹配的結(jié)果來判定印字是否符合要求。該方法需要人工較多的干涉，特別是在選擇字符模板時，對單個模板字符的框選有一定的難度，需要操作人員具有一定的經(jīng)驗。尋找一種自動的字符分割算法，能快速有效地提高操作人員的工作效率，減少工作強(qiáng)度，符合現(xiàn)代化生產(chǎn)的趨勢。

本文采用一種基于數(shù)學(xué)形態(tài)學(xué)的方法提取印字區(qū)域，并采用模糊模板匹配和垂直投影相結(jié)合的方法對提取的印字區(qū)域進(jìn)行分割。

1 封裝體定位方法

1.1 數(shù)學(xué)形態(tài)學(xué)

數(shù)學(xué)形態(tài)學(xué)[1]是一種非線性的圖像分析和處理理論，它能實現(xiàn)形態(tài)學(xué)分析和處理的并行運(yùn)算，大大提高了圖像處理的運(yùn)算速度。數(shù)學(xué)形態(tài)學(xué)主要是通過構(gòu)造適合圖像分析要求的結(jié)構(gòu)元，對圖像進(jìn)行各種形態(tài)學(xué)變換，以此來實現(xiàn)想要獲得的效果。其中，膨脹和腐蝕是形態(tài)學(xué)的兩個最基本運(yùn)算。對圖像中的某一像素f(x，y)，使用結(jié)構(gòu)元g進(jìn)行灰度形態(tài)學(xué)膨脹與腐蝕運(yùn)算的定義分別為:

膨脹:

(f⊕g)(x，y)=maxi，j{f(x-i，y-j)+g(-i，-j)}(1)

腐蝕:

(fΘg)(x，y)=mini，j{f(x-i，y-j)-g(-i，-j)}(2)

膨脹是將圖像中與目標(biāo)物體有接觸的背景點(diǎn)合并到物體中的過程，結(jié)果是使目標(biāo)增大，孔洞變小，可填補(bǔ)目標(biāo)中的孔洞，使其成為連通域。腐蝕則恰好相反，它可以使目標(biāo)縮小，目標(biāo)內(nèi)的孔洞增大，并起到消除孤立噪聲的作用。

數(shù)學(xué)形態(tài)學(xué)中的開運(yùn)算是先將圖像進(jìn)行腐蝕，去除小于結(jié)構(gòu)元的區(qū)域，然后再按相同的結(jié)構(gòu)元進(jìn)行膨脹，使得沒有被去除的區(qū)域恢復(fù)到與原來相似的大小。

開運(yùn)算:

f#8226;g=(fΘg)⊕g(3)

1.2 封裝體定位

如圖1所示，載帶中的封裝體都為矩形，而且在整幅圖像中占的面積較大，根據(jù)這個特征，如果使用相當(dāng)于封裝體大小和形狀的矩形結(jié)構(gòu)元對圖像進(jìn)行開運(yùn)算，能有效獲得封裝體所在區(qū)域，并去除大部分干擾區(qū)域。在實現(xiàn)過程中，對結(jié)構(gòu)元的選取是一個難點(diǎn)，若結(jié)構(gòu)元選取不當(dāng)，則直接影響最后的定位準(zhǔn)確率。

在該系統(tǒng)中可以充分利用先驗知識，當(dāng)攝像頭和載帶之間的距離一定時，各種封裝體在檢測圖像中所占的像素數(shù)基本保持不變，因此可以通過選用不同封裝類型來初始開運(yùn)算的結(jié)構(gòu)元參數(shù)。

開運(yùn)算后，可能會出現(xiàn)若干塊候選區(qū)域，由于待檢測的集成電路一般都會出現(xiàn)在拍攝圖片的中央位置，根據(jù)這一特征，可以有效剔除其他干擾區(qū)域，進(jìn)一步減小封裝體定位的難度。如圖2所示，該方法能有效提取封裝體區(qū)域。

圖1 印字圖像

圖2 封裝體區(qū)域提取結(jié)果

1.3 圖像預(yù)處理

拍攝到的圖像往往會因為光源光照不均或蓋帶反光等影響，出現(xiàn)局部亮度變化明顯的問題，并使得印字與塑封體表面的對比度較低，光照不均勻會對后續(xù)處理中的二值化結(jié)果產(chǎn)生嚴(yán)重的影響，因此需要對圖像進(jìn)行光照校正。

高帽變換(Top-hat)是用較大的結(jié)構(gòu)元對圖像先進(jìn)行開運(yùn)算，然后再用原圖像減去開運(yùn)算的結(jié)果。開運(yùn)算能在保留局部亮度的前提下去除局部細(xì)節(jié)變化，原圖像減去開運(yùn)算相當(dāng)于減去了大塊的局部亮度值，這樣能去除較平滑的大的區(qū)域，使得圖像的細(xì)節(jié)部分更為明顯，能改善背景光照不均的問題。如圖4所示，圖3中光照不均問題得到明顯改善，印字與背景之間的對比度得到顯著提高。

高帽變換:

h=f-f#8226;g(4)

圖3 封裝體區(qū)域圖像

圖4 高帽變換后結(jié)果圖

1.4 濾波處理

經(jīng)過光照校正后的圖像還會有很多噪聲，對后續(xù)處理產(chǎn)生干擾，需要對圖像進(jìn)行濾波。試驗發(fā)現(xiàn)，圖像中噪聲多為孤立亮點(diǎn)，中值濾波器能有效去除圖像中較小的孤立亮點(diǎn)。為此，本文選用一個大小為3×3的中值濾波器，處理方法是:濾波模板在圖像上逐個像素滑動，使其遍歷整幅圖像，對模板覆蓋的像素亮度進(jìn)行排序，選取中間值替換模板中心所在的像素值。

1.5 封裝體區(qū)域二值化及傾斜校正

由于載帶空間比芯片稍大，可能會使芯片產(chǎn)生一定的傾斜。考慮到傾斜的字很難進(jìn)行字符分割，必須進(jìn)行字符傾斜校正。在進(jìn)行傾斜校正之前，先要將圖像進(jìn)行二值化處理。常用的二值化方法有全局法和局部法兩種。全局法在目標(biāo)和背景分離明顯，直方圖分布成雙峰的圖像效果良好，但對于光照不均勻，噪聲較大的圖像效果明顯變差;局部法適用于局部變化較大的圖像，但實現(xiàn)速度慢，在二值化過程中容易造成字符的斷裂。本文已經(jīng)做過光照矯正，如4圖所示，印字和背景間的對比度已經(jīng)明顯提高，所以只需使用全局二值化。全局閾值的選取，選用了具有較好的穩(wěn)定性和自適應(yīng)性的Ostu方法[5]。

校正傾斜常用的方法是Hough變換法[6]，其主要優(yōu)點(diǎn)是受直線中的間斷點(diǎn)和噪聲影響較小，因而容易找到封裝體邊框直線，從而進(jìn)行傾斜校正。圖5為二值化后的結(jié)果圖，印字和背景已完全分離出來，而且印字輪廓保持完好。

圖5 二值化處理結(jié)果圖

2 印字字符分割

不同公司生產(chǎn)的芯片會有不同的印字模式，比如有的印字為兩排，有的為三排，而且各排中字符間距也不一樣，各行出現(xiàn)的字符種類可能也不一樣，這給字符分割帶來了很大的困難。為了記錄各盤產(chǎn)品檢測信息，檢測前必須輸入產(chǎn)品批號、周期號、盤號等信息，同一公司的同種芯片字符分布信息是一致的，因此系統(tǒng)可以根據(jù)各公司不同的批號設(shè)定不同的芯片字符分布模式，并調(diào)用給字符檢測系統(tǒng)。

2.1 字符定位

通過前面封裝體定位得到的圖像，有時候會帶有封裝體邊緣等干擾信息。邊框可分為上下邊框和左右邊框。本文采用兩次掃描的方法，以消除封裝體上下邊框的干擾，再由模糊模板匹配確定左右邊界。

以兩行字符為例，獲得每排字符的具體算法如下:

(1)從印字區(qū)域的第一行開始計算0到1和1到0的跳變次數(shù)，看是否大于閾值TH;如果是，則記錄下該行數(shù)(記為h1);如果不是，則繼續(xù)向下搜索，直到找到第一次大于閾值的行h1;

(2)從h1繼續(xù)向下找，如果有跳變次數(shù)小于下限閾值TL時，記錄該行為h2;

(3)從h2繼續(xù)向下找，如果有跳變次數(shù)大于上限閾值TH時，記錄該行為h3;

(4)從h3往下找，計算跳變次數(shù)，如果小于下限閾值TL，則將該行數(shù)記為h4;

(5)從距第h1行的|h1-h2|/3處開始逐行向上搜索，直到遇到第一次跳變數(shù)小于閾值TH，將該行數(shù)記為ht1，如果找不到，hc1=h1; 從距第h2行的|h1-h2|/3處開始逐行向下搜索，直到遇到第一次跳變數(shù)小于閾值TH，將該行數(shù)記為hb1，如果找不到，hb1=h2。此時，ht1，hb1即為第一排字符的上下邊界，同理可得第二排字符的上下邊界ht2， hb2。

由于字符左右兩側(cè)的噪聲在垂直方向上的灰度投影呈現(xiàn)出與字符區(qū)域相似的情況，所以在分割字符之前，先進(jìn)行字符左右邊界的定位。本文使用模糊模板匹配的方法對字符的左右邊界進(jìn)行定位。一般的模板匹配是用已知的模板與圖像中的區(qū)域去比對，直到找到差別最小的那一個區(qū)域。這里把這一概念應(yīng)用到字符定位中，但這里所用的模板并不是某一個具體的字符模板，而是經(jīng)過處理后的字符統(tǒng)計特征，這種匹配方式屬于模糊匹配。本文以最后一排周期號字符為例，使用灰度跳變次數(shù)特征為匹配特征。

(1)先定義一個滑動模板，模板的高度和寬度大致與字符一致，并稍微留一點(diǎn)冗余，以確保模板能完全覆蓋整排字符區(qū)域;

(2)定義一個數(shù)組J(x)，用于保存在每次滑動過程中模板內(nèi)灰度跳變次數(shù)的總和;

(3)將窗口從左到右逐列滑動，記錄下每次模板內(nèi)灰度跳變的總和，記入J(x);

(4)模板遍歷完成后，在數(shù)組J(x)中找到最大值，根據(jù)相對應(yīng)的x值進(jìn)行定位，進(jìn)行字符區(qū)域分割，即可消除左右邊緣干擾。

實驗結(jié)果如圖6所示，該定位方法能有效確定字符的邊界。

2.2 分割字符

本文利用垂直投影法來進(jìn)行字符分割，垂直投影實際上就是對每列像素做統(tǒng)計。字符分割算法的實現(xiàn)方法如下:

(1) 對字符區(qū)域做垂直方向的投影，定義一個數(shù)組R，把每一列的投影值與閾值T比較，大于T的置為1，小于T的置為0，保存到數(shù)組R中去;

(2) 定義數(shù)組S，找到數(shù)組R中所有為1的位置，如果在某列為1值的左右兩邊分別為0 1和1 0，則將該列在數(shù)組R中的位置保存到數(shù)組S中去;

(3) 依次提取在字符區(qū)域中S記錄的位置信息，計算相鄰位置的寬度Lk，并找出該區(qū)域內(nèi)最大垂直投影值Tmax，令tk=Tmax/Lk，定義數(shù)組C=。其中，sb，se分別表示起始列和終止列的位置;

(4) 根據(jù)每一個區(qū)域C中T的值和區(qū)域的寬度L來判斷是不是字符。

字符分割的難點(diǎn)一般在于印字字符的傾斜和二值化過程中會產(chǎn)生斷裂和粘連，前面已進(jìn)行了印字的傾斜校正，并且在二值化之前使用了高帽運(yùn)算，可以很好地克服斷裂和粘連現(xiàn)象。

在字符分割的時候，數(shù)字1往往很難分割，因為其高寬比比較特殊。在引入T值判決條件后，可以有效地對其進(jìn)行分割。

圖7為字符分割的結(jié)果。

圖6 字符定位結(jié)果圖

圖7 字符分割結(jié)果圖

3 實驗結(jié)果與結(jié)論

為了驗證算法的有效性，對算法進(jìn)行了大量的仿真實驗。仿真環(huán)境為Matlab 2006a，CPU主頻為1.73 GHz。對8引腳和14引腳的集成芯片圖像各50張上的印字進(jìn)行定位、分割實驗，印字模式有兩排和三排。字符分割成功率為98%以上。

對分割不成功的圖像進(jìn)行分析，主要是因為印字在燙封下面，由于膜的存在，使得拍攝到的印字比較模糊，與塑封體的對比度較低，導(dǎo)致在二值化時，出現(xiàn)印字粘連、印字不完整等問題。

實驗結(jié)果表明，本文提出基于數(shù)學(xué)形態(tài)學(xué)的定位方法，可以較好地抑制無效區(qū)域的干擾，快速準(zhǔn)確地提取出印字區(qū)域，同時也證明基于模糊模板匹配和垂直投影相結(jié)合的方法可以有效地分割印字字符。

參考文獻(xiàn)

[1]崔屹.圖像處理與分析——數(shù)學(xué)形態(tài)學(xué)方法及應(yīng)用[M].北京:科學(xué)出版社，2000.

[2] 左奇，史忠科.一種基于數(shù)學(xué)形態(tài)學(xué)的實時印字圖像分割方法[J].中國圖像圖形學(xué)報，2003，8(3):281-285.

[3]于深洋，黃劍華，劉家鋒，等.基于水平梯度和形態(tài)學(xué)分析的車牌實時定位方法[J].計算機(jī)工程，2007，33(17):204-207.

[4]馮國進(jìn)，顧國華，鄭瑞紅.基于自適應(yīng)投影方法的快速印字定位[J].紅外與激光工程，2003，32(3):285-287.

[5]Ostu N.A Threshold Selection Method from Gray-level Histograms[J].IEEE Trans.on Systems，Man and Cybernetics，1979，9(1):62-66.

[6]張云剛，張水長.利用Hough變換和先驗知識的車牌字符分割算法[J].計算機(jī)學(xué)報，2004，27(1):130-135.

[7]胡新榮.一種改進(jìn)的車牌字符分割算法[J].計算機(jī)工程，2006，32(3):191-192.

[8]高朝暉，黃衛(wèi).基于彩色圖像印字分割研究[J].公路交通與科技，2004(8):114-117.

[9] 遲曉君，孟慶春.基于投影特征值的車牌字符分割算法[J].計算機(jī)應(yīng)用研究，2006，23(7):256-257.

[10]陳濤，楊晨暉，青波.基于投影和固有特征結(jié)合的車牌字符分割方法[J].計算機(jī)技術(shù)與發(fā)展，2009，19(5):45-47.