戰(zhàn)蔭偉，付 波

（廣東工業(yè)大學 計算機學院，廣東 廣州510006）

0 引 言

在打印機顯示模塊生產(chǎn)過程中，一些因素如電路板引腳錯誤焊接等會導致顯示預(yù)設(shè)功能界面錯誤，例如應(yīng)該通過點陣顯示Ready字樣卻沒有顯示或者顯示不全完而發(fā)生錯誤，影響打印機正常使用，因此，打印機顯示模塊的檢測十分重要。檢測方法一般有兩種。一是電氣的方法，檢查打印機處于各功能狀態(tài)時電路板的通電情況，不過這種方法極其復雜，不直觀，所以目前一般不采用；二是視覺方法，檢測顯示屏各功能界面圖像的顯示情況，這是目前通行的檢測方法。當前，多以人工手段檢測打印機顯示模塊，即通過人眼來分辨各功能界面圖像是否錯誤。人眼易疲勞、具有主觀性且對大量密集信息分辨力不足，因此人工檢測容易造成誤判或漏判、檢測速度慢、精度低等問題。

由于顯示屏顯示圖像的結(jié)構(gòu)穩(wěn)定，特征明顯，因此很適合使用自動化的手段代替人工進行檢測。事實上，已有很多將機器視覺應(yīng)用于LED顯示屏檢測的應(yīng)用［1－6］。文獻［1］中提出了基于機器視覺檢測的LED顯示屏的兩個核心問題：對每個LED燈區(qū)域的定位和灰度采集。提出學習“圖片”法來定位LED燈區(qū)域，建立學習圖片中LED燈的中心點位置和待檢測圖片中LED燈中心點位置的仿射變換，從而完成LED燈的定位。文獻 ［5］提出了手機顯示屏壞點的檢測，將機器視覺應(yīng)用于手機顯示屏的檢測。文獻 ［6］提出利用數(shù)學形態(tài)學消除噪聲點，提取LED顯示單元對應(yīng)的點陣ROI。本文基于專業(yè)機器視覺庫Halcon［7－9］，設(shè)計一個打印機顯示模塊的視覺檢測系統(tǒng)。

1 系統(tǒng)總體方案設(shè)計

系統(tǒng)工作流程見圖1，系統(tǒng)結(jié)構(gòu)見圖2，系統(tǒng)主要由處理系統(tǒng)、相機、氣缸 （運動控制）、工作臺等四部分構(gòu)成。相機由工業(yè)數(shù)字相機、光源和光學鏡頭構(gòu)成，主要負責采集圖像，工業(yè)數(shù)字相機通過1394a接口與上位機相連，將采集到的圖像數(shù)據(jù)經(jīng)過圖像采集卡傳輸給處理系統(tǒng)；氣缸由5個氣缸按鈕手、滑道和氣管構(gòu)成，主要負責執(zhí)行機械運動，實現(xiàn)自動化；處理系統(tǒng)由計算機、視覺軟件和圖像采集卡構(gòu)成，負責圖像數(shù)據(jù)的處理和傳輸；工作臺由控制核、指示燈和蜂鳴器構(gòu)成，主要負責運動控制。

圖1 系統(tǒng)工作流程

圖2 系統(tǒng)結(jié)構(gòu)

2 光學硬件選型

光學硬件選型主要包括相機、鏡頭和光源的選型。相機的選擇決定了系統(tǒng)的檢測精度，本系統(tǒng)使用大恒300萬像素彩色相機DH－HV3110FC，分辨率達到0.05mm，使得點陣中每個點元素包含的像素達到100個，足以用來判斷一個點是否被點亮，滿足要求。鏡頭的選擇是根據(jù)工作視野和工作距離來確定的，檢測微小元器件時，可能會選用放大鏡、遠心鏡等，本系統(tǒng)選用的是焦距為25mm的普通鏡頭Computar M2514－MP2。

光源選擇的合適已否直接影響著視覺系統(tǒng)的應(yīng)用效果。依據(jù)LED燈的工作原理［10］，本系統(tǒng)選用LED帶漫射板球積分光源。顯示模塊的顯示屏是帶LED背光的液晶顯示屏，顯示屏上方還有一個透明的玻璃外殼，顯示圖像是16×16×5的點陣，這樣的顯示結(jié)構(gòu)決定了不能用直線光源（如條形光源等），必須采用方向和亮度都均勻的光源，否則顯示屏會產(chǎn)生強反光或顯示屏各部分亮度不均勻，影響檢測效果。LED帶漫射板的球積分光源，又稱漫射無影光。它采用半球狀漫反射面，將底部環(huán)形光發(fā)出的光線均勻反射到光源發(fā)出口，面分布均勻性、方向均勻性都很好，可以將表面比較復雜的物體或圖片照射出比較均勻的效果。相機和鏡頭的參數(shù)見表1和表2。

表1 DH－HV3110FC數(shù)字相機主要參數(shù)

表2 Computar M2514－MP2鏡頭的主要參數(shù)

3 視覺軟件設(shè)計

系統(tǒng)實驗對象是某公司生產(chǎn)的L1080顯示模塊，顯示模塊的點陣ROI包含16個連續(xù)的大小相同的矩陣Li（i＝1…16），每個矩陣Li的大小為16×5，基本元素為0.5mm×0.5mm矩形區(qū)域Li；j，k（i，j＝1…16，k＝1…5）。本系統(tǒng)的檢測工作是識別Li；j，k（i，j＝1…16，k＝1…5）點亮與否，與標準功能界面圖像比較，然后判別出該功能界面顯示與否。L1080顯示模塊預(yù)設(shè)6個功能界面圖像，如圖3所示。圖3中，自上而下，第一個為所有Li；j，k都點亮、第五個為所有Li；j，k都沒有點亮、其他僅為部分點亮等情形。

3.1 軟件設(shè)計中的關(guān)鍵技術(shù)

根據(jù)LED顯示屏顯示圖像的結(jié)構(gòu)是16×16×5點陣可知，該系統(tǒng)的關(guān)鍵技術(shù)就是顯示圖像的16×16×5點陣ROI的精確定位以及灰度檢測。采用信息量最大的圖3（a）圖像數(shù)據(jù)進行建模，建模算法主要分3步：第一步，顯示屏定位；第二步，點陣ROI的定位；第三步，將點陣轉(zhuǎn)化成數(shù)值矩陣。

3.1.1 顯示屏的定位

在視覺系統(tǒng)中，由于機械和工件都存在一定的誤差，并不能保證被測物在圖像中總處于同樣的位置和方向，因此系統(tǒng)設(shè)計檢測算法必須能夠應(yīng)對這種位置的變化。

圖3 L1080預(yù)設(shè)功能界面圖像

首先，對圖像進行校正，使用大津法［11］（OTSU）

分割出圖像的顯示屏部分。其算法的基本原理是：使得類間方差最大化的閾值t便是分割出圖像前景目標的最好閾值

式中：α2——類間方差，q1——灰度值不大于t的類的概率，q2——灰度值大于t的類的概率，μ1——灰度值不大于t的類的均值，μ2——灰度值大于t的類的均值，μ——兩類的類間均值。

使得α2最大的灰度值t就是最佳閾值。利用閾值t，分割出顯示屏區(qū)域。然后校正圖像。顯示屏的上下邊界是兩條平行線，所以顯示屏區(qū)域的最小外接矩形與x軸正向的夾角θ∈（－π／2，π／2］是顯示屏的偏轉(zhuǎn)角。利用偏轉(zhuǎn)角θ和平移值（dx，dy）生成的仿射變換矩陣校正被測物的圖像，仿射變換矩陣為

最后，利用校正后圖像的二值圖像創(chuàng)建形狀模板［12］，因為二值圖像創(chuàng)建形狀模板更穩(wěn)定。

3.1.2 點陣的定位

利用大津法 （OTSU）、數(shù)學形態(tài)學方法［13－15］處理校正后的圖像得到點陣ROI的粗定位，16個類矩形區(qū)域Li（i＝1…16），如圖4所示。

圖4 16個類矩形區(qū)域

然后，對Li（i＝1…16）精確的定位包含在其內(nèi)的點陣。Li包 含 一 個16 （5的 點 陣， 基 本 元 素 是Li；j，k， 每 個Li；j，k的高度和寬度都是基本相同的，但由于其自身工藝的原因，使得各Li；j，k的高度和寬度有一定的差別，導致定位過程中可能會產(chǎn)生累計誤差，使得誤差越來越大，最終定位錯誤。對點陣ROI定位有兩種方案。

方案1：如圖5所示，根據(jù)Li的最小外接矩形和點陣的垂直方向Li；j，k的數(shù)量 （作為點陣ROI的先驗知識）定位出包含一行點元素的矩形區(qū)域，如圖5（b）所示，再根據(jù)該矩形區(qū)域和點陣的水平方向Li；j，k的數(shù)量 （作為點陣ROI的先驗知識）定位出每個Li；j，k的位置，如圖5 （c）所示，最后得到完整的點陣ROI，如圖5（d）所示。

圖5 方案1點陣定位過程

方案2：根據(jù)方案1，得到完整的點陣ROI，然后繼續(xù)對點陣中每個Li；j，k的位置進行精確定位，如圖6（d）所示。進行精確定位 的 原 因 是 Li；j，k很 小，而 且 各 Li；j，k的 大小不盡相同，所以計算出的 Li；j，k很有可能與實際Li；j，k不完全重合，一大部分覆蓋實際的Li；j，k，一小部分覆蓋實際的Li；j，k＋1，慢慢的由于誤差累積的原因很可能就會造成錯誤定位。精確定位的原理是Li；j，k是有邊界的，只要連續(xù)對Li；j，k對應(yīng)的圖像進行閾值分割，當分割出的區(qū)域面積增長值小于一個給定值時，計算出的Li；j，k完全覆蓋實際的Li；j，k，消除累積誤差；否則繼續(xù)處理。閾值取為

式中：N——感興趣區(qū)域包含的總像素數(shù)，f——像素點與該點灰度值的映射，所以f（i）——像素i的灰度值。

圖6 方案2點陣定位過程

根據(jù)以上兩種方案，均可以得到一個16×5的點陣，對每個Li（i＝1…16）做同樣處理，便可得到一個16×16×5的點陣。

3.1.3 點陣轉(zhuǎn)化成數(shù)值矩陣

在檢測每個預(yù)設(shè)圖像時，通過查找模板、做仿射變換，將得到的16×16×5的點陣映射為當前圖像的點陣ROI，對每個Li；j，k對應(yīng)的圖像做閾值分割處理，如果得到區(qū)域的面積在一定的范圍內(nèi)，則說明Li；j，k對應(yīng)的數(shù)值為1，否則為0，這樣便得到16×16×5的數(shù)值矩陣，再進行數(shù)值矩陣對比即可完成檢測。

3.2 實驗結(jié)果

本文共采用100個L1080顯示模塊做測試，50個采用方案1，50個采用方案2。實驗數(shù)據(jù)統(tǒng)計見表3。由實驗結(jié)果知，方案2的效果更好，雖然在時間上有所增加，但相對檢測性能來說，時間上的部分增加是可以接受的，所以本系統(tǒng)的實現(xiàn)采用了方案2。

表3 實驗結(jié)果統(tǒng)計

分析導致方案1的誤判、漏判的實驗結(jié)果圖7（a）的發(fā)現(xiàn)：由于沒有消除累積誤差，造成定位的不準確，使得實驗結(jié)果也發(fā)生很大的偏差；分析圖7（b）的測試結(jié)果發(fā)現(xiàn)：矩形框選中Li；j，k和Li；j，k＋1，Li；j，k是沒有被點亮的，但由于定位的不準確，使得計算出Li；j，k有很大一部分覆蓋在實際的Li；j，k＋1上，導致誤判為點亮。方案2實驗結(jié)果如圖7（c）所示，對不同的L1080，測試結(jié)果顯示，點陣ROI完全覆蓋在正確的位置上，結(jié)果完全正確。

4 結(jié)束語

圖7 檢測效果

對打印機顯示模塊生產(chǎn)行業(yè)進行深入的調(diào)查研究，發(fā)現(xiàn)目前多數(shù)以人工手段完成其性能的評估和檢測，其檢測速度和精度已無法滿足現(xiàn)有的工業(yè)自動化生產(chǎn)需求，因此，設(shè)計實現(xiàn)基于專業(yè)機器視覺庫HALCON的打印機顯示模塊自動化檢測系統(tǒng)代替人工檢測應(yīng)運而生，提出的定位點陣ROI的方法能夠消除累計誤差，實現(xiàn)對顯示模塊點陣ROI的精確定位，提高檢測結(jié)果的精度。改善了傳統(tǒng)的人工檢測方法的速度慢、精度低等問題，能夠很好的滿足現(xiàn)代化工業(yè)生產(chǎn)的需求。設(shè)計方案也存在不足，系統(tǒng)的工作環(huán)境 （包括機械環(huán)境和光源環(huán)境）必須固定而且比較敏感。

［1］WANG Hongye.LED display module inspection system ［D］.Dalian：Dalian University of Technology，2012 （in Chinese）.［王宏業(yè).LED顯示單元檢測系統(tǒng) ［D］.大連：大連理工大學，2012.］

［2］ZHANG Yu.Inspection technique of TFT－LCD screen mura drawback based on machine vision［D］.Harbin：Harbin Industrial University，2006 （in Chinese）.［張昱.基于機器視覺的TFT－LCD屏mura缺陷監(jiān)測技術(shù)研究 ［D］.哈爾濱：哈爾濱工業(yè)大學，2006.］

［3］ZHANG Ge.Research on LCD defects automatic detection system［D］.Nanjing：Nanjing University of Science and Technology，2008（in Chinese）.［張戈.液晶顯示屏缺陷自動檢測系統(tǒng)的研究［D］.南京：南京理工大學，2008.］

［4］PANG Ran.Research on LCD digital table visual identification key technology ［D］.Guangzhou：Guangdong University of Technology，2008 （in Chinese）.［龐然.液晶數(shù)字表視覺識別關(guān)鍵技術(shù)研究 ［D］.廣州：廣東工業(yè)大學，2008.］

［5］QIN Xiaowei.Research on mobile phone screen bad point detection system based on machine vision ［D］.Chengdu：University of Electronic Science and Technology，2009 （in Chinese）.［覃曉偉.基于機器視覺的手機屏壞點檢測系統(tǒng)研究 ［D］.成都：電子科技大學，2009.］

［6］XU Yunfeng，ZHANG Yan.Research on LED screen brightness detection algorithm ［C］／／Proceedings of International Conference on Audio，Language and Image Processing，2012：925－929.

［7］ZHANG Yujin.Machine vision and image techniques ［J］.Automation Panorma，2009 （2）：20－25 （in Chinese）.［章毓晉.機器視覺和圖像技術(shù) ［J］.自動化博覽，2009（2）：20－25.］

［8］Carsten Steger，Markus Ulrich，Christian Wiedemann.Machine vision algorithm and application ［M］.YANG Shaorong，WU Dijing，DUAN Deshan，transl.Beijing：Tsinghua University Press，2009 （in Chinese）.［Carsten Steger，Markus Ulrich，Christian Wiedemann.機器視覺算法與應(yīng)用 ［M］.楊少榮，吳迪靖，段德山，譯.北京：清華大學出版社，2009.］

［9］LI Jingfeng，YANG Lina，PAN Heng.Visual C＋＋ detailed serial communication technology ［M］.Beijing：Mechanical Industry Press，2010 （in Chinese）.［李景 峰，楊 麗 娜，潘 恒.Visual C＋＋串口通信技術(shù)詳解 ［M］.北京：機械工業(yè)出版社，2010.］

［10］GENG Chunming，CAI Dongbao.Design of mechanical parts inspection system based on computer vision ［J］.Computer Measure ＆Control，2012，20 （1）：38－39 （in Chinese）.［耿春明，蔡東寶.基于計算機視覺的機械零件檢系統(tǒng)設(shè)計 ［J］.計算機測量與控制，2012，20 （1）：38－39.］

［11］Tian H，Srikanthan T，Asari K V.The segmentation algorithm of improvement a two－dimensional otsu and application research ［C］／／2nd International Conference on Software Technology and Engineering，2010：V1－76 －V1－79.

［12］ZHAO Zhenming，PENG Guohua，F(xiàn)U Limei.High precision and fast reliable image matching base on the shape model ［J］.Computer Application，2010，30 （2）：25－30 （in Chinese）.［趙振明，彭國華，符立梅.基于形狀模板的快速高精度可靠圖像匹配 ［J］.計算機應(yīng)用，2010，30 （2）：25－30.］

［13］Hu Jinmei，Li Zuoyong.Medical image segmentation algorithm based on the improved mathematical morphology ［J］.Computer Simulations，2011，28 （5）：299－302.

［14］Chen Tingting，Cheng Xiaoping.Image segmentation using fuzzy morphology and morphological watershed algorithm ［J］.Journal of Southwest University，2008，30 （3）：142－145.

［15］Wei Qiangqiang.Showdown mathematical morphology and its application in the image edge detection ［J］.Science and Technology Information，2010，10 （2）：38－42.