陳昕，黃德軍，方成剛，李帥康

基于多特征匹配的液晶屏字符缺陷檢測

陳昕1，黃德軍2，方成剛1，李帥康1

（1.南京工業(yè)大學 機械與動力工程學院，南京 211800；2.南京紫城工程設計有限公司，南京 211800）

為了實現(xiàn)電動滑板車包裝前液晶屏字符檢測高效、高精度的目標，以及為了解決液晶屏字符中Led段碼字體難以精確分割、匹配算法復雜等問題。通過Hough直線檢測實現(xiàn)字符區(qū)域的位置校正，投影法實現(xiàn)分割字符區(qū)域，形態(tài)學處理、連通域分析實現(xiàn)各字符的提取，采用BP神經網絡模型對字符進行識別，最后通過改進的幾何特征檢測字符缺線、漏線，灰度特征檢測字符亮度不均勻。液晶屏字符實驗結果表明，每個字符平均識別時間為0.16 s，每個屏幕平均識別時間為0.6 s，液晶屏字符缺陷加權識別率為96%。該算法具有較高的可靠性、效率、識別率，解決了液晶屏字符在幾何、亮度缺陷下高效、高精度檢測實際工程的問題，為同類產品的檢測提供了算法經驗。

字符缺陷；BP神經網絡；幾何特征；灰度特征

文中電動滑板車中的碼表為液晶顯示屏，在實際生產檢測中，液晶屏會產生一定顯示缺陷，傳統(tǒng)的缺陷依靠人工質檢，不僅工作強度大，而且會存在誤判、漏判等問題。

近年來基于視覺圖像處理的缺陷檢測技術引起了國內外學者的廣泛研究。Ju等[1]針對各種儀表液晶屏字符的缺陷，通過卷積神經網絡來定位和識別字符，采用模板匹配來檢測字符缺陷。Jin等[2]針對PCB元件的復雜字符信息基于卷積神經網絡建立了一個輕量級LD–PCB檢測模型來進行檢測，建立了一個CR–PCB模型來識別不規(guī)則字符。Shen等[3]針對液晶面板圖像匹配中最常用的技術歸一化互相關（NCC）計算量大、對環(huán)境變化極敏感等問題，將圖像的二維灰度信息轉化為一維分位數(shù)信息，通過卡方檢驗比較模板圖像與檢測圖像的分位數(shù)，解決了計算量大的問題，并且能夠容忍微小的位移、光照帶來的變化。Du等[4]針對復雜背景下的字符提出了一種基于深度學習的缺陷檢測方法，利用圖像處理算法和數(shù)據增強技術生成大量缺陷樣本構建了一個大型數(shù)據集，提高了檢測準確性和速度。Pei等[5]針對傳統(tǒng)mura算法提出了一種基于離散余弦變換和雙γ分段指數(shù)變換的液晶顯示器檢測mura算法，通過離散余弦變換、雙γ分段指數(shù)變換來抑制殘余背景，提高圖像對比度。Zhang等[6]針對接觸網絕緣子圖像缺陷樣本少、一致性差的問題，通過采用同一個絕緣子相鄰瓷片兩兩比較其瓷片間距和灰度相似度的方法進行缺陷檢測，解決了圖像缺陷樣本少和一致性差的問題。

綜上所述，現(xiàn)階段的檢測方法存在復雜背景下不能精確定位字符、模板匹配誤判率高、匹配算法復雜等問題，為了提高字符缺陷檢測的準確性，文中提出一種基于多特征匹配的液晶屏字符缺陷檢測的方法，將液晶屏字符逐個分割并識別，針對字符特點提取其幾何、灰度特征對字符進行檢測，提高字符缺陷檢測的準確性，最后通過實驗驗證算法的準確性。

1 液晶屏圖像獲取與字符分割

1.1 液晶屏圖像獲取

電動滑板車在包裝前需要進行全方位的檢測，液晶屏的字符檢測屬于其中一個工位，檢測工位中主要包括圖1所示模塊，本文主要研究對象為視覺模塊。

在機器視覺系統(tǒng)中，該屏幕表面為玻璃材質，會產生反光，屏幕保護膜也會產生眩光、反光，因此采用偏振鏡頭配合同軸光的方式，偏振鏡能夠起到減弱或者消除雜散光、眩光等干擾的作用[7]，同軸光能夠消除反光，又能避免采集圖像中含有相機的倒影；由于該液晶屏為平面顯示屏，圖像細節(jié)部分的精度要求不是特別高，因此采用面陣CCD相機。

1.2 液晶屏圖像分割

為了提高圖像特征匹配的精確性、字符缺陷檢測的準確性，通過將液晶屏圖像字符進行分割，采用逐個檢測的方式，該算法具體流程見圖2。

1.2.1 圖像預處理

通過CCD相機采集到的液晶屏圖像，見圖3a。為了去除噪聲提高圖像質量，達到Canny算子的標準要求，采用高斯濾波對圖像進行去噪處理。

為了增強圖像中目標字符對比度，采用Otsu自適應閾值對圖像進行二值化操作[8]。為了圖像校正中Hough變化檢測直線更加準確，對字符圖像進行邊緣輪廓提取，邊緣提取有眾多檢測算子，如Sobel、Roberts、Canny、Log等，由于Canny算子可以檢測到較弱的邊緣且不易受噪聲的影響，因此采用Canny算子進行邊緣提取。上述圖像預處理結果見圖3b。

1.2.2 圖像校正及去除多余區(qū)域

由于圖像采集時液晶屏、相機擺放位置不正會導致圖像的傾斜，不利于字符的識別，并且該液晶屏字符為LED段碼字體，直線較多，因此采用基于點–線對偶性原理的Hough變換檢測直線來對圖像進行傾斜校正。

圖1 電動滑板車液晶屏檢測工位示意圖

圖2 算法流程

圖3 圖像預處理

式中：為任意直線的極坐標方程；為圖像的寬度，因此(,)可以表示任意一條直線，參數(shù)空間中的最大值為(,)，根據最大值找到對應直線以及傾斜角完成直線檢測。

圖像校正之后，為了準確地分割各字符區(qū)域，將字符外的區(qū)域去除，由于圖像此時只存在2個像素值，為了提高算法效率，采用投影法遍歷圖像像素，找上下左右4個方向上第1條白色像素，對白色像素之外的區(qū)域進行去除。上述處理結果見圖4。

圖4 傾斜校正、去除多余區(qū)域

1.2.3 圖像分割

針對液晶屏上LED段碼字體的特點，由于各字體內部區(qū)域不是連通的，無法將整個字體作為一個連通域進行分析，因此需要對圖像進行形態(tài)學處理[9]，首先對二值化之后的圖像進行膨脹，將字體內部間隙去除，使字體整個連通；由于膨脹后字體變大，出現(xiàn)字體與字體之間連通的問題，需要對圖像進行腐蝕，結果見圖5a。

式中：為膨脹處理；為腐蝕處理；(,)為卷積核里最亮最暗的像素點，文中字體可看成由若干個矩形構成，因此構造大小為3×3矩形卷積核進行形態(tài)學處理。通過八連通區(qū)域的方式提取各連通域最小外接矩形的坐標，進行字符分割，見圖5b。

式中：為像素點；4為四連通域，對應像素位置的上、下、左、右是緊鄰的，四連通域與左上、右上、左下、右下相結合即八連通域。

圖5 圖像分割

2 基于BP神經網絡的液晶屏字符識別

BP算法在面對不確定、非線性的問題時有極強的處理能力，尤其在缺陷檢測技術中，字符可能存在各種不確定的缺陷[10]。文中為了在不影響識別效果的前提下提高訓練效率，采用三層BP神經網絡結構：輸入層、隱藏層和輸出層，見圖6。

文中將字符圖像轉換為一個1×256的行向量，作為輸入層[11]。根據式（5）、（6）得到輸出層、隱藏層。圖像大小歸一化為16×16，輸入層有256個神經元，取隱藏層神經元為64個，由于數(shù)字為0～9，取輸出神經元為10個。理想結果是當輸入數(shù)字1的圖像時輸出端得到(0,1,0,0,0,0,0,0,0,0)，實際上輸出值未必是0或1，但依靠輸出最大值所在位置也可以進行字符的識別。文中神經元采用的傳遞函數(shù)是具有可導和連續(xù)性的Sigmoid函數(shù)1/(1+?x)。

式中：o為輸出層；y為隱藏層；V為輸入層到隱藏層的權重；W為隱藏層到輸出層的權重。根據隨機確定的權重得到的輸出與理想結果之間的誤差反向修正權重值，經多次迭代從而靠近理想輸出，具體公式為：

式中：d為輸出層的理想輸出。另外，為了進一步使得調整更加靈活，文中加入=0.2放縮倍數(shù)，采用均方差來判斷實際輸出和理想輸出是否接近，如圖7所示，具體公式為：

本文采集液晶屏顯示字符中的阿拉伯數(shù)字0—9，每個數(shù)字各30張，作為樣本進行訓練迭代1 000次，逐漸收斂至小于0.000 3，并從字符訓練集中任意選取50張圖像進行不同程度破壞作為測試集進行識別，見圖8。由圖8所知，文中算法能夠識別含有缺陷的字符，該字符訓練算法可在Matlab上編程實現(xiàn)。

3 多特征匹配的字符缺陷檢測

圖像的特征提取實現(xiàn)了從圖像空間到特征空間的轉換[12]。本文通過提取字符的幾何特征檢測漏線、斷線等缺陷，通過提取字符的灰度特征檢測亮度不均勻缺陷。在實際檢測中會存在一定污染、噪聲影響檢測結果，本文通過改進幾何特征來進一步優(yōu)化檢測算法。

3.1 基于改進幾何特征的字符缺陷檢測

2）面積。文中將連通域邊界內部（包含邊界上）像素點個數(shù)作為該連通域面積。由于二值化后，圖像中只存在0、1這2個像素值，因此面積就是統(tǒng)計像素值為1的點的個數(shù)。

式中：R為二值化字符圖像；f(x,y)為圖像像素點；K為像素值。

圖8 文中BP算法識別效果

圖9 邊界模式

上述為傳統(tǒng)的幾何特征，由于屏幕表面會有濾波無法去除的污染，污染部分與字符所缺線段部分的幾何特征相近，會影響缺陷的判定，本文通過設定閾值來判斷圖像中對象為目標字符或者污染，如公式（12）所示，其中代表圖像中處理對象，由于液晶屏顯示中斷線缺陷很少出現(xiàn)超過段碼面積一半的情況，因此，本文設定=字體面積最小矩形段的1/2，為各連通域面積，效果如圖10所示。

圖10 去除污染效果

Fig.10 Decontamination renderings

3.2 基于灰度特征的字符缺陷檢測

液晶屏中字符亮度不均勻時，灰度值會有顯著差異，因此，文中采用卡方、相關性比較來評價圖像灰度直方圖[14]，計算式見式（13）–（14），從而進行亮度缺陷檢測。為了提高對比度，將直方圖進行均衡化[15]，見圖11。

式（13）中，等于直方圖中直方的個數(shù)，若1=2，即2個圖的直方圖一樣，值為1。式（14）中，1=2時卡方比較值為0，相似度最高?？ǚ街翟酱?，越不符合。文中基于上述直方圖的相關性比較、卡方比較并結合Matlab實現(xiàn)特征值的計算，根據2張字符圖像每一級灰度像素個數(shù)的數(shù)據描繪出灰度直方圖的差異圖[16]，見圖12。

圖11 直方圖均衡化效果

圖12 相關性比較示意圖

4 實驗與結果分析

文中為了缺陷的判定，將待檢圖像與標準圖像的面積、周長分別記為1、2、1、2，相關性比較、卡方比較記為1、2，缺陷的判定標準見表1。

表1 缺陷分類

Tab.1 Defect classification

將文中液晶屏字符缺陷檢測基于上述改進幾何特征計算得到的周長、面積，灰度特征計算得到的相關性比較值、卡方比較值來與模板字符對應的值進行匹配比較。將文中算法在Matlab軟件中實現(xiàn)，并開發(fā)上位機界面驗證該算法的正確性，見圖13。

通過設計液晶屏字符缺陷檢測實驗，對比同類型算法，在同種工況下檢測200種不同字符顯示的液晶屏，如圖14所示，得到文中算法的實際效果：單個字符平均檢測時間為0.16 s，單個屏幕平均檢測時間為0.6 s，缺陷識別率為96%。

圖13 軟件示意圖

圖14 文中檢測算法與同類算法比較

5 結語

基于傾斜校正和去除多余區(qū)域，將液晶屏內目標區(qū)域進一步縮小，去除了周圍環(huán)境的影響，提升了該方法的魯棒性能，基于形態(tài)學處理和連通域分析，將液晶屏Led段碼字體精確地定位分割，為后續(xù)字符的模板匹配、缺陷檢測提高了精確性，基于BP神經網絡的應用實現(xiàn)了對各個字符的識別。

基于改進幾何特征（面積、周長）和灰度特征（相關性比較值、卡方比較值）的缺陷檢測方法實現(xiàn)了對液晶屏字符常見的2種缺陷的檢測，針對性極強，在保證檢測效果的前提下降低了算法的復雜性。實驗結果表明，該方法具有較高的缺陷檢測率，單個字符平均檢測時間為0.16 s，單個屏幕平均檢測時間為0.6 s，缺陷識別率為96%。

[1] JU Hu-yan, XU Jun-zhi, LI Wei, et al. Detection of Sealed and Unsealed Cracks with Complex Backgrounds Using Deep Convolutional Neural Network[J]. Automation in Construction, 2019, 107: 102946-102946.

[2] JIN Shi-quan, CHAO Ji, CHENG Chen-yan, et al. TFT-LCD Mura Defect Detection Using DCT and the Dual-Γ Piecewise Exponential Transform[J]. Precision Engineering, 2018(54): 371-378.

[3] SHEN Jia-quan, JI Chao, YAN Cheng-chen, et al. Defect Detection of Printed Circuit Board Based on Lightweight Deep Convolution Network[J]. IET Image Processing, 2020, 14(15): 3932-3940.

[4] DU Ming. A Quantile-Quantile Plot Based Pattern Matching for Defect Detection[J]. Pattern Recognition Letters, 2005, 26(13): 1948-1962.

[5] PEI Bao-ying, LUO Yu, YONG Zheng-zhou, et al. A Method of Detecting Defects of Smart Meter LCD Screen Based on LSD and Deep Learning[J]. Multimedia Tools and Applications, 2021, 80(28/29): 1-18.

[6] ZHANG Cheng-qian, CHENG Shen. Axial Magnetic Levitation: A High-Sensitive and Maneuverable Density-Based Analysis Device-ScienceDirect[J]. Sensors and Actuators, 2020, 304: 127362-127362.

[7] TANG Dao-fan, SHEN Peng, ZHAO Ya-qiang, et al. Detecting Shrinkage Voids in Plastic Gears Using Magnetic Levitation[J]. Polymer Testing, 2020, 91(10): 10-20.

[8] XIA Neng, PENG Zhao, JUN Xie, et al. Density Measurement for Polymers by Magneto-Archimedes Levitation: Simulation and Experiments[J]. Polymer Testing, 2017, 63(10): 455-461.

[9] 馮毅雄, 李康杰, 高一聰, 等. 基于特征與形貌重構的軸件表面缺陷檢測方法[J]. 浙江大學學報(工學版), 2020, 54(3): 427-434.

FENG Yi-xiong, LI Kang-jie, GAO Yi-cong, et al. Journal of Zhejiang University (Engineering Science), 2020, 54(3): 427-434.

[10] 粟序明, 方成剛, 洪榮晶, 等. 基于機器視覺的軸類零件定位與測量系統(tǒng)[J]. 機械設計與制造, 2020(7): 250-254.

SU Xu-ming, FANG Cheng-gang, HONG Rong-jing, et al. Positioning and Measurement System of Shaft Parts Based on Machine Vision[J]. Machinery Design & Manufacture, 2020(7): 250-254.

[11] 楊必武, 郭曉松. 用于識別一類缺陷字符的過篩連通-模板匹配法[J]. 計算機工程, 2002(9): 88-89.

YANG Bi-wu, GUO Xiao-song. Sifting Connectivity Template Matching Method for Identifying a Class of Defective Characters[J] Computer engineering, 2002(9): 88-89.

[12] 王宣銀, 梁冬泰. 基于多元圖像分析的表面缺陷檢測算法[J]. 浙江大學學報(工學版), 2010, 44(3): 448-452.

WANG Xuan-yin, LIANG Dong-tai. Surface Defect Detection Algorithm Based on Multivariate Image Analysis[J] Journal of Zhejiang University (Engineering Edition), 2010, 44(3): 448-452.

[13] 張秀良, 曲紅. 基于BP神經網絡的計算機圖像智能識別方法[J]. 信息與電腦(理論版), 2021, 33(15): 158-161.

ZHANG Xiu-liang, QU Hong. Intelligent Recognition Method of Computer Image Based on BP Neural Network[J] Information and Computer (theoretical Edition), 2021, 33(15): 158-161.

[14] 黃麗華, 穆平安, 戴曙光. 汽車音響面板印刷字符缺陷快速檢測算法[J]. 計算機與數(shù)字工程, 2010, 38(7): 30-32.

HUANG Li-hua, MU Ping-an, DAI Shu-guang. Fast Detection Algorithm for Printed Character Defects of Automobile Audio Panel[J] Computer and Digital Engineering, 2010, 38(7): 30-32.

[15] 簡川霞, 王華明, 徐進軍, 等. OLED顯示屏表面缺陷自動檢測方法[J]. 包裝工程, 2021, 42(13): 280-287.

JIAN Chuan-xia, WANG Hua-ming, XU Jin-jun, et al. Automatic Detection Method for Surface Defects of OLED Display[J]. Packaging Engineering, 2021, 42(13): 280-287.

[16] 王海波, 謝玉芳. 改進灰度共生矩陣的印刷品表面缺陷檢測方法[J]. 包裝工程, 2020, 41(23): 272-278.

WANG Hai-bo, XIE Yu-fang. Surface Defect Detection Method of Printed Matter Based on Improved Gray Co-Occurrence Matrix[J]. Packaging Engineering, 2020, 41(23): 272-278.

LCD Character Defect Detection Based on Multi-Feature Matching

CHEN Xin1, HUANG De-jun2, FANG Cheng-gang1,LI Shuai-kang1

(1. School of Mechanical and Power Engineering, Nanjing University of Technology, Nanjing 211800, China; 2. Nanjing Zicheng Engineering Design Co., Ltd., Nanjing 211800, China)

The work aims to achieve the high efficiency and high precision of LCD character detection before the packaging of electric scooters, and to solve the problems such as the difficulty of accurate segmentation and complex matching algorithm of Led segment code fonts in LCD characters. Hough line detection was conducted to correct the character region. Projection method was used to segment the character region. Morphological processing and connected domain analysis were used to extract the characters. BP neural network model was used to recognize the characters. Finally, improved geometric features were used to detect the lacking and missing lines. Gray scale features were used to detect the uneven brightness of the characters. The experimental results of LCD characters showed that the average recognition time of each character was 0.16 s and that of each screen was 0.6 s. The weighted recognition rate of LCD character defects was 96%. The algorithm has high reliability, efficiency and recognition rate, and solves the practical engineering problems of high efficiency and high precision detection of LCD characters under the defects of geometry and brightness, and provides the algorithm experience for the detection of similar products.

character defect; BP neural network; geometric features; grayscale feature

TP391.4

A

1001-3563(2023)03-0157-07

10.19554/j.cnki.1001-3563.2023.03.019

2022?03?31

江蘇省科技成果轉化專項資金資助項目（BA2017099）；江蘇省研究生科研與實踐創(chuàng)新計劃資助項目（KYCX22_1282）

陳昕（1998—），男，碩士生，主攻機器視覺。

方成剛（1974—），男，博士，教授，主要研究方向為智能制造。

責任編輯：曾鈺嬋