王國(guó)鵬 王習(xí)東 王保昌 王恒濤

基于YOLOv2網(wǎng)絡(luò)模型的手機(jī)鏡片缺陷實(shí)時(shí)檢測(cè)方法*

王國(guó)鵬1王習(xí)東1王保昌2王恒濤1

（1.三峽大學(xué)計(jì)算機(jī)與信息學(xué)院，湖北 宜昌 443002 2.三峽大學(xué)理學(xué)院，湖北 宜昌 443002）

針對(duì)手機(jī)鏡片缺陷檢測(cè)采用人工目視法存在效率低、誤檢率高、易受主觀影響；且現(xiàn)有的機(jī)器視覺(jué)法存在成本高和應(yīng)用場(chǎng)景為靜態(tài)圖片等問(wèn)題，提出一種基于YOLOv2網(wǎng)絡(luò)模型的手機(jī)鏡片缺陷實(shí)時(shí)檢測(cè)方法。首先，對(duì)手機(jī)鏡片缺陷檢測(cè)數(shù)據(jù)集樣本進(jìn)行歸一化處理；然后，調(diào)整網(wǎng)絡(luò)模型的訓(xùn)練參數(shù)，并將數(shù)據(jù)集送入YOLOv2網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，分析訓(xùn)練過(guò)程的性能曲線，得到最優(yōu)權(quán)重；最后，對(duì)驗(yàn)證集樣本進(jìn)行檢測(cè)分析。實(shí)驗(yàn)結(jié)果表明：該檢測(cè)方法的實(shí)時(shí)檢測(cè)速度可達(dá)14幀/s；缺陷定位精度高，檢測(cè)準(zhǔn)確率為96.13%；可滿足低成本條件下，手機(jī)鏡片缺陷實(shí)時(shí)檢測(cè)的需求。

YOLOv2；手機(jī)鏡片檢測(cè)；機(jī)器視覺(jué)；歸一化處理

0 引言

目前，國(guó)內(nèi)多數(shù)手機(jī)鏡片制造工廠采用人工目視法檢測(cè)鏡片缺陷。該方法的檢測(cè)環(huán)境為長(zhǎng)時(shí)間亮光照射，對(duì)人眼造成損傷，且效率低、誤檢率高，易受檢測(cè)人員主觀因素影響，人工成本也較高[1]。近年來(lái)，隨著機(jī)器視覺(jué)技術(shù)的發(fā)展，其在鏡片缺陷檢測(cè)方面的應(yīng)用也逐漸深入[2]。朱建峰采用優(yōu)化精密顯微鏡等儀器點(diǎn)光源投影照明的方案,實(shí)現(xiàn)鏡片面狀疵病的最佳成像效果,分析鏡片疵病形狀和大小，對(duì)各疵病種類分別編寫對(duì)應(yīng)的圖像處理算法進(jìn)行識(shí)別，檢測(cè)準(zhǔn)確率達(dá)95.48%[3]。朱虹兆基于深度學(xué)習(xí)訓(xùn)練出一種退化的YOLO網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)樹脂鏡片樣本缺陷的識(shí)別，驗(yàn)證集的缺陷識(shí)別準(zhǔn)確率達(dá)95.97%[4]。

隨著卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測(cè)和圖像識(shí)別領(lǐng)域的蓬勃發(fā)展[5],目標(biāo)檢測(cè)模型YOLO以算法實(shí)現(xiàn)快捷、靈活，泛化性能高等特點(diǎn)成為應(yīng)用研究的熱點(diǎn)[6]。

在上述檢測(cè)方法的基礎(chǔ)上，本文利用YOLOv2網(wǎng)絡(luò)模型，提出一種手機(jī)鏡片缺陷實(shí)時(shí)檢測(cè)方法。首先，制作并標(biāo)注手機(jī)鏡片缺陷檢測(cè)數(shù)據(jù)集，并對(duì)樣本圖片進(jìn)行歸一化處理；然后，調(diào)整YOLOv2網(wǎng)絡(luò)模型的訓(xùn)練參數(shù)，并將數(shù)據(jù)集送入YOLOv2網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，分析訓(xùn)練過(guò)程性能曲線，得到最優(yōu)的網(wǎng)絡(luò)權(quán)重?cái)?shù)據(jù)；最后，對(duì)驗(yàn)證集樣本進(jìn)行檢測(cè)分析。

1 網(wǎng)絡(luò)模型

1.1 網(wǎng)絡(luò)模型選取

R-CNN系列算法為雙階段結(jié)構(gòu)網(wǎng)絡(luò)，檢測(cè)速度無(wú)法滿足實(shí)時(shí)性需求。YOLOv1預(yù)測(cè)框機(jī)制和損失計(jì)算等方面不夠成熟[7]，導(dǎo)致對(duì)特征形態(tài)尺寸小的目標(biāo)定位精度低，不適合手機(jī)鏡片缺陷檢測(cè)。YOLOv2是由REDMON等于2017年提出的單階段結(jié)構(gòu)網(wǎng)絡(luò)[8]，核心思想是將目標(biāo)檢測(cè)問(wèn)題轉(zhuǎn)化為分類回歸問(wèn)題[9]，并引入Anchor機(jī)制，改善網(wǎng)絡(luò)模型訓(xùn)練過(guò)程中的召回率，增強(qiáng)圖像細(xì)粒度特征分類能力，適用于檢測(cè)特征形態(tài)尺寸小的目標(biāo)，且檢測(cè)速度快，可實(shí)現(xiàn)目標(biāo)實(shí)時(shí)檢測(cè)。

考慮到本檢測(cè)方法后期將部署在FPGA開(kāi)發(fā)板上。該開(kāi)發(fā)板成本較低，計(jì)算資源相對(duì)有限，故網(wǎng)絡(luò)模型選用對(duì)小尺寸目標(biāo)檢測(cè)精度高、實(shí)時(shí)檢測(cè)速度快和網(wǎng)絡(luò)結(jié)構(gòu)輕量級(jí)的YOLOv2。

1.2 YOLOv2網(wǎng)絡(luò)模型

YOLOv2網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示。

圖1　YOLOv2網(wǎng)絡(luò)模型結(jié)構(gòu)

YOLOv2網(wǎng)絡(luò)模型由CBL、MCN、Route和Reorg 4類組件構(gòu)成。其中，CBL為YOLOv2網(wǎng)絡(luò)結(jié)構(gòu)的最小組件，由Conv（卷積運(yùn)算）、BN和LeakyReLU組成。Conv實(shí)現(xiàn)特征提取，得到特征圖。批歸一化BN層對(duì)特征圖像素做線性變換，加快訓(xùn)練收斂過(guò) 程[10]。激活函數(shù)對(duì)特征圖像素做非線性變換，增強(qiáng)網(wǎng)絡(luò)非線性擬合能力，除最后輸出層使用Sigmoid函數(shù)外，其余皆使用Leaky ReLU函數(shù)。

MCN為降采樣組件，由最大池化層MAX和個(gè)CBL構(gòu)成。最大池化層實(shí)現(xiàn)特征圖的降采樣，減小特征圖規(guī)模及保持其功能特性不變。

Route為路由層，將多維度的特征信息進(jìn)行融合。

Reorg為重排序?qū)?，?shí)現(xiàn)特征的重新排序，將較大尺寸的特征圖分成多張小尺寸的特征圖。卷積核步長(zhǎng)為2的重排序示意圖如圖2所示。

圖2　卷積核步長(zhǎng)為2的重排序示意圖

2 實(shí)驗(yàn)及結(jié)果

2.1 數(shù)據(jù)集及實(shí)驗(yàn)環(huán)境

選取手機(jī)鏡片常見(jiàn)的4種缺陷（花瓣傷、膠洞、裂痕、膜裂）為研究對(duì)象，制作數(shù)據(jù)集。使用Labelimg軟件標(biāo)注手機(jī)鏡片缺陷檢測(cè)數(shù)據(jù)集。YOLOv2網(wǎng)絡(luò)需要大量的樣本圖片，本文通過(guò)數(shù)據(jù)增強(qiáng)（旋轉(zhuǎn)變換、仿射變換、圖像增強(qiáng)和添加噪聲等），既增加了樣本數(shù)量，又變換了手機(jī)鏡片缺陷的方向和大小，還增強(qiáng)樣本圖像噪聲的魯棒性[11]。手機(jī)鏡片缺陷檢測(cè)數(shù)據(jù)集劃分如表1所示。實(shí)驗(yàn)設(shè)備配置如表2所示。

表1　手機(jī)鏡片缺陷檢測(cè)數(shù)據(jù)集劃分

表2　實(shí)驗(yàn)設(shè)備配置

2.2 訓(xùn)練網(wǎng)絡(luò)參數(shù)

YOLOv2訓(xùn)練網(wǎng)絡(luò)參數(shù)：為平衡訓(xùn)練效果和顯存占用壓力，每次迭代批量送入網(wǎng)絡(luò)的圖片數(shù)量為64張，每次批量送入訓(xùn)練器的份數(shù)為8；為提升訓(xùn)練速度，避免過(guò)擬合，動(dòng)量常數(shù)為0.9，權(quán)重衰減正則系數(shù)為0.000 5；隨著迭代增加，為使網(wǎng)絡(luò)模型學(xué)習(xí)更加有效，初始學(xué)習(xí)率為0.001，訓(xùn)練總迭代次數(shù)為200次；學(xué)習(xí)率調(diào)整策略為steps步進(jìn)式，當(dāng)?shù)螖?shù)達(dá)到160和180次時(shí)，學(xué)習(xí)率分別衰減至0.000 1和0.000 01；將Region層的類別數(shù)改為4，同時(shí)對(duì)應(yīng)地將最后一個(gè)卷積層的卷積核數(shù)目改為45。

2.3 訓(xùn)練過(guò)程變化曲線

本文采用GIoU_Loss作為模型訓(xùn)練損失函數(shù)，直接把設(shè)為回歸的Loss[12]。

訓(xùn)練過(guò)程中GIoU_Loss變化曲線如圖3所示。

圖3　GIoU_Loss變化曲線

由圖3可知，當(dāng)訓(xùn)練模型迭代至90次時(shí)，損失函數(shù)收斂在0.01附近。

召回率（）是所有正樣本中預(yù)測(cè)正確的比例，計(jì)算公式為

式中，樣本分類說(shuō)明如表3所示。

表3　樣本分類說(shuō)明

訓(xùn)練過(guò)程中，模型的召回率變化曲線如圖4所示。

圖4　召回率變化曲線

由圖4可知，當(dāng)訓(xùn)練模型迭代至70次時(shí)，召回率的數(shù)值趨近于0.96。

從圖3和圖4的訓(xùn)練過(guò)程變化曲線分析可知，所訓(xùn)練的YOLOv2網(wǎng)絡(luò)模型權(quán)重效果理想。

2.4　實(shí)驗(yàn)結(jié)果與分析

模型訓(xùn)練完成后，調(diào)用YOLOv2網(wǎng)絡(luò)模型的USB攝像頭檢測(cè)器，收斂后的檢測(cè)速度達(dá)14幀/s，滿足實(shí)時(shí)檢測(cè)的需求。缺陷實(shí)時(shí)檢測(cè)結(jié)果如圖5所示。

圖5　手機(jī)鏡片缺陷實(shí)時(shí)檢測(cè)結(jié)果

圖5(a)模型正確框中2個(gè)花瓣傷缺陷；圖5(b)模型正確框中1個(gè)膠洞缺陷；圖5(c)模型正確框中2個(gè)裂痕缺陷；圖5(d)模型正確框中1個(gè)膜裂缺陷。目標(biāo)框上方的數(shù)據(jù)為預(yù)測(cè)類別的標(biāo)簽和置信度。從檢測(cè)結(jié)果來(lái)看：該網(wǎng)絡(luò)模型能較好地預(yù)測(cè)并區(qū)分4種缺陷；同時(shí)在多缺陷共存的情況下，沒(méi)有出現(xiàn)缺陷漏檢情況。

準(zhǔn)確率是指樣本中模型正確檢測(cè)出的缺陷數(shù)占各類別樣本總數(shù)的百分比。本實(shí)驗(yàn)采用平均準(zhǔn)確率來(lái)衡量模型檢測(cè)的實(shí)際性能，計(jì)算公式為

式中，為YOLOv2網(wǎng)絡(luò)模型對(duì)驗(yàn)證集中每張樣本各缺陷類別檢測(cè)的準(zhǔn)確率；為驗(yàn)證集樣本數(shù)。

YOLOv2網(wǎng)絡(luò)模型對(duì)驗(yàn)證集樣本進(jìn)行手機(jī)鏡片缺陷檢測(cè)后的結(jié)果如表4所示。

表4　YOLOv2網(wǎng)絡(luò)模型驗(yàn)證集的手機(jī)鏡片缺陷檢測(cè)結(jié)果

分析表4可知：檢測(cè)準(zhǔn)確率最低的手機(jī)鏡片缺陷為花瓣傷；由于花瓣傷特征形態(tài)尺寸較小，特征形態(tài)與背景的差異也較小，導(dǎo)致其提取特征相對(duì)簡(jiǎn)單，檢測(cè)準(zhǔn)確率相對(duì)較低。

本文檢測(cè)方法與文獻(xiàn)[3]和文獻(xiàn)[4]中的2種機(jī)器視覺(jué)檢測(cè)方法進(jìn)行性能對(duì)比，結(jié)果如表5所示。

由表5可知：本文方法的準(zhǔn)確率為96.13%，分別比另外2種方法提高了0.65%和0.16%；本文方法在檢測(cè)準(zhǔn)確率、應(yīng)用場(chǎng)景和成本方面均優(yōu)于另外2種方法，滿足低成本條件下手機(jī)鏡片缺陷實(shí)時(shí)檢測(cè)的需求。

3　結(jié)論

為滿足實(shí)時(shí)檢測(cè)應(yīng)用場(chǎng)景對(duì)檢測(cè)速度、準(zhǔn)確率和穩(wěn)定性的需求，本文提出一種基于YOLOv2網(wǎng)絡(luò)模型的手機(jī)鏡片缺陷實(shí)時(shí)檢測(cè)方法。實(shí)驗(yàn)結(jié)果表明：該方法實(shí)時(shí)檢測(cè)速度可達(dá)14幀/s，相比于鏡片制造工廠人工目視法的1.1幀/s提高了近13倍，達(dá)到實(shí)時(shí)檢測(cè)的目的；且該檢測(cè)方法的缺陷定位精度高，檢測(cè)準(zhǔn)確率為96.13%。本文在PC端上實(shí)現(xiàn)并驗(yàn)證了此方法的可行性，后期將該檢測(cè)方法部署在FPGA開(kāi)發(fā)板上，對(duì)實(shí)時(shí)檢測(cè)進(jìn)行硬件加速，以實(shí)現(xiàn)移動(dòng)端低成本低功耗的鏡片缺陷檢測(cè)。

[1] 孫力,劉晨,姚紅兵.基于機(jī)器視覺(jué)的樹脂鏡片水印疵病檢測(cè)[J].江蘇大學(xué)學(xué)報(bào)(自然科學(xué)版),2018,39(4):425-430.

[2] 林磊,臧鐵鋼.基于機(jī)器視覺(jué)的樹脂鏡片表面疵病邊緣檢測(cè)[J].機(jī)械制造與自動(dòng)化,2021,50(2):230-232,240.

[3] 朱建峰.基于機(jī)器視覺(jué)技術(shù)的樹脂鏡片面狀疵病檢測(cè)研究[D].鎮(zhèn)江:江蘇大學(xué),2019.

[4] 朱虹兆.基于退化YOLO網(wǎng)絡(luò)的樹脂鏡片缺陷識(shí)別方法研究[D].哈爾濱:哈爾濱理工大學(xué),2019.

[5] RUSSAKOVSKY O, DENG J, SU H, et al. ImageNet Large Scale Visual Recognition Challenge[J]. International Journal of Computer Vision, 2015,115(3):211-252.

[6] 陳文峰,張學(xué)習(xí),蔡述庭,等.基于YOLO v3和傳感器融合的機(jī)器人定位建圖系統(tǒng)[J].自動(dòng)化與信息工程,2021,42(2):34-38,48.

[7] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection[J]. IEEE, 2016.

[8] REDMON J, FARHADI A. YOLO9000: better, faster, stronger[J]. IEEE Conference on Computer Vision & Pattern Recognition, 2017:6517-6525.

[9] 陳友升,周介祺,梁敏健,等.基于YOLOv5視覺(jué)感知的實(shí)時(shí)叉車駕駛操作行為識(shí)別方法[J].自動(dòng)化與信息工程,2021,42 (3):21-26.

[10] 劉建偉,趙會(huì)丹,羅雄麟,等.深度學(xué)習(xí)批歸一化及其相關(guān)算法研究進(jìn)展[J].自動(dòng)化學(xué)報(bào),2020,46(6):1090-1120.

[11] 俞彬.基于生成對(duì)抗網(wǎng)絡(luò)的圖像類別不平衡問(wèn)題數(shù)據(jù)擴(kuò)充方法[D].廣州:華南理工大學(xué),2018.

[12] REZATOFIGHI H, TSOI N, GWAK JY, et al. Generalized intersection over union: a metric and a loss for bounding box regression[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2019.

Real Time Detection Method of Mobile Phone Lens Defects Based on YOLOv2 Network Model

Wang Guopeng1Wang Xidong1Wang Baochang2Wang Hengtao1

(1.College of Computer and Information, China Three Gorges University, Yichang 443002, China 2.College of Science, China Three Gorges University, Yichang 443002, China)

For the defect detection of mobile phone lens, the manual visual method has the advantages of low efficiency, high false detection rate and easy to be affected by subjectivity; and the existing machine vision methods have the problems of high cost and static pictures. A real time detection method of mobile phone lens defects based on YOLOv2 network model is proposed. Firstly, the samples of mobile phone lens defect detection data set are normalized. Then, the training parameters of the network model are adjusted, and the data set is sent to the YOLOv2 network model for iterative training. The performance curve of the training process is analyzed, and the optimal weight is obtained. Finally, the verification set samples are tested and analyzed. The experimental results show that the real-time detection speed of this method can reach 14 frames/s; the defect location accuracy is high, and the detection accuracy is 96.13%. It can meet the needs of real-time detection of mobile phone lens defects under low-cost conditions.

YOLOv2; mobile phone lens detection; machine vision; normalized processing

TP391.41

A

1674-2605(2021)05-0005-05

10.3969/j.issn.1674-2605.2021.05.005

王國(guó)鵬，男，1998年生，碩士研究生，主要研究方向：計(jì)算機(jī)視覺(jué)、數(shù)據(jù)分析。E-mail: minalinsky2333@qq.com

王習(xí)東（通信作者），男，1976年生，博士，講師，碩士生導(dǎo)師，主要研究方向：光電檢測(cè)技術(shù)及系統(tǒng)、弱磁檢測(cè)、FPGA應(yīng)用開(kāi)發(fā)。E-mail: xdwang@ctgu.edu.cn

基金項(xiàng)目：湖北省自然科學(xué)基金面上類項(xiàng)目（2018CKB914）；湖北省教育廳自然科學(xué)研究計(jì)劃項(xiàng)目（B2017027）。