周雨帆，李勝旺，楊奎河，白宇，宋子盈

摘要：為了解決目前農(nóng)業(yè)信息領(lǐng)域?qū)μO果表面缺陷檢測準確率低的問題，提出一種基于輕量級卷積神經(jīng)網(wǎng)絡(luò)的蘋果表面缺陷檢測方法。首先采集蘋果缺陷樣本圖片制作實驗數(shù)據(jù)集用于模型訓練和測試;其次在AlexNet網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，引入深度可分離卷積代替原有網(wǎng)絡(luò)中的標準卷積運算來進行圖像特征的提取;最后利用全局平均池化方法代替原有網(wǎng)絡(luò)中的全連接層，從而將卷積層輸出的多個特征圖以自身為單位進行映射得到特征點。實驗結(jié)果表明：改進后網(wǎng)絡(luò)對蘋果缺陷識別精度達到了98.57%，較改進前提升1.55%;較改進前模型參數(shù)量減少99.3%、訓練速度提高32.67%、FPS提高33.28%，改進后的輕量級卷積神經(jīng)網(wǎng)絡(luò)不僅減少了模型參數(shù)量和訓練時間，而且提高了檢測精度和速度。因此，新的檢測方法在減少模型參數(shù)量的同時，還可保證模型的檢測精度和效率，具有較強的工程實用性，可為蘋果缺陷分類提供理論參考。

關(guān)鍵詞：計算機神經(jīng)網(wǎng)絡(luò);卷積神經(jīng)網(wǎng)絡(luò);表面缺陷檢測;深度可分離卷積;全局平均池化

中圖分類號：TP391.41文獻標識碼：ADOI： 10.7535/hbgykj.2021yx05006

Apple surface defect detection method based on lightweight

convolutional neural network

ZHOU Yufan，LI Shengwang，YANG Kuihe，BAI Yu，SONG Ziying

（School of Information Science and Engineering，Hebei University of Science and Technology，Shijiazhuang，Hebei 050018，China）

Abstract：In order to solve the problem of low accuracy of apple surface defect detection in the field of agricultural information，a method of apple surface defect detection based on lightweight convolutional neural network was proposed.Firstly，apple defect sample images were collected to make experimental dataset for model training and testing;Secondly，on the basis of AlexNet network structure，depth separable convolution was introduced to replace the standard convolution operation in the original network to extract image features;Finally，the global average pooling method was used to replace the full connection layer in the original network，and the output feature maps of the convolution layer as a unit were mapped to get the feature points.The experimental results show that the recognition accuracy of the improved network is 98.57%，which is 1.55% higher than that before;Compared with the model before improvement，the model parameters reduce by 99.3%，training speed increases by 32.67%，and FPS increases by 33.28%.The improved lightweight convolutional neural network not only reduces the model parameters and training time，but also improves the detection accuracy and speed.Therefore，the new detection method can reduce the number of model parameters，as well as ensure the detection accuracy and efficiency of the model，which has strong engineering practicability and provides theoretical reference for apple defect classification.

Keywords：computer neural network;convolutional neural network;surface defect detection;depth separable convolution;global average pooling

隨著人們生活質(zhì)量的提高，消費者對水果的品質(zhì)提出了更高的要求。但水果在生長、采摘、運輸、儲存過程中，不可避免地會產(chǎn)生缺陷和損壞，水果表面缺陷是衡量水果外觀質(zhì)量的重要指標。目前，水果表面質(zhì)量檢測多采用人工檢測，通過培訓工人識別復雜的表面缺陷，可以實現(xiàn)水果的篩選。但是該方法的采樣率和準確率低，勞動強度大且效率不高，易受人工經(jīng)驗和主觀因素影響[1]。蘋果作為日常生活中常見水果，對蘋果表面缺陷進行檢測，對實現(xiàn)水果的自動分揀具有較強的實用性。

人類已步入人工智能的新時代，機器視覺與深度學習是人工智能的重要組成部分，它們的結(jié)合可以很好地代替人類完成目標對象的分類和識別任務(wù)[2]。早在20世紀70年代，國外學者就采用機器視覺技術(shù)對水果進行無損檢測，并取得了一些成果[3]。在數(shù)據(jù)量和計算能力不斷增加的背景下，深度學習以其卓越的建模和特征提取能力在各個領(lǐng)域得到了廣泛應(yīng)用。近年來，基于深度卷積神經(jīng)網(wǎng)絡(luò)的視覺檢測方法經(jīng)常應(yīng)用在表面缺陷檢測中，不僅提高了檢測效率，而且大大提高了檢測精度[4]。SUSTIKA等[5]探討不同深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)對草莓分級系統(tǒng)（品質(zhì)檢驗）精確度的影響，評估了現(xiàn)有不同類型的深層CNN架構(gòu)。熊紅林等[6]提出了一種基于多尺度卷積神經(jīng)網(wǎng)絡(luò)方法用于玻璃表面缺陷檢測，該方法具有較高的識別精度。程春燕[7]構(gòu)建了一種基于改進的殘差網(wǎng)絡(luò)的模型，用于臍橙質(zhì)量自動分類，將臍橙圖像分為高質(zhì)量、良好、合格和不合格4種，準確率為92%。

隨著神經(jīng)網(wǎng)絡(luò)規(guī)模的增大，在提高網(wǎng)絡(luò)性能的同時也會消耗更多計算資源，這樣的網(wǎng)絡(luò)并不利于實際應(yīng)用。因此，有必要設(shè)計更加輕量級的網(wǎng)絡(luò)模型。HOWARD等[8]提出的MobileNet就摒棄傳統(tǒng)的標準卷積，而使用深度可分離卷積，并采用步長為2的卷積代替池化操作，可以在不損失模型精度的情況下大大減少參數(shù)量和模型計算量。

綜上所述，傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)對缺陷檢測能達到很好的效果，但同時網(wǎng)絡(luò)中也存在著大量的冗余參數(shù)。為解決這個問題，本文提出了一個輕量級的卷積神經(jīng)網(wǎng)絡(luò)，利用深度可分離卷積代替標準卷積運算，利用全局池化方法代替全連接層，在減少模型參數(shù)量的同時又保證了模型的檢測精度和效率。

1卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）[9]是一種常見的深度學習模型，標準的卷積神經(jīng)網(wǎng)絡(luò)包括輸入層、卷積層、激活層、池化層、全連接層和分類層。輸入層用于獲取數(shù)據(jù)并對其進行預處理;卷積層用于提取圖像高級特征;激活層對卷積層的結(jié)果做非線性映射;池化層可以降低各個特征圖的維度，用于降采樣;全連接層整合卷積層提取的高級圖像特征;分類層在模型最后部分輸出每個類型預測概率[10]。

AlexNet是 KRIZHEVSKY等[11]提出的一個深度學習模型，曾在2012年獲得了ILSVRC 視覺領(lǐng)域競賽的冠軍。圖1給出了AlexNet的網(wǎng)絡(luò)結(jié)構(gòu)圖，其中Input，Conv，Pool，F(xiàn)C，Softmax 分別代表輸入層，卷積層，池化層，全連接層和分類層。

2改進的輕量級卷積神經(jīng)網(wǎng)絡(luò)

2.1深度可分離卷積

在深度可分離卷積（depthwise separable convolution，DSC）出現(xiàn)之前，神經(jīng)網(wǎng)絡(luò)大多是由不同尺度的卷積核組成，伴隨著模型精度的提高，神經(jīng)網(wǎng)絡(luò)的深度和模型參數(shù)量也在不斷增加[12]。谷歌于2017年提出的基于深度可分離卷積的MobileNet是一種專注于神經(jīng)網(wǎng)絡(luò)應(yīng)用在移動端和嵌入式設(shè)備的輕量級神經(jīng)網(wǎng)絡(luò)。本文引入深度可分離卷積代替AlexNet中的標準卷積運算，可以在保證模型表達能力的前提下極大地降低了參數(shù)量。

在常規(guī)卷積算法中，輸入H×W×C的特征圖與N個尺寸為K×K×C的卷積和進行卷積計算，輸出特征圖為H×W×N，則計算量為H×W×K×K×C×N，參數(shù)量為K×K×C×N，卷積過程如圖2所示。

深度可分離卷積核心思想是將一個完整的卷積運算分解為深度卷積（Depthwise Convolution）與逐點卷積（Pointwise Convolution）2個步驟。深度卷積是分別計算輸入的每張?zhí)卣鲌D，一個卷積核負責一個通道，而一個通道只能被一個卷積核卷積，通道之間并沒有信息交互，提取的是通道內(nèi)部的特征信息。對輸入的同一通道類進行尺寸為K×K的卷積，其計算量為H×W×K×K×C，參數(shù)量為K×K×C。

逐點卷積就是將深度卷積輸出的特征圖與通道數(shù)相同且大小為1×1的卷積核相卷積，該操作將特征圖的各維度進行了結(jié)合。在這部分中，逐點卷積核的個數(shù)就代表著提取特征的個數(shù)。利用N個尺寸為1×1×C的卷積核對深度卷積輸出的特征圖進行通道融合計算，計算量為H×W×1×1×C×N，參數(shù)量為1×1×C×N，深度可分離卷積過程如圖3所示。

2.2全局池化

在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)中，全連接層之前的卷積層負責圖像的特征提取，得到特征后再接上全連接層，然后進行激活分類[13]。本文利用全局池化層來代替全連接層，將卷積層輸出的多個特征圖以自身為單位進行映射，映射結(jié)果為一個特征點。多個特征點便得到了與上述特征展開相似的一維向量，然后將其引入分類層中進行分類[10]。全局池化層除了保留了前面各個卷積層和池化層提取到的空間/語義信息外，還極大減少了模型的參數(shù)量，避免了過擬合問題[14]。全連接層和全局池化層的結(jié)構(gòu)如圖4所示。

全局池化包括全局平均池化（global average pooling，GAP）[15]和全局最大池化（global max pool-ing，GMP）2個類型。設(shè)xkij為卷積層中第k個特征圖的第（i，j）個元素，最后一個卷積層的大小為m×n，GAP，GMP過程如式（1）和式（2）所示：

ykGAP=1mn×∑m-1i=0∑n-1j=0xkij ，（1）

ykGMP=max（xkij），（2）

式中：ykGAP是GAP層的輸出;ykGMP是GMP層的輸出。

2.3激活函數(shù)

采用ReLu激活函數(shù)[16]對卷積后的結(jié)果進行非線性映射，可以加快網(wǎng)絡(luò)收斂速度，防止梯度消失，增強特征稀疏性和非線性表達能力[17]，其函數(shù)表示為

f（x）=x，x≥0，

0，x<0。（3）

2.4批量歸一化

在機器學習中，輸入數(shù)據(jù)通常會進行歸一化處理，使得每個特征的數(shù)值尺度在同一個層次上，這樣可以加速梯度下降的收斂過程[18]。在本文的神經(jīng)網(wǎng)絡(luò)中，除了對輸入數(shù)據(jù)進行歸一化外，還采用批量歸一化（Batch Normalization）算法[19]對卷積層的輸出值進行歸一化，避免出現(xiàn)梯度小或梯度爆炸的情況，同時還可以加快網(wǎng)絡(luò)模型的收斂速度。

xkij代表第j層的第i神經(jīng)元模型在訓練第k條數(shù)據(jù)時的輸出值;σij表示這批數(shù)據(jù)在第j層第i神經(jīng)元處輸出值的標準差;μij表示這批數(shù)據(jù)在第j層的i神經(jīng)元處的平均輸出值。批量歸一化后的輸出值ykij為

ykij=xkij-μijσij。（4）

神經(jīng)元輸出值的均值μij為

μij=1m∑mk=1xkij。（5）

神經(jīng)元輸出值的標準差σij為

σij=1m∑mk=1（xkij-μij）2+ε，（6）

式中：m是單個mini-batch包含樣本個數(shù);ε是一個很小的常數(shù)，為了防止分母為零。

通常，為防止變換后網(wǎng)絡(luò)的表達能力下降，會對ykij進行進一步處理，增加2個學習參數(shù)γ和β，調(diào)整歸一化的輸出值為

y～kij=γykij+β。（7）

2.5損失函數(shù)

網(wǎng)絡(luò)模型使用交叉熵（Cross Entropy）損失函數(shù)來衡量真實值和預測值二者間的誤差，首先對網(wǎng)絡(luò)最后一層的輸出通過Softmax求出屬于某一類的概率y^（i） ，然后將y^（i）和樣本的實際標簽y（i）做一個交叉熵。公式如下：

y^（i）=softmax（xi），

L=-∑iy（i）log（y^（i））+（1-y（i））log（1-y^（i））。（8）

2.6評價指標

實驗采用準確率A（Accuracy）、精確率P（Precision）、召回率R（Recall）、F1 score和每秒幀數(shù)（frames per second，F(xiàn)PS）5個指標對算法模型進行評估，計算公式如下：

A=TP+TNTP+TN+FP+FN，

P=TPTP+FP，

R=TPTP+FN，

F1=2TP2TP+FP+FN，（9）

式中：TP（True Positive）為真正例，TN（True Negative）為真負例，F(xiàn)P（（False Positive）為假正例，F(xiàn)N（False Negative）為假負例。

每秒幀數(shù)（FPS），即每秒內(nèi)可以檢測的圖片數(shù)量，可用來評估算法的檢測速度，值越大檢測速度越快[20]。

3實驗及結(jié)果分析

3.1數(shù)據(jù)集及預處理

構(gòu)建深度學習模型并在蘋果圖像上進行訓練，進而實現(xiàn)模型對蘋果圖像的缺陷檢測和分類。實驗所需要的蘋果圖片是由部分網(wǎng)上下載的圖片和實景拍攝的圖片組成，分為健康、機械傷、病蟲害、褶皺、腐爛5個類別，共4 186張圖片，如圖5所示。利用Python腳本語言對圖片進行處理并制作為數(shù)據(jù)集。劃分實驗數(shù)據(jù)集，其中70%為訓練集，30%為測試集。

3.2實驗模型設(shè)計

圖6給出了改進后的輕量級神經(jīng)網(wǎng)絡(luò)架構(gòu)示意圖，可以看出在特征提取過程中，由于池化層的作用，特征圖的尺寸不斷減小，維度由于卷積核個數(shù)的增多不斷增加。算法逐步提取出更多且更高級的圖像特征信息，以更好地勝任分類識別任務(wù)。實驗以小批量的形式進行，每批同時用16張圖片迭代25次進行訓練/測試。此外，改進卷積神經(jīng)網(wǎng)絡(luò)的算法各層級信息如表1所示，其中“（11，11）”代表卷積核大小;“DSConv”代表深度可分離卷積;“96/S4”代表卷積核個數(shù)與卷積步長。以第1層卷積 “（11，11），DSConv，96/S4”為例，該層參數(shù)由逐通道卷積與逐點卷積2個部分再加上偏差組成，首先逐通道卷積部分參數(shù)為“卷積核大小×輸入通道數(shù)”即“（112×3）”，其次逐點卷積部分為“點卷積核大小×輸入通道數(shù)×卷積核個數(shù)”即“（1×1×3）×96”，最后偏差為“卷積核個數(shù)”即96，同理可得第2層參數(shù)，區(qū)別在于輸入通道數(shù)由3變?yōu)?6。批量歸一化（Batch Normalization）層的參數(shù)量為“輸入特征圖數(shù)目×4”。從表1中可以明顯看出，加入全局平均池化策略后省去了傳統(tǒng)全連接層大量的參數(shù)，如果不采用全局池化方法改進該部分，則全連接層的參數(shù)為6×6×256×4 096+4 096=37 752 832。

3.3實驗環(huán)境及設(shè)置

實驗在圖形處理單元（GPU）模式下進行，實驗所用計算機的詳細配置為內(nèi)存 16 GB，Nvidia GeForce GTX 1660Ti顯卡，使用的操作系統(tǒng)為64位 Windows10。實驗選用的腳本語言為Python，并安裝Anaconda，OpenCV圖像處理庫、Tensorflow深度學習框架。

3.4結(jié)果分析

3.4.1模型改進前后評價指標比較

表2給出了改進后的輕量級卷積神經(jīng)網(wǎng)絡(luò)模型與AlexNet神經(jīng)網(wǎng)絡(luò)模型在各評價指標上的比較情況。可以看出，改進后模型的測試準確率、精確率、召回率和F1評分都有了明顯提高，其中準確率從96.41%提高至98.57%，漲幅2.16%;精確率從97.09%提高至98.64%，漲幅1.55%;召回率從95.78%提高至98.50%，漲幅2.72%;F1評分從96.41%提高至98.57%，漲幅2.16%;損失值從0.117 1降至0.048 9，減少0.068 2。由表2可知，改進后模型的性能有所提升，這是因為擁有龐大參數(shù)量的全連接層會導致傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)產(chǎn)生過擬合現(xiàn)象，從而降低測試的準確率等指標。對全連接層的優(yōu)化很好地解決了該問題，同時利用深度可分離卷積代替標準卷積運算在一定程度上也減少了卷積層中的參數(shù)量，提高了測試準確率。實驗結(jié)果也驗證了所提改進方法的可靠性與可行性。

圖7和圖8展現(xiàn)了AlexNet模型和改進后模型在數(shù)據(jù)集上的測試精度和測試損失。由圖7和圖8可以看出，在迭代停止時改進后的模型擁有更高的測試精度和更低的測試損失，收斂精度優(yōu)于原模型。從收斂速度來看，改進后的模型在第6個epoch開始收斂，而原模型在第15個epoch才開始收斂，改進后模型的收斂速度優(yōu)于原模型。深度可分離卷積和全局平均池化策略結(jié)合可以減少模型參數(shù)量，改善網(wǎng)絡(luò)的易過擬合特性，同時加快模型收斂速度并提高模型的性能。

3.4.2全局池化類型對測試結(jié)果的影響

討論在改進策略中不同類型的全局池化算法對改進的輕量級卷積神經(jīng)網(wǎng)絡(luò)的影響。在全局池化算法中，全局平均池和全局最大池的區(qū)別在于對每個輸出通道的特征圖的所有像素計算是一個平均值還是最大值。從表3可知，當前的網(wǎng)絡(luò)結(jié)構(gòu)上全局平均池化較全局最大池化在測試結(jié)果上取得了更高的測試精度和更低的測試損失，同時也表明對當前數(shù)據(jù)提取整體特征的效果更好。

3.4.3改進策略對模型的影響

表4給出了網(wǎng)絡(luò)的改進策略對測試精度、參數(shù)量及模型大小的影響。由表4可知，采用深度可分離卷積代替?zhèn)鹘y(tǒng)卷積后，進一步降低了原卷積層部分的參數(shù)，大大改善了復雜網(wǎng)絡(luò)的易過擬合特性，在減少參數(shù)量、降低模型所占內(nèi)存的同時，提高了測試精度。由于全連接層占了原有網(wǎng)絡(luò)的大部分參數(shù)，所以采用全局池化方法代替全連接層，減少了網(wǎng)絡(luò)的主要參數(shù)，可以看出采用深度可分離卷積和全局平均池化方法改進后的模型參數(shù)量和所占內(nèi)存遠遠小于AlexNet模型和只采用深度可分離卷積改進過的模型。

3.4.4模型改進前后訓練時間及檢測速率比較

表5給出了模型改進前后所需訓練時間和檢測速率的比較情況。由表5可知，從模型的訓練時間方面看，原始模型的訓練需要273.91 s，采用深度可分離卷積改進后的模型訓練需要246.03 s，采用深度可分離卷積和全局平均池化改進后的模型訓練僅需要184.42 s，較改進前有明顯差別。從模型檢測速率方面看，原始模型每秒可以檢測625張圖片，改進后的模型每秒可以檢測833張圖片，檢測速度有明顯提升。綜合來看，改進后模型在訓練速度和檢測速度上都有顯著提升，可以節(jié)省時間成本，且具有較強的實時性。

4結(jié)語

提出了一種輕量級神經(jīng)網(wǎng)絡(luò)模型算法來實現(xiàn)蘋果的表面缺陷檢測識別與分類。算法首先引入深度可分離卷積代替AlexNet網(wǎng)絡(luò)中的標準卷積運算，減少了模型在卷積層的參數(shù)量;其次采用全局平均池化方法代替原有網(wǎng)絡(luò)中的全連接層，大大減少了模型的參數(shù)量。改進后的模型參數(shù)量只有原有網(wǎng)絡(luò)的1/150，避免了過擬合現(xiàn)象的產(chǎn)生，減少了內(nèi)存占用。同時實驗結(jié)果表明，改進后的網(wǎng)絡(luò)模型所需的訓練時間減少，并在測試準確率、檢測速度等各項評價指標上均有提升，具有很好的準確性和實時性，能夠滿足對蘋果表面缺陷進行檢測的需求。

本文只將蘋果常見的缺陷簡單劃分為5類進行檢測，其實還可以再進行細分。后續(xù)將對改進后的模型進行更大數(shù)據(jù)集和更多種類的訓練和實驗，同時其他水果缺陷數(shù)據(jù)集的擴展研究也將被考慮在內(nèi)，以提高模型解決這類問題的泛化能力。

參考文獻/References：

[1]TABERNIK D，SELA S，SKOCAJ J，et al.Segmentation-based deep-learning approach for surface-defect detection[J].2020，31（3）：759-776.

[2]林云森，范文強，姜佳良.基于深度學習的水果識別技術(shù)研究[J].光電技術(shù)應(yīng)用，2019，34（6）：45-48.

LIN Yunsen，F(xiàn)AN Wenqiang，JIANG Jialiang.Research on fruit recognition technology based on deep learning[J].Electro-Optic Technology Application，2019，34（6）：45-48.

[3]何文斌，魏愛云，明五一，等.基于機器視覺的水果品質(zhì)檢測綜述[J].計算機工程與應(yīng)用，2020，56（11）：10-16.

HE Wenbin，WEI Aiyun，MING Wuyi，et al.Survey of fruit quality detection based on machine vision[J].Computer Engineering and Applications，2020，56（11）：10-16.

[4]廉家偉，何軍紅，牛云，等.基于多尺度壓縮CNN的表面缺陷快速檢測[J/OL].計算機集成制造系統(tǒng)，（2021-02-01）[2020-05-07].http：//kns.cnki.net/kcms/detail/11.5946.TP.20210129.1551.002.html.

LIAN Jiawei，HE Junhong，NIU Yun，et al.Rapid detection of surface defects based on multi-scale compression CNN[J/OL].Computer Integrated Manufacturing Systems，（2021-02-01）[2021-05-07].http：//kns.cnki.net/kcms/detail/11.5946.TP.20210129.1551.002.html.

[5]SUSTIKA R，SUBEKTI A，PARDEDE H F，et al.Evaluation of deep convolutional neural network architectures for strawberry quality inspection[J].International Journal of Engineering & Technology，2018，7（4.40）：75-80.

[6]熊紅林，樊重俊，趙珊，等.基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的玻璃表面缺陷檢測方法[J].計算機集成制造系統(tǒng)，2020，26（4）：900-909.

XIONG Honglin，F(xiàn)AN Chongjun，ZHAO Shan，et al.Glass surface defect detection method based on multiscale convolution neural network[J].Computer Integrated Manufacturing Systems，2020，26（4）：900-909.

[7]程春燕.基于機器視覺的臍橙品質(zhì)自動檢測分類技術(shù)研究[D].贛州：江西理工大學，2018.

CHENG Chunyan.Research on the Technology of Navel Orange Quality Automatic Detection and Classification Based on Machine Vision[D].Ganzhou：Jiangxi University of Science and Technology，2018.

[8]HOWARD A G，ZHU Menglong，CHEN Bo，et al.MobileNets：Efficient convolutional neural networks for mobile vision applications[EB/OL].[2017-04-17].http：//arxiv.org/pdf/1704.04861.pdf.

[9]GU Jiuxiang，WANG Zhenhua，KUEN J，et al.Recent advances in convolutional neural networks[J].Pattern Recognition，2018，77：354-377.

[10]賈鶴鳴，郎春博，姜子超.基于輕量級卷積神經(jīng)網(wǎng)絡(luò)的植物葉片病害識別方法[J].計算機應(yīng)用，2021，41（6）：1812-1819.

JIA Heming，LANG Chunbo，JIANG Zichao.Plant leaf disease recognition method based on lightweight convolutional neural network[J].Journal of Computer Applications，2021，41（6）：1812-1819.

[11]KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 25th International Conference on Neural Information Processing Systemss.RedHook：Curran Associates Inc，2012：1097-1105.

[12]鄧若辰，彭程，邊赟.基于深度可分離卷積的指靜脈識別算法[J].計算機應(yīng)用，2020，40（sup2）：199-203.

DENG Ruochen，PENG Cheng，BIAN Yun.Finger Vein recognition algorithm based on depthwise convolution[J].Journal of Computer Applications，2020，40（sup2）：199-203.

[13]LIN Min，CHEN Qiang，YAN Shuicheng.Network in network[EB/OL].[2014-03-04].http：//arxiv.org/pdf/1312.4400.pdf.

[14]HAWKINS D M.The problem of overfitting[J].Journal of Chemical Information and Computer Sciences，2004，44（1）：1-12.

[15]周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計算機學報，2017，40（6）：1229-1251.

ZHOU Feiyan，JIN Linpeng，DONG Jun.Review of convolutional neural network[J].Chinese Journal of Computers，2017，40（6）：1229-1251.

[16]GLOROT X，BORDES A，BENGIO Y.Deep sparse rectifier neural networks[C]//Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics.Lille：PMLR，2011：315-323.

[17]陳鑫華，錢雪忠，宋威.基于輕量級特征融合卷積網(wǎng)絡(luò)的圖像分類算法[J/OL].計算機工程.（2020-12-17）[2021-05-07].https：//kns.cnki.net/kcms/detail/detail/31.1289.TP.20201-216.1712.012.html.

CHEN Xinhua，QIAN Xuezhong，SONG Wei.Image classification algorithm based on lightweight feature fusion convolutional network[J/OL].Computer Engineering.（2020-12-17）[2021-05-07].https：//kns.cnki.net/kcms/detail/detail/31.1289.TP.20201216.1712.012.html.

[18]BA J L，KIROS J R，HINTON G E.Layer normalization[EB/OL].[2016-07-21].http：//arxiv.org/pdf/1607.06450.pdf.

[19]IOFFE S，SZEGEDY C.Batchnormalization：Accelerating deep network training by reducing internal covariate shift[C]//Proceedings of the 32nd International Conference on International Conference on Machine Learning.Lille：PMLR，2015：448-456.

[20]劉亞姣，于海濤，劉寶順，等.基于YOLOv3的H型鋼表面缺陷檢測系統(tǒng)[J].河北工業(yè)科技，2021，38（3）：231-235.

LIU Yajiao，YU Haitao，LIU Baoshun，et al.H-beam surface defect detection system based on YOLOv3 algorithm[J].Hebei Journal of Industrial Science & Technology，2021，38（3）：231-235.