姚明海，隆學(xué)斌

(浙江工業(yè)大學(xué) 信息工程學(xué)院， 杭州 310023)

0 引言

道路井蓋是現(xiàn)代城市建設(shè)和交通管理的必需設(shè)備，井蓋的缺失和損壞會(huì)造成嚴(yán)重的交通事故和經(jīng)濟(jì)損失。所以道路井蓋的管理變得愈發(fā)重要。然而，道路井蓋妥善的管理必須建立在精確的井蓋缺陷檢測的基礎(chǔ)上。人工排查丟失或者有破損的井蓋會(huì)產(chǎn)生諸如效率低、耗時(shí)多、精確度不足等問題，而且由于城市道路整改多，人工檢查車道以及草叢內(nèi)等地方的井蓋非常不安全，因此人工排查顯然不是一個(gè)好的井蓋缺陷檢測選擇，實(shí)現(xiàn)對井蓋狀態(tài)的自動(dòng)檢測具有重要意義。為了克服人工檢測帶來的這些問題以達(dá)到更安全、更快速、更精確地進(jìn)行井蓋缺陷檢測的目的，一些研究人員在傳感器和圖像處理方法上做出了一些研究。比如，文獻(xiàn)[1]提出了 基于無線傳輸、電機(jī)驅(qū)動(dòng)井蓋鎖結(jié)構(gòu)技術(shù)來實(shí)現(xiàn)對丟失井蓋的動(dòng)態(tài)檢測的方法；文獻(xiàn)[2]通過提取井蓋的顏色、邊緣輪廓等特征，并使用改進(jìn)的霍夫變換方法，計(jì)算窨井蓋的區(qū)域范圍，進(jìn)而判斷是否有破損或丟失的情況。通過分析這些文獻(xiàn)，可以發(fā)現(xiàn)，基于傳感器和圖像處理的方法雖然能實(shí)現(xiàn)井蓋的監(jiān)測，但算法的性能不夠好，計(jì)算量較大，對破損且有安全隱患的井蓋無法實(shí)現(xiàn)自動(dòng)檢測，難以應(yīng)用到實(shí)際檢測當(dāng)中。由于深度學(xué)習(xí)在特征提取上有顯著的優(yōu)勢，基于傳感器和圖像處理的井蓋缺陷識(shí)別方法慢慢被卷積神經(jīng)網(wǎng)絡(luò)所取代。文獻(xiàn)[3]提出了基于Faster R-CNN[4]的卷積神經(jīng)網(wǎng)絡(luò)模型對井蓋進(jìn)行檢測的方法。該方法證明，卷積神經(jīng)網(wǎng)絡(luò)跟之前基于傳感器和圖像處理的方法相比，在準(zhǔn)確率和檢測效率上確實(shí)取得了飛躍性的進(jìn)步，但如果在改進(jìn)激活函數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)上做進(jìn)一步改進(jìn)的話，性能會(huì)更好，這也就是本文的主要研究內(nèi)容。

在激活函數(shù)角度上，目前使用最多的是ReLu激活函數(shù)。一方面，在一定程度上克服了sigmoid和tanh激活函數(shù)的梯度彌散的缺點(diǎn)，為訓(xùn)練后的網(wǎng)絡(luò)帶來了適度的稀疏特性，而且由于ReLu表達(dá)式中沒有除法和指數(shù)運(yùn)算，因此計(jì)算速度更快。但是，另一方面，ReLu激活函數(shù)也沒有真正解決輸入小于零時(shí)輸出也為零的缺點(diǎn)，同樣也在一定程度上導(dǎo)致了神經(jīng)元信息的丟失，特別是當(dāng)輸入很多為負(fù)值時(shí)。因此，本文提出一種基于ReLu改進(jìn)的激活函數(shù)MReLu和BReLu，其克服了ReLu的信息丟失的缺點(diǎn)，保留更多的輸入為負(fù)值的信息并且能夠傳輸更多信息到下一個(gè)網(wǎng)絡(luò)層。在網(wǎng)絡(luò)結(jié)構(gòu)角度上，之前的神經(jīng)網(wǎng)絡(luò)多數(shù)是只用一個(gè)激活函數(shù)，不能最大限度地表達(dá)神經(jīng)元的非線性特性。因此，本文運(yùn)用兩個(gè)激活函數(shù)對卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化。實(shí)驗(yàn)表明，本文提出的方法跟現(xiàn)有方法相比，不僅具有更高的識(shí)別準(zhǔn)確率，而且同時(shí)提高了收斂速度和魯棒性，并且可以應(yīng)用于各種深度神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)中。

1 涉及相關(guān)算法

1.1 MCCNN神經(jīng)網(wǎng)絡(luò)模型

改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)是專門用于道路井蓋缺陷檢測的卷積神經(jīng)網(wǎng)絡(luò)模型(manhole cover detection convolutional neural network,MCCNN)。如圖1所示，本網(wǎng)絡(luò)結(jié)構(gòu)由3個(gè)卷積層，兩個(gè)最大池化層以及一個(gè)全連接層加上softmax層組成。從圖可知，第一個(gè)網(wǎng)絡(luò)層接收輸入井蓋圖片，然后網(wǎng)絡(luò)層1和2執(zhí)行卷積操作，并經(jīng)過激活函數(shù)將神經(jīng)元特征激活，然后再通過最大池化層降低參數(shù)數(shù)量；最后將經(jīng)過只有卷積操作的網(wǎng)絡(luò)層3輸出進(jìn)行全連接，綜合前幾層采集到的井蓋特征，經(jīng)過softmax層將全連接層的輸出映射成概率分布，用于井蓋識(shí)別的分類。本文以非線性激活函數(shù)為唯一變量，來研究不同激活函數(shù)對井蓋識(shí)別快速性和準(zhǔn)確率的影響。

圖1 神經(jīng)網(wǎng)絡(luò)模型MCCN結(jié)構(gòu)圖

1.2 卷積神經(jīng)網(wǎng)絡(luò)和激活函數(shù)

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)[5]提供了一種端到端的學(xué)習(xí)模型，模型中的參數(shù)可以通過反向傳播中的梯度下降算法進(jìn)行反復(fù)訓(xùn)練以使輸出結(jié)果接近真實(shí)值。經(jīng)過訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)到圖像中的特征，比如紋理特征、顏色特征、形狀特征和空間特征等，并完成對圖像特征的提取和分類。作為深度學(xué)習(xí)的一個(gè)重要研究分支，卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn)在于每一層的特征都由上一層部分區(qū)域通過權(quán)值共享的卷積核以及激活函數(shù)激勵(lì)得到。這一特點(diǎn)使卷積神經(jīng)網(wǎng)絡(luò)在圖像缺陷識(shí)別[6]的應(yīng)用上更優(yōu)于其他神經(jīng)網(wǎng)絡(luò)方法。隨著卷積神經(jīng)網(wǎng)絡(luò)的流行，一些改進(jìn)算法也不斷出現(xiàn)，如有基于自適應(yīng)學(xué)習(xí)率的研究[7]，有將DroutOut層運(yùn)用于池化階段的方法[8]，有致力于預(yù)訓(xùn)練與隨機(jī)初始化模型[9]，這些方法都在一定程度上提高了卷積神經(jīng)網(wǎng)絡(luò)的表達(dá)能力。本文主要研究在道路井蓋缺陷識(shí)別問題上，激活函數(shù)的優(yōu)化對提高分類準(zhǔn)確率和降低損失率的影響。激活函數(shù)主要作用是提供網(wǎng)絡(luò)的非線性建模能力，如果網(wǎng)絡(luò)中只包含線性卷積和全連接運(yùn)算，即使網(wǎng)絡(luò)層數(shù)再多也僅能表達(dá)線性映射，難以有效解決實(shí)際環(huán)境中的非線性分布的數(shù)據(jù)。當(dāng)激活函數(shù)應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)時(shí)，主要在前向轉(zhuǎn)播和反向傳播兩個(gè)過程中對網(wǎng)絡(luò)參數(shù)的訓(xùn)練產(chǎn)生影響和作用。

1.3 ReLu激活函數(shù)

因?yàn)樵?jīng)一度被廣泛使用的經(jīng)典激活函數(shù)Sigmoid和Tanh都具有致命的梯度彌散的缺點(diǎn)，所以當(dāng)前在神經(jīng)網(wǎng)絡(luò)模型中激活函數(shù)使用的趨勢就是非飽和修正線性函數(shù)ReLu。修正線性單元(rectified linear unit，ReLu)是這樣一種激活函數(shù)，如果輸入的值小于或者等于零，那么輸出就為零；如果輸入大于零，那么就會(huì)保持原值不變，原樣輸出。其用數(shù)學(xué)表達(dá)式定義為：y(x)=max(0,x)，如圖2所示。ReLu這種直接地強(qiáng)制某些數(shù)據(jù)為0的做法，在一定程度上，為訓(xùn)練后的網(wǎng)絡(luò)帶來了適度的稀疏特性。它不但減少了參數(shù)之間的相互依存關(guān)系，而且緩解了過擬合問題的發(fā)生。相比較傳統(tǒng)的S型激活函數(shù)，ReLu不含除法和指數(shù)運(yùn)算，計(jì)算速度更快。但是，經(jīng)過卷積操作的輸出值多數(shù)都會(huì)產(chǎn)生大量的負(fù)值，如果所有的負(fù)值在經(jīng)過修正線性單元后都被取代為零的話，就會(huì)丟失大量的輸入信息，對特征提取將產(chǎn)生很大的不良影響，最后導(dǎo)致識(shí)別準(zhǔn)確率下降。

圖2 ReLu函數(shù)

1.4 雙邊ReLu激活函數(shù)

在近期的卷積神經(jīng)網(wǎng)絡(luò)的研究中，多種基于ReLu的激活函數(shù)不斷涌現(xiàn)。其中，雙邊修正線性單元(Bilateral ReLU)就是一個(gè)典型的代表，該激活函數(shù)被應(yīng)用于DehazeNet網(wǎng)絡(luò)模型[10]，用來增強(qiáng)模糊的原始圖片。

2 改進(jìn)算法

在本文的研究中，我們將基于改進(jìn)的修正線性單元和改進(jìn)的雙邊修正線性單元來改善卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)MCCNN性能。

2.1 改進(jìn)的修正線性單元

改進(jìn)的修正線性單元激活函(Modified ReLu,MReLu)的數(shù)學(xué)表達(dá)式(1)如下：

f(y)=max(tmin,y)

(1)

其中:y表示輸入值，f(y)表示輸出，tmin在MReLu激活函數(shù)中是常量。MReLu激活函數(shù)的如圖3所示。由圖可知，當(dāng)輸入f(y)>=0時(shí)，輸出保留輸入的值不變；當(dāng)輸入tmin

圖3 MReLu激活函數(shù)

神經(jīng)網(wǎng)絡(luò)模型MCCNN在網(wǎng)絡(luò)層2的卷積操作后使用MReLu作為其激活函數(shù)示意圖如圖4所示。

圖4 使用MReLu激活函數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)圖

2.2 雙邊修正線性單元

雙邊修正線性單元(Bilateral Rectified ReLu,BReLu)可以用下面的數(shù)學(xué)等式(2)來描述：

f(y)= min(tmaxmax(tminy))

(2)

其中:y表示圖片輸入，f(y)表示輸出，tmin和tmax是BReLu激活函數(shù)的邊緣常量值。BReLu激活函數(shù)如圖5所示。由圖可知，當(dāng)tmin=0且tmax不存在時(shí)，就可以退化成修正線性單元ReLu；在BReLu激活函數(shù)中，tmin和tmax都是常量，且相應(yīng)地，tmin<0，tmax>1。

圖5 BReLu激活函數(shù)圖

相應(yīng)地，神經(jīng)網(wǎng)絡(luò)模型MCCNN在網(wǎng)絡(luò)層2的卷積操作后使用BReLu作為其激活函數(shù)示意圖如圖6所示。

圖6 使用BReLu激活函數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)圖

3 實(shí)驗(yàn)結(jié)果與分析

本文中，我們有兩類不同的實(shí)驗(yàn)。一個(gè)是在不同數(shù)據(jù)集上對提出的改進(jìn)的激活函數(shù)的對比驗(yàn)證；另一個(gè)是利用第一個(gè)實(shí)驗(yàn)的驗(yàn)證結(jié)果，將改進(jìn)的激活函數(shù)放到本研究所要解決的道路井蓋識(shí)別的具體應(yīng)用上。兩個(gè)實(shí)驗(yàn)都是基于主流框架TensorFlow[11]，實(shí)驗(yàn)設(shè)備是一臺(tái)基于Tesla K40C的服務(wù)器，具體設(shè)備參數(shù)如表1所示。并且訓(xùn)練時(shí)使用Xavier初始化網(wǎng)絡(luò)參數(shù)，將AdamOptimizer[12]作為優(yōu)化器的優(yōu)化算法，softmax[13]交叉熵?fù)p失函數(shù)作為損失函數(shù)，網(wǎng)絡(luò)訓(xùn)練的其他參數(shù)還有：批處理大小(batch size)為32，輸入井蓋尺寸為208*208，最大迭代次數(shù)為1 000次，學(xué)習(xí)率為0.000 1，每經(jīng)過5 000次迭代衰減50%。表1為實(shí)驗(yàn)硬件參數(shù)。

表1 硬件參數(shù)

3.1 不同公共數(shù)據(jù)集上的驗(yàn)證

本實(shí)驗(yàn)中，我們將基于1.1所述的MCCNN的神經(jīng)網(wǎng)絡(luò)模型，以激活函數(shù)為唯一變量來在兩個(gè)典型的數(shù)(其中tmin取-0.25，tmax取2.0)據(jù)集MNIST,CIFAR-10上做對比實(shí)驗(yàn)。

3.1.1 MNIST數(shù)據(jù)集

采用的MNIST數(shù)據(jù)集[14]是由美國中學(xué)生手寫阿拉伯?dāng)?shù)據(jù)集，共有60 000個(gè)28×28維的0-9的灰度手寫數(shù)字圖片，其中50 000個(gè)樣本作為訓(xùn)練集，10 000個(gè)樣本作為測試集。在該數(shù)據(jù)集上，應(yīng)用圖1所示的MCCNN神經(jīng)網(wǎng)絡(luò)作為訓(xùn)練模型，以ReLu,MReLu,BReLu分別作為第雙層網(wǎng)絡(luò)的激活函數(shù)來驗(yàn)證不同激活函數(shù)的性能。為了觀察采用不同激活函數(shù)的網(wǎng)絡(luò)表現(xiàn)出的性能,對每次實(shí)驗(yàn)中的測試精度和損失函數(shù)進(jìn)行表統(tǒng)計(jì)。表2～3分別代表激活函數(shù)與迭代次數(shù)對應(yīng)的損失函數(shù)與精度統(tǒng)計(jì)。之所以要對損失函數(shù)進(jìn)行統(tǒng)計(jì)是因?yàn)閾p失函數(shù)是衡量數(shù)據(jù)屬于某個(gè)類別的概率,損失函數(shù)越小說明網(wǎng)絡(luò)收斂越快,而測試精度則是直觀反映網(wǎng)絡(luò)性能的量。

表2 MNIST數(shù)據(jù)集上激活函數(shù)與迭代次數(shù)對應(yīng)的損失函數(shù)值(Loss)

表3 MNIST數(shù)據(jù)集上激活函數(shù)與迭代次數(shù)對應(yīng)的損失函數(shù)值(Accuracy/%)

從表看3出,采用MReLu激活函數(shù)的網(wǎng)絡(luò)取得了最高的準(zhǔn)確率0.985 5,BReLu次之，為0.982 5，而ReLu為0.975 4。說明改進(jìn)的激活函數(shù)不僅解決了梯度消失問題,還大大提高了網(wǎng)絡(luò)的識(shí)別率。同時(shí)，從表2中可以發(fā)現(xiàn)，MReLu不僅是精度最高的，而且是收斂速度最快的，這是因?yàn)镸ReLu的輸出更接近0均值，SGD更接近Natural gradient。因此可知，我們改進(jìn)的激活函數(shù)有更高的精度和更少的損失，呈現(xiàn)出更好的性能。

3.1.2 CIFAR-10數(shù)據(jù)集

作為本實(shí)驗(yàn)的第二個(gè)數(shù)據(jù)集，我們考慮使用CIFAR-10數(shù)據(jù)集[15]。它是由CIFAR(Candian Institute For Advanced Research)收集整理的一個(gè)用于機(jī)器學(xué)習(xí)和圖像識(shí)別的數(shù)據(jù)集。該數(shù)據(jù)集包含60 000個(gè)32*32的彩色圖像，共有10類。其中50 000個(gè)訓(xùn)練圖像和10 000個(gè)測試圖像。實(shí)驗(yàn)采用的參數(shù)與網(wǎng)絡(luò)模型與MNIST數(shù)據(jù)集一樣。同理，為了觀察采用不同激活函數(shù)的網(wǎng)絡(luò)表現(xiàn)出的性能,對每次實(shí)驗(yàn)中的測試精度和損失函數(shù)進(jìn)行表統(tǒng)計(jì),并且作圖以直觀顯示。表4～5分表代表激活函數(shù)與迭代次數(shù)對應(yīng)的損失函數(shù)與精度統(tǒng)計(jì)。

從表5看出,采用,MReLu激活函數(shù)的網(wǎng)絡(luò)取得了最高的準(zhǔn)確率0.988 5,BReLu次之，為0.986 5。這兩者與準(zhǔn)確率為0.975 4的ReLu激活函數(shù)相比，有了比較明顯的提升。說明改進(jìn)的激活函數(shù)不僅解決了梯度消失問題,還大大提高了網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率。同時(shí)，從表4中可以發(fā)現(xiàn)，BReLu與MReLu的收斂速度差不多一樣快，比ReLu激活函數(shù)快一些。因此可知，我們改進(jìn)的激活函數(shù)有更高的精度和更少的損失，呈現(xiàn)出更好的性能。

3.2 井蓋數(shù)據(jù)集上的驗(yàn)證

經(jīng)過上面兩種公共數(shù)據(jù)集的驗(yàn)證，我們發(fā)現(xiàn)改進(jìn)的激活函數(shù)確實(shí)有更好的性能。因此，為了進(jìn)一步證明本結(jié)論，我們將其應(yīng)用到本文要解決的井蓋識(shí)別問題的應(yīng)用上。

3.2.1 實(shí)驗(yàn)數(shù)據(jù)

本文訓(xùn)練的樣本來源于定期從城市視頻監(jiān)控抓取的視頻流集，共有1 500路視頻，將視頻分解成幀圖片并經(jīng)過篩選后，采集其中的5 000張圖片，包含有完整井蓋、破損井蓋和井蓋丟失3種圖片。現(xiàn)將其中4 000張圖片作為訓(xùn)練集，剩下1 000張作為測試集，分類結(jié)果分為A、B、C三類，分別代表完整井蓋、破損井蓋和丟失井蓋。圖片像素作為輸入進(jìn)入MCCNN神經(jīng)網(wǎng)絡(luò)后統(tǒng)一尺寸為208*208。如圖7所示。

3.2.2 訓(xùn)練和識(shí)別過程

將訓(xùn)練集中的實(shí)驗(yàn)數(shù)據(jù)取出，然后進(jìn)行人工標(biāo)注，分為完整井蓋，井蓋缺失，井蓋破損三類。然后將標(biāo)注好的尺寸為208*208的訓(xùn)練集數(shù)據(jù)輸入到本文中以MReLu、MReLu和BReLu作為唯一變量的MCNN神經(jīng)網(wǎng)絡(luò)，然后經(jīng)過5 000次正向傳播和反向傳播的反復(fù)迭代來進(jìn)行網(wǎng)絡(luò)參數(shù)訓(xùn)練，最后得出分類結(jié)果。其中，正向傳播的作用是提取井蓋特征，反向傳播的作用是通過梯度下降的優(yōu)化算法來減少損失函數(shù)，進(jìn)而讓分類的結(jié)果接近真實(shí)值。

表4 CIFAR-10數(shù)據(jù)集上激活函數(shù)與迭代次數(shù)對應(yīng)的損失函數(shù)值(Loss)

表5 CIFAR-10數(shù)據(jù)集上激活函數(shù)與迭代次數(shù)對應(yīng)的損失函數(shù)值(Acurracy/%)

圖7 數(shù)據(jù)集內(nèi)樣本分類

3.2.3 實(shí)驗(yàn)結(jié)果分析

將井蓋圖片進(jìn)行訓(xùn)練后，3種不同井蓋類別的識(shí)別結(jié)果如表6所示，整體井蓋識(shí)別結(jié)果如表7所示，包括識(shí)別準(zhǔn)確率和損失率。

表6 不同井蓋類型識(shí)別結(jié)果

整體識(shí)別精度與損失由表7統(tǒng)計(jì)如下：

表7 井蓋識(shí)別結(jié)果

根據(jù)表6第二、四、六列的第四、五行數(shù)據(jù)，可以看出該城市中井蓋出現(xiàn)破損比井蓋丟失的情況更多；由表7激活函數(shù)ReLu、MReLu、BReLu對識(shí)別結(jié)果的準(zhǔn)確率和損失率可知，利用改進(jìn)的激活函數(shù)檢測到的井蓋丟失或者破損的精度會(huì)比ReLu激活函數(shù)更高，且收斂速度更快。由于井蓋丟失時(shí)特征比較明顯，很容易提取，比如出現(xiàn)大面積空洞，而井蓋破損程度各異，大多數(shù)沒有明顯的共同特征，所以檢測效果在ReLu、MReLu以及BReLu作為激活函數(shù)都會(huì)相比井蓋丟失情況效果稍差；完整井蓋的檢測精度是這3個(gè)識(shí)別類別中精度最高的，特別是應(yīng)用改進(jìn)的激活函數(shù)，其中BReLu達(dá)到98.56%,MReLu達(dá)到98.28%，比ReLu的96.56%高出許多。由此可見，改進(jìn)的激活函數(shù)改善了井蓋缺陷檢測的精度與性能。

4 結(jié)束語

本文研究中，提出了在道路井蓋缺陷識(shí)別的應(yīng)用中，通過用改進(jìn)的激活函數(shù)MReLu和BReLu來替代修正單元ReLu來作為非線性激活函數(shù)。實(shí)驗(yàn)證明，改進(jìn)的激活函數(shù)不僅能夠提高井蓋缺陷識(shí)別的精度，而且還能加快收斂速度。但算法仍有不足之處，例如檢測過程中出現(xiàn)的漏檢、誤檢，仍不可避免；如何改進(jìn)樣本質(zhì)量，改變網(wǎng)絡(luò)參數(shù)tmin和tmax以再提高檢測精度；此外，此算法還有一個(gè)限制，就是在網(wǎng)絡(luò)層1和網(wǎng)絡(luò)層2的激活函數(shù)不能同時(shí)使用MReLu或者BReLu,因?yàn)榈诙?、雙層的卷積操作輸出值包含大量不同的特征信息。在未來的研究中，將進(jìn)一步尋找解決這些問題的方法，以到達(dá)改善道路井蓋識(shí)別的性能。