王 告

（中冶華天工程技術(shù)有限公司 互聯(lián)網(wǎng)+研究院，江蘇 南京 210000）

0 引言

工業(yè)廢水處理［1］一直是當前以及未來的重點研究領域，污泥沉降比（SV）是指將曝氣池活性污泥混合液倒進量筒中至滿刻度，靜置一段時間后沉淀污泥和混合液的體積比，在活性污泥法運行中，污泥沉降比是需要測定的主要項目。傳統(tǒng)的污泥沉降比檢測以人工為主，工作量大且不可控，會對結(jié)果會造成不可統(tǒng)計的誤差。神經(jīng)網(wǎng)絡技術(shù)目前廣泛應用于圖像處理領域，Lou 等［2］通過分析污水處理工藝并結(jié)合人工神經(jīng)網(wǎng)絡和數(shù)學回歸分析法建造污泥容積指的數(shù)據(jù)驅(qū)動模型，該方法可極大提高計算精度，但是數(shù)據(jù)驅(qū)動模型的大部分輸入?yún)?shù)本身就不易測量，從而導致其應用性大為降低?；诖植诩?BP 神經(jīng)網(wǎng)絡的污泥測量模型得以改進［3］，在一定程度上改善了神經(jīng)網(wǎng)絡性能，但不能實現(xiàn)測量的實時性。郭曉燕［4］利用改進粒子群算法優(yōu)化RBF 神經(jīng)網(wǎng)絡對污泥容積指進行預測，并用實驗數(shù)據(jù)證明了有效性，此方法是RBF 神經(jīng)網(wǎng)絡的一種嘗試，雖然展現(xiàn)了很好的預測效果，但是每次實驗都需要調(diào)整輔助變量值且無法做到實時性。針對以上研究方法中出現(xiàn)的問題，本文以傳統(tǒng)的LeNet-5 神經(jīng)網(wǎng)絡為研究對象，參考Inception-V3 網(wǎng)絡搭建特點對其進行改進，訓練之前先對數(shù)據(jù)集進行預處理，再對目標進行顏色閾值判定，并在訓練過程中提出一種輕量化特征重用網(wǎng)絡模型和正則分類，經(jīng)過大量實驗調(diào)參和測試，最終準確率可達96%以上，實驗中以100 張圖片作為實驗對象，結(jié)果統(tǒng)計每張圖片的平均識別時間只需要0.46s，實時性問題也得到滿足。

1 LeNet-5神經(jīng)網(wǎng)絡

LeNet-5［5］模型于1998 年被提出，它是第一個成功應用于數(shù)字識別問題的卷積神經(jīng)網(wǎng)絡。LeNet-5 模型總共有7層，模型結(jié)構(gòu)如圖1所示。

Fig.1 Network structure of LeNet-5圖1 LeNet-5網(wǎng)絡結(jié)構(gòu)

LeNet-5 神經(jīng)網(wǎng)絡包含1 個輸入層、3 個卷積層、2 個池化層以及1 個全連接層。每層都包含可訓練參數(shù)，每個層有多個Feature Map，每個FeatureMap 通過一種卷積濾波器提取輸入的一種特征，由于LeNet-5 神經(jīng)網(wǎng)絡是最早應用于數(shù)字識別的網(wǎng)絡，并且對于單個數(shù)字的識別效果可達99%以上。由于本次實驗需要研究的是量筒上的數(shù)字識別，因此對該網(wǎng)絡進行改進并完成測試可以不破壞原有網(wǎng)絡結(jié)構(gòu)，將并聯(lián)搭建方式引入網(wǎng)絡，并根據(jù)訓練集的種類和數(shù)量進行層數(shù)擴充，然后進行參數(shù)優(yōu)化從而得到最優(yōu)訓練結(jié)果。

1.1 LeNet-5模型優(yōu)化

傳統(tǒng)的神經(jīng)網(wǎng)絡改進算法中，一般都是以串聯(lián)的方式增加卷積層池化層，這樣造成的后果是不但準確率不會有太大改善而且增加了網(wǎng)絡訓練時間。本文參考Inceptionv3［6］網(wǎng)絡搭建特點，將并聯(lián)式搭建理論引入LeNet-5 神經(jīng)網(wǎng)絡中，提高了神經(jīng)網(wǎng)絡獲取多維特征的能力，而且由于并聯(lián)式特征提取可以有效地減少梯度消失問題，增強了模型的健壯性。結(jié)合訓練集的數(shù)量及所分種類，最終將LeNet-5 神經(jīng)網(wǎng)絡由7 層擴充到14 層，將串聯(lián)和并聯(lián)方式進行組合，并且對于卷積核的尺寸和個數(shù)也作了改進，具體改進內(nèi)容如下：①傳統(tǒng)的LeNet-5 神經(jīng)網(wǎng)絡只有7 層，本文改進后的網(wǎng)絡深度提高到14 層，并采用Dropout 策略減少由于訓練參數(shù)過多而導致的過擬合現(xiàn)象；②使用BN 層，BN 層［7］的作用是對數(shù)據(jù)集進行歸一化處理，解決內(nèi)部變量轉(zhuǎn)換從而改善前向傳播過程中的梯度消失問題；③對網(wǎng)絡結(jié)構(gòu)增加了兩個并聯(lián)層，增強了復雜圖片特征提取能力，增強了模型健壯性；④對于激活函數(shù)的選取，LeNet-5神經(jīng)網(wǎng)絡的激活函數(shù)是Sigmoid，在反向傳播過程中會出現(xiàn)導數(shù)為0 的情況，會導致誤差無法向前傳播，因此只能完成淺層次學習。ReLU 激活函數(shù)［8］反向傳播過程中可以很快地將梯度傳輸?shù)缴蠈泳W(wǎng)絡，加快收斂速度。

在卷積核數(shù)量和類別選取上。傳統(tǒng)的LeNet-5 神經(jīng)網(wǎng)絡選擇5*5 的卷積核，對于多維特征難以完整提取出來。為此，本文將5*5 卷積核替換為兩個3*3，并且將3*3 的卷積核轉(zhuǎn)變?yōu)?*3 和3*1 之間的組合進行表示，提高網(wǎng)絡對特征獲取的能力［9］。

改進后的LeNet-5神經(jīng)網(wǎng)絡模型如圖2所示。

Fig.2 Improved network structure圖2 改進后的網(wǎng)絡結(jié)構(gòu)

如圖2 所示，修改后的神經(jīng)網(wǎng)絡中一共包含14 層，增加了兩個并聯(lián)結(jié)構(gòu)Inception 層，提高了獲取多維特征的能力。并聯(lián)層結(jié)構(gòu)如圖3所示。

Fig.3 Schematic diagram of parallel layer structure圖3 并聯(lián)層結(jié)構(gòu)

如圖3 所示，Inception 層主要包含3 個卷積層和1 個池化層，卷積核conv_filter1、conv_filter2、conv_filter3 尺寸分別為1*1、3*3 和5*5，卷積核以并聯(lián)的形式進行連接，并且在每個卷積核與1*1 進行組串聯(lián)。以往研究結(jié)果表明，1*1 的卷積核可以很好地降低模型參數(shù)。并聯(lián)的方式打破了傳統(tǒng)直接增加深度造成的過擬合問題，并且可以很好地增強多維特征提取能力，提高實驗準確度。

1.2 模型正則

對于每一個訓練examplex，模型計算每個Labelk∈{1...K}的概率為：p(k|x)=，其中zi是logits或未歸一化的對數(shù)概率［10］。訓練集上單個example標簽的實際概率分布（Ground-TruthDistribution）進行歸一化處理：，為了簡潔計算，忽略p和q對x的依賴。定義單個example上 的crossentropy為l=最小化crossentropy等價于最大化一個標簽的對數(shù)極大似然值的期望（expectedlog-likelihoodofalabel），這里標簽根據(jù)q(k)選擇。crossentropy損失函數(shù)關于logitszk處處可微，因此可以使用梯度下降訓練深度網(wǎng)絡。其梯度有一個相當簡單的形式：=p(k) -q(k)，其范圍為-1～1。

對于一個真實的標簽：對于所有k/=y的情況，要求q(y)=1。在這種情況下，最小化交叉熵［11］等價于最大化正確標簽的對數(shù)似然。對于一個標簽為y的examplex，最大化q(k)=δk，y時的對數(shù)似然，這里q(k)=δk，y是狄拉克δ函數(shù)。在k=y時，狄拉克函數(shù)等于1，其余等于0。通過訓練，正確logit的zy應該遠大于其他zk(z/=y)，zy一般取值較大，但是容易引起過擬合：如果模型學習將所有概率分配到真實標簽的邏輯單元上，泛化是沒有保證的。鼓勵最大logit和其他logit的差異（KL距離）越大越好，結(jié)合有界梯度（doundedgradient），降低了模型適應能力。直覺上，適應能力降低的原因應該是模型對其預測太過于自信。如果目標是最大化訓練標簽的對數(shù)似然，那這很可能不是預期所需，它對模型進行了正則并且使得模型的適應性更強?？紤]一個獨立于訓練examplex的標簽分布u(k)，和一個smoothing參數(shù)?。對于一個訓練標簽為y的example，替代標簽分布q(k|x)=δk，y為：

新的分布是原始標簽分布和一個指定分布u(k)的混合，兩部分的權(quán)重為1 -?。使用標簽的先驗分布作為u(k)=1/K，LSR 的另一種損失函數(shù)可以通過研究交叉熵損失函數(shù)獲得：

等價于用一對損失函數(shù)H(q，p)和H(u，p)代替單個損失函數(shù)H(q，p)。損失函數(shù)的第二項懲罰了預測標簽的分布和先驗分布u的偏差with相對權(quán)重。因 為H(u，p)=DKL(u∣p) +H(u)，所以該偏差可以被KL散度捕獲。當u是均勻分布時，H(u，p)衡量的是預測分布p和均勻分布之間的相似性，該相似性可用負熵-H(p)加以衡量。

2 實驗過程

2.1 實驗流程

本次實驗采用的設備包括顯示器、工作臺、計算機和海康威視攝像頭，具體實驗流程如圖4所示。

Fig.4 Experimental process圖4 實驗流程

（1）數(shù)據(jù)采集。通過現(xiàn)場人員在廢水池中取得，每次實驗將將1 000ml 廢水置于量筒中作為實驗對象，利用?？低暠O(jiān)測0～30min內(nèi)污泥沉降比變化。

部分數(shù)據(jù)集展示如圖5所示。

Fig.5 Partial training dataset display圖5 部分訓練集展示

（2）圖像處理。主要是圖像預處理，由于圖像背景固定，因此預處理重點主要包含目標增強［12］、裁剪、濾波二值等，以更好地突出目標。

（3）區(qū)間判定。計算目標在圖像中的高度，通過顏色閾值判定及比例確定污泥所處的大致區(qū)間。

（4）圖像訓練。將處理后的訓練集圖像放進改進后的神經(jīng)網(wǎng)絡中進行訓練，通過大量實驗調(diào)參，優(yōu)化模型參數(shù)。

（5）圖像分類。將測試圖片進行模型預測，得到分類結(jié)果。

2.2 實驗結(jié)果

基于深度學習的污泥沉降比檢測主要是對傳統(tǒng)的LeNet-5 神經(jīng)網(wǎng)絡進行合理的擴充和優(yōu)化以完成圖片分類。本文將此次研究的15 類刻度標尺圖片以7∶2∶1 的形式算出的訓練集、驗證集和測試集的數(shù)量全部投入訓練，并得出梯度及損失函數(shù)變化如圖6所示。

Fig.6 Gradient and loss function change圖6 梯度及損失函數(shù)變化

根據(jù)實驗結(jié)果可知，改進后的神經(jīng)網(wǎng)絡訓練105輪梯度和損失函數(shù)已經(jīng)趨于穩(wěn)定。最終測試準確率可達96%以上，測試集訓練過程展示如圖7所示。

Fig.7 Training process display圖7 訓練過程展示

由于本次使用的數(shù)據(jù)集對背景干擾未做太大處理，且拍攝角度有反光，因此肉眼所見效果不佳，但是由于訓練集和測試集都處于同一環(huán)境，在標簽確定下的情況，系統(tǒng)仍然可以對圖片進行很好的分類識別?；贑/S 結(jié)構(gòu)［13］，借助后端語言Python 和Django 框架搭建系統(tǒng)并進行顯示，隨機挑選一張圖片的測試結(jié)果如圖8所示。

Fig.8 Identification results of sludge sedimentation ratio圖8 污泥沉降比識別結(jié)果

識別結(jié)果展示中，左邊為系統(tǒng)對圖片的識別預測，一共設有4 個值，分別是590ml、600ml、580ml、540ml 以及對應的概率，概率最大的值則被認為是該量筒的讀數(shù)，右邊為該污泥的照片?？梢钥闯?，該系統(tǒng)很好地識別出了讀數(shù)，雖然有反光影響，但是由于訓練時增加了該環(huán)境下的訓練集，因此當測試集出現(xiàn)這種情況時系統(tǒng)依然可以準確識別出來。為了驗證準確率，分別選取原神經(jīng)網(wǎng)絡、改進后的神經(jīng)網(wǎng)絡、AlexNet 和Vgg-16 4 種網(wǎng)絡進行實驗，在100、150、200的測試集進行測試，結(jié)果統(tǒng)計如表1所示。

Table 1 Recognition rate statistics表1 識別率統(tǒng)計

結(jié)果表明，改進后的神經(jīng)網(wǎng)絡對測試集的識別準確率基本維持在97%左右，在4 種神經(jīng)網(wǎng)絡的對比實驗中，改進后的神經(jīng)網(wǎng)絡的識別率高于其他3 種，與Vgg-16 接近，但是Vgg-16 網(wǎng)絡復雜、訓練難度大，無疑會增加訓練成本。因此性能上還是改進后的網(wǎng)絡更加滿足條件，并且隨著數(shù)據(jù)集的增大，準確率可以保持穩(wěn)定，模型健壯性也有所增強。

3 結(jié)語

本文提出了基于改進的LeNet-5 的神經(jīng)網(wǎng)絡污泥沉降比檢測研究，通過參考Inception-v3 網(wǎng)絡搭建特點對LeNet-5 神經(jīng)網(wǎng)絡進行改進，引入并聯(lián)式搭建理論提高模型并行獲取特征的能力，并在訓練過程中引入輕量化特征重用網(wǎng)絡模型和正則分類器模式消除訓練過程中Label-Dropout 的邊緣效應。經(jīng)過大量實驗結(jié)果表明，在相同數(shù)據(jù)集上改進的神經(jīng)網(wǎng)絡識別率達97.2%，遠高于原網(wǎng)絡訓練結(jié)果。雖然此次訓練集背景并未對背景多做處理，但是使用深度學習的方法仍然可以準確加以識別。后續(xù)將繼續(xù)參考其他神經(jīng)網(wǎng)絡搭建特點對該網(wǎng)絡進行優(yōu)化［14］，并且對數(shù)據(jù)集進行增強處理［15］，提高訓練速度和準確率，實現(xiàn)在其他復雜環(huán)境下真正意義的智能化操作。