孟格格，高強(qiáng)

(華北電力大學(xué) 電氣與電子工程學(xué)院, 河北 保定 071003)

0 引 言

在視頻監(jiān)控中，異常場(chǎng)景是不常發(fā)生的。因此，通過人工長(zhǎng)時(shí)間監(jiān)視圖像信息，以便發(fā)現(xiàn)異常情況，但這樣很容易產(chǎn)生疲勞，對(duì)一些異常情況也難以及時(shí)準(zhǔn)確地做出判斷，降低了視頻監(jiān)控系統(tǒng)的建設(shè)意義。實(shí)際中，應(yīng)自動(dòng)分析視頻內(nèi)容，檢測(cè)實(shí)際場(chǎng)景中的異常事件，從而實(shí)現(xiàn)監(jiān)控的智能化和高效化。在電力系統(tǒng)中，已建立了大量的視頻監(jiān)控系統(tǒng)，如何實(shí)現(xiàn)對(duì)變電站異常情況的自動(dòng)檢測(cè)，如輸電線路或變電站冒煙、著火，限制、危險(xiǎn)區(qū)域有人員進(jìn)入等具有很大意義。國(guó)內(nèi)外對(duì)異常場(chǎng)景的研究，更多的是針對(duì)特定問題提取特征描述，采用分層模型以及訓(xùn)練算法等[1]實(shí)現(xiàn)檢測(cè)。通過機(jī)器學(xué)習(xí)使計(jì)算機(jī)模仿人類從實(shí)例中學(xué)習(xí)的能力進(jìn)行數(shù)據(jù)分析和建模，使它能夠?qū)ξ粗敵鲎龀霰M可能正確的預(yù)測(cè)[2]。文獻(xiàn)[3]將模式識(shí)別技術(shù)應(yīng)用在變電站視頻監(jiān)控中，實(shí)現(xiàn)了對(duì)無(wú)人值守變電站監(jiān)控視頻異常模式的識(shí)別。文獻(xiàn)[4]將視頻前后幀之間的相關(guān)性應(yīng)用在視頻監(jiān)控中，提高對(duì)人臉識(shí)別算法的穩(wěn)定性。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一個(gè)新的研究領(lǐng)域，通過深度學(xué)習(xí)的方法構(gòu)建深度網(wǎng)絡(luò)來抽取特征是目前圖像識(shí)別中得到關(guān)注的研究方向。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)作為深度學(xué)習(xí)的一種，被廣泛應(yīng)用在圖像識(shí)別中，當(dāng)訓(xùn)練樣本充足時(shí)，CNN在一些模式識(shí)別任務(wù)上表現(xiàn)出了優(yōu)越的性能，但訓(xùn)練樣本稀少時(shí)，難以達(dá)到預(yù)期的效果。因此研究卷積神經(jīng)網(wǎng)絡(luò)的小樣本處理策略是非常必要的[5]。在監(jiān)控場(chǎng)景下，絕大部分內(nèi)容屬于正常場(chǎng)景，對(duì)異常場(chǎng)景的檢測(cè)屬于小樣本識(shí)別問題。在小樣本情況下，文獻(xiàn)[6]設(shè)計(jì)一種深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)對(duì)火災(zāi)圖像深層次特征的自動(dòng)提取，并提出一種參數(shù)替換方法，大大提高識(shí)別率。文獻(xiàn)[7]針對(duì)傳統(tǒng)的基于稀疏表示的人臉識(shí)別方法，對(duì)類內(nèi)變化魯棒性不強(qiáng)的問題，從特征的層面入手，利用深度卷積神經(jīng)網(wǎng)絡(luò)提取對(duì)類內(nèi)變化不敏感的人臉特征，然后通過稀疏表示對(duì)所得人臉特征進(jìn)行表達(dá)分類。

在對(duì)正常、異常場(chǎng)景的識(shí)別中，兩種場(chǎng)景識(shí)別錯(cuò)誤對(duì)我們?cè)斐傻挠绊懯遣煌?，不能僅追求總體識(shí)別率。在允許對(duì)正常場(chǎng)景有一定誤判的前提下，要求對(duì)異常場(chǎng)景的漏判率越低越好。多層、多級(jí)網(wǎng)絡(luò)結(jié)構(gòu)已經(jīng)被提出且得到應(yīng)用，如文獻(xiàn)[8]將多個(gè)神經(jīng)網(wǎng)絡(luò)和不同特征提取方法有機(jī)地結(jié)合集成在一起，而構(gòu)成多級(jí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，提高網(wǎng)絡(luò)對(duì)樣本的識(shí)別率，文獻(xiàn)[9]通過第一級(jí)神經(jīng)網(wǎng)絡(luò)剔除無(wú)效數(shù)據(jù)，再將有效數(shù)據(jù)輸入第二級(jí)神經(jīng)網(wǎng)絡(luò)得到更精準(zhǔn)的聲源坐標(biāo)。但通過分層來更好實(shí)現(xiàn)對(duì)小樣本識(shí)別的研究卻很少，基于此，依據(jù)小樣本信息，引入置信度的概念，提出多層卷積神經(jīng)網(wǎng)絡(luò)(Multilayer Convolutional Neural Network，M_CNN)模型，在上一層訓(xùn)練中難以識(shí)別的樣本進(jìn)入下一層，重新進(jìn)行特征的提取以及識(shí)別。在MNIST手寫體庫(kù)上的實(shí)驗(yàn)表明，該模型在針對(duì)小樣本識(shí)別問題時(shí)，具有更好的性能。最后，將該模型應(yīng)用在變電站異常場(chǎng)景識(shí)別中，取得了良好的效果。

1 多層卷積神經(jīng)網(wǎng)絡(luò)模型

卷積神經(jīng)網(wǎng)絡(luò)分類器一般為全連接人工神經(jīng)網(wǎng)絡(luò)，其中，使用比較廣泛的是softmax分類器。在多分類問題中，數(shù)據(jù)的類別標(biāo)簽y的取值為k個(gè)，對(duì)于給定的輸入數(shù)據(jù)x，估算出對(duì)于每一個(gè)類別j(j=1,2,……,k)的概率值P(y=j|x)。即想估計(jì)x作為輸入出現(xiàn)時(shí)，每一種分類結(jié)果出現(xiàn)的概率。

(1)

式中θ指網(wǎng)絡(luò)訓(xùn)練好的參數(shù)。在卷積神經(jīng)網(wǎng)絡(luò)的輸出層中，選取概率值最大的類別j作為分類的結(jié)果，在樣本分類中，由于樣本特征提取不完全或者網(wǎng)絡(luò)參數(shù)調(diào)整不佳會(huì)導(dǎo)致誤判。對(duì)于某輸入樣本而言，其屬于某類別j的概率值越大，分類的準(zhǔn)確性就越高。MNIST手寫體庫(kù)測(cè)試結(jié)果如下，圖1代表錯(cuò)誤識(shí)別樣本的樣本號(hào)以及對(duì)應(yīng)的最大概率值，圖2代表正確識(shí)別樣本的樣本號(hào)以及對(duì)應(yīng)的最大概率值，圖中橫線均代表最大概率值的平均值。

圖1 錯(cuò)誤識(shí)別樣本散點(diǎn)圖

圖2 正確識(shí)別樣本散點(diǎn)圖

由圖1和圖2可以看出正確識(shí)別樣本其最大概率值的平均值要遠(yuǎn)大于錯(cuò)誤識(shí)別樣本最大概率值的平均值。說明樣本特征空間離某類越近，越能被訓(xùn)練好的網(wǎng)絡(luò)正確的識(shí)別。反之，若與任何一類的距離都較遠(yuǎn)，則不能被所訓(xùn)練好的模型識(shí)別。由此，根據(jù)網(wǎng)絡(luò)對(duì)樣本的輸出信息并結(jié)合置信度的概念，設(shè)計(jì)一個(gè)置信度判決函數(shù)，滿足判決條件的，直接識(shí)別輸出，不滿足條件的樣本，進(jìn)入下一層，用這些樣本來訓(xùn)練新的網(wǎng)絡(luò)結(jié)構(gòu)，并進(jìn)行識(shí)別判決。系統(tǒng)結(jié)構(gòu)如圖3所示。

圖3 多層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

2 置信度判決函數(shù)

文獻(xiàn)[10]在CNN中加入置信度機(jī)制的研究，采用美國(guó)stanford大學(xué)統(tǒng)計(jì)學(xué)教授Efron提出的用于統(tǒng)計(jì)推斷的方法Bootstrap來估計(jì)置信區(qū)間。文獻(xiàn)[11]則指出，用Bootstrap方法產(chǎn)生的隨機(jī)樣本是有偏差的，在小樣本情況時(shí)要慎用該方法。文章依據(jù)奈曼皮爾遜準(zhǔn)則提出的統(tǒng)計(jì)學(xué)的假設(shè)檢驗(yàn)中存在著兩類錯(cuò)誤，根據(jù)不同的情況，這兩類錯(cuò)誤對(duì)結(jié)果的影響也不同。在根據(jù)兩類不同錯(cuò)誤對(duì)檢驗(yàn)結(jié)果的重要性的基礎(chǔ)上，預(yù)先定下其中一類錯(cuò)誤的風(fēng)險(xiǎn)概率，求出適當(dāng)?shù)呐袆e界。在對(duì)正常、異常場(chǎng)景分類中，將正常場(chǎng)景識(shí)別為異常場(chǎng)景，屬于“誤判”，這時(shí)，人工只需忽略這些誤判的情況，如果將異常場(chǎng)景識(shí)別為正常場(chǎng)景，屬于“漏判”，將無(wú)法在第一時(shí)間去制止事故的進(jìn)一步惡化。因此，要能夠以非常高的置信度給出對(duì)異常樣本檢測(cè)的結(jié)果，即先給出置信度，根據(jù)置信度算出判決門限。根據(jù)奈曼皮爾遜準(zhǔn)則，其漏判概率為：

(2)

式中ZT指判決門限；f(x)指概率密度函數(shù)。在實(shí)際中，對(duì)于小樣本情況，很難得到概率密度的顯式表達(dá)式，因而只能以其統(tǒng)計(jì)特性來確定最優(yōu)門限值。假定網(wǎng)絡(luò)對(duì)異常樣本輸出的最大概率值服從均值為μ，方差為σ2的正態(tài)分布，如果給定漏檢率，則可反推得到門限值。在該模型中，如設(shè)定漏檢率為0.01，根據(jù)正態(tài)分布查表可得：

ZT=0.504×σ+μ

(3)

實(shí)際中，網(wǎng)絡(luò)對(duì)小樣本輸出值的分布未必嚴(yán)格服從正態(tài)分布，所以，將其門限值定義為：

ZT=0.504×σ+μ+ρ

(4)

式中ρ是修正量，對(duì)應(yīng)不同類型樣本，ρ的取值不同。

3 標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)的實(shí)驗(yàn)驗(yàn)證

MNIST手寫體數(shù)據(jù)庫(kù)作為常用的標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)之一，共包含70 000張0～9的圖片，每類7 000張，圖片的分辨率為28×28。為驗(yàn)證文中算法對(duì)小樣本數(shù)據(jù)識(shí)別的有效性，通過以下實(shí)驗(yàn)來觀察其算法的性能。網(wǎng)絡(luò)訓(xùn)練過程如下：(1)初始化第一層網(wǎng)絡(luò)參數(shù)，將訓(xùn)練集樣本X作為CNN網(wǎng)絡(luò)的輸入，逐層訓(xùn)練得到網(wǎng)絡(luò)的輸出，由代價(jià)函數(shù)得到網(wǎng)絡(luò)的誤差，并通過反向傳播算法進(jìn)行權(quán)值的修正；(2)對(duì)訓(xùn)練集X的樣本進(jìn)行測(cè)試，并進(jìn)行置信度判決，選出其中不滿足置信度條件的樣本組成新的訓(xùn)練集X1；(3)用X1訓(xùn)練第二層網(wǎng)絡(luò)，重復(fù)(1)、(2)直到該層樣本中的小樣本識(shí)別率達(dá)到最好，得到M_CNN模型；(4)對(duì)測(cè)試集的樣本進(jìn)行分類，不滿足該層網(wǎng)絡(luò)置信度條件的樣本進(jìn)入下一層網(wǎng)絡(luò)進(jìn)行分類，統(tǒng)計(jì)各層錯(cuò)誤識(shí)別樣本之和，得到M_CNN模型分類的正確率，并統(tǒng)計(jì)各層對(duì)小樣本圖像識(shí)別情況，得到識(shí)別率。

從MNIST手寫體庫(kù)中選取三類樣本，前兩類樣本數(shù)均為1 000，在第三類樣本分別選50, 100, 150, 200的前提下，對(duì)整體測(cè)試集的識(shí)別率以及對(duì)小樣本集的識(shí)別率比較如表1所示。

表1 小樣本數(shù)量變化對(duì)識(shí)別率的影響

由表1可以看出，多層卷積神經(jīng)網(wǎng)絡(luò)模型從識(shí)別率而言，與傳統(tǒng)CNN模型相差不大，但由于在每層訓(xùn)練時(shí)依據(jù)小樣本信息設(shè)置置信度，將不滿足置信度條件的樣本送入下一層進(jìn)行重新訓(xùn)練與識(shí)別，增大了對(duì)小樣本的識(shí)別率。在實(shí)驗(yàn)中，傳統(tǒng)CNN模型對(duì)小樣本集的識(shí)別率隨訓(xùn)練集中小樣本數(shù)目的上升呈上升趨勢(shì)，最后穩(wěn)定在94%，而M_CNN模型對(duì)小樣本的識(shí)別率能達(dá)到100%。尤其在小樣本數(shù)目較少時(shí)，傳統(tǒng)CNN模型對(duì)小樣本識(shí)別較差但所提出的模型已能對(duì)小樣本實(shí)現(xiàn)很好的識(shí)別。

4 變電站異常場(chǎng)景識(shí)別的研究

上述實(shí)驗(yàn)證明文中模型在針對(duì)小樣本識(shí)別時(shí)是非常有效的。在變電站監(jiān)控場(chǎng)景中，異常場(chǎng)景的出現(xiàn)屬于小樣本事件，下面將M_CNN模型應(yīng)用于實(shí)際的變電站異常場(chǎng)景識(shí)別中。

4.1 變電站正常異常場(chǎng)景數(shù)據(jù)庫(kù)的建立

采集不同變電站正常運(yùn)行狀態(tài)下的圖像作為正常樣本，變電站中線路出現(xiàn)冒煙、起火，禁區(qū)有人闖入作為異常樣本，用于對(duì)變電站異常場(chǎng)景的識(shí)別。該數(shù)據(jù)庫(kù)共有2 000個(gè)樣本，包括1 500幅正常場(chǎng)景的圖像和500幅異常場(chǎng)景的圖像。庫(kù)中部分正常場(chǎng)景和異常場(chǎng)景樣本如圖4、圖5所示。

圖4 部分正常場(chǎng)景樣本

圖5 部分異常場(chǎng)景樣本

4.2 變電站異常場(chǎng)景識(shí)別的實(shí)驗(yàn)

4.2.1 識(shí)別過程

實(shí)驗(yàn)從1 500張正常場(chǎng)景照片中隨機(jī)選取1 200來訓(xùn)練，剩下的300張作為測(cè)試樣本，同樣，從異常場(chǎng)景照片中隨機(jī)選取400張來訓(xùn)練，剩下100張作為測(cè)試樣本。將樣本大小歸一化為64×64，作為網(wǎng)絡(luò)的輸入。由于樣本數(shù)較少，為保證每層訓(xùn)練集樣本的個(gè)數(shù)，采用兩層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，具體訓(xùn)練過程如下：(1)初始化網(wǎng)絡(luò)參數(shù)，第一層、第二層網(wǎng)絡(luò)結(jié)構(gòu)分別為：2C-(2×2)S-4C-(2×2)S-100F；4C-(2×2)S-8C-(2×2)S-100F，用訓(xùn)練集樣本x來進(jìn)行第一層網(wǎng)絡(luò)的訓(xùn)練；(2)對(duì)訓(xùn)練集樣本進(jìn)行測(cè)試，計(jì)算置信度，不滿足條件的樣本組成新的訓(xùn)練集x1；(3)用x1訓(xùn)練第二層網(wǎng)絡(luò)，得到兩層卷積神經(jīng)網(wǎng)絡(luò)模型；(4)對(duì)測(cè)試集樣本進(jìn)行分類，不滿足第一層置信度條件的樣本進(jìn)入第二層網(wǎng)絡(luò)進(jìn)行測(cè)試，統(tǒng)計(jì)兩層錯(cuò)誤樣本個(gè)數(shù)和對(duì)異常場(chǎng)景識(shí)別情況，計(jì)算識(shí)別率。

4.2.2 實(shí)驗(yàn)結(jié)果

在4.2.1參數(shù)的基礎(chǔ)上，CNN模型和M_CNN模型對(duì)訓(xùn)練樣本和測(cè)試樣本的識(shí)別率如表2所示，其中，識(shí)別率均取自對(duì)網(wǎng)絡(luò)訓(xùn)練至收斂時(shí)的結(jié)果。除此，為了驗(yàn)證M_CNN模型在識(shí)別小樣本時(shí)的有效性，本實(shí)驗(yàn)將M_CNN模型與文獻(xiàn)[12]的CConvNet模型、文獻(xiàn)[13]的3_CNN模型和文獻(xiàn)[14]的DCNN模型進(jìn)行對(duì)比。對(duì)于3_CNN和DCNN，分別與文中的M_CNN模型相結(jié)合，在第一層中，采取3_CNN、DCNN模型的結(jié)構(gòu)，不滿足置信度判決條件的樣本用于進(jìn)行下一層網(wǎng)絡(luò)的訓(xùn)練，形成多層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。其中，識(shí)別率包括對(duì)訓(xùn)練集和測(cè)試集的識(shí)別率，以及對(duì)訓(xùn)練集和測(cè)試集中異常樣本的識(shí)別率。

表2 不同算法識(shí)別率比對(duì)表

由表2可以看出，不同模型對(duì)訓(xùn)練集樣本的識(shí)別率均高于對(duì)測(cè)試集樣本的識(shí)別率，對(duì)異常樣本的識(shí)別情況也如此。在對(duì)訓(xùn)練集樣本的識(shí)別中，單層模型(如CNN、CConvNet、3_CNN、DCNN)對(duì)異常樣本識(shí)別較差，尤其是3_CNN模型，對(duì)訓(xùn)練集中異常樣本的識(shí)別率僅有30.25%，M_CNN模型在針對(duì)樣本數(shù)較少的異常場(chǎng)景識(shí)別時(shí)，表現(xiàn)出巨大的優(yōu)越性(能實(shí)現(xiàn)對(duì)異常場(chǎng)景的100%識(shí)別)，除此，M_CNN模型對(duì)訓(xùn)練集整體的識(shí)別率也要優(yōu)于單層模型。在對(duì)測(cè)試集樣本的識(shí)別中，M_CNN模型的識(shí)別率也明顯優(yōu)于單層模型，3_CNN+M_CNN模型對(duì)測(cè)試集整體識(shí)別率最高，可達(dá)到88%且優(yōu)于M_CNN模型的識(shí)別率(86.25%)，但由于其模型復(fù)雜，訓(xùn)練時(shí)間長(zhǎng)，而且我們更關(guān)注的是對(duì)異常場(chǎng)景的識(shí)別，在多層模型的前提下，均能實(shí)現(xiàn)對(duì)異常樣本的100%識(shí)別。

5 結(jié)束語(yǔ)

文中對(duì)變電站異常場(chǎng)景的識(shí)別進(jìn)行了研究，結(jié)合奈曼皮爾遜準(zhǔn)則，提出了一種針對(duì)提升小樣本識(shí)別率的多層卷積神經(jīng)網(wǎng)絡(luò)模型，簡(jiǎn)稱M_CNN模型。依據(jù)網(wǎng)絡(luò)對(duì)小樣本的識(shí)別情況，設(shè)置置信度判決函數(shù)，對(duì)不滿足條件的樣本，重新進(jìn)行特征的提取以及網(wǎng)絡(luò)的訓(xùn)練，更符合人在識(shí)別物體時(shí)的習(xí)慣。因此，M_CNN模型可以有效的提高對(duì)小樣本的識(shí)別率。MNIST手寫體庫(kù)的實(shí)驗(yàn)表明，在小樣本數(shù)較少時(shí)，M_CNN模型就能對(duì)小樣本實(shí)現(xiàn)很好的識(shí)別。將M_CNN模型應(yīng)用在變電站異常場(chǎng)景識(shí)別中，也達(dá)到了較好的效果。