沈慧 王森妹

摘? 要：本文針對視頻圖像中顯著性檢測存儲量大、計算復雜等特點，提出了一種結(jié)合卷積的Hopfield神經(jīng)網(wǎng)絡(luò)的深度學習模型。利用Hopfield網(wǎng)絡(luò)在序列圖像處理上的優(yōu)勢，處理視頻信息中的能更好地結(jié)合上下文關(guān)系和時序信息提取運動目標的特征。將Hopfield的循環(huán)反饋與卷積結(jié)合起來，以在空間上更好地提取運動目標。將傳統(tǒng)的Hopfield網(wǎng)絡(luò)的全連接轉(zhuǎn)換為局部連接的Hopfield網(wǎng)絡(luò)。用局部連接的HNN作為門控RNN的主要部分代替區(qū)域框，并與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合起來進行顯著性檢測，然后結(jié)合到darknet框架下進行視頻運動目標檢測。在VIVD數(shù)據(jù)集下驗證顯示，針對視頻中的運動目標，在無須提前訓練和標記的情況下能獲得較好的檢測結(jié)果。

關(guān)鍵詞：局部連接;卷積Hopfield神經(jīng)網(wǎng)絡(luò);運動目標檢測;視頻圖像

中圖分類號：TP18;TP391.41 ? ? 文獻標識碼：A 文章編號：2096-4706（2019）09-0074-04

0? 引? 言

在基于計算機視覺與攝像頭的物體檢測中，卷積神經(jīng)網(wǎng)絡(luò)是一種適合輸入信號為連續(xù)值的神經(jīng)網(wǎng)絡(luò)，本文擬采用局部連接的Hopfield神經(jīng)網(wǎng)絡(luò)（循環(huán)神經(jīng)網(wǎng)絡(luò)的一種）與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，針對視頻圖像中的目標進行提取與顯示，將空間結(jié)構(gòu)與時間流動結(jié)合起來，較大速率下提取較為精確的顯著性目標。其最大創(chuàng)新之處在于，改進傳統(tǒng)的HNN與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合，用深度學習的方法[1，2]做顯著性目標檢測，結(jié)構(gòu)相對簡單，檢測效果較好。將神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像檢測，將神經(jīng)元的每個節(jié)點的模擬狀態(tài)值用來標注每個像元的狀態(tài)，由領(lǐng)域的相關(guān)信息推出像元的值，確定空間上下文連續(xù)性，并結(jié)合數(shù)據(jù)的連續(xù)性獲得有領(lǐng)域影響并有自身反饋的信息，當能量最小的時候得到最優(yōu)解。模擬HNN的收斂過程，用能量函數(shù)收斂到的最小化來表示最后穩(wěn)態(tài)標記像元的變化大小，而結(jié)合了卷積的計算，將更能使目標之間的差異顯示出來，從而能夠更好地提取特征。

1? 架構(gòu)

1.1? 局部連接的Hopfield網(wǎng)絡(luò)

Hopfield神經(jīng)網(wǎng)絡(luò)是有反饋的神經(jīng)網(wǎng)絡(luò)，由其輸出端反饋到輸入端并影響輸出，因此是一個動態(tài)發(fā)展的過程，每次循環(huán)都要重新計算改變，若是收斂多次，迭代之后最終達到平衡輸出不變，而且僅當輸出隨時間變化而不變時，網(wǎng)絡(luò)的能量才會不變。

本文提出的局部連接的Hopfield神經(jīng)網(wǎng)絡(luò)是基于傳統(tǒng)HNN將其全連接結(jié)構(gòu)變?yōu)榫植窟B接的結(jié)構(gòu)，舍棄距離當前神經(jīng)元較遠的反饋信息，比較符合人類視覺系統(tǒng)神經(jīng)元的信息傳遞隨著距離增大而逐步減弱的效果，并且相比較于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)其計算量更小一些。對于一個神經(jīng)元，以其周圍八個神經(jīng)元為例，Hopfield的連接方式如圖1所示，我們所采用的局部連接的方式如圖2所示，即選擇性放棄距離其較遠的信息。對于HNN而言，網(wǎng)絡(luò)的收斂性是保證其穩(wěn)定運行的關(guān)鍵條件，因此對于局部連接的HNN我們需要證明其穩(wěn)定性，為了使計算和推導更簡便，我們選擇對稱的結(jié)構(gòu)，下面通過推導來證明：

2? 實驗

2.1? 運動目標檢測模型構(gòu)建

基于Darknet網(wǎng)絡(luò)的YOLO[7]在實時目標檢測中是很有優(yōu)勢的，但是檢測精度和對小目標的檢測結(jié)果并不是很如意，雖然后續(xù)有YOLOv2和YOLOv3對其短板有所改進，但是由于原理上的限制，其只對最后一層結(jié)果進行檢測，因此在獲取細小目標時效率不高，將本文提出的新單元與其結(jié)合，形成具有存儲信息的記憶單元，并且HNN的周圍神經(jīng)元能夠相互反饋，使空間信息的提取效率得到極大提高，相鄰幀間的信息補充時間上的信息傳遞，能獲得更全的信息，將其中conv層的濾波器轉(zhuǎn)換成本文的L-C C-HNN小單元，將其中所有的池化去除，在第一層中仍然保留32個3×3的卷積核，去掉池化層后，用局部連接的HNN代替，然后下一層保留64個3×3的卷積核，依然用局部連接的HNN代替池化，將下一層卷積（該層128個卷積核）之后的卷積層保留，再卷積之后再增加一個局部連接的HNN層。以輸入n×224×224的序列為例，有改動的前幾層設(shè)置如表2所示：

使用Hopfield的存儲規(guī)則[8]，一個有N個單元的完全連接的網(wǎng)絡(luò)的容量只有0.15N的內(nèi)存，那么存儲權(quán)重的比特數(shù)就是N2 log（2M+1），其中M代表連接的神經(jīng)元數(shù)量。對于一個同樣對稱的局部連接的Hopfield網(wǎng)絡(luò)，連接減少，有N個單元的局部連接，相應(yīng)權(quán)重矩陣成對角矩陣，參數(shù)少很多，在計算的時候運算更快，效果更好。因此局部連接的HNN相當于將單元減少，也可以看成將一個整體的HNN分化成較小單元的個體，每個個體有一定的關(guān)聯(lián)性，但是并不是像之前那樣密切相連，因此局部連接的所占內(nèi)存更少。

2.2? 卷積Hopfield神經(jīng)網(wǎng)絡(luò)用于目標檢測

本文設(shè)置的局部連接的C-HNN應(yīng)用于Darknet網(wǎng)絡(luò)結(jié)構(gòu)，對視頻目標進行檢測，設(shè)置的局部連接階數(shù)i=8，能量函數(shù)的值最終算的結(jié)果E=-2，網(wǎng)絡(luò)連接層數(shù)共19層，迭代次數(shù)初始控制在t=50。（在實際結(jié)果中迭代和輸出穩(wěn)定是共同控制的，二者以或的方式存在）在VIVD數(shù)據(jù)集中的檢測如表3所示。

首先通過閾值方法將檢測結(jié)果進行二值化，因檢測過程中都是自動迭代的，參數(shù)也能得到調(diào)整，實驗結(jié)果只考慮準確率和迭代次數(shù)。本文使用F-measure[9]測試方法評價算法的性能。因此，本文將L-C C-HNN作為新的卷積提取得到的特征為最后所得的特征圖譜，本文在得到像素的位置后，用候選框在原圖中標出，得到本文的目標檢測的結(jié)果。

對文中的部分結(jié)果展示如圖4所示，并定量通過F- measures值（表2）來分析檢驗本文用來測試的方法。

本文的結(jié)構(gòu)在不同類中的檢測結(jié)果差異性比較明顯，但是效果整體上較同類方法并不遜色，并且本文提出的結(jié)構(gòu)方法可在測試集上直接訓練，節(jié)省了很多時間，不需提前訓練人工標注，還是有一定優(yōu)勢的。

3? 結(jié)? 論

本文提出的結(jié)合卷積的局部連接的HNN在視頻運動目標的檢測中能較好地結(jié)合上下文信息，并且利用仿生學將無監(jiān)督學習的方式用于網(wǎng)絡(luò)參數(shù)中權(quán)重的自適應(yīng)調(diào)節(jié)，對視頻序列中的運動目標檢測有一定的效果，但是仍然有可改進和提升的地方，主要體現(xiàn)在下面幾個方面：首先是能量函數(shù)的構(gòu)建對整個目標檢測的框架構(gòu)建是一個很核心的內(nèi)容，在本文提出的方法中的能量函數(shù)是結(jié)合幾部分信息來構(gòu)成，但其實Hopfield神經(jīng)網(wǎng)絡(luò)是可以作為大的框架進行目標檢測的;其次是關(guān)于局部連接的方式的探討還有更多可提升的空間，可能結(jié)合不同的框架會有不同的連接范圍，在后續(xù)的研究中仍有很大的研究空間;最后是對于相關(guān)深層網(wǎng)絡(luò)[10]的改進，希望將二值化卷積神經(jīng)網(wǎng)絡(luò)，比如BWN或者XNOR-Net[11]等在不損失精度的情況下壓縮數(shù)據(jù)，對提高運算速度有較大意義。

參考文獻：

[1] Ren S，He K，Girshick R，et al.Faster R-CNN：towards real-time object detection with region proposal networks[C].International Conference on Neural Information Processing Systems.2015

[2] Lin Z，Yuan C.A Very Deep Sequences Learning Approach for Human Action Recognition[C].International Conference on Multimedia Modeling.Springer，Cham， 2016.

[3] Wang P，Li W，Gao Z，et al.Action Recognition from Depth Maps Using Deep Convolutional Neural Networks[J].IEEE Transactions on Human-Machine Systems，2016，46（4）：498-509.

[4] Scesa V，Henaff P，Ouezdou FB，et al.Onthe Analysis of Sigmoid Time Parameters for Dynamic Truncated BPTT Algorithm[C].International Joint Conference on Neural Networks.IEEE，2006.

[5] John J. Hopfield. Understanding Emergent Dynamics：Using a Collective Activity Coordinate of a Neural Network to Recognize Time-Varying Patterns[J].Neural Computation，2015：1-28.

[6] Pajares G.A Hopfield Neural Network for Image Change Detection[M].IEEE Press，2006.

[7] Redmon J，Divvala S，Girshick R，et al.You Only Look Once：Unified，Real-Time Object Detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.IEEE Computer Society，2016.

[8] GU F Q，HONG Z Z，SUN Y S. Boundary extraction based on stack filter，Hopfield neural network and self-organization neural network [C]// Machine Learning and Cybernetics，2003 International Conference on. S.l.：s.n.，2003：1084-1087.

[9] Narayana，Manjunath，Hanson，Allen，Learned-Miller，Erik. Coherent Motion Segmentation in Moving Camera Videos Using Optical Flow Orientations[C]. S.l.：s.n.，2013：1577-1584.

[10] Hu Y ，Chen Z，Chi Z，et al.Learning to detect saliency with deep structure[C].IEEE International Conference on Systems.IEEE，2016.

[11] Rastegari M，Ordonez V，Redmon J，et al.XNOR-Net：ImageNet Classification Using Binary Convolutional Neural Networks[C].European Conference on Computer Vision，2016.

作者簡介：沈慧（1994-），女，漢族，河南人，碩士研究生，研究方向：視覺計算與圖像處理;通訊作者：王森妹（1995-），女，白族，云南人，碩士研究生，研究方向：視覺計算與圖像處理。