李國強，徐立莊

燕山大學 電氣工程學院，河北 秦皇島066004

1 引言

隨著互聯(lián)網(wǎng)技術(shù)的蓬勃發(fā)展，如何對有效數(shù)據(jù)進行準確且快速地提取成為人們關(guān)注的問題。神經(jīng)網(wǎng)絡(luò)的快速發(fā)展為數(shù)據(jù)處理提供了便利條件[1-2]，早期的神經(jīng)網(wǎng)絡(luò)工作主要集中于解決調(diào)整參數(shù)和網(wǎng)絡(luò)層次結(jié)構(gòu)問題，特別是梯度下降參數(shù)的求解，但都存在著固有的缺陷，如：學習收斂速度慢，易于陷入局部極小等問題。目前，神經(jīng)網(wǎng)絡(luò)在語音識別、圖像處理、物體識別等眾多領(lǐng)域得到廣泛應(yīng)用[3-4]，并且取得了很大的成功，其中較為流行的神經(jīng)網(wǎng)絡(luò)模型為反向傳播（Back Propagation，BP）網(wǎng)絡(luò)[5]，以及在圖像處理方面取得較大突破的深度學習（Deep Learning，DL）[6]，例如：卷積神經(jīng)網(wǎng)絡(luò)（Convolu‐tional Neural Networks，CNN）[7-8]、深度置信網(wǎng)絡(luò)（Deep Belief Networks，DBN）[9]、深 度 玻 爾 茲 曼 機（Deep Boltz-mann Machine，DBM）[10]。但是，DL 網(wǎng)絡(luò)為多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，樣本量較多且網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，因而存在訓練速度較慢的問題。而網(wǎng)絡(luò)結(jié)構(gòu)較為簡單的BP 網(wǎng)絡(luò)，也存在迭代求解速度較慢且易陷入局部極小解的問題。

寬度學習系統(tǒng)（Broad Learning System，BLS）[11]的提出為以上問題提供了一種解決方案，該模型作為深度學習的替代方法被提出。BLS 的優(yōu)點在于它利用動態(tài)更新算法[12]對新添加的節(jié)點進行快速處理而不需要重新建立模型。在原有模型的基礎(chǔ)上進行優(yōu)化處理，不僅讓添加新節(jié)點的模型變得更加精確，同樣地，也極大地節(jié)省了模型重構(gòu)所需要的時間。但是面對圖像分類時，要想達到高準確度的要求，依然需要上萬個隱藏節(jié)點來對網(wǎng)絡(luò)進行建模，普通的硬件配置很難正常運行。基于局部感受野的極端學習機（Local Receptive Field based Extreme Learning Machine，ELM-LRF）[13]是 將CNN 和極端學習機（ELM）[14]進行結(jié)合，根據(jù)神經(jīng)元在神經(jīng)網(wǎng)絡(luò)中擁有局部感知的特點，提出加入局部感受野的思想（LRF），使得該模型對圖像的識別擁有更高的準確率和更好的穩(wěn)定性。因此，本文將ELM-LRF 中局部感受野的部分提取出來與BLS結(jié)合，構(gòu)建了基于局部感受野的寬度學習網(wǎng)（BLS-LRF），該模型分別從局部和全局兩方面對圖像特征進行快速提取。并且保留了BLS動態(tài)更新節(jié)點的特點。實驗采用MNIST 數(shù)據(jù)集和NORB 數(shù)據(jù)集對該網(wǎng)絡(luò)進行測試，并且將測試結(jié)果和傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)進行對比，實驗結(jié)果表明BLS-LRF 網(wǎng)絡(luò)只需要很少的節(jié)點就能達到傳統(tǒng)網(wǎng)絡(luò)的測試精度，同時，訓練和測試的時間也大幅度的縮短。

2 寬度學習算法

許多神經(jīng)網(wǎng)絡(luò)都被耗時的訓練所困擾，主要的原因是由于層級之間含有大量的參數(shù)，導致訓練周期增長。其次，如果已經(jīng)建立的模型沒有達到期望的目的，那么它將消耗大量的時間再次進行重新訓練，寬度學習網(wǎng)的設(shè)計為以上問題提供了一種有效的解決方法。寬度學習系統(tǒng)是由澳門大學陳俊龍教授提出的一種新型學習算法，其結(jié)構(gòu)如圖1所示。

圖1 寬度學習網(wǎng)

BLS 的設(shè)計思想來源于隨機向量函數(shù)鏈式神經(jīng)網(wǎng)絡(luò)（Random Vector Functional-Link Neural Network，RVFLNN）[15]，結(jié)構(gòu)如圖2 所示，RVFLNN 通過對網(wǎng)絡(luò)結(jié)構(gòu)的擴展，將多層網(wǎng)絡(luò)轉(zhuǎn)換為單層網(wǎng)絡(luò)，使該網(wǎng)絡(luò)具有極強的非線性映射能力，達到了快速、高效的學習目的，避免了陷于局部最小的問題，盡管RVFLNN 有著顯著的速度和不錯的性能，但伴隨著大數(shù)據(jù)時代的到來，面對不斷更新的數(shù)據(jù)RVFLNN 模型的重構(gòu)能力又有明顯的不足。為了適應(yīng)更多的數(shù)據(jù)量，BLS網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)運而生。它在RVFLNN 的基礎(chǔ)上添加了由原始輸入到特征節(jié)點層的算法，將所提取到的特征值作為輸入層連接到增強節(jié)點層。并且BLS 網(wǎng)絡(luò)中還添加了動態(tài)逐步更新算法[12]，在不需要重新訓練模型的前提下對新添加的數(shù)據(jù)或隱層節(jié)點進行快速處理，即在原有模型的基礎(chǔ)上對新的節(jié)點或數(shù)據(jù)進行優(yōu)化處理，讓新模型擁有更好的泛化性能，同時也極大地節(jié)省了模型重構(gòu)所需要的時間，第三部分對動態(tài)更新算法進行了詳細的解釋。BLS 不但完美繼承了RVFLNN 的優(yōu)點，而且還能快速高效地處理數(shù)據(jù)，從而節(jié)省許多的時間。目前，很多神經(jīng)網(wǎng)絡(luò)也是以BLS為基礎(chǔ)進行改進的，例如寬度學習系統(tǒng)的通用逼近能力（Universal Approximation Capability of Broad Learning System，UAC-BLS）[16]，模糊寬度學習系統(tǒng)（Fuzzy Broad Learning System，F(xiàn)BLS）[17]。

圖2 隨機向量函數(shù)鏈式網(wǎng)絡(luò)

根據(jù)圖1 的網(wǎng)絡(luò)結(jié)構(gòu)來對BLS 進行描述，首先，原始輸入層通過稀疏編碼算法得到了數(shù)據(jù)的映射特征。其次，映射特征作為特征節(jié)點層通過激活函數(shù)連接到增強節(jié)點層，其中的權(quán)值隨機產(chǎn)生。最后，所有的特征節(jié)點和增強節(jié)點作為輸入直接連接到輸出，為了找到所需的連接權(quán)值，采用最小二乘法[18]的改進算法嶺回歸[19]求得隱藏層與輸出層之間的輸出權(quán)值。具體過程如下：

其中，Wik表示第i組映射特征中的第k 個特征節(jié)點與所有輸入的連接權(quán)重，Wei∈RM×k表示第i 組的特征映射與所有輸入的連接權(quán)重。β代表著偏置。

圖3 基于局部感受野的極端學習機

因此，特征節(jié)點層中所有的特征映射可以被記為：

同理，第j組的增強節(jié)點通過特征節(jié)點可求得：

其中，Whj∈Rkn×l和βhj是隨機權(quán)重和偏置，ζ(?)表示激活函數(shù)，l 表示第j 組增強節(jié)點的數(shù)量。然后，前m 組的增強節(jié)點可被記為：

最后得出網(wǎng)絡(luò)輸出與網(wǎng)絡(luò)的關(guān)系如下：

3 基于局部感受野的寬度學習網(wǎng)

基于局部感受野的極端學習（ELM-LRF）是由南洋理工大學的黃廣斌教授提出的，網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。該網(wǎng)絡(luò)模型主要由三部分構(gòu)成：

（1）利用局部感受野的特性對圖像進行局部特征提取。為了獲得充分的局部特征，可以設(shè)置K 組不同輸入權(quán)重，每組輸入權(quán)重形成一個特征映射圖，最終獲得K個不同的特征映射圖。

（2）卷積操作和平方根池化的過程。假設(shè)輸入層大小為d×d，局部感受野大小為r×r，可得出特征映射圖的大小是( d- r+1)×( d- r+1)，池化圖和特征圖大小相同。

（3）利用正則化最小二乘法求解輸入權(quán)重的過程。由圖可知池化層與輸出層是全連接的，將池化層中所有組合節(jié)點的值構(gòu)成一個行向量，假設(shè)有N 個輸入樣本的行向量，最終得到的組合矩陣為，利用最小二乘法得到最終的輸出權(quán)重W。

從網(wǎng)絡(luò)結(jié)構(gòu)及原理來看，ELM-LRF 網(wǎng)絡(luò)融合了CNN 的思想。它們都是直接處理原始輸入，利用局部連接的方法限制網(wǎng)絡(luò)模型的學習。但不同的是ELMLRF 可以根據(jù)不同的概率分布來進行隨機的采樣，而CNN只能使用卷積隱藏節(jié)點來采樣。并且CNN訓練完成后還需要誤差反向傳播算法（BP）[5]來進行調(diào)整，需要耗費大量的時間，而ELM-LRF 網(wǎng)絡(luò)只需要隨機地生成輸入權(quán)重而不需要后期的調(diào)整。使得該模型相比于CNN可以節(jié)省大量的時間。

提出的BLS-LRF 網(wǎng)絡(luò)結(jié)構(gòu)是將BLS 和ELM-LRF中的LRF 思想相結(jié)合，ELM-LRF 可以由連續(xù)概率分布隨機生成不同形式的局部感受野作為輸入數(shù)據(jù)，而BLS則是采用對圖像進行全局特征提取的方法來對模型訓練。將兩個網(wǎng)絡(luò)模型進行結(jié)合，可以從局部和全局兩方面對圖像特征進行提取，達到增強網(wǎng)絡(luò)測試精度的目的。模塊結(jié)構(gòu)如圖4所示。

圖4 BLS-LRF網(wǎng)絡(luò)模塊圖

表1 NORB數(shù)據(jù)集測試精度對比

根據(jù)結(jié)構(gòu)可以看出不改變BLS算法的基礎(chǔ)上，只需將ELM-LRF 中的局部感受野部分與BLS 合并，即池化層的輸出與BLS最后的隱層（包括特征節(jié)點層和增強節(jié)點層）作為輸入層與輸出層進行連接。在寬度學習網(wǎng)的基礎(chǔ)上拓展出最后隱層的輸出，記為A=[Zn|Hm|D]其中D是ELM-LRF池化層的所有輸出矩陣。

對于輸出層權(quán)值采用偽逆的方法求取，根據(jù)公式：

求得輸出層的權(quán)值Wm，其中Y 表示期望輸出是約束權(quán)重的系數(shù)。

澳門大學陳俊龍教授等人提出了一種動態(tài)逐步更新算法（增量學習），該算法對新添加節(jié)點相關(guān)的權(quán)重立即更新，這項工作為以后需要增加節(jié)點的網(wǎng)絡(luò)鋪平了道路，同時它為經(jīng)典模型的權(quán)值更新提供了一種有效快捷的方法。BLS 的增量學習算法便是在此基礎(chǔ)上被設(shè)計出來，它可以通過動態(tài)增加節(jié)點（特征節(jié)點和增強節(jié)點）來達到提高精度的目的，而BLS-LRF 網(wǎng)絡(luò)結(jié)構(gòu)不但能從多方面提取輸入特征，而且還保留了BLS動態(tài)更新節(jié)點的優(yōu)點即增量學習算法。動態(tài)增加增強節(jié)點的具體過程如下：

假設(shè)網(wǎng)絡(luò)初始結(jié)構(gòu)有n 組映射節(jié)點和m 組增強節(jié)點，網(wǎng)絡(luò)的最后隱層的輸出記為Am=[Zn|Hm|D]。當增加p個增強節(jié)點時，特征節(jié)點和新增加的增強節(jié)點之間的 關(guān) 系 為 Hm+1=[ζm+1(ZnWhm+1+βhm+1)]，其 中Whm+1∈Rnk×p，βhm+1∈Rp，得 到 新 的 最 后 隱 層 記 為Am+1=[Am|Hm+1]，根據(jù)增量學習算法[11-12]可以得出新矩陣Am+1的偽逆。

其中O=(Am)+ζm+1(ZnWhm+1+βhm+1)

因此，新的權(quán)重是：

4 實驗結(jié)果與分析

為了證明BLS-LRF 的有效性，對兩個經(jīng)典數(shù)據(jù)集MNIST和NORB進行測試，然后將BLS-LRF分別與BLS和ELM-LRF測試結(jié)果進行對比。參考文獻[11]選取BLS網(wǎng)絡(luò)最優(yōu)的節(jié)點和最佳參數(shù)C。參考文獻[13]且經(jīng)過多次測試得出C等于0.01 時為ELM-LRF 最佳參數(shù)。本次測試是在Windows 7（64 位）、Inter i7-7820X、3.60 GHz CPU和32 GB RAM的臺式機Matlab環(huán)境下運行的。

4.1 NORB數(shù)據(jù)集

NORB 數(shù)據(jù)集一共有48 600 張圖像，該數(shù)據(jù)集主要應(yīng)用于對3D 玩具模型識別的實驗[20]，其中包含50 個玩具分成5 個不同種類：四肢動物、人像、飛機、卡車和汽車。在各種照明條件下，選取不同的方位角和高度對取樣物體進行成像，最終形成了48 600張圖像。選取其中的24 300 張圖片作為訓練集，其中包含25 個玩具（每種類型5 個）。將剩余的24 300 張圖片作為測試集，同樣包含25個玩具（每種類型5個）。

根據(jù)文獻[11]可知，BLS 網(wǎng)絡(luò)選取100×10 的特征節(jié)點和9 000個增強節(jié)點是對NORB數(shù)據(jù)集測試精度最優(yōu)的節(jié)點設(shè)置。ELM-LRF 參數(shù)設(shè)置為4×4 的感知域、10個特征映射圖和池化大小為3。BLS-LRF 參數(shù)設(shè)置為10×10 的特征節(jié)點、900 個增強節(jié)點、4×4 的感知域、3 個特征映射圖和池化大小為3。測試結(jié)果如表1所示，3個網(wǎng)絡(luò)結(jié)構(gòu)進行對比可以看出，BLS-LRF 的測試精度是最高的，并且訓練和測試的總時間是最短的。而BLS網(wǎng)絡(luò)的測試精度雖然和BLS-LRF 的差不多，但是訓練和測試所花費的總時間卻是BLS-LRF 的兩倍。為了更好地體現(xiàn)BLS-LRF 的有效性，采用現(xiàn)在主流算法和該網(wǎng)絡(luò)進行對比，其中包括兩種棧式自編碼算法SAE 和SDA[21]、深度置信（DBN）、多層感知算法（MLP）[22]、深度玻爾茲曼機（DBM）、多結(jié)構(gòu)極端學習機（MLELM）[23]及多感知極端學習機（HELM）[24]，以上算法的實驗均在Intel-i7 2.4 GHz CPU，16 GB RAM Matlab 環(huán)境下運行，實驗的分類結(jié)果引用于文獻[24]。實驗結(jié)果如表2所示，從測試精度來看，盡管本文提出的方法精確度90.08%不是最好的，僅次于HELM 的91.28%。從訓練時間來看，本文提出的方法所用時間是18.46 s，是所有算法里所用時間最短的。因此綜合來看，BLS-LRF算法對NORB數(shù)據(jù)集分類是有效且快速的。

表2 NORB數(shù)據(jù)集分類結(jié)果

BLS-LRF算法不僅對以上無增量學習算法有效，面對增量學習算法同樣有效。為了證明BLS-LRF 網(wǎng)絡(luò)在增量學習中的有效性，將BLS 的增量學習算法和BLSLRF的增量學習算法進行比較，這里只討論動態(tài)增加增強節(jié)點。首先BLS 的初始結(jié)構(gòu)為100×10 的特征節(jié)點和2 000個增強節(jié)點，對增強節(jié)點更新5次，每次增加1 000個增強節(jié)點，結(jié)果如表3 所示。BLS-LRF 的初始結(jié)構(gòu)為4×4 的感知域、3 個特征映射圖、池化大小為3、10×10 的特征節(jié)點和200個增強節(jié)點，同樣對增強節(jié)點更新5次，但每次增加100個增強節(jié)點，結(jié)果如表4所示。經(jīng)過表3和表4 的對比可以得出，BLS-LRF 不但每次動態(tài)更新的精度高于BLS，并且每次動態(tài)更新所需要的時間相比于BLS縮短了3～5倍，由此可以看出BLS-LRF對于增量學習算法也具有一定的促進作用。

表3 BLS對NORB數(shù)據(jù)集的增量學習算法

表4 BLS-LRF對NORB數(shù)據(jù)集的增量學習算法

4.2 MNIST數(shù)據(jù)集

MNIST 數(shù)據(jù)集作為經(jīng)典的手寫數(shù)據(jù)集被廣泛應(yīng)用[25]。這個數(shù)據(jù)集包含了70 000 張手寫數(shù)字圖片，其中有60 000張圖片作為訓練樣本，剩余10 000張作為測試樣本。每張圖像是一個單一的手寫數(shù)字圖片。對于BLS 網(wǎng)絡(luò)結(jié)構(gòu)參考文獻[11]，選取最優(yōu)節(jié)點數(shù)即10×10的特征節(jié)點和11 000的增強節(jié)點。對于ELM-LRF設(shè)置5×5 的感知域、30 個特征映射圖和池化大小為3 去進行測試。為了證明BLS-LRF網(wǎng)絡(luò)的快速性，設(shè)置了5×5的感知域、3個特征映射圖、池化大小為3、10×10的特征節(jié)點和5 000 個增強節(jié)點去和上面兩個網(wǎng)絡(luò)進行對比，對比結(jié)果如表5所示，可以看出前3組的測試精度相近，但是所需要的時間長短卻不相同，BLS-LRF的測試時間是最短的為35.2 s，其次是BLS 的51.71 s，最后是ELMLRF 的84.8 s。因此BLS-LRF 的網(wǎng)絡(luò)模型要優(yōu)于BLS和ELM-LRF。

表5 MNIST數(shù)據(jù)集的測試精度對比

其次，將BLS-LRF 中的3 個特征映射圖增加到10個特征映射圖就得到了BLS-LRF對MNIST數(shù)據(jù)集最高的測試精度99.06%，訓練時間為112.73 s，總時間為124.85 s。同樣引用文獻[24]中的測試結(jié)果，得到了表6，另外為了突出BLS-LRF 的優(yōu)越性，添加了目前比較流行的深度學習網(wǎng)絡(luò)與其進行對比。這里采用CNN 和殘差神經(jīng)網(wǎng)絡(luò)（Resnet）[26]來對MNIST數(shù)據(jù)集測試，之后將測試結(jié)果與BLS-LRF 做比較。對于CNN 設(shè)置5 層結(jié)構(gòu)（2 個卷積層、2 個池化層和1 個全連接層）卷積核為5×5、池化大小為2、輸出通道為6 和12，數(shù)據(jù)每批次為50，一共迭代20 次。測試環(huán)境與BLS-LRF 的測試環(huán)境相同。對于殘差網(wǎng)絡(luò)采用56 層結(jié)構(gòu)（55 個卷積層和一個全連接層），其中卷積層分成4 個模塊，第一個模塊只包含一層卷積，其余的3 個模塊分別包含18 個卷積層，每個模塊的輸出通道分別為16、16、32、64。所有卷積的卷積核大小為3×3，數(shù)據(jù)每批次為128，一共迭代了1 000次。測試平臺是在Nvidia TITAN Xp GPU（12 GB），編程環(huán)境為Python3.6，使用的深度學習框架為Tensor‐Flow，測試結(jié)果如表6所示。

表6 MNIST數(shù)據(jù)集分類結(jié)果

可以看出Resnet 的測試精度是最高的99.31%，但是它所要求的配置卻是GPU，而BLS-LRF 只需要普通配置便可完成實驗。BLS-LRF 的測試精度僅次于HELM 和Resnet，并且和DBM、MLELM 的測試精度相近，但是從時間角度來看，BLS-LRF 的訓練時間要明顯小于它們4 個網(wǎng)絡(luò)的訓練時間。而BLS-LRF 的訓練時間不是最短的，僅高于BLS 網(wǎng)絡(luò)，但是對于BLS 網(wǎng)絡(luò)來說98.74%是它所能達到的最高精度，而BLS-LRF 的最高精度99.06%是明顯高于BLS 的。因此綜上所述，本文提出的算法對于MNIST 數(shù)據(jù)集的分類是高效且快速的。

5 結(jié)論

本文提出了一種改進的BLS 網(wǎng)絡(luò)結(jié)構(gòu)，在BLS 的基礎(chǔ)上結(jié)合了ELM-LRF 網(wǎng)絡(luò)形成了BLS-LRF，該網(wǎng)絡(luò)可以分別對圖像進行局部特征提取和全局特征提取，從而對圖片分類有了較高的精確度，并且訓練速度有了很大程度的提高，為BLS在未來的應(yīng)用中提供了一種新的方法和途徑。該網(wǎng)絡(luò)也保留了BLS 增量學習的優(yōu)點，對增量學習中的動態(tài)增加增強節(jié)點進行了討論，發(fā)現(xiàn)在精度相近的情況下，每次更新的時間縮短了3～5 倍。因此，本文所提出的網(wǎng)絡(luò)結(jié)構(gòu)對于圖片分類是快速且高效的。