中圖分類(lèi)號(hào):TP393 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1674-0033(2025)04-0039-08
Abstract:Inview of thedifferences in the recognitionabilitiesof BP neural networksand RBF networks in pixel-level data sample patern recognition,an improved BP neural network (adopting an adaptive learning rate and an additional momentum method) was constructed and compared with an RBF neural network. Three sets of experiments were designed: adding 5%~50% random noise,partially occluding letters,and introducing specific contour noise.The recognition performance was analyzed using confusion matrices.The results show that in the presence of random noise below 30% ,the recognition rates of both networksreach 100% .When the noise increases to 40% ,the recognition rate of the improved BP neural network drops to 84.61% ,while the RBF neural network still maintains 100% .Inthe face of partial occlusion,both networks perform well;however,under the interference of contour noise,therecognition rate of the RBF neural network (84.62%) issignificantly higher than that of the improved BP neural network (65.38% ).The results confirm that the RBF network has stronger generalization ability in complex noise scenarios and provides a better option for low- dimensional data recognition.
Key words:BP neural network; RBF neural network; pattern recognition
人工神經(jīng)網(wǎng)絡(luò)于20世紀(jì)80年代蓬勃興起, 式的差異,神經(jīng)網(wǎng)絡(luò)衍生出眾多類(lèi)型。其中,BP迅速成為人工智能領(lǐng)域的研究焦點(diǎn)。根據(jù)連接方 (反向傳播)神經(jīng)網(wǎng)絡(luò)(Backpropagation Neural
Network)作為核心分支,憑借強(qiáng)大的非線性函數(shù)映射能力,在諸多領(lǐng)域展現(xiàn)出卓越的應(yīng)用價(jià)值。有關(guān)數(shù)字與字母識(shí)別的研究較多,如,CHEN等3將種群極值優(yōu)化的競(jìng)爭(zhēng)進(jìn)化算法與分?jǐn)?shù)階梯度下降機(jī)制相結(jié)合,構(gòu)建出自適應(yīng)分?jǐn)?shù)階BP神經(jīng)網(wǎng)絡(luò)PEO-FOBP,用于手寫(xiě)體數(shù)字識(shí)別。LIU等4通過(guò)灰度化、二值化、平滑去噪等圖像預(yù)處理手段,實(shí)現(xiàn)了 85.88% 的識(shí)別準(zhǔn)確率。張鳳南運(yùn)用主成分分析(PCA)處理特征向量,并對(duì)比最小距離法、K近鄰法及BP神經(jīng)網(wǎng)絡(luò)的數(shù)字識(shí)別效果。嚴(yán)雯怡借助PCA降維與特征加權(quán)融合策略,將MNIST手寫(xiě)數(shù)字識(shí)別正確率提升至 96.8% 。RBF(徑向基函數(shù))神經(jīng)網(wǎng)絡(luò)(RadialBasis FunctionNeuralNetwork)是用于解決插值問(wèn)題。后來(lái),引入了自適應(yīng)學(xué)習(xí)的算法,應(yīng)用范圍擴(kuò)展。RBF神經(jīng)網(wǎng)絡(luò)具有快速的訓(xùn)練速度和良好的泛化能力,在函數(shù)逼近、時(shí)間序列預(yù)測(cè)[等領(lǐng)域得到了廣泛應(yīng)用。例如,齊晴設(shè)計(jì)了混合優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)車(chē)牌字符識(shí)別模型,并與CNN模型進(jìn)行對(duì)比。魏巍等[13提出基于單形進(jìn)化的RBF神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法。盡管上述改進(jìn)算法均致力于提升識(shí)別準(zhǔn)確率,但不可避免地需要在模型復(fù)雜度、訓(xùn)練效率、計(jì)算資源消耗及泛化性能之間進(jìn)行權(quán)衡。本文通過(guò)三組對(duì)比試驗(yàn),系統(tǒng)探究改進(jìn)BP神經(jīng)網(wǎng)絡(luò)與RBF神經(jīng)網(wǎng)絡(luò)在識(shí)別任務(wù)中的性能差異:第一組試驗(yàn)通過(guò)添加不同強(qiáng)度的噪聲,利用混淆矩陣分析[4網(wǎng)絡(luò)的抗噪識(shí)別能力;第二組試驗(yàn)研究網(wǎng)絡(luò)對(duì)部分遮擋字母的識(shí)別效果;第三組試驗(yàn)則定義特定噪聲矩陣,模擬實(shí)際圖像識(shí)別中的噪聲干擾場(chǎng)景,評(píng)估網(wǎng)絡(luò)的魯棒性。
1改進(jìn)BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
1.1改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
1.1.1BP神經(jīng)網(wǎng)絡(luò)模型
BP神經(jīng)網(wǎng)絡(luò)是一種前向反饋神經(jīng)網(wǎng)絡(luò),輸入信息通過(guò)網(wǎng)絡(luò)從輸入層向輸出層正向傳播,而誤差則通過(guò)反向傳播算法修正各層的權(quán)值和偏差。BP神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)在于監(jiān)督學(xué)習(xí)能力,需依賴帶標(biāo)簽的訓(xùn)練數(shù)據(jù),通過(guò)誤差反向傳播自動(dòng)調(diào)節(jié)權(quán)值。BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)包含輸入層、隱含層和輸出層。輸入層輸入向量的維數(shù)直接決定輸入節(jié)點(diǎn)的個(gè)數(shù)。隱含層層數(shù)需根據(jù)任務(wù)復(fù)雜度確定,通常為一層或兩層。隱含層功能類(lèi)似大腦神經(jīng)元網(wǎng)絡(luò),其節(jié)點(diǎn)(神經(jīng)元)數(shù)量可通過(guò)經(jīng)驗(yàn)公式(如Kolmogorov定理)或試驗(yàn)調(diào)試確定,與輸入向量維數(shù)、樣本數(shù)量等因素相關(guān)。輸出層的節(jié)點(diǎn)數(shù)量由待分類(lèi)的樣本類(lèi)別數(shù)決定(如二分類(lèi)任務(wù)設(shè)為2個(gè)節(jié)點(diǎn),多分類(lèi)任務(wù)設(shè)為類(lèi)別數(shù)節(jié)點(diǎn))。如圖1所示為一個(gè)含一層隱含層的BP神經(jīng)網(wǎng)絡(luò)模型。 P 為輸入樣本向量; W1 為輸入層到隱含層的權(quán)值矩陣; B1 為輸入層神經(jīng)元的偏差向量; F1 為輸入層向量經(jīng)加權(quán)求和后,作為隱含層的輸入;W2 為隱含層到輸出層的權(quán)值矩陣; B2 為輸出層神經(jīng)元的偏差向量; F2 為輸出層的計(jì)算結(jié)果(分類(lèi)概率或回歸值)。
1.1.2改進(jìn)BP神經(jīng)網(wǎng)絡(luò)
改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)采用自適應(yīng)學(xué)習(xí)速率和附加動(dòng)量法。學(xué)習(xí)速率是BP神經(jīng)網(wǎng)絡(luò)的關(guān)鍵參數(shù),直接決定網(wǎng)絡(luò)權(quán)重步長(zhǎng)變更的大小。學(xué)習(xí)速率設(shè)置過(guò)大,網(wǎng)絡(luò)陷入震蕩難以收斂。若設(shè)置過(guò)小,則導(dǎo)致網(wǎng)絡(luò)收斂過(guò)長(zhǎng)。傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)采用固定學(xué)習(xí)速率,難以讓網(wǎng)絡(luò)保持較好的性能。自適應(yīng)學(xué)習(xí)速率能夠根據(jù)權(quán)值的變化進(jìn)行動(dòng)態(tài)調(diào)整速率。其準(zhǔn)則是:檢查修正的權(quán)值是否使得誤差函數(shù)減少了,若是,說(shuō)明學(xué)習(xí)速率選小了,需要增加;否則,就減小學(xué)習(xí)速率的值。
式(1)描述了學(xué)習(xí)速率在 Φt 時(shí)刻的變化規(guī)則。當(dāng) t+1 時(shí)刻的誤差平方和 (SSE(t+1)) 小于 Φt 時(shí)刻 (SSE(t)) 時(shí), t+1 時(shí)刻的學(xué)習(xí)速率 η(t+1) 將調(diào)整為 χt 時(shí)刻學(xué)習(xí)速率的1.05倍,即變?yōu)?1.05η(t) 。式(1)中的系數(shù)1.05和0.7可以根據(jù)具體情況進(jìn)行調(diào)整。
附加動(dòng)量法是在傳統(tǒng)的BP算法上,添加了動(dòng)量變化項(xiàng)更新權(quán)值。動(dòng)量變化項(xiàng)考慮了上一次權(quán)值更新的方向(正或負(fù))和大小,這使得權(quán)重的更新不僅依賴于當(dāng)前網(wǎng)絡(luò)的梯度信息,也依賴于之前權(quán)重的更新趨勢(shì)。
其中, η 為學(xué)習(xí)速率, α 為動(dòng)量系數(shù)(通常在0和1之間), Δω(t+1) 為權(quán)值的改變量, Δω(t) 為上次權(quán)
值的改變量, E 為誤差平方和。
1.2RBF神經(jīng)網(wǎng)絡(luò)模型
RBF神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)一樣,同為前饋神經(jīng)網(wǎng)絡(luò),均由輸入層、隱含層、輸出層構(gòu)成。RBF神經(jīng)網(wǎng)絡(luò)的隱含層只能為一層(BP神經(jīng)網(wǎng)絡(luò)的隱含層可為一層或多層),這是其與BP神經(jīng)網(wǎng)絡(luò)的顯著區(qū)別。RBF神經(jīng)網(wǎng)絡(luò)的隱含層的激活函數(shù)是徑向基函數(shù)(高斯函數(shù))。徑向基函數(shù)可以把低維空間中線性不可分的向量映射成高維空間線性可分的向量,這構(gòu)成了RBF神經(jīng)網(wǎng)絡(luò)的核心優(yōu)勢(shì)。RBF的輸出層一般采用線性函數(shù)。相對(duì)于BP神經(jīng)網(wǎng)絡(luò),RBF神經(jīng)網(wǎng)絡(luò)模型較為簡(jiǎn)潔,訓(xùn)練效率更高。圖2展示了一個(gè)RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),其中 x1,x2,…,xn 為一個(gè)樣本輸入變量,h1,h2,…,hm 是隱含層的 Ωm 個(gè)神經(jīng)元。當(dāng)輸入變量進(jìn)入網(wǎng)絡(luò)后,它們會(huì)通過(guò)權(quán)值加和傳遞到隱含層。隱含層中的神經(jīng)元利用高斯函數(shù)對(duì)加權(quán)后的輸入進(jìn)行處理,處理結(jié)果再經(jīng)由輸出層的線性函數(shù)進(jìn)行加權(quán),最終形成輸出向量 Y 。
2BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)的異同
2.1隱含層不同
BP神經(jīng)網(wǎng)絡(luò)的隱含層神經(jīng)元的激活函數(shù)采用Sigmoid和Tanh函數(shù),這些激活函數(shù)能夠?qū)⑤斎胂蛄坑成涞揭粋€(gè)特定的區(qū)間范圍內(nèi)。BP神經(jīng)網(wǎng)絡(luò)可以對(duì)非線性映射關(guān)系進(jìn)行全局逼近。
RBF神經(jīng)網(wǎng)絡(luò)的隱含層神經(jīng)元采用的是徑向基函數(shù)作為網(wǎng)絡(luò)的激活函數(shù),該函數(shù)的輸入是網(wǎng)絡(luò)輸入向量與隱含層神經(jīng)元中心向量之間的距離。隱含層可以把低維數(shù)空間的向量映射到高維空間的向量,這樣做的好處是向量在低維數(shù)空間不能區(qū)分,到高維數(shù)空間就可以區(qū)分了。徑向基函數(shù)的引入,使得RBF神經(jīng)網(wǎng)絡(luò)比BP神經(jīng)網(wǎng)絡(luò)在識(shí)別方面更具有優(yōu)勢(shì)。
其中, i=1,2,…,n,x 表示一個(gè) n 維的輸入向量, ci 表示第 i 個(gè)基函數(shù)的中心的值,基函數(shù)的個(gè)數(shù)和輸入向量的維數(shù)相同。 |x-ci|2 表示向量 x 與 n 個(gè)基函數(shù)的距離。高斯函數(shù) Ri(x) 表示向量 x 在某一個(gè)基函數(shù)中心點(diǎn)處取得的最大值。
2.2訓(xùn)練方法及求解方法的不同
BP神經(jīng)網(wǎng)絡(luò)與RBF神經(jīng)網(wǎng)絡(luò)的區(qū)別主要在于訓(xùn)練方法、問(wèn)題求解上的不同。BP神經(jīng)網(wǎng)絡(luò)中tansig或Sigmoid等曲線的所有參數(shù),在網(wǎng)絡(luò)訓(xùn)練的過(guò)程中通過(guò)誤差反向傳播確定。RBF神經(jīng)網(wǎng)絡(luò)的控制徑向基內(nèi)層參數(shù)要人為輸入,而徑向基外層的參數(shù)需要通過(guò)對(duì)網(wǎng)絡(luò)訓(xùn)練得到。BP神經(jīng)網(wǎng)絡(luò)一般采用梯度下降法或Levenberg-Marquardt(LM)法訓(xùn)練權(quán)值。RBF網(wǎng)絡(luò)的一般算法有精確求解、k-means求解和最小二乘法(OLS)求解。
2.3隱含層神經(jīng)元個(gè)數(shù)確定的方法不同
BP網(wǎng)絡(luò)隱含層的節(jié)點(diǎn)個(gè)數(shù)需要設(shè)定,一般根據(jù)經(jīng)驗(yàn)公式推導(dǎo)得到,如經(jīng)驗(yàn)公式:
隱含層節(jié)點(diǎn)數(shù) 樣本量/ (α× (輸入層節(jié)點(diǎn)數(shù) + 輸出層節(jié)點(diǎn)數(shù)))或
隱含層節(jié)點(diǎn)數(shù)=
√輸入層節(jié)點(diǎn)數(shù) ?° 輸出層節(jié)點(diǎn)數(shù) +α 。
而RBF神經(jīng)網(wǎng)絡(luò)的徑向基神經(jīng)元的個(gè)數(shù),由訓(xùn)練算法決定。如,當(dāng)RBF神經(jīng)網(wǎng)絡(luò)需要精確求解時(shí),徑向基神經(jīng)元個(gè)數(shù)可取樣本個(gè)數(shù)。當(dāng)使用OLS算法求解時(shí),徑向基神經(jīng)元個(gè)數(shù)可采用向RBF神經(jīng)網(wǎng)絡(luò)中逐個(gè)添加的方式,直到滿足設(shè)置的誤差要求。從這方面來(lái)看,RBF神經(jīng)網(wǎng)絡(luò)在確定隱含層神經(jīng)元個(gè)數(shù)時(shí)更為簡(jiǎn)便,無(wú)需像BP神經(jīng)網(wǎng)絡(luò)那樣通過(guò)經(jīng)驗(yàn)公式去考慮隱含層節(jié)點(diǎn)數(shù)。本文采用徑向基神經(jīng)元數(shù)量等于樣本數(shù)量的方式,進(jìn)行精確求解。
2.4精度不同
為了提高BP神經(jīng)網(wǎng)絡(luò)的精度,通常會(huì)采用各種優(yōu)化方法,這些方法既包括對(duì)網(wǎng)絡(luò)本身的優(yōu)化,也涵蓋了對(duì)數(shù)據(jù)的優(yōu)化。RBF神經(jīng)網(wǎng)絡(luò)的顯著優(yōu)勢(shì)在于理論上可通過(guò)無(wú)限增加隱藏層神經(jīng)元數(shù)量對(duì)任意連續(xù)函數(shù)零誤差逼近,但是,為避免過(guò)擬合,模型通常不追求絕對(duì)的零誤差。
3BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)識(shí)別能力的比較
本文使用的標(biāo)準(zhǔn)字母表示由0和1構(gòu)成的數(shù)字矩陣,其大小為 35×1 ,即每個(gè)標(biāo)準(zhǔn)英文字母
對(duì)應(yīng)一個(gè)35維的列向量。圖3展示了部分標(biāo)準(zhǔn)
字母矩陣的示例。
3.1BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)對(duì)不同強(qiáng)度噪聲字母識(shí)別的情況
3.1.1標(biāo)準(zhǔn)英文字母加噪情況
本組試驗(yàn)對(duì)標(biāo)準(zhǔn)英文字母樣本分別施加了強(qiáng)度為 5% , 10% , 20% , 30% , 40% 及 50% 的噪聲。噪聲的產(chǎn)生方法是先生成隨機(jī)噪聲矩陣,再將其分別乘以0.05,0.1,0.2,0.3,0.4,0.5等系數(shù),以精確控制噪聲的強(qiáng)度。圖4直觀地展示了字母‘Y’在不同噪聲強(qiáng)度下的受擾圖像效果。
3.1.2BP神經(jīng)網(wǎng)絡(luò)的模擬試驗(yàn)
1)BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
BP神經(jīng)網(wǎng)絡(luò)使用35維的標(biāo)準(zhǔn)英文字母數(shù)據(jù)進(jìn)行構(gòu)建的。在訓(xùn)練階段,輸入數(shù)據(jù)為未加噪聲及分別添加 5% , 10% , 15% 噪聲的英文字母。而在測(cè)試階段,則添加了 20%,30%,40%,50% 品聲的英文字母作為待識(shí)別樣本。這意味著網(wǎng)絡(luò)使用含有較低強(qiáng)度噪聲的圖像進(jìn)行訓(xùn)練,進(jìn)而評(píng)估其在高強(qiáng)度噪聲條件下的識(shí)別性能。隱含層神經(jīng)元數(shù)量的確定公式為:
√ 輸入層節(jié)點(diǎn)數(shù) × 輸出層節(jié)點(diǎn)數(shù) +α= 其中,35為輸入層節(jié)點(diǎn)數(shù),26為輸出層節(jié)點(diǎn)數(shù), ∝ 為調(diào)節(jié)因子,其值通常較小。這個(gè)調(diào)節(jié)因子的引入,使得計(jì)算出的隱含層神經(jīng)元數(shù)量允許存在一定的偏差。
表1展示了不同隱含層神經(jīng)元數(shù)量下BP神經(jīng)網(wǎng)絡(luò)的相對(duì)誤差。相對(duì)誤差的計(jì)算公式為:
相對(duì)誤差 (真實(shí)值-預(yù)測(cè)值)/數(shù)據(jù)總數(shù)。
從表1可以看出,當(dāng)隱含層神經(jīng)元數(shù)量為9時(shí),相對(duì)誤差達(dá)到了0,表明網(wǎng)絡(luò)在此配置下達(dá)到了最優(yōu)狀態(tài)。
圖5展示了BP神經(jīng)網(wǎng)絡(luò)的各項(xiàng)訓(xùn)練指標(biāo)。從圖 5(a) 可以看出,當(dāng)采用附加動(dòng)量法和自適應(yīng)學(xué)習(xí)速率時(shí),網(wǎng)絡(luò)的最大誤差為0.104。盡管設(shè)定的目標(biāo)誤差為0.1,實(shí)際達(dá)到的誤差也為0.1,但網(wǎng)絡(luò)的性能仍表現(xiàn)良好?;貧w系數(shù) R=0.99978 該值表明BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)值與真實(shí)值之間存在極強(qiáng)的正線性相關(guān)性。
2)BP神經(jīng)網(wǎng)絡(luò)的混淆矩陣
混淆矩陣(ConfusionMatrix),又稱誤差矩陣或可能性矩陣,是評(píng)估分類(lèi)模型(BP神經(jīng)網(wǎng)絡(luò)、RBF神經(jīng)網(wǎng)絡(luò)作為分類(lèi)器)性能的可視化工具?;煜仃囘m用于有監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò),在無(wú)監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)中被稱為匹配矩陣?;煜仃囃ㄟ^(guò)對(duì)比預(yù)測(cè)類(lèi)和真實(shí)類(lèi)的標(biāo)簽,直觀呈現(xiàn)分類(lèi)結(jié)果的分布情況。其中,混淆矩陣的每一列代表預(yù)測(cè)類(lèi)的類(lèi)別,列的總數(shù)表示網(wǎng)絡(luò)預(yù)測(cè)為該類(lèi)別的總數(shù)目;每一行代表真實(shí)類(lèi)的類(lèi)別,每一行的總數(shù)表示網(wǎng)絡(luò)預(yù)測(cè)為該類(lèi)別的總數(shù)目。矩陣中的每個(gè)數(shù)值表示真實(shí)數(shù)據(jù)被預(yù)測(cè)為對(duì)應(yīng)類(lèi)別的樣本數(shù)目。
從圖6可以看出,只有兩個(gè)字母實(shí)例被錯(cuò)誤地預(yù)測(cè)為其他類(lèi)別,其余字母實(shí)例均被準(zhǔn)確預(yù)測(cè)為其真實(shí)類(lèi)別。例如,混淆短陣中第三行第九列的“1\"表示有1個(gè)實(shí)際屬于第三類(lèi)的實(shí)例被錯(cuò)誤預(yù)測(cè)為第九類(lèi);第六行第十八列的\"1\"則
為第十八類(lèi)。
3.1.3RBF神經(jīng)網(wǎng)絡(luò)的模擬試驗(yàn)
1)RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
RBF神經(jīng)網(wǎng)絡(luò)的建立同樣以這些標(biāo)準(zhǔn)英文字母作為輸入變量,輸出變量為26維的單位矩陣,對(duì)應(yīng)26個(gè)英文字母的類(lèi)別。為進(jìn)行對(duì)比試驗(yàn),訓(xùn)練數(shù)據(jù)采用了未添加噪聲、以及分別添加 5% ,10% 15% 噪聲的英文字母樣本;待識(shí)別(或測(cè)試)數(shù)據(jù)使用了添加 20% , 30% , 40% , 50% 噪聲的英文字母樣本。本文選用newrbe函數(shù)創(chuàng)建RBF神經(jīng)網(wǎng)絡(luò)。該函數(shù)創(chuàng)建網(wǎng)絡(luò)的速度非常快,但缺點(diǎn)是,隨著輸入向量維數(shù)的增大,網(wǎng)絡(luò)處理數(shù)據(jù)的速度會(huì)顯著變慢。在本文中,網(wǎng)絡(luò)的輸入向量維數(shù)為104,屬于中等規(guī)模,因此數(shù)據(jù)量不算特別大。
表2展示了RBF神經(jīng)網(wǎng)絡(luò)的擴(kuò)展系數(shù)(spread)及在不同擴(kuò)展系數(shù)下的網(wǎng)絡(luò)平均絕對(duì)誤差。平均絕對(duì)誤差的計(jì)算公式為:
平均絕對(duì)誤差=∑(測(cè)試值-真實(shí)值)總個(gè)數(shù)
從表2可以看出,在所測(cè)試的各個(gè)擴(kuò)展系數(shù)下,網(wǎng)絡(luò)的平均絕對(duì)誤差都為0。根據(jù)該表數(shù)據(jù),徑向基函數(shù)的擴(kuò)展系數(shù)選定為spread 1=2 。
圖7展示了所構(gòu)建的RBF(徑向基函數(shù))神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)。從圖7可以清晰看到,該模型采用了RBF神經(jīng)網(wǎng)絡(luò)典型的結(jié)構(gòu):其隱含層神經(jīng)元以高斯函數(shù)(GaussianFunction)作為徑向基函數(shù),輸出層采用線性函數(shù)(LinearFunction)計(jì)算。“徑向基函數(shù)隱含層 + 線性輸出層\"的設(shè)計(jì)是RBF神經(jīng)網(wǎng)絡(luò)區(qū)別于其他網(wǎng)絡(luò)模型的顯著特征。同時(shí),該RBF神經(jīng)網(wǎng)絡(luò)的輸入層維度設(shè)置為35維,與輸入數(shù)據(jù)(標(biāo)準(zhǔn)英文字母為35維)相匹配。其輸出層設(shè)計(jì)為26維,對(duì)應(yīng)于需要區(qū)分的26個(gè)英文字母類(lèi)別。這種輸入和輸出維度的配置,使得網(wǎng)絡(luò)能夠接收字母圖像特征,并輸出每個(gè)字母類(lèi)別的識(shí)別結(jié)果或概率。
2)RBF神經(jīng)網(wǎng)絡(luò)的性能
圖8展示了RBF神經(jīng)網(wǎng)絡(luò)在訓(xùn)練集和測(cè)試集的識(shí)別正確率。從圖8中可以清晰看到,該RBF神經(jīng)網(wǎng)絡(luò)處理訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)時(shí)均表現(xiàn)優(yōu)異,能完全正確識(shí)別所有樣本。這表明,無(wú)論是訓(xùn)練集還是用于評(píng)估泛化能力的測(cè)試集,該網(wǎng)絡(luò)的識(shí)別正確率都達(dá)到了 100% 。這一結(jié)果有力證明了該RBF神經(jīng)網(wǎng)絡(luò)模型針對(duì)給定任務(wù)具有極高的識(shí)別精度和良好的泛化能力。
圖9展示了RBF神經(jīng)網(wǎng)絡(luò)在訓(xùn)練集和測(cè)試集上的識(shí)別混淆矩陣。從圖9可以看出,訓(xùn)練集和測(cè)試集的混淆矩陣,所有非零值都集中在矩陣的主對(duì)角線上。這表明,該RBF神經(jīng)網(wǎng)絡(luò)能對(duì)所有輸入的樣本(包括訓(xùn)練樣本和測(cè)試樣本)進(jìn)行完全正確的識(shí)別,未出現(xiàn)任何分類(lèi)錯(cuò)誤。
表3展示BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)在隨機(jī)噪聲強(qiáng)度增強(qiáng)情況下的正確識(shí)別的情況。由表3可知,在隨機(jī)噪聲強(qiáng)度較低(小于或等于40% 時(shí),兩個(gè)網(wǎng)絡(luò)均表現(xiàn)出色,能實(shí)現(xiàn)對(duì)所有樣本的完全正確識(shí)別。然而,當(dāng)噪聲強(qiáng)度繼續(xù)增加,達(dá)到 50% 時(shí),兩個(gè)網(wǎng)絡(luò)的識(shí)別性能開(kāi)始出現(xiàn)分化。此時(shí),BP神經(jīng)網(wǎng)絡(luò)的識(shí)別正確率有所下降,降至 84.61% ,表明其對(duì)較強(qiáng)噪聲的魯棒性相對(duì)較弱。相比之下,RBF神經(jīng)網(wǎng)絡(luò)抗噪能力更強(qiáng),識(shí)別正確率依然穩(wěn)定地保持在 100% ,未受噪聲增加的影響。
3.2BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)對(duì)部分遮擋的英文字母的識(shí)別
在這組試驗(yàn)中,通過(guò)分別遮擋標(biāo)準(zhǔn)英文字母的不同部位來(lái)測(cè)試所建立的BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)的識(shí)別性能。具體而言,遮擋操作選取字母的左上、中部和右下這三個(gè)典型區(qū)域。將經(jīng)過(guò)不同部位遮擋處理的字母樣本分別輸入到這兩個(gè)網(wǎng)絡(luò)進(jìn)行識(shí)別。為了更直觀地說(shuō)明,圖10將以字母“A\"為例,展示其被遮擋后的幾種情況。
在將這些帶有遮擋的字母樣本輸入BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別時(shí),兩個(gè)網(wǎng)絡(luò)均表現(xiàn)出強(qiáng)大的魯棒性,能夠?qū)λ袦y(cè)試樣本實(shí)現(xiàn)完全正確的識(shí)別,沒(méi)有發(fā)生任何分類(lèi)錯(cuò)誤。表4展示了這兩個(gè)網(wǎng)絡(luò)在識(shí)別左上、中部、右下不同部位被遮擋的字母時(shí)的具體表現(xiàn)和識(shí)別結(jié)果。
從表4可以看出,BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)識(shí)別正確率均達(dá)到 100% ,這一結(jié)果不僅體現(xiàn)了BP及RBF神經(jīng)網(wǎng)絡(luò)的出色的性能,更證明了它們?cè)诿鎸?duì)字母樣本局部遮擋時(shí)具備高度的魯棒性和強(qiáng)大的泛化能力。具體而言,對(duì)于左上、中部、右下不同部位遮擋處理的字母樣本,兩個(gè)網(wǎng)絡(luò)能完全、準(zhǔn)確的識(shí)別,未出現(xiàn)任何錯(cuò)誤。這充分驗(yàn)證了所選網(wǎng)絡(luò)模型在處理實(shí)際應(yīng)用中可能遇到的圖像不完整性問(wèn)題時(shí)的有效性。
3.3BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)對(duì)加固定邊廓噪聲的識(shí)別
3.3.1字母加噪
CNN網(wǎng)絡(luò)的卷積核對(duì)噪聲圖像具有多種過(guò)濾功能。不同的卷積核能夠提取圖像的不同特征,且效果各異。本文引入一個(gè)特定的邊廓噪聲矩陣,用于對(duì)標(biāo)準(zhǔn)英文字母邊廓的各個(gè)部分進(jìn)行加噪處理。該邊廓噪聲矩陣定義為:
噪聲矩陣的示意如圖11所示。由圖11可見(jiàn),該噪聲矩陣主要作用于字母的邊廓部分,因此,將這種噪聲稱為\"邊廓噪聲”。圖11展示了字母“Y\"加入邊廓噪聲后的變化情況。
3.3.2BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)對(duì)邊廓噪聲的識(shí)別
本組試驗(yàn)旨在評(píng)估標(biāo)準(zhǔn)英文字母所建立的BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò),在識(shí)別加入邊廓噪聲的字母矩陣時(shí)的性能。其中,RBF神經(jīng)網(wǎng)絡(luò)使用newrbe函數(shù)創(chuàng)建。表5展示了兩個(gè)網(wǎng)絡(luò)對(duì)含邊廓噪聲樣本的識(shí)別結(jié)果。
由表5可見(jiàn),當(dāng)字母樣本受到強(qiáng)度較大邊廓噪聲干擾時(shí),BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)的識(shí)別性能都受到了顯著的負(fù)面影響,未完全正確識(shí)別。盡管如此,對(duì)比兩者的具體表現(xiàn)仍存在差異??傮w而言,RBF神經(jīng)網(wǎng)絡(luò)在較強(qiáng)的噪聲干擾下的整體性能優(yōu)于BP神經(jīng)網(wǎng)絡(luò),識(shí)別正確率更高,顯示出更強(qiáng)的魯棒性。
從三組試驗(yàn)的總體結(jié)果來(lái)看,BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)均展現(xiàn)出較強(qiáng)的識(shí)別能力。在加入不同強(qiáng)度隨機(jī)噪聲字母的識(shí)別任務(wù)中,兩個(gè)網(wǎng)絡(luò)在面對(duì)強(qiáng)度為 10%,20%,30%,40%| 的噪聲時(shí),均能實(shí)現(xiàn) 100% 的正確識(shí)別。然而,當(dāng)噪聲強(qiáng)度增至 50% 時(shí),改進(jìn)BP神經(jīng)網(wǎng)絡(luò)開(kāi)始出現(xiàn)錯(cuò)誤識(shí)別,而RBF神經(jīng)網(wǎng)絡(luò)則仍能完全正確識(shí)別所有字母。這主要得益于RBF神經(jīng)網(wǎng)絡(luò)采用的徑向基函數(shù)(高斯函數(shù)),該核函數(shù)能將低維度的輸入向量映射到高維空間,從而將原本在低維空間中線性不可分的數(shù)據(jù)轉(zhuǎn)化為高維空間中的線性可分?jǐn)?shù)據(jù),增強(qiáng)網(wǎng)絡(luò)的分類(lèi)能力。
針對(duì)改進(jìn)BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)對(duì)部分遮擋英文字母的識(shí)別結(jié)果分析發(fā)現(xiàn),兩個(gè)網(wǎng)絡(luò)的性能表現(xiàn)相近。究其原因,部分遮擋相對(duì)于標(biāo)準(zhǔn)字母而言,引入的變化幅度較小,對(duì)于數(shù)據(jù)擾動(dòng)不大的情況,兩個(gè)網(wǎng)絡(luò)均能有效應(yīng)對(duì)并正確識(shí)別,這進(jìn)一步證明了它們均具備良好的識(shí)別性能和一定的魯棒性。
在處理加入邊廓噪聲的字母樣本時(shí),兩個(gè)網(wǎng)絡(luò)的識(shí)別正確率較低。但值得注意的是,RBF神經(jīng)網(wǎng)絡(luò)在此條件下的性能明顯優(yōu)于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)。這同樣與其網(wǎng)絡(luò)結(jié)構(gòu)有關(guān)—RBF神經(jīng)網(wǎng)絡(luò)通常采用高斯函數(shù)作為徑向基函數(shù)(核函數(shù)),該函數(shù)形式賦予了網(wǎng)絡(luò)良好的局部逼近能力和對(duì)特定噪聲模式的適應(yīng)性,從而在此類(lèi)任務(wù)中表現(xiàn)優(yōu)異。
4結(jié)論
BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)是兩種常見(jiàn)的神經(jīng)網(wǎng)絡(luò)類(lèi)型,常因其結(jié)構(gòu)相對(duì)簡(jiǎn)潔、識(shí)別性能良好而受到關(guān)注。本研究采用了改進(jìn)BP神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)相較于傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)展現(xiàn)出更優(yōu)的性能。然而,在對(duì)比改進(jìn)BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)處理各種噪聲字母樣本時(shí)的表現(xiàn),結(jié)果顯示RBF神經(jīng)網(wǎng)絡(luò)的整體性能更優(yōu)。這主要?dú)w因于RBF神經(jīng)網(wǎng)絡(luò)本身的特性:其采用高斯函數(shù)作為其徑向基函數(shù)(通常是隱含層神經(jīng)元的激活函數(shù)),這種設(shè)計(jì)不僅有助于加快學(xué)習(xí)速度,而且有助于避免或減少網(wǎng)絡(luò)陷入局部極小值問(wèn)題的風(fēng)險(xiǎn),從而提升網(wǎng)絡(luò)的泛化能力和魯棒性。
參考文獻(xiàn):
[1]陶泓丞.流形上非線性相關(guān)系數(shù)的特征與仿真分析[D].南京:南京理工大學(xué),2023:7-55.
[2]陳震峰,吳明,孫衛(wèi)華.基于高階累積量和BP神經(jīng)網(wǎng)絡(luò)的數(shù)字調(diào)制識(shí)別[J].艦船電子工程,2024,44(1):60-62.
[3] CHENMR, CHEN B P, ZENG GQ, et al. An adaptivefractional-order BP neural network based on extremaloptimizationfor handwrittendigitsrecognition[J].Neurocomputing,2020,391:260-272.
[4]LIU JH,HONG J.Design of handwritten numeralrecognition system based on BP neural network[J].JournalofPhysics:Conference Series,2025,1:2021.
[5]張鳳南.智能手寫(xiě)體數(shù)字識(shí)別的研究與實(shí)現(xiàn)[J].電腦編程技巧與維護(hù),2022(8):134-136.
[6]嚴(yán)雯怡.BP神經(jīng)網(wǎng)絡(luò)中圖像識(shí)別的噪聲增益[D].南京:南京郵電大學(xué),2023:6-47.
[7]周怡紅.基于徑向基函數(shù)的非線性模型遞推參數(shù)估計(jì)[D]無(wú)錫:江南大學(xué),2023:9-103.
[8]何云薇.RBF插值鞍點(diǎn)問(wèn)題的迭代解法[D].武漢:武漢大學(xué),2024:4-45.
[9]安蕓帙,崔明建,韓一寧,等.考慮數(shù)據(jù)隱私保護(hù)自適應(yīng)聯(lián)邦學(xué)習(xí)的分布式光伏有功可調(diào)節(jié)能力評(píng)估方法[J/OL]中國(guó)電機(jī)工程學(xué)報(bào),1-14[2025-05-16].http://kns.cnki.net/kcms/detail/11.2107.TM.20250423.1556.002.html.
[10]鄭素佩,宋學(xué)力,封建湖.關(guān)于函數(shù)逼近法理論的一點(diǎn)認(rèn)識(shí)[J].高等數(shù)學(xué)研究,2024,27(4):90-94,104.
[11]沈瑜,李江怪,梁棟,等.特征選擇的高效時(shí)間序列預(yù)測(cè)模型[J/OL].哈爾濱工業(yè)大學(xué)學(xué)報(bào),1-14[2025-05-16].http://kns.cnki.net/kcms/detail/23.1235.T.20250321.1430.002.html.
[12]齊晴.基于改進(jìn)RBF及CNN神經(jīng)網(wǎng)絡(luò)的車(chē)牌識(shí)別研究[D].秦皇島:燕山大學(xué),2018:9-50.
[13]魏巍,全海燕.基于單形進(jìn)化的徑向基網(wǎng)絡(luò)訓(xùn)練算法[J]應(yīng)用科學(xué)學(xué)報(bào),2019,37(4):459-468.
[14]曹敏,尹尚先,李書(shū)乾,等.基于混淆矩陣的帶壓開(kāi)采底板突水危險(xiǎn)性評(píng)價(jià)研究[JOL]煤炭科學(xué)技術(shù),1-13[2025-05-16].http://kns.cnki.net/kcms/detail/11.2402.td.20240923.1810.001.html.
[15]劉偉吉,馮嘉豪,祝效華,等基于動(dòng)量自適應(yīng)學(xué)習(xí)率PSO-BP神經(jīng)網(wǎng)絡(luò)的鉆速預(yù)測(cè)模型研究[J.科學(xué)技術(shù)與工程,2023,23(24):10264-10272.
[16]張貫航.基于MNIST數(shù)據(jù)集的激活函數(shù)比較研究[J].軟件,2023,44(9):165-168.
(責(zé)任編輯:李堆淑)