王少英

(黃河交通學(xué)院,河南 焦作 454950)

隨著物聯(lián)網(wǎng)[1-2]的快速發(fā)展,“萬(wàn)物互聯(lián)”的未來(lái)技術(shù)方案將逐步應(yīng)用到智能食品包裝、智慧工廠等實(shí)際場(chǎng)景,其中所用終端傳感器設(shè)備不斷增加,傳感節(jié)點(diǎn)每時(shí)每刻所獲取的各類數(shù)據(jù)呈幾何級(jí)數(shù)增長(zhǎng)。這些海量的邊緣數(shù)據(jù),如攝像頭采集的食品包裝標(biāo)志圖像均依賴于遠(yuǎn)離終端的云端或者高度定制化的人工智能芯片進(jìn)行處理,從而導(dǎo)致了對(duì)海量邊緣數(shù)據(jù)無(wú)法實(shí)現(xiàn)實(shí)時(shí)有效處理,或者成本大幅度增加。因此,探索一種新的人工神經(jīng)網(wǎng)絡(luò)算法邊緣計(jì)算[3]實(shí)現(xiàn)方案,使得滿足諸如食品包裝標(biāo)志的實(shí)時(shí)在線識(shí)別與故障警報(bào)的實(shí)際需求,對(duì)智能食品包裝應(yīng)用具有重要意義。

目前,主要通過(guò)攝像頭等檢測(cè)流水線上的食品包裝信息,利用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network, CNN)[4]算法進(jìn)行分類識(shí)別并給出指示,避免發(fā)生誤包裝事故[5-8]。其中包括多列卷積神經(jīng)網(wǎng)絡(luò),通過(guò)構(gòu)建“3層卷積層+3層池化層+2層全連接層”的單列網(wǎng)絡(luò)結(jié)構(gòu),并通過(guò)5種不同預(yù)處理方式組成一個(gè)完整的多列CNN結(jié)構(gòu),但多個(gè)網(wǎng)絡(luò)的組合會(huì)產(chǎn)生大量的待訓(xùn)練參數(shù),進(jìn)而導(dǎo)致分類識(shí)別速率和訓(xùn)練速率均較慢;優(yōu)化CNN的方法[6]綜合了批量歸一化(Batch-normalization,BN)方法、逐層貪婪預(yù)訓(xùn)練(Greedy layer-wise pretraining,GLP)方法,以及將分類器換成支持向量機(jī)(Support vector machine,SVM)3種方法對(duì)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化。然而,CNN算法主要用于處理二維靜態(tài)圖像數(shù)據(jù),且訓(xùn)練時(shí)間長(zhǎng)、資源浪費(fèi)嚴(yán)重,本質(zhì)上不適用于對(duì)實(shí)時(shí)采集的連續(xù)圖像數(shù)據(jù)進(jìn)行分類處理。

循環(huán)神經(jīng)網(wǎng)絡(luò)算法(Recurrent neural network,RNN)[9]作為一種主要用來(lái)處理時(shí)序信息相關(guān)信號(hào)的基本人工神經(jīng)網(wǎng)絡(luò)算法架構(gòu),在實(shí)際應(yīng)用中通常存在結(jié)構(gòu)復(fù)雜、訓(xùn)練難度大,以及收斂速度慢等問(wèn)題。循環(huán)神經(jīng)網(wǎng)絡(luò)算法通常是利用時(shí)間反向傳播(Back propagation through time,BPTT)[9]算法進(jìn)行訓(xùn)練,其訓(xùn)練計(jì)算代價(jià)較大,訓(xùn)練過(guò)程緩慢且訓(xùn)練成本高。利用BPTT算法訓(xùn)練遞歸神經(jīng)網(wǎng)絡(luò)過(guò)程中,輸入層和中間層的連接權(quán)變化緩慢,只有輸出連接權(quán)變化明顯。

為解決上述問(wèn)題,Atiya等[9]提出了多種優(yōu)化RNN訓(xùn)練難度高的改進(jìn)型算法模型,包括長(zhǎng)短時(shí)記憶模型(Longshorttimememory,LSTM);Luko?evicius等[10]提出了回聲狀態(tài)網(wǎng)絡(luò)(Echo state network,ESN);Verstraeten等[11]提出了液體狀態(tài)機(jī)(Liquid state machine,LSM)。研究[10-11]表明,回聲狀態(tài)網(wǎng)絡(luò)和液體狀態(tài)機(jī)算法本質(zhì)上一致,并概括為儲(chǔ)備池計(jì)算(Reservoir computing, RC)。

因此,RC算法作為一種改進(jìn)型循環(huán)神經(jīng)網(wǎng)絡(luò)算法,其核心思想是利用一個(gè)儲(chǔ)備池代替?zhèn)鹘y(tǒng)神經(jīng)網(wǎng)絡(luò)中的中間層,輸入層到儲(chǔ)備池的輸入連接權(quán)和儲(chǔ)備池的內(nèi)部連接權(quán)均隨機(jī)生成并保持不變,訓(xùn)練過(guò)程中唯一需要確定儲(chǔ)備池到輸出層的輸出連接權(quán)。該算法模型的提出,極大地推進(jìn)了專門(mén)用于處理時(shí)序信號(hào)的硬件神經(jīng)網(wǎng)絡(luò)算法的研究。

該算法架構(gòu)大大簡(jiǎn)化了傳統(tǒng)RNN神經(jīng)網(wǎng)絡(luò)的訓(xùn)練計(jì)算難度,而且可以通過(guò)具備一定非線性特性與衰減特性的物理系統(tǒng)或器件在硬件層面實(shí)現(xiàn)該算法框架,在模擬域?qū)崿F(xiàn)對(duì)傳感信號(hào)的處理,有助于進(jìn)一步推動(dòng)邊緣計(jì)算的實(shí)現(xiàn)。已有硬件RC系統(tǒng)的研究多是利用不同類型器件,結(jié)合不同非線性特性進(jìn)行基礎(chǔ)性能的探索,其中包括電器件、光電器件以及全光器件、憶阻器以及自旋納米振蕩器等[12-17]。

針對(duì)當(dāng)前食品包裝圖像識(shí)別方案實(shí)時(shí)性差、成本高等問(wèn)題,研究擬在智能食品包裝這一具體應(yīng)用場(chǎng)景下,引入改進(jìn)型循環(huán)神經(jīng)網(wǎng)絡(luò)算法,構(gòu)建以憶阻器非線性動(dòng)態(tài)特性為核心的儲(chǔ)備池計(jì)算系統(tǒng)。設(shè)計(jì)智能實(shí)時(shí)識(shí)別系統(tǒng),通過(guò)仿真模擬實(shí)現(xiàn)對(duì)食品包裝標(biāo)志信號(hào)的分類識(shí)別,并驗(yàn)證該方法的可行性與實(shí)用性,以期為食品包裝智能識(shí)別系統(tǒng)的開(kāi)發(fā)提供依據(jù)。

1 智能實(shí)時(shí)識(shí)別系統(tǒng)

1.1 環(huán)境干擾食品包裝圖像數(shù)據(jù)

采用公開(kāi)的食品包裝數(shù)據(jù)集GTSRB(german food sign recognition benchmark),該數(shù)據(jù)集共有43類食品包裝標(biāo)志,包含5萬(wàn)多張各類常見(jiàn)的食品包裝圖像,且這些圖像的采集過(guò)程涉及不同的光照強(qiáng)度、拍攝角度、天氣情況以及被遮擋等情況。該數(shù)據(jù)集構(gòu)成為:訓(xùn)練集34 799個(gè)樣本,測(cè)試集12 630個(gè)樣本,驗(yàn)證集4 410個(gè)樣本。

通過(guò)對(duì)該數(shù)據(jù)集樣本進(jìn)行觀察分析,總結(jié)整體樣本存在的特征:① 不同樣本的尺寸明顯不一致;② 不同樣本的背景信息不一致;③ 不同樣本的顏色不一致等。

綜合考慮樣本特征,結(jié)合試驗(yàn)采用的陣列式憶阻器RC系統(tǒng)需要保證待測(cè)信號(hào)的長(zhǎng)度一致,而且樣本顏色與冗余的背景信息不是實(shí)現(xiàn)分類識(shí)別的關(guān)鍵特征。因此將食品包裝標(biāo)志圖像分別進(jìn)行去除背景信息、灰度化與歸一化處理以及重采樣統(tǒng)一樣本尺寸,最終實(shí)現(xiàn)降低模型訓(xùn)練的復(fù)雜度和減少模型的計(jì)算量的作用。預(yù)處理過(guò)程如圖1所示。

圖1 預(yù)處理過(guò)程

圖1利用官方給出的4個(gè)Rois坐標(biāo)信息進(jìn)行圖片背景的精準(zhǔn)去除。使圖像灰度化的方法較多,試驗(yàn)選擇根據(jù)YUV顏色空間(Y分量的物理意義是點(diǎn)的亮度,由該值反映亮度等級(jí)),根據(jù)RGB和YUV顏色空間的變化關(guān)系可建立亮度Y與R、G、B3個(gè)顏色分量的對(duì)應(yīng),并以該亮度值表達(dá)圖像的灰度值,其關(guān)系式為:

Y=0.3R+0.59G+0.11B。

(1)

同時(shí)對(duì)其數(shù)值利用最大值法進(jìn)行歸一化操作,以便于后續(xù)調(diào)節(jié)參數(shù)更適配憶阻器RC系統(tǒng);最后選擇使用一定的插值方法,對(duì)不同尺寸圖像進(jìn)行重采樣縮放,試驗(yàn)采用“imresize()”函數(shù),在默認(rèn)使用雙3次插值的情況下,實(shí)現(xiàn)對(duì)不同尺寸樣本統(tǒng)一轉(zhuǎn)化為30像素×30像素的圖像。

1.2 系統(tǒng)構(gòu)成

智能實(shí)時(shí)識(shí)別系統(tǒng)主要由控制程序外加三部分構(gòu)成,包括信號(hào)采集與處理模塊、硬件RC系統(tǒng)與電路模塊以及后處理回歸算法模塊。對(duì)食品包裝標(biāo)志等數(shù)據(jù)集的在線檢測(cè)識(shí)別過(guò)程為:首先利用攝像頭等傳感器對(duì)實(shí)景中的食品包裝標(biāo)志進(jìn)行采集,并轉(zhuǎn)換為數(shù)字信號(hào),從得到的視頻流數(shù)據(jù)獲取圖像信息,經(jīng)過(guò)一定的預(yù)處理過(guò)程;進(jìn)一步通過(guò)控制程序?qū)⒋郎y(cè)信號(hào)輸入由穩(wěn)定非線性傳輸函數(shù)構(gòu)成的RC系統(tǒng)中,實(shí)時(shí)檢測(cè)得到其動(dòng)態(tài)響應(yīng)信號(hào);最后通過(guò)該響應(yīng)信號(hào)矩陣,利用線性回歸算法實(shí)現(xiàn)最優(yōu)輸出權(quán)重的訓(xùn)練,并將識(shí)別結(jié)果顯示出來(lái),其總體框圖如圖2 所示。

圖2 智能實(shí)時(shí)識(shí)別系統(tǒng)結(jié)構(gòu)總體框圖

第2模塊中的RC系統(tǒng)是在傳統(tǒng)軟件RC系統(tǒng)的基礎(chǔ)上演變而來(lái)的硬件RC算法實(shí)現(xiàn)架構(gòu),如圖3所示。其特點(diǎn)是利用物理器件的非線性響應(yīng)特性實(shí)現(xiàn)傳統(tǒng)的多個(gè)神經(jīng)元節(jié)點(diǎn)構(gòu)成的儲(chǔ)備池映射層,既能保證高維映射性能,又能降低訓(xùn)練難度,節(jié)約整體成本。

圖3 改進(jìn)型循環(huán)神經(jīng)網(wǎng)絡(luò)算法架構(gòu)

2 改進(jìn)型循環(huán)神經(jīng)網(wǎng)絡(luò)算法

2.1 算法原理

傳統(tǒng)的儲(chǔ)備池計(jì)算由輸入層、儲(chǔ)備池和輸出層構(gòu)成[圖3(b)]。輸入信號(hào)通過(guò)輸入層進(jìn)入儲(chǔ)備池,在儲(chǔ)備池中被非線性映射到高維狀態(tài)空間,輸出層根據(jù)節(jié)點(diǎn)狀態(tài)和訓(xùn)練過(guò)程中確定的輸出連接權(quán)重產(chǎn)生輸出信號(hào),然后進(jìn)行預(yù)測(cè)任務(wù)或者分類任務(wù)。訓(xùn)練過(guò)程中一般根據(jù)一個(gè)線性回歸算法確定輸出連接權(quán)。儲(chǔ)備池系統(tǒng)的節(jié)點(diǎn)狀態(tài)更新方程x(n+1)和輸出方程y(n+1)分別為

x(n+1)=fres[Winu(n+1)+Wresx(n)+Wbacky(n)],

(2)

y(n+1)=fout[Woutx(n+1)],

(3)

式中:

x(n)——節(jié)點(diǎn)狀態(tài);

u(n)——輸入信號(hào);

y(n)——輸出信號(hào);

n——時(shí)間步數(shù);

Win、Wres和Wback——輸入連接權(quán)值、內(nèi)部連接權(quán)值、輸出連接權(quán)值以及反饋連接權(quán)值;

fres——狀態(tài)激活函數(shù);

fout——輸出函數(shù)(軟件算法實(shí)現(xiàn)中通常選擇雙曲正弦函數(shù)作為fres);

fout——多項(xiàng)式恒等函數(shù)。

由于ESN和LSM本質(zhì)相同,此處只介紹ESN模型。如圖4所示,ESN主要由輸入層、儲(chǔ)備池層和輸出層3部分組成。u(t)∈P×1為系統(tǒng)的輸入向量,t=1,2,…,T。輸入層與儲(chǔ)備池層通過(guò)輸入權(quán)重矩陣WESN_in∈N×P連接,其中N為儲(chǔ)備池節(jié)點(diǎn)的個(gè)數(shù)。與RNN不同,輸入權(quán)重矩陣WESN_in在系統(tǒng)初始化時(shí)隨機(jī)指定,無(wú)需訓(xùn)練。儲(chǔ)備池層由狀態(tài)節(jié)點(diǎn)x∈N×1組成。ESN不是單項(xiàng)網(wǎng)絡(luò),儲(chǔ)備池層狀態(tài)節(jié)點(diǎn)的取值由兩方面的輸入決定:輸入層的u(t)和儲(chǔ)備池前一個(gè)狀態(tài)節(jié)點(diǎn)輸出x(t-1)。狀態(tài)節(jié)點(diǎn)之間由狀態(tài)反饋權(quán)重WESN∈N×N連接。狀態(tài)節(jié)點(diǎn)更新式為:

圖4 回聲狀態(tài)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

x(t)=f[WESN_inu(t)+WESNx(t-1)],

(4)

式中:

f(·)——非線性激活函數(shù)。

儲(chǔ)備池層與輸出層由輸出權(quán)重WESN_out∈M×N連接。ESN網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)只有輸出權(quán)重,因此大大減少了網(wǎng)絡(luò)的訓(xùn)練計(jì)算量。訓(xùn)練目標(biāo)為實(shí)際輸出與目標(biāo)輸出y(t)之間的誤差最小,其計(jì)算過(guò)程為:

(5)

(6)

需要訓(xùn)練的輸出矩陣WESN_out可能為奇異矩陣,所以訓(xùn)練采用偽逆算法或者嶺回歸算法。

ESN有兩個(gè)非常明顯的特點(diǎn):① 儲(chǔ)備池中狀態(tài)節(jié)點(diǎn)的連接狀態(tài)是隨機(jī)的,即神經(jīng)元之間是否建立了連接、連接強(qiáng)度如何,外界是不清楚的;② 儲(chǔ)備池中狀態(tài)節(jié)點(diǎn)的連接權(quán)重矩陣是固定不變的,不會(huì)使用梯度下降法進(jìn)行連接權(quán)重的更新。ESN的這兩大特點(diǎn),使其擁有了RNN不具備的優(yōu)勢(shì):① 只需訓(xùn)練輸出權(quán)重矩陣,計(jì)算量顯著降低;② 在一定程度上避免了梯度下降算法中的局部極小情況,從而避免了梯度爆炸和梯度消失的問(wèn)題。

綜上,RC算法模型作為一種改進(jìn)型循環(huán)神經(jīng)網(wǎng)絡(luò)算法,不僅解決了傳統(tǒng)RNN網(wǎng)絡(luò)復(fù)雜度高、訓(xùn)練難度大等問(wèn)題,實(shí)現(xiàn)了對(duì)時(shí)序相關(guān)信號(hào)的快速處理;并且為硬件神經(jīng)網(wǎng)絡(luò)算法的實(shí)現(xiàn)提供了一條可行性極強(qiáng)的方案。

2.2 硬件RC工作原理

試驗(yàn)重點(diǎn)以憶阻器件作為實(shí)現(xiàn)硬件RC系統(tǒng)的研究對(duì)象,將其非線性響應(yīng)特性與RC算法相結(jié)合,實(shí)現(xiàn)傳感信號(hào)在模擬域的直接感知與并行計(jì)算。同時(shí),憶阻器的非線性動(dòng)力學(xué)是構(gòu)建硬件RC系統(tǒng)的核心。與所有的憶阻器件一樣,在WOx憶阻器件的I-V特性中可以明顯觀察到“遲滯”行為(圖5)。當(dāng)施加正電壓時(shí),器件電導(dǎo)逐漸增加(稱為寫(xiě)過(guò)程),當(dāng)施加負(fù)電壓時(shí),電導(dǎo)逐漸減少(稱為擦除過(guò)程)。

圖5 憶阻器響應(yīng)狀態(tài)隨DC電壓的變化

此外,當(dāng)進(jìn)行多次連續(xù)的正向掃描時(shí),器件電導(dǎo)會(huì)隨著每次掃描持續(xù)增加,但遲滯回路之間也會(huì)出現(xiàn)重疊,這與儲(chǔ)備池計(jì)算系統(tǒng)中的短時(shí)記憶行為一致;此外,憶阻器加工工藝與傳統(tǒng)半導(dǎo)體工藝兼容,且具備集成度高、體積小、成本低等特點(diǎn)。因此,選擇憶阻器作為實(shí)現(xiàn)模擬硬件RC的研究對(duì)象,通過(guò)構(gòu)建其仿真試驗(yàn)?zāi)Ｐ?初步探索其對(duì)食品包裝標(biāo)志信號(hào)的實(shí)時(shí)分類能力。

憶阻器響應(yīng)電流與驅(qū)動(dòng)電壓的非線性表達(dá)式為:

I=(1-w)α[1-exp(-βV)]+wγsinh(δV),

(7)

式中:

α——對(duì)應(yīng)Vo貧區(qū)電導(dǎo)的肖特基項(xiàng);

β——對(duì)應(yīng)Vo富區(qū)電導(dǎo)的類隧通項(xiàng)(兩個(gè)傳導(dǎo)通道并聯(lián),其相對(duì)權(quán)重由內(nèi)狀態(tài)變量w決定)。

狀態(tài)變量w相對(duì)于外加電壓的變化率的動(dòng)力學(xué)方程為:

(8)

式中:

ι——外加電場(chǎng)下的漂移效應(yīng);

η——自發(fā)擴(kuò)散系數(shù);

τ——擴(kuò)散時(shí)間常數(shù)。

表1的非線性傳輸函數(shù)表達(dá)式相關(guān)參數(shù)均按照所設(shè)計(jì)器件的參數(shù)給出,在仿真試驗(yàn)中默認(rèn)其值保持不變。

表1 憶阻器RC模型相關(guān)參數(shù)?[13]

每個(gè)脈沖時(shí)序信號(hào)輸入前,憶阻器初始化為w=0.1,對(duì)應(yīng)于器件的靜息狀態(tài)。器件在脈沖時(shí)序信號(hào)中的變化可以分為兩種情況:

(1) 當(dāng)施加寫(xiě)脈沖時(shí),狀態(tài)變量w通過(guò)式(9)改變:

Δw=R(w)·tpulse·λ·sinh(ηVpulse),

(9)

式中:

tpulse、Vpulse——輸入脈沖的時(shí)間長(zhǎng)度與電壓大小。

衰減效應(yīng)往往在寫(xiě)入脈沖時(shí)序信號(hào)時(shí)被忽略,R(w)主要用于保證狀態(tài)變量w不會(huì)超過(guò)其自身上限(w=1),表達(dá)式為

(10)

(2) 在寫(xiě)入脈沖的電壓信號(hào)為0的周期內(nèi),狀態(tài)變量將會(huì)衰減,形式為

(11)

式中:

Δt——該周期的長(zhǎng)度;

w0——該周期狀態(tài)變量的初始值。

該效應(yīng)可通過(guò)對(duì)式(7)在V=0時(shí)求積分得到。

當(dāng)寫(xiě)入一定的脈沖信號(hào)時(shí),讀出脈沖施加相當(dāng)于可以得到式(7)中的響應(yīng)電流信號(hào)。因此,儲(chǔ)備池狀態(tài)就可以通過(guò)包含憶阻器讀出電流的向量信號(hào)表示,對(duì)于試驗(yàn)預(yù)處理后的圖像(30×30),固定tpulse下采用單個(gè)憶阻器處理單行灰度值信號(hào),響應(yīng)向量長(zhǎng)度即為30。

2.3 并行憶阻器RC算法框架

在憶阻器RC系統(tǒng)[13,17]基礎(chǔ)上,根據(jù)憶阻器的非線性傳輸函數(shù)表達(dá)式,構(gòu)建圖3中改進(jìn)型循環(huán)神經(jīng)網(wǎng)絡(luò)算法模型的儲(chǔ)備池層,用于實(shí)現(xiàn)對(duì)待測(cè)食品包裝標(biāo)志時(shí)序信號(hào)進(jìn)行實(shí)時(shí)分類處理。為更好地提升系統(tǒng)的計(jì)算速度,使得該系統(tǒng)的算法運(yùn)行時(shí)間所產(chǎn)生的延時(shí)最小,試驗(yàn)設(shè)計(jì)了一種并行憶阻器RC算法架構(gòu),其原理如圖6所示。

圖6 并行憶阻器RC系統(tǒng)示意圖

試驗(yàn)設(shè)計(jì)模型利用30個(gè)憶阻器構(gòu)建30個(gè)并行RC系統(tǒng)陣列。預(yù)處理后的圖像樣本為30像素×30像素的圖像,將每一行1×30的數(shù)據(jù)添加時(shí)間信息t0,作為一段時(shí)序信號(hào)輸入至單個(gè)憶阻器RC系統(tǒng);每個(gè)憶阻器RC分別對(duì)待測(cè)信號(hào)進(jìn)行非線性高維映射,產(chǎn)生相應(yīng)的狀態(tài)響應(yīng);將30個(gè)并行憶阻器RC系統(tǒng)的實(shí)時(shí)狀態(tài)響應(yīng)串聯(lián)為1×900的向量,作為該待測(cè)圖像樣本的高維非線性狀態(tài)輸出∑Ii。所有樣本輸出狀態(tài)為N×I(N為數(shù)據(jù)集樣本數(shù)),進(jìn)一步與構(gòu)建的43個(gè)分類器進(jìn)行線性回歸訓(xùn)練,得到最優(yōu)權(quán)重Wi;利用測(cè)試集或者驗(yàn)證集中的樣本進(jìn)行測(cè)試,與43個(gè)最優(yōu)權(quán)重值相乘后利用“Winnertakesall”的算法得到最終的分類結(jié)果;然后與真值比較,如果該樣本分類準(zhǔn)確則“+1”,分類錯(cuò)誤則“+0”,通過(guò)計(jì)算該值與測(cè)試總樣本數(shù)的比值得到最終分類準(zhǔn)確率。

儲(chǔ)備池系統(tǒng)的輸出狀態(tài)本身并不是整個(gè)RC系統(tǒng)所期望的結(jié)果,因此需要對(duì)該輸出狀態(tài)進(jìn)行線性回歸訓(xùn)練,獲得系統(tǒng)最優(yōu)權(quán)重向量,從而實(shí)現(xiàn)對(duì)測(cè)試集數(shù)據(jù)有效的分類與回歸預(yù)測(cè)。該線性回歸模型的訓(xùn)練算法為每個(gè)神經(jīng)元節(jié)點(diǎn)分配一個(gè)輸出權(quán)值,使?fàn)顟B(tài)的加權(quán)和盡可能接近期望的目標(biāo)值,一般用式(12)表示。

y(t)=WTx(t),

(12)

式中:

W——待訓(xùn)練輸出權(quán)重向量;

x(t)——儲(chǔ)備池狀態(tài)輸出向量;

y(t)——預(yù)測(cè)值;

一般對(duì)于所述線性回歸模型,需要使用最小二乘估計(jì)(Ordinary least squares estimation,OLS)來(lái)訓(xùn)練其最優(yōu)權(quán)重向量值,其損失函數(shù)為:

(13)

為了避免訓(xùn)練數(shù)據(jù)過(guò)擬合以及模型大量參數(shù)導(dǎo)致的復(fù)雜度,一般解決方案是通過(guò)在式(13)上加一個(gè)懲罰項(xiàng)。

如果懲罰項(xiàng)是參數(shù)的L2范數(shù),為嶺回歸(Ridge regression)模型,其損失函數(shù)的解為:

(14)

如果懲罰項(xiàng)是參數(shù)的L1范數(shù),為拉索回歸(Lasso regression)模型,其損失函數(shù)的解為:

(15)

第二項(xiàng)λ的目的是使W權(quán)重盡可能小,同時(shí)使誤差最小化。在訓(xùn)練權(quán)重系數(shù)規(guī)模不是特別大的情況下,這兩種方法都可以使用,并有望產(chǎn)生相同的結(jié)果。試驗(yàn)采用嶺回歸算法作為用于輸出層權(quán)值訓(xùn)練的方法,有效避免過(guò)擬合現(xiàn)象,同時(shí)保證權(quán)值數(shù)量的一致性。

圖7為具體訓(xùn)練測(cè)試流程。首先對(duì)所選擇GTSRB數(shù)據(jù)集進(jìn)行如圖1所示預(yù)處理,得到無(wú)冗余背景、尺寸一致的歸一化灰度值樣本;構(gòu)建由憶阻器非線性傳輸函數(shù)為儲(chǔ)備池層的并行RC仿真模型,并通過(guò)先驗(yàn)知識(shí)確定模型各參數(shù);利用訓(xùn)練集數(shù)據(jù)樣本進(jìn)行43個(gè)分類器最優(yōu)權(quán)值的訓(xùn)練,并通過(guò)測(cè)試集數(shù)據(jù)進(jìn)行均方誤差(MSE)評(píng)估,通過(guò)式(14)的嶺回歸函數(shù)得到MSE最小時(shí)的λ取值,反復(fù)迭代優(yōu)化后確定最優(yōu)Wi;最后利用驗(yàn)證集進(jìn)行最終性能測(cè)試,得到該算法模型分類精度指標(biāo)。

圖7 系統(tǒng)訓(xùn)練測(cè)試流程圖

(16)

式中:

yk——目標(biāo)值;

m——目標(biāo)函數(shù)中以時(shí)間為步長(zhǎng)的數(shù)值個(gè)數(shù)。

3 驗(yàn)證實(shí)驗(yàn)結(jié)果與分析

以MATLAB &Simulink作為程序開(kāi)發(fā)環(huán)境,利用憶阻器非線性振動(dòng)特性作為激活函數(shù),設(shè)計(jì)并行憶阻器RC系統(tǒng)對(duì)43類不同食品包裝標(biāo)志數(shù)據(jù)進(jìn)行仿真模型搭建。

圖8為系統(tǒng)仿真模型示意圖,通過(guò)Simulink構(gòu)建式(2)的非線性振動(dòng)方程以及測(cè)試電路模塊,利用MATLAB的控制程序?qū)崿F(xiàn)預(yù)處理后數(shù)據(jù)的并行輸入與保存,以及嶺回歸算法完成訓(xùn)練與測(cè)試。最終模擬實(shí)現(xiàn)對(duì)“視頻流”圖像數(shù)據(jù)的實(shí)時(shí)分類處理,并做出相應(yīng)警告與提醒。

圖8 仿真模型部分示意圖

圖9 優(yōu)化寫(xiě)入脈沖時(shí)間試驗(yàn)結(jié)果

設(shè)置試驗(yàn)系統(tǒng)寫(xiě)入DC脈沖信號(hào)的Vpulse=1.5 V,首先選擇tpulse=[0.1∶0.1∶0.8] ms,時(shí)間間隔Δt=0.1 ms,分別與歸一化后的待測(cè)信號(hào)數(shù)據(jù)相乘后輸入憶阻器RC系統(tǒng)。試驗(yàn)測(cè)試結(jié)果表明,當(dāng)tpulse=0.4 ms時(shí),試驗(yàn)系統(tǒng)對(duì)有效數(shù)值信號(hào)的非線性積累效果最好。

在已有試驗(yàn)參數(shù)設(shè)置基礎(chǔ)上,已實(shí)現(xiàn)對(duì)不同灰度值數(shù)據(jù)的非線性積累效應(yīng),但是由于憶阻器的電導(dǎo)率會(huì)隨正向電壓的施壓,導(dǎo)致中間層離子濃度不斷積累,最終達(dá)到最高離子濃度飽和值。因此,需要通過(guò)調(diào)節(jié)輸入數(shù)據(jù)前后時(shí)間間隔周期Δt來(lái)實(shí)現(xiàn)離子濃度的降低,達(dá)到非線性狀態(tài)衰減的效應(yīng)。從而模擬神經(jīng)元實(shí)現(xiàn)一定的上下文關(guān)聯(lián)與短時(shí)記憶特性,保證系統(tǒng)實(shí)現(xiàn)復(fù)雜的非線性映射與狀態(tài)積累。所設(shè)計(jì)優(yōu)化試驗(yàn)通過(guò)改變?chǔ),分別取值[0.01∶0.2∶1] ms的50個(gè)數(shù)值進(jìn)行參數(shù)掃描試驗(yàn)測(cè)試。由圖10可知,當(dāng)Δt=0.3 ms時(shí),系統(tǒng)整體性能達(dá)到最優(yōu),此時(shí)的分類準(zhǔn)確率高達(dá)98.89%。

圖10 優(yōu)化時(shí)間間隔試驗(yàn)結(jié)果

由于數(shù)據(jù)集中采集數(shù)據(jù)因?yàn)楣庹铡⑻鞖庥绊懸约罢趽醯确强煽沽τ绊?導(dǎo)致圖像本身產(chǎn)生形變難以辨別。因此,由表2可知,試驗(yàn)設(shè)計(jì)系統(tǒng)的分類準(zhǔn)確率最高只達(dá)到98.59%。

表2 不同神經(jīng)網(wǎng)絡(luò)算法模型對(duì)比

綜合對(duì)比表明,試驗(yàn)建立的陣列式憶阻器RC系統(tǒng)實(shí)現(xiàn)的分類準(zhǔn)確率較高,已達(dá)到較高水平;試驗(yàn)利用單個(gè)物理器件的非線性振動(dòng)特性方程作為傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法中的N個(gè)復(fù)雜連接的激活函數(shù),不僅大大降低了神經(jīng)元網(wǎng)絡(luò)映射層的構(gòu)建難度、節(jié)約了訓(xùn)練成本,還通過(guò)并行陣列式憶阻器RC系統(tǒng)架構(gòu)提升了計(jì)算速度。

4 結(jié)論

研究利用改進(jìn)型循環(huán)神經(jīng)網(wǎng)絡(luò)算法,利用憶阻器非線性傳輸函數(shù)作為儲(chǔ)備池神經(jīng)網(wǎng)絡(luò)映射層,構(gòu)建并行儲(chǔ)備池計(jì)算系統(tǒng)并設(shè)計(jì)智能實(shí)時(shí)識(shí)別系統(tǒng)仿真試驗(yàn),最終實(shí)現(xiàn)了對(duì)食品包裝的實(shí)時(shí)分類識(shí)別。結(jié)果表明,試驗(yàn)方案不僅取得了較高的分類準(zhǔn)確率,且初步實(shí)現(xiàn)了對(duì)“視頻流”圖像數(shù)據(jù)的實(shí)時(shí)在線處理,極大提高了計(jì)算效率。說(shuō)明循環(huán)神經(jīng)網(wǎng)絡(luò)算法構(gòu)建的智能識(shí)別系統(tǒng)可以實(shí)現(xiàn)對(duì)食品包裝標(biāo)志信號(hào)的實(shí)時(shí)在線識(shí)別,并有望作為一種實(shí)現(xiàn)智能食品包裝樞紐終端的重要技術(shù)方案。后續(xù)將進(jìn)一步進(jìn)行試驗(yàn)測(cè)試系統(tǒng)的搭建,并在此基礎(chǔ)上逐步完善和改進(jìn)該智能實(shí)時(shí)識(shí)別系統(tǒng)實(shí)現(xiàn)方案。