王靜靜 陳敏之
摘 要:為提高青年女性胸部體型分類(lèi)的準(zhǔn)確率,從而為個(gè)性化女裝的結(jié)構(gòu)設(shè)計(jì)提供依據(jù),以滿(mǎn)足服裝個(gè)性化發(fā)展要求,構(gòu)建了一種基于長(zhǎng)短記憶神經(jīng)網(wǎng)絡(luò)(LSTM)的青年女性胸部體型識(shí)別模型。運(yùn)用三維測(cè)量技術(shù)獲取230名女青年人體數(shù)據(jù),采用聚類(lèi)分析提取了5項(xiàng)反映胸部形態(tài)的典型指標(biāo),根據(jù)典型指標(biāo)將胸部體型細(xì)分為3類(lèi);在此基礎(chǔ)上構(gòu)建了基于LSTM組合全連接層的胸部體型識(shí)別模型,將5項(xiàng)典型指標(biāo)作為特征參數(shù)輸入,采用小批量亞當(dāng)優(yōu)化算法訓(xùn)練模型避免陷入局部最優(yōu),使用dropout降低過(guò)擬合,輸出結(jié)果運(yùn)用Softmax回歸分類(lèi)器實(shí)現(xiàn)胸部體型分類(lèi)。結(jié)果表明,該模型能有效對(duì)胸部體型進(jìn)行識(shí)別分類(lèi),分類(lèi)準(zhǔn)確率為94.6%,與傳統(tǒng)的BP網(wǎng)絡(luò)和PNN網(wǎng)絡(luò)對(duì)比,該模型的擬合效果和預(yù)測(cè)精度更高。
關(guān)鍵詞:胸部體型;三維測(cè)量;聚類(lèi)分析;長(zhǎng)短記憶神經(jīng)網(wǎng)絡(luò);識(shí)別模型
Abstract:In order to improve the classification accuracy rate of young females breast shapes, provide a basis for the structural design of personalized female clothing and meet the requirements of personalized clothing development, a recognition model of young females breast shapes based on long and short-term memory neural network (LSTM) was constructed. 3D measurement technology was used to obtain the human body data of 230 young females. Five typical indicators reflecting the breast shapes were extracted by cluster analysis. According to the typical indicators, the breast shapes were subdivided into three categories. On this basis, breast shape recognition model based on LSTM fully connected layer was constructed. 5 typical indexes were taken as characteristic parameters to input. Small-batch Adam optimization algorithm was adopted to train the model to avoid falling into local optimum. Dropout was applied to reduce overfitting. Softmax regression classifier was used to realize breast shape classification. Experimental results show that this model can effectively recognize and classify the breast types, with a classification accuracy rate of 94.6%. Compared with the traditional BP network and RNN network, this model has a higher fitting effect and prediction accuracy.
Key words:breast shape; 3-D measurement; cluster analysis; long and short-term memory neural network; recognition model
為滿(mǎn)足服裝方面的消費(fèi)需求和服裝市場(chǎng)的發(fā)展,個(gè)性化服裝定制將成為服裝業(yè)今后的發(fā)展趨勢(shì)[1]?,F(xiàn)行的服裝號(hào)型規(guī)格設(shè)置了Y、A、B、C 4種體型,在體型的分類(lèi)上,尤其是對(duì)女性局部體型的分類(lèi)上不夠細(xì)化,因此在服裝制版過(guò)程中對(duì)于服裝胸部放松量及胸省的分配,往往依據(jù)樣板師的經(jīng)驗(yàn)進(jìn)行設(shè)置,導(dǎo)致女裝結(jié)構(gòu)設(shè)計(jì)達(dá)不到理想的效果。在個(gè)性化女裝結(jié)構(gòu)設(shè)計(jì)過(guò)程中,如何合理區(qū)分胸部形態(tài)的差異,提高胸部體型識(shí)別的準(zhǔn)確性,為個(gè)性化服裝制版提供依據(jù),對(duì)服裝行業(yè)具有重要的現(xiàn)實(shí)意義和市場(chǎng)應(yīng)用前景[2]。
目前,許多學(xué)者對(duì)人體局部體型的劃分進(jìn)行了研究,應(yīng)用較多的方法有數(shù)理統(tǒng)計(jì)法,如聚類(lèi)法[3-4]、回歸分析法[5],但隨著人工智能技術(shù)的發(fā)展,神經(jīng)網(wǎng)絡(luò)、隨機(jī)森林等技術(shù)因具有先進(jìn)的數(shù)據(jù)挖掘和學(xué)習(xí)能力,成為當(dāng)前體型識(shí)別的主要研究方法。張?zhí)K豫等[6]引入了支持向量機(jī)方法進(jìn)行體型分類(lèi),金娟鳳等[7-8]構(gòu)建了概率神經(jīng)網(wǎng)絡(luò)識(shí)別模型對(duì)女性臀部進(jìn)行分類(lèi),尹玲等[9]以隨機(jī)森林理論算法為基礎(chǔ),建立了女性體型分類(lèi)判別模型。由于人體體型分類(lèi)的標(biāo)準(zhǔn)和界限具有較強(qiáng)的模糊性,因此需要不斷尋求更好的分類(lèi)判別方法來(lái)提高體型分類(lèi)的準(zhǔn)確率。
本研究運(yùn)用三維測(cè)量技術(shù)獲取反映青年女性胸部形態(tài)的19項(xiàng)指標(biāo),通過(guò)R型聚類(lèi)提取5項(xiàng)胸部典型指標(biāo),利用均值聚類(lèi)和方差分析對(duì)胸部體型進(jìn)行細(xì)分,在此基礎(chǔ)上構(gòu)建基于長(zhǎng)短記憶神經(jīng)網(wǎng)絡(luò)(LSTM)的胸部體型識(shí)別模型,對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行訓(xùn)練和測(cè)試,提高對(duì)人體胸部體型分類(lèi)的準(zhǔn)確率,為女裝個(gè)性化結(jié)構(gòu)設(shè)計(jì)提供依據(jù)。
1 實(shí) 驗(yàn)
1.1 實(shí)驗(yàn)對(duì)象
由于人體的體型受到年齡、地域等各種因素的影響,為使體型劃分具有針對(duì)性,選取230名籍貫為江浙滬地區(qū)的在校青年女性,年齡為18~28周歲,該年齡段的女性體型發(fā)育基本完全,能體現(xiàn)青年女性的體型特征,具有典型的體型代表性。
1.2 儀器與條件
實(shí)驗(yàn)測(cè)量選用美國(guó)TC2三維人體測(cè)量?jī)x,測(cè)量環(huán)境溫度為(27±3)℃,相對(duì)濕度為60%±10%,符合裸體測(cè)量的環(huán)境要求。
1.3 測(cè)量要求
測(cè)量室封閉無(wú)照明,參照GB/T 23698—2009《三維掃描人體測(cè)量方法的一般要求》進(jìn)行人體測(cè)量。測(cè)試者要求穿著高彈無(wú)插片運(yùn)動(dòng)背心,主要面料為聚酯纖維和氨綸,后背含搭扣可調(diào)節(jié)圍度尺寸,頭戴黑色泳帽,不佩戴首飾、手表等。為減少儀器測(cè)量誤差,對(duì)同一測(cè)試者進(jìn)行3次重復(fù)測(cè)量,取3次掃描結(jié)果平均值。
1.4 測(cè)量項(xiàng)目
根據(jù)女裝樣板研究的需要,參考企業(yè)女裝制版時(shí)人體胸部測(cè)量項(xiàng)目和GB/T 5703—1999《用于技術(shù)設(shè)計(jì)的人體測(cè)量基礎(chǔ)變量》,確定能夠反應(yīng)女性胸部形態(tài)的15個(gè)基本測(cè)量項(xiàng)目和需要計(jì)算的4個(gè)派生指標(biāo),如表1所示。
2 數(shù)據(jù)處理與分析
2.1 聚類(lèi)分析
聚類(lèi)分析是指將物理或抽象對(duì)象的集合分組為由相似的對(duì)象組成的多個(gè)類(lèi)的分析過(guò)程[10]。在聚類(lèi)分析中,根據(jù)分類(lèi)對(duì)象的不同可分為Q型聚類(lèi)分析和R型聚類(lèi)分析兩大類(lèi)。R型聚類(lèi)可以通過(guò)對(duì)指標(biāo)或變量進(jìn)行分類(lèi)。
應(yīng)用SPSS19.0軟件對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,剔除無(wú)效樣本后確定本研究的有效樣本容量為221個(gè),將221組有效人體數(shù)據(jù)作為最終的實(shí)驗(yàn)樣本。應(yīng)用SPSS19.0軟件對(duì)19個(gè)胸部測(cè)量項(xiàng)目及指標(biāo)進(jìn)行R型聚類(lèi)分析,選擇最遠(yuǎn)距離法作為聚類(lèi)方法,Pearson相關(guān)性作為測(cè)度變量間相似性的方法進(jìn)行聚類(lèi),圖1為胸部測(cè)量項(xiàng)目的聚類(lèi)樹(shù)形圖。
為使聚類(lèi)后組間有明顯的差異并且使各組反應(yīng)人體形態(tài)的指標(biāo)具有更高的代表性,結(jié)合聚類(lèi)樹(shù)形圖,將19個(gè)胸部有關(guān)的測(cè)量項(xiàng)目劃分為6類(lèi)。第一類(lèi):胸圍高(BH)、下胸圍高(UBH),為反應(yīng)人體胸部位置高度的變量;第二類(lèi):胸圍橫矢徑比(BW/BT)、下胸圍橫矢徑比(UBW/UBT),為反應(yīng)胸部豐滿(mǎn)度的變量;第三類(lèi):后胸圍(BBG)、后下胸圍(UBBG)、下胸圍(UBG)、下胸圍橫長(zhǎng)(UBW)、胸寬(BW),為反應(yīng)胸部相對(duì)寬度的變量;第四類(lèi):下胸圍矢徑長(zhǎng)(UBT)、前下胸圍(UFBG)、胸圍(BG)、前胸圍(FBG)、胸厚(BT)、乳間距(BTBH),為反應(yīng)胸部維度方向的變量;第五類(lèi):乳深(BF_X-UBF_X)、胸凸量(BF_X-WF_X),為反應(yīng)乳房相對(duì)高度的變量;第六類(lèi):上下胸圍差(BG-UBG)、胸腰差(BG-WG),為反應(yīng)胸部相對(duì)立體程度的變量。
2.2 典型指標(biāo)的選擇
為判別每類(lèi)中變量間的相關(guān)程度,并在各類(lèi)中選取具有代表性的典型指標(biāo)。通過(guò)計(jì)算其中某一變量與同類(lèi)中其他指標(biāo)的相關(guān)指數(shù),并結(jié)合專(zhuān)業(yè)知識(shí)確定典型指標(biāo),具體計(jì)算見(jiàn)式(1):
由于在進(jìn)行胸部形態(tài)細(xì)分時(shí),人體胸部高度方面的指標(biāo)與胸部細(xì)部尺寸間相關(guān)度不高,對(duì)胸部形態(tài)細(xì)分基本無(wú)影響,因此將第一類(lèi)高度項(xiàng)剔除,在其余5類(lèi)指標(biāo)中進(jìn)行特征指標(biāo)提取。
由上述變量間相關(guān)指標(biāo)的公式,計(jì)算每類(lèi)中各個(gè)變量的2j值,提取每類(lèi)中2j值最大的變量作為胸部典型指標(biāo),各類(lèi)變量的2j值計(jì)算結(jié)果如表2所示。比較5類(lèi)各個(gè)參數(shù)的相關(guān)指數(shù),分別提取胸圍(BG)、下胸圍(UBG)、胸圍橫矢徑比(BW/BT)、乳深(BF_X-UBF_X)、上下胸圍差(BG-UBG)為胸部典型指標(biāo)。
2.3 胸部體型分析
為實(shí)現(xiàn)青年女性胸部體型的細(xì)分,基于獲取的5項(xiàng)胸部典型指標(biāo)運(yùn)用聚類(lèi)分析中K-means聚類(lèi)的方法對(duì)221組人體的胸部數(shù)據(jù)進(jìn)行分類(lèi),將聚類(lèi)數(shù)范圍確定為3~5類(lèi),并獲取每類(lèi)中典型指標(biāo)的方差分析結(jié)果如表3所示。觀(guān)察表3數(shù)據(jù)可知,將實(shí)驗(yàn)樣本分為3類(lèi)時(shí),胸部相關(guān)變量的F檢驗(yàn)值均小于0.05,因此胸部細(xì)分的聚類(lèi)選擇3類(lèi)為最佳。
根據(jù)最終聚類(lèi)中心結(jié)果可知221個(gè)研究樣本細(xì)分為3類(lèi)胸部體型,每類(lèi)人體分別有24個(gè)、174個(gè)、23個(gè),并且可由最終聚類(lèi)中心結(jié)果得到各類(lèi)中胸部體型典型指標(biāo)的具體數(shù)據(jù),并能夠找出代表各類(lèi)別胸部體型的中間體,圖2為各類(lèi)別中間體胸部的圖片。表4為胸部各變量的最終聚類(lèi)中心值和各類(lèi)樣本占總樣本的比例。
由圖2的胸部圖可以較為直觀(guān)的看出,每類(lèi)胸部存在明顯的區(qū)別。
第1類(lèi):乳房前凸不明顯,胸部厚度較薄,寬度相對(duì)較寬,表現(xiàn)為扁平胸;
第2類(lèi):乳房前凸較豐滿(mǎn),胸部寬度厚度相對(duì)適中,表現(xiàn)為普通胸;
第3類(lèi):乳房飽滿(mǎn)且前凸明顯,乳溝凹陷明顯,胸部厚度較厚,表現(xiàn)為豐滿(mǎn)胸。
3 基于LSTM的胸部體型識(shí)別模型的構(gòu)建
長(zhǎng)短記憶神經(jīng)網(wǎng)絡(luò)(LSTM)在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的基礎(chǔ)上,在隱藏層各神經(jīng)單元中增加記憶單元,從而使時(shí)間序列上的記憶信息可控[11]。每次在隱藏層各單元間傳遞時(shí)通過(guò)三個(gè)可控門(mén)(遺忘門(mén)、輸入門(mén)、輸出門(mén)),可以控制之前信息和當(dāng)前信息的記憶和遺忘程度,從而使LSTM網(wǎng)絡(luò)具備長(zhǎng)期記憶功能。
長(zhǎng)短記憶神經(jīng)網(wǎng)絡(luò)算法簡(jiǎn)單,訓(xùn)練簡(jiǎn)潔,具有更好的泛化性能和模擬數(shù)據(jù)間依賴(lài)關(guān)系的優(yōu)勢(shì),因此能夠模擬與人體胸部相關(guān)的不同特征數(shù)據(jù)之間的依賴(lài)關(guān)系,實(shí)現(xiàn)對(duì)胸部的細(xì)分。在目前常見(jiàn)的適用于識(shí)別分類(lèi)的神經(jīng)網(wǎng)絡(luò)模型中,概率神經(jīng)網(wǎng)絡(luò)(PNN)由于每個(gè)訓(xùn)練樣本需對(duì)應(yīng)一個(gè)隱含層神經(jīng)元,隨著樣本的擴(kuò)大將導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)過(guò)于復(fù)雜;反向傳播神經(jīng)網(wǎng)絡(luò)(BP)存在算法收斂速度慢,局部極小化,易陷入局部極值使訓(xùn)練失敗等問(wèn)題。與PNN和BP相比,LSTM還可以分批訓(xùn)練數(shù)據(jù)保存模型參數(shù)并能夠優(yōu)化復(fù)雜的目標(biāo)函數(shù)[12]。因此,本研究基于LSTM構(gòu)建人體胸部識(shí)別模型,圖3為L(zhǎng)STM塊結(jié)構(gòu)圖。
基于LSTM神經(jīng)網(wǎng)絡(luò)的模型具有記憶功能,該功能是通過(guò)網(wǎng)絡(luò)中的LSTM塊提供的。由t-1時(shí)刻傳遞過(guò)來(lái)的單元狀態(tài)ct-1、輸出ht-1和t時(shí)刻的輸入xt共同構(gòu)成LSTM塊的輸入數(shù)據(jù),輸出數(shù)據(jù)為t時(shí)刻的單元狀態(tài)ct和輸出ht。其中,LSTM中的遺忘門(mén)決定t-1時(shí)的狀態(tài)單元ct-1影響ct的程度,輸入門(mén)決定t時(shí)刻的輸入xt保留多少進(jìn)入ct,而輸出門(mén)決定t時(shí)刻的狀態(tài)單元ct保留多少進(jìn)入輸出門(mén),ct和ht在參與t+1時(shí)的LSTM計(jì)算。
3.1 實(shí)驗(yàn)數(shù)據(jù)與參數(shù)
將聚類(lèi)結(jié)果中提取的5項(xiàng)特征指標(biāo)胸圍(BG)、下胸圍(UBG)、胸圍橫矢徑比(BW/BT)、乳深(BF_X-UBF_X)、上下胸圍差(BG-UBG)作為L(zhǎng)STM模型的輸入特征向量,把胸部體型3個(gè)類(lèi)別作為網(wǎng)絡(luò)模型的輸出向量,并選擇樣本數(shù)的3/4共165個(gè)作為訓(xùn)練樣本,剩余的1/4共56個(gè)作為測(cè)試樣本。
3.2 模型框架與構(gòu)建
在服裝制版過(guò)程中,人體局部部位的形態(tài)對(duì)服裝制版的效果影響很大,因此在青年女性胸部聚類(lèi)分類(lèi)結(jié)果基礎(chǔ)上,通過(guò)構(gòu)建基于LSTM的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行訓(xùn)練和測(cè)試,實(shí)現(xiàn)對(duì)人體胸部的識(shí)別分類(lèi),以便更好地預(yù)測(cè)人體胸部體型所屬類(lèi)別。
由于輸入的特征數(shù)據(jù)的度量標(biāo)準(zhǔn)不統(tǒng)一,采用最大最小標(biāo)準(zhǔn)化對(duì)原始數(shù)據(jù)進(jìn)行線(xiàn)性變換,變換公式為:
將歸一化處理后的胸部數(shù)據(jù)按時(shí)間序列的形式,輸入到LSTM模型中進(jìn)行訓(xùn)練?;贚STM的胸部體型分類(lèi)模型如圖4所示。其中輸入層中[X1,X2,…,Xn]為選取的人體特征胸部特征向量,n為選取特征向量的個(gè)數(shù),對(duì)于輸入特征對(duì)應(yīng)的類(lèi)別標(biāo)簽進(jìn)行單熱編碼。為避免該神經(jīng)網(wǎng)絡(luò)模型陷入局部最優(yōu),采用小批量亞當(dāng)優(yōu)化算法來(lái)訓(xùn)練模型,為獲得理想?yún)?shù),設(shè)置每批訓(xùn)練樣本數(shù)為10個(gè)。經(jīng)過(guò)LSTM訓(xùn)練,其中LSTM的隱藏層的節(jié)點(diǎn)數(shù)確定為64,得到n×64的輸出矩陣。再將輸出的矩陣放入全連接層(FC),全連接層的節(jié)點(diǎn)數(shù)為32,得到最后的輸出向量。
另外,由于學(xué)習(xí)率過(guò)小將導(dǎo)致訓(xùn)練遲緩,需要更多的訓(xùn)練次數(shù),學(xué)習(xí)率過(guò)大將導(dǎo)致訓(xùn)練無(wú)法收斂,學(xué)習(xí)率一般設(shè)置為(0,1)范圍內(nèi)[13]。該網(wǎng)絡(luò)模型采用小批量學(xué)習(xí),學(xué)習(xí)速率應(yīng)較小設(shè)置為0.001,訓(xùn)練次數(shù)為100次。為降低過(guò)擬合帶來(lái)的風(fēng)險(xiǎn),通過(guò)dropout隨機(jī)隱藏全連接的某些節(jié)點(diǎn)并設(shè)置為0.2。最后,使用Softmax作為分類(lèi)函數(shù)計(jì)算輸出向量得到胸部的分類(lèi)結(jié)果。
3.3 結(jié)果與分析
采用LSTM-全連接層的神經(jīng)網(wǎng)絡(luò)模型對(duì)青年女性胸部體型分類(lèi)的準(zhǔn)確率如表5所示,可知每類(lèi)胸部體型分類(lèi)的準(zhǔn)確率都在90%以上,模型總體識(shí)別準(zhǔn)確率為94.6%。
為驗(yàn)證基于LSTM的神經(jīng)網(wǎng)絡(luò)和FC組合模型對(duì)人體胸部分類(lèi)的優(yōu)勢(shì),采用基于LSTM神經(jīng)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)、PNN神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比,分別構(gòu)建LSTM模型、BP模型和PNN模型對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行訓(xùn)練和測(cè)試,得出3種模型的胸部體型分類(lèi)準(zhǔn)確率,如表6所示??梢钥闯?,采用基于LSTM網(wǎng)絡(luò)、傳統(tǒng)的BP網(wǎng)絡(luò)或PNN網(wǎng)絡(luò)對(duì)青年女性胸部分類(lèi)的總體識(shí)別準(zhǔn)確率分別為92.9%、85.7%和91.1%,對(duì)比表6可知,采用LSTM神經(jīng)網(wǎng)絡(luò)和FC組合模型分類(lèi)效果最為理想。
4 結(jié) 論
a)運(yùn)用三維測(cè)量技術(shù)獲取人體數(shù)據(jù),通過(guò)R型聚類(lèi)分析提取出5項(xiàng)反映青年女性胸部形態(tài)的典型指標(biāo);
b)利用提取得到的典型指標(biāo),通過(guò)均值聚類(lèi)和方差分析將胸部體型劃分為3類(lèi),得出典型指標(biāo)的聚類(lèi)中心和人數(shù)占比;
c)構(gòu)建LSTM全連接神經(jīng)網(wǎng)絡(luò)模型對(duì)青年女性胸部體型進(jìn)行識(shí)別分類(lèi),將5項(xiàng)典型指標(biāo)作為輸入的特征參數(shù),將胸部體型分類(lèi)結(jié)果作為輸出,對(duì)模型進(jìn)行訓(xùn)練和測(cè)試,最終識(shí)別總體準(zhǔn)確率為94.6%。
參考文獻(xiàn):
[1] 鄒奇芝,謝紅,彭磊.女裝量身定制系統(tǒng)中的適體原型研究[J].青島大學(xué)學(xué)報(bào)(工程技術(shù)版),2012,27(4):51-60.
[2] 吳秋英.論人體形態(tài)與服裝結(jié)構(gòu)的關(guān)系[J].天津紡織科技,2005,43(4):41-44.
[3] SONG H K, KIM S M , ASHDOWN S P, et al. Categorization of lower body shapes for adult females based on multiple view analysis[J]. Textile Research Journal,2011,81(9):914-931.
[4] 陳慧蓉,張欣,陶娜.基于三維人體測(cè)量的青年女性胸部形態(tài)特征分析[J].西安工程大學(xué)學(xué)報(bào),2008(2):147-152.
[5] YOON M K,NAM Y J,KIM W et al. Classifying male upper lateral somatotypes using space vectors[J]. International Journal of Clothing Science and Technology,2016,28(1):115-129.
[6] 張?zhí)K豫,鄒奉元,丁笑君,等.基于SVM的青年女子體型分類(lèi)研究[J].浙江理工大學(xué)學(xué)報(bào),2008,25(1):41-45.
[7] 金娟鳳,孫潔,倪世明,等.基于三維人體測(cè)量的青年女性臀部體型細(xì)分[J].紡織學(xué)報(bào),2013,9(34):109-122.
[8] 金娟鳳,楊允出,夏馨,等.基于三維測(cè)量的青年女性臀部體型概率神經(jīng)網(wǎng)絡(luò)識(shí)別模型構(gòu)建[J].紡織學(xué)報(bào),2014,35(4):100-104.
[9] 尹玲,夏蕾,許才國(guó).基于隨機(jī)森林的女性體型判別[J].紡織學(xué)報(bào),2014,35(5):114-116.
[10] 劉愛(ài)玉,田志鵬.SPSS數(shù)據(jù)分析教程[M].北京:北京大學(xué)出版社,2017.
[11] HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural Computation,1997,9(8):1735-1780.
[12] GRAVES A. Long short-term memory[M]. Berlin:Springer,2012:1735-1780.
[13] HAM F M, KOSTANIC I. Principles of neurocomputing for science & engineering[M]. Beijing: China Ma-chine Press and Mc Graw-Hill Education (Asia) Co.,2003.