亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于改進(jìn)的LeNet網(wǎng)絡(luò)手寫體字符識(shí)別技術(shù)的研究

        2021-08-26 03:29:10
        物聯(lián)網(wǎng)技術(shù) 2021年8期
        關(guān)鍵詞:字符識(shí)別集上準(zhǔn)確率

        郁 巖

        (江蘇安全技術(shù)職業(yè)學(xué)院 機(jī)械工程學(xué)院,江蘇 徐州 221000)

        0 引 言

        傳統(tǒng)的光學(xué)字符識(shí)別(OCR)在數(shù)據(jù)場(chǎng)景單一的背景中雖有較好的識(shí)別率,但是面對(duì)復(fù)雜、多干擾的自然場(chǎng)景時(shí),OCR識(shí)別效果不佳。SVM、Boosting等算法需要人工定義特征信息,由特征提取器從圖像中提取相關(guān)特征,再由分類器對(duì)這些特征進(jìn)行分類。而深度學(xué)習(xí)只需輸入原始圖像模型就能夠自主學(xué)習(xí)圖像特征,然后輸出分類結(jié)果[1]。

        隨著移動(dòng)支付技術(shù)的更新,傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)LeNet_5進(jìn)行動(dòng)態(tài)字符識(shí)別時(shí)仍存在問題:現(xiàn)有網(wǎng)絡(luò)深度不足,影響字符識(shí)別精度。多數(shù)研究人員認(rèn)為深度神經(jīng)網(wǎng)絡(luò)的深度到了盡頭,這是由于超深層網(wǎng)絡(luò)在進(jìn)行反向傳播時(shí),靠近輸入層的梯度會(huì)出現(xiàn)消失或爆炸的現(xiàn)象[2],但2014年由Christian Szegedy提出的GoogleNet網(wǎng)絡(luò)可以有效緩解該問題[3]。據(jù)此,本文提出了一種加寬網(wǎng)絡(luò)以創(chuàng)建超大型網(wǎng)絡(luò)的方法,此類方法不僅能夠獲得足夠復(fù)雜的網(wǎng)絡(luò),還能避免不斷加深網(wǎng)絡(luò)造成的梯度消失問題。

        1 字符識(shí)別數(shù)據(jù)庫(kù)

        通過收集物流和支付等環(huán)節(jié)的字符數(shù)據(jù),分析整理得到不同字跡及位置字符信息數(shù)據(jù),并基于數(shù)字圖像預(yù)處理方法對(duì)數(shù)據(jù)進(jìn)行濾波去噪、信息分割等操作,構(gòu)建字符分析數(shù)據(jù)樣[4]。

        1.1 MNIST數(shù)據(jù)集

        MNIST是訓(xùn)練數(shù)據(jù)集包含60 000個(gè)樣本和測(cè)試集包含10 000個(gè)樣本的手寫數(shù)字?jǐn)?shù)據(jù)集[5],該數(shù)據(jù)集基于重新混合NIST(National Institute of Standards and Technology, NIST)的特殊數(shù)據(jù)集(Special Database)SD-3和SD-1創(chuàng)建。其中SD-3來自人口普查局的工作人員筆跡,SD-1來自大學(xué)生筆跡,其樣本結(jié)構(gòu)見表1所列。訓(xùn)練集和測(cè)試集分別由250個(gè)不同的人編寫,由此確保訓(xùn)練集和測(cè)試集的編寫者相互獨(dú)立不相交,避免非樣本差異外的干擾因素,數(shù)據(jù)集均經(jīng)過歸一化預(yù)處理。

        表1 MNIST數(shù)據(jù)集

        圖1為MNIST測(cè)試集的部分樣例,可以看出,不同人員書寫的字體形狀差異較為明顯,而且相比印刷字體,手寫字體較容易變形、歪扭,例如圖中第3排8列的數(shù)字和4排4列的數(shù)字4等,這極大考驗(yàn)了模型識(shí)別字體的能力。

        圖1 MNIST數(shù)據(jù)集手寫體數(shù)字樣例

        1.2 激活函數(shù)

        在神經(jīng)網(wǎng)絡(luò)中,輸入值經(jīng)過權(quán)重層后進(jìn)行非線性變換。由于現(xiàn)實(shí)中的復(fù)雜問題均為非線性,若神經(jīng)網(wǎng)絡(luò)無非線性函數(shù)機(jī)制,無論堆疊了多少層網(wǎng)絡(luò),它仍然等效于一個(gè)單層的神經(jīng)網(wǎng)絡(luò),即它仍是單個(gè)線性變換。因此,只有引入非線性變換才能解決問題[6]。理想中的激活函數(shù)是階躍函數(shù),所以神經(jīng)網(wǎng)絡(luò)發(fā)展初期經(jīng)常使用Sigmoid函數(shù)作為激活函數(shù),Sigmoid函數(shù)能夠?qū)⑤斎胫底儞Q為0到1范圍內(nèi)的數(shù)值,其表達(dá)式如下:

        Sigmoid函數(shù)如圖2所示。

        圖2 Sigmoid函數(shù)

        研究人員通過研究發(fā)現(xiàn),Sigmoid函數(shù)會(huì)出現(xiàn)梯度消失、收斂緩慢等問題[7]。因此,本文利用ReLU激活函數(shù)替代Sigmoid函數(shù)。ReLU函數(shù)具有運(yùn)算簡(jiǎn)單、計(jì)算復(fù)雜度低等特點(diǎn),其表達(dá)式如下:

        ReLU函數(shù)如圖3所示。

        圖3 ReLU函數(shù)

        由公式和函數(shù)圖可以看出,ReLU函數(shù)中,輸入為負(fù),則映射為0,若輸入為正,則取其本身的值。正是由于這種簡(jiǎn)單機(jī)制,使得其計(jì)算速度極快。

        2 深度卷積網(wǎng)絡(luò)模型

        LeNet結(jié)構(gòu)由LeCun等人于1994年提出,經(jīng)過多次迭代,于1998年完成了最終變體[8],并命名為L(zhǎng)eNet_5。該網(wǎng)絡(luò)設(shè)計(jì)之初,主要用于手寫數(shù)字的識(shí)別,網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

        圖4 LeNet_5網(wǎng)絡(luò)結(jié)構(gòu)

        由于LeNet_5表征學(xué)習(xí)能力弱,特別在移動(dòng)工況下模型識(shí)別數(shù)字的錯(cuò)誤率高。因此本節(jié)將在LeNet_5模型基礎(chǔ)結(jié)構(gòu)上設(shè)計(jì)出新的模型,改進(jìn)內(nèi)容主要包括模型收斂速度和模型識(shí)別性能2方面。

        模型收斂速度。在新設(shè)計(jì)的模型中,將LeNet_5模型的Sigmoid激活函數(shù)替換成ReLU激活函數(shù)。模型權(quán)重參數(shù)初始化中使用Xavier進(jìn)行初始化,然后引入批量歸一化[9]。當(dāng)模型開始訓(xùn)練時(shí),會(huì)對(duì)輸入數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理,前幾層網(wǎng)絡(luò)的輸出一般不會(huì)出現(xiàn)劇烈變化,而隨著模型的逐層訓(xùn)練及前一層參數(shù)的更新調(diào)整,將導(dǎo)致后一層被累計(jì)放大,最終使后層的數(shù)據(jù)分布發(fā)生變化,降低網(wǎng)絡(luò)的訓(xùn)練速度。批量歸一化能夠?qū)⒚繉訑?shù)據(jù)歸一化到相同的分布,加快收斂速度[10],避免出現(xiàn)網(wǎng)絡(luò)不穩(wěn)定等問題。

        模型識(shí)別性能,增加模型深度?,F(xiàn)有網(wǎng)絡(luò)模型中具有先進(jìn)性能的網(wǎng)絡(luò)均為深層網(wǎng)絡(luò),通過堆疊卷積核加深模型深度,使模型在視覺任務(wù)上獲得更好的性能。其次,用2個(gè)小的卷積核替換1個(gè)大的卷積核,以減少參數(shù)數(shù)量。同時(shí),此舉也能夠加深網(wǎng)絡(luò)深度,增強(qiáng)模型的復(fù)雜度。

        改進(jìn)模型命名為Model_A。Model_A的改進(jìn)之處是用ReLU激活函數(shù)替換原LeNet_5模型的Sigmoid激活函數(shù),并在LeNet_5模型基礎(chǔ)上增加模型的“復(fù)雜度”及深度。在原LeNet_5的基礎(chǔ)上增加一層卷積層,將所有卷積設(shè)為3×3,將C1,C3,C4層的卷積核數(shù)分別設(shè)為 6,12,24,其網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

        圖5 Model_B網(wǎng)絡(luò)結(jié)構(gòu)

        3 模型訓(xùn)練過程與結(jié)果分析

        (1)將采集的數(shù)據(jù)經(jīng)過圖像預(yù)處理后,保留感興趣區(qū)域,并將圖像轉(zhuǎn)換為二維矩陣數(shù)據(jù)樣本(x,y),設(shè)置圖像訓(xùn)練周期,進(jìn)行樣本預(yù)處理、權(quán)重初始化操作;

        (2)構(gòu)建卷積數(shù)據(jù)迭代器訓(xùn)練網(wǎng)絡(luò);

        (3)計(jì)算損失誤差、反向傳播,并反饋更新權(quán)值參數(shù)后再次迭代計(jì)算;

        (4)保存網(wǎng)絡(luò)權(quán)重函數(shù);

        (5)網(wǎng)絡(luò)訓(xùn)練結(jié)束。

        圖6所示為網(wǎng)絡(luò)訓(xùn)練流程。

        圖6 訓(xùn)練流程

        實(shí)驗(yàn)使用LeNet_5網(wǎng)絡(luò)和Model_A網(wǎng)絡(luò)分別在MNIST數(shù)據(jù)集上訓(xùn)練, 其中LeNet_5網(wǎng)絡(luò)的初始學(xué)習(xí)率設(shè)為1,初始學(xué)習(xí)率會(huì)在網(wǎng)絡(luò)訓(xùn)練的過程中,每30個(gè)周期衰減一次,學(xué)習(xí)率衰減(Learning Rate Decay)系數(shù)為0.1。Model_A的初始學(xué)習(xí)率設(shè)為0.01,學(xué)習(xí)率為每30個(gè)周期衰減一次,學(xué)習(xí)率衰減系數(shù)為0.1。通過實(shí)驗(yàn)觀察2個(gè)網(wǎng)絡(luò)分別在MNIST測(cè)試集上的準(zhǔn)確率和網(wǎng)絡(luò)收斂速度。

        從圖7可以看出,Model_A網(wǎng) 絡(luò)的訓(xùn)練過程分為2個(gè)階段,LeNet_5網(wǎng)絡(luò)訓(xùn)練過程分為3個(gè)階段。在網(wǎng)絡(luò)訓(xùn)練開始時(shí),Model_A的損失函數(shù)為0.339 1,LeNet_5的損失函數(shù)為2.328 9。隨著網(wǎng)絡(luò)訓(xùn)練的進(jìn)行,Model_A網(wǎng)絡(luò)在第10周期時(shí)損失函數(shù)下降至0.020 0后趨于平緩,LeNet_5網(wǎng)絡(luò)則經(jīng)過30個(gè)周期損失函數(shù)下降至0.027 6之后趨于平緩。由此看出,Model_A網(wǎng)絡(luò)能在極短的周期內(nèi)收斂,而LeNet_5網(wǎng)絡(luò)需要耗費(fèi)數(shù)個(gè)周期才能收斂,因此ReLU函數(shù)在加快網(wǎng)絡(luò)訓(xùn)練和收斂速度上優(yōu)于Sigmoid函數(shù),在模型訓(xùn)練初期就能使網(wǎng)絡(luò)提早進(jìn)入合適的優(yōu)化方向。

        圖7 Model_A及LeNet_5損失函數(shù)

        圖8為Model_A和LeNet_5在測(cè)試集上的分類準(zhǔn)確率,圖中實(shí)線為L(zhǎng)eNet_5的分類準(zhǔn)確率,虛線為Model_A的分 類準(zhǔn)確率。觀察圖8發(fā)現(xiàn),Model_A在訓(xùn)練初期就學(xué)習(xí)出合適的優(yōu)化方向,使網(wǎng)絡(luò)能快速收斂。網(wǎng)絡(luò)訓(xùn)練第一個(gè)周期結(jié)束時(shí),在測(cè)試集上有97.23%的準(zhǔn)確率。隨著網(wǎng)絡(luò)的訓(xùn)練,在第24個(gè)周期時(shí)達(dá)到99.02%的準(zhǔn)確率,而最終在訓(xùn)練100個(gè)周期結(jié)束后在測(cè)試集上分類準(zhǔn)確率為99.26%,錯(cuò)誤率為0.74%。LeNet_5網(wǎng)絡(luò)在訓(xùn)練前10個(gè)周期處于初始化階段,期間網(wǎng)絡(luò)在測(cè)試集上的準(zhǔn)確率僅約為17%,而從第10個(gè)周期開始,網(wǎng)絡(luò)的準(zhǔn)確率先急劇上升,到達(dá)96%左右之后開始平緩上升,最后網(wǎng)絡(luò)訓(xùn)練100個(gè)周期結(jié)束時(shí),在測(cè)試集上的分類準(zhǔn)確率為98.20%,分類錯(cuò)誤率為0.80%。

        圖8 Model_A和LeNet_5分類準(zhǔn)確率

        4 結(jié) 語(yǔ)

        本文研究了深層網(wǎng)絡(luò)在數(shù)字字符識(shí)別上的應(yīng)用,以LeNet_5網(wǎng)絡(luò)為基準(zhǔn)網(wǎng)絡(luò),對(duì)其進(jìn)行改進(jìn),并對(duì)改進(jìn)得到的新網(wǎng)絡(luò)繼續(xù)優(yōu)化完善,得到新的網(wǎng)絡(luò)變體。通過分析發(fā)現(xiàn),在保持LeNet_5基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)不變的情況下,ReLU函數(shù)相比Sigmoid函數(shù)具有加快網(wǎng)絡(luò)收斂特性,可以使用較小的學(xué)習(xí)率來訓(xùn)練網(wǎng)絡(luò)等優(yōu)勢(shì)。隨著網(wǎng)絡(luò)的加深,將 網(wǎng)絡(luò)每層輸出的數(shù)據(jù)歸一化到相同的分布會(huì)使網(wǎng)絡(luò)更穩(wěn)定、更易訓(xùn)練。

        猜你喜歡
        字符識(shí)別集上準(zhǔn)確率
        乳腺超聲檢查診斷乳腺腫瘤的特異度及準(zhǔn)確率分析
        健康之家(2021年19期)2021-05-23 11:17:39
        不同序列磁共振成像診斷脊柱損傷的臨床準(zhǔn)確率比較探討
        2015—2017 年寧夏各天氣預(yù)報(bào)參考產(chǎn)品質(zhì)量檢驗(yàn)分析
        Cookie-Cutter集上的Gibbs測(cè)度
        鏈完備偏序集上廣義向量均衡問題解映射的保序性
        高速公路車牌識(shí)別標(biāo)識(shí)站準(zhǔn)確率驗(yàn)證法
        復(fù)扇形指標(biāo)集上的分布混沌
        一種改進(jìn)深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)的英文字符識(shí)別
        儀表字符識(shí)別中的圖像處理算法研究
        基于CUDA和深度置信網(wǎng)絡(luò)的手寫字符識(shí)別
        国产一区二区丰满熟女人妻| 国产精品永久免费视频| 热久久久久久久| 视频精品亚洲一区二区| 久久精品中文字幕有码| 97久久精品人妻人人搡人人玩| 日产无人区一线二线三线新版| 2021久久精品国产99国产| 亚洲精品456在线播放狼人| 深夜爽爽动态图无遮无挡 | 国产av剧情刺激对白| 国产日产精品一区二区三区四区的特点| 日本a级特黄特黄刺激大片| 第九色区Aⅴ天堂| 中文字幕在线乱码亚洲| 国产女主播白浆在线观看| 亚欧AV无码乱码在线观看性色| 男女激情床上视频网站| 婷婷色精品一区二区激情| 亚欧色一区w666天堂| 亚洲成人福利在线观看| 久久国产精品国产精品久久| 色佬精品免费在线视频| 国产高清一区二区三区视频| 午夜视频网址| 亚洲第一大av在线综合| 欧美精品国产综合久久| 66lu国产在线观看| 熟女人妻中文字幕一区| 99人中文字幕亚洲区三| 少妇被猛男粗大的猛进出| 亚洲国产成人久久综合一区77 | 久久久精品一区aaa片| 日本午夜福利| 亚洲天堂av中文字幕| 一本大道av伊人久久综合| 成人无码一区二区三区网站| 成激情人妻视频| 神马影院日本一区二区| av一区二区三区人妻少妇| 粗大挺进尤物人妻一区二区|