亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        煤礦視頻中復(fù)雜行為識(shí)別的持續(xù)學(xué)習(xí)模型探究

        2020-11-14 11:20:34袁艷斌王德永
        金屬礦山 2020年10期
        關(guān)鍵詞:樣例準(zhǔn)確率特征

        羅 響 袁艷斌 王德永,2 鐘 珊 張 波 李 倩

        (1.武漢理工大學(xué)資源與環(huán)境工程學(xué)院,湖北武漢430070;2.平頂山學(xué)院信息工程學(xué)院,河南平頂山467000)

        基于煤礦視頻的礦工行為識(shí)別技術(shù)是智能視頻監(jiān)控系統(tǒng)的一種特殊應(yīng)用,核心技術(shù)涉及計(jì)算機(jī)視覺(jué)、模式識(shí)別、人工智能等多個(gè)學(xué)科,礦井內(nèi)部環(huán)境的復(fù)雜性和特殊性導(dǎo)致監(jiān)控視頻畫(huà)面圖像噪音多、行為識(shí)別困難。中國(guó)礦業(yè)大學(xué)等研究機(jī)構(gòu)針對(duì)礦井環(huán)境復(fù)雜性,主要探究了煤礦井下圖像降噪、去霧、拼接、運(yùn)動(dòng)目標(biāo)檢測(cè)、跟蹤等圖像處理中低層面的技術(shù)和方法[1-4],但對(duì)于井下人員的行為分析、識(shí)別和理解方面的研究相對(duì)較少,尚未形成完整有效的處理框架。目前為提高礦工復(fù)雜行為識(shí)別準(zhǔn)確率,需要從視頻數(shù)據(jù)細(xì)節(jié)增強(qiáng)、外觀特征提取訓(xùn)練、高維數(shù)據(jù)降維、深度學(xué)習(xí)識(shí)別等幾個(gè)方面設(shè)計(jì)改進(jìn)算法,進(jìn)而準(zhǔn)確識(shí)別復(fù)雜人體行為[5-7]。

        當(dāng)前識(shí)別方法是通過(guò)在語(yǔ)義層引入概率模型實(shí)現(xiàn)對(duì)煤礦井下礦工復(fù)雜行為識(shí)別,其準(zhǔn)確度優(yōu)于確定性算法系統(tǒng),該類方法假定訓(xùn)練數(shù)據(jù)集均由人工選擇且被人工標(biāo)記,所提取特征為興趣點(diǎn)的時(shí)空特征。興趣點(diǎn)由檢測(cè)子獲取,提取興趣點(diǎn)周圍信息形成局部特征向量,構(gòu)建局部特征描述子,然后利用這些特征實(shí)現(xiàn)動(dòng)作行為識(shí)別。常采用的檢測(cè)子算法有Harris3D 檢測(cè)子[8]、SIFT 檢測(cè)子[9]和 Hessian 檢測(cè)子[10];常用局部特征描述子包括 Cuboid 描述子[11]、HOG3D 描述子[12]以及基于深度傳感器的描述子[13]和行為模型[14]。此識(shí)別方法是基于某種先驗(yàn)知識(shí)的學(xué)習(xí)模型,對(duì)動(dòng)態(tài)環(huán)境下的連續(xù)學(xué)習(xí)不具備自適應(yīng)性,存在標(biāo)簽樣例數(shù)量不足以及概念漂移等問(wèn)題。

        為了解決上述問(wèn)題,本文耦合了深度網(wǎng)絡(luò)和主動(dòng)學(xué)習(xí)的思想來(lái)構(gòu)建持續(xù)學(xué)習(xí)模型,本模型將待識(shí)別視頻作為新的訓(xùn)練樣例,通過(guò)深度網(wǎng)絡(luò)和主動(dòng)學(xué)習(xí)對(duì)新訓(xùn)練樣例進(jìn)行標(biāo)記,能夠自動(dòng)對(duì)行為模型進(jìn)行持續(xù)學(xué)習(xí),提高視頻數(shù)據(jù)中煤礦工人復(fù)雜行為識(shí)別精度。

        1 持續(xù)學(xué)習(xí)模型的框架與實(shí)現(xiàn)方法

        1.1 持續(xù)學(xué)習(xí)模型的框架

        持續(xù)學(xué)習(xí)模型處理框架如圖1所示,包括初始學(xué)習(xí)階段和增量學(xué)習(xí)階段兩大處理步驟,能以無(wú)監(jiān)督方式為每一個(gè)行為類別自動(dòng)學(xué)習(xí)最優(yōu)的特征集,減少新增無(wú)標(biāo)簽樣例的人工標(biāo)記成本,且無(wú)需存儲(chǔ)歷史數(shù)據(jù),僅保留已學(xué)習(xí)的信息,通過(guò)對(duì)新增樣例的增量學(xué)習(xí)實(shí)現(xiàn)行為模型和稀疏自動(dòng)編碼器參數(shù)的更新和持續(xù)學(xué)習(xí)。

        1.2 持續(xù)學(xué)習(xí)模型實(shí)現(xiàn)方法

        1.2.1 初始學(xué)習(xí)階段方法

        (1)初始行為的表示。對(duì)于無(wú)監(jiān)督層次特征的學(xué)習(xí)模型,典型的行為片斷通常具有大量像素,使得所提取的時(shí)空興趣點(diǎn)STIP(Space-Time Interest Point)特征無(wú)法直接作為神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行特征學(xué)習(xí)。為了解決該問(wèn)題,利用時(shí)空金字塔和平均池化技術(shù),將行為片斷的STIP特征進(jìn)行有效壓縮。具體地,Gt,l c表示T=t和L=l時(shí)屬于立方體G={g1,…,gn} 的STIP特征集,T和L分別表示時(shí)間層和空間層的數(shù)量,利用平均池化技術(shù)獲得特征fct,l=Avg(Gct,l),通過(guò)串聯(lián)從較低層到較高層的池特征構(gòu)建復(fù)雜行為的初始特征表示x。

        設(shè)X={x1,…,xm}是特征向量集,∑為特征協(xié)方差(式(2))。采用ZCA白化處理(式(3)、式(4))對(duì)X進(jìn)行預(yù)處理,以降低特征間的相關(guān)性并保持特征各維度的方差相似性,處理后的數(shù)據(jù)可用于稀疏自動(dòng)編碼器的輸入數(shù)據(jù),進(jìn)而實(shí)現(xiàn)復(fù)雜行為的特征編碼。

        (2)稀疏自動(dòng)編碼器。為了能夠由無(wú)監(jiān)督數(shù)據(jù)中自動(dòng)學(xué)習(xí)特征,本文設(shè)計(jì)一個(gè)單層稀疏自動(dòng)編碼器DW,輸入特征向量維數(shù)為n,隱藏層神經(jīng)元數(shù)量為k。對(duì)于訓(xùn)練集樣例X,通過(guò)最小化重構(gòu)誤差優(yōu)化(式(5))求解參數(shù)W1,W2和偏移向量b1,b2的最優(yōu)值。

        (3)行為識(shí)別模型。行為識(shí)別模型softmax分類器通過(guò)神經(jīng)網(wǎng)絡(luò)中的多項(xiàng)式邏輯回歸方法來(lái)構(gòu)建行為識(shí)別模型?θ。在多項(xiàng)式邏輯回歸模型中,xi屬于類j的概率定義如式(8)所示。

        式中,j={1 ,…,c}是類標(biāo)記的集合,θjT是對(duì)應(yīng)于類j的權(quán)重向量。分類識(shí)別模型的優(yōu)化函數(shù)定義如式(9)所示。

        對(duì)于給定的已標(biāo)記訓(xùn)練集合X={(x1,y1),…,(xm,ym)},分類識(shí)別模型的優(yōu)化函數(shù)重寫(xiě)如式(10)所示。

        1.2.2 增量學(xué)習(xí)階段方法

        1.2.2.1 主動(dòng)學(xué)習(xí)

        持續(xù)學(xué)習(xí)模型包含了稀疏自動(dòng)編碼器和softmax分類器兩大網(wǎng)絡(luò),在深度網(wǎng)絡(luò)參數(shù)微調(diào)期間它們被視為彼此獨(dú)立的網(wǎng)絡(luò),結(jié)構(gòu)如圖3所示,以初始學(xué)習(xí)階段訓(xùn)練的權(quán)重參數(shù)作為增量學(xué)習(xí)階段的初始化權(quán)重。

        主動(dòng)學(xué)習(xí)能夠降低最優(yōu)參數(shù)學(xué)習(xí)對(duì)人工標(biāo)記樣例數(shù)量的依賴性。依據(jù)可利用的教師類型,主動(dòng)學(xué)習(xí)系統(tǒng)可分為強(qiáng)教師和弱教師兩大類,持續(xù)學(xué)習(xí)行為模型耦合以上兩類教師模型。對(duì)于給定的未標(biāo)記樣例池U={x1,…,xp},以及其相關(guān)的行為模型?θ和代價(jià)函數(shù)Js(θ),教師模型的選擇方式如下:①對(duì)于給定的無(wú)標(biāo)記行為池U,在U上應(yīng)用當(dāng)前行為模型?θ,以概率p(式(11))生成一個(gè)初步?jīng)Q定集Y=(y1,…,yp);②當(dāng)p(yi=j|x;θ)大于閾值δ時(shí),意味著初步?jīng)Q定yi有較高的概率,則調(diào)用弱教師模型,使用當(dāng)前行為模型的標(biāo)簽yi標(biāo)記無(wú)標(biāo)簽行為;③計(jì)算行為池中剩余的每個(gè)無(wú)標(biāo)簽行為的預(yù)期梯度長(zhǎng)度(式(13));④調(diào)用強(qiáng)教師模型對(duì)最高期望梯度長(zhǎng)度樣例進(jìn)行標(biāo)記。

        由于采用梯度下降法訓(xùn)練行為識(shí)別模型,如果某一無(wú)標(biāo)記樣例在目標(biāo)函數(shù)(式(12))的梯度中產(chǎn)生了最大的變化,需要將其增加到訓(xùn)練集中。

        然而,計(jì)算梯度改變需要標(biāo)簽知識(shí),由于給定樣例中缺乏標(biāo)識(shí)知識(shí),為了能夠獲得梯度長(zhǎng)度,本文采用預(yù)期梯度長(zhǎng)度(式13)來(lái)替代真實(shí)的梯度長(zhǎng)度xi。

        進(jìn)而對(duì)于給定的無(wú)標(biāo)簽行為池U,通過(guò)求解優(yōu)化函數(shù)(式(14))將無(wú)標(biāo)簽行為池U的一部分作為訓(xùn)練行為集U*。

        1.2.2.2 增量學(xué)習(xí)

        基于所構(gòu)建的行為模型原型,本文采用最小批處理增量訓(xùn)練權(quán)重參數(shù),并依據(jù)內(nèi)存的可利用性選擇多樣化樣例用于增量學(xué)習(xí),利用參數(shù)增量更新DW和?θ參數(shù),實(shí)現(xiàn)持續(xù)學(xué)習(xí)模型的自動(dòng)更新,最終得到融合稀疏自動(dòng)編碼器和主動(dòng)學(xué)習(xí)的深度網(wǎng)絡(luò)持續(xù)學(xué)習(xí)行為模型算法SAAL(Sparse Autoencoder and Active Learning),處理步驟如圖4所示,其時(shí)間復(fù)雜度依賴于訓(xùn)練樣本的大小和學(xué)習(xí)方法的種類,如果權(quán)重參數(shù)W和θ趨向穩(wěn)定,則算法收斂。

        2 實(shí)驗(yàn)數(shù)據(jù)及實(shí)驗(yàn)環(huán)境

        2.1 煤礦不安全行為實(shí)驗(yàn)數(shù)據(jù)集

        為了驗(yàn)證模型框架的有效性,分別在2種不同的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),一是公共數(shù)據(jù)集KTH,二是真實(shí)采集的煤礦監(jiān)控?cái)?shù)據(jù)集RCV,表1所示給出了2個(gè)數(shù)據(jù)集的描述。實(shí)驗(yàn)中假定行為片斷已知,假定無(wú)標(biāo)簽樣例的行為片斷順序輸入持續(xù)學(xué)習(xí)模型。

        2.2 實(shí)驗(yàn)環(huán)境

        基于算法SAAL是否采用主動(dòng)學(xué)習(xí)和緩沖區(qū)大小是否固定,設(shè)定如表2所示的4種不同實(shí)驗(yàn)環(huán)境。4種實(shí)驗(yàn)環(huán)境下執(zhí)行的實(shí)驗(yàn)應(yīng)滿足以下設(shè)定:①準(zhǔn)確率均值化,由于算法的準(zhǔn)確率依賴于數(shù)據(jù)的輸入順序,同一數(shù)據(jù)集上的多次持續(xù)學(xué)習(xí)所得識(shí)別準(zhǔn)確率將存在不同,因此,采用多次實(shí)驗(yàn)結(jié)果的平均值作為最終統(tǒng)計(jì)結(jié)果;②采用交叉驗(yàn)證,數(shù)據(jù)集被分為2個(gè)訓(xùn)練集,1個(gè)測(cè)試集和1個(gè)驗(yàn)證集。

        3 實(shí)驗(yàn)結(jié)果及分析

        3.1 復(fù)雜行為識(shí)別性能分析

        圖5為4種實(shí)驗(yàn)環(huán)境下的識(shí)別準(zhǔn)確率統(tǒng)計(jì)曲線,在4種實(shí)驗(yàn)環(huán)境下,當(dāng)新樣例輸入到持續(xù)學(xué)習(xí)行為模型框架時(shí),在2種數(shù)據(jù)集上的性能均呈上升趨勢(shì)。由圖5(a)可知,NAI優(yōu)于其他3種實(shí)驗(yàn)環(huán)境下的性能,AF實(shí)驗(yàn)環(huán)境下的性能接近于NAI,NAF具有最差的識(shí)別準(zhǔn)確率,原因在于緩沖區(qū)大小固定,且缺乏主動(dòng)學(xué)習(xí)模型,存在富含有效信息樣例的遺失。盡管AI實(shí)驗(yàn)環(huán)境下?lián)碛袩o(wú)限緩沖區(qū),但AI的性能與AF類似,原因在于相比于主動(dòng)學(xué)習(xí),多樣化樣例的選擇對(duì)性能的影響相對(duì)較小。由圖5(b)可知,RCV數(shù)據(jù)集實(shí)驗(yàn)結(jié)果曲線與KTH數(shù)據(jù)集結(jié)果曲線類似。當(dāng)所有樣例均可見(jiàn)時(shí),持續(xù)學(xué)習(xí)模型在NAI和AF實(shí)驗(yàn)環(huán)境下的準(zhǔn)確率分別為63.75%和60.56%,比傳統(tǒng)基于時(shí)空特征的方法具有更高的識(shí)別準(zhǔn)確率。

        3.2 增量學(xué)習(xí)對(duì)識(shí)別性能的影響

        表3和表4分別列出了在KTH、RCV數(shù)據(jù)集增量學(xué)習(xí)后模型性能改進(jìn)情況。由表3可知,由于新增樣例的加入,持續(xù)學(xué)習(xí)模型改進(jìn)了每種復(fù)雜行為識(shí)別的性能,當(dāng)所有樣例可見(jiàn)時(shí),持續(xù)學(xué)習(xí)模型在AF、AI、NAF和NAI 4種環(huán)境下的平均準(zhǔn)確率分別為94.3%、96.2%、96.2%和96.7%,相較于初始準(zhǔn)確率,平均改進(jìn)幅度分別為24.4%、33.1%、32.7%和31.6%。可見(jiàn)通過(guò)增量學(xué)習(xí),KTH數(shù)據(jù)集的復(fù)雜行為識(shí)別準(zhǔn)確率有一定提升。由表4可知,在RCV數(shù)據(jù)集上,3種復(fù)雜行為在4種實(shí)驗(yàn)環(huán)境下的識(shí)別準(zhǔn)確率均得到改善,當(dāng)所有樣例可見(jiàn)時(shí),持續(xù)學(xué)習(xí)模型在AF、AI、NAF和NAI 4種環(huán)境下的平均準(zhǔn)確率分別為55.0%、52.7%、51.7%和54.7%,相較于初始準(zhǔn)確率,平均改進(jìn)幅度分別為57.1%、42.4%、31.6%和45.1%。

        對(duì)比KTH數(shù)據(jù)集結(jié)果,RCV數(shù)據(jù)集識(shí)別準(zhǔn)確率普遍偏低,原因在于RCV數(shù)據(jù)集為真實(shí)煤礦監(jiān)控視頻數(shù)據(jù),數(shù)據(jù)量大、環(huán)境特殊且識(shí)別的行為相較于KTH數(shù)據(jù)集更為復(fù)雜,但通過(guò)增量學(xué)習(xí)后,真實(shí)煤礦場(chǎng)景中復(fù)雜行為識(shí)別性能提升明顯。

        注:“—”表示性能未發(fā)生改變。

        3.3 深度學(xué)習(xí)對(duì)性能的影響

        注:“—”表示性能未發(fā)生改變。

        圖6為RCV數(shù)據(jù)集使用深度學(xué)習(xí)模型前后的復(fù)雜行為識(shí)別準(zhǔn)確率變化曲線圖。由圖可知,隨著新增訓(xùn)練樣例輸入持續(xù)學(xué)習(xí)行為模型,基于深度學(xué)習(xí)方法的識(shí)別準(zhǔn)確率快速得到改善,當(dāng)訓(xùn)練樣例引入60%左右時(shí),其識(shí)別準(zhǔn)確率超過(guò)未使用深度學(xué)習(xí)的識(shí)別模型;當(dāng)所有樣例可見(jiàn)時(shí),其識(shí)別準(zhǔn)確率相較于未使用深度學(xué)習(xí)的識(shí)別模型提升1.7%,此結(jié)果表明持續(xù)學(xué)習(xí)行為模型能有效解決復(fù)雜行為識(shí)別過(guò)程中的概念漂移問(wèn)題,在訓(xùn)練樣例增加的情況下,不斷提高識(shí)別準(zhǔn)確率。

        4結(jié)論

        提出了基于持續(xù)學(xué)習(xí)模型的煤礦工人復(fù)雜行為識(shí)別模型,本模型融合了深度網(wǎng)絡(luò)和主動(dòng)學(xué)習(xí),能自動(dòng)對(duì)新增樣例進(jìn)行標(biāo)記,從視頻數(shù)據(jù)中持續(xù)學(xué)習(xí)人體行為。通過(guò)分析KTH和RCV數(shù)據(jù)集中的復(fù)雜行為在4種實(shí)驗(yàn)環(huán)境AF、AI、NAF和NAI下的性能,得出:

        (1)在4種實(shí)驗(yàn)環(huán)境下,當(dāng)新樣例輸入到持續(xù)學(xué)習(xí)行為模型時(shí),在2種數(shù)據(jù)集上的識(shí)別性能均呈上升趨勢(shì),且最終識(shí)別率均優(yōu)于傳統(tǒng)識(shí)別方法。

        (2)隨著新增樣例的加入,持續(xù)學(xué)習(xí)行為模型框架不斷改進(jìn)每種復(fù)雜行為模型的性能,在4種實(shí)驗(yàn)環(huán)境下,KTH和RCV數(shù)據(jù)集平均識(shí)別率分別提升30%和44%。

        (3)針對(duì)真實(shí)煤礦監(jiān)控視頻數(shù)據(jù)集RCV,當(dāng)所有實(shí)例可見(jiàn)時(shí),基于深度學(xué)習(xí)識(shí)別模型復(fù)雜行為識(shí)別準(zhǔn)確率可提高1.7%,此現(xiàn)象表明持續(xù)學(xué)習(xí)行為模型能有效解決復(fù)雜行為識(shí)別過(guò)程中的概念漂移問(wèn)題,同時(shí)說(shuō)明持續(xù)學(xué)習(xí)行為模型框架具有良好的自學(xué)習(xí)能力和魯棒性。

        猜你喜歡
        樣例準(zhǔn)確率特征
        樣例復(fù)雜度與學(xué)習(xí)形式對(duì)不同數(shù)量樣例學(xué)習(xí)的影響
        樣例呈現(xiàn)方式對(duì)概念訓(xùn)練類別表征的影響
        乳腺超聲檢查診斷乳腺腫瘤的特異度及準(zhǔn)確率分析
        健康之家(2021年19期)2021-05-23 11:17:39
        不同序列磁共振成像診斷脊柱損傷的臨床準(zhǔn)確率比較探討
        2015—2017 年寧夏各天氣預(yù)報(bào)參考產(chǎn)品質(zhì)量檢驗(yàn)分析
        “樣例教學(xué)”在小學(xué)高年級(jí)數(shù)學(xué)中的應(yīng)用
        如何表達(dá)“特征”
        不忠誠(chéng)的四個(gè)特征
        高速公路車牌識(shí)別標(biāo)識(shí)站準(zhǔn)確率驗(yàn)證法
        抓住特征巧觀察
        亚洲无码啊啊啊免费体验| 日韩吃奶摸下aa片免费观看| 精品国产乱码久久久软件下载 | 国产亚洲sss在线观看| 国产一区二区三区特黄| 无套无码孕妇啪啪| 一二三四在线观看免费视频 | 91精品人妻一区二区三区蜜臀| 少妇爽到高潮免费视频| 久久久久亚洲精品无码网址蜜桃| 亚洲人成无码网站久久99热国产| 日本高清一区二区三区视频 | 精品人妻夜夜爽一区二区| 伊人久久精品亚洲午夜| 精精国产xxxx视频在线播放| 精品无码久久久九九九AV| 久久精品日韩免费视频| 神马影院午夜dy888| 精品亚洲欧美无人区乱码| 欧美1区二区三区公司| 亚洲成人激情深爱影院在线| 三级全黄的视频在线观看| 国产成人午夜福利在线观看者| 亚洲一区二区精品在线看| 国产精品女主播福利在线| 色八区人妻在线视频免费| 国产精品中文第一字幕| 国产极品大秀在线性色| 人妻精品久久无码区| 999国产精品亚洲77777| 国产精品美女自在线观看 | 亚洲午夜福利在线视频| 无码精品一区二区三区超碰| 中文字幕中文字幕三区| 久久精品国产亚洲av麻豆图片| 国产人妻黑人一区二区三区| 一亚洲一区二区中文字幕| 黄色av亚洲在线观看| 台湾佬自拍偷区亚洲综合| 国产成社区在线视频观看| 国产综合开心激情五月|