亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于局部特征詞袋模型人體動(dòng)作識(shí)別關(guān)鍵幀選取方法

        2019-03-23 03:44:42柳似霖
        應(yīng)用光學(xué) 2019年2期
        關(guān)鍵詞:關(guān)鍵幀時(shí)空準(zhǔn)確率

        柳似霖,王 穎,吳 峰

        (1.北京化工大學(xué),北京100029;2.中國科學(xué)院 微電子研究所&中國科學(xué)院大學(xué),北京100094;3.國家知識(shí)產(chǎn)權(quán)局專利局 專利審查協(xié)作天津中心,天津 300304)

        引言

        人體動(dòng)作識(shí)別目前被廣泛用于視頻監(jiān)控、人機(jī)交互、虛擬現(xiàn)實(shí)等。提取視頻圖像的動(dòng)作特征,并基于所提取的特征進(jìn)行動(dòng)作識(shí)別,近年來成為計(jì)算機(jī)視覺的一個(gè)研究熱點(diǎn)。由于視頻圖像中人體動(dòng)作是漸變的,幀與幀之間存在信息冗余,采用全部視頻圖像進(jìn)行人體動(dòng)作識(shí)別計(jì)算量大,效率低。選取準(zhǔn)確表征人體動(dòng)作特征關(guān)鍵幀,去除冗余數(shù)據(jù),對于提高動(dòng)作識(shí)別的準(zhǔn)確率和實(shí)時(shí)性非常重要。

        用于關(guān)鍵幀選取的圖像特征有顏色直方圖、光流、紋理等,Zhuang[1]Sheena[2]等人利用顏色直方圖等局部特征聚類實(shí)現(xiàn)關(guān)鍵幀選取,但顏色直方圖對人體動(dòng)作視頻的背景及視角變化比較敏感,且對運(yùn)動(dòng)描述能力降低。利用光流特征聚類可選取動(dòng)作識(shí)別的關(guān)鍵幀,雖然光流特征能表達(dá)目標(biāo)的全局性運(yùn)動(dòng)[3],但忽略了局部運(yùn)動(dòng)信息,選取的關(guān)鍵幀不能準(zhǔn)確描述動(dòng)作變化。圖像時(shí)空特征克服了光流特征和直方圖特征在時(shí)間和空間上的局限性,時(shí)空興趣點(diǎn)作為一種局部時(shí)空特征對視角變化及人體自遮擋等具有很好的魯棒性,且不需要進(jìn)行背景減除等圖像預(yù)處理,適用于動(dòng)作視頻圖像中連續(xù)復(fù)雜動(dòng)作識(shí)別[4-6]。利用視頻圖像中提取的時(shí)空興趣點(diǎn)集合[7,8]可以采用編碼或者詞袋模型法[9,10]進(jìn)行人體動(dòng)作識(shí)別。采用詞袋模型表征時(shí)空興趣點(diǎn)[8],忽略不同時(shí)空興趣點(diǎn)的位置關(guān)系,把提取到的時(shí)空興趣點(diǎn)利用聚類映射為視覺詞匯。將時(shí)空特征表征為文本中的詞匯,時(shí)空興趣點(diǎn)的每個(gè)聚類中心對應(yīng)一個(gè)視覺詞匯,所有視覺詞匯的集合建立視覺詞典[11],利用不同詞匯出現(xiàn)的頻率可實(shí)現(xiàn)動(dòng)作識(shí)別,降低了用于動(dòng)作識(shí)別的特征維數(shù)[12]。

        由于原始動(dòng)作視頻圖像特征信息冗余,需進(jìn)行關(guān)鍵幀選取。聚類法選取關(guān)鍵幀需事先設(shè)定聚類中心數(shù)目,每個(gè)聚類中心即為選取的關(guān)鍵幀,聚類中心個(gè)數(shù)為選取的關(guān)鍵幀數(shù)。文獻(xiàn)[13]采用K均值聚類算法選取關(guān)鍵幀,但在動(dòng)作不確定時(shí)K值難以估計(jì),很難確定聚類中心數(shù)目。與聚類法不同,群智能優(yōu)化算法不需要事先確定聚類中心數(shù)目,具有更強(qiáng)的適應(yīng)性。粒子群算法作為一種群智能優(yōu)化算法通過粒子在解空間追隨最優(yōu)粒子,避免所優(yōu)化的對象在有限的區(qū)域陷入局部最優(yōu),在某個(gè)區(qū)域上找到最優(yōu)值實(shí)現(xiàn)全局優(yōu)化[14]。

        因此,針對目前關(guān)鍵幀選取方法中聚類法關(guān)鍵幀數(shù)目需人為確定、全局特征計(jì)算量大且對背景及光照敏感以及動(dòng)作識(shí)別準(zhǔn)確率低等不足,本文基于時(shí)空興趣點(diǎn)特征利用詞袋模型構(gòu)建視覺詞典,基于離散粒子群優(yōu)化算法選取最有效表征人體運(yùn)動(dòng)或姿勢的關(guān)鍵幀,以提高動(dòng)作識(shí)別的準(zhǔn)確率及實(shí)時(shí)性。

        1 離散粒子群算法關(guān)鍵幀選取原理

        傳統(tǒng)粒子群算法假設(shè)有一群隨機(jī)運(yùn)動(dòng)的粒子,以粒子對解空間中最優(yōu)粒子的追隨進(jìn)行解空間的搜索。粒子群通過多次迭代修正尋優(yōu)過程逼近最優(yōu)解,其流程簡單,易于實(shí)現(xiàn)。

        1.1 連續(xù)粒子群算法

        (1)

        式中:r1和r2為0~1之間的隨機(jī)數(shù),ω為速度更新慣性因子。相應(yīng)的其位置更新由公式(2)得到:

        (2)

        粒子群算法利用粒子的個(gè)體極值和粒子群的全局極值修正尋優(yōu),單個(gè)粒子尋優(yōu)保持粒子在搜索方向的多樣性,避免陷于局部最優(yōu);全局極值從整體把握尋優(yōu)方向,加速尋找最優(yōu)解。

        1.2 離散粒子群動(dòng)作視頻關(guān)鍵幀選取原理

        采用粒子群算法選取人體動(dòng)作視頻圖像關(guān)鍵幀,其對應(yīng)的幀圖像為離散空間。通過將連續(xù)粒子群算法擴(kuò)展到二進(jìn)制空間實(shí)現(xiàn)動(dòng)作視頻關(guān)鍵幀的選取。對于任一人體動(dòng)作視頻,其對應(yīng)隨機(jī)粒子Xi為二進(jìn)制向量,長度為原始視頻幀數(shù)l。若Xi中某元素值為1則表示該元素對應(yīng)的幀為關(guān)鍵幀,否則為0。速度向量Vi長度和Xi相同,Vi中的每個(gè)元素為在[0-1]區(qū)間的隨機(jī)數(shù),表征隨機(jī)粒子Xi中對應(yīng)元素為1的概率。

        關(guān)鍵幀選取的離散粒子群的速度更新公式為

        (3)

        式中:速度更新慣性因子ω值取1。在關(guān)鍵幀選取計(jì)算過程中,速度向量Vi中有些元素值可能大于1,為使速度向量中每一個(gè)位置元素的數(shù)值滿足在[0-1]區(qū)間,引入標(biāo)準(zhǔn)sigmoid函數(shù)修正速度向量:

        (4)

        和連續(xù)粒子群優(yōu)化方法不同,離散粒子群算法確定關(guān)鍵幀的粒子位置更新如(5)式:

        (5)

        1.3 最優(yōu)適應(yīng)度計(jì)算

        基于詞袋模型統(tǒng)計(jì)序列圖像中每個(gè)詞匯出現(xiàn)的概率分布向量描述人體動(dòng)作。以原始動(dòng)作視頻的詞匯概率分布向量和選取的關(guān)鍵幀的詞匯概率分布向量的余弦距離作為優(yōu)化函數(shù),用于估計(jì)原始視頻動(dòng)作特征和選取的關(guān)鍵幀動(dòng)作特征的相似性,評價(jià)選取粒子的最優(yōu)適應(yīng)度。

        (6)

        2 基于離散粒子群的關(guān)鍵幀選取流程

        基于離散粒子群的關(guān)鍵幀選取流程如圖1所示。采用3D Harris算法提取每個(gè)視頻圖像中的時(shí)空興趣點(diǎn),并用HOG3D描述器進(jìn)行特征描述,對時(shí)空興趣點(diǎn)特征采用聚類方法建立視覺詞典。統(tǒng)計(jì)原始視頻圖像中每個(gè)視覺詞匯出現(xiàn)的概率,建立視覺詞匯概率分布向量。采用離散粒子群算法進(jìn)行關(guān)鍵幀選取,每個(gè)粒子的大小等于原始視頻幀數(shù)。

        按照圖1步驟進(jìn)行關(guān)鍵幀選取,迭代結(jié)束時(shí),全局最優(yōu)解對應(yīng)的粒子Xb中所有值為1對應(yīng)的視頻幀數(shù)即為所選取的關(guān)鍵幀。以長度10幀的連續(xù)人體動(dòng)作視頻為例,若最終求解的全局最優(yōu)粒子Xb=(1,1,0,0,0,1,0,1,0,0),則表示第1,2,6,8幀圖像為選取的關(guān)鍵幀。

        3 動(dòng)作視頻關(guān)鍵幀選取及動(dòng)作識(shí)別結(jié)果

        本文對KTH和Weizmann數(shù)據(jù)庫中的動(dòng)作視頻進(jìn)行關(guān)鍵幀選取。KTH數(shù)據(jù)庫包含行走、慢跑、跑步、拳擊、鼓掌、揮手6個(gè)常見動(dòng)作。每種動(dòng)作包含25個(gè)人4個(gè)不同場景共100個(gè)動(dòng)作視頻,每個(gè)視頻的幀數(shù)為300~1 000不等。Weizmann數(shù)據(jù)庫包括9個(gè)人向前跳、向上跳、跑步、推舉、彎腰、雙手揮、單腳跳、橫向動(dòng)、單手揮、走路等10個(gè)動(dòng)作90個(gè)視頻,每個(gè)動(dòng)作視頻幀數(shù)為30~150不等。采用3D Harris算子提取時(shí)空興趣點(diǎn),利用時(shí)空興趣點(diǎn)建立大小為650的視覺詞典,詳見文獻(xiàn)[15]。采用離散粒子群算法進(jìn)行關(guān)鍵幀選取,初始粒子數(shù)目為50,每個(gè)粒子長度為每個(gè)視頻幀數(shù),關(guān)鍵幀選取迭代次數(shù)為100。以如圖2(a)的連續(xù)20幀的跑步視頻片段為例,利用本文提出的離散粒子群關(guān)鍵幀選取算法選取的關(guān)鍵幀如圖2(b)所示。對2個(gè)視頻數(shù)據(jù)庫的所有視頻進(jìn)行關(guān)鍵幀選取,并分別利用關(guān)鍵幀選取前后的視頻建立視覺

        圖1 關(guān)鍵幀選擇算法流程圖Fig.1 Flow chart of key frames selection algorithm

        詞典,采用SVM算法[16]進(jìn)行動(dòng)作識(shí)別,關(guān)鍵幀選取及動(dòng)作識(shí)別結(jié)果如表1所示。表1給出了2個(gè)數(shù)據(jù)庫關(guān)鍵幀選取前后人體動(dòng)作視頻的平均幀數(shù)及每個(gè)視頻的平均特征點(diǎn)數(shù),選取的關(guān)鍵幀數(shù)分別為原視頻數(shù)的64.5%和61.4%,利用關(guān)鍵幀和用所有視頻的動(dòng)作識(shí)別準(zhǔn)確率相同。

        圖2 KTH數(shù)據(jù)庫人體動(dòng)作原始視頻及關(guān)鍵幀選取結(jié)果Fig.2 Original video and selected key frames for KTH database

        針對KTH數(shù)據(jù)庫,表2給出了分別采用聚類法和離散粒子群算法選取關(guān)鍵幀進(jìn)行動(dòng)作識(shí)別的結(jié)果。聚類法隨著選取關(guān)鍵幀數(shù)增加,動(dòng)作識(shí)別的準(zhǔn)確率增加。

        表1 原始動(dòng)作視頻與關(guān)鍵幀選取后的動(dòng)作視頻對比Table 1 Recognition comparison between selected key frames and original videos

        表2 聚類法和離散粒子群法選取關(guān)鍵幀的動(dòng)作識(shí)別結(jié)果Table 2 Selected key frames by discrete particle swarm method and clustering method

        圖3給出了計(jì)算出的行走、慢跑、跑步、拳擊、鼓掌、揮手等6個(gè)動(dòng)作的識(shí)別準(zhǔn)確率??芍垲惙ㄟx取關(guān)鍵幀的每個(gè)動(dòng)作的識(shí)別準(zhǔn)確率隨幀數(shù)增大而增大??傮w上離散粒子群方法選取的關(guān)鍵幀進(jìn)行識(shí)別的6個(gè)動(dòng)作識(shí)別準(zhǔn)確率較聚類法高,且每個(gè)動(dòng)作的誤識(shí)別率低。當(dāng)聚類法選取的關(guān)鍵幀數(shù)和離散粒子群法選取的關(guān)鍵幀相同時(shí),識(shí)別準(zhǔn)確率低于離散粒子群法。

        圖3 KTH數(shù)據(jù)庫6個(gè)動(dòng)作識(shí)別準(zhǔn)確率Fig. 3 Recognition accuracy of 6 motion in KTH database

        4 結(jié)論

        本文利用視頻圖像提取的時(shí)空興趣點(diǎn)建立視覺詞典,引入了夾角余弦距離作為最優(yōu)適應(yīng)度評價(jià)關(guān)鍵幀選取前后的動(dòng)作特征相似度,采用離散粒子群算法進(jìn)行關(guān)鍵幀選取。和聚類法隨著選取的關(guān)鍵幀數(shù)不同導(dǎo)致的動(dòng)作識(shí)別準(zhǔn)確率不同相比,用離散粒子群算法提取的關(guān)鍵幀進(jìn)行識(shí)別保證了和原始視頻相同的動(dòng)作識(shí)別準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明,本文提出的離散粒子群關(guān)鍵幀選取算法,有效去除了原始視頻的人體動(dòng)作特征冗余信息,保證了識(shí)別準(zhǔn)確率的穩(wěn)定性和準(zhǔn)確性。

        猜你喜歡
        關(guān)鍵幀時(shí)空準(zhǔn)確率
        跨越時(shí)空的相遇
        乳腺超聲檢查診斷乳腺腫瘤的特異度及準(zhǔn)確率分析
        健康之家(2021年19期)2021-05-23 11:17:39
        不同序列磁共振成像診斷脊柱損傷的臨床準(zhǔn)確率比較探討
        2015—2017 年寧夏各天氣預(yù)報(bào)參考產(chǎn)品質(zhì)量檢驗(yàn)分析
        鏡中的時(shí)空穿梭
        玩一次時(shí)空大“穿越”
        高速公路車牌識(shí)別標(biāo)識(shí)站準(zhǔn)確率驗(yàn)證法
        基于改進(jìn)關(guān)鍵幀選擇的RGB-D SLAM算法
        基于相關(guān)系數(shù)的道路監(jiān)控視頻關(guān)鍵幀提取算法
        時(shí)空之門
        成年人一区二区三区在线观看视频| 日韩中文无线码在线视频观看| 亚洲欧美日韩精品高清| 亚洲av中文字字幕乱码软件| 亚洲精品国产电影| 亚洲 精品 综合 精品 自拍| 欧美成人www免费全部网站| 男女午夜视频一区二区三区| 国产最新女主播福利在线观看| 国精产品推荐视频| 日韩我不卡| 日韩av中文字幕一卡二卡| 亚洲av无码专区首页| 激情五月婷婷综合| 亚洲春色视频在线观看| 不卡一区二区视频日本| 樱桃视频影视在线观看免费| 国产91吞精一区二区三区| 日韩一区二区中文字幕视频| 亚洲熟妇无码久久精品| 极品白嫩的小少妇| 永久黄网站色视频免费| a√无码在线观看| 亚洲精品在线视频一区二区| 国产成+人欧美+综合在线观看| 欧美日韩综合网在线观看| 中文在线最新版天堂av | 麻豆国产一区二区三区四区| 老色鬼永久精品网站| 欧美三级不卡视频| 99久久免费精品色老| 国产网站一区二区三区| a级毛片无码免费真人| 久久天天躁狠狠躁夜夜中文字幕| 国产三区三区三区看三区| 色天使综合婷婷国产日韩av| 亚洲黄色免费网站| 国产av三级精品车模| 夜夜躁狠狠躁日日躁视频| 国产剧情国产精品一区| 一级一片内射在线播放|