亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于層次聚類多任務(wù)學(xué)習(xí)的人類行為識別

        2017-11-03 15:55:11李云紅鄭婷婷王震亞王延年惠史科
        自動化儀表 2017年10期
        關(guān)鍵詞:動作人類信息

        李云紅,鄭婷婷,王震亞,王延年,惠史科

        (西安工程大學(xué)電子信息學(xué)院,陜西 西安 710048)

        基于層次聚類多任務(wù)學(xué)習(xí)的人類行為識別

        李云紅,鄭婷婷,王震亞,王延年,惠史科

        (西安工程大學(xué)電子信息學(xué)院,陜西 西安710048)

        為了實現(xiàn)對人類行為的有效識別,提出了一種基于層次聚類多任務(wù)學(xué)習(xí)(HC-MTL)的人類行為識別方法。采用正則化最小二乘法制定目標(biāo)函數(shù),并對模型參數(shù)和分組信息這2個潛在的變量進行聯(lián)合優(yōu)化。使用聚類范數(shù)正則化方式進行多任務(wù)學(xué)習(xí),并求解任務(wù)相關(guān)性,進而對人類行為進行有效識別。該方法打破了所有行為是獨立的個人學(xué)習(xí)的假設(shè),通過任務(wù)聚類的方式建立起多任務(wù)之間的關(guān)系,共享同類任務(wù)之間的相關(guān)信息,提高了人類行為識別的準(zhǔn)確度。試驗結(jié)果表明,與聚類多任務(wù)學(xué)習(xí)方法(CMTL)和魯棒多任務(wù)學(xué)習(xí)方法(RMTL)相比,HC-MTL方法可以發(fā)現(xiàn)任務(wù)的潛在相關(guān)性,有助于誘導(dǎo)群體多任務(wù)學(xué)習(xí)。通過同一類任務(wù)之間的共享信息,減少了誤差,并提高了行為識別的精確度。

        行為識別; 多任務(wù)學(xué)習(xí); 任務(wù)相關(guān)性; 層次聚類; 任務(wù)分組

        0 引言

        人類行為識別[1-4]是視頻監(jiān)控、多媒體內(nèi)容分析和數(shù)字娛樂等多種應(yīng)用的基本構(gòu)件。作為計算機視覺和機器學(xué)習(xí)中最活躍的研究領(lǐng)域之一,已經(jīng)有多種方法用于行為識別。

        傳統(tǒng)的行為識別方法[5]是在單任務(wù)學(xué)習(xí)(single-tasklearning,STL)模式下工作,忽略動作之間存在的相關(guān)性,不能區(qū)分具有類似運動模式的行為(如步行、跑步和慢跑)。近期的研究采用多任務(wù)學(xué)習(xí)[6](multi-tasklearning,MTL)進行人類行為的識別,大大提高了人類行為識別的準(zhǔn)確度。然而,在實際應(yīng)用中,多個學(xué)習(xí)任務(wù)之間的關(guān)系是非常復(fù)雜的,不同的學(xué)習(xí)任務(wù)往往會由多個相關(guān)的任務(wù)聚類組成。在處理這種多任務(wù)的情況時,所有的任務(wù)共同學(xué)習(xí)可能對行為的分組產(chǎn)生負(fù)面影響,因而不適用于許多復(fù)雜的應(yīng)用。

        針對以上問題,提出了一種用于聯(lián)合動作相關(guān)性發(fā)現(xiàn)的層次聚類多任務(wù)學(xué)習(xí)(hierarchyclusteringmulti-tasklearning,HC-MTL)方法。該方法采用2個潛在變量,即模型參數(shù)和分組信息,來制定目標(biāo)函數(shù),用于聯(lián)合優(yōu)化,并將其分解為2個子任務(wù)。①多任務(wù)學(xué)習(xí):用最小二乘法對模型進行學(xué)習(xí)并制定目標(biāo)函數(shù),通過“跡范數(shù)”和“組稀疏”的形式發(fā)現(xiàn)任務(wù)的相關(guān)性。 ②任務(wù)相關(guān)性發(fā)現(xiàn):通過模型參數(shù),利用稀疏表示任務(wù)相關(guān)性度量,然后將獲得的行為分組信息反饋給較早的子任務(wù),以進一步誘導(dǎo)分組多任務(wù)學(xué)習(xí)。本文方法可以在各個迭代中實現(xiàn)模型分組和識別(相關(guān)集和無關(guān)集),通過迭代交替求得最優(yōu)解,實現(xiàn)對人類行為的識別。

        1 層次聚類多任務(wù)學(xué)習(xí)方法

        目前,關(guān)于人類行為的識別,國內(nèi)外的研究人員已經(jīng)取得了一些成果。針對單任務(wù)目標(biāo)域的學(xué)習(xí),利用局部特征,可以捕獲動作的顯著特點,識別人類的行為。STL、MTL、HC-MTL的系統(tǒng)框圖對比如圖1所示。

        圖1 系統(tǒng)框圖對比示意圖

        多任務(wù)學(xué)習(xí)利用類別之間的共享信息,在不同動作類別之間傳遞共同知識,并建立行為分類器,進而對人類的行為進行識別。

        Kang等[7]利用聚類多任務(wù)學(xué)習(xí)(clustering multi-task learning,CMTL)進行行為識別,假設(shè)任務(wù)的相關(guān)性僅存在于聚類模型中,引入1個聚類變量,利用聚類正則化的方式建立任務(wù)之間的關(guān)系,以區(qū)分不同的行為。Zhou等[8]提出了魯棒多任務(wù)學(xué)習(xí)(robust multi-task learning,RMTL),即假設(shè)大部分任務(wù)都是相關(guān)的,探索模型的共性(無論是結(jié)構(gòu)共享還是參數(shù)共享),得出結(jié)論:多任務(wù)學(xué)習(xí)可通過任務(wù)之間的相互學(xué)習(xí)來提升整個學(xué)習(xí)任務(wù)的泛化性能。

        然而,上述模型均存在假設(shè),在實際應(yīng)用中往往并不成立。根據(jù)任務(wù)之間的潛在相關(guān)性,得出行為分組信息,以誘導(dǎo)相關(guān)行為的建模,同時避免不相關(guān)任務(wù)的負(fù)面影響。為了保持單個動作(如步行和拳擊之間的不同運動區(qū)域)的特征以及多個動作的共享信息(例如,步行和跑步之間的類似運動模式),通過低秩矩陣和組稀疏設(shè)置正則化[9]目標(biāo)函數(shù),挖掘相關(guān)任務(wù)之間的共享信息,提升對行為識別的準(zhǔn)確性。

        2 層次聚類多任務(wù)學(xué)習(xí)算法及實現(xiàn)

        2.1求解目標(biāo)函數(shù)

        在工作中,有2個緊密相關(guān)的子任務(wù)要完成。

        ②任務(wù)相關(guān)性發(fā)現(xiàn)。wi表示第i個任務(wù),其目標(biāo)參數(shù)矩陣可以表示為W=[w1,w2,…,wm]∈Rd×m。其目的是發(fā)現(xiàn)分組信息T包含的潛在任務(wù)的相關(guān)性信息。例如,所提出的方法是學(xué)習(xí)相關(guān)動作(如握手、拍手、拳擊可被視為考慮顯著肢體的相關(guān)動作和手動作),同時識別那些非相關(guān)動作(如慢跑、步行、跑步可視被為前述肢體動作的非相關(guān)動作)。因此,目標(biāo)函數(shù)可以表示為:

        W,T,i∈Nm}+ρ‖L‖*+β‖S‖1,2

        (1)

        ①主要任務(wù)。

        (2)

        ②正則化ρ‖L‖*+β‖S‖。

        第一項中,矩陣L表示低秩矩陣正則化的模型。第二項中,S表示列方向的組稀疏矩陣。ρ和β是平衡這兩項的權(quán)重。設(shè)計關(guān)于模型參數(shù)集W和分組信息T的正則化項,用于行為的建模和分組(相關(guān)組和不相關(guān)組)。對于人類動作識別,潛在的動作模型可以位于具有低秩結(jié)構(gòu)的假設(shè)空間中,其中可以使用一組共享因子來耦合多個動作。例如,拳擊、揮手和拍手可以共享一些基本動作單元,諸如手臂伸展、手臂拉回和手臂水平移動。這些類似的動作單元將誘發(fā)低秩結(jié)構(gòu)的共享特征子空間。然而,不同的行為也可能具有顯著的差異。例如,放下和拾取具有類似的動作單元(保持手臂、手垂直移動的動作),但是動作單元之間的不同過渡可以引起不同的運動特性。采用稀疏矩陣正則化,即可以通過低秩結(jié)構(gòu)來耦合相關(guān)任務(wù)。具體來說,將W分解為2個分量,低秩矩陣L=[l1,…,lm]∈Rd×m; 列方向的組稀疏矩陣S=[s1,…,sm]∈Rd×m。該模型第i個任務(wù)的參數(shù)可以表示為:

        wi=li+sili∈Rd,si∈Rd,i∈Nm

        (3)

        式中:li和si分別來自上述低秩結(jié)構(gòu)和組稀疏結(jié)構(gòu)。

        如果第i個任務(wù)來自相關(guān)組,則期望si是零向量,因此wi保留由指定的低秩結(jié)構(gòu)約束其任務(wù)相關(guān)性。如果第i個任務(wù)來自不相關(guān)組,則期望si為非零,并且期望li是非零wi和非零si的和,被分類到不相關(guān)組中。

        因此,所有組的正則化可以表示為:

        (4)

        目標(biāo)函數(shù)可以表示為:

        ρ‖LTt‖*+β‖STt‖1,2]

        (5)

        式(5)中的目標(biāo)函數(shù)表示所提出的HC-MTL將實現(xiàn)組群模型,潛在分組信息T由實際組數(shù)而不是任務(wù)數(shù)直接決定。

        假設(shè)任務(wù)分組信息T是已知的,可以實現(xiàn)聯(lián)合學(xué)習(xí)模型中各個任務(wù)組的多任務(wù)學(xué)習(xí)。如果所有任務(wù)的模型均是已知的,即可利用參數(shù)進行任務(wù)分組。因此,為了處理這個具有挑戰(zhàn)性的問題,建議將這個聯(lián)合任務(wù)分解為多任務(wù)學(xué)習(xí)和任務(wù)相關(guān)性發(fā)現(xiàn)這2個單獨的步驟。通過迭代交替,可以得到最優(yōu)解。

        2.2多任務(wù)學(xué)習(xí)及任務(wù)的相關(guān)性分析

        (6)

        總而言之,在每個級別中,利用多任務(wù)學(xué)習(xí)來進行模型學(xué)習(xí),然后將實現(xiàn)的參數(shù)模型反饋到任務(wù)相關(guān)性的模塊中進行任務(wù)分組;保留相關(guān)的任務(wù)集模型,并在下一級處理其他優(yōu)化,這將反饋到模型更新的多任務(wù)學(xué)習(xí)模塊。因此,下一次迭代的Th的任務(wù)數(shù)量將減少,直到停止。算法流程如圖2所示。

        圖2 算法流程圖

        3 樣本選擇與試驗結(jié)果

        為了證明所提出的方法的有效性,對數(shù)據(jù)集的選擇及評估如下所示。

        3.1行為數(shù)據(jù)集

        采用的數(shù)據(jù)集為SARCOS數(shù)據(jù)集[8]。該數(shù)據(jù)集是由7個自由度的仿生機器人生成的回歸預(yù)測數(shù)據(jù)集,共包含7個力矩,有48933個數(shù)據(jù)任務(wù)。每個數(shù)據(jù)任務(wù)由21維的向量組成,分別表示7個關(guān)節(jié)位置信息、7個關(guān)節(jié)速度信息和7個關(guān)節(jié)加速度信息。

        3.2試驗結(jié)果及分析

        在該試驗中,對數(shù)據(jù)集進行評估,因為這些現(xiàn)實數(shù)據(jù)集中的行動類別太復(fù)雜,因此,所提出的方法通過預(yù)期發(fā)現(xiàn)任務(wù)相關(guān)性來提高性能。

        從任務(wù)中隨機選擇50、100和150的樣本作為訓(xùn)練集,并將其余樣本作為測試集。對HC-MTL、CMTL和RMTL進行比較,使用歸一化的均方誤差(normalizedmeansquarederror,nMSE)和平均均方誤差(averagedmeanssquarederror,aMSE)作為評價標(biāo)準(zhǔn)。3種方法的性能對比如表1所示。

        表1 性能對比

        表1表明,通過不同多任務(wù)學(xué)習(xí)方法的比較,使用nMSE和aMSE作為誤差指標(biāo)。當(dāng)訓(xùn)練樣本為50時,HC-MTL方法比CMTL和RMTL方法的nMSE分別減小0.0074%和0.0068%,aMSE減小了0.0311% 和0.0137%。當(dāng)訓(xùn)練樣本為100時,HC-MTL方法比CMTL和RMTL方法的nMSE分別減小0.0186%和0.0074%,aMSE減小了0.0247%和0.0132%。當(dāng)訓(xùn)練樣本為150時,HC-MTL方法比CMTL和RMTL方法的nMSE分別減小0.0125%和0.0069%,aMSE減小了0.0194%和0.0113%。HC-MTL多任務(wù)學(xué)習(xí)方法得到了更低的錯誤率和更小的方差,在nMSE和aMSE方面均明顯優(yōu)于其他方法,更加有益于挖掘任務(wù)之間的相關(guān)性,進而對人類行為進行識別。

        4 結(jié)束語

        本文提出了一種聯(lián)合人類行為識別的層次聚類多任務(wù)學(xué)習(xí)方法。與大多數(shù)的多任務(wù)學(xué)習(xí)方法不同,使用低秩結(jié)構(gòu)和組稀疏正則化的約束方式,使目標(biāo)任務(wù)避免了因非相關(guān)任務(wù)帶來的負(fù)面影響。該方法對人類行為進行聚類分析,挖掘任務(wù)之間的潛在相關(guān)性,使同一類任務(wù)共享相關(guān)信息,可以實現(xiàn)最佳行為模型的分組,并識別相似行為。試驗結(jié)果表明,層次聚類多任務(wù)學(xué)習(xí)方法在人類行為識別中的錯誤率和方差均小于其他方法。該方法提高了行為識別的精確度。

        [1] 谷學(xué)靜,高貝貝,朱朝月.基于人工情感的Q-學(xué)習(xí)算法在機器人行為決策中的應(yīng)用[J].自動化與儀表,2015,30(7):13-16.

        [2] 張愛輝,孫克輝.PCRM的改進及其在人體行為識別中的應(yīng)用[J].計算機工程與設(shè)計,2016,37(9):2515-2519.

        [3] 瞿濤,鄧德祥,劉慧,等.多層獨立子空間分析時空特征的人體行為識別方法[J].武漢大學(xué)學(xué)報(信息科學(xué)版),2016,41(4):468-474.

        [4] 王紅梅,任曉芳.基于深度圖序列和時空占用模式的人類行為識別研究[J].科學(xué)技術(shù)與工程,2014,14(24):102-107.

        [5] 陸濤濤,姚明海,瞿心昱,等.基于視覺的人體運動分析綜述[J].計算機系統(tǒng)應(yīng)用,2010,20(2):245-253.

        [6] 朱響斌,邱慧玲.基于智能手機傳感器數(shù)據(jù)的人類行為識別研究[J].計算機工程與應(yīng)用,2016,52(23):1-5.

        [7] 浦劍.多任務(wù)學(xué)習(xí)算法研究[D].上海:復(fù)旦大學(xué),2013.

        [8] 胡正平,高紅霄,趙淑歡.基于低秩分解的聯(lián)合動態(tài)稀疏表示多觀測樣本分類算法[J].電子學(xué)報,2015,43(3):440-446.

        [9] 劉建偉,崔立鵬,劉澤宇,等.正則化稀疏模型[J].計算機學(xué)報,2015,38(7):1307-1325.

        HumanBehaviorRecognitionBasedonHierarchicalClusteringMulti-TaskLearning

        LI Yunhong,ZHENG Tingting,WANG Zhenya,WANG Yannian,HUI Shike

        (School of Electronic Information,Xi’an Polytechnic University,Xi’an710048,China)

        In order to realize the effective recognition of human behavior,the method based on hierarchical clustering multi-task learning(HC-MTL) is proposed.Using the regularized least square method,the objective function is formulated,and the two potential variables of model parameter and grouping information are jointly optimized.The multi-task learning is conducted and the task relevance is solved with the clustering norm regularization approach,then the human behavior is effectively recognized.The method breaks the hypothesis,i.e.,all the behaviors are independent individual learning,and through the way of task clustering,the relationship between multi-task and the relevant information among similar sharing tasks are established,thus the accuracy of human behavior recognition is enhanced.The test results show that compared with clustered multi-task learning method(CMTL) and robust multitasking learning method(RMTL),the HC-MTL method can discover the potential relevance of the tasks and help to induce the group multi-task learning,through sharing information among the same types of tasks,the error is reduced and the accuracy of behavior recognition is improved.

        Behavior recognition; Multi-task learning(MTL); Task correlation; Hierarchical clustering; Task grouping

        TH701;TP391

        10.16086/j.cnki.issn1000-0380.201710019

        修改稿收到日期:2017-05-17

        陜西省科技工業(yè)攻關(guān)基金資助項目(2016GY-047)、陜西省科技廳自然科學(xué)基礎(chǔ)研究重點基金資助項目(2016JZ026)、大學(xué)生創(chuàng)新創(chuàng)業(yè)計劃基金資助項目(2016052)

        李云紅(1974—),女,博士,教授,主要從事紅外熱像技術(shù)、數(shù)字圖像處理、信號與信息處理等方向的研究。

        E-mail:hitliyunhong@163.com。

        鄭婷婷(通信作者),女,在讀碩士研究生,主要從事機器學(xué)習(xí)方向的研究。E-mail2550249497@qq.com。

        猜你喜歡
        動作人類信息
        人類能否一覺到未來?
        人類第一殺手
        好孩子畫報(2020年5期)2020-06-27 14:08:05
        1100億個人類的清明
        動作描寫要具體
        畫動作
        訂閱信息
        中華手工(2017年2期)2017-06-06 23:00:31
        動作描寫不可少
        人類正在消滅自然
        奧秘(2015年2期)2015-09-10 07:22:44
        非同一般的吃飯動作
        展會信息
        中外會展(2014年4期)2014-11-27 07:46:46
        在线观看二区视频网站二区| 亚洲女人被黑人巨大进入| 日本欧美在线播放| 九色精品国产亚洲av麻豆一| 二区视频在线免费观看| 国产电影一区二区三区| 国产精品va在线播放我和闺蜜| 久久国产乱子精品免费女| 日韩视频午夜在线观看| 插上翅膀插上科学的翅膀飞| 亚洲人成网址在线播放| 国产真人无遮挡免费视频| 日本人妻系列一区二区| 亚洲国产精品高清一区| 亚洲精品午夜无码电影网| 日韩欧美国产自由二区 | 中文字幕在线观看| 猫咪免费人成网站在线观看| 国产精品无码久久久久久蜜臀AV| 91精品国产自拍视频| 精品久久久久久久久午夜福利| 精品性高朝久久久久久久| 国产极品美女到高潮视频| 日本第一影院一区二区| 亚洲人成网站色www| 日韩二三区| 偷拍一区二区三区黄片| 亚洲夜夜性无码| 婷婷亚洲综合五月天小说| 水蜜桃视频在线观看免费18| 白浆国产精品一区二区| 人妻中文无码久热丝袜| 久久福利资源国产精品999| 国产黄色一级大片一区二区| 日日摸天天摸97狠狠婷婷| AV无码最在线播放| 国产高清一区二区三区视频| 人人妻人人澡人人爽欧美一区| 国产zzjjzzjj视频全免费| 日韩精品中文字幕 一区| 黄色av亚洲在线观看|