亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于屬性依存增強的文搜圖行人重識別

        2024-07-01 00:00:00夏威袁鑫攀
        科技資訊 2024年8期

        摘要:文搜圖行人重識別旨在通過給定的文本從行人圖庫中檢索目標人物,主要挑戰(zhàn)是學(xué)習(xí)自由視角(姿勢、照明和相機視點)的圖像和自由形式的文本的魯棒特征。然而,由于在文本描述和行人圖像中存在對行人屬性挖掘的不足,在細粒度上因為細節(jié)的差異從而影響了文本描述到行人圖像的檢索性能。因此,研究提出了基于屬性依存增強的文搜圖行人重識別。首先,從文本描述解析出依存關(guān)系,并轉(zhuǎn)化為依存矩陣。其次,設(shè)計了一個基于自注意力的屬性干預(yù)模塊用來融合文本特征和依存矩陣,得到屬性增強的文本特征,此時文本特征經(jīng)過干預(yù),更為關(guān)注屬性信息。最后,文本特征與圖像特征參與訓(xùn)練,讓整個網(wǎng)絡(luò)對屬性的挖掘更為敏感。在兩個數(shù)據(jù)集CUHK-PEDES和ICFG-PEDES上進行實驗,證明了提出的模型的有效性。

        關(guān)鍵詞:文搜圖行人重識別"自注意力機制"句法依存"自由視角

        中圖分類號:TP391

        Text-to-Image"Person"Reidentification"Based"on"Attribute"Dependency"Augmentation

        XIA"Wei""YUAN"Xinpan

        Hunan"University"of"Technology,"Zhuzhou,"Hunan"Province,"412000"China

        Abstract:"Text-to-Image"Person"Reidentification"(TIPR)"aims"to"retrieve"a"target"person"from"a"pedestriannbsp;gallery"with"a"given"text,"and"its"main"challenge"is"to"learn"the"robust"features"of"free-view"(posture,"lighting"and"camera"viewpoint)"images"and"free-form"texts."However,"due"to"the"lack"of"pedestrian"attribute"mining"in"text"descriptions"and"pedestrian"images,"the"retrieval"performance"from"text"descriptions"to"pedestrian"images"is"affected"by"differences"in"details"in"fine"granularity."Therefore,"this"study"proposes"TIPR"based"on"Attribute"Dependency"Augmentation"(ADA)."Firstly,"it"analyzes"dependencies"from"text"descriptions"and"transforms"them"into"dependency"matrixes."Then,"it"designs"an"attribute"intervention"module"based"on"self-attention"to"fuse"text"features"and"dependency"matrixes"and"obtains"attribute-augmented"text"features"which"are"more"concerned"about"attribute"information"after"intervention."Finally,"it"allows"text"features"and"image"features"participate"in"training,"making"the"whole"network"more"sensitive"to"attribute"mining."Experiments"on"two"datasets"CUHK-PEDES"and"ICFG-PEDES"demonstrate"the"effectiveness"of"the"proposed"model.

        Key"Words:"Text-to-Image"Person"Reidentification;"Self-attention"mechanism;"Syntactic"dependency;"Free"view

        文搜圖行人重識別(Text-to-Image"Person"Reidentification,TIPR)旨在通過給定的文本從行人圖庫中檢索目標人物,其主要挑戰(zhàn)是學(xué)習(xí)對自由視角(姿勢、照明和相機視點)的圖像和對自由形式的文本具有魯棒性的特征,相比于圖搜圖行人重識別,TIPR更具有挑戰(zhàn)性?,F(xiàn)在主流的方法[1-4]之一是利用屬性作為一種手段來表示數(shù)據(jù)的語義,屬性作為TIPR的軟生物特征,是人類可理解的語義概念,例如性別、年齡、服裝描述。因為模態(tài)不變的特性,屬性可以作為文本模態(tài)和視覺模態(tài)之間數(shù)據(jù)語義的良好媒介。

        盡管現(xiàn)有利用屬性的方法都取得了不錯的性能,但基本上是通用的跨模態(tài)檢索方法的變種,有時對于具有豐富語義的TIPR任務(wù)來說并不是最優(yōu)的解決方案。針對上述存在的技術(shù)問題,提出了基于屬性依存增強(Attribute"Dependency"Augmentation,ADA)的TIPR方法,使用依存關(guān)系的先驗知識挖掘?qū)傩孕畔碓鰪娬Z義特征,以額外的行人屬性特征作為關(guān)鍵信息優(yōu)化檢索性能。

        1"方法

        1.1"數(shù)據(jù)預(yù)處理

        1.1.1圖像特征提取

        對行人圖像進行數(shù)據(jù)增強,并將其轉(zhuǎn)化為張量并歸一化后再進行標準化,得到關(guān)于的多樣化樣本,然后將饋送到ResNet中,得到圖像特征。

        1.1.2文本特征提取

        通過自然語言處理工具SpaCy將進行分詞,得到分詞結(jié)果,表示詞的數(shù)量。通過Word2Vec將中的每個詞映射到對應(yīng)的詞向量,得到。然后將饋送到文本提取器BiLSTM中,處理從到以及到的詞向量,對于詞向量有:

        其中,,分別表示第個詞向量的前向和后向隱藏狀態(tài)。于是得到關(guān)于的特征,則對于有文本特征。

        1.1.3文本特征提取

        通過SpaCy對進行依存分析得到,對于中的每個詞根據(jù)"計算其父詞到每個詞的依存距離,有數(shù)組;對于根節(jié)點即無父節(jié)點上的詞,計算到本身的依存距離,進一步計算得到從轉(zhuǎn)化的矩陣。映射到以為中心,方差為的高斯分布上,得到依存矩陣。如下所示:

        1.2"屬性干預(yù)

        受工作[5]啟發(fā),引入自注意力網(wǎng)絡(luò)將和融合,并設(shè)置個注意力頭,關(guān)于第個注意力頭如圖2所示。對于每個詞特征,經(jīng)過3個可學(xué)習(xí)的權(quán)重矩陣分別得到3個向量,具體如下。

        進一步對于得到。

        為避免中索引的使用沖突,對應(yīng)為,計算對應(yīng)的點積并除以縮放因子,得到一個表示對的注意力程度的注意力分數(shù)。

        進而得出注意力權(quán)重矩陣,將和做哈達瑪積并通過Softmax函數(shù)映射,有:

        然后將和進行矩陣乘法,得到關(guān)于的注意力輸出。如下所示:

        將個注意力頭輸出的拼接,最終得到文本特征。

        在這一維度上,對和做最大池化處理,得到分別得到文本嵌入和圖像嵌入。都經(jīng)過一個的共享權(quán)重矩陣做矩陣乘法,用以縮小文本模態(tài)和視覺模態(tài)之間的語義鴻溝,得到最終的文本嵌入和圖像嵌入。公式如下所示:

        1.3"損失計算

        進行分類損失的計算時,給定行人標簽,做獨熱編碼處理,得到

        文本嵌入和圖像嵌入饋送到作為預(yù)測頭的一層全連接,并預(yù)測行人概率,對應(yīng)預(yù)測的行人概率為,對應(yīng)預(yù)測的行人概率為,和的表達式分別為:

        都為對每個行人預(yù)測的一組概率值,表示訓(xùn)練集中行人唯一標簽的總數(shù)。最終,分類損失的計算公式為:

        排名損失基于三元損失進行計算,公式為:

        為正樣本對,為隨機選取的負樣本,為余弦相似度計算??倱p失計算表示為。

        2"實驗結(jié)果與分析

        2.1"實驗準備

        2.1.1數(shù)據(jù)集

        為了驗證我們方法的有效性和準確性,在公開的主流數(shù)據(jù)集CUHK-PEDES和ICFG-PEDES上進行實驗。

        2.1.2實驗參數(shù)

        批量大小為64,訓(xùn)練次數(shù)為60,初始學(xué)習(xí)率為0.001,并使用Adam優(yōu)化器。

        2.1.3評價指標

        在測試集上,我們使用Rank-1、Rank-5、Rank-10作為評價指標,分別表示查詢結(jié)果中前一、前五、前十張圖像與文本描述屬于同一個行人的概率。

        2.2"對比實驗

        我們方法與近年來的一系列先進的TIPR方法在兩個主流的數(shù)據(jù)集上進行比較,具體實驗結(jié)果如表1所示。從表中可以觀察到以前的方法都取得了不錯的精度,但這些方法仍存在著缺少對文本描述的深層結(jié)構(gòu)細節(jié)的關(guān)注。我們方法將依存關(guān)系作為一種在文本模態(tài)的數(shù)據(jù)增強手段,顯式地干預(yù)對屬性的關(guān)注從而提取關(guān)鍵線索。在CUHK-PEDES和ICFG-PEDES的Rank-1上本方法有著更高的精度,且Rank-5和Rank-10也有著不錯的競爭性。

        2.3"屬性依存的合理性

        從詞性和依存距離的關(guān)系上解釋屬性依存增強的有效性。如圖3所示,橫坐標表示某一詞性的數(shù)量,縱坐標表示依存深度。圖中可以明顯觀察到修飾屬性(ADJ)和名詞屬性(NOUN)在有著最多單詞數(shù)量的同時,還有著較高的依存深度。這就意味著,利用屬性依存增強策略干預(yù)模型關(guān)注到文本更深層次的依存結(jié)構(gòu)時,往往關(guān)注到修飾屬性和名詞屬性,這對于利用行人屬性表示數(shù)據(jù)語義的文搜圖行人重識別來說,是有利于提取語義特征的。

        3"結(jié)論

        在本文中,提出了一種基于屬性依存增強的文搜圖行人重識別方法,為該領(lǐng)域提供了一種利用依存關(guān)系干預(yù)模型對行人屬性關(guān)注的思路。在實驗中,與其他方法相比,本文提出的模型在Rank1、Rank5和Rank10的評價指標上均有競爭性。另外,還從依存深度的角度上,解釋了屬性依存增強的合理性。在未來的研究工作中,將繼續(xù)探索該方法在通用的跨模態(tài)領(lǐng)域的有效性。

        參考文獻

        [1] ZHANG"J"F,NIU"L,ZHANG"L"Q."Person"re-identification"with"reinforced"attribute"attention"selection[J]."IEEE"Transactions"on"Image"Processing,2020,30:"603-616.

        [2] 王繼民.融合行人屬性信息的行人重識別研究[J].集成電路應(yīng)用,2023,40(12):420-424.

        [3] 陳琳."跨模態(tài)行人重識別研究[D].濟南:山東大學(xué),2023.

        [4] 王玉煜."基于語言信息的行人重識別算法研究[D].大連:大連理工大學(xué),2021.

        [5] BUGLIARELLO""E,"OKAZAKI"N."Enhancing"machine"translation"with"dependency-aware"self-attention[C]//Annual"Meeting"of"the"Association"for"Computational"Linguistics,2019:"1618–1627.

        久久国产亚洲AV无码麻豆| 亚洲天堂av路线一免费观看| 一区二区中文字幕在线观看污污| 亚洲第一页视频在线观看| 国产精品白丝久久av网站| 人人妻人人澡人人爽久久av| 熟妇五十路六十路息与子| 狠狠色噜噜狠狠狠97影音先锋| 久热香蕉av在线爽青青| 人妻少妇激情久久综合| 一本色道久久婷婷日韩| 国产精品一区二区久久乐下载 | 亚洲AV秘 无码一区二p区三区| 国产精品久久久久免费看| 亚洲国产精品色一区二区| 国内精品少妇高潮视频| 欧美成人午夜免费影院手机在线看 | 日韩人妻大奶子生活片| 高清午夜福利电影在线| 在教室伦流澡到高潮hgl视频 | 蜜桃日本免费观看mv| 亚洲人成人影院在线观看| 亚洲精品国产精品av| 水蜜桃精品视频在线观看| 亚洲av无码一区二区乱孑伦as| 亚洲乱妇老熟女爽到高潮的片| 亚洲精品理论电影在线观看| 免费看黄片视频在线观看| 日本免费一区二区三区影院| 无码专区亚洲综合另类| 极品成人影院| 亚洲第一无码精品久久| 国产高跟丝袜在线诱惑| 男女边摸边吃奶边做视频韩国| 男女裸交无遮挡啪啪激情试看| 日韩欧美国产亚洲中文| 亚洲精品大全中文字幕| 午夜久久久久久禁播电影| 日韩精品久久久肉伦网站| 国产亚洲午夜高清国产拍精品| 国产成人8x视频网站入口|