丁文博 許玥

摘? ?要：視覺關(guān)系檢測或視覺關(guān)系識別，不僅需要識別出圖像中的目標以及他們的位置，還要識別目標之間的相互關(guān)系，是計算機視覺領(lǐng)域非常具有挑戰(zhàn)性的任務，也是深度理解圖像的基礎。得益于近年深度學習的蓬勃發(fā)展，視覺關(guān)系檢測技術(shù)取得了顯著進步。本文介紹了近年來基于深度學習的視覺關(guān)系檢測的研究進展，從主要挑戰(zhàn)、應用領(lǐng)域、公開數(shù)據(jù)集、算法模型、模型評估標準、模型效果這幾方面進行對比分析，并展望了視覺關(guān)系檢測未來的發(fā)展方向和前景。

關(guān)鍵詞：視覺關(guān)系? 深度學習? 語義模塊? 視覺模塊

中圖分類號：TP391.4? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A? ? ? ? ? ? ? ? ? ? ? ? 文章編號：1674-098X（2019）09（c）-0145-06

Abstract：Besides identifying the objects and their positions in the images， visual relationship detection/visual relationship recognition also requires the identification of the interactions between the objects. Although visual relationship detection is a challenging task in the field of computer vision， the recent development of deep learning and significant advances in the techniques of visual relationship detection have laid the foundation for deep understanding of the images. This paper mainly reviews the research progress of visual relationship detection based on deep learning in recent years， compares and analyzes the main challenges， application fields， open data sets， algorithm models， model evaluation criteria， and model effects， and investigates the future development for visual relationship detection.

Key Words： Visual relationships; Deep learning; Semantic module; Visual module

計算機視覺（Computer Vision，CV）是使用機器來理解和分析圖像的過程。近年來，基于深度學習（特別是卷積神經(jīng)網(wǎng)絡）計算機視覺技術(shù)的進步，機器理解圖像的水平大大提高，視覺技術(shù)，如圖像分類、定位和分割等技術(shù)也取得了顯著進步。然而，為理解一張圖像，只對其中的目標進行分類或定位是遠遠不夠的，還需要對于圖像中目標與目標之間關(guān)系進行識別，即視覺關(guān)系檢測。

視覺關(guān)系檢測是計算機視覺領(lǐng)域非常具有挑戰(zhàn)性的任務，也是深度理解圖像的基礎。

1? 主要研究內(nèi)容及挑戰(zhàn)

視覺關(guān)系檢測的重點是目標識別與分類、目標之間關(guān)系的配對、以及關(guān)聯(lián)目標的關(guān)系預測。但隨著研究的深入，目標檢測的準確性問題日益突出。

1.1 研究內(nèi)容

視覺關(guān)系檢測與圖像目標檢測有差異。圖像目標檢測輸出的是所檢測目標在圖像中的位置與目標的類別，通常不與其他檢測目標關(guān)聯(lián);而視覺關(guān)系檢測是在圖像目標檢測的基礎上，預測物品之間的關(guān)聯(lián)，關(guān)聯(lián)關(guān)系通常以“主語-謂語-賓語”這樣的三元組的形式來表達。并且圖像通常包含多組三元組，例如在圖1中男孩、自行車、帽子和輪子分別組成三組關(guān)系。

1.2 挑戰(zhàn)

雖然近幾年出現(xiàn)的一大批目標識別和目標檢測算法大大提高了目標檢測的精度和速度，視覺關(guān)系檢測技術(shù)仍面臨著諸多挑戰(zhàn)：

在判定目標的類別與位置時，預測的些許偏差便可能會導致關(guān)系檢測失誤;

視覺關(guān)系理解的類別數(shù)遠超目標檢測任務中的目標類別數(shù)，這對視覺關(guān)系檢測方法的遷移拓展能力提出了要求;

數(shù)據(jù)集的標注數(shù)據(jù)不完全，如在多目標圖像中，只有小部分目標被標注，或只有部分目標之間的關(guān)系被標注，或被標注的目標對只與一個謂詞關(guān)聯(lián)[1];

同一個關(guān)系視覺外觀差別很大，例如“人-開-門”與“人-開-箱子”，以及“人-騎-馬”與“人-和……一起走-馬”。

2? 基準數(shù)據(jù)集

過去幾年，出現(xiàn)了一些適用于大規(guī)模視覺關(guān)系檢測的數(shù)據(jù)集，如：視覺關(guān)系檢測數(shù)據(jù)集（VRD，Visual Relationships Detection dataset）[2]，視覺基因組數(shù)據(jù)集（VG，Visual Genome dataset）[3-4]，以及開放式圖像數(shù)據(jù)集（OIDv5，Open Images Dataset v5）[5]。這些數(shù)據(jù)集是視覺關(guān)系檢測技術(shù)取得重大進展的最重要因素之一。表1為這些數(shù)據(jù)集的比較。

為了能夠具體分析各數(shù)據(jù)集的表現(xiàn)，會從以下三個角度計算評價指標：

謂詞檢測：輸入為圖片及圖片中所含目標的位置，輸出為預測目標之間有可能的關(guān)聯(lián)。以這種方式驗證數(shù)據(jù)集在不受目標檢測性能限制的情況下預測視覺關(guān)系的難度。

短語檢測：輸入為圖片，輸出為“主語-謂語-賓語”的關(guān)系三元組及包含整個關(guān)系三元組的邊界框，且預期得到的邊界框與事實框的重合度高于0.5。

關(guān)系檢測：輸入為圖片，輸出為“主語-謂語-賓語”的三元組，并且主語和賓語的邊界框與真實的標注框重合度高于0.5。

評價指標包括召回率（Recall@K）和平均精度（mAP）。通常人們選擇采用Recall@50（R@50）及Recall@100（R@100）作為指標并對實驗結(jié)果進行考量，R@K表示K個最自信的預測結(jié)果中正確結(jié)果所占的比例。同時，由于數(shù)據(jù)集標注的不完全的特性，一張圖像中，并不是所有存在的關(guān)系都會被標注出來，mAP會懲罰那些被模型正確預測但數(shù)據(jù)并未標注出的關(guān)系。因此，在大多研究者的實驗中mAP不作為評價指標使用。在2019年的OpenImage挑戰(zhàn)賽中，就采用了對不同評價指標——如關(guān)系檢測mAP、關(guān)系檢測Recall@K和短語檢測mAP——加權(quán)平均以進行視覺關(guān)系檢測[6]。

這些數(shù)據(jù)集和評估指標是衡量和比較不同視覺關(guān)系檢測方法性能的基礎。更多更具挑戰(zhàn)性和實用性的數(shù)據(jù)集不斷出現(xiàn)，揭示了現(xiàn)實世界中的實際需求，并可在更真實的環(huán)境中激發(fā)對視覺關(guān)系檢測的研究。

3? 基于深度學習的方法

盡管在計算機視覺領(lǐng)域不斷涌現(xiàn)出新的數(shù)據(jù)集和研究成果，視覺關(guān)系檢測仍然是視覺領(lǐng)域中非常復雜的問題，為了應對本文第二部分提到的挑戰(zhàn)，研究者設計了不同模型以進一步提升視覺關(guān)系檢測的召回率Recall和平均準確率mAP。近年來所有工作都采用了基于深度神經(jīng)網(wǎng)絡的框架，圖2展示了一個從多項研究工作中抽象出的視覺關(guān)系檢測模型。

為實現(xiàn)視覺關(guān)系檢測，首先要定位并識別出圖像中的各類目標，通過目標檢測模塊（主要是卷積神經(jīng)網(wǎng)絡）提取包括整體圖像特征、目標區(qū)域圖像特征、目標位置信息特征、目標類別語義特征等作為關(guān)系檢測模塊的基礎特征信息。關(guān)系檢測模塊使用這些特征作為輸入，經(jīng)過視覺和語義特征融合，輸出預測的三元組標簽以及位置。在輸出模塊通過有針對性的定義模型的損失函數(shù)，達到更優(yōu)的訓練效果。表2和表3給出了近幾年使用深度神經(jīng)網(wǎng)絡框架完成視覺關(guān)系檢測的方法在VRD和VG數(shù)據(jù)集上的性能表現(xiàn)（由于OIDv5數(shù)據(jù)集較新，暫無對比結(jié)果）。這些公開的視覺關(guān)系檢測方法大都在關(guān)系檢測模塊上探索了不同的網(wǎng)絡結(jié)構(gòu)，小部分嘗試對目標檢測模塊和輸出模塊的目標函數(shù)進行了設計。

3.1 目標檢測模塊

準確檢測出圖像中的目標，是正確識別 “主語-謂語-賓語”三元組關(guān)系的前提。大多數(shù)研究都采用FasterRCNN[19]作為檢測模型。FasterRCNN引入了區(qū)域候選網(wǎng)絡，檢測速度更快，精度更高。 在參考文獻12和17中分別嘗試了采用VRD和FasterRCNN，實驗結(jié)果表明，采用FasterRCNN的模型無論是在關(guān)系檢測還是短語檢測的召回率上均有大幅的提升?？梢姡嵘繕藱z測模塊的模型性能，是整體提升視覺關(guān)系檢測效果最簡單最直接的方法。

3.2 關(guān)系檢測模塊

關(guān)系檢測模塊是目標檢測模塊的下游，負責處理視覺和語義特征，也是整體模型的核心。

VRD[2]利用了R-CNN[20]目標檢測模型的輸出得到所有的目標候選框，然后經(jīng)過視覺模型和語言模型分別得到每一對目標對的關(guān)系似然度。關(guān)系似然度相乘即得到每一個可能的三元組的關(guān)系似然得分，按照關(guān)系似然度的大小排序即可得到最可能的關(guān)系預測。視覺模型即利用一個卷積神經(jīng)網(wǎng)絡模型提取目標對的視覺特征，語言模型將目標對的兩個目標類別名通過詞嵌入的方法投影成為嵌入空間的一個k維向量。VRD驗證了語言先驗知識的有效，但由于VRD的視覺特征是單獨訓練的，與最終的關(guān)系檢測任務無直接關(guān)系，且該模型對視覺及語言特征的融合方法較為簡單，模型性能仍有提升空間。

與VRD不同，VTransE[12]是一種端到端的模型，其將目標的視覺特征映射到低維的關(guān)系空間中，然后使用轉(zhuǎn)移向量來表示目標之間的關(guān)系。參考文獻[10]提出了一種深度變化結(jié)構(gòu)強化學習的方法，利用全局上下文線索，順序發(fā)現(xiàn)圖片中的目標關(guān)系。通過強化學習，提升了語義空間的搜索效率。CAI則使用主語和賓語的語言表示作為上下文信息引入模型[14]。

DR-Net[8]方法將更多的特征納入模型：目標對區(qū)域的視覺特征、目標的空間結(jié)構(gòu)特征（以一種雙空間模板的方式將每個目標對的空間結(jié)構(gòu)特征表示為一個64維的向量，而不是簡單的幾何度量（如候選框的大小、位置等））、統(tǒng)計關(guān)系特征（主語、賓語和謂詞出現(xiàn)情況的統(tǒng)計概率）。

在視覺模塊上提取目標之間的視覺聯(lián)系的特征，能夠讓模型更好的理解目標間的關(guān)聯(lián)，因此也是模型優(yōu)化的方向，ViP-CNN模型考慮了主語、謂語、賓語在視覺特征上的聯(lián)系，提出了一個名為PMPS的信息傳遞機制，通過不同模型在同一層間的信息傳遞，建模目標之間、目標與謂語關(guān)系之間的關(guān)聯(lián)[9]。

Zoom-Net[16]中提出了SCM-A模塊，將多個SCM-A模塊堆疊組成視覺模塊主體，對局部的目標特征和全局的謂語關(guān)系特征進行深層次的信息傳遞，實現(xiàn)對主語、謂語、關(guān)系視覺特征的深度融合。實驗證明，該SCM-A模塊能夠移植到已有的方法并提升原方法的性能。此外，在語義模塊中，構(gòu)建目標和謂詞類別的語義層次樹，度量目標類別內(nèi)部和謂詞類別內(nèi)部的關(guān)聯(lián)性。

在視覺關(guān)系的語義空間非常大而訓練數(shù)據(jù)量有限的情況下，提升語言先驗能力是提高視覺關(guān)系檢測模型整體效果的重要方法，特別是對只有極少訓練數(shù)據(jù)的處于長尾分布末端的三元組關(guān)系，提升模型在語義空間的表現(xiàn)能力對模型泛化有幫助。在參考文獻[15]中，作者除了從VRD或VG的訓練數(shù)據(jù)的標注中建模語言模型外，還利用公開語料數(shù)據(jù)如維基百科語料數(shù)據(jù)，計算在給定“主語”和“賓語”的情形下，不同謂詞出現(xiàn)的概率。在訓練視覺模塊時，上述語言模型以一種知識蒸餾的方法輔助訓練，得到了更好的泛化性能。實驗證明，可通過引入大量語料數(shù)據(jù)提升語言模型，并使用語言模型輔助視覺模塊訓練，如VRD零樣本測試數(shù)據(jù)集上的召回率從8.45%提升到19.17%。類似的將語義特征以知識蒸餾的方式加入整體模型的思路也出現(xiàn)在參考文獻[21]中。

通過引入語言先驗，能提高關(guān)系檢測準確率，并提升模型泛化能力、零樣本學習能力，豐富可預測關(guān)系組的多樣性。值得注意的是，雖然語言先驗對于視覺關(guān)系的判定幫助很大，但同時可能會使得關(guān)系預測更傾向于頻繁出現(xiàn)或語義上更可能的關(guān)系，而忽略了視覺方面的信息。因此在這些研究中，設計關(guān)系檢測模塊的結(jié)構(gòu)時，兼顧了語義模塊和視覺模塊特征的平衡，通過特征傳遞、知識蒸餾等方式完成了語義和視覺特征等的融合?？梢灶A見的是，在融合方法上會涌現(xiàn)更多的研究成果。

CDDN框架用語義圖構(gòu)建語義模塊，用空間場景圖構(gòu)建視覺模塊，并設計了一個圖擴散網(wǎng)絡作為語義和視覺融合的方法[18]。類似的，另一篇研究設計了一種損失函數(shù)，將視覺模塊和語義模塊二者提取的特征映射到共同的特征空間中[17]。

弱監(jiān)督視覺關(guān)系檢測也通過上述三大模塊進行網(wǎng)絡結(jié)構(gòu)設計，但由于當前視覺關(guān)系檢測方法強依賴于數(shù)據(jù)集和監(jiān)督學習，在參考文獻[11]和[13]中雖然提出了一些方法，但在效果上仍遠差于監(jiān)督學習的方法。

3.3 輸出模塊

無論是VRD還是VG數(shù)據(jù)集，謂詞的種類都是有限的，并非對應現(xiàn)實生活中完全開放的詞匯表。因此，一種比較簡單但擴展性差的做法是設計一個神經(jīng)網(wǎng)絡分類模型，將目標檢測模塊得到的一對目標的特征（包括圖像特征、檢測框位置特征、類別名特征等）作為輸入，輸出為該對目標對應的謂詞。由于謂詞數(shù)量有限，關(guān)系檢測模塊只需作為一個輸出謂詞的分類器。分類器模型的關(guān)系檢測模塊，通常使用交叉熵損失函數(shù)來優(yōu)化模型。

與關(guān)系檢測模塊中網(wǎng)絡結(jié)構(gòu)相對應，經(jīng)過設計的損失函數(shù)能夠得到更好的模型訓練效果。針對一張圖片上除了被標注的關(guān)系之外還有其他潛在三元組關(guān)系，以及一對目標對可能同時對應多種謂詞關(guān)系的問題，參考文獻[10]提出了一種結(jié)構(gòu)排序損失方法，迫使被標注的關(guān)系比其余潛在的關(guān)系得分更高，其相比于使用交叉熵損失函數(shù)更加靈活和魯棒。

參考文獻[17]中修改了傳統(tǒng)的三元組損失函數(shù)以更好的學習視覺和語義的交叉特征。三元組損失函數(shù)用于訓練差異較小的樣本，如在人臉識別中的應用[22]。傳統(tǒng)的三元組函數(shù)可使相同標簽的樣本在嵌入空間中距離盡可能近，不同標簽的樣本在嵌入空間中距離盡可能遠，修改后的損失函數(shù)具有更強標簽樣本嵌入能力。

4? 應用與展望

目前，視覺關(guān)系檢測技術(shù)已能運用于多種圖像理解任務，如目標檢測、圖像檢索[23]和描述、以及VQA（視覺問答）[24-25]等。未來，還將有更加廣闊的應用前景。

在目標檢測中，可以利用目標間的關(guān)系、所處場景來提高目標檢測的準確率。參考文獻[26]提出了一種新的結(jié)構(gòu)推理網(wǎng)絡，使用經(jīng)典檢測網(wǎng)絡提取圖片中目標的外觀特征的同時，還利用圖模型結(jié)構(gòu)將圖片中的目標作為圖模型中的一個節(jié)點，目標之間的關(guān)系作為圖模型的邊，有效利用了圖片中場景信息及目標間關(guān)系，在PASCAL VOC和MS COCO數(shù)據(jù)集中的目標檢測任務準確率有所提升。參考文獻[27]則提出了將關(guān)系建模為注意力轉(zhuǎn)移，更好的利用目標間的關(guān)系來定位目標，不僅在 CLEVR、VRD 和 Visual Genome三個數(shù)據(jù)集上均優(yōu)于現(xiàn)有方法，并且具有可解釋性。

根據(jù)相關(guān)的圖像輸入或自然語言描述輸入，圖像檢索會在圖像庫中檢索出符合條件的圖像，圖像描述則會對輸入圖像進行自然語言的描述。這兩項應用都要求能夠提取出圖像目標并描述目標間的相互關(guān)系。

在VQA應用中，所有的問答題目首先都依賴于目標之間關(guān)系的存在，如果目標之間沒有關(guān)聯(lián)，那問題也不會出現(xiàn)，例如：“樹下的人穿著什么顏色的衣服？”這個問題中出現(xiàn)的目標有四個：樹，人，衣服和顏色。只有清楚的了解圖像中目標間的相互關(guān)系，讀懂題目并找到所提問的對象，才可能根據(jù)圖像正確地回答問題。

未來，還可在以下方向進一步拓寬視覺關(guān)系檢測的應用研究：擴大識別關(guān)系集合，提高關(guān)系檢測準確度、召回率和零樣本學習能力;多目標關(guān)系建模（比如男孩-爬-樹-摘-蘋果）;多場景應用（如圖像及視頻內(nèi)容檢測、搜索、視覺問答）。

參考文獻

[1] Liang， Kongming， et al. "Visual relationship detection with deep structural ranking." Thirty-Second AAAI Conference on Artificial Intelligence. 2018.

[2] Lu， Cewu， et al. "Visual relationship detection with language priors." European Conference on Computer Vision. Springer， Cham， 2016.

[3] Krishna， Ranjay， et al. "Visual genome： Connecting language and vision using crowdsourced dense image annotations." International Journal of Computer Vision，2017（1）： 32-73.

[4] VisualGenome， visualgenome.org/data_analysis/statistics.

[5] Open Images Dataset Stats V5. Accessed July 29， 2019. https：//storage.googleapis.com/openimages/web/factsfigures.html.

[6] Open Images Evaluation Protocols， storage.googleapis.com/openimages/web/evaluation.html#visual_relationships_eval.

[7] Plummer， Bryan A.， et al. "Phrase localization and visual relationship detection with comprehensive image-language cues[J]. Proceedings of the IEEE International Conference on Computer Vision，2017.

[8] Dai， Bo， Yuqi Zhang， and Dahua Lin. Detecting visual relationships with deep relational networks[J]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2017.

[9] Li， Yikang， et al. Vip-cnn： Visual phrase guided convolutional neural network[J]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017.

[10]Liang， Xiaodan， Lisa Lee， and Eric P. Xing. Deep variation-structured reinforcement learning for visual relationship and attribute detection[J]. Proceedings of the IEEE conference on computer vision and pattern recognition，2017.

[11]Zhang， Hanwang， et al. PPR-FCN： weakly supervised visual relation detection via parallel pairwise R-FCN[J]. Proceedings of the IEEE International Conference on Computer Vision，2017.

[12]Zhang， Hanwang， et al. Visual translation embedding network for visual relation detection[J]. Proceedings of the IEEE conference on computer vision and pattern recognition，2017.

[13]Peyre， Julia， et al. Weakly-supervised learning of visual relations[J]. Proceedings of the IEEE International Conference on Computer Vision. 2017.

[14]Zhuang， Bohan， et al. Towards context-aware interaction recognition for visual relationship detection[J]. Proceedings of the IEEE International Conference on Computer Vision，2017.

[15]Yu， Ruichi， et al. Visual relationship detection with internal and external linguistic knowledge distillation[J]. Proceedings of the IEEE International Conference on Computer Vision，2017.

[16]Yin， Guojun， et al. Zoom-net： Mining deep feature interactions for visual relationship recognition[J]. Proceedings of the European Conference on Computer Vision （ECCV），2018.

[17]Zhang， Ji， et al. Large-scale visual relationship understanding[J].Proceedings of the AAAI Conference on Artificial Intelligence，2019（33）：13.

[18]Cui， Zhen， et al. Context-dependent diffusion network for visual relationship detection[J]. 2018 ACM Multimedia Conference on Multimedia Conference. ACM， 2018.

[19]S. Ren， K. He， R. Girshick， and J. Sun. Faster r-cnn： Towards real-time object detection with region proposal networks[J].In NIPS，2015：91-99.

[20]Girshick， Ross， et al. Rich feature hierarchies for accurate object detection and semantic segmentation[J]. Proceedings of the IEEE conference on computer vision and pattern recognition，2014.

[21]Plesse， Fran?ois， et al. Visual relationship detection based on guided proposals and semantic knowledge distillation[J]. 2018 IEEE International Conference on Multimedia and Expo （ICME）[J].IEEE， 2018.

[22]Schroff， Florian， Dmitry Kalenichenko， and James Philbin. "Facenet： A unified embedding for face recognition and clustering.[J].Proceedings of the IEEE conference on computer vision and pattern recognition， 2015.

[23]N. Prabhu and R. Venkatesh Babu. Attribute-graph： A graph based approach to image ranking[J]. In ICCV， 2015：1071-1079.

[24]Kulkarni， Girish， et al. Babytalk： Understanding and generating simple image descriptions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（12）：2891-2903.

[25]Xu， Kelvin， et al. Show， attend and tell： Neural image caption generation with visual attention[J]. International conference on machine learning，2015.

[26]Liu， Yong， et al. Structure inference net： Object detection using scene-level context and instance-level relationships[J].Proceedings of the IEEE conference on computer vision and pattern recognition，2018.

[27]Krishna， Ranjay， et al. Referring relationships[J]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2018.