吳堅(jiān)

關(guān)鍵詞：目標(biāo)檢測(cè)；開(kāi)放性；詞匯

中圖分類(lèi)號(hào)：TP37 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2024）03-0025-03

1 概述

目標(biāo)檢測(cè)是圖像處理的一個(gè)重要分支。開(kāi)放性詞匯檢測(cè)可以檢測(cè)任意類(lèi)別的目標(biāo)，并以文本的形式體現(xiàn)。本文介紹基本的開(kāi)放性詞匯目標(biāo)檢測(cè)。通過(guò)基本的規(guī)范設(shè)置，訓(xùn)練帶有固定分類(lèi)的目標(biāo)檢測(cè)數(shù)據(jù)集來(lái)進(jìn)行基準(zhǔn)檢測(cè)。進(jìn)行基準(zhǔn)檢測(cè)的主要方法是從圖像學(xué)習(xí)開(kāi)放的詞匯知識(shí)，并通過(guò)知識(shí)精餾或遷移學(xué)習(xí)將知識(shí)傳遞給檢測(cè)器[1-7]。

2 具有變換的點(diǎn)到點(diǎn)目標(biāo)檢測(cè)

Carion 首先提出了具有變換的點(diǎn)到點(diǎn)目標(biāo)檢測(cè)。DETR是由骨架組成的點(diǎn)到點(diǎn)的檢測(cè)模型，并緊接著編碼-解碼變換器 [1-2]。

DETR編碼操作是根據(jù)二維平面圖形的骨架特征應(yīng)用一系列的變換層。解碼是利用N個(gè)學(xué)習(xí)嵌入集合即目標(biāo)查詢(xún)作為輸入，它可以被視為插槽，是需要用檢測(cè)的目標(biāo)來(lái)填充的模型。所有這些目標(biāo)查詢(xún)和解碼器平行，使用交叉關(guān)注層來(lái)查看編碼的圖像并預(yù)測(cè)每個(gè)查詢(xún)的輸出嵌入。每個(gè)目標(biāo)查詢(xún)最終的表示獨(dú)立于使用方框坐標(biāo)的解碼和使用共享前饋層的類(lèi)標(biāo)簽[1-2]。

DETR使用匈牙利匹配損失進(jìn)行訓(xùn)練，該損失對(duì)N個(gè)建議目標(biāo)和真實(shí)目標(biāo)之間計(jì)算一式兩份的匹配。每個(gè)匹配目標(biāo)受到相應(yīng)的目標(biāo)例如真實(shí)圖像的監(jiān)督，同時(shí)不匹配的目標(biāo)也受到監(jiān)督并預(yù)測(cè)為沒(méi)有目標(biāo)的標(biāo)簽。分類(lèi)的標(biāo)題受到標(biāo)準(zhǔn)交叉熵的監(jiān)督，同時(shí)圖形邊框的標(biāo)題受到絕對(duì)誤差（L1損失）和概括的IoU的綜合監(jiān)督。[1-2]其中，Intersection over Union（IoU） 是聯(lián)合基礎(chǔ)上的交集，它是用于比較兩個(gè)隨意形狀的相似度，定義如下：對(duì)于兩個(gè)任意的凸形狀A(yù) 和B，其中A，B ? S ∈ Rⁿ。找到最小的且封閉的凸目標(biāo)C，其中C ? S ∈ Rⁿ。定義IoU和GIoU如下：[3]

算法將GIoU 作為方框回歸邊界的損失。二維目標(biāo)檢測(cè)的任務(wù)是根據(jù)校準(zhǔn)的圖形邊框來(lái)與軸比較，選用GIoU 是直接的解決方案。由于反向傳播中最小、最大函數(shù)是可用的，每個(gè)組成部分都是可以推導(dǎo)出。這樣IoU 和GIoU 可以直接作為損失，用于基于目標(biāo)檢測(cè)的深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化[3]。

3 運(yùn)用于點(diǎn)到點(diǎn)的多模態(tài)理解的調(diào)制檢測(cè)

3.1 調(diào)制檢測(cè)的結(jié)構(gòu)

Kamath 首先提出了MDETR，是基于DETR 的點(diǎn)到點(diǎn)的調(diào)制檢測(cè)框架。通過(guò)與自然語(yǔ)言理解的結(jié)合完成目標(biāo)檢測(cè)。目標(biāo)檢測(cè)是形成多模態(tài)理解系統(tǒng)的有機(jī)組成部分，使用黑盒來(lái)檢測(cè)圖像中的固有概念詞匯，緊接著對(duì)詞匯進(jìn)行多模態(tài)的校準(zhǔn)[2]。

MDETR和DETR類(lèi)似，圖像運(yùn)用卷積骨架進(jìn)行編碼并平滑。為保留空間信息，將二維位置嵌入并添加到這類(lèi)平滑向量中。該算法對(duì)文本使用預(yù)訓(xùn)練的變換語(yǔ)言模型進(jìn)行編碼，以產(chǎn)生和輸入同等尺寸的一系列隱藏向量。然后使用模態(tài)依賴(lài)的線(xiàn)性投影，將圖像和文本投影到共享的嵌入空間。這些特征向量在序列維度上連接，產(chǎn)生單一的圖像和文本特征序列。該序列聯(lián)合變換編碼作為交叉編碼項(xiàng)。和DETR相似，在目標(biāo)查詢(xún)中使用了變換解碼，同時(shí)交叉地參加交叉編碼的最終隱藏狀態(tài)，解碼輸出被用于預(yù)測(cè)實(shí)際的方框[2]。

3.2 調(diào)制檢測(cè)的訓(xùn)練

算法添加兩個(gè)用于MDETR的兩個(gè)損失函數(shù)：軟標(biāo)記預(yù)測(cè)損失（Soft Token Prediction Loss） 和文本查詢(xún)對(duì)比校準(zhǔn)（Text-Query Contrastive Alignment） ，這兩個(gè)損失函數(shù)可以促進(jìn)圖像與文本之間的校準(zhǔn)[2]。

軟標(biāo)記預(yù)測(cè)損失：算法的目標(biāo)是預(yù)測(cè)參考每個(gè)匹配目標(biāo)的初始文本的標(biāo)記范圍。首先，設(shè)置標(biāo)記的最大數(shù)量。對(duì)于每個(gè)與真實(shí)方框相匹配的預(yù)測(cè)方框使用一式兩份的匹配，模型被訓(xùn)練來(lái)預(yù)測(cè)一個(gè)相應(yīng)于目標(biāo)標(biāo)記位置的均勻分布。任何與目標(biāo)不匹配的查詢(xún)被預(yù)測(cè)為沒(méi)有目標(biāo)的標(biāo)簽。注意到在文本中的若干單詞可能相應(yīng)于圖像中相同的目標(biāo)，相反，若干目標(biāo)也可能相應(yīng)于同樣的文本。通過(guò)以這種方式設(shè)計(jì)損失函數(shù)，訓(xùn)練模型能夠從同樣的參考表示中學(xué)習(xí)到同一所指的目標(biāo)[2]。

7 結(jié)束語(yǔ)

本文介紹了近年來(lái)迅速發(fā)展起來(lái)的基本的開(kāi)放性詞匯目標(biāo)檢測(cè)的幾種算法，通過(guò)這些算法，通過(guò)目前的詞匯目標(biāo)檢測(cè)的關(guān)鍵技術(shù)的解決，使越來(lái)越多的開(kāi)放性詞匯目標(biāo)檢測(cè)技術(shù)向著更高的方向邁進(jìn)。

【通聯(lián)編輯：唐一東】