雷潔，饒文碧，2，楊焱超，熊盛武，2

（1.武漢理工大學(xué) 計算機(jī)與人工智能學(xué)院，武漢 430070；2.武漢理工大學(xué) 三亞科教創(chuàng)新園，海南 三亞 572000）

0 概述

隨著深度卷積神經(jīng)網(wǎng)絡(luò)的迅猛發(fā)展，高性能并行計算的成熟以及大數(shù)據(jù)的積累，基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)［1-3］開始涌現(xiàn)并取得了突破性進(jìn)展。但目前主流的基于監(jiān)督學(xué)習(xí)的目標(biāo)檢測方法［1-2，4］的檢測性能依賴于標(biāo)注數(shù)據(jù)的規(guī)模，標(biāo)注數(shù)據(jù)的規(guī)模越大，標(biāo)注數(shù)據(jù)的類別越全面，經(jīng)過學(xué)習(xí)的目標(biāo)檢測模型的性能就越高。在多數(shù)應(yīng)用場景中，收集高精度的標(biāo)注數(shù)據(jù)是十分耗費(fèi)財力物力的工作，而獲取大量未標(biāo)注數(shù)據(jù)卻較為容易。如果僅利用少量的標(biāo)注數(shù)據(jù)對模型進(jìn)行訓(xùn)練，不僅會造成嚴(yán)重的過擬合問題，同時也浪費(fèi)了大量的未標(biāo)注數(shù)據(jù)。因此，通過少量的標(biāo)注數(shù)據(jù)指導(dǎo)，利用大量未標(biāo)注數(shù)據(jù)改善檢測性能的半監(jiān)督學(xué)習(xí)方法逐漸得到研究人員的關(guān)注。

大多數(shù)的半監(jiān)督學(xué)習(xí)方法應(yīng)用于圖像分類領(lǐng)域［5-7］和語義檢測領(lǐng)域［8-9］，少數(shù)應(yīng)用于目標(biāo)檢測領(lǐng)域［10-12］。根據(jù)模型結(jié)構(gòu)以及損失函數(shù)的不同，半監(jiān)督學(xué)習(xí)方法可以分為生成式方法、一致性正則化方法、基于圖的方法、偽標(biāo)簽方法［13-15］以及綜合方法［16-17］。綜合方法是5類半監(jiān)督學(xué)習(xí)方法中表現(xiàn)最為優(yōu)秀的方法，其結(jié)合了偽標(biāo)簽、熵最小化、一致性正則化等方法并調(diào)整這些方法達(dá)到最好的表現(xiàn)［18］。部分研究人員將半監(jiān)督學(xué)習(xí)方法與目標(biāo)檢測相結(jié)合來挖掘未標(biāo)注數(shù)據(jù)中的信息，提高了目標(biāo)檢測模型的性能。

SOHN 等［10］于2020 年提出了STAC 方法，該方法將利用標(biāo)注數(shù)據(jù)訓(xùn)練過的Teacher 模型用于預(yù)測未標(biāo)注數(shù)據(jù)的檢測結(jié)果，并將得到預(yù)測結(jié)果的未標(biāo)注數(shù)據(jù)作為偽標(biāo)簽數(shù)據(jù)和標(biāo)注數(shù)據(jù)用于Student 模型訓(xùn)練。該方法基于半監(jiān)督學(xué)習(xí)的綜合方法FixMatch［16］，將偽標(biāo)簽和一致性正則化等半監(jiān)督學(xué)習(xí)方法應(yīng)用到目標(biāo)檢測領(lǐng)域。但STAC 方法存在著Teacher 模型無法在線更新的問題，導(dǎo)致最終的目標(biāo)檢測模型的性能受到局限。ZHOU 等［11］于2021 年提出了Instant-Teaching 方法，該方法在STAC 方法的基礎(chǔ)上實(shí)現(xiàn)了Teacher 模型在線更新，同時增加了數(shù)據(jù)增強(qiáng)處理操作和多Teacher 模型糾正機(jī)制提高偽標(biāo)簽的準(zhǔn)確率，緩解了偽標(biāo)簽中錯誤標(biāo)注給模型帶來的負(fù)面影響。XU 等［19］于2021 年提出的SoftTeacher方法在Instant-Teaching 方法的基礎(chǔ)上不僅簡化了訓(xùn)練過程，同時對定位數(shù)據(jù)的不確定性進(jìn)行評估，篩除不確定性值高的定位數(shù)據(jù)，進(jìn)一步削弱了錯誤定位信息對模型的偏移。研究人員提出多種方法提高偽標(biāo)簽的準(zhǔn)確率，減少錯誤標(biāo)注數(shù)據(jù)用于訓(xùn)練，但目前基于偽標(biāo)簽的目標(biāo)檢測方法的檢測性能仍然不太理想。

文獻(xiàn)［19］認(rèn)為置信度無法評估偽標(biāo)簽中定位數(shù)據(jù)是否準(zhǔn)確，因此提出定位不確定性計算方法計算偽標(biāo)簽中定位數(shù)據(jù)的不確定性，作為篩選定位標(biāo)簽的主要依據(jù)。但置信度作為篩選類別標(biāo)簽的依據(jù)同樣并不充分，因此考慮計算分類信息的不確定性作為篩選類別標(biāo)簽的第二依據(jù)。

深度學(xué)習(xí)中的不確定性可以分為模型不確定性和數(shù)據(jù)不確定性。模型不確定性是指模型對于自己沒有學(xué)習(xí)過的數(shù)據(jù)的預(yù)測是含有很大不確定性的，可以通過增加訓(xùn)練數(shù)據(jù)來緩解，目前評估模型不確定性的方法主要有基于貝葉斯的方法［20-21］和基于蒙特卡洛的方法［22-23］，基于蒙特卡洛的方法由于計算量較小且不用大范圍改動模型結(jié)構(gòu)，因此比較受歡迎。數(shù)據(jù)不確定性是指數(shù)據(jù)中本來就存在的一種偏差或噪聲，一般困難正樣本比簡單正樣本的不確定性高，目前評估數(shù)據(jù)不確定性的方法較少，主要有基于Laplace 的方法［24］。ABDAR 等［25］通過統(tǒng)計9 篇論文，提出了MC-Dropout 方法，對于他們的工作極為有效。RIZVE 等［5］于2021 年提出了UPS 方法，該方法結(jié)合偽標(biāo)簽學(xué)習(xí)以及圖像分類不確定性估計，提出一個偽標(biāo)簽選擇框架，在CIFAR-10 和CIFAR-100數(shù)據(jù)集上表現(xiàn)優(yōu)秀。

針對偽標(biāo)簽數(shù)據(jù)中錯誤標(biāo)簽難以篩除以及置信度低的正確標(biāo)簽較難選擇的問題，本文提出一種分類不確定性計算（Classification Uncertainty Calculation，CUC）算法來計算偽標(biāo)簽中類別預(yù)測結(jié)果的不確定性，同時對偽標(biāo)簽圖像的分類損失函數(shù)進(jìn)行修改，以更好地反饋目標(biāo)檢測模型的擬合情況，在此基礎(chǔ)上對SoftTeacher 方法中的Teacher模型在線更新公式指數(shù)滑動平均（Exponential Moving Average，EMA）進(jìn)行修改，通過模型更新策略——不同權(quán)重的指數(shù)移動均值（Exponential Moving Average Different，EMAD）增強(qiáng)Teacher 模型和Student 模型的獨(dú)立性，以進(jìn)行Teacher-Student 雙模型的協(xié)同訓(xùn)練。

1 SoftTeacher 算法及優(yōu)化思路

SoftTeacher算法在偽標(biāo)簽?zāi)繕?biāo)檢測領(lǐng)域表現(xiàn)較優(yōu)，不僅簡化了訓(xùn)練步驟，同時提出定位不確定性計算方法，提高了偽標(biāo)簽?zāi)繕?biāo)檢測的檢測性能。同時，將CUC方法、修改后的損失函數(shù)以及模型更新策略EMAD 應(yīng)用于SoftTeacher 算法驗(yàn)證提出方法的有效性。

1.1 SoftTeacher 算法

SoftTeacher-CUC（SoftTeacher with Classification Uncertainty Calculation）算法模型結(jié)構(gòu)如圖1 所示。

圖1 SoftTeacher-CUC 算法模型結(jié)構(gòu)Fig.1 Structure of SoftTeacher-CUC algorithm model

該模型主要由偽標(biāo)簽生成分支和Student 模型訓(xùn)練分支兩個分支構(gòu)成。在偽標(biāo)簽生成分支上，未標(biāo)注數(shù)據(jù)經(jīng)過Weak Aug 數(shù)據(jù)增強(qiáng)處理后輸入Teacher 模型得到預(yù)測結(jié)果，預(yù)測結(jié)果經(jīng)過NMS（Non Maximum Suppression）初步選擇后，其中的定位數(shù)據(jù)通過Box Jittering 方法選擇得到可靠的定位數(shù)據(jù)，而分類數(shù)據(jù)通過置信度閾值選擇得到可靠的預(yù)測類別。在Student 模型訓(xùn)練分支上，相同的未標(biāo)注數(shù)據(jù)經(jīng)過Strong Aug 處理和標(biāo)注數(shù)據(jù)共同輸入Student 模型得到預(yù)測結(jié)果，未標(biāo)注數(shù)據(jù)的預(yù)測結(jié)果和Teacher 生成并被選擇的預(yù)測結(jié)果一起計算損失值，標(biāo)注數(shù)據(jù)按正常的目標(biāo)檢測訓(xùn)練過程計算損失值，最后用于Student 模型優(yōu)化更新。Student 模型優(yōu)化更新后通過EMA 方法更新Teacher 模型。

1.2 優(yōu)化思路

多數(shù)偽標(biāo)簽?zāi)繕?biāo)檢測方法為了避免大量標(biāo)注錯誤的偽標(biāo)簽數(shù)據(jù)用于Student 模型訓(xùn)練，選擇高置信度的偽標(biāo)簽數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)。首先，由于Teacher模型沒有經(jīng)過預(yù)訓(xùn)練，因此生成的高置信度的偽標(biāo)簽也包含很多錯誤標(biāo)注數(shù)據(jù)；其次，稍低置信度的偽標(biāo)簽數(shù)據(jù)中存在很多正確標(biāo)注數(shù)據(jù)，如果能利用這些數(shù)據(jù)訓(xùn)練模型，可以極大地提高模型的泛化能力，緩解過擬合情況。因此，引入除置信度以外的判斷依據(jù)來挖掘稍低置信度中的正確標(biāo)注數(shù)據(jù)用于模型訓(xùn)練。受到文獻(xiàn)［22］的啟發(fā)，本文提出了CUC 的分類不確定性計算方法，用于偽標(biāo)簽生成分支中選擇可靠的分類數(shù)據(jù)。

目標(biāo)檢測領(lǐng)域應(yīng)用最廣泛的分類損失函數(shù)是交叉熵?fù)p失函數(shù)，交叉熵?fù)p失函數(shù)主要是通過置信度來計算真實(shí)分布和預(yù)測分布的差異。由于增加了分類不確定性這一評估預(yù)測分布的新依據(jù)，因此考慮將分類不確定性作為權(quán)重加入到分類損失函數(shù)中，使損失函數(shù)更具代表性、更加貼合預(yù)測分布和真實(shí)分布的差異。

偽標(biāo)簽?zāi)繕?biāo)檢測方法的Teacher-Student 模型結(jié)構(gòu)采用了一致性正則化的思想。文獻(xiàn)［18］針對一致性正則化方法提供了兩種方法可以提高偽標(biāo)簽質(zhì)量。第一種方法是仔細(xì)選擇數(shù)據(jù)增強(qiáng)方法，避免引入更多噪音；第二種方法是仔細(xì)選擇Teacher 模型，而不是簡單地復(fù)制Student 模型。因此，Teacher 模型和Student 模型相似性高，不利于一致性正則化方法起效，本文受指數(shù)移動平均歸一化（Exponential Moving Average Normalization，EMAN）方法［26］的啟發(fā)，提出基于EMAD 的Teacher 模型更新方法。

2 SoftTeacher-CUC 算法

2.1 CUC 方法

在偽標(biāo)簽?zāi)繕?biāo)檢測領(lǐng)域中，根據(jù)全連接層和softmax 函數(shù)將特征圖轉(zhuǎn)化為每一類的類別概率（即置信度），通過選擇置信度最大的類別作為最終的預(yù)測類別，并選擇最終預(yù)測結(jié)果的置信度高于置信度閾值的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)。

研究人員利用softmax 的置信度表示預(yù)測結(jié)果的不確定性，如果某一類別的置信度遠(yuǎn)遠(yuǎn)高于其他類別置信度就認(rèn)為該預(yù)測結(jié)果的不確定性低。但文獻(xiàn)［22］的實(shí)驗(yàn)表明，一些置信度高的預(yù)測結(jié)果仍然具有高不確定性。因此，受到文獻(xiàn)［22］的工作的啟發(fā)，本文提出了CUC 的分類不確定性計算方法。

2.1.1 CUC 方法思路

模型預(yù)測不確定性可以通過模型參數(shù)的分布得到，而高斯分布作為統(tǒng)計領(lǐng)域強(qiáng)大的工具常用于模擬模型參數(shù)的分布，因此可以通過計算模型參數(shù)的高斯分布來得到不確定性，但計算高斯分布需要龐大的計算量。GAL 等提出加入dropout 層的神經(jīng)網(wǎng)絡(luò)可以近似高斯分布的變分推理，因此模型預(yù)測不確定性計算可以簡化為通過dropout 多次采樣和計算方差得到。

CUC 方法的思路是：首先在Teacher 模型分類模塊的全連接層前添加dropout 層，實(shí)現(xiàn)近似高斯分布的效果；其次通過將訓(xùn)練數(shù)據(jù)反復(fù)輸入分類模塊得到預(yù)測結(jié)果實(shí)現(xiàn)采樣操作；最后通過計算方差實(shí)現(xiàn)模型預(yù)測不確定性的量化。CUC 方法的具體流程如圖2 所示。

圖2 CUC 方法流程Fig.2 Procedure of CUC method

首先將單張圖片生成的檢測框輸入帶有dropout 層的分類回歸模塊若干次，得到若干次的預(yù)測結(jié)果；其次計算若干次預(yù)測結(jié)果的方差，將預(yù)測結(jié)果的方差作為該目標(biāo)分類結(jié)果的不確定性。通常認(rèn)為重復(fù)預(yù)測的次數(shù)越高，計算得到的方差越具有代表性，但頻繁的重復(fù)預(yù)測會延長模型的訓(xùn)練時間，因此本文參考UPS 方法，重復(fù)預(yù)測10 次。

通過上述方法計算得到的目標(biāo)的不確定性可以代表模型對該類目標(biāo)的學(xué)習(xí)程度。如果模型之前從未學(xué)習(xí)或?qū)W習(xí)了很少該類目標(biāo)，則不確定性就會很高；相反如果模型之前學(xué)習(xí)過該類目標(biāo)或者類似的目標(biāo)，則不確定性就會較低。因此，不確定性可以在一定程度上反映模型對于輸入數(shù)據(jù)的學(xué)習(xí)程度，從而判斷預(yù)測結(jié)果是否可靠，幫助篩選出更可靠的偽標(biāo)簽數(shù)據(jù)。

2.1.2 CUC 方法實(shí)現(xiàn)

在SoftTeacher 方法中，Teacher 模型由特征提取模塊ResNet-50、多尺度特征融合模塊FPN（Feature Pyramid Network）、候選框生成模 塊RPN（Region Proposal Network）和分類回歸模塊組成。由于分類操作主要是發(fā)生在分類回歸模塊，因此在分類回歸模塊中添加丟棄概率為0.3 的dropout 層，修改后的分類回歸模塊具體結(jié)構(gòu)如圖3 所示。

圖3 分類回歸模塊結(jié)構(gòu)Fig.3 Structure of classification regression module

CUC 方法的算法描述如下：

算法1分類不確定性計算

輸入RPN 模塊生成的檢測框數(shù)據(jù)

輸出每個檢測框的不確定性

1.將Teacher 模型的dropout 層設(shè)置為train 狀態(tài)。

2.將單張圖片的檢測框數(shù)據(jù)輸入分類回歸模塊10 次，得到10 次的分類預(yù)測結(jié)果。

3.將得到的10 次分類預(yù)測結(jié)果拼接成尺寸為10×N×C的張量，其中，N 表示檢測框的數(shù)量，C 表示類別數(shù)量。

4.計算方差得到尺寸為N×C 的方差張量。

5.選擇偽標(biāo)簽中檢測框的預(yù)測類別對應(yīng)的方差作為檢測框的不確定性，得到尺寸為N 的不確定性張量。

6.將Teacher 模型的dropout 層設(shè)置為val 狀態(tài)

2.2 分類損失函數(shù)

SoftTeacher 方法中損失函數(shù)由標(biāo)注圖像的損失函數(shù)和偽標(biāo)簽圖像的損失函數(shù)組成，具體的公式如下：

其中：Ls表示標(biāo)注圖像的損失函數(shù)；Lu表示偽標(biāo)簽圖像的損失函數(shù)；α表示偽標(biāo)簽損失函數(shù)的權(quán)重，一般根據(jù)標(biāo)注圖像和偽標(biāo)簽圖像的比例設(shè)置。

標(biāo)注圖像的損失函數(shù)和偽標(biāo)簽損失函數(shù)的具體公式如下：

其中：Nl和Nu分別表示標(biāo)注圖像數(shù)量和偽標(biāo)簽的圖像數(shù)量；Lcls和Lreg分別表示檢測結(jié)果的分類損失函數(shù)和定位損失函數(shù)；和分別表示第i張標(biāo)注的圖像和第i張偽標(biāo)簽圖像。SoftTeacher 方法中用到的分類損失函數(shù)和定位損失函數(shù)與Faster RCNN［1］模型相同，但對偽標(biāo)簽的分類損失函數(shù)進(jìn)行了一定的修改，對背景檢測框的損失附加權(quán)重，具體的公式如下：

其中：Gcls表示Teacher 模型生成并經(jīng)過篩選的偽標(biāo)簽分類結(jié)果；lcls表示損失函數(shù)即交叉熵公式；rj表示第j個背景檢測框的置信度，由Teacher 模型生成；和分別表示前景檢測框的數(shù)量和背景檢測框的數(shù)量。

通過偽標(biāo)簽分類損失函數(shù)式（4）和式（5）可以看出，SoftTeacher 僅采用了模型的全連接層生成的置信度計算分類損失，并反饋給模型進(jìn)行模型參數(shù)更新。由于在2.1 節(jié)中實(shí)現(xiàn)了分類不確定性的計算方法，可以得到新的衡量模型分類質(zhì)量的指標(biāo)，因此修改偽標(biāo)簽圖像分類損失函數(shù)，將分類結(jié)果的不確定性作為權(quán)重加入到損失函數(shù)中。修改后的偽標(biāo)簽分類損失函數(shù)的具體公式如下：

其中：uj表示第j個檢測框的不確定性值。

分類困難目標(biāo)和模型學(xué)習(xí)不充分目標(biāo)的不確定性高，不確定性數(shù)值作為權(quán)重后導(dǎo)致該類目標(biāo)的預(yù)測結(jié)果在整個損失值中的占比下降，該類目標(biāo)對模型更新造成的影響會減弱，緩解了錯誤標(biāo)注目標(biāo)對Student 模型訓(xùn)練造成的負(fù)面影響。修改后的偽標(biāo)簽分類損失函數(shù)包含了預(yù)測結(jié)果的兩個評估指標(biāo)，可以反饋給模型更全面的信息，提高模型的優(yōu)化程度。

2.3 Teacher 模型更新方法

在SoftTeacher 方法中，更新Teacher 模型采用的是深度半監(jiān)督學(xué)習(xí)領(lǐng)域最常使用的EMA 方法。EMA 方法的具體公式如下：

其中：和分別表示Teacher 模型在t-1 時刻和t時刻的模型參 數(shù)；表示Student 模型在t時刻的模型參數(shù)；β表示Teacher 模型和Student 模型的占比權(quán)重，絕大多數(shù)偽標(biāo)簽?zāi)繕?biāo)檢測方法將該超參數(shù)固定為0.9，而在SoftTeacher 方法中，β會隨著訓(xùn)練的迭代次數(shù)減少。

通過上述公式可以觀察到：傳統(tǒng)的Teacher 模型更新方法表明Student 模型在式（7）中占比很低，表明Teacher 模型參數(shù)更新后的改變很小，導(dǎo)致整個訓(xùn)練過程由于Teacher 模型更新提升緩慢而漫長。SoftTeacher 在訓(xùn)練前期，Student 模型在更新中占比非常高，但考慮到Teacher 模型和Student 模型太過一致的問題，到訓(xùn)練后期Student 模型在更新中占比下降。雖然這一方法在訓(xùn)練中有利于檢測性能的提高，但訓(xùn)練后期不再進(jìn)行大幅更新，也限制了Teacher 模型的性能提高，從而限制Student 模型的性能提高。受到文獻(xiàn)［26］的啟發(fā)，本文提出基于EMAD 的Teacher 模型更新策略。

2.3.1 EMAD 方法思路

EMAD 方法主要是將Teacher 模型的參數(shù)根據(jù)模塊作用分為特征提取模塊參數(shù)、FPN 模塊參數(shù)、RPN 模塊參數(shù)、分類回歸模塊參數(shù)以及BN（Batch Normalization）層的不可學(xué)習(xí)參數(shù)5 個部分。不同部分的參數(shù)采用不同的更新方法。

由于模型的特征提取模塊、多尺度特征融合模塊和候選框生成模塊主要是對圖像特征進(jìn)行處理，因此采用SoftTeacher 中的原EMA 方法對Teacher 模型中的上述3 個模塊進(jìn)行更新。但分類回歸模塊的作用是對目標(biāo)的分類和定位，一旦參數(shù)和Student 模型相似會導(dǎo)致偽標(biāo)簽數(shù)據(jù)和Student 模型預(yù)測結(jié)果接近，因此減少EMA 方法中Student 模型占比，降低兩個模型參數(shù)的相似，將β設(shè)置為固定的0.5。

BN 層的主要作用是對每層神經(jīng)網(wǎng)絡(luò)的輸入輸出值進(jìn)行標(biāo)準(zhǔn)化處理，使輸入輸出值位于正態(tài)分布范圍，以此避免梯度消失的問題。BN 層對輸入值處理的具體公式如下：

其中：n表示批處理大?。沪毯挺?表示該批數(shù)據(jù)的均值和方差，是BN 層的不可學(xué)習(xí)參數(shù)；γ和β表示可學(xué)習(xí)的模型參數(shù)；ε表示常量。EMA 方法對Teacher 模型的BN 層的參數(shù)進(jìn)行更新，BN 層中γ和β參數(shù)來源于Student 模型，而μ和σ2參數(shù)來源于最近一批數(shù)據(jù)，兩種類型的參數(shù)不一致，容易對Teacher 模型造成負(fù)面影響。因此，利用EMA 方法對不可學(xué)習(xí)參數(shù)μ和σ2進(jìn)行更新，保持兩種參數(shù)的一致性，具體的更新公式如下：

2.3.2 EMAD 方法實(shí)現(xiàn)

Teacher 模型更新算法如下：

算法2Teacher 模型更新算法

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集和評價指標(biāo)

本文將改進(jìn)后的SoftTeacher 算法在MS COCO公共數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。MS COCO 包含80 種類別的目標(biāo)，主要由訓(xùn)練集train2017、驗(yàn)證集val2017和無標(biāo)簽數(shù)據(jù)集unlabeled2017 三個數(shù)據(jù)集組成。訓(xùn)練集train2017 有118 000 張標(biāo)注圖像，驗(yàn)證集val2017 有5 000 張標(biāo)注圖像，無標(biāo)簽數(shù)據(jù)集unlabeled2017 有123 000 張未標(biāo)注的圖像。

SoftTeacher-CUC 算法的訓(xùn)練數(shù)據(jù)和SoftTeacher保持一致。首先在train2017 中分別隨機(jī)抽取占train2017 總數(shù)量1%、5%和10%的圖像分別構(gòu)成多個標(biāo)注數(shù)據(jù)集，剩下的圖像作為未標(biāo)注數(shù)據(jù)集。模型在新構(gòu)成的標(biāo)注數(shù)據(jù)集和未標(biāo)注數(shù)據(jù)集上進(jìn)行訓(xùn)練，在驗(yàn)證集val2017 上進(jìn)行性能評估。

實(shí)驗(yàn)所用到的評估指標(biāo)是目標(biāo)檢測領(lǐng)用通用的平均精度均值（mean Average Precision，mAP）評估指標(biāo)，mAP 越接近于1，則檢測精度越高。單個類別AP 指的是PR（Precision-Recall）曲線與X軸圍成的圖形面積。

3.2 模型參數(shù)設(shè)置

SoftTeacher-CUC 算法的模型結(jié)構(gòu)中Teacher 模型和Student 模型采用與SoftTeacher 實(shí)驗(yàn)一致的Faster RCNN 模型，并結(jié)合了FPN 模塊。特征提取模塊采用在ImageNet 預(yù)訓(xùn)練的ResNet-50 模型參數(shù)初始化，其他模塊的參數(shù)采用隨機(jī)初始化的方法。

SoftTeacher-CUC 算法模型在單個GPU 上訓(xùn)練，批處理大小是5（真實(shí)標(biāo)注圖像是1 張，未標(biāo)注圖像是4 張），使用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）調(diào)整學(xué)習(xí)率，初始學(xué)習(xí)率是0.001，權(quán)重衰減為0.000 1，訓(xùn)練180K～720K 個epoch。

定位不確定性計算方法的超參數(shù)保持不變，重復(fù)定位10 次，選擇不確定性低于0.02 的檢測框?yàn)閭螛?biāo)簽中的定位數(shù)據(jù)，檢測框的偏移處理是在4 個定位信息中隨機(jī)選取一個進(jìn)行偏移量在[-6%,6%]中的偏移操作。CUC 分類不確定性計算方法中dropout 層的丟棄率為0.3，重復(fù)分類10 次，選擇偽標(biāo)簽中分類數(shù)據(jù)的不確定性低于0.05 但置信度高于0.7 的偽標(biāo)簽用于Student 模型訓(xùn)練。

3.3 實(shí)驗(yàn)結(jié)果與分析

3.3.1 不同置信度閾值對比實(shí)驗(yàn)

本文通過CUC 方法計算偽標(biāo)簽數(shù)據(jù)中分類數(shù)據(jù)的不確定性作為選擇可靠偽標(biāo)簽數(shù)據(jù)的第二依據(jù)，但需要通過實(shí)驗(yàn)選擇合適的不確定性閾值和置信度閾值用于偽標(biāo)簽篩選。

參考UPS 方法和SoftTeacher 方法，不確定性閾值和置信度閾值分別初始化為0.05 和0.9。由于減小不確定性閾值導(dǎo)致大量錯誤標(biāo)注數(shù)據(jù)用于訓(xùn)練，造成模型在訓(xùn)練中平均精度均值較低，因此該對比實(shí)驗(yàn)主要是研究在不確定性閾值保持0.05 不變的情況下不同置信度閾值的模型訓(xùn)練情況。分別在標(biāo)注數(shù)據(jù)占訓(xùn)練數(shù)據(jù)的1%、5%和10%這3 種情況下進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖4 所示。

圖4 不同置信度閾值對比結(jié)果Fig.4 Contrast result of different confidence thresholds

從圖4 的實(shí)驗(yàn)結(jié)果可以看出，當(dāng)置信度閾值保持 和SoftTeacher 相同的0.9 時，Student 模型的檢測性能比SoftTeacher 方法中模型的檢測性能要稍低。但隨著置信度閾值下降，越來越多的低不確定性偽標(biāo)簽數(shù)據(jù)用于Student 模型訓(xùn)練，Student 模型的檢測性能也越來越高。當(dāng)置信度閾值降低到0.7 時，Student 模型的檢測性能逐漸保持穩(wěn)定。因此，最終選擇置信度閾值為0.7。

3.3.2 消融實(shí)驗(yàn)

為了驗(yàn)證SoftTeacher-CUC 算法的有效性，SoftTeacher算法（包 括SoftTeacher-CUC 算法和Baseline 算法）都在單GPU 環(huán)境下訓(xùn)練，訓(xùn)練迭代次數(shù)、批處理大小以及學(xué)習(xí)率都保持一致。但Baseline算法在單GPU 下訓(xùn)練的性能和本文有一定差距。為了比較的公平性，運(yùn)用單GPU 下訓(xùn)練的性能與SoftTeacher-CUC 算法進(jìn)行比較。實(shí)驗(yàn)結(jié)果如表1所示。

表1 消融實(shí)驗(yàn)數(shù)據(jù)對比Table 1 Comparison of ablation experiment data %

從表1 中Baseline 和Baselin+CUC 的對比實(shí)驗(yàn)可以看出，結(jié)合CUC 分類不確定性方法的模型性能比原模型性能分別提高了1.2、0.9和1.3個百分點(diǎn)，說明CUC方法在提高模型的檢測性能方面是有效的。隨著標(biāo)注數(shù)據(jù)從1%增加到10%，模型的檢測精度提高程度也從1.2 增加到1.3 個百分點(diǎn)，說明標(biāo)注數(shù)據(jù)越多，CUC 方法越有效。下一步研究將增加未標(biāo)注數(shù)據(jù)量比較的實(shí)驗(yàn)，觀察未標(biāo)注數(shù)據(jù)量的增加是否會對結(jié)合CUC 方法的偽標(biāo)簽?zāi)繕?biāo)檢測算法有影響。

從表1 中Baselin+CUC 和Baseline+CUC+EMAD的對比實(shí)驗(yàn)可以看出，結(jié)合EMAD 方法的模型比沒有結(jié)合EMAD 方法的模型的檢測性能分別提高了0.2、0.3 和0.4 個百分點(diǎn)，說明Teacher 模型更新方法EMAD 對模型檢測性能的提高起到積極作用。

3.3.3 可視化實(shí)驗(yàn)

為了更好地觀察SoftTeacher-CUC 算法在檢測性能上的提升，本文通過免費(fèi)圖像網(wǎng)站選擇一張圖像，測試經(jīng)過相同訓(xùn)練的SoftTeacher-CUC 算法和SoftTeacher 算法的檢測性能，圖像檢測結(jié)果如圖5所示。

圖5 SoftTeacher-CUC 和SoftTeacher 算法檢測效果對比Fig.5 Comparison of detection effects of SoftTeacher-CUC and SoftTeacher algorithms

從圖5（a）和圖5（b）可以看出，在標(biāo)注數(shù)據(jù)為5%時，SoftTeacher-CUC 算法的檢測效果要優(yōu)于SoftTeacher 算法的檢測效果；從圖5（c）和圖5（d）可以看出，在標(biāo)注數(shù)據(jù)為10%時，SoftTeacher-CUC 算法的檢測效果要略優(yōu)于SoftTeacher 算法的檢測效果。上述實(shí)驗(yàn)結(jié)果表明：本文提出的改進(jìn)算法在標(biāo)注數(shù)據(jù)較少時優(yōu)勢明顯，檢測性能的提升效果更好。

3.3.4 橫向?qū)嶒?yàn)

本文選擇了偽標(biāo)簽?zāi)繕?biāo)檢測領(lǐng)域中前沿的4 種算法與SoftTeacher-CUC 算法進(jìn)行橫向?qū)Ρ龋謩e是STAC算法［10］、Unbiased Teacher算法［12］、Instance-Teaching 算法［11］和SoftTeacher 算法［19］。由于一些偽標(biāo)簽?zāi)繕?biāo)檢測算法的訓(xùn)練環(huán)境要求較高，僅引用了其實(shí)驗(yàn)結(jié)果，一些滿足訓(xùn)練環(huán)境需求的偽標(biāo)簽?zāi)繕?biāo)檢測算法將在與SoftTeacher-CUC 算法相同的訓(xùn)練環(huán)境下訓(xùn)練。具體的對比數(shù)據(jù)如表2 所示。

表2 橫向?qū)嶒?yàn)數(shù)據(jù)對比Table 2 Comparison of transverse experimental data %

從表2 中可以看出，本文算法的檢測精度優(yōu)于其他4 種偽標(biāo)簽?zāi)繕?biāo)檢測算法。同時，也證明了本文提出的改進(jìn)算法對于偽標(biāo)簽?zāi)繕?biāo)檢測算法能夠起到優(yōu)化、提高性能的作用。計劃在下一步的研究中將本文提出的算法應(yīng)用于其他的偽標(biāo)簽?zāi)繕?biāo)檢測方法中，以證明本文算法的通用性。

4 結(jié)束語

針對偽標(biāo)簽?zāi)繕?biāo)檢測算法中低置信度的偽標(biāo)簽數(shù)據(jù)無法被利用，導(dǎo)致模型過擬合、檢測性能不理想的問題，本文提出一種基于分類不確定性的偽標(biāo)簽?zāi)繕?biāo)檢測算法來確定偽標(biāo)簽數(shù)據(jù)的分類不確定性，從而篩選出更高質(zhì)量的偽標(biāo)簽用于Student 模型訓(xùn)練，通過對偽標(biāo)簽數(shù)據(jù)的分類損失函數(shù)進(jìn)行修改，將不確定性加入損失函數(shù)中，并修改了Teacher 模型的更新策略，在此基礎(chǔ)上對Teacher 模型的不同模塊調(diào)整Student 模型參數(shù)在更新中的權(quán)重。實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法有效地改善了偽標(biāo)簽?zāi)繕?biāo)檢測中存在的問題，提高了模型的檢測性能。下一步將在本文研究的基礎(chǔ)上對Teacher 模型更新算法進(jìn)行修改，使Teacher 模型更新和Student 模型更新相互獨(dú)立，并不直接相關(guān)，使一致性正則化的算法具有更大的作用，從而提高模型的檢測性能。