毛 威，高宏力

（西南交通大學(xué)機(jī)械工程學(xué)院，四川 成都610031）

1 引言

語義分割是視覺研究的核心問題，相關(guān)實(shí)際應(yīng)用如自動駕駛［1］、故障診斷［2-3］、車輛檢測［4］對其需求不斷增長。語義分割的目標(biāo)是為圖像的每個像素分配語義標(biāo)簽?，F(xiàn)有基于深度神經(jīng)網(wǎng)絡(luò)的圖像語義分割方法的訓(xùn)練需要大量標(biāo)記數(shù)據(jù)，這些數(shù)據(jù)的收集和標(biāo)記成本高昂，這很大程度上限制了此類方法的實(shí)際應(yīng)用。為解決此問題，這里使用成本較低的計算機(jī)生成并標(biāo)記的逼真的合成數(shù)據(jù)訓(xùn)練深度網(wǎng)絡(luò)。但真實(shí)圖像與合成圖像在分布域上存在的差異會降低模型性能，因此這里使用一種對抗學(xué)習(xí)方法來實(shí)現(xiàn)域自適應(yīng)，以解決上述問題。

又由于語義分割輸出空間包含空間信息和局部信息（如空間布局和局部環(huán)境）。且即使在不同域的輸入圖像外觀迥異的情況下，語義分割輸出仍可能存在許多相似性。因此，這里采用在輸出空間上進(jìn)行像素級域自適應(yīng)的方法。在此基礎(chǔ)上，這里于不同級別的輸出空間構(gòu)建多級域自適應(yīng)網(wǎng)絡(luò)以提升模型性能。

具體來說，這里采用的域自適應(yīng)方法是基于卷積神經(jīng)網(wǎng)絡(luò)的端到端算法。在輸入空間上，通過對抗學(xué)習(xí)實(shí)現(xiàn)源域與目標(biāo)域所預(yù)測的標(biāo)簽分布的近似?；趯股删W(wǎng)絡(luò)［5］，這里使用的模型由兩部分組成，一部分是語義分割模型用以預(yù)測分割結(jié)果，另一部分是判別器網(wǎng)絡(luò)用以判斷其輸入是源自目標(biāo)域還是源域的語義分割輸出。對抗學(xué)習(xí)的目標(biāo)是利用損失函數(shù)，使語義分割模型能夠欺騙判別器，進(jìn)而使源圖像與目標(biāo)圖像在輸出空間生成相似分布。

2 算法綜述

2.1 模型概述

概括地說，這里所使用的模型主要由兩部分組成，分別是用于語義分割的網(wǎng)絡(luò)G與判別器Di。其中當(dāng)使用多級對抗學(xué)習(xí)時，i表示判別器所在的級別。將合成圖像集視為來自源域，用{}Is表示，相對的真實(shí)圖像集來自目標(biāo)域，表示為{It}。兩個圖像集都∈RH×W×3，且只有源域圖像已被標(biāo)記。

具體的方法是首先通過使用源域圖像訓(xùn)練G以優(yōu)化該網(wǎng)絡(luò)。再將目標(biāo)圖像集輸入優(yōu)化后的G，預(yù)測It的語義分割輸出Pt。然后根據(jù)對抗生成網(wǎng)絡(luò)的原理，將兩種預(yù)測輸出作為判別器的輸入，目的是判別輸入是否出自源域或目標(biāo)域。由于任務(wù)的目標(biāo)是使源圖像與目標(biāo)圖像的語義分割預(yù)測相互近似，通過對目標(biāo)域的預(yù)測計算對抗學(xué)習(xí)損失，經(jīng)由Di向G的網(wǎng)絡(luò)梯度傳播，促進(jìn)G在目標(biāo)域生成與源域預(yù)測更相似的分割分布。

2.2 輸出空間自適應(yīng)

盡管分割輸出位于低維空間，但其仍包含如場景布局等在內(nèi)的豐富信息。即使源域與目標(biāo)域的圖像不同，它們的分割輸出仍可能具有程度很高的空間和局部相似性。因此，在輸出空間上進(jìn)行域自適應(yīng)是更合適的選擇。這里利用這一特點(diǎn)，結(jié)合對抗學(xué)習(xí)方法來改進(jìn)圖像的域自適應(yīng)方法。

根據(jù)所提出的模型，這里使用構(gòu)成模型的兩個網(wǎng)絡(luò)的損失函數(shù)構(gòu)建域自適應(yīng)方法的目標(biāo)函數(shù)：

式中：Lseg-源域圖像輸入語義分割網(wǎng)絡(luò)的損失，使用交叉熵?fù)p失函數(shù)；Ladv-使目標(biāo)域圖像的預(yù)測分割輸出近似于源域的輸出分布產(chǎn)生的對抗損失；λadv-平衡兩種損失的權(quán)值。

2.3 單級對抗學(xué)習(xí)

結(jié)合WassersteinGAN（W-GAN）［6］來定義判別器目標(biāo)函數(shù)與對抗損失函數(shù)。WGAN與原始GAN算法的不同之處包括基于Wasserstein距離確定損失函數(shù)，且不使用log對數(shù)函數(shù)等。WGAN相較于原始GAN的優(yōu)點(diǎn)體現(xiàn)于確保了GAN訓(xùn)練的穩(wěn)定性，降低對抗學(xué)習(xí)訓(xùn)練的難度。

給定語義分割輸出為P=G(I)∈RH×W×C，其中C表示類別數(shù)目。將P輸入判別器D，通過訓(xùn)練判別器的參數(shù)最大化源域與目標(biāo)域圖像分割輸出的絕對差異。其損失函數(shù)可表示為：

對于分割網(wǎng)絡(luò)的訓(xùn)練，這里使用源域圖像的交叉熵?fù)p失定義分割損失：

利用該損失函數(shù)訓(xùn)練分割網(wǎng)絡(luò)，并通過促進(jìn)Pt分布與Ps近似，最大化判別器將目標(biāo)域的預(yù)測結(jié)果誤判為源域結(jié)果的概率。

2.4 多級對抗學(xué)習(xí)

與預(yù)測結(jié)果不同，由于距離輸出較遠(yuǎn)，在輸出空間應(yīng)用單級對抗學(xué)習(xí)時，低階特征所產(chǎn)生的改變不能達(dá)到要求。根據(jù)為語義分割算法添加附加損失函數(shù)的方法［8］，這里于單級對抗學(xué)習(xí)模型基礎(chǔ)上，在低階特征空間增加另外的對抗模塊構(gòu)成多級對抗學(xué)習(xí)模型，以提高自適應(yīng)方法。這樣便可將分割網(wǎng)絡(luò)的訓(xùn)練目標(biāo)函數(shù)擴(kuò)展為：

式中：i-對抗模型所在級別。注意到在輸入各判別器進(jìn)行對抗學(xué)習(xí)之前，分割輸出是在各特征空間中產(chǎn)生的。因此與的形式仍和單級對抗學(xué)習(xí)中的相同。然后根據(jù)訓(xùn)練對抗學(xué)習(xí)所常用的min-max準(zhǔn)則，對式（5）進(jìn)行優(yōu)化：

訓(xùn)練優(yōu)化的最終目標(biāo)是最小化源域圖像在G的分割損失，同時使目標(biāo)域預(yù)測被判斷為源域預(yù)測的概率最大。

2.5 網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練

為保證G的分割結(jié)果符合需求，采用以在ImageNet上預(yù)訓(xùn)練的ResNet-101［9］為基礎(chǔ)的DeepLab-v2［10］的殘差網(wǎng)絡(luò)變體作為語義分割G的基本模型。參照近期語義分割工作的方法［10］［11］，這里將最后兩個卷積層的步幅改為1，并移除了最后的全連接層。為了擴(kuò)大感受野，在conv4與conv5層使用孔卷積方法［10］，且步幅分別為2和4。在網(wǎng)絡(luò)最后，分類器使用孔空間金字塔池化（ASPP）［10］方法，并添加一個上采樣層使生成的softmax輸出的尺寸與輸入圖像相同。

判別器的結(jié)構(gòu)與［12］相似，但為保存空間信息，只使用全卷積層。具體的，網(wǎng)絡(luò)由五個卷積層構(gòu)成，使用步幅為2的4×4卷積核，每層的通道數(shù)分別為{64，128，256，512，1}。這里不使用批歸一化層，而以小批訓(xùn)練，且在除最后層外的每一卷積層后都連接一個leaky ReLU層，并在最后的卷積層添加一個上采樣層以將輸出縮放至與輸入相同的尺寸。

根據(jù)上述分割網(wǎng)絡(luò)與判別器即可構(gòu)建單級自適應(yīng)模型。更進(jìn)一步，這里從conv4層提取特征圖，并以ASPP模塊作為附加分類器，之后再連接用于對抗學(xué)習(xí)的判別器，這樣就生成了單級的自適應(yīng)模塊。如此在不同卷積層應(yīng)用該方法就能構(gòu)建出多級自適應(yīng)模型，而出于對效率與精度的權(quán)衡，這里只使用兩級自適應(yīng)模型。網(wǎng)絡(luò)結(jié)構(gòu)與域自適應(yīng)模塊結(jié)構(gòu)分別如圖1、圖2所示。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)，其中DA表示域自適應(yīng)模塊Fig.1 Network Architecture，Domain Adaptation Module（DA）

圖2 （DA）域自適應(yīng)模塊，包含判別器網(wǎng)絡(luò)Fig.2（DA）Domain Adaptation Module

這里通過聯(lián)合訓(xùn)練分割網(wǎng)絡(luò)與判別器的方法來有效訓(xùn)練提出的模型。在每一訓(xùn)練批次中，源域圖像Is首先被輸入進(jìn)分割網(wǎng)絡(luò)以優(yōu)化式（3）中的Lseg，并生成輸出Ps。緊接著，分割網(wǎng)絡(luò)對目標(biāo)域圖像It的輸出Pt將與Ps共同被用于判別器，進(jìn)而實(shí)現(xiàn)對式（2）中Ld的優(yōu)化。最后再計算式（4）中的Ladv，以促進(jìn)Pt與Ps分布的近似。對于多級模型的訓(xùn)練，只需在每個自適應(yīng)模塊中重復(fù)相同的步驟。為訓(xùn)練分割網(wǎng)絡(luò)，這里采用隨機(jī)梯度下降優(yōu)化（SGD）算法，其中權(quán)值衰減、動量等參數(shù)被設(shè)置為10-4和0.9，且初始學(xué)習(xí)率設(shè)為2.5×10-4并以指數(shù)為0.9進(jìn)行多項(xiàng)式衰減。又由于WGAN訓(xùn)練方法的特性，這里不選擇基于動量的優(yōu)化方法，而使用隨機(jī)梯度下降優(yōu)化算法訓(xùn)練判別器，并設(shè)學(xué)習(xí)率為10-4。這里在GPU計算機(jī)上，使用PyTorch庫實(shí)現(xiàn)所用網(wǎng)絡(luò)。

3 實(shí)驗(yàn)驗(yàn)證

GTA5數(shù)據(jù)集是計算機(jī)合成圖像數(shù)據(jù)集，圖像總數(shù)為24966，且圖像分辨率為1912×1052，包含19個類別。在訓(xùn)練過程中，這里先使用整個GTA5數(shù)據(jù)集訓(xùn)練模型，再將CityScapes的訓(xùn)練數(shù)據(jù)集的2975個圖像數(shù)據(jù)應(yīng)用于該模型。當(dāng)測試模型時，使用CityScapes的含有500個圖像的驗(yàn)證集評估模型性能。所有的實(shí)驗(yàn)都使用IoU測度評估結(jié)果。如圖3所示為實(shí)驗(yàn)實(shí)例結(jié)果。

圖3 實(shí)驗(yàn)實(shí)例結(jié)果Fig.3 Experiment Result

表1 的內(nèi)容是這里所使用方法的結(jié)果與其他域自適應(yīng)方法的比較。對于使用基于VGG-16結(jié)構(gòu)的方法，這里采用與之相同的基本網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練所提出的單級自適應(yīng)模型，以準(zhǔn)確評估比較不同方法。從表1可看出，這里所用方法取得了相對不錯的結(jié)果。并且與這里方法不同，其他方法皆擁有特征自適應(yīng)模塊，而結(jié)果則表明在輸出空間實(shí)現(xiàn)自適應(yīng)的方法是更合適的選擇。

利用高性能的模型作為基準(zhǔn)與用自適應(yīng)方法改進(jìn)過的模型進(jìn)行比較也是理解自適應(yīng)方法重要性的手段。因此，這里在基于ResNet-101的網(wǎng)絡(luò)的基礎(chǔ)上訓(xùn)練自適應(yīng)模型。表1中表現(xiàn)了基準(zhǔn)模型只使用源域圖像訓(xùn)練且不結(jié)合自適應(yīng)方法與不同自適應(yīng)模型的結(jié)果比較。另外，監(jiān)督模型與自適應(yīng)模型間的差異的縮小程度也是評價自適應(yīng)方法的重要因素。因此，這里使用CityScapes數(shù)據(jù)集的標(biāo)記真值訓(xùn)練得到監(jiān)督模型，作為參照結(jié)果。通過表2的比較結(jié)果可發(fā)現(xiàn)，基于VGG-16網(wǎng)絡(luò)的模型與參照結(jié)果的差異更大，因此基于ResNet網(wǎng)絡(luò)的方法更為適用。

表1 基于VGG-16的方法及基于ResNet-101的方法實(shí)驗(yàn)結(jié)果Tab.1 Experiment Result Based on VGG-16 and ResNet-101

在訓(xùn)練優(yōu)化分割網(wǎng)絡(luò)G時，確保分割損失與對抗損失的權(quán)值的相對平衡非常重要?；趩渭壸赃m應(yīng)模型，這里通過比較改變λadv所取得的不同結(jié)果尋找合適的λadv值。實(shí)驗(yàn)結(jié)果表明較大的λadv值可能致使網(wǎng)絡(luò)傳播錯誤的梯度，所以這里選取0.001作為λadv值。同樣在單級自適應(yīng)模型的基礎(chǔ)上，這里比較了基于特征的域自適應(yīng)與在輸出空間上的域自適應(yīng)方法的結(jié)果，其中基于特征的方法使用判別器判別不同域的圖像的特征。可以看到在輸出空間的自適應(yīng)方法的優(yōu)點(diǎn)體現(xiàn)在兩點(diǎn)：一是其實(shí)驗(yàn)結(jié)果更好；二是在特征空間的自適應(yīng)對λadv參數(shù)的改變更為敏感，這增加了訓(xùn)練的難度。對于多級對抗學(xué)習(xí)的訓(xùn)練，位于高階輸出空間的模塊的參數(shù)設(shè)置與單級對抗學(xué)習(xí)的參數(shù)相同（即0.001）。而由于低階輸出用于分割預(yù)測的信息較少，故這里賦予其分割與對抗損失較小的權(quán)值（即

總結(jié)來說，由表3的實(shí)驗(yàn)結(jié)果可看到，相較于基于特征的自適應(yīng)方法，在輸出空間上的自適應(yīng)方法結(jié)果更好，并對參數(shù)改變更不敏感，從而降低了訓(xùn)練的難度，所以這里選用在輸出空間的自適應(yīng)方法。通過表1的實(shí)驗(yàn)結(jié)果可看到這里所用域自適應(yīng)方法取得了與其他一些方法相比較較為良好的結(jié)果準(zhǔn)確度。表2通過對不同自適應(yīng)模型與監(jiān)督模型的精度差的比較可以看到這里所使用的基于ResNet的多級自適應(yīng)方法對精度提高的作用更為顯著。

表2 自適應(yīng)模型與監(jiān)督模型的精度差Tab.2 mIoU of Adaptation Model and Supervised Model

表3 不同空間的域自適應(yīng)方法對λadv參數(shù)改變的敏感度Tab.3 Sensitivity for Domain Adaptation Method to λadv in Different Space

4 結(jié)束語

這里采用域自適應(yīng)方法將通過合成圖像訓(xùn)練的模型應(yīng)用于真實(shí)圖像的語義分割，以解決大量有標(biāo)記真實(shí)圖像獲取成本高昂的問題，其中域自適應(yīng)方法通過在輸出空間上的對抗學(xué)習(xí)實(shí)現(xiàn)。根據(jù)WGAN對對抗學(xué)習(xí)損失函數(shù)進(jìn)行了改進(jìn)。另外，還通過構(gòu)建多級對抗學(xué)習(xí)網(wǎng)絡(luò)來利用不同級別特征信息以提升模型性能。實(shí)驗(yàn)結(jié)果表明這里所提出方法相較于其他方法取得較好的結(jié)果。