肖 堯，秦征驍，李振興

1.上海眼控科技股份有限公司 人工智能研究院，上海200040

2.公安部交通管理科學研究所 道路交通安全公安部重點實驗室，江蘇 無錫214151

1 引言

隨著人工智能技術的發(fā)展，智能交通成為了一個十分熱門的領域。在交通場景中，攝像頭通過對場景圖像的分析和理解，能夠獲得場景中道路、車輛、行人和交通指示燈等信息，再將這些信息加以組合利用，進而解決一系列交通問題。其中，車輛作為交通場景的主體，其外觀、狀態(tài)、位置等信息是十分重要的。雖然不同品牌車輛的外觀千變萬化，但其結構和組成部分是共通的，比如車輛的外觀基本上包括：車輪，車門，車窗，車牌，前蓋，后蓋等等。在某些應用場景中，需要對車輛的結構進行精確分割，比如在違章檢測中，需要對車輪進行定位；在事故分析中，需要對車輛各部分進行定損；在車輛年檢中，需要對各部分的完整度進行評估。由于車輛結構的共通性和一致性，語義分割方法成為車輛外觀分割的最佳解決途徑。

語義分割這個問題在近20年來被計算機視覺研究者廣泛地研究過了。圖像語義分割是指基于圖像語義內容，將圖像分割為若干具有不同語義標識的區(qū)域。這個問題是一個密集分類問題，難點在于需要給每個像素分配一個語義標簽，既需要抽象出高層語義信息，同時需要兼顧低層圖像分割的準確性。在深度技術普及之前，傳統(tǒng)視覺方法，如基于馬爾科夫隨機場[1]和低層特征池化[2]的分割方法往往無法獲得很好效果。主要原因是低層特征無法很好表征圖像整體的語義信息。近幾年隨著深度學習技術的火熱發(fā)展，基于深度神經網絡的語義分割方法不斷涌現。文獻[3]中提出一種全卷積網絡（FCN），其端到端的訓練方式在解決密集預測問題上得到普及。Seg-Net[4]和U-Net[5]在反卷積結構中添加了跳躍連接來充分利用中間層的特征。然而由于網絡容量的限制，輸出圖像的分辨率較低，細節(jié)信息丟失較多。為了解決這個問題，很多工作把關注點放在了擴大濾波器感受野上面。文獻[6]中提出了一種金字塔池化模塊，通過將不同尺度池化層得到的特征相結合，增加了感受野的維度。Deeplab[7-8]提出了一種新的空洞卷積核，通過在卷積核中添加空洞位，來多尺度擴大卷積核的面積，從而提高感受野的范圍。

對于車輛表面分割，一個比較重要的問題就是，不同類別所占的表面積差距十分大。比如車身和車窗面積較大，而車燈和車牌等部位面積較小。這個問題可以歸為樣本不均衡問題。樣本不均衡在機器學習領域中是一個由來已久的難題，由于某些類別的訓練樣本過少導致分類難度提高，準確率降低。傳統(tǒng)的解決方法，如給予樣本不同權值等方法無法很好解決。在本文中，提出一種新的自適應邊距損失函數，來替代softmax 損失。邊距（margin）是指在分類問題中，分類平面距兩邊數據的間隔距離。SVM的原理即為尋找一個最大邊距分類器，使得分類平面到兩個類別樣本的距離相等。在深度學習中，尤其是人臉識別領域，一系列基于邊距的損失函數被提出來以提高分類器的性能。大邊距損失[9]、附加邊距損失[10]和大邊距余弦損失[11]等方法基本上都是將原始的softmax損失通過特征歸一化而變換成余弦損失，并在余弦空間中添加一個邊距。這個邊距的作用是在分類器訓練中使得決策邊界到訓練樣本的距離最大化，從而提高分類能力。

然而現有的邊距損失函數都是固定邊距，即分類平面到兩側的樣本距離相同。如果取消這個約束，并使得邊距能夠對訓練樣本的難度自適應調整，這樣就可以對樣本更少的類別和更難區(qū)分的類別增加更多的關注，提高其在損失函數中的比重。因此提出一種新的自適應邊距損失函數，使得邊距對不同類別做出對應調整，樣本較少的類別得到更高的權重，一定程度上緩解了分類樣本不均衡問題。本文的工作可以概括為：（1）設計了一個車輛外觀分割網絡模型；（2）提出一種新的自適應邊距損失函數并應用到模型中；（3）構建了一個車輛外觀分割數據集。

2 自適應邊距損失

2.1 softmax損失

softmax損失是在深度學習多分類任務中使用最為廣泛的損失函數。其實際上是由softmax函數和交叉熵（cross-entropy）損失組合而成，原因是兩者放在一起數值計算更加穩(wěn)定，且求導簡單。softmax函數，或稱歸一化指數函數，可以將輸入映射到(0,1)區(qū)間中，從而得到屬于某個類別的概率。其定義為，令z 為softmax 層的輸入，f(z)為softmax的輸出，則第k 類的概率為：

softmax損失的定義為：

其中，y=(y0,y1,…,yn),yi∈{0,1}為類別標簽。通常的多分類問題中y 只有一個元素值為1，其他都是0，所以假設zi標簽中只有yi=1，則：

2.2 附加邊距損失

在神經網絡中，損失函數層之前通常連接一個全連接層，即softmax 損失的輸入一般為一個全連接層的輸出。令x 為全連接層的輸入，W 為全連接層的系數矩陣，則zj可表示成，這里為W 的第j 列，θj(0 ≤θj≤π)為向量Wj與x 之間的夾角。在文獻[10]中，作者對系數和特征都做了歸一化，即同時為了提高模型分類能力，cos(θj)被替換成了cos(θj)-m ，即在余弦空間中附加了一個邊距m(m ＞0)。這背后的原理可以這樣理解：損失函數的作用是對分類進行約束。如果p 代表正確的類別，那么需要強制，即cos(θp)＞cos(θq)。這里即使將cos(θp)替換為cos(θp)-m，那么以下不等式也是成立的：

這樣做會使分類正確的條件變得更加嚴苛，但是模型訓練收斂后的分類能力會得到加強。最終附加邊距損失的形式為：

其中s 為尺度系數。

2.3 自適應邊距損失

文獻[9-12]等方法都是嵌入了一個固定的邊距。這個邊距能夠使訓練的特征更加緊湊和中心化。然而在很多分類問題中，存在著簡單和困難樣本。由于樣本不均衡現象，樣本數較少的類別會更加難以分辨。另外一些相近類別的分類難度也會比其他的更大。此外，困難樣本在總數里占的比例較小，大部分樣本屬于簡單樣本，這樣會造成一個問題就是困難樣本的損失會淹沒在簡單樣本之中，使得最終損失完全被簡單樣本統(tǒng)治[13]。從圖1（b）與（c）可以看到，盡管加了邊距后類內更加緊湊，類間距離增大，但仍然有一些數據點散落在類間的空間并混合在一起，這部分困難數據是影響分類準確率的主要因素。

為了衡量樣本的分類難度，使用softmax 輸出的歸一化指數概率來作為指標：

p 代表的是樣本被正確分類的概率。那么自適應邊距（adaptive margin）被定義為：

這里α 為邊距上限。本文的自適應邊距函數具有兩個性質：（1）若一個難樣本距離類別中心較遠并被錯分類，那么p 則較小，使得邊距m 趨近于最大值α，導致分類正確條件更加嚴苛，并對錯分產生一個更大的懲罰。反之對于簡單樣本，p 趨近于1，則邊距趨近于0，使得損失等價于softmax損失。（2）這里的參數γ 可以平滑地控制簡單和困難樣本之間的邊距效應。當γ=0 時，mA變成了固定邊距。γ 若增長則邊距效應隨之增長。值得注意的是mA是由p 來決定的，對于不同的樣本mA各不相同，即樣本間的自適應性。在本文實驗中設定γ=2。

這樣將附加邊距替換為自適應邊距得到損失函數為：

在實際訓練中α 并不是一個固定的值，而是隨著迭代次數增加而遞增的sigmoid 函數。也就是說，在訓練的開始階段，損失函數近似等于原始softmax 損失。而隨著訓練的進行，迭代次數增加，邊距效應影響逐漸增大。這樣可以保證訓練的穩(wěn)定性，加速收斂。

3 分割網絡

基于refinenet[14]設計了本文的車輛外觀分割網絡，網絡結構如圖2所示。

3.1 多分辨率融合結構

圖1 不同損失函數特征比較

圖2 網絡結構

為了使模型能夠同時抽取整體結構和局部細節(jié)的特征，采用多分辨率特征融合的結構。如圖2 中所示，兩條側邊鏈接跨越了網絡的前段和后段，將低層和高層的特征進行融合。在特征融合之前，高層特征首先通過上采樣來統(tǒng)一分辨率，接著通過eltwise 操作，對應元素相乘獲得融合之后的特征，最后輸入到殘差卷積單元與鏈式殘差池化單元。網絡由25 層構成，特征下采樣倍數最高為16倍。

3.2 殘差卷積單元（RCU）

該單元為ResNet[15]中卷積單元的簡化版本，由兩個卷積層和激活層級聯，保留了恒等快捷連接（identity shortcut connection），去掉了批量標準化[16]層。該單元主要目的是從不同尺度的圖像中抽取底層特征。結構如圖3所示。此模塊保留了較好的特征提取能力，能夠滿足分割網絡的需求。

圖3 殘差卷積單元（RCU）

3.3 鏈式殘差池化單元（CRP）

低層抽取的特征最后會輸入到鏈式殘差池化單元之中，目的是使網絡能夠抽取高層語義特征，抓取全局信息，區(qū)別前景和背景。如圖4 所示，CRP 模塊由多層池化卷積層級聯，可以整合不同尺度特征，并通過卷積加權整合到一起，從而獲取背景上下文信息。在網絡的末尾使用一個1×1 的卷積層來代替全連接層。實驗證明這樣可以在不損失效果的情況下減少訓練參數，減低訓練負擔。最后特征通過提出的自適應邊距函數來計算損失。

4 實驗分析

圖4 鏈式殘差池化單元（CRP）

實驗以caffe 作為開發(fā)框架，計算機硬件主要配置為一塊Nvidia GTX1080，16 GB RAM。模型訓練了一天左右趨于收斂。

4.1 車輛外觀分割數據集

基于車輛年檢的圖像數據，構建了一個車輛外觀分割數據集，包括各種大車和小車的外觀及分割標簽，標簽類別共23 種（包含背景），原始數據包含7 116 張圖片，被分為6 404 張訓練集與712 張測試集。在原始圖片上，標注人員對車輛外觀進行分割標注。圖5中展示了部分標注結果。在訓練之前會對數據進行擴充處理，擴充方式包括：添加隨機噪聲、數據歸一化處理、去均值、隨機鏡像，和以目標區(qū)域為中心，對輸入圖像做多尺度處理。

4.2 性能比較

這里選擇pspnet[6]、segnet[4]和deeplab v2[7-8]作為對比算法。性能指標上采用mIoU 來衡量分割效果。mIoU（平均交并比）的定義為，假設A,B 為算法分割區(qū)域和真實標注區(qū)域，則IoU指相交區(qū)域面積與合并區(qū)域面積的比值：

取所有樣本平均值即為mIoU。表1 中對比了4 種算法的mIoU 和顯存占用。從表1 中可以看到，pspnet、deeplab v2與本文方法在相同輸入圖像大小的情況下，計算量和顯存占用比較相似。Segnet 的模型計算量遠超其他方法，所以mIoU 與本文方法最為接近。本文方法在較小的計算量情況下，獲得了最高的mIoU，在同類方法中處于領先地位。同時比較了使用本文提出的自適應邊距損失和原始softmax 損失的指標，實驗顯示新的損失函數能夠將mIoU提高2.3個百分點。

圖5 車輛外觀標注數據

圖6 車輛外觀分割結果

表1 分割方法性能比較

另外還進行了不同損失函數的性能對比實驗，見表2。這里選擇原始softmax 損失、大邊距損失、附加邊距損失和自適應邊距損失進行對比，在相同的網絡結構下，本文的自適應損失能夠獲得較大提升，顯著優(yōu)于其他損失函數。

表2 不同損失函數比較

4.3 分割效果

圖6 中選擇了部分分割結果圖進行對比展示。從視覺效果上來看，各方法的優(yōu)缺點如下：（1）segnet 模型對小目標分割效果比較好，但由于感受野的限制及encoder-decoder 模式，導致獲取有限的上下文信息，對目標分割較敏感，容易導致誤分割。（2）pspnet模型對結構、顏色相似的目標分割效果不是很好。（3）deeplab 模型對小目標、相似目標分割效果不理想，主要是deeplab以VGG16 為骨干網絡，下采樣16 倍，后面接一個ASPP結構對特征圖做對尺度處理，后面再接一個雙線性插值上采樣操作，得到與輸入圖像相同大小的特征圖，在該過程中會丟失許多細節(jié)信息，對小目標分割效果相對來說較差，且對結構、顏色相似的目標分割效果不理想。（4）本文方法網絡對小目標，結構、顏色相似的目標分割效果較理想，在局部細節(jié)上，尤其是面積較小的類別的分割效果要遠遠好于其他方法，且能夠適當處理類內不一致的問題。

5 結束語

本文提出了一種新的自適應邊距損失函數，并構建了一個卷積神經網絡用于車輛外觀分割。為了解決樣本不均衡問題，設計的邊距函數能夠針對樣本難度做自適應調整，使得樣本少和難分類樣本在最終損失中獲得更高的權重，進而增加特征的緊致程度和可分辨性，提高分類準確率。并且構建了一個車輛外觀分割數據集，用以模型的訓練和測試。經過在測試集上的實驗驗證，本文提出的方法在低顯存占用的情況下取得了最高的mIoU 指標，并且視覺上優(yōu)于所有同類算法。后續(xù)的研究，將會嘗試將網絡層數加深，使用更加復雜的模型以提高特征提取能力，進而獲得更高的mIoU 指標和分割精度。