劉晨怡，姜麗芬，王 亭，鐘長鴻，梁 妍

（天津師范大學計算機與信息工程學院，天津300387）

本文提出一種基于深度可分離卷積Xception[14]的輕量級座位狀態(tài)檢測模型.該模型首先將采集到的圖像利用實例分割框架FCIS[15]進行目標識別，提取出含有目標的特定樣本，再輸入包含9 個卷積層的神經(jīng)網(wǎng)絡中進行特征提取，利用Focal Loss[16]損失函數(shù)處理網(wǎng)絡訓練中正負樣本比例失衡的問題；將訓練得到的初級特征、中級特征、高級特征進行融合后，再輸入全連接層進行全局特征整合；最后利用Sigmoid 回歸算法進行座位狀態(tài)分類識別.利用公開數(shù)據(jù)集和實地拍攝圖片集進行實驗，將本文模型與ResNet-50 模型[17]、Xception 模型[14]和基于人臉識別的座位檢測方法[18]進行對比，結(jié)果表明，本文模型識別精度最高，為91%，高于ResNet-50 模型的85%、Xception 模型的89%和基于人臉識別的座位狀態(tài)檢測方法的82%.

1 模型構(gòu)建

座位狀態(tài)檢測模型包括輸入層、卷積層、池化層、全連接層和輸出層.模型使用6 個深度可分離卷積構(gòu)成基本的特征提取器，6 個深度可分離卷積層分為3個模塊，均使用殘差連接. 模型的整體架構(gòu)如圖1所示.

圖1 基于Xception 的座位狀態(tài)檢測模型結(jié)構(gòu)Fig.1 Model structure of Xception-based seat status detection

1.1 輸入層

輸入層輸入經(jīng)過預處理的圖像.使用實例分割框架FCIS 對圖像進行預處理，F(xiàn)CIS 是首個端到端的全卷積實例分割模型.圖像經(jīng)過預處理后，可篩選出相關的物體信息，以便對無效信息進行弱化.

1.2 卷積層

圖像經(jīng)過預處理后，其大小統(tǒng)一為224×224×3，將其輸入卷積核尺寸分別是（3，3，64）與（3，3，128）的卷積層進行特征提取.卷積層的計算公式為

其中：AL為第L 卷積層的輸出；f（·）為卷積層的激活函數(shù)；WL為卷積核；“*”代表卷積操作； bL為偏置參數(shù).將得到的特征提取圖輸入到深度可分離卷積中，進行特征的進一步提取，依次提取初級、 中級和高級特征.深度可分離卷積原理如圖2 所示.

在由深度可分離卷積構(gòu)成的3 個模塊中，分別使用了尺寸為（3，3，128）、（3，3，256）、（3，3，512）的深度可分離卷積核.每個卷積核用同樣的方法對圖像進行處理，不同的卷積核會自動提取圖像的邊緣、明暗、輪廓等信息.模型可以自動提取圖像的多個特征，得到多張?zhí)卣魈崛D.

圖2 深度可分離卷積原理Fig.2 Schematic of depth separable convolution

深度可分離卷積能夠大幅度減少參數(shù)，因而其計算量較傳統(tǒng)卷積大幅縮減.深度可分離卷積在深度卷積和1×1 卷積后都增加了BN 層和Relu 激活層.深度可分離卷積的結(jié)構(gòu)如圖3 所示.

式中下標v表示黏性項， 其他各變量的意義參見文獻[22]. 湍流模擬采用k-ω SST湍流模型[22-23], 該模型在模擬弱分離的黏性問題中具有較高的精度. 采用有限體積法對流動主控方程及湍流模型方程進行數(shù)值求解, 時間推進采用LU-SGS方法[24-26], 空間處理采用Roe格式的通量差分離散, 黏性項采用中心差分格式加人工耗散項[23].

BN 層用于對數(shù)據(jù)進行歸一化，以保證每層的數(shù)據(jù)分布穩(wěn)定，避免輸入數(shù)據(jù)的偏移造成的影響.Relu層增加了神經(jīng)網(wǎng)絡各層之間的非線性關系，通過Relu稀疏后的模型能夠更好地挖掘相關特征、擬合訓練數(shù)據(jù)，同時有效地克服了梯度消失的問題.Relu 激活層的激活函數(shù)為

圖3 深度可分離卷積的結(jié)構(gòu)Fig.3 Structure of depth separable convolution

1.3 池化層

池化層的處理方式一般有最大池化、 平均值池化、中值池化等.為了對輸出做篩選降維，在每個深度可分離卷積模塊中均設置一個最大池化層，其使用的池化核為（2，2），長、寬方向的步長都為2，深度方向的步長為1.設池化核的寬為fx，高為fy，在池化核范圍fx×fy 內(nèi)的訓練參數(shù)采用最大值來替代，則最大池化公式為

1.4 殘差連接

每個深度可分離卷積模塊的連接均采用殘差連接，每個卷積模塊由2 個深度可分離卷積層、1 個最大池化層和一個為了匹配輸入輸出大小一致的1×1卷積層連接組成，如圖4 所示.

圖4 殘差連接Fig.4 Residual connection

設輸入為X，左側(cè)為經(jīng)過卷積、池化、歸一化等操作的輸出F（X），右側(cè)為經(jīng)過1×1 卷積的輸出G（X）.經(jīng)過殘差連接的輸出為F（X）+G（X）.殘差連接是在元素層面上執(zhí)行加法運算.

1.5 特征融合

融合連接方式如圖5 所示.3 個深度可分離卷積模塊分別得到初級特征圖、中級特征圖和高級特征圖.將3 類特征圖分別采用全局平均池化，在結(jié)構(gòu)上采用正則化防止過擬合，直接剔除黑箱特征，并直接賦予各通道的實際類別含義.最后再利用連接運算將各類特征組合起來，輸入全連接層.

圖5 融合連接Fig.5 Fusion connection

1.6 全連接層和輸出層

全連接層有2 個，在前面的特征融合后，第1 個全連接層中每個節(jié)點都與896 個節(jié)點連接，用于綜合前面提取的特征，它可以整合具有類別區(qū)分性的局部信息；第2 個全連接層的輸出由Sigmoid 邏輯回歸進行分類.

1.7 Focal Loss 函數(shù)

為解決正負樣本比例的均衡問題，在模型中增加了Focal Loss 損失函數(shù).該損失函數(shù)可降低簡單負樣本在訓練中所占的比例，使得模型在訓練時更專注于較難分類的樣本.Focal Loss 函數(shù)的計算公式為

其中：α 用于調(diào)節(jié)正負樣本所占的比例，前景類別使用α，對應的背景類別使用1-α；γ 用于對簡單樣本進行權(quán)重抑制；y′為不同類別的分類概率.本文通過實驗確定了最優(yōu)的α 和γ 的取值.

2 實驗分析

2.1 數(shù)據(jù)集的建立

根據(jù)場景要求，采用公開數(shù)據(jù)集VOC2012 和IKEA的部分數(shù)據(jù)以及實地拍攝的圖片數(shù)據(jù)構(gòu)成訓練和測試數(shù)據(jù)集.共選取了10 715 張樣本圖片，其中2 954張圖片作為正樣本，正樣本包含了多人場景、 單人場景的就座圖片，7 761 張圖片作為負樣本，負樣本數(shù)據(jù)集篩選了不同形狀的空椅子、椅子上有物品、椅子周圍有人等多種情景.數(shù)據(jù)集中訓練集樣本占樣本總數(shù)的85%，測試集樣本占15%，樣本標簽統(tǒng)計如表1所示.

表1 樣本標簽統(tǒng)計Tab.1 Sample label statistics

為了減少其他物體對提取目標特征的干擾，利用實例分割模型FCIS 進行圖像預處理，對無效信息進行了弱化. 首先對圖像中的椅子和人進行檢測框框選，若存在人與椅子的檢測框產(chǎn)生交集，則取出包含多個檢測框的最大矩形框作為樣本； 若只檢測到椅子，則只取椅子的檢測框作為樣本.通過FCIS 的預處理，只保留了檢測目標如椅子、 人等，因此可以減少周圍環(huán)境對座位檢測的影響.按照上述方法對原圖像進行分割，部分原圖像及分割后的圖像如圖6 所示.

圖6 FCIS 圖像預處理結(jié)果Fig.6 Image preprocessing results of FCIS

2.2 參數(shù)設置

本文通過實驗進行手動調(diào)參，使模型結(jié)構(gòu)達到最優(yōu).需要調(diào)整的參數(shù)包括全連接層數(shù)、 全連接層節(jié)點個數(shù)、Focal Loss 的參數(shù) α 和 γ.

（1）全連接層數(shù).

增加全連接層個數(shù)可以提高模型的非線性表達能力，獲得更全面的信息，進而提高模型的學習能力.設置不同全連接層的個數(shù)進行實驗，取10 次實驗識別精度的平均值.結(jié)果顯示，當全連接層數(shù)為1、2 和3時，模型識別精度分別為0.885 0、0.887 5 和0.887 5.由于全連接層個數(shù)的增加會提高訓練成本，為了使模型既具有較高的識別精度，又能保持良好的性能，確定全連接層的個數(shù)為2.

（2）全連接層節(jié)點個數(shù).

全連接層節(jié)點個數(shù)是深層神經(jīng)網(wǎng)絡的重要參數(shù)之一.全連接層節(jié)點個數(shù)過多，會使模型復雜度提高，網(wǎng)絡訓練時間變長，給模型訓練帶來額外的成本；全連接層節(jié)點個數(shù)過少，會使模型性能變差.在確定全連接層個數(shù)為2 的情況下，考察第1 層全連接層節(jié)點數(shù)對模型性能的影響，實驗結(jié)果顯示，當節(jié)點數(shù)分別為 128、256 和 384 時，模型識別精度分別為 0.900 0、0.907 5 和0.870 0，由此確定第1 層全連接層節(jié)點個數(shù)為256.

（3）Focal Loss 函數(shù)的參數(shù) α 和 γ.

α 的范圍是[0，1]，本文數(shù)據(jù)集的負樣本數(shù)量比正樣本數(shù)量多，因此需要通過設置α 的取值以調(diào)節(jié)正負樣本所占的比例，使其相對均衡.首先固定γ=2，取不同的α，實驗結(jié)果顯示，當α=0.6、0.7 和0.8 時，模型識別精度較高，分別為0.895 0、0.902 5 和0.907 5.因此取α=0.8.接下來固定α=0.8，設置不同的γ 取值，當γ=3、4 和5 時，模型識別精度分別為0.907 5、0.902 5 和0.910 0，因此取γ=5.

綜上，通過實驗確定了模型的幾個重要的參數(shù)：全連接層個數(shù)為2、第1 層全連接層節(jié)點個數(shù)為256，F(xiàn)ocal Loss 中的 α 與 γ 的值分別為 0.8 和 5.

2.3 實驗結(jié)果

為了驗證本文模型的有效性和性能，搭建了原模型 Xception（14 個模塊，36 個卷積層）、ResNet-50 以及利用人臉識別技術對座位狀態(tài)進行檢測等3 種網(wǎng)絡模型，利用上面的數(shù)據(jù)集進行對比實驗，得到座位識別的統(tǒng)計結(jié)果如表2 所示.

表2 4 種模型的識別精度Tab.2 Identification accuracies of 4 models

由表2 可知，本文提出的輕量級座位狀態(tài)檢測網(wǎng)絡模型性能最優(yōu)，識別精度為91%，高于ResNet-50模型的85%和基于人臉識別的座位檢測模型的82%，略高于Xception 模型的89%，但Xception 模型的結(jié)構(gòu)遠比本文模型復雜，基于人臉識別的座位檢測模型由于易受到遮擋、 人體姿勢可變性等因素的干擾，因此識別精度不高.

3 結(jié)論

提出一種基于Xception 的輕量級座位狀態(tài)檢測模型，運用實例分割框架FCIS 進行圖像預處理以減少無效信息的影響，增強模型對座位狀態(tài)的判斷準確率.實驗結(jié)果表明，本文提出的座位狀態(tài)檢測模型在真實場景下的識別精度達到91%，高于常見的檢測模型，且性能較為優(yōu)異，具有較好的應用前景.