陳仁文，袁婷婷，黃文斌，張宇翔

（南京航空航天大學(xué) 機(jī)械結(jié)構(gòu)力學(xué)及控制國(guó)家重點(diǎn)實(shí)驗(yàn)室，江蘇 南京210016）

1 引言

隨著現(xiàn)代汽車中手機(jī)和許多其他娛樂(lè)（信息娛樂(lè)）系統(tǒng)的推出，駕駛員的注意力已提升到一個(gè)新的水平。這些系統(tǒng)提供了更多的便利，但同時(shí)增加了駕駛員分心和認(rèn)知工作量的發(fā)生［1］。據(jù)世界衛(wèi)生組織的調(diào)查，交通事故是人類第八大死亡原因，駕駛員分心駕駛造成的交通事故數(shù)量逐步增加。疾病預(yù)防控制中心將分心駕駛依據(jù)視覺(jué)、手動(dòng)、認(rèn)知分為三種類型。駕駛員在駕駛過(guò)程中，使用手機(jī)或者發(fā)短信而造成的視線遠(yuǎn)離駕駛路線的分心屬于視覺(jué)分心；手動(dòng)分心主要涉及駕駛員在駕駛過(guò)程中雙手離開(kāi)方向盤的各種活動(dòng)，如吃東西、喝水、操作導(dǎo)航儀等；駕駛員處于安全駕駛姿勢(shì)，也有可能會(huì)在精神上分散駕駛注意力，這種由于注意力不集中或困倦而引起的分神屬于認(rèn)知分心。

目前，學(xué)術(shù)界和汽車制造商正在開(kāi)發(fā)新的高級(jí)駕駛員輔助系統(tǒng)，以減輕或避免因駕駛員分心而導(dǎo)致的交通事故發(fā)生。即使是正在開(kāi)發(fā)的自動(dòng)駕駛汽車，也需要對(duì)駕駛員進(jìn)行連續(xù)監(jiān)視、以確保駕駛員可以在緊急情況下接回駕駛?cè)蝿?wù)。曾在2016年5月和2018年3月分別發(fā)生兩起由于駕駛員分心導(dǎo)致的自動(dòng)駕駛車輛撞行人事故。無(wú)論是自動(dòng)駕駛系統(tǒng)或是智能駕駛輔助系統(tǒng)，基于視覺(jué)的傳感技術(shù)是核心，主要包括識(shí)別駕駛員的各種狀態(tài)、活動(dòng)和車外的駕駛環(huán)境，其中駕駛員的姿態(tài)估計(jì)是本文的研究?jī)?nèi)容。對(duì)駕駛員姿態(tài)監(jiān)測(cè)的研究主要分為接觸式和非接觸式，由于接觸式監(jiān)測(cè)需要駕駛?cè)藛T佩戴傳感器設(shè)備或者額外的輔助標(biāo)記物，會(huì)降低駕駛體驗(yàn)，可能影響駕駛?cè)说恼ｑ{駛操作等，非接觸式是目前的主流研究［2］。人體姿態(tài)估計(jì)算法僅通過(guò)視覺(jué)傳感器捕捉人員的運(yùn)動(dòng)姿態(tài)，在汽車工業(yè)中得到了越來(lái)越多的關(guān)注。

人體姿態(tài)估計(jì)系統(tǒng)普遍采用Conv Nets（Con?volutional Neural Network，CNN）作 為 主 構(gòu) 模塊，最早Toshev等人［3］提出“DeepPose”模型，由一個(gè)Alexnet后端（7層）和一個(gè)額外的最終層組成，這個(gè)最終層的輸出為關(guān)節(jié)坐標(biāo)，使用L 2損失進(jìn)行回歸訓(xùn)練。Tompso等人［4］將輸出變?yōu)殡x散的熱圖而不是坐標(biāo)點(diǎn)連續(xù)回歸，聯(lián)合使用CNN和圖形模型進(jìn)行預(yù)測(cè)。其中，熱圖預(yù)測(cè)關(guān)節(jié)在每個(gè)像素發(fā)生的概率。Wei等人［5］提出了卷積式姿態(tài)機(jī)（CPM），由圖像特征計(jì)算模塊和預(yù)測(cè)模塊組成，通過(guò)多階段細(xì)化熱圖中關(guān)節(jié)點(diǎn)的位置，無(wú)需顯式的圖形模型。Newel等人［6］提出了一種新穎而直觀的架構(gòu)，稱為堆疊式沙漏網(wǎng)絡(luò)，可以捕獲與身體相關(guān)的各種空間關(guān)系。重復(fù)的自下而上，自上而下的處理與中間監(jiān)督結(jié)合，并使用跳過(guò)連接來(lái)保留每個(gè)分辨率的空間信息。通過(guò)沙漏結(jié)構(gòu)，全局和本地信息都可以被完全捕獲用于卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)預(yù)測(cè)，在姿態(tài)估計(jì)中應(yīng)用廣泛。

通用的人體姿態(tài)估計(jì)任務(wù)已取得重大突破，但文獻(xiàn)中針對(duì)車載用途的姿態(tài)估計(jì)模型很少，且無(wú)公開(kāi)車載環(huán)境下人體姿態(tài)估計(jì)數(shù)據(jù)集。Borghi等人［7］提出了稱為“POSEidon”的神經(jīng)網(wǎng)絡(luò)，用于深度圖像上駕駛員的肩部和頭部的姿勢(shì)估計(jì)，在pandora數(shù)據(jù)集上進(jìn)行評(píng)估，該數(shù)據(jù)集是實(shí)驗(yàn)室環(huán)境下采集的上半身姿態(tài)圖像。Yuen等人［8］修改了Cao等人［9］的PAF模型，實(shí)現(xiàn)了駕駛員和前排乘客的手腕和肘部識(shí)別。Chun等人［10］提出了名為“NADS-Net”的卷積網(wǎng)絡(luò)，使用resnet50網(wǎng)絡(luò)進(jìn)行特征提取，以特征圖金字塔網(wǎng)絡(luò)（Feature Pyramid Networks）為主干網(wǎng)絡(luò)，采用多個(gè)檢測(cè)網(wǎng)絡(luò)實(shí)現(xiàn)駕駛員與前排乘客的姿態(tài)估計(jì)和安全帶檢測(cè)，模型的參數(shù)量為39 M。

本文提出了一個(gè)更加簡(jiǎn)潔的輕量型卷積神經(jīng) 網(wǎng) 絡(luò)（Fast Driver Pose Estimation，F(xiàn)DPENet），用于2D駕駛員的駕駛姿態(tài)的估計(jì)。FDPE-Net使用多特征聚合的兩級(jí)級(jí)聯(lián)結(jié)構(gòu)和多任務(wù)學(xué)習(xí)，實(shí)現(xiàn)了在降低計(jì)算的復(fù)雜性和內(nèi)存需求的同時(shí)，保持良好的檢測(cè)精度。與其他姿態(tài)估計(jì)模型相比，網(wǎng)絡(luò)的輸入圖片分辨率僅192 pixel×192 pixel，模型的參數(shù)量為0.7 M，計(jì)算量為207.3 M，可以實(shí)現(xiàn)車載端的實(shí)時(shí)檢測(cè)。另外，本文采集了不同駕駛員在自然駕駛狀態(tài)下的駕駛視頻數(shù)據(jù)集，并構(gòu)建了用于駕駛員姿態(tài)估計(jì)的圖片數(shù)據(jù)集，其中標(biāo)注了駕駛員的上半身關(guān)節(jié)點(diǎn)，并對(duì)數(shù)據(jù)集中的駕駛?cè)藛T信息做了詳細(xì)的描述和統(tǒng)計(jì)，以觀測(cè)原始數(shù)據(jù)對(duì)算法的性能影響。

2 數(shù)據(jù)集建立

通用人體姿態(tài)估計(jì)已有較多大型公開(kāi)數(shù)據(jù)集，而用于自動(dòng)駕駛或駕駛輔助系統(tǒng)的姿態(tài)估計(jì)目前并無(wú)公開(kāi)數(shù)據(jù)集，因此建立自然駕駛狀態(tài)下的姿態(tài)估計(jì)數(shù)據(jù)集是一項(xiàng)必不可少的復(fù)雜工作。

數(shù)據(jù)采集裝置僅使用一個(gè)固定角度的低成本廣角RGB攝像頭，以視頻格式采集數(shù)據(jù)，其像素為1280 pixel×960 pixel。為減少身體姿態(tài)的關(guān)節(jié)遮擋和車外光線的影響，將攝像頭安裝于車內(nèi)后視鏡下方，在車輛靜止?fàn)顟B(tài)下拍攝駕駛員的模擬駕駛視頻。

完成原始視頻素材采集后，選取合適的視頻幀作為圖片數(shù)據(jù)，使用在線圖像標(biāo)注的Javascript標(biāo)注工具LabelMe手工標(biāo)注每張圖片中人體關(guān)節(jié)點(diǎn)的像素坐標(biāo)，如圖1所示。標(biāo)注方法采用通用的人體姿態(tài)估計(jì)公共數(shù)據(jù)集的標(biāo)注方法，并將標(biāo)注文件以coco數(shù)據(jù)集標(biāo)注格式保存。最后，為保證數(shù)據(jù)集的質(zhì)量，所有標(biāo)注都進(jìn)行了最終檢查，修復(fù)了存在錯(cuò)誤的注釋。

圖1 標(biāo)注樣本Fig.1 Examples of ground truth annotations.

數(shù)據(jù)集包含在不同的天氣和同一天的不同時(shí)間段等不同光照條件下26名駕駛員的樣本素材，共計(jì)3260張圖片，如圖2所示。每名駕駛員的樣本包含多種駕駛姿態(tài)，圖3中c0～c7分別表示安全駕駛、右手打字、左手打字、右手打電話、左手打電話、喝水、調(diào)整車載音響以及整理頭發(fā)等駕駛員姿態(tài)。此外，為了觀測(cè)數(shù)據(jù)集分布的合理性和多樣性，避免所訓(xùn)練模型的偏向性，還對(duì)一些可能影響姿態(tài)估計(jì)識(shí)別的變量進(jìn)行了記錄，例如駕駛員的膚色、性別、著裝顏色深淺、是否帶眼鏡以及拍攝的時(shí)間段和天氣等，表1給出了其中部分變量的數(shù)據(jù)。

表1 數(shù)據(jù)集分布Tab.1 Data set statistics

圖2 不同駕駛員編號(hào)的樣本數(shù)量Fig.2 Sample size of different driver

圖3 不同駕駛姿態(tài)的樣本數(shù)量Fig.3 Sample size for each driver posture

3 模型的設(shè)計(jì)與分析

3.1 數(shù)學(xué)模型的建立

人體姿態(tài)估計(jì)的目的是預(yù)測(cè)給定圖像中人體關(guān)節(jié)的空間坐標(biāo)，運(yùn)用二維坐標(biāo)(x，y)來(lái)估計(jì)RGB圖像中的每個(gè)關(guān)節(jié)的二維姿態(tài)。對(duì)于駕駛員的姿態(tài)估計(jì)，僅需要考慮駕駛員的上半身關(guān)節(jié)點(diǎn)，本文使用k個(gè)身體關(guān)節(jié)點(diǎn)來(lái)表示駕駛員的位姿向量，即G k=g，g={...，gi，...}，i∈{1，2，...，K}，其中g(shù)i表示第i個(gè)關(guān)節(jié)點(diǎn)的坐標(biāo)(x，y)。

其中σ表示預(yù)先確定的方差。

姿態(tài)估計(jì)問(wèn)題可轉(zhuǎn)換為圖像的像素級(jí)回歸問(wèn)題，通過(guò)使預(yù)測(cè)熱圖與目標(biāo)熱圖之間距離的均方誤差（Mean Squared-Error，MSE）最小化對(duì)模型進(jìn)行訓(xùn)練。其中MSE損失函數(shù)可表示為：

其中：y?i為預(yù)測(cè)值的熱圖，y i為真值的熱圖。因此，駕駛員姿態(tài)估計(jì)問(wèn)題可重新構(gòu)造為尋找使得損失函數(shù)最小的映射函數(shù)f：y j=f(I j)。

3.2 網(wǎng)絡(luò)結(jié)構(gòu)的概述

人體姿態(tài)估計(jì)需要捕捉圖片的各個(gè)尺度信息，雖然局部信息對(duì)于人體關(guān)節(jié)識(shí)別來(lái)說(shuō)必不可少，但是最終整體的姿態(tài)估計(jì)需要對(duì)身體有一個(gè)連貫的理解。本文提出了一個(gè)兩階段級(jí)聯(lián)特征網(wǎng)絡(luò)，將圖像的高級(jí)語(yǔ)義信息與底層特征聚合，實(shí)現(xiàn)了低復(fù)雜度和低內(nèi)存需求下的高效檢測(cè)。網(wǎng)絡(luò)基本組成是瓶頸狀的殘差結(jié)構(gòu)［11］，批量歸一化（Batch Normalization，BN）［12］與激活函數(shù)Re?LU組合使網(wǎng)絡(luò)更快地收斂，每一階段網(wǎng)絡(luò)應(yīng)用連續(xù)的兩個(gè)1×1卷積來(lái)生成關(guān)鍵點(diǎn)預(yù)測(cè)熱圖，最終形成全卷積的網(wǎng)絡(luò)結(jié)構(gòu)［13］。網(wǎng)絡(luò)整體結(jié)構(gòu)如圖4所示，網(wǎng)絡(luò)輸出的關(guān)鍵點(diǎn)預(yù)測(cè)熱圖如圖5所示。

圖4 FDPE-Net的網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 FDPE-Net architecture

圖5 關(guān)節(jié)點(diǎn)預(yù)測(cè)熱圖的可視化Fig.5 Visualization of joints prediction heatmap

駕駛姿態(tài)識(shí)別任務(wù)是人體姿態(tài)估計(jì)在特定駕駛環(huán)境下的應(yīng)用，根據(jù)遷移學(xué)習(xí)理論，本文選用經(jīng)典的人體姿態(tài)估計(jì)網(wǎng)絡(luò)中Hourglass模塊為每階段的骨干結(jié)構(gòu)。與其不同的是，本任務(wù)的姿態(tài)估計(jì)僅考慮上半身關(guān)節(jié)點(diǎn)，姿態(tài)的類別相對(duì)較少，且對(duì)模型的運(yùn)行速度要求較高。研究發(fā)現(xiàn)在大型MPII基準(zhǔn)測(cè)試中，每層通道具有高度冗余性，減少一半的數(shù)量（128）僅會(huì)導(dǎo)致性能下降不到1%［14］，因此本文采用128個(gè)通道數(shù)構(gòu)建了一個(gè)輕量型的CNN神經(jīng)網(wǎng)絡(luò)。

本文所使用的Hourglass模塊使用池化層和卷積層提取1/2，1/4，1/8的低分辨率特征，使用跳躍連接保留每個(gè)分辨率的空間信息，達(dá)到最低分辨率后，網(wǎng)絡(luò)進(jìn)行自上而下的上采樣和不同尺度的特征融合，結(jié)構(gòu)如圖6所示。相鄰分辨率的特征融合時(shí)，首先將較低的分辨率進(jìn)行最近鄰上采樣，然后對(duì)兩組特征逐元素相加［15］。具體的，本文所采用的Hourglass模塊由10個(gè)殘差塊、3個(gè)最大池化層和3個(gè)上采樣層組成，其中在跳躍連接的每個(gè)分支上各有一個(gè)殘差塊，所有的殘差塊通道數(shù)均為128。在殘差塊中采用深度可分離卷積［16］，減少網(wǎng)絡(luò)的參數(shù)量，提高網(wǎng)絡(luò)的運(yùn)算速度。

圖6 Hourglass模塊的結(jié)構(gòu)Fig.6 A single Hourglass module

3.3 兩級(jí)級(jí)聯(lián)結(jié)構(gòu)

FDPE-Net由兩個(gè)級(jí)聯(lián)的神經(jīng)網(wǎng)絡(luò)組成，輸入圖像為192 pixel×192 pixel×3 pixel的RGB圖像。每個(gè)階段的網(wǎng)絡(luò)輸入都由原始圖片的特征提取和來(lái)自前一階段的上下文信息組成，且兩階段級(jí)聯(lián)網(wǎng)絡(luò)的主干結(jié)構(gòu)相同，但不共享權(quán)重參數(shù)。在第一個(gè)階段中，輸入圖片經(jīng)過(guò)特征粗提取部分，將圖片的分辨率降低至48 pixel×48 pixel，再輸入到Hourglass模塊中提取低分辨率特征。并在實(shí)現(xiàn)特征融合后，應(yīng)用兩個(gè)1 pixel×1 pixel卷積來(lái)生成高斯熱圖，表示如式（3）所示：其中：b K1(G k=g)表示第一階段預(yù)測(cè)的k個(gè)關(guān)節(jié)點(diǎn)的位置預(yù)測(cè)熱圖，w，h分別表示網(wǎng)絡(luò)輸出熱圖的寬度和高度。

第一階段單輸入實(shí)現(xiàn)粗略的姿態(tài)估計(jì)，第二階段通過(guò)原始圖片的特征提取和上一階段的上下文信息來(lái)聯(lián)合預(yù)測(cè)，實(shí)現(xiàn)更加精確地姿態(tài)估計(jì)。

其中：X′表示來(lái)自輸入圖片的特征提取；y1(X)表示第一階段融合多分辨率后中級(jí)語(yǔ)義特征；φ1(g，b1)表示第一階段粗略預(yù)測(cè)后的高級(jí)語(yǔ)義特征；b k2(G k=g)表示第二階段的位置預(yù)測(cè)熱圖。

3.4 多損失函數(shù)策略

本文采用多個(gè)損失函數(shù)，第一階段輸出為H1，第二階段輸出為H2，將H1與H2串聯(lián)后，經(jīng)過(guò)一個(gè)1×1卷積得到輸出H3，這3個(gè)輸出都采用均方誤差的平方根作為損失函數(shù)，模型的最終損失函數(shù)表示為：

其中：W為模型可學(xué)習(xí)參數(shù)，為每個(gè)損失函數(shù)的權(quán)重，M為訓(xùn)練數(shù)據(jù)量，K為關(guān)節(jié)點(diǎn)數(shù)目，和分別為第j個(gè)樣本的第i個(gè)輸出的第k個(gè)關(guān)節(jié)點(diǎn)的預(yù)測(cè)輸出和真值，l為 均 方 誤 差 的平方根方程。

模型有多個(gè)輸出，使用多損失函數(shù)策略，可以使參數(shù)共享層將學(xué)習(xí)到的相關(guān)信息互相分享與互相補(bǔ)充，進(jìn)而互相促進(jìn)學(xué)習(xí)，提升對(duì)信息的穿透和獲取能力；另外，在多個(gè)輸出任務(wù)同時(shí)進(jìn)行反向傳播時(shí)，共享表示會(huì)兼顧到多個(gè)輸出的反饋，模型通過(guò)平均各個(gè)輸出任務(wù)的噪聲而學(xué)習(xí)到更通用的表征；最后，模型使用多個(gè)損失函數(shù)也可以看做是對(duì)主要輸出任務(wù)的正則補(bǔ)充，可以防止過(guò)擬合，增強(qiáng)模型的泛化能力［18］。

4 試驗(yàn)與結(jié)果分析

本文根據(jù)駕駛?cè)藛T將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集，即測(cè)試集包含與訓(xùn)練集不同的駕駛員、光照條件、駕駛背景等。數(shù)據(jù)集共計(jì)3260張圖片，其中訓(xùn)練集2559張，測(cè)試集701張。

對(duì)訓(xùn)練集做如下的數(shù)據(jù)預(yù)處理工作：首先依據(jù)標(biāo)注的關(guān)節(jié)點(diǎn)生成人體檢測(cè)框，將圖片裁剪為192×192的不包含無(wú)關(guān)背景的訓(xùn)練圖片；裁剪后的圖像使用隨機(jī)旋轉(zhuǎn)（-15°～15°）和隨機(jī)比例（0.8～1.2）來(lái)進(jìn)行數(shù)據(jù)增強(qiáng)；最后對(duì)圖像做標(biāo)準(zhǔn)化處理。

FDPE-Net使 用Tensorflow［17］后 端 的keras實(shí)現(xiàn)，使用NVIDIA Tesla P100 GPU進(jìn)行了訓(xùn)練和測(cè)試。在所有的實(shí)驗(yàn)中，初始學(xué)習(xí)率為5e-4，總迭代輪數(shù)（Epoch）為300，每迭代100次，學(xué)習(xí)率降低5倍，輸入批次的大小（Batch Size）為8，使用RMSProp優(yōu)化算法。關(guān)鍵點(diǎn)的檢測(cè)準(zhǔn)確性，使用評(píng)估指標(biāo)PCK（Percentage of Correct Keypoints）［18］作為標(biāo)準(zhǔn)。在典型的通用人體姿態(tài)估計(jì)中，頭部的尺寸被用作PCK確定容忍度的參 考，即PCKh［9］，本 文 也 采 用 相 同 的 評(píng) 估 標(biāo) 準(zhǔn)PCKh。

4.1 模型的準(zhǔn)確性評(píng)估

為了評(píng)估多損失函數(shù)策略和兩級(jí)級(jí)聯(lián)結(jié)構(gòu)對(duì)模型的改進(jìn)，設(shè)置了對(duì)比實(shí)驗(yàn)，并保證所有實(shí)驗(yàn)的設(shè)置相同。模型1設(shè)計(jì)為特征提取網(wǎng)絡(luò)和兩個(gè)hourglass模塊疊加的單輸出模型；模型2設(shè)計(jì)為一個(gè)兩階段級(jí)聯(lián)網(wǎng)絡(luò)，具有兩個(gè)輸出H1和H2；FDPE-Net網(wǎng)絡(luò)是一個(gè)兩階段級(jí)聯(lián)的多輸出網(wǎng)絡(luò)，其輸出分別為H1，H2和H3。各模型的預(yù)測(cè)精度見(jiàn)表2。

表2 不同模型的預(yù)測(cè)精度（PCKh@0.5）Tab.2 Model prediction accuracy（PCKh@0.5） （%）

從表2可以看出三種模型的預(yù)測(cè)精度差距主要在肘部和腕部，駕駛員的頭部、頸部以及肩部這類關(guān)節(jié)點(diǎn)由于其特征明顯，且不易被完全遮擋，在姿態(tài)估計(jì)任務(wù)中相對(duì)容易檢測(cè)。而腕部和肘部三種模型的預(yù)測(cè)精度有較大差異，主要因?yàn)槿梭w的肘關(guān)節(jié)和腕關(guān)節(jié)的姿態(tài)更加靈活多樣，并且容易出現(xiàn)關(guān)節(jié)遮擋的情況。在駕駛員姿態(tài)估計(jì)中，絕大多數(shù)的駕駛員都更習(xí)慣用右手操作一些與駕駛?cè)蝿?wù)無(wú)關(guān)的動(dòng)作，如喝水、調(diào)節(jié)導(dǎo)航儀，發(fā)信息等。因此右肘和右腕的關(guān)節(jié)點(diǎn)預(yù)測(cè)是所有任務(wù)中最難以檢測(cè)的，準(zhǔn)確的預(yù)測(cè)到此類關(guān)鍵點(diǎn)的坐標(biāo)需要將圖片的低級(jí)特征與高級(jí)語(yǔ)義信息相結(jié)合，實(shí)現(xiàn)整體與局部的聯(lián)合預(yù)測(cè)。通過(guò)多任務(wù)學(xué)習(xí)和多特征聚合的兩階段級(jí)聯(lián)網(wǎng)絡(luò)，網(wǎng)絡(luò)可以學(xué)習(xí)到更多的上下文信息，第二階段的網(wǎng)絡(luò)可以對(duì)難以預(yù)測(cè)的關(guān)鍵點(diǎn)進(jìn)行修正。另外，關(guān)節(jié)點(diǎn)的預(yù)測(cè)也并非是完全獨(dú)立的，當(dāng)右肘的預(yù)測(cè)精度提高時(shí)，右腕的檢測(cè)精度也會(huì)隨之上升。

模型2與FDPE-Net網(wǎng)絡(luò)的各階段輸出預(yù)測(cè)精度見(jiàn)圖7，其中肩、肘、腕的預(yù)測(cè)精度分別表示左右兩個(gè)關(guān)節(jié)點(diǎn)的平均預(yù)測(cè)精度。從圖中可以看出，第一階段網(wǎng)絡(luò)，由于其網(wǎng)絡(luò)深度較淺，對(duì)于駕駛員的頭部和頸部這類相對(duì)容易檢測(cè)到的關(guān)節(jié)點(diǎn)可以達(dá)到較高的預(yù)測(cè)精度，而對(duì)腕關(guān)節(jié)和肘關(guān)節(jié)這類難檢測(cè)點(diǎn)預(yù)測(cè)精度較低。在FDPE-Net網(wǎng)絡(luò)中，通過(guò)使用多損失函數(shù)策略顯著提高了第一階段對(duì)腕關(guān)節(jié)和肘關(guān)節(jié)這類靈活性更大且易遮擋的部位的預(yù)測(cè)精度，各個(gè)任務(wù)之間的互相促進(jìn)，使得網(wǎng)絡(luò)的整體精度較模型2有明顯地提升。

模型1的平均預(yù)測(cè)精度為91.90%；模型2的平均預(yù)測(cè)精度相比模型1提高了1.60%；而FDPE-Net網(wǎng)絡(luò)相比模型1的平均預(yù)測(cè)精度提高了3.84%，平均預(yù)測(cè)精度可達(dá)95.74%。Borghi等人提出的POSEidon網(wǎng)絡(luò)在其實(shí)驗(yàn)室環(huán)境下采集的數(shù)據(jù)集上肩部姿態(tài)估計(jì)的平均精度為92.4%；Chun等人提出的NADS-Net網(wǎng)絡(luò)是對(duì)駕駛艙內(nèi)的駕駛員和前排乘客進(jìn)行姿態(tài)估計(jì)，關(guān)節(jié)點(diǎn)的平均預(yù)測(cè)精度為89%。本文所提出的FDPE-Net網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)駕駛員姿態(tài)的精確估計(jì)，在測(cè)試集上的檢測(cè)結(jié)果示例見(jiàn)圖8。

圖8 測(cè)試集的檢測(cè)示例可視化Fig.8 Visualization of detection examples of the test set

4.2 模型的實(shí)時(shí)性評(píng)估

駕駛員的駕駛姿態(tài)估計(jì)除了需要較高的預(yù)測(cè)精度外，還需較快的運(yùn)行速度和較小的算力。本文從模型的參數(shù)量（Parameters）和計(jì)算量乘加運(yùn) 算 次 數(shù)MACC（Multiply Accumulate Opera?tions）來(lái)評(píng)估模型，各模型的指標(biāo)評(píng)估見(jiàn)表3。FDPE-Net網(wǎng)絡(luò)的基本組成是瓶頸狀的殘差結(jié)構(gòu)，為減少網(wǎng)絡(luò)的參數(shù)量，提高網(wǎng)絡(luò)的運(yùn)算速度，網(wǎng)絡(luò)中的所有殘差結(jié)構(gòu)均采用深度可分離卷積，通過(guò)對(duì)比實(shí)驗(yàn)，驗(yàn)證該設(shè)計(jì)的有效性。

表3 不同模型的指標(biāo)評(píng)估Tab.3 Index evaluation of different models

從表3可以看出本文所設(shè)計(jì)的模型參數(shù)量和計(jì)算量都屬于輕量級(jí)網(wǎng)絡(luò)。當(dāng)殘差塊使用普通卷積層時(shí)，模型參數(shù)量是深度可分離卷積的2.4倍，計(jì)算量是深度可分離卷積的5倍。本文第二節(jié)所描述的模型參數(shù)量?jī)H有0.7 M，計(jì)算量207.3 M，精確度可以達(dá)到95.74%，可以實(shí)現(xiàn)駕駛員駕駛姿態(tài)的實(shí)時(shí)檢測(cè)。

四種對(duì)比模型的各關(guān)節(jié)點(diǎn)預(yù)測(cè)精度見(jiàn)圖9，C_2與D_2相比，其預(yù)測(cè)精度差主要集中在肘部和腕部這類難預(yù)測(cè)點(diǎn)，由于深度可分離卷積大大的減小了模型的參數(shù)量，模型2網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，不足以學(xué)習(xí)到的姿態(tài)關(guān)節(jié)點(diǎn)的表示。C_3與D_3相比，D_3的預(yù)測(cè)精度更高，這是由于FDPE-Net網(wǎng)絡(luò)在多損失函數(shù)的約束下，C_3的參數(shù)量較大，在訓(xùn)練中相比D_3更難以學(xué)習(xí)到最佳參數(shù)。

圖9 不同模型的各關(guān)節(jié)點(diǎn)精度Fig.9 Key point prediction accuracy of each model

5 結(jié)論

在本文中，我們提出了一個(gè)更加簡(jiǎn)潔的輕量型卷積神經(jīng)網(wǎng)絡(luò)（FDPE-Net），用于2D駕駛員的駕駛姿態(tài)的估計(jì)。FDPE-Net是以Hourglass為骨干結(jié)構(gòu)的輕量型多特征聚合卷積神經(jīng)網(wǎng)絡(luò)，模型參數(shù)量?jī)H0.7 M，對(duì)駕駛員關(guān)節(jié)點(diǎn)的平均預(yù)測(cè)精度可達(dá)95.74%。通過(guò)設(shè)置對(duì)比試驗(yàn)，驗(yàn)證了兩級(jí)級(jí)聯(lián)結(jié)構(gòu)和多任務(wù)學(xué)習(xí)策略在本研究中的有效性。此外，本文設(shè)計(jì)并構(gòu)建了一個(gè)在自然駕駛狀態(tài)下的，人體上半身姿態(tài)估計(jì)高質(zhì)量數(shù)據(jù)集。數(shù)據(jù)集除了包含人體關(guān)節(jié)點(diǎn)注釋外，還詳細(xì)描述了駕駛員的詳細(xì)信息和光照條件，用于減少數(shù)據(jù)集偏差。出于安全考慮，我們的數(shù)據(jù)集僅在車輛靜止?fàn)顟B(tài)下采集，且采集的數(shù)量有限，一個(gè)潛在的優(yōu)化方向是通過(guò)合成虛擬數(shù)據(jù)集來(lái)擴(kuò)大數(shù)據(jù)量，實(shí)現(xiàn)使用較少的真實(shí)數(shù)據(jù)有效的學(xué)習(xí)網(wǎng)絡(luò)。另外，本文的研究基于視頻圖像逐幀的檢測(cè)，也可以參考Pavllo等人［19］提出的基于2D關(guān)鍵點(diǎn)的時(shí)間卷積的完全卷積模型，考慮時(shí)間信息（例如光流）。