祁星晨，卓旭升

(武漢工程大學(xué) 電氣信息學(xué)院，湖北 武漢 430205)

0 引言

近年來，邊緣設(shè)備等爆炸式增長，百億數(shù)量級的邊緣設(shè)備接入互聯(lián)網(wǎng)。傳統(tǒng)的AI計算架構(gòu)主要是依靠云計算，雖然云計算能夠提供足夠的計算能力和可靠的計算結(jié)果，但其不斷地消耗大量電力，且邊緣設(shè)備也需要消耗能量收集數(shù)據(jù)并傳輸?shù)皆贫?，傳輸過程存在著延遲。而邊緣設(shè)備與AI的結(jié)合能夠降低能源的消耗以及降低延遲，使得原本在云端完成的任務(wù)可在邊緣設(shè)備完成，降低了云端的負擔(dān)，發(fā)掘了邊緣設(shè)備的計算能力[1-3]。

目標(biāo)檢測是AI領(lǐng)域的熱點研究任務(wù)，廣泛應(yīng)用于機器人導(dǎo)航、工業(yè)檢測和航空航天等諸多領(lǐng)域，其目的是找出圖像中所有感興趣的物體，包含物體定位和物體分類兩個子任務(wù)。而人臉檢測屬于目標(biāo)檢測任務(wù)的子集，在人臉檢測基礎(chǔ)上的應(yīng)用有人臉識別、表情分析等。關(guān)于目標(biāo)檢測任務(wù)的研究有許多，產(chǎn)出了許多成果，主要有Viola-Jones[4]、Faster-RCNN[5]、YOLO[6]、SSD[7]、Cascade R-CNN[8]、MTCNN[9]等，這些研究在目標(biāo)檢測任務(wù)上精度和速度的要求不斷提高。對于邊緣設(shè)備，特別是低功耗邊緣設(shè)備，資源極其有限，目標(biāo)檢測任務(wù)往往需要較大的算力，因而難以得到應(yīng)用。文獻[10]和文獻[11]均利用深度學(xué)習(xí)的方法對人臉進行檢測，在精度上有著較好的表現(xiàn)，但是其應(yīng)用主要是依靠PC系統(tǒng)上強大的GPU，難以實際應(yīng)用于低功耗的邊緣設(shè)備。文獻[12]、文獻[13]和文獻[14]在FPGA平臺和NVIDIA JETSON TX2嵌入式平臺上實現(xiàn)了目標(biāo)檢測和識別的應(yīng)用，相比較與PC系統(tǒng)的功耗，F(xiàn)PGA平臺和NVIDIA JETSON TX2嵌入式平臺的功耗稍低，能效高。文獻[15]則將深度可分離卷積于表情識別，文獻[16]將MobileNet-SSD的目標(biāo)檢測任務(wù)部署于NVIDIA JETSON TX2平臺上，文獻[17]將Yolov3的目標(biāo)檢測任務(wù)部署于NVIDIA JETSON TX1平臺上，文獻[18]將改進的R-DA和KCF算法部署于NVIDIA JETSON TX1平臺。相比較而言，上述平臺對于大部分低功耗邊緣設(shè)備來說，算力較強，因此將精簡和優(yōu)化后的目標(biāo)檢測模型部署于低功耗邊緣設(shè)備是十分必要的。

基于上述背景和已有的研究，本文以人臉檢測為例的目標(biāo)檢測任務(wù)，針對Cortex-M7為內(nèi)核的低功耗上的實現(xiàn)和應(yīng)用，選擇了MTCNN這一靈活的算法作為本文主要實現(xiàn)的人臉檢測功能的主干，在ST公司的STM32H747-DISCO雙核平臺上，實現(xiàn)了人臉檢測和跟蹤，解決了一部分目標(biāo)檢測任務(wù)在低功耗邊緣設(shè)備應(yīng)用問題。

1 MTCNN及其改進

1.1 MTCNN

MTCNN人臉檢測和對齊算法是利用多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)完成的，主要任務(wù)是尋找圖像中人臉?biāo)诘奈恢脜^(qū)域，以及人臉對齊，即找出特征點的位置，如鼻子左側(cè)、鼻孔下側(cè)、瞳孔位置、上嘴唇下側(cè)等點，其主要結(jié)構(gòu)如圖1所示。

圖1 MTCNN中P-Net、R-Net和O-Net的結(jié)構(gòu)

工作過程主要是建立圖像金字塔后，由P-Net這一建議網(wǎng)絡(luò)對圖像中可能存在人臉的位置提出建議，生成大量裁剪的分辨率為24×24的RGB圖片，輸入到R-Net(也就是精調(diào)網(wǎng)絡(luò))，對P-Net提出的建議經(jīng)過仔細判斷，并再次提出經(jīng)過修改和判斷的意見，從原圖像中裁剪出意見中對應(yīng)的、分辨率為48×48的圖片，最后將這些圖片輸入到O-Net也就是輸出網(wǎng)絡(luò)，得到最終的人臉分類概率、人臉檢測框和人臉特征點的位置。圖2展示了這一三層、三級串聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的工作過程。

圖2 MTCNN工作流水線

1.2 改進MTCNN

MTCNN算法具有一定的改進空間，本文主要從三層級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)、極大值抑制(NMS)和輸出結(jié)構(gòu)三方面進行速度優(yōu)化和改進，雖然損失了精度，但是換來了能夠在低功耗邊緣設(shè)備上運行的可能性。

1.2.1 深度可分離卷積

深度可分離卷積[19]是谷歌公司于2017年在Mobilenets中提出的適用于移動設(shè)備的輕量級卷積核。

如圖3所示，標(biāo)準(zhǔn)的卷積核大小為DK×DK×M×N，其中DK為核的空間尺寸，M是輸入通道，N是輸出通道。如圖4(a)和圖4(b)所示，深度可分離卷積在同樣輸入和特征圖輸出情況下，其大小為DK×DK×M+M×N，很明顯地可以看出深度可分離卷積的大小較小，若DF為輸出特征圖大小，那么標(biāo)準(zhǔn)卷積的計算消耗為DK×DK×M×N×DF×DF，深度可分離卷積的計算消耗為DK×DK×M×DF×DF+M×N×DF×DF，因此深度可分離卷積不僅在大小上而且在速度上比標(biāo)準(zhǔn)的卷積核有優(yōu)勢，故而本文將使用深度可分離卷積替代MTCNN中的部分卷積核，并適當(dāng)減小卷積核的大小。MTCNN和改進后3個網(wǎng)絡(luò)的對比見表1。

圖3 標(biāo)準(zhǔn)卷積的大小

圖4 深度可分離卷積構(gòu)成

1.2.2 非極大值抑制算法(NMS)

MTCNN中使用的非極大值抑制有效地將P-Net、R-Net和O-Net輸出的人臉候選框重復(fù)部分較大的去除，進而使R-Net和O-Net的計算量減少。對于低功耗邊緣設(shè)備需要更高效率的非極大值抑制，并可根據(jù)應(yīng)用場景和經(jīng)驗調(diào)整相應(yīng)的閾值，以便適應(yīng)不同的環(huán)境,第一個閾值為候選框控制是人臉的最低概率，第二個閾值為控制多個候選框最大的Iou值，具體計算過程可見以下算法。

1.2.3 訓(xùn)練和移植改進MTCNN

本文使用widerface數(shù)據(jù)集，深度學(xué)習(xí)框架為Tensor-Flow 2.1.0，GTX-1050訓(xùn)練改進MTCNN的P-Net和R-Net。訓(xùn)練完畢后，將P-Net輸入為固定大小的圖像金字塔,由于邊緣設(shè)備的圖像采集設(shè)備往分辨率是固定的，并不需要處理各種分辨率場景的圖像，因此固定數(shù)量和分辨率的圖像金字塔能夠更靈活地適應(yīng)不同計算能力的邊緣設(shè)備。本文圖像金字塔中圖像數(shù)量為2，分辨率分別為80×60和40×30。

1.3 云臺跟蹤單張人臉

人臉跟蹤是在三維空間一個點上旋轉(zhuǎn)攝像頭以保持人臉在圖像中心，因此本文使用兩軸舵機云臺作為機動裝置，控制舵機角度使用PWM占空比的方式，如圖5方框中所示。

假設(shè)人臉候選框已給出，人臉在單幀圖像中的位置，候選框的左上角坐標(biāo)為(x0，y0)，右下角坐標(biāo)(x1，y1)，那么人臉候選框中心點為：(xc，yc)=([(x1-x0)/2]，[(y1-y0)/2])，其中[ ]為取整函數(shù)。

攝像頭獲取的單幀圖像中心點為(xi，yi)，采用增量式PI算法，對橫向軸舵機的控制量則有Sx=kP·(xc-xi)+kI·∑(xc-xi)，其中，kP、kI為增益；Sy同理。

表1 MTCNN和改進后的MTCNN結(jié)構(gòu)對比

2 測試結(jié)果

利用ST公司的Cube.AI工具箱對改進MTCNN的P-Net和R-Net進行轉(zhuǎn)換，以便移植到邊緣設(shè)備，最終可將改進MTCNN移植到STM32H747-Disco平臺，并進行測試，平臺如圖5所示。

圖5 本文平臺實物圖

本文邊緣平臺的速度可達600～800 ms一張人臉，多張人臉的計算速度會增加約每張人臉200 ms，由于算法的可調(diào)閾值，故而對于人臉個數(shù)可控，因此速度也可控，單張人臉檢測結(jié)果如圖6和圖7所示，圖中的框為人臉檢測框。

圖6 單張人臉檢測結(jié)果(戴口罩)

圖7 單張人臉檢測結(jié)果(不戴口罩，背景有強烈白光)

本文平臺運行在全速(即480 MHz)，并且打開了絕大部分外設(shè)，根據(jù)ST數(shù)據(jù)手冊、文獻[13]、文獻[14]中提到的平臺，表2僅列出CPU的峰值功耗，其余外設(shè)不計，并對比了邊緣平臺所擁有的各種資源，可見低功耗邊緣平臺的資源是非常緊湊的，而且計算能力遠不如大型平臺。

表2 多種邊緣平臺功耗對比

3 結(jié)論

本文完成了目標(biāo)檢測任務(wù)在資源極其有限的計算平臺的實現(xiàn)?；贛TCNN算法進行改進，可應(yīng)用于固定場景、人臉個數(shù)不多的條件下，非常適合電池供電的低功耗邊緣設(shè)備對目標(biāo)檢測功能的需要。測試結(jié)果表明，深度學(xué)習(xí)的方法魯棒性較高，不僅是人臉檢測任務(wù)，本文方法可為其他目標(biāo)檢測在低功耗邊緣應(yīng)用作為參考，可用于多種場景。本文方法不足之處和未來需要做的工作：

(1)本文目標(biāo)檢測任務(wù)在資源極其有限的平臺運行，檢測速度也極其有限，因此下一步可通過量化、稀疏化等方法對卷積神經(jīng)網(wǎng)絡(luò)模型進行優(yōu)化，提高檢測速度。

(2)人臉檢測僅有一種物體的檢測，因此未來可繼續(xù)研究如何在低功耗邊緣設(shè)備上提供兩種或兩種以上物體的檢測，以此充分利用邊緣設(shè)備的計算能力。