尤 鑫，蔡藝軍，林 云*，唐 凱，卓建明，鄒建航

（1. 廈門理工學(xué)院光電與通信工程學(xué)院，福建 廈門 361024；2. 廈門唯識(shí)信息科技有限公司，福建 廈門 361024；3. 廈門藍(lán)海環(huán)科儀器有限公司，福建 廈門 361024）

人臉識(shí)別能通過采集的單幅人臉圖像或序列分析確定對(duì)象的身份信息和生物特征，它是一門基于概率論、優(yōu)化技術(shù)、計(jì)算機(jī)視覺和深度學(xué)習(xí)的高度實(shí)用的分支學(xué)科［1］。隨著目標(biāo)檢測和分類技術(shù)的不斷發(fā)展，圖像增強(qiáng)方法已經(jīng)越來越廣泛地應(yīng)用到人臉識(shí)別上。近幾年比較流行的算法可以分為兩類：一類是基于圖像區(qū)域劃分的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（region-convolutional neural network，R-CNN）算法，它們首先通過選擇性搜索來產(chǎn)生錨框標(biāo)定區(qū)域，然后再做分類與回歸，屬于雙階段預(yù)測方法；另一類是單次預(yù)測算法，如單發(fā)多框檢測器（single shot multiBox detector，SSD）、RetinaNet 都是直接使用一個(gè)卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）檢驗(yàn)不同種類與方位的目標(biāo)［2］，二者的劃分依據(jù)在于有無候選框的生成步驟。到目前為止，效果比較好的人臉識(shí)別算法基本上都是運(yùn)用CNN 實(shí)現(xiàn)的。為了達(dá)到對(duì)二維輸入的最佳處理結(jié)果，CNN被設(shè)計(jì)成深層前饋神經(jīng)網(wǎng)絡(luò)［3］。相比之下，基于YOLO 框架的圖像檢測技術(shù)識(shí)別更快，其主要原理是先把一整幅圖像放置于實(shí)例中，然后預(yù)測框的邊緣坐標(biāo)及具體的類別概率，而當(dāng)遇到光線遮擋等復(fù)雜多變的識(shí)別場景時(shí)，通過預(yù)先訓(xùn)練完成的YOLOv3和YOLOv5s網(wǎng)絡(luò)模型來提取人臉特征，能夠達(dá)到比傳統(tǒng)CNN更好的人臉識(shí)別效果。

眾所周知，許多深度學(xué)習(xí)的計(jì)算機(jī)視覺研究都需要大量的數(shù)據(jù)，因?yàn)榇髷?shù)據(jù)可以有效地防止過擬合。對(duì)此，文獻(xiàn)［4］在幾個(gè)公開的數(shù)據(jù)集上分別做鏡像、對(duì)稱變換，然后把生成的樣本和原始數(shù)據(jù)融合起來以擴(kuò)充訓(xùn)練容量，其錯(cuò)誤識(shí)別率有所下降；文獻(xiàn)［5］將隨機(jī)噪聲添加到訓(xùn)練樣本中來增廣訓(xùn)練數(shù)據(jù)；文獻(xiàn)［6］基于3D人臉模型和單幅圖片產(chǎn)生不同的神態(tài)，以及戴眼鏡的人臉圖像，對(duì)有限的訓(xùn)練樣本進(jìn)行擴(kuò)充來增廣數(shù)據(jù)。2019 年，Shorten 等［7］給出了更全面的數(shù)據(jù)增廣，根據(jù)復(fù)雜度將常用的增廣技術(shù)劃分為基本圖像處理和基于深度學(xué)習(xí)兩種。雖然深度模型的過擬合問題得到了解決，但這些檢測算法使用的人臉圖像，普遍還是在亮度分布均勻、對(duì)象姿態(tài)單一、無特殊表情，以及規(guī)定圖像分辨率的條件下采集的，所以識(shí)別系統(tǒng)才可以達(dá)到較高的識(shí)別精度。而實(shí)際場景中經(jīng)常存在各種干擾且無約束因素，導(dǎo)致原始圖像的攝影環(huán)境不受控，識(shí)別效果無疑會(huì)受到影響。除了上述問題外，所制作的訓(xùn)練數(shù)據(jù)集還會(huì)由于某類樣本圖像較少導(dǎo)致模型欠缺相應(yīng)的先驗(yàn)知識(shí)，降低平均檢測精度。因此，本文在訓(xùn)練過程中對(duì)圖片采取像素級(jí)變換等數(shù)據(jù)增廣操作，通過擴(kuò)充測試集里部分類別缺乏的相關(guān)樣本來提升總體的識(shí)別準(zhǔn)確率。同時(shí)，為盡量還原真實(shí)情景，利用imgaug 庫生成不同的增廣圖像，以調(diào)整圖像亮度，豐富樣本，增強(qiáng)YOLO系列網(wǎng)絡(luò)模型的泛化能力。

1 數(shù)據(jù)增廣方案

1.1 在線增廣

YOLOv5的python訓(xùn)練文件自帶了數(shù)據(jù)增廣的選項(xiàng)，可以在原有的數(shù)據(jù)集上進(jìn)行相關(guān)的增廣操作。除此之外，Mosaic數(shù)據(jù)增廣作為YOLOv5最大的創(chuàng)新點(diǎn)則是拼接隨機(jī)縮放或者裁剪后的任意4張圖片。

Cutmix增廣方式、隨機(jī)裁剪與填充類似，它可以看作是Cutout，僅裁剪圖片不改變標(biāo)簽的局部融合思想和Mixup，混合標(biāo)簽的結(jié)合，該區(qū)域的一部分被剪切，但未填充 0 像素。即通過權(quán)重參數(shù)λ隨機(jī)讓2張圖像Ii、Ij，以及它們的語義標(biāo)簽xi、xj執(zhí)行加權(quán)的求和運(yùn)算，產(chǎn)生另一張圖像與標(biāo)簽［8］，計(jì)算公式為

相反，Cutmix 隨機(jī)填充訓(xùn)練集中其他標(biāo)簽像素值也有明顯的優(yōu)點(diǎn)，比如不包括信息的像素將不在訓(xùn)練的時(shí)候顯示，因此效率也就得到了提升。向修剪區(qū)域添加其他樣本的信息，提高了模型的目標(biāo)位置，滿足了模型從局部視圖識(shí)別目標(biāo)的要求，且Cutmix 處理的圖像更符合人的視覺感受，模型分類的效果也得到了優(yōu)化，而且訓(xùn)練和推理的復(fù)雜度并沒有改變［9］。

以上的增廣技術(shù)常常是嵌入通用文件夾底層代碼的數(shù)據(jù)加載器內(nèi)部，因此在訓(xùn)練每張圖片的過程中都會(huì)做數(shù)據(jù)增廣的操作。一般情況下，YOLOv5官方訓(xùn)練代碼的數(shù)據(jù)增廣方法是利用數(shù)據(jù)集進(jìn)行反復(fù)多次的訓(xùn)練。由于每次數(shù)據(jù)增廣都是隨機(jī)的，因此與原先訓(xùn)練的數(shù)據(jù)集又有所區(qū)別，這樣就相當(dāng)于增加了數(shù)據(jù)集的樣本數(shù)量，即在線增廣，在線增廣的效果示例如圖1所示。本文的在線增廣就是一邊訓(xùn)練一邊進(jìn)行數(shù)據(jù)增廣，本地保存的數(shù)據(jù)集文件不會(huì)發(fā)生改變。

圖1 在線增廣示例Fig.1 Online augmentation example

1.2 本地增廣imgaug庫

非在線數(shù)據(jù)增廣就是對(duì)數(shù)據(jù)集進(jìn)行增廣并保存在本地，形成一個(gè)新的數(shù)據(jù)集，利用這個(gè)新數(shù)據(jù)集進(jìn)行訓(xùn)練的同時(shí)，本地保存的數(shù)據(jù)也發(fā)生了改變。

imgaug是最實(shí)用的python圖像增強(qiáng)庫之一，常常被推薦用于深度學(xué)習(xí)領(lǐng)域內(nèi)的分類問題，還有檢測任務(wù)等多種要求的數(shù)據(jù)增強(qiáng)應(yīng)用程序之中［10］。假設(shè)在基于深度學(xué)習(xí)應(yīng)對(duì)實(shí)際的機(jī)器視覺工程項(xiàng)目的情景下，很多像人臉遮擋這樣的問題是無法避免的。而各種現(xiàn)實(shí)環(huán)境又導(dǎo)致所制作的數(shù)據(jù)無法真實(shí)還原，所以數(shù)據(jù)增廣操作非常有必要［11］。imgaug 庫其實(shí)就是在人臉圖像訓(xùn)練集中以提高特征識(shí)別的精度為前提，實(shí)現(xiàn)多尺度的圖像變換等增廣手段。該方法解決了數(shù)據(jù)樣本不足時(shí)訓(xùn)練的網(wǎng)絡(luò)模型泛化能力不足的問題，例如，通過仿射方法的rotate 參數(shù)讓圖像旋轉(zhuǎn)-90°～90°區(qū)間范圍內(nèi)的隨機(jī)角度。需要注意的是，當(dāng)運(yùn)用imgaug 自帶的圖像增廣功能時(shí)，應(yīng)該先傳參生成某類含有增廣數(shù)據(jù)的實(shí)例后，再通過它進(jìn)行圖像處理。其他的增廣方法有水平翻轉(zhuǎn)（Fliplr）、垂直翻轉(zhuǎn)（Flipud）、取圖片像素值的相反數(shù)（Invert）、從每個(gè)圖像（Crop）裁剪0%～20%來產(chǎn)生增廣圖像，而且Crop 函數(shù)剪切圖片后，默認(rèn)會(huì)保持輸入圖像的尺寸不變，非原圖區(qū)域用黑色填充。更改圖像大小可以修改為Crop（…，keep_size=False）的形式；實(shí)現(xiàn)裁剪并設(shè)置填充模式為“邊緣”，形如CropAndPad（percent= （-0.2，0.2），pad_mode="edge"）能夠達(dá)到先刪除圖像任意20%的區(qū)域，然后在邊界填充圖形到原先大小的目標(biāo)，還有更改并調(diào)整空間飽和度（AddToHueAndSaturation）等。原始訓(xùn)練樣本和不同增廣方法生成的圖像見圖2。

圖2 原始訓(xùn)練樣本及相應(yīng)的增廣圖像Fig.2 Original training samples and corresponding augmented images

除此之外，為適應(yīng)不斷變化的外部條件，往往需要同時(shí)使用多種圖像增廣技術(shù)搭配實(shí)際的深度學(xué)習(xí)模型來進(jìn)行訓(xùn)練。在此情形下，可以使用imgaug 中符合keras 和Pytorch 框架中的Sequential 方法，將不同的增廣器組合到一個(gè)管道中，然后將它們?nèi)繎?yīng)用到單個(gè)增廣調(diào)用中，以實(shí)現(xiàn)多種增廣技術(shù)拼接在一起的功能，詳細(xì)調(diào)用形式為iaa.Sequential（［ … ］）。假如要使用每項(xiàng)增廣方法并隨機(jī)排序，將random_order 設(shè)置成True 即可。SomeOf 子項(xiàng)增廣器和生成增廣序列的Sequential 方法同樣可以組合使用多圖像增廣方法，但只能選用不超過子項(xiàng)中所用增廣方法總數(shù)的其中幾種。

處理邊界框最常見的方法是計(jì)算交并比（intersection over union，IoU），相交處區(qū)域可以使用imgaug 提供的BoundingBox.intersection（other_bounding_box）方法進(jìn)行估算，然后返回另一個(gè)邊框。如果遇到需要把一個(gè)圖像的邊界框映射到其他圖像的情況時(shí)，可以通過調(diào)用BoundingBox. project（from_shape，to_shape）和BoundingBoxesImage. on（new_image）。如果必須補(bǔ)償填充，應(yīng)使用Boundingbox. shift（［top］、［right］、［bottom］、［left］）或相同的BoundingBoxesImage 方法，同時(shí)更新.shape屬性對(duì)應(yīng)填充后生成的圖像。

2 網(wǎng)絡(luò)模型結(jié)構(gòu)和數(shù)據(jù)集

2.1 網(wǎng)絡(luò)模型

相較于早期版本的YOLO 算法，2018年改進(jìn)之后的YOLOv3訓(xùn)練出了更加龐雜的網(wǎng)絡(luò)模型。但其推理速度更快，識(shí)別更為準(zhǔn)確，并且當(dāng)以COCO數(shù)據(jù)集進(jìn)行測試時(shí)，各類別平均檢測精度的均值能達(dá)到57.9%［12］。對(duì)比不同網(wǎng)絡(luò)模型結(jié)構(gòu)的mAP 值（表1）可以得出，與大多數(shù)的ResNet-101 系列網(wǎng)絡(luò)相比，Darknet-53更精確。

表1 不同網(wǎng)絡(luò)模型結(jié)構(gòu)的mAP值對(duì)比表Table 1 mAP values for network model structures compared

YOLOv3 在IoU=0.50 的情況下具有不錯(cuò)的識(shí)別結(jié)果，但隨著交并比的增大，性能出現(xiàn)顯著下滑，說明YOLOv3 在檢測框回歸的準(zhǔn)確性問題上還有進(jìn)一步提高的空間，其主干網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 DarkNet-53架構(gòu)Fig.3 Architecture of DarkNet-53

YOLOv3 訓(xùn)練圖像樣本通常需要調(diào)用特定的程序算出錨框的初始坐標(biāo)，而YOLOv5 對(duì)此做了改進(jìn)，把這個(gè)過程寫進(jìn)了主函數(shù)代碼里，并在每個(gè)單獨(dú)的訓(xùn)練epoch 中自動(dòng)計(jì)算出不同數(shù)據(jù)集所屬最佳錨框的值［14］。

2.2 數(shù)據(jù)集的訓(xùn)練和預(yù)測

本文的原始數(shù)據(jù)是從互聯(lián)網(wǎng)爬取的面部圖片，利用fer2013 表情數(shù)據(jù)集和YALE 人臉數(shù)據(jù)庫訓(xùn)練得到的模型進(jìn)行預(yù)測，篩選出符合不同表情、不同角度與光照條件即正確率較高的部分圖像制作成訓(xùn)練集。數(shù)據(jù)包含了18 類國內(nèi)外知名人士共350 張圖像，而驗(yàn)證集源自CelebA 分類完成后對(duì)應(yīng)訓(xùn)練集所選人士的180張圖像。圖4為原始數(shù)據(jù)的部分圖像。

圖4 訓(xùn)練數(shù)據(jù)集部分圖像Fig.4 Some images of the training dataset

只有訓(xùn)練數(shù)據(jù)集的圖像豐富多樣，才能保證識(shí)別或認(rèn)證更有實(shí)際意義。為了有更大的幾率使樣本包含真實(shí)情形中的圖片，并在測試集內(nèi)擴(kuò)充容量不足的那些類別，因此，選擇節(jié)1.2中的imgaug本地增廣方式所生成的旋轉(zhuǎn)和裁剪圖像、鏡像和色彩反相圖像、刪除并填充和飽和度轉(zhuǎn)換圖像擴(kuò)展源數(shù)據(jù)集，以研究圖像增廣方式在訓(xùn)練過程中對(duì)模型識(shí)別準(zhǔn)確率的提升性能。增廣后的數(shù)據(jù)容量由原來的350 張面部圖片擴(kuò)大了5 倍，然后將圖像按9∶1 的比例分成了訓(xùn)練集和驗(yàn)證集［15］。圖像增廣的流程圖如圖5所示。

圖5 圖像增廣流程圖Fig.5 Flowchart of image augmentation

3 實(shí)驗(yàn)結(jié)果與分析

在之前提出的增廣理論的基礎(chǔ)上，為檢驗(yàn)其實(shí)現(xiàn)預(yù)期的效果，首先通過已預(yù)訓(xùn)練的YOLOv3網(wǎng)絡(luò)模型對(duì)人臉特征進(jìn)行提取，測試時(shí)再根據(jù)標(biāo)簽的置信度分析具體所屬類別，以達(dá)到識(shí)別人臉身份的目標(biāo)。分別選取不同結(jié)構(gòu)的特征提取主干網(wǎng)絡(luò)，在訓(xùn)練過程中隨機(jī)地對(duì)樣本圖片進(jìn)行數(shù)據(jù)增廣處理，總共訓(xùn)練了100輪epoch后再開始預(yù)測。

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)部署于Xshell 終端模擬器，由Pycharm 專業(yè)版通過添加遠(yuǎn)程SSH 解釋器環(huán)境運(yùn)行，操作系統(tǒng)為ubuntu18.04；極鏈AI云平臺(tái)提供算力供網(wǎng)絡(luò)訓(xùn)練使用。

3.2 實(shí)驗(yàn)設(shè)計(jì)

驗(yàn)證階段分別設(shè)計(jì)了多組對(duì)照實(shí)驗(yàn)，采用的網(wǎng)絡(luò)模型是YOLOv3和YOLOv5s，然后在不同增廣技術(shù)處理下的小樣本數(shù)據(jù)集中對(duì)它們開始訓(xùn)練。實(shí)驗(yàn)組的設(shè)置分為兩類：一類是邊訓(xùn)練邊隨機(jī)生成增廣圖像，另一類是不使用圖像增廣。為了防止其他因素對(duì)測試效果產(chǎn)生影響，除了設(shè)置不同的增廣方法和網(wǎng)絡(luò)模型之外［16］，具體參數(shù)也都大部分保持一致，如訓(xùn)練集所采用的訓(xùn)練batchsize 都是8，訓(xùn)練epoch數(shù)都是100輪次。

3.3 不同增廣方式對(duì)識(shí)別精度的提升效果

在YOLOv3 的Pytorch 版本中，本文利用imgaug 圖像增廣庫的Invert 和Fliplr 方式將源數(shù)據(jù)增廣成新的數(shù)據(jù)集。在IoU=0.5 的情形下，圖像增廣前后模型的預(yù)測準(zhǔn)確性與效果見圖6。由圖6 可見，利用imgaug數(shù)據(jù)增廣庫可以明顯提高YOLOv3檢測人臉的準(zhǔn)確性。

圖6 基于YOLOv3的增廣效果對(duì)比實(shí)驗(yàn)結(jié)果Fig.6 Experimental results of augmentation effect based on YOLOv3 conpared

在YOLOv5的網(wǎng)絡(luò)框架下，源數(shù)據(jù)也通過imgaug庫組合使用幾種圖像增廣方法將數(shù)據(jù)集的樣本容量擴(kuò)充了5倍。圖7給出了模型在增廣前后測試集上 IoU=0.5和IoU=0.5～0.95的準(zhǔn)確率及預(yù)測效果。

圖7 基于YOLOv5的增廣效果對(duì)比實(shí)驗(yàn)結(jié)果Fig.7 Experimental results of augmentation effect based on YOLOv5 compared

由實(shí)驗(yàn)組的4 幅圖可知，在imgaug 數(shù)據(jù)增廣庫的作用下，CropAndPad 組合AddToHueAnd Saturation 技術(shù)在性能改進(jìn)方面比其他增廣技術(shù)更顯著。但因?yàn)榫植坎眉魧?dǎo)致人臉部分有所損失，Crop加Rotate這種組合增廣方法可能識(shí)別不出人臉身份，因此性能并不理想。

3.4 結(jié)果分析

不同增廣方式下，YOLO 系列網(wǎng)絡(luò)平均精度的實(shí)驗(yàn)結(jié)果如表2 所示。由表2 可見，根據(jù)圖像增廣方案的不同，YOLO 系列網(wǎng)絡(luò)的預(yù)測精度都有不同程度的提高。由于訓(xùn)練時(shí)的在線隨機(jī)增廣處理并不能有效增強(qiáng)網(wǎng)絡(luò)模型的泛化能力，因此，組合使用imgaug 庫的多種本地增廣方式，可以在不過多增加計(jì)算復(fù)雜度的基礎(chǔ)上較好地優(yōu)化識(shí)別準(zhǔn)確率。

表2 不同增廣方式下YOLO網(wǎng)絡(luò)平均精度Table 2 Average Precision of YOLO network under different augmentation methods

4 結(jié)論

本文針對(duì)小樣本數(shù)據(jù)集神經(jīng)網(wǎng)絡(luò)模型可能出現(xiàn)訓(xùn)練不足的問題，通過imgaug 圖像增廣庫來增加樣本容量，使所訓(xùn)練的網(wǎng)絡(luò)模型的泛化能力得以提高，由增廣的對(duì)照實(shí)驗(yàn)結(jié)果可見，效果比較理想。其中，對(duì)于很深的YOLOv3主干特征提取網(wǎng)絡(luò)，其平均檢測精度提高了38%左右；對(duì)于多種結(jié)構(gòu)復(fù)雜的YOLOv5網(wǎng)絡(luò)模型，其效果也很明顯。可見，imgaug庫普遍適用于小規(guī)模數(shù)據(jù)樣本訓(xùn)練過程中的神經(jīng)網(wǎng)絡(luò)。另外，與其他增廣方式相比，采用CropAndPad 和AddToHueAndSaturation 的組合增廣方式，能表現(xiàn)出更好的效果，提升了約0.5%。