趙 驍，陳 勇，李一洋

（北方自動(dòng)控制技術(shù)研究所，太原 030006）

0 引言

人臉識(shí)別技術(shù)在單兵領(lǐng)域有著廣泛的應(yīng)用，其重要性不言而喻。通過人臉識(shí)別技術(shù)進(jìn)行敵我識(shí)別，可以獲取關(guān)鍵的戰(zhàn)術(shù)信息，輔助指揮員作出重要決策，實(shí)現(xiàn)對(duì)戰(zhàn)場(chǎng)態(tài)勢(shì)的實(shí)時(shí)把控。單兵作戰(zhàn)時(shí)，往往面臨著復(fù)雜的作戰(zhàn)環(huán)境，這就導(dǎo)致應(yīng)用于單兵作戰(zhàn)的人臉識(shí)別也受到了惡劣環(huán)境的影響。在復(fù)雜的環(huán)境中，采集到的人臉圖像往往會(huì)存在著低畫質(zhì)、低分辨率的問題。這種情況下，人臉識(shí)別的精度受到了很大的影響。

軍事場(chǎng)景中，提高低分辨率人臉識(shí)別的準(zhǔn)確率具有重要意義。隨著科技的不斷發(fā)展，軍事情報(bào)的收集和作戰(zhàn)行動(dòng)都越來越多地依賴于人臉識(shí)別的技術(shù)。然而，實(shí)際應(yīng)用中，由于各種條件的限制，低分辨率人臉識(shí)別率往往較低，這給軍事情報(bào)的收集和作戰(zhàn)行動(dòng)帶來了諸多困難和挑戰(zhàn)。

提高低分辨率人臉識(shí)別的準(zhǔn)確率，可以幫助軍方更加準(zhǔn)確地識(shí)別敵我雙方的人員。在軍事情報(bào)收集中，敵方人員的身份識(shí)別是至關(guān)重要的，而敵方往往會(huì)采取各種手段來限制情報(bào)的獲取，其中，包括了對(duì)人臉圖像進(jìn)行故意模糊化處理。如果能夠提高對(duì)低分辨率人臉的識(shí)別率，就能夠更好地識(shí)別敵方人員的身份，為軍事情報(bào)的收集提供更加準(zhǔn)確的數(shù)據(jù)支持。其次，提高低分辨率人臉識(shí)別的準(zhǔn)確率可以幫助軍方更好地進(jìn)行目標(biāo)追蹤和監(jiān)視。在作戰(zhàn)行動(dòng)中，軍方往往需要對(duì)目標(biāo)進(jìn)行追蹤和監(jiān)視，而目標(biāo)往往會(huì)采取各種手段來隱藏身份和行蹤。如果能夠提高對(duì)低分辨率人臉的識(shí)別準(zhǔn)確率，就能夠更好地對(duì)目標(biāo)進(jìn)行追蹤和監(jiān)視，為作戰(zhàn)行動(dòng)提供更加準(zhǔn)確的情報(bào)支持。此外，提高低分辨率人臉識(shí)別的準(zhǔn)確率，還可以幫助軍方更好地進(jìn)行反恐作戰(zhàn)和打擊犯罪活動(dòng)。提高軍事場(chǎng)景中低分辨率人臉識(shí)別的準(zhǔn)確率具有非常重大的意義。不僅可以幫助軍方更好地進(jìn)行情報(bào)收集、作戰(zhàn)行動(dòng)、反恐作戰(zhàn)、打擊犯罪活動(dòng)、邊境管控和入境檢查，還可以提高國(guó)家安全的整體水平。因此，軍事科研機(jī)構(gòu)和企業(yè)應(yīng)該加大對(duì)低分辨率人臉識(shí)別技術(shù)的研發(fā)投入，不斷提高其準(zhǔn)確率和可靠性，為軍事情報(bào)收集和作戰(zhàn)行動(dòng)提供更加強(qiáng)大的技術(shù)支持。

由于現(xiàn)實(shí)生活中攝像頭分辨率的限制或者圖像傳輸過程中的損失，導(dǎo)致獲取的人臉圖像分辨率較低。低分辨率圖像可能會(huì)影響人臉識(shí)別系統(tǒng)的準(zhǔn)確性和性能。因此，研究人員開始關(guān)注如何利用超分辨率重建技術(shù)來提高人臉圖像的質(zhì)量，從而改善人臉識(shí)別的效果。本文的研究?jī)?nèi)容如圖1 所示，利用人臉超分辨率重建技術(shù)對(duì)低分辨率人臉進(jìn)行處理。對(duì)人臉進(jìn)行超分辨率重建可以提高識(shí)別的準(zhǔn)確性，通過提高人臉圖像的分辨率和清晰度，可以提高人臉識(shí)別系統(tǒng)的準(zhǔn)確性和魯棒性，從而降低誤識(shí)率；增強(qiáng)細(xì)節(jié)信息，高分辨率圖像能夠提供更多的細(xì)節(jié)信息，有助于更準(zhǔn)確地捕捉人臉的特征，提高識(shí)別的精確度；改善圖像質(zhì)量，通過超分辨率重建技術(shù)，可以改善低分辨率圖像的質(zhì)量，使得圖像更加清晰自然，提高用戶體驗(yàn)。

圖1 研究?jī)?nèi)容Fig.1 Research contents

超分辨率重建在人臉識(shí)別領(lǐng)域的研究主要包括以下幾個(gè)方面：

基于深度學(xué)習(xí)的超分辨率重建算法：研究人員正在開發(fā)深度卷積神經(jīng)網(wǎng)絡(luò)，通過開發(fā)深度卷積神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)超分辨率人臉圖像重建，從而研究低分辨率和高分辨率圖像之間的關(guān)系［1］。結(jié)合生成對(duì)抗網(wǎng)絡(luò)的超分辨率重建算法：利用生成對(duì)抗網(wǎng)絡(luò)（GAN）的思想，設(shè)計(jì)可以生成高質(zhì)量人臉圖像的超分辨率重建模型。融合圖像修復(fù)和超分辨率重建技術(shù)結(jié)合圖像修復(fù)技術(shù)，對(duì)低分辨率圖像中的噪聲和失真進(jìn)行修復(fù)，然后再進(jìn)行超分辨率重建，以提高人臉圖像的質(zhì)量。

超分辨率重建在人臉識(shí)別領(lǐng)域的研究仍在不斷深入，未來有望通過更加精確的超分辨率重建技術(shù)來提高人臉識(shí)別系統(tǒng)的性能和效果。

1 超分辨率重建

1.1 方法介紹

超分辨率重建是一種通過使用計(jì)算機(jī)算法來提高圖像或視頻分辨率的技術(shù)［2］。它可以通過增加像素?cái)?shù)量或者利用圖像中的信息，來提高圖像的清晰度和細(xì)節(jié)。這種技術(shù)在圖像處理、視頻處理和計(jì)算機(jī)視覺領(lǐng)域得到了廣泛的應(yīng)用，可以用于提高低分辨率圖像的質(zhì)量，增強(qiáng)圖像的細(xì)節(jié)和清晰度。超分辨率重建的方法包括插值法、深度學(xué)習(xí)和圖像修復(fù)等。超分辨率重建在人臉識(shí)別領(lǐng)域中的應(yīng)用非常廣泛，其中，基于深度學(xué)習(xí)的超分辨率重建算法被廣泛采用。目前有兩種應(yīng)用較為廣泛的算法，SRCNN（super-resolution convolutional neural network）算法：是一種基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建算法，其主要思想是利用多層卷積神經(jīng)網(wǎng)絡(luò)研究低分辨率和高分辨率圖像之間的關(guān)系［3］。SRCNN 算法在訓(xùn)練過程中使用了大量的高分辨率圖像和對(duì)應(yīng)的低分辨率圖像，通過不斷迭代優(yōu)化網(wǎng)絡(luò)參數(shù)，最終可以得到一個(gè)能夠?qū)⒌头直媛蕡D像轉(zhuǎn)換為高分辨率圖像的模型［4］。在人臉識(shí)別領(lǐng)域，SRCNN 算法可以用于將低分辨率的人臉圖像轉(zhuǎn)換為高分辨率的圖像，從而提高人臉識(shí)別的準(zhǔn)確率。SRGAN（super-resolution generative adversarial network）算法：是一種基于生成對(duì)抗網(wǎng)絡(luò)的超分辨率重建算法，其主要思想是通過兩個(gè)神經(jīng)網(wǎng)絡(luò)相互博弈來實(shí)現(xiàn)圖像的超分辨率重建［5］。其中，一個(gè)神經(jīng)網(wǎng)絡(luò)（生成器）用于將低分辨率圖像轉(zhuǎn)換為高分辨率圖像，另一個(gè)神經(jīng)網(wǎng)絡(luò)（判別器）用于判斷生成器生成的圖像是否與真實(shí)的高分辨率圖像相似。在訓(xùn)練過程中，生成器和判別器不斷交替進(jìn)行迭代，最終生成一個(gè)能夠?qū)⒌头直媛蕡D像轉(zhuǎn)換為高分辨率圖像的模型。在人臉識(shí)別的領(lǐng)域，SRGAN 算法可以用于增加低分辨率人臉圖片的細(xì)節(jié)，從而使得低分辨率人臉在識(shí)別過程能夠更加容易地被識(shí)別出來［6］。如今，廣泛使用的人臉識(shí)別算法往往側(cè)重于高質(zhì)量的人臉捕捉，而對(duì)于在復(fù)雜作戰(zhàn)場(chǎng)景中拍攝的低質(zhì)量人像，如果在不經(jīng)過處理的條件下直接進(jìn)行識(shí)別，識(shí)別率往往會(huì)大打折扣。因此，在真實(shí)的作戰(zhàn)場(chǎng)景中，獲取的低分辨率人臉圖像如何實(shí)現(xiàn)精準(zhǔn)的識(shí)別，成為了亟待解決的難點(diǎn)。目前，對(duì)于低分辨率人臉識(shí)別常用的方法有以下4 種：超分辨率重建的方法、提取低分辨率圖像特征的方法、模糊矯正的方法以及統(tǒng)一特征空間的方法［7］。

在現(xiàn)有的方法中，超分辨率重建是比較有效且可行性強(qiáng)的一種方案。人臉超分辨重建（face superresolution reconstruction）屬于超分辨率重建的一個(gè)部分，對(duì)此人們已經(jīng)做了許多相關(guān)的學(xué)習(xí)與研究。雖然圖像的視覺效果與識(shí)別率在理論上并不沖突，但在一些研究中發(fā)現(xiàn)，重建后圖像的視覺效果與實(shí)驗(yàn)中指標(biāo)的表現(xiàn)并不完全一致。然而，現(xiàn)有的大部分算法側(cè)重于研究人臉重建后的視覺效果，而沒有將重建后的模型應(yīng)用于人臉識(shí)別的相關(guān)工作中。本文引入識(shí)別過程，關(guān)注重建模型是否能使低分辨率人臉的識(shí)別率得到明顯提升。

1.2 算法原理

本文提出了圖像超分辨率重建算法SRR，核心思想是利用深度學(xué)習(xí)和生成對(duì)抗網(wǎng)絡(luò)，來學(xué)習(xí)并重建高分辨率圖像，從而在保持圖像細(xì)節(jié)的同時(shí)提高圖像的清晰度和真實(shí)感。SRR 算法的結(jié)構(gòu)如圖2 所示。SRR 算法的原理可以分為兩個(gè)主要部分：生成器和判別器。生成器負(fù)責(zé)將低分辨率的輸入圖像轉(zhuǎn)換為高分辨率的輸出圖像，而判別器則負(fù)責(zé)評(píng)估生成器生成的圖像是否真實(shí)。

圖2 SRR 算法結(jié)構(gòu)Fig.2 Structure of SRR algorithm

SRR 的生成器是基于深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）的結(jié)構(gòu)，如圖3 所示，它由多個(gè)卷積層、反卷積層和殘差連接組成。生成器的主要任務(wù)是將低分辨率的輸入圖像轉(zhuǎn)換為高分辨率的輸出圖像，同時(shí)盡可能保留圖像的細(xì)節(jié)和紋理。為了實(shí)現(xiàn)這一目標(biāo)，SRR 采用了殘差學(xué)習(xí)的思想，即通過殘差連接將輸入圖像的細(xì)節(jié)信息直接傳遞到輸出圖像中，從而減少信息丟失和模糊現(xiàn)象。在SRR 的生成器中，首先通過多個(gè)卷積層對(duì)輸入圖像進(jìn)行特征提取和抽象表示，然后通過反卷積層逐步將特征圖放大到目標(biāo)的分辨率。在這個(gè)過程中，生成器通過多層的殘差連接來學(xué)習(xí)和保留圖像的細(xì)節(jié)信息，從而使得輸出圖像更加清晰和真實(shí)。此外，為了進(jìn)一步提高圖像的質(zhì)量，SRR還引入了像素對(duì)齊和通道注意力機(jī)制，以增強(qiáng)對(duì)細(xì)節(jié)和紋理的學(xué)習(xí)能力，并減少圖像的偽影和失真。

圖3 生成器的結(jié)構(gòu)Fig.3 Structure of generator

SRR 的判別器是一個(gè)基于CNN 的二分類器，它的主要任務(wù)是評(píng)估生成器生成的圖像是否真實(shí)。判別器的輸入是高分辨率的真實(shí)圖像和生成器生成的高分辨率圖像，輸出則是一個(gè)二元值，表示輸入圖像是真實(shí)圖像的概率。通過對(duì)生成器生成的圖像進(jìn)行評(píng)估和反饋，判別器可以指導(dǎo)生成器學(xué)習(xí)和改進(jìn)，從而提高圖像的真實(shí)感和質(zhì)量。在SRR 的判別器中，通過多個(gè)卷積層和池化層對(duì)輸入圖像進(jìn)行特征提取和抽象表示，然后通過全連接層將特征圖映射到二元值輸出。判別器通過不斷訓(xùn)練和學(xué)習(xí)，逐漸提高對(duì)真實(shí)圖像和生成圖像的識(shí)別能力，從而使得生成器生成的圖像更加真實(shí)和逼真。

SRR 的訓(xùn)練過程是一個(gè)基于對(duì)抗學(xué)習(xí)的過程，即生成器和判別器之間的博弈過程。在訓(xùn)練過程中，生成器通過最小化判別器的損失來提高生成圖像的真實(shí)感，而判別器則通過最大化真實(shí)圖像和生成圖像的差異來指導(dǎo)生成器的學(xué)習(xí)和改進(jìn)。通過不斷的對(duì)抗學(xué)習(xí)和優(yōu)化，生成器和判別器可以逐漸達(dá)到動(dòng)態(tài)平衡，從而提高圖像的超分辨率重建質(zhì)量和真實(shí)感。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 圖像超分辨率重構(gòu)的評(píng)價(jià)指標(biāo)

超高分辨率重建研究的結(jié)果的評(píng)估通常基于峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）兩個(gè)指標(biāo)，它們可以較為客觀地評(píng)價(jià)重建后圖像的質(zhì)量［8］。峰值信噪比（PSNR）是評(píng)估兩幅圖像相似度的一種指標(biāo)，通過兩幅圖像的像素均方誤差計(jì)算得出。對(duì)于兩幅相同尺寸的圖像P 和Q，PSNR 的計(jì)算公式如下：

其中，m，n 分別代表了圖像的長(zhǎng)度和寬度，MAXI代表了圖像顏色點(diǎn)的最大值，每個(gè)采樣點(diǎn)都使用8 bit的圖像，MAXI=225。

結(jié)構(gòu)相似性（SSIM）是一種用于評(píng)估圖像質(zhì)量的指標(biāo)，它考慮了亮度、對(duì)比度和結(jié)構(gòu)3 個(gè)方面的相似性。SSIM 指數(shù)是一種全參考的圖像質(zhì)量評(píng)價(jià)指標(biāo)，即需要有原始圖像作為參考來計(jì)算圖像的相似性。SSIM 指數(shù)的計(jì)算方法基于以下3 個(gè)因素：亮度相似性，表示圖像的亮度信息的相似程度，即圖像的平均亮度和對(duì)比度；對(duì)比度相似性，表示圖像的對(duì)比度信息的相似程度，即圖像的對(duì)比度變化；結(jié)構(gòu)相似性，表示圖像的結(jié)構(gòu)信息的相似程度，即圖像的結(jié)構(gòu)變化。

對(duì)于兩幅尺寸一致的圖像P 與Q 來說，亮度對(duì)比函數(shù)、對(duì)比度對(duì)比函數(shù)，以及結(jié)構(gòu)對(duì)比函數(shù)分別定義如下：

2.2 超分辨率重建實(shí)驗(yàn)

本文的訓(xùn)練數(shù)據(jù)集采用CASIA-WebFace 數(shù)據(jù)集，測(cè)試數(shù)據(jù)集采用LFW 數(shù)據(jù)集。CASIA-WebFace數(shù)據(jù)集中一共包括了494 414 幅圖像，其中，包含了10 575 個(gè)人［9-10］。在人臉識(shí)別的方向，LFW 數(shù)據(jù)集屬于常用的數(shù)據(jù)集之一，其包含了5 729 人的13 233張圖像，創(chuàng)立之初一定程度上解決了非限制的人臉識(shí)別問題。LFW 數(shù)據(jù)集中的圖像含有更豐富的變量，其中，包括了光的亮度以及人臉的面部表情等，在之前的研究中，人臉數(shù)據(jù)集通常是在相對(duì)固定的實(shí)驗(yàn)環(huán)境中采集志愿者的人臉圖像得到的?，F(xiàn)實(shí)情況中，人臉識(shí)別更加需要非限制性的條件。本節(jié)首先使用PSNR 和SSIM 測(cè)試模型重建效果，并與常用的一些重建方法進(jìn)行了比較。

實(shí)驗(yàn)中選取的對(duì)比方法包括WaveletNet，SRGAN，VDSR，SICNN，EDSR，SRFBN。利用相同的訓(xùn)練集對(duì)選取的方法進(jìn)行訓(xùn)練，來測(cè)試每個(gè)模型對(duì)于低分辨率人臉圖像的重建效果，結(jié)果如下頁表1 所示?？梢钥闯?，SRR 模型的實(shí)驗(yàn)結(jié)果在SSIM 指標(biāo)中有較好的表現(xiàn)，而在PSNR 指標(biāo)中相比其他方法更為領(lǐng)先。

表1 超分辨率重建測(cè)試Table 1 Super-resolution reconstruction testing

表1 展示了SRR 模型在超分辨率重建的兩個(gè)指標(biāo)中的成果，下頁圖4 則更為清晰地展現(xiàn)了模型對(duì)于低分辨率圖片的處理效果。如圖4 所示，圖4 包含了兩行圖像，其中，第1 行是未處理的低分辨率人臉圖像，而第2 行則是經(jīng)過SRR 模型處理后得到的較為清晰的人臉圖像，可以看出，低分辨率人臉圖像經(jīng)過處理后可以獲得清晰的、更便于識(shí)別的人臉圖像。

圖4 模型效果展示Fig.4 Demonstration of model effects

文中提到的PSNR 與SSIM 兩個(gè)指標(biāo)都是誤差敏感的評(píng)價(jià)指標(biāo)，它們主要用來描述圖片重建后的視覺效果。而很多研究都已表明，基于誤差敏感的評(píng)價(jià)指標(biāo)與人眼對(duì)于圖片的評(píng)判并不完全一致。主要原因是人眼對(duì)于圖片的評(píng)判系統(tǒng)是一個(gè)非常復(fù)雜的系統(tǒng)，具有非線性的特征。現(xiàn)有的研究中，還未能發(fā)現(xiàn)與人眼的評(píng)價(jià)完全一致的圖像質(zhì)量的評(píng)價(jià)指標(biāo)。文中主要評(píng)述了SRR 模型對(duì)于低分辨率人臉的重建效果，為了解決根本的人臉識(shí)別問題，驗(yàn)證模型對(duì)于人臉識(shí)別率的提高效果，需要對(duì)重建后的圖像進(jìn)行人臉識(shí)別準(zhǔn)確率的測(cè)試。

LFW 數(shù)據(jù)集廣泛地應(yīng)用于人臉識(shí)別的領(lǐng)域，是一個(gè)經(jīng)典的測(cè)試數(shù)據(jù)集，在人臉識(shí)別的測(cè)試任務(wù)中有一個(gè)標(biāo)準(zhǔn)的協(xié)議。本文利用LFW 數(shù)據(jù)集來進(jìn)行各個(gè)模型的人臉識(shí)別測(cè)試，判別各個(gè)模型能否提高低分辨率人臉識(shí)別的精度。對(duì)比實(shí)驗(yàn)的結(jié)果如表2所示，可以看出，SRR 模型測(cè)試的結(jié)果優(yōu)于大部分的對(duì)比模型。

表2 LFW 數(shù)據(jù)集下的對(duì)比實(shí)驗(yàn)Table 2 Comparison experiment under LFW data set

3 結(jié)論

實(shí)際應(yīng)用的人臉識(shí)別研究過程中，低分辨率人臉識(shí)別是一個(gè)必須要面對(duì)的問題。通常只有在實(shí)驗(yàn)室等一些苛刻的場(chǎng)景中，才能直接使用高分辨率的圖像進(jìn)行人臉識(shí)別。而在復(fù)雜的作戰(zhàn)場(chǎng)景中，高分辨率的圖像難以獲取，必須對(duì)低分辨率的人臉圖像進(jìn)行處理，來提高實(shí)際作戰(zhàn)中人臉識(shí)別的精度。本文采用超分辨率重建的方法，構(gòu)建SRR 模型，有效提高低分辨率人臉識(shí)別的準(zhǔn)確性，最終得到的結(jié)果在視覺效果上有良好的表現(xiàn)，一定程度上也提高了低分辨率人臉識(shí)別的準(zhǔn)確性。

無人機(jī)、監(jiān)控系統(tǒng)等偵察系統(tǒng)在發(fā)現(xiàn)和識(shí)別目標(biāo)后，目標(biāo)信息和坐標(biāo)就在整個(gè)作戰(zhàn)平臺(tái)進(jìn)行共享。之后，所有情報(bào)都會(huì)匯入大數(shù)據(jù)系統(tǒng)進(jìn)行算法分析，在人工智能系統(tǒng)協(xié)助下得出最佳解決方案。最終，對(duì)偵察定位的敵方目標(biāo)進(jìn)行打擊，無人機(jī)還會(huì)對(duì)毀傷效果進(jìn)行拍攝。通過提高在復(fù)雜作戰(zhàn)環(huán)境下低分辨率人臉識(shí)別的精度，可以有效地提高戰(zhàn)術(shù)末端作戰(zhàn)效能。利用較高精度的人臉識(shí)別，可以實(shí)現(xiàn)對(duì)戰(zhàn)場(chǎng)中敵軍目標(biāo)的精準(zhǔn)識(shí)別，給予指揮員關(guān)鍵目標(biāo)信息，獲取敵兵力部署情況、作戰(zhàn)意圖等重要信息，輔助實(shí)現(xiàn)斬首行動(dòng)、無人機(jī)偵察、智能導(dǎo)彈定位打擊等一系列軍事行動(dòng)，有效提高我軍的戰(zhàn)場(chǎng)主動(dòng)權(quán)以及綜合實(shí)力。