童立靖，王清河，馮金芝

（北方工業(yè)大學(xué) 信息學(xué)院，北京 100144）

在計(jì)算機(jī)視覺領(lǐng)域，三維視線估計(jì)是一個具有挑戰(zhàn)性的研究課題，它在人機(jī)交互［1］、教育［2］、醫(yī)學(xué)［3］、商業(yè)［4］等領(lǐng)域發(fā)揮著重要作用.三維視線估計(jì)方法主要分為兩大類：基于模型的方法和基于外觀的方法［5］，基于模型的方法通常需要專用硬件，這使得它們在不受約束的環(huán)境中難以適用.而基于外觀的方法可以直接從獲取的圖像中估計(jì)出三維視線方向，表現(xiàn)出不錯的視線估計(jì)結(jié)果.

近年來，隨著深度學(xué)習(xí)的發(fā)展，提出了許多新的基于外觀的三維視線估計(jì)方法.然而，個人和環(huán)境因素（如頭部姿勢、面部外觀和光線明暗等）的影響復(fù)雜多樣，這些因素分散并融合在整個外觀之中，讓基于外觀的視線估計(jì)問題變得更加復(fù)雜且具有挑戰(zhàn)性［6］.這意味著深度學(xué)習(xí)模型所學(xué)習(xí)的映射函數(shù)應(yīng)該是高度非線性的，并具有很好的處理整個外觀的能力，否則會導(dǎo)致視線估計(jì)的準(zhǔn)確度不夠高.因此，更為有效的視線估計(jì)模型至關(guān)重要.

由于深度學(xué)習(xí)方法可以對圖像和視線之間的高度非線性映射函數(shù)進(jìn)行建模，相比傳統(tǒng)方法，可以取得更好的視線估計(jì)效果.ZHANG 等［7］首先提出了一個基于VGG 模型的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，使用單目圖像預(yù)測視線方向.此后，他們又設(shè)計(jì)了一個空間權(quán)重卷積神經(jīng)網(wǎng)絡(luò)［8］，給那些與視線相關(guān)的面部區(qū)域賦予更多權(quán)重來提高視線估計(jì)精度.CHEN等［9］采用擴(kuò)張卷積方法，在不降低空間分辨率的情況下，利用從圖像中提取的高級特征，捕捉人眼圖像的細(xì)微變化.SHA 等［10］提出了離散化視線網(wǎng)絡(luò)DGaze-Net（Discretization Gaze Network），通過將視線角度離散化為K個容器，將分類約束添加到視線預(yù)測器中，視線角度在使用真實(shí)視線角度回歸之前預(yù)先應(yīng)用了分箱分類，以提高視線估計(jì)的準(zhǔn)確性.但是，這些基于單個卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行視線估計(jì)的方法，相比目前的一些深度學(xué)習(xí)方法，網(wǎng)絡(luò)模型結(jié)構(gòu)的復(fù)雜度不高，特征提取能力不強(qiáng)，因而視線估計(jì)的準(zhǔn)確度不高，難以達(dá)到預(yù)期的精度.

受到雙眼不對稱性的啟發(fā)，CHENG等［11］提出了基于面部的非對稱回歸評估網(wǎng)絡(luò)FARE-Net（Facebased Asymmetric Regression Evaluation Network），采用非對稱方法，為每只眼睛的損失權(quán)重賦予非對稱權(quán)重，分別估計(jì)兩只眼睛的三維視線角度，來優(yōu)化視線估計(jì)結(jié)果.CHENG 等［12］提出了一種粗到細(xì)的自適應(yīng)網(wǎng)絡(luò)CA-Net（Coarse-to-fine Adaptive Network），首先使用面部圖像預(yù)測主視線角度，然后利用眼部圖像估計(jì)的殘差進(jìn)行自適應(yīng).LUO 等［13］提出了一種協(xié)作網(wǎng)絡(luò)模型CI-Net（Consistency estimation Network and Inconsistency estimation Network），通過兩個網(wǎng)絡(luò)協(xié)作，加入注意力機(jī)制，自適應(yīng)分配眼睛和面部特征之間的權(quán)重來估計(jì)視線.這些通過多個卷積神經(jīng)網(wǎng)絡(luò)合作進(jìn)行視線估計(jì)的方法，導(dǎo)致模型的參數(shù)量急劇上升.此外，這些方法對提取到的特征利用還不夠有效，提取到的特征和視線估計(jì)之間的建模效果還不夠理想.

CHENG 等［14］首次提出了使用Transformer［15］模型GazeTR（Gaze estimation using Transformer）進(jìn)行視線方向估計(jì).其后LI 等人［16］使用卷積結(jié)構(gòu)取代了SwinTransformer 的切片和映射機(jī)制，使得Transformer 可以進(jìn)行多尺度特征學(xué)習(xí).但是，原始Transformer 模型的特征提取能力較弱，無法準(zhǔn)確有效地提取視線估計(jì)特征，致使視線估計(jì)的準(zhǔn)確度相比使用多個卷積神經(jīng)網(wǎng)絡(luò)的模型并沒有太大提高.

針對上述問題，本文提出一個基于混合Transformer 的視線估計(jì)模型，在模型參數(shù)量保持在較低水平的同時(shí)，能夠較為準(zhǔn)確地估計(jì)出視線方向，主要步驟如下：

（1）在MobileNet V3［17］網(wǎng)絡(luò)基礎(chǔ)上，將壓縮-激勵注意力機(jī)制SE（Squeeze-and-Excitation）替換為坐標(biāo)注意力機(jī)制CA［18］（Coordinate Attention），并修改MobileNet V3 網(wǎng)絡(luò)的輸出層，增加一個1 × 1 的卷積層，以充分有效地提取人臉圖像中的視線特征，并將其輸入到Transformer模型中；

（2）在Transformer 模型的前向反饋神經(jīng)網(wǎng)絡(luò)層，加入一個卷積核大小為3 × 3 的深度卷積層，提高了模型的表達(dá)能力，以輸出較為準(zhǔn)確的視線估計(jì).

1 本文模型

本文模型包括特征提取模塊和視線估計(jì)模塊兩部分.首先將人臉圖像送入基于改進(jìn)的MobileNet V3網(wǎng)絡(luò)特征提取模塊，然后將提取的特征輸入到改進(jìn)后的Transformer 模型，并最終輸出視線方向的估計(jì)結(jié)果.本文模型的整體結(jié)構(gòu)如圖1所示.

圖1 混合Transformer模型網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of hybrid Transformer model

1.1 基于改進(jìn)的MobileNet V3網(wǎng)絡(luò)的特征提取

MobileNet V3 使用網(wǎng)絡(luò)架構(gòu)搜索NAS（Network Architecture Search）技術(shù)，并結(jié)合NetAdapt算法［19］對卷積核和通道進(jìn)行優(yōu)化組合.卷積操作上，使用深度可分離卷積（Depthwise Separable Convolution）替代了傳統(tǒng)的卷積，并引入線性瓶頸結(jié)構(gòu)（Linear Bottlenecks）和倒殘差結(jié)構(gòu)（Inverted Residual Blocks）.此外，在原始MobileNet V3 中還使用了壓縮-激勵注意力機(jī)制，通過全局池化操作，將特征圖壓縮為一個全局特征向量，此全局特征向量包含了整個特征圖的全局信息；然后使用兩層全連接層，將全局特征向量映射為一個注意力向量，這個注意力向量可以根據(jù)特征的重要性來調(diào)整每個特征的權(quán)重.

為了更好地提取圖像特征，并降低模型的整體復(fù)雜度，本文改進(jìn)了MobileNet V3網(wǎng)絡(luò)，加入了多層坐標(biāo)注意力機(jī)制，來替換壓縮-激勵注意力機(jī)制，提高特征提取的有效性，并新增一個1 × 1 的卷積層，替換原始輸出層的池化和全連接操作，最終輸出準(zhǔn)確有效的人臉圖像視線特征圖.

在本文的視線估計(jì)方法中，對于給定的人臉圖像I∈RH×W×C，使用改進(jìn)的MobileNet V3 網(wǎng)絡(luò)進(jìn)行特征提取，其中H、W分別為圖像的長度和寬度，C為通道數(shù).改進(jìn)的MobileNet V3 網(wǎng)絡(luò)將原有網(wǎng)絡(luò)中的壓縮-激勵注意力機(jī)制替換為坐標(biāo)注意力機(jī)制，壓縮-激勵注意力機(jī)制只使用全局特征向量，因而在特征圖中缺少位置信息，而坐標(biāo)注意力機(jī)制通過編碼操作可以嵌入精確的位置信息，從而能夠更好地捕捉特征圖中的位置關(guān)系，提高了模型的特征提取能力；同時(shí)，坐標(biāo)注意力機(jī)制與壓縮-激勵注意力機(jī)制相比，單層坐標(biāo)注意力機(jī)制在特征提取時(shí)主要使用的是1 × 1 的卷積，而單層壓縮-激勵注意力機(jī)制在特征提取時(shí)主要使用的是兩層全連接層.1 × 1 卷積在計(jì)算時(shí)是對輸入通道的線性組合，而全連接層的計(jì)算則是輸入與權(quán)重相乘并相加，再加上偏置項(xiàng)，因此就單層的計(jì)算成本而言，這兩種方法變化不大.此外，在原始MobileNet V3 網(wǎng)絡(luò)中使用的是8 層的壓縮-激勵注意力機(jī)制，而在改進(jìn)的MobileNet V3 網(wǎng)絡(luò)中，使用的是3層的坐標(biāo)注意力機(jī)制，因此模型的總體復(fù)雜度有所降低.坐標(biāo)注意力機(jī)制結(jié)構(gòu)如圖2所示，它通過精確的位置信息對通道關(guān)系和遠(yuǎn)程依賴進(jìn)行編碼.

圖2 坐標(biāo)注意力模塊Fig.2 Coordinate attention module

為了使注意力機(jī)制能夠具備捕捉遠(yuǎn)程空間交互作用的精確位置信息，對全局池化進(jìn)行了分解，將其轉(zhuǎn)換為一維的特征編碼操作.對于輸入的圖像特征X，每個通道首先使用大小為（H，1）或（1，W）的池化核沿水平和垂直坐標(biāo)進(jìn)行編碼.因此，高度為H的通道C的輸出如式（1）所示：

寬度為W的通道C的輸出如式（2）所示：

為了適應(yīng)視線估計(jì)任務(wù)，去除了原始MobileNet V3 網(wǎng)絡(luò)輸出層，對于MobileNet V3 網(wǎng)絡(luò)輸出的7 × 7 × 960 特征數(shù)據(jù)，新增了一個1 × 1 的卷積層，進(jìn)行通道縮放，其新增卷積層結(jié)構(gòu)如圖3所示.

圖3 新增的卷積層Fig.3 New convolution layer

1 × 1 卷積后的特征數(shù)據(jù)，經(jīng)批量歸一化BN（Batch Normalization）操作和h-swish 激活函數(shù)處理后得到7 × 7 × 32 的特征圖，其中，h-swish 激活函數(shù)的計(jì)算如式（3）所示.與傳統(tǒng)的ReLU 等激活函數(shù)相比，h-swish 激活函數(shù)更加平滑且具有連續(xù)性，能夠提高模型的性能和精度.

1.2 基于改進(jìn)Transformer模型的視線估計(jì)

MobileNet V3 網(wǎng)絡(luò)層輸出的特征圖經(jīng)過改進(jìn)的Transformer模型處理，完成三維視線估計(jì).改進(jìn)后的Transformer網(wǎng)絡(luò)整體結(jié)構(gòu)如圖4所示.

圖4 改進(jìn)后的Transformer模型結(jié)構(gòu)Fig.4 Improved Transformer model structure

它由多個并行編碼層組成，每個編碼層包含兩個子層：多頭自注意力層MSA（Multi-head Self-Attention）和前向反饋神經(jīng)網(wǎng)絡(luò)層FNN（Feedforward Neural Network）.對于MobileNet V3 網(wǎng)絡(luò)提取的特征圖fimg∈Rh×w×c，首先在嵌入層中調(diào)整為2維的圖像塊fp∈Rl×c，其中l(wèi)=h·w，h、w分別為圖像塊的長度和寬度，l為特征矩陣的長度，c為特征矩陣的維度.此外，在嵌入層還向特征矩陣中添加了額外的標(biāo)記ftoken，ftoken是一個可學(xué)習(xí)的嵌入向量，并且與特征向量具有相同的維數(shù)，即ftoken∈R1×c.然后重新編碼每個圖像塊的位置信息，創(chuàng)建一個可學(xué)習(xí)位置編碼fpos∈R(l+1×c)，并加入到圖像特征矩陣中，得到最終的特征矩陣如下：

其中［］表示連接操作.

在三維視線估計(jì)的多頭自注意力模塊中，自注意力機(jī)制將特征矩陣f∈R(l+1×c)，經(jīng)過線性變換，得到查詢向量Q∈Rn×dk，鍵向量K∈Rn×dk和值向量V∈Rn×dv，其中n為輸入序列的長度，dk和dv為每個特征的維度.自注意力機(jī)制的計(jì)算如式（5）所示：

多頭自注意力模塊將自注意力機(jī)制擴(kuò)展到多個子空間，通過不同的線性變換對查詢、鍵和值進(jìn)行N次線性投影，其中N為多頭頭數(shù).每個頭的輸出被拼接并經(jīng)過線性變換得到最終輸出.為了穩(wěn)定訓(xùn)練、加速收斂，每個多頭自注意力層之后都進(jìn)行了層歸一化LN（LayerNormalization）和殘差連接［20］，然后輸入給前向反饋神經(jīng)網(wǎng)絡(luò)層.

為了能夠準(zhǔn)確估計(jì)出視線方向，提高模型的整體性能，本文對Transformer 模型的前向反饋神經(jīng)網(wǎng)絡(luò)層進(jìn)行了改進(jìn).Transformer 模型的前向反饋神經(jīng)網(wǎng)絡(luò)層能夠?qū)⒍囝^注意力機(jī)制的輸出進(jìn)行非線性變換和全局特征整合.傳統(tǒng)的前向反饋神經(jīng)網(wǎng)絡(luò)通常由兩個全連接層和一個非線性激活函數(shù)組成，能夠完成序列中不同位置間的關(guān)系捕捉.然而，傳統(tǒng)的前向反饋神經(jīng)網(wǎng)絡(luò)不足以應(yīng)對三維視線估計(jì)任務(wù)中的復(fù)雜映射，導(dǎo)致其估計(jì)精度不高.本文對前向反饋神經(jīng)網(wǎng)絡(luò)層進(jìn)行了改進(jìn)，在兩個全連接層之間增加了一層卷積核大小為3 的深度卷積層.在卷積操作中，只對輸入的每個通道進(jìn)行卷積計(jì)算，而不是像傳統(tǒng)卷積那樣對所有輸入通道進(jìn)行計(jì)算，其卷積過程如圖5 所示.此深度卷積層能夠有效地捕捉序列中的局部空間關(guān)系和長期依賴關(guān)系，從而加強(qiáng)前向反饋神經(jīng)網(wǎng)絡(luò)的非線性表示能力和全局特征整合能力，提高了模型對三維視線特征的捕捉能力.

圖5 深度卷積的過程Fig.5 Depthwise convolution process

在改進(jìn)后的Transformer 中，MSA 層輸出的特征矩陣x′由具有深度卷積層的前向反饋神經(jīng)網(wǎng)絡(luò)進(jìn)行特征整合，實(shí)現(xiàn)非線性映射，如式（6）和式（7）所示：

式中：X為輸入的嵌入層特征矩陣，MSA(·)為多頭自注意力處理函數(shù)，LN(·)為層歸一化處理函數(shù)，F(xiàn)NN(·)為前向反饋神經(jīng)網(wǎng)絡(luò)映射函數(shù)，x與X具有相同的維度，即x∈Rn×d，因此模型可設(shè)計(jì)為N層Transformer的并行處理.

改進(jìn)后的Transformer 處理嵌入層輸入，并輸出視線估計(jì)特征矩陣.選擇第一個特征向量，即ftoken的對應(yīng)位置，作為視線特征表達(dá)，并使用多層感知機(jī)MLP（Multi Layer Perception）從視線特征表達(dá)中回歸視線方向矢量，如式（8）所示：

式中：［0，：］為選特征矩陣第一行，g為估計(jì)的視線方向矢量，MLP(·) 為多層感知機(jī)映射函數(shù)，Transformer(·)的計(jì)算如式（6）和式（7）所示.

2 實(shí)驗(yàn)和分析

2.1 數(shù)據(jù)集和評價(jià)指標(biāo)

本文使用MPIIFaceGaze 數(shù)據(jù)集進(jìn)行模型的訓(xùn)練和評估，并按照文獻(xiàn)［21］對其進(jìn)行了預(yù)處理.經(jīng)過預(yù)處理后，MPIIFaceGaze 數(shù)據(jù)集包含15 個受試者的45000張圖像，使用留一評估法進(jìn)行評估，角度誤差作為評價(jià)指標(biāo).

2.2 實(shí)驗(yàn)細(xì)節(jié)

本文模型使用PyTorch 實(shí)現(xiàn)，在NVIDIA Tesla V100 GPU 上進(jìn)行訓(xùn)練.訓(xùn)練時(shí)，批量大小（Batchsize）設(shè)置為512，迭代周期（Epoch）為120，學(xué)習(xí)率設(shè)置為0.0005，權(quán)重衰減為0.5，衰減步驟設(shè)置為60 個epoch.使用Adam 優(yōu)化器訓(xùn)練模型，其中β1=0.9，β2=0.99；使用線性學(xué)習(xí)率進(jìn)行預(yù)熱，設(shè)置為5個epoch.

實(shí)驗(yàn)圖像為224 × 224 × 3 的人臉圖像，視線估計(jì)結(jié)果為由垂直偏轉(zhuǎn)角（Pitch）和水平偏轉(zhuǎn)角（Yaw）構(gòu)成的二維向量.訓(xùn)練過程中的損失函數(shù)為L1-loss函數(shù)，如式（9）所示：

式中：yi為真實(shí)值為估計(jì)值|為真實(shí)值與估計(jì)值之間的絕對誤差，n為樣本個數(shù)為對所有樣本的誤差取均值，從而得到平均絕對誤差MAE（Mean Absolute Error），MAE 越小，估計(jì)結(jié)果與真實(shí)值越接近.

改進(jìn)后的Transformer 模型執(zhí)行8 頭自注意力機(jī)制，前向反饋神經(jīng)網(wǎng)絡(luò)層中神經(jīng)元個數(shù)為512，每層中的神經(jīng)元隨機(jī)失活率dropout為0.1.

2.3 不同視線估計(jì)方法的對比分析

為了評估視線估計(jì)的性能，將本文方法與CANet、AGE-Net［22］、GazeTR、L2CS-Net［23］等方法進(jìn)行了對比實(shí)驗(yàn).本文提出的基于混合Transformer 模型的三維視線估計(jì)方法在視線估計(jì)精度上均高于其他方法，結(jié)果如表1所示.

表1 實(shí)驗(yàn)結(jié)果對比Tab.1 Comparison of experimental results

此外，本文與使用Transformer 模型進(jìn)行視線估計(jì)的GazeTR 方法，在MPIIFaceGaze 數(shù)據(jù)集上，對15 個不同對象的視線估計(jì)誤差進(jìn)行了分析對比，本文方法在12 個對象中的視線角度誤差表現(xiàn)均優(yōu)于GazeTR，結(jié)果如圖6所示.

圖6 MPIIFaceGaze數(shù)據(jù)集上15個不同對象的視線估計(jì)角度誤差結(jié)果Fig.6 Angle error results of gaze estimation for 15 different subjects on the MPIIFaceGaze dataset

本文方法與GazeTR 方法的部分結(jié)果可視化圖像如圖7所示，綠色為視線的真實(shí)方向，紅色為本文方法的視線估計(jì)方向，紫色為GazeTR 的視線估計(jì)方向.

圖7 結(jié)果可視化圖像Fig.7 Result visualization images

最后，本文方法還與GazeTR、L2CS-NET 方法的模型參數(shù)量和視線估計(jì)角度誤差進(jìn)行了綜合比較，實(shí)驗(yàn)結(jié)果如圖8 所示，其中氣泡越大，參數(shù)量越大.本文方法在視線角度誤差較小時(shí)，仍能保持較低的模型參數(shù)量.

圖8 模型大小與視線角度誤差的對比Fig.8 Comparison of model size and angle error of gaze estimation

2.4 模型改進(jìn)前后的性能對比分析

為驗(yàn)證對MobileNet V3 網(wǎng)絡(luò)和Transformer 模型的改進(jìn)在三維視線估計(jì)任務(wù)中的有效性，在MPIIFaceGaze 數(shù)據(jù)集上，基于相同的實(shí)驗(yàn)環(huán)境條件，對全部15 個不同人物的45000 張人臉圖像，在角度誤差、參數(shù)量、計(jì)算復(fù)雜度方面進(jìn)行了模型改進(jìn)前后的實(shí)驗(yàn)對比，結(jié)果如表2所示.

表2 模型改進(jìn)前后性能對比Tab.2 Performance comparison before and after model improvement

其中DW 表示在Transformer模型的前向反饋神經(jīng)網(wǎng)絡(luò)層加入的深度卷積，CA 表示在MobileNet V3網(wǎng)絡(luò)中引入的坐標(biāo)注意力模塊.分析實(shí)驗(yàn)結(jié)果可知，在Transformer 模型的前向反饋神經(jīng)網(wǎng)絡(luò)層加入一層深度卷積后，模型性能得到顯著提高，最后在MobileNet V3 網(wǎng)絡(luò)中引入坐標(biāo)注意力模塊，視線估計(jì)的準(zhǔn)確度達(dá)到最高.改進(jìn)后的方法相比原始MobileNet V3+Transformer、MobileNet V3+Transformer+DW 方法準(zhǔn)確率分別提高約0.72°和0.31°.另外，本文方法的參數(shù)量相比MobileNet V3+Transformer 和MobileNet V3+Transformer+DW 明顯降低，本文方法的計(jì)算復(fù)雜度也比具有壓縮-激勵注意力機(jī)制的MobileNet V3+Transformer+DW 方法略有降低，可見本文方法所做的改進(jìn)是有效的.

3 結(jié)語

本文提出了一種基于混合Transformer 模型的視線估計(jì)方法，利用改進(jìn)后的MobileNet V3 網(wǎng)絡(luò)構(gòu)建特征提取器，在MobileNet V3 網(wǎng)絡(luò)中引入了坐標(biāo)注意力模塊，充分有效地提取圖像中的特征，然后將特征輸入到改進(jìn)后的Transformer 模型中，通過在Transformer模型的前向反饋神經(jīng)網(wǎng)絡(luò)層加入一層深度卷積，提升了模型在視線估計(jì)任務(wù)中的準(zhǔn)確性.通過與其他方法的實(shí)驗(yàn)對比，本文方法可以較為準(zhǔn)確地進(jìn)行三維視線估計(jì)，并且模型的參數(shù)量能維持在較低的水平.