張青青　施浩

關(guān)鍵詞：黑眼圈；識別；數(shù)據(jù)集；DETR

中圖法分類號：TP391 文獻標識碼：A

1引言

黑眼圈是一個復雜的眼部美容問題，用來描述眼睛的黑暗狀態(tài)，大多數(shù)人認為睡眠不足為引起黑眼圈的主要原因，但睡眠質(zhì)量并不是引起黑眼圈的重要因素。我們看出一個人具有黑眼圈很簡單，但若要知道屬于哪類，人眼來看還是較為困難。此時，需要借助醫(yī)學上的專業(yè)儀器進行黑眼圈種類識別。在醫(yī)學界還沒有能夠精確識別黑眼圈種類的靈敏機器，本文提出了一種基于深度學習的黑眼圈識別模型，能夠達到較好識別目標的目的。

2黑眼圈的分類

造成黑眼圈的原因有很多。根據(jù)其病因，可將黑眼圈類型大致分為3種類型，即色素型、血管型和結(jié)構(gòu)型。同時具備上述3種黑眼圈類型的被稱為混合型黑眼圈。

2.1色素型黑眼圈

這是黑眼圈中比較常見的一種類型。在組織學上，引起這類黑眼圈的原因是黑素細胞增多引起黑色素在真皮過多積壓，導致色素型黑眼圈。也可能是因為過敏性色素沉積引起的炎癥，導致皮膚炎或者水腫。很多環(huán)境因素也會導致色素型黑眼圈，其中包括日照、攝入藥物、懷孕、哺乳、眼科手術(shù)和創(chuàng)傷等。還有各種原因引起的水腫會增加皮膚層的厚度，從而增加色素的漫反射率，也將導致眼睛的下眼瞼顏色加深，形成我們不喜歡的黑眼圈。因為水腫程度的改變，導致眼下黑眼圈灰度的改變。

2.2血管型黑眼圈

這是受熬夜影響的一種類型，這種血管型可以影響整個下眼瞼區(qū)域。它的特點是眼瞼處的皮膚薄而透明，皮下的脂肪很少甚至根本沒有，與黑眼圈有關(guān)的組織和血管透過下眼瞼的皮膚呈現(xiàn)出一種灰暗的外觀，在醫(yī)學上表現(xiàn)為青紫色，藍色血管明顯，尤其是下眼瞼內(nèi)側(cè)。對于女生來說，在月經(jīng)期間這種顏色可能加重，使得黑眼圈表現(xiàn)明顯。

這類黑眼圈的下眼瞼皮膚被人為拉伸時，隨之這片皮膚的區(qū)域也會被拉伸，通常我們會認為皮膚拉伸之后皮膚顏色會變淺。但是，這種黑眼圈皮膚被拉伸之后，不僅皮膚顏色沒有變淺，而且會導致黑眼圈顏色加重。產(chǎn)生這種現(xiàn)象的最直接原因是下眼瞼皮膚在被拉伸之后，皮膚內(nèi)部的血管會顯現(xiàn)出來，使得我們看到的顏色會更深，這種方法可以用來診斷血管是否增多的癥狀。

2.3結(jié)構(gòu)型黑眼圈

結(jié)構(gòu)型也稱陰影型黑眼圈，這種癥狀的黑眼圈可能是先天產(chǎn)生的，也可能是由于后天的種種原因形成的，兩者導致結(jié)構(gòu)型黑眼圈的原因有所不同。淚槽形成的陰影是屬于先天性的，后天性產(chǎn)生的原因一般是上下瞼肌肉的下垂、眼眶脂肪突出和水腫所產(chǎn)生的陰影。二者產(chǎn)生這種黑眼圈的機理雖然不同，但是造成的結(jié)果是一樣的。

3基于DETR模型的黑眼圈識別

DETR是FAIR提出的目標檢測方法，沒有NMS后處理步驟，也沒有錨。2018年，Taehoon等[3]首次將Transformer應用于圖像生成。2020年，Carion等將CNN與Transformer結(jié)合，提出了一個基于端到端的目標檢測框架DETR.也是第一次將Transformer應用到目標檢測中。朱永寧等提出的基于Faster R-CNN的果實成熟識別技術(shù)，用于本次實驗做對比，其效果與Faster RCNN在coco數(shù)據(jù)集上的效果相當，并且DETR可以很容易地遷移其他任務，如全景分割。DETR的基本思想是將檢測作為一個集合預測問題來處理，并使用Transformer來預測集合，DETR過程大大簡化，可歸納為：“Backbone→Transformer→detect header”。

在現(xiàn)在生活中會發(fā)現(xiàn)越來越多的人關(guān)注自己的黑眼圈，很多人會買各種護膚品和化妝品試圖消除或者遮蓋自己的黑眼圈，以達到被人看不出的效果，但這些辦法都不能讓黑眼圈消失。若要讓它徹底消失，則最好選擇去醫(yī)院進行醫(yī)學治療，不同的類型有不同的治療方法，因為難以判斷其類型導致很多人不知道如何治療。深度學習領(lǐng)域也沒有關(guān)于黑眼圈識別的研究，這無疑對本文的研究非常不利。由于缺乏足夠的黑眼圈數(shù)據(jù)集，只能自行收集一些零散的黑眼圈圖片，用黑眼圈的范圍來標記這些圖片，然后生成相應的文件，再用代碼將上述文件轉(zhuǎn)換成可以被DETR模型識別的文件。前期的準備工作已經(jīng)完成。數(shù)據(jù)增強的具體步驟如下。

通過網(wǎng)絡收集當今的原始數(shù)據(jù)集，由于用作訓練的數(shù)據(jù)集必須有一個明確的分類，因此有必要尋找已經(jīng)分類的圖片。但這類數(shù)據(jù)集非常有限，為了得到更好的訓練效果，選擇通過數(shù)據(jù)增強對現(xiàn)有數(shù)據(jù)集進行擴展，主要包括圖像水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、圖像壓縮和圖像加噪。然后，用labelme給訓練集添加標簽，用矩形標簽標注檢測區(qū)域和類型。最后，它被轉(zhuǎn)換成一個json文件，并輸入到模型中進行訓練。圖1、圖2分別為原始圖像和增強數(shù)據(jù)集后的效果圖。

在訓練的過程中，模型通過推斷得出固定大小的Ⅳ個預測集，其中Ⅳ被定義為較大于圖像中的物體典型數(shù)量。在訓練的過程中會遇到一些問題，需要根據(jù)已有的真值（grounp-truth）來預測目標對象的類別，以及它的位置和大小，通過真值（grounp-truth）進行評分，這是模型訓練過程中遇到的最大的難題。在預測目標和ground-truth之間產(chǎn)生最佳的二分匹配，然后優(yōu)化特定于物體（bounding box）的損失。

3.1 DETR架構(gòu)

整個DETR架構(gòu)如圖3所示。它包含以下3個主要組件：提取緊湊特征表示的CNN主干（CNNbackbone）、編碼器（encorder）-解碼器（decoder）和進行最終檢測預測的前饋網(wǎng)絡（FFN）。

3.2 Backbone

3.3 Transformer

編碼器和解碼器都遵循Transformer的標準架構(gòu)，其中的解碼器是使用一個自身的注意力機制將Ⅳ個嵌入轉(zhuǎn)換成大小為d，同時使用了編碼器（encorder）-解碼器（decoder）注意機制，二者協(xié)作進行嵌入轉(zhuǎn)換。因為解碼器（decoder）的特殊性質(zhì)，我們又需要輸出不同的結(jié)果，嵌入的N個輸入要求也不能一樣，才能得到最終的實驗結(jié)果。如果N個輸入相同，根據(jù)解碼器的特點，可能會得到N個相同的結(jié)果。N個輸入會被添加到每個注意層，作為注意層的輸入，經(jīng)過一系列流程將轉(zhuǎn)變?yōu)檩敵?，在這個轉(zhuǎn)換過程中是由解碼器（decoder）進行處理的，將這些輸入轉(zhuǎn)換成嵌入。接著便是前饋網(wǎng)絡FFN（在3.4節(jié)中進行描述）將它們分別解碼成包含類標簽和框坐標，得到最后的目標結(jié)果。

3.4 FFN

FFN預測出的目標結(jié)果，在預測過程中，它是用一個三層感知器算出來的，在這個感知器中，它包含ReLU激活函數(shù)、看不到的維度和線性投影層。

4實驗結(jié)果

為了獲得最佳的識別效果，我們分別使用了Faster R-CNN和DETR模型來訓練黑眼圈數(shù)據(jù)集，在語義特征提取、任務綜合特征提取和計算能力以及運行效率等方面，DETR模型相較于Faster R-CNN都表現(xiàn)出較好的識別效果。

經(jīng)過比較發(fā)現(xiàn)，在目標檢測數(shù)據(jù)集上對比DETR和Faster R-CNN基線方法，發(fā)現(xiàn)DETR在大目標上比Faster R-CNN有更好的檢測性能，對于小目標檢測效果不佳的問題，DETR使用了多尺度可變形注意力機制，從而提高了小目標檢測效果。另外，F(xiàn)aster R-CNN無法準確定位圖片中黑眼圈的位置，從而無法準確獲取黑眼圈的特征進行訓練，使得識別率極低。DETR完美地克服了這個缺點，DETR對黑眼圈類型的識別效果會更好，檢測效果圖如圖4所示。

5結(jié)束語

使用DETR來檢測黑眼圈類型，最終得到實驗目標結(jié)果，但由于數(shù)據(jù)集不充分，加上各類黑眼圈區(qū)分不明顯，甚至用人的眼睛都無法區(qū)分屬于哪一類型，因此會存在精度不夠的問題，在之后的工作中會收集更多的數(shù)據(jù)，以提高黑眼圈類型的識別速度和判斷精度，從而在為解決這一難題做出貢獻。