余明揚 羊 鵬 王一軍

(中南大學(xué)信息科學(xué)與工程學(xué)院 湖南 長沙 410083)

0 引 言

網(wǎng)絡(luò)的爆炸式發(fā)展使得互聯(lián)網(wǎng)上充斥著各種圖片，而一些不良或非法網(wǎng)站為了謀取利益上傳大量色情圖片，如果對這些有害圖片坐視不理不僅會造成嚴重的社會問題而且會誘導(dǎo)心智未成熟的青少年走上歧路。因此，有效檢測色情圖片的方法成為了學(xué)者們重要的研究領(lǐng)域[1-3]。

在過去的數(shù)十年間，各種各樣的方法用于色情圖像檢測。這些方法大致可分為以下三類。

第一種是基于規(guī)則導(dǎo)向的方法[4]。這種方法首先建立一個可以過濾非皮膚區(qū)域的皮膚模型，然后從待識別的圖像中得到皮膚區(qū)域面積，若大于閾值，則就認為是色情圖片。這種方法雖然直觀且易實現(xiàn)，但皮膚面積閾值難以準確設(shè)定，而且許多非色情圖像也包含大量的皮膚面積，因此識別色情圖像準確率較低。

第二種是基于圖像檢索的方法[5]。這種方法首先建立一個具有色情圖像的數(shù)據(jù)庫，然后選擇適當?shù)膱D像特征(如色彩形狀等)，接著將待識別的圖片特征與數(shù)據(jù)庫內(nèi)的圖片特征進行對比，如果相似度超過一定閾值，則判定為色情圖像。由于色情圖像的多樣性，為了提高準確率就需要建立一個龐大的數(shù)據(jù)庫，會導(dǎo)致占用內(nèi)存過大，識別時間過長。

第三種是基于學(xué)習(xí)的方法[6-7]。這種方法需要設(shè)計色情圖像的視覺特征，然后基于這些視覺特征采用機器學(xué)習(xí)的方法獲取分類模型。最后使用學(xué)習(xí)好的模型來進行色情圖像檢測。和其他兩種方法對比，盡管基于學(xué)習(xí)的方法在這三種方法中擁有較高的準確率和檢測速度，但獲取的圖像特征一般情況下是人工歸納的。而人工選取的視覺特征泛化性能低，難以滿足實際要求。

卷積神經(jīng)網(wǎng)絡(luò)作為人工神經(jīng)網(wǎng)絡(luò)的一種，在近來的各種與計算機視覺有關(guān)的任務(wù)中，如圖像識別[8-9]，目標檢測[10-11]卷積神經(jīng)網(wǎng)絡(luò)均展現(xiàn)了強大的判別和泛化能力。文獻[12]中作者使用CaffeNet來提取視覺特征，但網(wǎng)絡(luò)參數(shù)過多，在數(shù)據(jù)不多的情況下容易過擬合，降低準確率。本文將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于色情圖像檢測的實際問題中，提出一種使用Inception模塊[13]的卷積神經(jīng)網(wǎng)絡(luò)模型，該模型容易實現(xiàn)結(jié)構(gòu)簡單參數(shù)少不易過擬合，而且達到的準確率比其他文獻中更高。

1 卷積神經(jīng)網(wǎng)絡(luò)特征分析

神經(jīng)網(wǎng)絡(luò)是由一連串神經(jīng)元以無環(huán)圖的形式連接建立的，也就是說，神經(jīng)網(wǎng)絡(luò)中的一些神經(jīng)元的輸出是另一些神經(jīng)元的輸入。從LeNet-5[14]在手寫字符領(lǐng)域獲得的令人矚目的成功開始，典型的卷積神經(jīng)網(wǎng)絡(luò)通常由輸入層、卷積層、池化層、全連接層堆疊組成。

1.1 全連接層

全連接層的結(jié)構(gòu)特點在于兩個相鄰全連接層的神經(jīng)元之間是完全配對的，即全連接層中的每個神經(jīng)元與后一層的所有神經(jīng)元都相連，但同一層神經(jīng)元之間沒有任何連接。一個只有一層隱藏層由全連接層組成的神經(jīng)網(wǎng)絡(luò)如圖1所示。

圖1 全連接神經(jīng)網(wǎng)絡(luò)

1.2 卷積層

卷積層是卷積神經(jīng)網(wǎng)絡(luò)中最主要的部分。在圖像的傳播過程中，卷積層完成了其中的大部分計算。卷積層中每個神經(jīng)元有長度、寬度、深度(不同于神經(jīng)網(wǎng)絡(luò)的深度概念)三維，并且神經(jīng)元僅與其之前的層的一部分區(qū)域連接，這使得前向傳播更有效率，并且大量的降低了網(wǎng)絡(luò)中的參數(shù)。卷積層如圖2所示。

圖2 卷積層

為了避免卷積層中參數(shù)過多，通常在卷積層中使用參數(shù)共享的方法，即同一層卷積層的所有神經(jīng)元共享同一組參數(shù)。

1.3 池化層

卷積神經(jīng)網(wǎng)絡(luò)中的池化層作用于卷積層每一層的鄰域，通常會在連續(xù)的卷積層中間插入池化層來對特征圖進行降維處理并維持特征的尺度不變性。池化層一般使用平均池化或者最大池化操作，可用如下函數(shù)表示：

(1)

2 基于卷積神經(jīng)網(wǎng)絡(luò)的方法

為了避免手工設(shè)計色情圖像特征，使用數(shù)據(jù)為導(dǎo)向的方法來自動獲取圖像特征。本文提出的用于訓(xùn)練識別色情圖像檢測器的框架見圖3。將在網(wǎng)絡(luò)上獲取的圖像通過數(shù)據(jù)增強處理后分為訓(xùn)練集和測試集。首先使用訓(xùn)練集訓(xùn)練設(shè)計好的卷積神經(jīng)網(wǎng)絡(luò)，等待網(wǎng)絡(luò)收斂且誤差達到要求后，將測試集中的圖片輸入訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中判別其是否為色情圖像，最后輸出測試集的準確率。

圖3 色情圖像檢測器框架

2.1 模型設(shè)計

一般來說，為了提高神經(jīng)網(wǎng)絡(luò)的性能會增加網(wǎng)絡(luò)的大小，包括增加網(wǎng)絡(luò)的深度(網(wǎng)絡(luò)的層數(shù))以及寬度(每層神經(jīng)元的數(shù)量)。當擁有大量數(shù)據(jù)時這是最簡單易實現(xiàn)的方法，但這種方法有兩種缺陷。首先，網(wǎng)絡(luò)過大意味著大量的參數(shù)，這使得網(wǎng)絡(luò)更容易發(fā)生過擬合，降低準確率。特別是在獲得訓(xùn)練集的成本很高時，簡單擴大網(wǎng)絡(luò)的大小是不經(jīng)濟的。另一個缺陷就是網(wǎng)絡(luò)尺寸過大會侵占過多的計算資源。因為計算資源總是有限的，過大的尺寸會造成計算資源幾何級數(shù)的浪費。

為了優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，受到神經(jīng)學(xué)的Hebbian原則啟發(fā)，即如果數(shù)據(jù)集的概率分布可由一個大型稀疏神經(jīng)網(wǎng)絡(luò)表達的話，那么網(wǎng)絡(luò)的最佳拓撲結(jié)構(gòu)可通過分析之前一層激勵的相關(guān)統(tǒng)計特征和聚集有高度相關(guān)輸出的神經(jīng)元建立。Szegedy等提出了一種不同于傳統(tǒng)粗暴加深網(wǎng)絡(luò)層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Inception模塊，如圖4所示。Inception模塊由1×1,3×3,5×5等小尺寸卷積層組成。這樣的結(jié)構(gòu)不僅降低了網(wǎng)絡(luò)中的參數(shù)，而且不同尺寸的卷積層實現(xiàn)了對圖像的多尺度特征提取。總的來說，Inception模塊充分利用了濾波器級別的稀疏性并結(jié)合了當下密集矩陣的計算性能，在提升學(xué)習(xí)效果的同時，大大降低了網(wǎng)絡(luò)的參數(shù)和計算量。

圖4 Inception模塊

本文基于Inception模塊，設(shè)計如圖5所示卷積神經(jīng)網(wǎng)絡(luò)模型。

圖5 卷積神經(jīng)網(wǎng)絡(luò)模型

圖5中，以C開頭的代表卷積層，M開頭代表最大池化層，L開頭代表局部響應(yīng)歸一化層(Local Response Normalization)，I開頭代表Inception模塊，A開頭代表平均池化層?？梢钥闯?，如果只計算含有待學(xué)習(xí)參數(shù)的層數(shù)，網(wǎng)絡(luò)模型共有17層，分別是16層卷積神經(jīng)網(wǎng)絡(luò)和1層全連接層。所設(shè)計的網(wǎng)絡(luò)使用120×120像素的RGB圖像作為輸入，網(wǎng)絡(luò)輸入圖像后，將圖片的每個通道單獨處理。經(jīng)過一系列卷積池化等操作后，再經(jīng)過Inception模塊的處理以及全連接網(wǎng)絡(luò)，全連接層之前的網(wǎng)絡(luò)是將原始的圖片數(shù)據(jù)映射在隱藏層的特征空間表達上，而全連接層則起到將學(xué)習(xí)到的特征表示映射到樣本標記空間的作用。盡管全連接層參數(shù)冗余，但過多的參數(shù)并不是一無是處的。全連接層的使用可以讓網(wǎng)絡(luò)保持較強表達能力，捕捉到盡可能多的圖像特征。最后使用Softmax分類器輸出不同標簽的預(yù)測結(jié)果。Inception模塊參數(shù)見圖4，其余各層詳細參數(shù)見表1。

表1 神經(jīng)網(wǎng)絡(luò)模型參數(shù)

本文所設(shè)計的網(wǎng)絡(luò)參數(shù)總數(shù)約為250萬，文獻[13]中使用的CaffeNet參數(shù)大約是本文的30倍，這意味著在保證性能的前提下，可以在同等數(shù)量數(shù)據(jù)集的條件下更不易過擬合，準確率更高，并且所需要的計算量也大幅降低，占用計算機資源更少，有效降低測試時間。

2.2 網(wǎng)絡(luò)的訓(xùn)練及測試

卷積神經(jīng)網(wǎng)絡(luò)使用有監(jiān)督學(xué)習(xí)來獲取不同輸入類別之間的關(guān)系。訓(xùn)練過程包括兩個部分，前向傳播及反向傳播。在前向傳播階段，對網(wǎng)絡(luò)參數(shù)進行初始化后，訓(xùn)練集圖片作為網(wǎng)絡(luò)的輸入，通過網(wǎng)絡(luò)一層一層輸出特征圖，將圖片映射到新的特征表達空間中，輸出圖片的分類結(jié)果(是色情圖像或者不是)。在反向傳播階段，根據(jù)輸出的圖片分類結(jié)果與給定的標簽計算出誤差，為了降低誤差，使用批量隨機梯度下降算法對網(wǎng)絡(luò)參數(shù)進行更新，即每次迭代過程中，使用一定數(shù)量的圖片組成一個批次來決定誤差下降的方向。這種算法可以使訓(xùn)練過程中網(wǎng)絡(luò)收斂速度變快，提升收斂精度。

在訓(xùn)練誤差降低到一定值時，結(jié)束對網(wǎng)絡(luò)的訓(xùn)練，得到網(wǎng)絡(luò)模型的最優(yōu)化參數(shù)。卷積神經(jīng)網(wǎng)絡(luò)的本質(zhì)其實是將圖像經(jīng)過多次變換后映射到新的特征表達中。用得到的網(wǎng)絡(luò)參數(shù)對測試集進行測試。在對訓(xùn)練好的模型進行測試時，只包括前向傳播階段。使用測試集圖片作為網(wǎng)絡(luò)的輸入，在得到圖片的分類結(jié)果后與給定標簽進行對比，可得到測試集的準確率。

2.3 改善過擬合問題

過擬合指網(wǎng)絡(luò)模型在訓(xùn)練過程中過度擬合訓(xùn)練集，而在測試集上泛化性能欠佳的現(xiàn)象。一般可以通過增加網(wǎng)絡(luò)結(jié)構(gòu)的稀疏性和隨機性來提高泛化能力。除了使用Inception模塊增加網(wǎng)絡(luò)稀疏性外，本文還使用Dropout[15]技術(shù)來減少過擬合。

Dropout層位于在全連接層輸出之后,通過將所在隱藏層神經(jīng)元的激勵以一定概率設(shè)置為0來實現(xiàn)，也就是說在一次迭代中屏蔽網(wǎng)絡(luò)中的一些神經(jīng)元。被屏蔽的神經(jīng)元不參與迭代過程中的前向傳播和反向傳播。在下一次迭代過程中，又以一定概率隨機屏蔽有Dropout層隱藏層中的神經(jīng)元，即每次屏蔽的神經(jīng)元不一定相同，意味著不同的數(shù)據(jù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)是不相同的。

使用Dropout層可以起到取平均的作用。因為不同的數(shù)據(jù)訓(xùn)練時對應(yīng)的神經(jīng)網(wǎng)絡(luò)不同，因此可以用不同的網(wǎng)絡(luò)取平均去決定最后網(wǎng)絡(luò)的輸出，多個網(wǎng)絡(luò)取平均可以抵消一些網(wǎng)絡(luò)過擬合程度嚴重的問題。并且使用Dropout層可以減少神經(jīng)元之間復(fù)雜的共適應(yīng)關(guān)系。因為全連接層的所有神經(jīng)元都以一定概率被屏蔽，這樣可以避免某些特征對單一神經(jīng)元過強的依賴性，使得網(wǎng)絡(luò)能夠從眾多特征中學(xué)習(xí)到更具有魯棒性的模式。

3 實驗結(jié)果及分析

為了驗證所提出方法的效果，本文對其他基于學(xué)習(xí)的方法進行了對比實驗。由于缺少標準的色情圖像識別數(shù)據(jù)集，本文從互聯(lián)網(wǎng)上下載了2萬張圖片，其中1萬張為色情圖片，1萬張為非色情圖片，一些圖片示例見圖6。

圖6 數(shù)據(jù)集樣本示例

為了在一定程度減少過擬合，對圖片使用數(shù)據(jù)增強技術(shù)，即對每一張圖片進行左右翻轉(zhuǎn)變換并保存作為訓(xùn)練或測試數(shù)據(jù)。也就是說，數(shù)據(jù)增強后一共可以得到8萬張圖片，隨機選取其中7萬張作為訓(xùn)練集，剩下的1萬張作為測試集。評估準則為測試集準確率：

(2)

本文在Windows系統(tǒng)下基于Caffe架構(gòu)對所設(shè)計方法進行驗證。系統(tǒng)配置為Intel(R) Core(TM) i5-3210M CPU 2.5 GHz，8 GB內(nèi)存以及NVIDIA GT 650 M顯卡。使用的批量大小為64，動量為0.9，權(quán)重下降為0.000 5。訓(xùn)練過程測試集的準確率如圖7所示。

圖7 網(wǎng)絡(luò)訓(xùn)練過程

從圖中可以看出在經(jīng)過5個Epoch后模型在測試集中就達到了較高的準確率為93.53%，隨后上升又下降，最后緩慢攀升至最高點后逐漸趨于穩(wěn)定，在總共迭代45 000次大約50個Epoch后，模型的參數(shù)達到最優(yōu)，準確率為高達99.06%。

圖8可視化了卷積層第一層的輸出，卷積層的64個卷積核以7×7較大的感受野對輸入圖像進行了特征提取，從圖中可以看出，提取了如邊緣，輪廓等多種多樣的特征。卷積神經(jīng)網(wǎng)絡(luò)的特點在于每一層代表著一種視覺特征，而每一層網(wǎng)絡(luò)的特征從前一層網(wǎng)絡(luò)中提取，也就是說高層網(wǎng)絡(luò)特征是底層網(wǎng)絡(luò)特征的概括抽象。這種層次結(jié)構(gòu)使得卷積神經(jīng)網(wǎng)絡(luò)在提取的圖像特征比人工設(shè)計的更加精確且泛化能力強。因此卷積神經(jīng)網(wǎng)絡(luò)能夠采用神經(jīng)網(wǎng)絡(luò)的特征提取方式，比人工設(shè)計的更加準確，準確率更高。

圖8 第一層卷積層輸出

3.1 與基于學(xué)習(xí)的淺層網(wǎng)絡(luò)比較

在文獻[16]中，作者提出對輸入數(shù)據(jù)進行壓縮后，使用包含一個隱藏層的全連接神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)色情圖像的特征，接著對測試集圖像進行判斷。應(yīng)用這個方法在我們的數(shù)據(jù)上，獲得的結(jié)果如表2所示，雖然由于層數(shù)減少導(dǎo)致網(wǎng)絡(luò)參數(shù)大幅降低，但準確率僅為63.90%，這是無法接受的。原因在于淺層神經(jīng)網(wǎng)絡(luò)盡管理論上擁有和深度神經(jīng)網(wǎng)絡(luò)相同的表達能力(即可以近似任意的函數(shù)形式)[17]，但是實際使用上，由于圖片包含層次結(jié)構(gòu)(如臉由眼睛等組成，而眼睛又由邊緣等組成)，淺層神經(jīng)網(wǎng)絡(luò)不足以表達這些圖像結(jié)構(gòu)，造成檢測準確率較低。

表2 不同方法實驗結(jié)果對比

3.2 與圖像檢索方法比較

在文獻[5]中提出使用圖像檢索的方法用于找出一個人是否在圖像中，然后通過對皮膚色彩的分析來檢測皮膚區(qū)域，基于皮膚區(qū)域面積來判斷圖像是否為色情圖像。將這個方法用于本文所使用的數(shù)據(jù)集中，獲得了81.23%的準確率。這個方法表現(xiàn)欠佳的原因在于如果在圖像中沒有檢測到人的話，則認為圖像不是色情圖像。然而檢測一張圖像中是否包含有人是比較困難的，因為一些色情圖像當中僅包含人體的一部分。并且僅通過分析皮膚區(qū)域來判別是否是色情圖像的方法不準確，因此準確率不高。

3.3 與其他深度神經(jīng)網(wǎng)絡(luò)模型比較

在文獻[12]中，作者使用CaffeNet作為神經(jīng)網(wǎng)絡(luò)的模型，并在訓(xùn)練過程中使用微調(diào)的方法對網(wǎng)絡(luò)進行訓(xùn)練，測試結(jié)果如表2所示。盡管訓(xùn)練過程中使用微調(diào)的方法提高了訓(xùn)練速度，也獲得了較強的泛化能力，在測試集中獲得的準確率為96.95%，本文的方法準確率比CaffeNet高出2.11%。 CaffeNet作為AlexNet的變種，有5層卷積層和3層全連接層，和AlexNet相比調(diào)換了網(wǎng)絡(luò)中池化層和局部響應(yīng)歸一化層的順序，一定程度上使得網(wǎng)絡(luò)占用更少的內(nèi)存和計算量，但是參數(shù)過于冗余的情況依舊存在，這使得在訓(xùn)練過程中易于過擬合，侵占較多計算機資源。而由于本文使用方法參數(shù)是CaffeNet的三十分之一，最后得到的網(wǎng)絡(luò)模型文件僅10 MB(CaffeNet為100 MB)。

3.4 訓(xùn)練集大小對結(jié)果的影響

為了驗證所設(shè)計網(wǎng)絡(luò)更不易過擬合，在訓(xùn)練集中隨機選取1萬張圖片制作小型數(shù)據(jù)集進行實驗，與現(xiàn)有結(jié)果進行對比，結(jié)果如圖9所示。

圖9 訓(xùn)練集變小后實驗結(jié)果

從圖9中可以看出，在降低數(shù)據(jù)集的數(shù)量后，不使用微調(diào)技術(shù)的CaffeNet遭受較為嚴重的過擬合問題，準確率降低了5.6%，為91.35%。而本文所使用的方法僅降低了1.78%，為97.28%。這說明本文所設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)因其網(wǎng)絡(luò)參數(shù)較少，在數(shù)據(jù)集較少的情況下依舊能獲得較高的準確率，比其他網(wǎng)絡(luò)更不易過擬合，這一屬性在數(shù)據(jù)集獲取成本高的情況下是十分實用的。

4 結(jié) 語

本文將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于色情圖像識別上，將色情圖像識別看成一個二分類問題，基于Inception模塊設(shè)計了一個對于色情圖像識別任務(wù)十分準確的神經(jīng)網(wǎng)絡(luò)模型。并且所提出的訓(xùn)練及測試方法簡單易實現(xiàn)，在擁有較少數(shù)據(jù)的情況下不易過擬合，準確率更高。最后使用此方法和其他主流的色情圖像檢測方法進行對比，實驗證明此模型比其他方法擁有更高的檢測精度。下一步將使用此模型在大型數(shù)據(jù)集(如ImageNet)上進行學(xué)習(xí)，然后與微調(diào)技術(shù)結(jié)合，減少訓(xùn)練所用的時間，進一步提高準確率。

[1] Wang M,Ni B,Hua X S,et al.Assistive tagging:A survey of multimedia tagging with human-computer joint exploration[J].Acm Computing Surveys,2012,44(4):1-24.

[2] Hong R,Meng W,Yue G,et al.Image Annotation by Multiple-Instance Learning With Discriminative Feature Mapping and Selection[J].Cybernetics IEEE Transactions on,2014,44(5):669-680.

[3] Wang M,Hua X S,Hong R,et al.Unified video annotation via multigraph learning[J].IEEE Transactions on Circuits & Systems for Video Technology,2009,19(5):733-746.

[4] Yin H,Xu X,Ye L.Big Skin Regions Detection for Adult Image Identification[C]//Digital Media and Digital Content Management.IEEE,2011:242-247.

[5] Liu B B,Su J Y,Lu Z M,et al.Pornographic Images Detection Based on CBIR and Skin Analysis[C]//Fourth International Conference on Semantics,Knowledge and Grid.IEEE Computer Society,2008:487-488.

[6] Lopes A P B,De Avila S E F,Peixoto A N A,et al.A bag-of-features approach based on Hue-SIFT descriptor for nude detection[C]//Signal Processing Conference,2009,European.IEEE,2009:1552-1556.

[7] Abe T,Shibata Y.A New Skin Detection Approach for Adult Image Identification[J].Research Journal of Applied Sciences Engineering & Technology,2012,4(21):245-274.

[8] Krizhevsky A,Sutskever I,Hinton G E.ImageNet classification with deep convolutional neural networks[C]//International Conference on Neural Information Processing Systems.Curran Associates Inc.2012:1097-1105.

[9] Meng W,Xueliang L,Xindong W.Visual Classification by l1-Hypergraph Modeling[J].IEEE Transactions on Knowledge and Data Engineering,2015,27(9):2564-2574.

[10] Yuguang Liu,Martin D Levine.Multi-Path Region-Based Convolutional Neural Network for Accurate Detection of Unconstrained “Hard Faces”[J].arXiv:1703.09145,2017.

[11] Wang L,Lu Y,Wang H,et al.Evolving boxes for fast vehicle detection[C]//IEEE International Conference on Multimedia and Expo.IEEE Computer Society,2017:1135-1140.

[12] Nian F,Li T,Wang Y,et al.Pornographic image detection utilizing deep convolutional neural networks[J].Neurocomputing,2016,210:283-293.

[13] Szegedy C,Liu W,Jia Y,et al.Going deeper with convolutions[C]//Computer Vision and Pattern Recognition.IEEE,2015:1-9.

[14] Lecun Y,Bottou L,Orr G B,et al.Efficient BackProp[J].Neural Networks Tricks of the Trade,1998,1524(1):9-50.

[15] Hinton G E,Srivastava N,Krizhevsky A,et al.Improving neural networks by preventing co-adaptation of feature detectors[J].Computer Science,2012,3(4):212-223.

[16] 雷浩,李生紅.基于改進Kohonen網(wǎng)和BP網(wǎng)的色情圖像識別技術(shù)[J].計算機工程,2005,31(10):164-167.

[17] Cybenko G.Approximation by superpositions of a sigmoidal function[J].Mathematics of Control,Signals,and Systems,1989,2(4):303-314.