唐昱潤 宮法明 李 昕

（中國石油大學(xué)（華東）計算機科學(xué)與技術(shù)學(xué)院 青島 266580）

1 引言

網(wǎng)絡(luò)中色情信息傳播迅速且易于訪問，從而激發(fā)了自動檢測色情影像方法的發(fā)展。防止不良信息通過互聯(lián)網(wǎng)滲入青少年視野、毒蝕未成年的身心健康，達到凈化網(wǎng)絡(luò)、營造安全綠色的網(wǎng)絡(luò)環(huán)境的目的。但是，由于色情的主觀性和不確定性，自動識別色情信息任務(wù)比其他分類問題面臨更大的挑戰(zhàn)。

色情檢測最初的工作是將色情與裸露聯(lián)系在一起，試圖通過識別出裸露或衣冠不整的人［1～7］以進行色情的判定。在此類方法中，人體皮膚的檢測起了主要作用，其次是身體部位的識別。然而，通過皮膚的裸露來判別是否色情并不是一個有效的解決方案。非色情的情況下，仍可能存在大量暴露身體的情況。相反，有些色情場面僅涉及很少的裸露皮膚。且現(xiàn)如今的影視作品常?？桃獗苊獬霈F(xiàn)大面積裸露的情況，取而代之的是出現(xiàn)在敏感部位的扭動、撫摸等性暗示動作，增加了色情檢測的難度。

針對視頻中并未出現(xiàn)膚色裸露但仍含有色情信息的問題，本文提出一種基于人體關(guān)鍵點的色情信息檢測算法。首先通過人體姿態(tài)估計算法實現(xiàn)人體關(guān)鍵點的檢測，再將坐標(biāo)轉(zhuǎn)化為以人為中心的坐標(biāo)系，從而消去因拍攝角度或距離及人體自身差異性產(chǎn)生的影響，然后為每個關(guān)鍵點所屬肢體構(gòu)建一個2D 矢量場，將其兩個相關(guān)的身體部位連接在一起提取人體輪廓。再通過觀察色情幀中關(guān)鍵點的運動情況來獲取可能發(fā)生色情的敏感區(qū)域，最后為了有效利用視頻中的信息，本文設(shè)計了兩種附加時空姿勢特征進一步提升色情信息檢測的準確率。

2 相關(guān)工作

現(xiàn)有文獻通常將色情檢測與皮膚特征緊密聯(lián)系［8～12］。然而膚色容易受光照影響，對于復(fù)雜紋理的色情圖像通過單純的膚色檢測很難有高準確率，且對于含有大量膚色像素的非色情圖像容易出現(xiàn)誤判。將膚色作為色情圖像的判別標(biāo)準單一且不可靠，具有一定的局限性。

因此出現(xiàn)了一些基于高層語義實現(xiàn)色情圖像識別的方法。Deselaers 等［13］首次提出將色情內(nèi)容檢測作為計算機視覺分類問題，而不是皮膚檢測或分割問題。2017 年凡阿杰提出級聯(lián)檢測思想，逐級檢測出人臉以及膚色區(qū)域算出膚色最大連通區(qū)域，結(jié)合女性敏感部位的紋理特征、膚色特征以及LBP 算子運用AdaBoost 模型訓(xùn)練出敏感部位分類器。實驗結(jié)果表明，他們的方法明顯優(yōu)于以前的方法，但仍舊存在基于皮膚檢測過濾器的缺點。

Moustaf 首次提出通過深度神經(jīng)網(wǎng)絡(luò)進行色情檢測的方法。該方法需要微調(diào)兩個不同的ConvNet，直接在選定的幀上構(gòu)建結(jié)構(gòu)，以將它們分類為色情或非色情內(nèi)容，并通過多數(shù)投票過程將視頻的最終結(jié)果整合在一起。

Jonatas 等［14］提出ACORDE 模型，使用卷積神經(jīng)網(wǎng)絡(luò)對NPDI 數(shù)據(jù)集關(guān)鍵幀圖像進行特征提取，最后使用長短期記憶網(wǎng)絡(luò)對提取的特征進行分類。在這類方法中，依舊沒有探索視頻中提供的運動信息，色情檢測的準確率并未出現(xiàn)顯著性的提升，也難以解決本文中提到的擬解決的并未出現(xiàn)膚色裸露但仍存在色情信息的問題。

3 方法

本章將介紹所提出的色情信息檢測框架，如圖1 所示。首先，使用2D 骨架模型來檢測人體關(guān)鍵點。然后，利用這些關(guān)鍵點信息追蹤同一關(guān)鍵點在每對連續(xù)幀之間的距離和角度的變化以提取每個關(guān)鍵點的運動軌跡。之后，利用關(guān)鍵點信息提取出人體輪廓并劃分出可能發(fā)生色情信息的敏感區(qū)域。最后，通過處理視頻中的運動特征從而實現(xiàn)色情信息檢測。

圖1 基于人體關(guān)鍵點的色情信息檢測框架

3.1 人體關(guān)鍵點提取

為了減少視頻背景、服裝以及膚色裸露等因素對視頻中色情信息檢測的影響。從人體本身出發(fā)，通過引入姿勢特征密切關(guān)注人體關(guān)鍵點運動軌跡，從根源解決色情檢測問題。

為了使本文提出的方法不受拍攝角度或距離及人體自身差異性影響。去噪后，將髖關(guān)節(jié)中心放在原點第一幀，然后把每個關(guān)節(jié)的3D 坐標(biāo)從世界坐標(biāo)系轉(zhuǎn)換為以人為中心的坐標(biāo)系。通過從動作序列中每個關(guān)節(jié)坐標(biāo)中減去第一幀髖關(guān)節(jié)中心的坐標(biāo)實現(xiàn)，如式（1）所示。

其中，fpose是單幀檢測到的17 個關(guān)鍵點的二維矩陣，p是1×2 向量，代表第一幀中髖關(guān)節(jié)中心的坐標(biāo)，α是1×17 向量，B是2×2 矩陣，即17 個2×2 單位矩陣的水平級聯(lián)。

3.2 敏感區(qū)域提取

色情影像在背景、照明以及人物姿勢等方面存在著巨大的類內(nèi)差異，且色情內(nèi)容通常僅占據(jù)圖像較小的局部區(qū)域，而復(fù)雜混亂的背景會占據(jù)圖像的很大一部分，容易導(dǎo)致誤報且增加了計算量。為了使本文的方法能夠滿足時效性以及魯棒性，本文將摒棄對判定結(jié)果沒有正向反饋的視頻背景，將注意力集中在目標(biāo)人物上。因此，本文采取了人體輪廓提取以及區(qū)域標(biāo)記等方法，再以敏感區(qū)域是否存在頻繁動作或是往復(fù)運動為依據(jù)實現(xiàn)色情信息檢測。

3.2.1 人體輪廓提取

通過人體關(guān)鍵點構(gòu)造人體輪廓，首先需要有效正確的將各個關(guān)鍵點連接起來形成人體骨架。因此需要對每對關(guān)鍵點都設(shè)有關(guān)聯(lián)性的置信度，記錄每個關(guān)鍵點所屬肢體區(qū)域位置和方向信息，對于屬于特定肢體的區(qū)域中的每個像素，一個2D 矢量編碼是肢體一個部位指向另一部位的方向。每種肢體都有一個對應(yīng)的親和力場，將兩個相關(guān)的身體部位連接在一起。

計算機視覺［15～16］方面的最新研究表明，ResNet［17］能夠為像素預(yù)測任務(wù)提供更好的功能。因此，本文采用ResNet 來構(gòu)建分割網(wǎng)絡(luò)。將原始ResNet 的全連接層刪去，此外保留7*7卷積層和3*3池化層，進而擴大特征表示。然后是幾個標(biāo)準殘差單元，以滿足感興趣區(qū)域的接受范圍。到目前為止，輸出特征圖僅是其原始輸入圖像的分辨率的1/32。為了獲得所需的全分辨率輸出，自適應(yīng)地將通道數(shù)壓縮到標(biāo)簽數(shù)，利用升采樣操作將采樣升采樣回輸入圖像的空間分辨率。然后，使用另一個殘差單元以及1*1卷積層來預(yù)測最終結(jié)果。

3.2.2 敏感區(qū)域定義

為了有效利用提取的人體關(guān)鍵點在人體輪廓中的運動軌跡來判別視頻中是否含有色情內(nèi)容。本文將肖特［18］等提出的“任何旨在引起喚起性的明確性行為”這一定義用于本文工作。盡管仍是主觀的，但它建立了一套標(biāo)準。通過在Pornography-2k數(shù)據(jù)集上進行大量的實驗，得出了本文對色情的定義-凡是在敏感區(qū)域發(fā)生頻繁的動作或往復(fù)運動都有可能是色情信息。通過觀察色情幀人體關(guān)鍵點的運動軌跡及產(chǎn)生色情信息時關(guān)鍵點所在區(qū)域，而不僅僅是關(guān)鍵點坐標(biāo)?？紤]到人本身的差異性，本文通過計算可能發(fā)生色情信息的區(qū)域（如胸部）的面積與該目標(biāo)人體輪廓聯(lián)通區(qū)域占比，計算出所有實驗的占比情況并對其求平均值、極值、標(biāo)準差。為了更準確描述敏感區(qū)域，本文還將計算每個敏感區(qū)域重心以及該位置與當(dāng)前距離最近的人體關(guān)鍵點之間距離、角度以及dx、dy 偏移量。通過描述可能發(fā)生色情信息的位置及范圍，有效定義了人體敏感區(qū)域，在接下來的工作中僅需要觀察所有人體敏感區(qū)域當(dāng)中發(fā)生的動作方向、次數(shù)以及范圍，再通過加入先驗知識的SVM 分類器實現(xiàn)色情信息的檢測。

3.3 時空特征提取

本文旨在從人體骨骼序列運動特征出發(fā)，忽略外部環(huán)境等影響從根源上解決色情內(nèi)容檢測問題。因此，必須為視頻中的每個圖像中所出現(xiàn)的人物檢測關(guān)鍵點，對于包含人的每個圖像將產(chǎn)生一組關(guān)鍵點。通過時空計算在視頻的每個時刻生成人體各個部分的所有位置?，F(xiàn)在，可以使用關(guān)鍵點的運動特征來檢測人員是否發(fā)生了色情信息。為了有效利用視頻中的信息，本文設(shè)計了二種附加的時空姿勢特征：1）關(guān)節(jié)角度，某些關(guān)節(jié)的角度發(fā)生變化；2）肢體間距離，肢體間距離的變化；此外，可以結(jié)合使用這兩種方法來提高性能。本文為包含人物的每幅圖像檢測17 個關(guān)鍵點。因此定義一個尺寸為17*2 的矩陣來存儲關(guān)鍵點在圖像中的位置。另一方面，為了計算視頻中人物骨骼的變化，本文用能夠代表兩個連續(xù)圖像的矩陣（17*2）之間的距離當(dāng)作關(guān)鍵點之間的距離，如式（2）和式（3）所示。

其中Ii和Ii+1是關(guān)鍵點的兩個連續(xù)矩陣。

另一方面，本文還使用連續(xù)幀中相同關(guān)鍵點之間的角度變化來計算肢體的運動方向。在第一步中，為視頻中的每個幀計算骨架的關(guān)鍵點，如式（4）和式（5）所示。

在計算兩個連續(xù)幀中每個關(guān)鍵點之間的距離和角度之后，得到兩個矩陣M1和M2。第一個代表距離，第二個代表角度。再通過相鄰幀之間矩陣差異體現(xiàn)關(guān)節(jié)運動，如式（6）所示。

由于特征是逐幀提取的，并且是序列數(shù)據(jù)，因此采用諸RNN［19］和LSTM［20］之類的序列數(shù)據(jù)方法是合理的，如圖2所示。

對于基于人體關(guān)鍵點序列運動特征是否出現(xiàn)在人體敏感區(qū)域來進行色情內(nèi)容判別，至關(guān)重要的是減少類內(nèi)差異并擴大類間差異。因此，采用多損失策略來優(yōu)化網(wǎng)絡(luò)，如式（7）和式（8）所示。Softmax 損失可以將輸入分為不同的類別進而擴大類間差異。中心損失可以通過最小化類內(nèi)差異使不同類的特征分離。如式（9）所示，將兩個損失合并。

其中xi∈Rd是對應(yīng)于y 類的第i 個特征，d、W∈Rd×n和b∈Rd分別表示特征維，最后連接層和偏置項，而Cyi∈Rd是yi類的中心深層特征。在本文實驗中，λ為0.008時效果最佳。

4 實驗結(jié)果與分析

本文通過計算每個部位的運動特征以及每兩個連續(xù)關(guān)鍵點之間的距離和角度。之后將使用這些功能判別視頻中是否含有色情信息。在本節(jié)中將展示本文所提出方法的性能，還將介紹應(yīng)用于Pornography-2k數(shù)據(jù)集上的結(jié)果。

擬議方法的重點是將整個視頻分類為色情或非色情。視頻是幀的集合，將所有幀全部用于視頻分類需要大量的計算工作。但通過幀采樣可以使此實驗更易于管理，并且對于所提出的不同方法之間的比較仍然保持一致的有效性。根據(jù)這一既定要求，本文選擇使用每秒一幀（1fps）的幀采樣率并提取其中的運動信息。

圖3 中展示了連續(xù)幀中相同關(guān)鍵點之間距離變化。本文選用的含有色情信息的視頻。然后，通過計算每個幀中人物的關(guān)鍵點，并對敏感區(qū)域進行提取。之后，計算兩個連續(xù)幀中相同敏感區(qū)域內(nèi)其他關(guān)鍵點與該敏感區(qū)域重心距離的變化。因此，生成一個包含每個關(guān)鍵點距離的矢量，例如，本文計算了13 個矢量。之后將這些向量顯示為圖表，以顯示距離的變化。另一方面，本文發(fā)現(xiàn)，時間上的距離變化不是很大。圖4 展示了連續(xù)幀中兩個敏感區(qū)域（左胸部，右胸部）內(nèi)手部位置與敏感區(qū)域重心距離的變化。

圖3 關(guān)鍵點間距離矢量變化

圖4 關(guān)鍵點與敏感區(qū)域間距離矢量變化

為了減輕特征提取負擔(dān)，并使特征具有更大的判別力，設(shè)計制作時空姿勢特征。為了證明制作特征的有效性以及本文方法的可行性，設(shè)計5 組實驗與Pornography-2k 上現(xiàn)有的方法做比較并分別評估fpose、fAngle、fDistance和fmotion的有效性，如表1 所示。實驗表明通過結(jié)合所有這些特征，可以明顯提高性能，且優(yōu)于其他三組對比實驗。這意味著本文方法的可行性以及手工制作的特征可以明顯提高識別率。

表1 各方法在Pornography-2k中的準確率%

5 結(jié)語

本文針對視頻中并未出現(xiàn)膚色裸露但仍含有色情信息的問題，利用人體關(guān)鍵點提取、人體分割和時空特征融合等技術(shù)，提出了一種基于人體關(guān)鍵點的色情信息檢測方法。據(jù)調(diào)查，本文首次提出通過觀察敏感區(qū)域內(nèi)關(guān)鍵點運動特征實現(xiàn)色情檢測框架，并在Pornography-2k 色情數(shù)據(jù)集中進行了多次實驗，以驗證方法的可行性。

本文提出的方法旨在解決并未出現(xiàn)膚色裸露但仍含有色情信息的問題，僅通人體關(guān)鍵點的時動特征進行研究，雖然可以有效地解決這一問題。但是對于色情的另一特征-裸露并未開展有效的工作。作為未來的工作，打算結(jié)合人體膚色裸露情況展開研究，通過結(jié)合以上兩種不同的特征，進一步提升色情信息的準確度和適用性。