馬怡陽 周 帆
(1.河北公安警察職業(yè)學(xué)院;2.河北省公安廳,河北 石家莊 050000)
人像問題是一個復(fù)雜而多變的問題,僅僅通過生硬的硬件和軟件不能完全解決,應(yīng)該加入規(guī)律的總結(jié)和人為的創(chuàng)造。本文主要通過實驗來總結(jié)人像問題中人臉輪廓在不同條件下的變化規(guī)律。
人頭面部輪廓包括發(fā)型和臉型,簡稱人臉輪廓,是人像重建的關(guān)鍵。對于一副低質(zhì)視頻人像能不能得到最大程度的重建,依賴于人臉輪廓恢復(fù)的是否正確。在低質(zhì)視頻人像中,人臉部輪廓一般都能發(fā)現(xiàn)大概邊緣,但是由于受到各種因素的影響,會使人臉部的輪廓發(fā)生變形??梢允谷四樰喞l(fā)生變形的主要因素有攝像頭的角度、光照方向、像素不夠、特殊鏡頭發(fā)生的形變、噪聲等。對于人臉輪廓的變化規(guī)律本文將從拍攝角度,光照方向,像素數(shù)量三個主要方面來進行探究。
人的臉型主要受骨骼影響。從直觀上看,人的頭部大體是橢圓形球。我國古代就有“相之大概,不外八格”之說,分類很詳細,即田、由、國、用、目、甲、風(fēng)、申等以字形為代表的八種臉型。另一方面,也有人將臉型按照數(shù)學(xué)圖形分類,分為圓形臉,橢圓形臉,正方形臉,長方形臉,菱形臉,三角臉等等??傊?,人的臉型有多種分類方法,綜合來看大致分為以下幾類:圓形臉,橢圓形臉,方臉,長方形臉,國字臉,用字臉,由字臉,甲字臉,申字臉,倒大臉。
因為有些臉型在細節(jié)方面差別較小,在視頻監(jiān)控下區(qū)分效果并不明顯,故結(jié)合實際情況,本文在實驗中將相似臉型歸為一類,大致分為以下四類臉型作為實驗標(biāo)準臉型:
表1 臉型二次分類表
相貌特征是在人們的印象形成過程中產(chǎn)生的。從印象初步的模糊狀態(tài)到清晰程度又是經(jīng)過大腦的分析認識而得到的。相貌特征是對特征點的綜合,一個部位特征是由多個特征點組合成的,特征點越多越準確,人像重建出來的效果就越接近真實相貌。
本文根據(jù)人臉輪廓的特點,結(jié)合相貌基本理論,將人臉分為如下特征點:
圖1 人臉特征點標(biāo)識圖
表2 人臉特征點統(tǒng)計表
本文根據(jù)人臉輪廓的特點,結(jié)合相貌基本理論將人臉輪廓分為如下特征點:
圖2 人臉輪廓特征點示意圖
現(xiàn)階段,在視頻監(jiān)控中難以直接識別出犯罪嫌疑人的最主要的原因是視頻像素太少,包含的信息過少。相對應(yīng)的解決方法包括兩種:一是改變硬件設(shè)施;二是通過軟件對視頻圖像進行處理。兩種方法都有其優(yōu)點和缺點。
通過改變硬件設(shè)施,可以提升視頻分辨率,畫面變得清楚直觀,圖像的分辨率增加了,細節(jié)就變得更加清晰,真實性高。缺點是硬件設(shè)備提高需要大量的資金,尤其是犯罪發(fā)生地點的不確定性,所以僅在重要區(qū)域安裝高清攝像頭,難以達到在邊緣地區(qū)也全部安裝高清攝像頭。即使是高清攝像頭,也不能將遠距離的每個人都看清晰。
通過軟件對視頻圖像進行處理,簡單方便,只需使用相關(guān)軟件便能提升圖像的質(zhì)量。但是缺點是處理結(jié)果并不理想,仍然存在變形和失真。軟件處理的方法,依賴于處理圖像的軟件和操作電腦的技術(shù)人員的圖像處理水平,處理后的圖片應(yīng)當(dāng)結(jié)合原始視頻質(zhì)量和實際情況反復(fù)斟酌,避免出現(xiàn)人為因素和軟件因素對處理結(jié)果造成影響,誤導(dǎo)偵查的方向。
通過實驗對比的方法來探究在像素變化過程中,人臉輪廓發(fā)生變化是否有規(guī)律可循,為人像重建提供一些科學(xué)而有價值的依據(jù)。
實驗用??稻W(wǎng)絡(luò)攝像機(型號DS-2CD812PF-W)模擬監(jiān)控攝像頭,在光照條件較好的環(huán)境下,固定人像不動。使用單一背景,防止背景對人臉輪廓的干擾。設(shè)置拍攝距離為單一變量,由近及遠連續(xù)拍攝一段視頻。
1.實驗器材
??稻W(wǎng)絡(luò)攝像機(型號DS-2CD812PF-W),米尺,藍色背景墻。
2.采集過程
使環(huán)境光照適中,背景固定人像不動,在1米至10米之間,每隔半米做一段標(biāo)記,使攝像機由半米處開始由近及遠連續(xù)拍攝一段視頻錄像。
將獲得的視頻錄像內(nèi)容進行篩選,根據(jù)每隔半米的標(biāo)志點進行截圖,并對獲得的人物圖像統(tǒng)一裁剪,插值處理,插值方法使用三次內(nèi)插法。對插值后的圖像再進行邊緣檢測,對得到的新圖像統(tǒng)一編號,以備數(shù)據(jù)測量。
實驗測量了圓臉、方臉、菱形臉、倒大臉的像素變化,具體圖片因涉及個人隱私略。
對不同臉型按照人臉基本知識中的人臉特征點進行測量,將測量數(shù)據(jù)制成表格,結(jié)果如下:
表3 圓臉各特征點數(shù)據(jù)(單位:像素)
表4 方臉各特征點數(shù)據(jù)(單位:像素)
表6 倒大臉各特征點數(shù)據(jù)(單位:像素)
特征 數(shù) 據(jù)下頜寬度額高下頜高度內(nèi)眥間距外眥間距112 137 126 132 113 104 108 89 34 41 35 46 36 30 35 29 44 55 45 54 42 37 42 35 31 36 33 35 29 31 30 28 93 110 98 104 89 84 84 70
由于眼球與皮膚顏色反差較大,在像素變化過程中以及邊緣檢測過程中,位置變化較小,相較于其他特征點有較好的魯棒性。所以將內(nèi)眥間距設(shè)定為單位1,將各個特征點數(shù)據(jù)換算為比例關(guān)系,制成折線圖。如下所示:
圖3 臉長變化規(guī)律
圖4 額寬變化規(guī)律
圖5 顴寬變化規(guī)律
圖6 下頜寬度變化規(guī)律
圖7 額高變化規(guī)律
圖8 下頜高度變化規(guī)律
圖9 外眥間距變化規(guī)律
通過實驗可以發(fā)現(xiàn),在攝像機像素不變的情況下,通過改變攝像距離的方式改變?nèi)四槻肯袼財?shù)量,從而觀察到人臉的各個特征點有如下變化規(guī)律:
表7 不同像素下人臉輪廓變化規(guī)律
通過規(guī)律我們知道,在人像重建方面隨著像素變低,各個臉型從整體上均表現(xiàn)出下頜變窄、眼睛間距變短、臉長變短、所有臉型均有變圓的趨勢。另一方面,在像素逐漸變低的過程中,額寬、顴寬、額高受影響較少。
根據(jù)規(guī)律總結(jié)我們可以發(fā)現(xiàn),在人像重建過程中,像素變低,著重要將臉型的整體稍稍加長,從下頜寬度應(yīng)稍微變寬,額頭寬度和臉部寬窄不應(yīng)做大的改動。在區(qū)分額頭寬度時注意發(fā)型對額頭的影響。在確定臉部顴骨的寬度時要注意耳朵的影響。在確定下頜的位置和形態(tài)時要注意頸部對下頜的影響。
此外,本次實驗的不足之處有如下幾個方面:
1.視頻圖像錄制過程中,模特有輕微的晃動,攝像機在移動過程中也有輕微的晃動,從而使攝像機與模特之間的拍攝角度發(fā)生變化,從而產(chǎn)生誤差,可能因為角度因素而影響結(jié)果。
2.在圖像預(yù)處理過程,原始圖像通過插值算法與邊緣檢測算法處理,處理后的圖像像素發(fā)生變化失去原始性,對處理結(jié)果可能造成影響。
3.數(shù)據(jù)測量過程中,由于是人為操作測量,會出現(xiàn)人為誤差。
4.樣本數(shù)量限制,結(jié)果不能說明全部問題,一些特殊臉型除外。
上次實驗討論了在像素變化過程中人臉輪廓的變化規(guī)律,整體照片質(zhì)量較好,反映出了在像素變少的過程中,人臉特征的變化趨勢。在上次實驗中人臉輪廓規(guī)律是通過對人面部特征變化規(guī)律總結(jié)得到的,但是在實際工作中,圖像的質(zhì)量要遠遠小于實驗素材的質(zhì)量,為了實際的應(yīng)用,就需要更深層度的探究。
由于照片質(zhì)量較差,邊緣檢測方法已經(jīng)無法準確檢驗出人臉特征的輪廓,那就需要更新實驗方法,使實驗結(jié)果更加準確。人臉外部輪廓相較于人臉其他特征在低質(zhì)量圖像中有較好的體現(xiàn),所以本次實驗將圍繞人臉輪廓特征展開。
視頻圖像采集過程與上次實驗的采集過程類似,首先固定人像不動,將攝像機逐漸后移,拍攝一段連續(xù)的視頻圖像。根據(jù)不同拍攝距離對視頻進行截圖、編號并且根據(jù)人臉基本知識中的人臉輪廓特征進行特征點標(biāo)注。由于像素降低,瞳距無法準確測出,則多幅圖像特征對比沒有統(tǒng)一單位。所以實驗中固定一黑色邊框,用邊框上緣橫線的長度和左右下緣兩點來代替瞳距的作用來固定多幅圖像,使圖像在對比過程中統(tǒng)一大小。
實驗測量了圓臉、方臉、菱形臉、倒大臉的像素變化,具體圖片因涉及個人隱私略。
將上節(jié)所標(biāo)注的特征點重合,分析低像素環(huán)境下相對于在較高分辨率下所標(biāo)注的特征點的偏移情況。
四種臉型在不同分辨率下所標(biāo)注的特征點對比示意圖因涉及個人隱私略。
通過實驗可以發(fā)現(xiàn),在固定一條直線和兩個點作為基本參照點,實驗過程中出現(xiàn)了位置偏移,刪除誤差極大的壞點后,所偏移的范圍的平均值作為實驗的誤差范圍,可以對實驗結(jié)果進行分析總結(jié)。在像素變低的過程中,各種臉型在微觀上呈現(xiàn)出不同的變化規(guī)律,在宏觀上呈現(xiàn)出較為相似的變化規(guī)律。圓形臉在像素逐漸變低的過程中的輪廓逐漸收縮,變化較為均勻,同時臉型收窄的幅度較大,臉部輪廓由橢圓形逐漸變成瓜子臉。方形臉在像素逐漸變低的過程中,受背景光線等影響較大,臉部輪廓收窄,下頜角逐漸變平并且變化的幅度較大,發(fā)際線位置基本不變。菱形臉在像素逐漸變低的過程中,臉部輪廓收窄幅度較小,寬度變化不大,下頜角明顯變平,下巴變尖。倒大臉在像素逐漸變低的過程中,臉部輪廓的長度逐漸變短,寬窄變化不大,下頜角逐漸平滑,下巴變平。
從整體上看,所有臉型在像素逐漸變低的過程中均表現(xiàn)出了收縮的趨勢,與實驗一的結(jié)論類似??梢钥闯?,隨著像素的變低,真實的臉部輪廓要比我們從視頻中看到的要大一些。若視頻中人臉較長,則有可能是菱形臉或者方臉;若視頻中是瓜子臉,則有可能是圓形臉或者菱形臉;若視頻中人臉較短,則有可能是倒大臉。在人像重建中需要注意,視頻中的臉型與真實臉型會有較大差異。本次實驗中臉部像素最低約為120個像素左右,若人臉像素在100個以內(nèi)基本不能夠保持臉型的基本結(jié)構(gòu)和五官的基本位置,臉部變形極為嚴重,不具備人像重建的基本條件(極個別條件較好的情況除外)。
本次實驗的不足之處有以下幾個方面:
1.視頻圖像錄制過程中,模特有輕微的晃動,攝像機在移動過程中也有輕微的晃動,從而使攝像機與模特之間的拍攝角度發(fā)生變化,從而產(chǎn)生誤差,可能因為角度因素而影響結(jié)果。
2.在圖像預(yù)處理過程,原始圖像通過插值算法與邊緣檢測算法處理,處理后的圖像像素發(fā)生變化失去原始性,對處理結(jié)果可能造成影響。
3.在特征點選取過程中,由于是人為操作測量,會出現(xiàn)人為誤差。
4.樣本數(shù)量限制,結(jié)果不能說明全部問題,一些特殊臉型除外。
在我們?nèi)祟惖囊曈X上,光線是我們大腦形成對事物印象的一個重要因素。有了光線,人們視野便產(chǎn)生了空間立體的感覺,同時,光線又使物質(zhì)表面本身產(chǎn)生了明與暗的變化與質(zhì)感。
在不同角度的光線下,同一物體所呈現(xiàn)出的面貌不盡相同。譬如:背面受光的人面像只是一個黑影輪廓,正面受光時,人的臉部變化看上去明暗對比不明顯,而顯得滿臉到處都明亮。
本文通過實驗去總結(jié)和驗證在不同的光照方向下,對人臉輪廓變化規(guī)律的影響。
1.實驗器材
實驗用??稻W(wǎng)絡(luò)攝像機(型號DS-2CD812PF-W)模擬監(jiān)控攝像頭,點光源。
2.采集過程
固定人物不動,在暗背景下,距離適中對人物進行拍攝。在拍攝過程中,使用點光源對人物打光,并且不斷變換光源的照射方向。錄制一段視頻。
3.實驗圖像處理
將錄制好的視頻按幀截取,把不同方向打光的人物圖像截取出來,并進行編號,以備圖像分析。
將實驗采集后的圖像按照臉型和不同光照方向進行分類對比。
1.同一臉型的不同光照對比
(1)同一臉型拍攝正常的光照方向作為樣本;
(2)同一臉型,八個光照方向?qū)Ρ葓D,光照分別從左側(cè)、左上側(cè)、上側(cè)、右上側(cè)、右側(cè)、右下側(cè)、下側(cè)、左下側(cè)八個方向?qū)θ四樳M行照射,來分析對比;
(3)分別研究圓臉、方臉、菱形臉、倒大臉在不同光照方向下的特征。
同一臉型條件下,不同光照方向?qū)Ρ仁疽鈭D因涉及個人隱私略。
2.同一光照的不同臉型對比
(1)比較在底光條件下,圓臉、方臉、菱形臉、倒大臉呈現(xiàn)出的不同狀態(tài);
(2)比較在低側(cè)光條件下,圓臉、方臉、菱形臉、倒大臉呈現(xiàn)出的不同狀態(tài);
(3)比較在側(cè)光條件下,圓臉、方臉、菱形臉、倒大臉呈現(xiàn)出的不同狀態(tài);
(4)比較在頂側(cè)光條件下,圓臉、方臉、菱形臉、倒大臉呈現(xiàn)出的不同狀態(tài);
(5)比較在頂光條件下,圓臉、方臉、菱形臉、倒大臉呈現(xiàn)出的不同狀態(tài)。
同一光照條件下,不同臉型對比示意圖因涉及個人隱私略。
通過對同一臉型的的不同方向光照對比發(fā)現(xiàn),在不同方向的光照下,由于陰影的影響,臉型呈現(xiàn)出明顯的變化。相同方向的光照下,不同臉型的變化大致一致??梢姽饩€變化對于不同臉型呈現(xiàn)出趨于一致性的變化規(guī)律如下:
表8 不同光照下人臉輪廓變化規(guī)律
在實際情況下,監(jiān)控視頻中底光的情況不多見,多數(shù)以頂側(cè)光和頂光較為多見。在人像重建過程中,受頂光影響的人像需要將腮部加大,注意發(fā)式陰影對額頭的影響,收窄額頭,注意顴骨等陰影對細節(jié)的影響,降低顴骨。受頂測光影響的人像,需要把面部臉型稍稍加圓,并將臉型變短,注意陰影對五官,顴骨等影響。受背光影響的人像,需要將輪廓完整的提取出來,并分析五官,顴骨等所在位置。
通過對實驗的分析和總結(jié),發(fā)現(xiàn)實驗有如下不足之處:
1.圖像采集過程中由于模特的輕微移動使模特和攝像機產(chǎn)生的角度誤差可能對實驗結(jié)果造成影響。
2.光照角度設(shè)計沒有科學(xué)的角度量化,只取得大概范圍。在角度設(shè)計上并不全面,未加入三維立體全面的光照設(shè)計。
3.設(shè)計中未加入光照強度對判斷結(jié)果的影響。
4.圖像分析過程基于主觀認識,依賴于主觀判斷。
5.樣本數(shù)量限制,結(jié)果不能說明全部問題,一些特殊臉型除外。
拍攝角度,是指對被攝對象的拍攝方向。水平面上可以分為正面拍攝和側(cè)面拍攝,豎直上分為俯拍,平拍,仰拍。所以本文將拍攝方位定位正面俯拍、正面平拍、正面仰拍、側(cè)面俯拍、側(cè)面平拍、側(cè)面仰拍幾個方位。通過實驗去探究不同方位拍攝對人臉輪廓變化的規(guī)律。
1.實驗器材
實驗用海康網(wǎng)絡(luò)攝像機(型號DS-2CD812PF-W)模擬監(jiān)控攝像頭。
2.采集過程
固定人物不動,取合適的拍攝距離,分別從正面俯拍、正面平拍、正面仰拍、側(cè)面俯拍、側(cè)面平拍、側(cè)面仰拍幾個方位去拍攝一段視頻,并將視頻進行截圖和編號,以備分析對比使用。
將實驗采集后的圖像按照臉型和不同拍攝方向進行分類對比。
1.同一臉型的不同拍攝角度對比
(1)圓臉的不同拍攝角度對比;
(2)方臉的不同拍攝角度對比;
(3)菱形臉的不同拍攝角度對比;
(4)倒大臉的不同拍攝角度對比。
同一臉型不同拍攝角度對比示意圖因涉及個人隱私略。
2.同一拍攝角度的不同臉型對比
(1)比較在正面俯拍條件下,不同臉型呈現(xiàn)出的不同狀態(tài);
(2)比較在側(cè)面俯拍條件下,不同臉型呈現(xiàn)出的不同狀態(tài);
(3)比較在側(cè)拍條件下,不同臉型呈現(xiàn)出的不同狀態(tài);
(4)比較在側(cè)面仰拍條件下,不同臉型呈現(xiàn)出的不同狀態(tài)。
同一拍攝角度不同臉型對比示意圖因涉及個人隱私略。
通過實驗對比發(fā)現(xiàn),在相同拍攝角度下,不同臉型呈現(xiàn)出較為一致的變化規(guī)律,所以在總結(jié)實驗過程中可以忽略臉型的影響。在不同拍攝角度下,人臉輪廓由于受到透視效果的影響,與正面平拍對比呈現(xiàn)出較大的變化??梢愿鶕?jù)不同的拍攝角度總結(jié)出人臉輪廓的變化規(guī)律如下:
表9 不同拍攝角度下人臉輪廓變化規(guī)律
在實際情況下,仰拍的情況并不多見,攝像頭高度一般都遠遠高于人物高度,所以一般情況下以俯拍為多。在人像重建過程中,人像在俯拍的情況下需要收窄額頭,加寬腮部,收短臉部長度,豐滿整個臉型。
通過對實驗的分析和總結(jié),發(fā)現(xiàn)實驗有如下不足之處:
1.圖像采集過程中由于模特的輕微移動使模特和攝像機產(chǎn)生的角度誤差可能對實驗結(jié)果造成影響。
2.對拍攝具體角度沒有測量,角度取值較少。
3.圖像分析過程基于主觀認識,依賴于主觀判斷。
4.樣本數(shù)量限制,結(jié)果不能說明全部問題,一些特殊臉型除外。