徐 斌,代雪晶
(中國(guó)刑事警察學(xué)院,遼寧 沈陽(yáng) 110035)
隨著計(jì)算機(jī)技術(shù)的不斷進(jìn)步,視頻監(jiān)控系統(tǒng)被廣泛運(yùn)用于刑事偵查、行為分析、異常情形預(yù)警、安全事件的事后調(diào)查等方面并發(fā)揮著重要作用。如何通過監(jiān)控對(duì)目標(biāo)人物的身高進(jìn)行準(zhǔn)確測(cè)量是亟待提高的關(guān)鍵技術(shù)。目前,結(jié)合辦案情況,普遍運(yùn)用的測(cè)量方法有軟件測(cè)量法、現(xiàn)場(chǎng)重建法與透視作圖法,筆者將提出一種新的測(cè)量方法,即基于新版Photoshop 中消失點(diǎn)功能的測(cè)量法。通過建立圖片的三維透視圖,在三維透視圖中移動(dòng)目標(biāo)人物到合適位置,根據(jù)目標(biāo)人物與標(biāo)定物的比例關(guān)系,得出目標(biāo)人物的實(shí)際身高。由于現(xiàn)實(shí)生活中,視頻監(jiān)控受到環(huán)境,設(shè)備,人為等因素的影響,圖像達(dá)不到準(zhǔn)確測(cè)量目標(biāo)人物身高的標(biāo)準(zhǔn),所以在測(cè)量之前需要對(duì)圖片進(jìn)行預(yù)處理。在測(cè)量方面,將著重介紹消失點(diǎn)測(cè)量法,并與傳統(tǒng)的透視作圖法進(jìn)行實(shí)驗(yàn)比較分析,探討兩方法的適用范圍與相關(guān)注意事項(xiàng)。
2008年,李苑在《單幅畫面中嫌疑人身高測(cè)判方法比較》一文中介紹了3 個(gè)測(cè)量身高方法,分別是透視作圖測(cè)量法、現(xiàn)場(chǎng)重現(xiàn)法和軟件測(cè)量法。文中李苑指出各個(gè)測(cè)量方法的優(yōu)劣,提出這3 種測(cè)量方法不是“精確測(cè)量”,仍是“概略測(cè)量”,測(cè)量所得的身高也不是目標(biāo)人物的實(shí)際身高,而是姿態(tài)的身高[1]。2012年,趙秀萍、王云、宋軍提出一個(gè)利用Photoshop 消失點(diǎn)功能測(cè)量視頻圖像中人體身高的方法,具體步驟是校正圖像垂直線,將人體與背景分離,確認(rèn)人體的身高線段,利用消失點(diǎn)功能測(cè)量人體身高[2]。筆者認(rèn)為,此方法存在一定的局限性,文中介紹的消失點(diǎn)測(cè)量法是通過人體身高的線段及頭部和腳部的水平線建立一個(gè)同時(shí)垂直于墻面和地面的新平面,然后畫出新平面與墻面相交的線段[3],最后根據(jù)線段的兩端長(zhǎng)度測(cè)算目標(biāo)人物的高度。如果該相交線段不在合適的參照物上,即人與參照物不在同一平面上,該方法就失效了。此外監(jiān)控圖像難免會(huì)出現(xiàn)透視變形、桶形畸變、枕形畸變、魚眼變形等圖像退化,此時(shí)消失點(diǎn)測(cè)量法該如何測(cè)量,文中并未涉及。筆者將該消失點(diǎn)測(cè)量方法進(jìn)行改良,適用目標(biāo)人物、參照物不在一個(gè)水平面且相距較遠(yuǎn)的情形和監(jiān)控圖像出現(xiàn)明顯退化的情形。另外,2018年,馬曉赟在《視頻監(jiān)控中人體身高識(shí)別關(guān)鍵技術(shù)研究》一文中詳細(xì)介紹了透視作圖測(cè)量法,提出透視作圖法測(cè)出的是人的姿態(tài)身高,誤差在2 厘米左右[4]。可見,透視作圖法測(cè)量精確度有提升空間。
從知網(wǎng)的搜索結(jié)果來看,關(guān)于畫面中目標(biāo)人物的身高測(cè)量方面的論文僅有10 余篇。通過文獻(xiàn)分析發(fā)現(xiàn)現(xiàn)有研究遇到的可改進(jìn)問題有以下幾點(diǎn):首先,文章都在結(jié)語(yǔ)中提到圖像的變形對(duì)最后測(cè)量數(shù)據(jù)存在影響,但是未對(duì)圖片預(yù)處理方法進(jìn)行總結(jié)概括;其次,目標(biāo)人物的垂足點(diǎn)與頭部頂點(diǎn)的選取為人直接標(biāo)選,存在較大的主觀成分;最后,缺少身高測(cè)量方法之間的系統(tǒng)比較研究。本文試就此做出改進(jìn)。
由于受到監(jiān)控設(shè)備、光照條件等因素的影響,視頻監(jiān)控畫面質(zhì)量往往達(dá)不到準(zhǔn)確測(cè)量目標(biāo)人物身高的標(biāo)準(zhǔn)。因此,在測(cè)量目標(biāo)人物的身高之前,需要對(duì)視頻監(jiān)控圖像進(jìn)行預(yù)處理,主要處理方法有圖像增強(qiáng)、色彩調(diào)整、鏡頭校正、圖像復(fù)原和MATLAB 函數(shù)等。
筆者總結(jié)概括了圖像降質(zhì)環(huán)節(jié)和降質(zhì)因素,并介紹使用Photoshop 與MATLAB 兩個(gè)軟件解決圖像降質(zhì)的方法,具體如下[5]:
人的身高在一個(gè)特定的時(shí)間段內(nèi)是穩(wěn)定不變的,所以身高是視頻監(jiān)控中人身同一認(rèn)定的基本參數(shù)。
在視頻監(jiān)控的畫面中,目標(biāo)人物的身高值一般是指頭部頂點(diǎn)與垂足點(diǎn)連線的長(zhǎng)度。找到頭部頂點(diǎn)和垂足點(diǎn)位置是準(zhǔn)確測(cè)量的關(guān)鍵,董秋雷等人提出的實(shí)時(shí)測(cè)量方法采用混合高斯模型來提取頭部頂點(diǎn)、垂足點(diǎn);Jiang Mingxin 等人利用前景區(qū)域的主軸線計(jì)算頭部頂點(diǎn),并根據(jù)幾何約束求出垂足點(diǎn);張彩霞等人巧妙避免主觀選取頭部頂點(diǎn)與垂足點(diǎn)的環(huán)節(jié),在頭部頂點(diǎn)形成一個(gè)與地平面平行的虛擬平面,該平面與地平面的垂直距離就是人的身高[6]。
圖1 視頻監(jiān)控原始圖像Fig.1 Video surveillance original image
其次,在視頻監(jiān)控畫面中不可避免地會(huì)存在一些干擾測(cè)量的因素,需要根據(jù)圖片的情況,按照上述視頻監(jiān)控畫面的預(yù)處理方法進(jìn)行相應(yīng)的預(yù)處理。如圖1 所示,門出現(xiàn)了桶形形變,另外還存在光線條件差、色彩對(duì)比度低分辨率低等情況,需要進(jìn)行預(yù)處理。處理過程如圖2、3、4 所示。
圖2 鏡頭矯正處理后的圖像Fig.2 Lens corrected image
圖3 色調(diào)均化與陰影/高光處理后的圖像 Fig.3 Tonal homogenization and shadow/highlight processed images
圖4 自由變換去傾斜后的圖像Fig.4 Freely transforming the image after tilting
在找到頭部頂點(diǎn)和垂足點(diǎn),以及對(duì)視頻監(jiān)控畫面預(yù)處理后,筆者將介紹身高測(cè)算方法。目前,結(jié)合辦案情況,普遍運(yùn)用的測(cè)量方法有軟件測(cè)量法、現(xiàn)場(chǎng)重建法、透視作圖法,以及近些年出現(xiàn)的消失點(diǎn)測(cè)量法。相較于透視作圖法和消失點(diǎn)測(cè)量法而言,現(xiàn)場(chǎng)重現(xiàn)法與軟件測(cè)量法適用的場(chǎng)合較少,操作復(fù)雜而不易掌握,不適合于基層辦案需要。所以,筆者將著重介紹透視作圖法和消失點(diǎn)測(cè)量法。
監(jiān)控視頻的原理是光學(xué)成像,將三維空間轉(zhuǎn)換成二維畫面,存在近大遠(yuǎn)小等透視現(xiàn)象。人可以在監(jiān)控視頻中隨意地走動(dòng),二維畫面中目標(biāo)人物的影像高度也隨之變化,人眼無法直接讀取身高值[4]。但是監(jiān)控視頻中的某些物品位置是固定的,如門、窗、畫框等,這些固定物的實(shí)際長(zhǎng)度可以在現(xiàn)場(chǎng)直接測(cè)量得到。透視作圖法通過研究圖像的透視規(guī)律,尋找目標(biāo)人物身高與參照物的長(zhǎng)度比例關(guān)系,算出目標(biāo)人物的身高值。透視作圖測(cè)量法大致有以下幾個(gè)步驟:
1.延長(zhǎng)一組平行線相交于一點(diǎn),此點(diǎn)為該平行線方向“消失點(diǎn)”,也稱為“滅點(diǎn)”。
2.視計(jì)算需要,作出不同方向的“消失點(diǎn)”,根據(jù)“消失點(diǎn)”繪制畫面相關(guān)透視圖。
3.畫出目標(biāo)人物的頭部頂點(diǎn)與垂足點(diǎn),確定身高線段。
4.尋找合適的透視關(guān)系,找到身高線段與參照物的長(zhǎng)度比例關(guān)系。
5.現(xiàn)場(chǎng)測(cè)量參照物的實(shí)際高度,在畫面上測(cè)量目標(biāo)與參照物的畫面長(zhǎng)度數(shù)據(jù)。
6.將取得的數(shù)據(jù)代入比例關(guān)系中,計(jì)算出目標(biāo)人物的實(shí)際身高。
圖5 使用Photoshop 繪制滅點(diǎn)(消失點(diǎn)),根據(jù)比例關(guān)系求值Fig.5 Use Photoshop to draw vanishing points and evaluate them according to the proportional relationship
如圖5 所示,直線A、B 是一組平行線,直線C、D、E 是一組平行線,平行線之間的距離處處相等,所以身高線段L1、L2、L3 都可以表示目標(biāo)人物的身高。利用Photoshop 的量尺工具測(cè)得線段ab=20.70,線段ac=25.90,已知門高226cm,帶入公式計(jì)算得出目標(biāo)人物的身高為180.63cm,與實(shí)際身高183cm相比,誤差較大。
消失點(diǎn)是Photoshop 濾鏡中的功能,允許在透視平面上(樓道墻壁或者任何矩形對(duì)象)的圖像中進(jìn)行透視校正編輯,也可以按照透視的原理進(jìn)行測(cè)量。
利用消失點(diǎn)測(cè)量目標(biāo)人物的操作步驟有:
1.對(duì)圖像進(jìn)行預(yù)處理
由于監(jiān)控的安裝位置不正,拍攝畫面可能會(huì)傾斜,則需要利用Photoshop 的“變換(A)”進(jìn)行旋轉(zhuǎn)調(diào)整。如果圖像出現(xiàn)變形,可以按照第二段總結(jié)的預(yù)處理方法進(jìn)行處理。如圖6、圖7 所示。
圖6 監(jiān)控原圖(存在退化)Fig.6 Degraded original image
圖7 旋轉(zhuǎn)-0.92,扭曲+6Fig.7 Rotate -0.92,twist +6
2.將人體和背景分離,確定人體的身高線段
人體的身高取決于頭部頂點(diǎn)與垂足點(diǎn)的提取。下面介紹兩種身高線段提取的方法:
(1)利用MATLAB 工具箱中的sobel 算法、prewitt 算法、log 算法進(jìn)行邊緣檢測(cè),選取最高點(diǎn)。如果兩只腳的邊緣輪廓是兩塊不連通的區(qū)域,那么在兩段曲線邊緣上取縱坐標(biāo)最大的兩個(gè)點(diǎn),兩點(diǎn)的連線記為M,過最高點(diǎn)做連線M 的垂直線段L,L 為人體的身高線段。如果兩只腳的邊緣輪廓是連通的區(qū)域,在這曲線上選取橫坐標(biāo)最小的一點(diǎn)與最大的一點(diǎn),兩點(diǎn)連線記為M,過最高點(diǎn)做連線M 的垂直線段L,L 則為人體的身高線段。
(2)利用Photoshop 濾鏡中的消失點(diǎn)功能,建立地面的平面A,使平面的一邊緊貼目標(biāo)人物的垂足點(diǎn),然后將鼠標(biāo)光標(biāo)放在邊上圓點(diǎn)上按住“Ctrl”拉出一個(gè)平面B,此時(shí)平面A 與平面B 垂直。平面B的上邊緣與目標(biāo)人物的頭部特征點(diǎn)相平行。平面B 上的豎直邊P 就是目標(biāo)人物的身高線段P,如圖8 所示。
圖8 消失點(diǎn)窗口繪制的平面A、B 與身高線段PFig.8 Plane A,B drawn by the vanishing point window and height line segment P
3.利用消失點(diǎn)測(cè)量目標(biāo)人物的身高
首先選擇消失點(diǎn)命令,建立地面A、人體所在平面B、墻壁平面C 的三維系統(tǒng);選取身高線段P平移到墻壁所在平面C 與平面B 的相交處,記為線段H。然后,在墻壁平面C 上尋找合適的參照物,調(diào)整平面C 的豎直邊,讓平面C 的寬度等于線段H的長(zhǎng)度,然后在平面C 上平移線段H 到合適的參照物上,此時(shí)線段記為H’。最后根據(jù)身高線段與參照物的比例關(guān)系算出目標(biāo)人物的身高。
4.圖像失真嚴(yán)重的情況
如果圖像失真較嚴(yán)重且地面的參照物特征點(diǎn)較好(記一平面D 分別與地面A、人體所在平面B垂直,平面A,B,D 兩兩垂直,由于監(jiān)控畫面存在失真現(xiàn)象,平面D 與墻面C 不完全重合,如圖9 所示)。平面D 與平面B 的交線為M,線段M 是人物身高線段(平面B 的上邊緣與下邊緣分別經(jīng)過人的頭部頂點(diǎn)與垂足點(diǎn),線段M 與線段P 長(zhǎng)度相等),接著調(diào)整平面D 的寬度,使平面D 的寬度等于線段M 的長(zhǎng)度,這樣平面D 上每一條垂直的藍(lán)色輔助線的長(zhǎng)度都能表示為目標(biāo)人物的身高,如圖9所示。然后,把鼠標(biāo)光標(biāo)放在平面D 上邊緣的圓點(diǎn)處,按住“Alt”旋轉(zhuǎn),使得平面D 與墻壁平面C 貼合。最后,把光標(biāo)放置在平面C 的ab 邊上進(jìn)行拖動(dòng),從而拉升平面C 的長(zhǎng)度,使得ab 邊與參照物重合。ab邊記為M’,根據(jù)身高線段M’與參照物的比例關(guān)系算出目標(biāo)人物的身高,如圖10 所示。
圖9 線段M 是人在平面D 上的投影Fig.9 Line segment M is the projection of a person on plane D
圖10 平面D 與墻壁貼合時(shí)人的投影M’Fig.10 The projection M' of the plane D when it fits the wall
畫面中目標(biāo)人物的測(cè)量高度M’=10.05,畫面中門的高度ac=12.4,門的實(shí)際長(zhǎng)度226cm。利用公式算出目標(biāo)人物的實(shí)際身高為183.17cm,與183cm的實(shí)際身高差距不大。
利用Photoshop 消失點(diǎn)測(cè)量法與透視作圖法對(duì)不同的畫面中目標(biāo)人物的身高進(jìn)行測(cè)算,比較這兩種方法的誤差大小并分析產(chǎn)生誤差的原因。
場(chǎng)景一與場(chǎng)景二為樓道監(jiān)控拍攝所得,背景畫面較復(fù)雜,地面平整,有參照物,至少存在一個(gè)“消失點(diǎn)”,Photoshop 消失點(diǎn)測(cè)量法與透視作圖法均能夠測(cè)量目標(biāo)人物的身高。場(chǎng)景一與場(chǎng)景二畫面均存在變形,光照條件不好,需要進(jìn)行預(yù)處理。目標(biāo)人物與畫面背景反差不大,需要提取垂足點(diǎn)與頭部頂點(diǎn)。
目標(biāo)人物A、B、C、D 身高不同,與參照物(門)不在同一平面內(nèi),離參照物的距離有近有遠(yuǎn)。因?yàn)闇y(cè)量的目標(biāo)人物的身高是人物姿態(tài)的高度,所以目標(biāo)人物A、B、C、D 盡量保持直立,避免低腰、跑步等姿態(tài)變化對(duì)身高測(cè)量產(chǎn)生的誤差。
采用本文第三部分介紹的方法和步驟進(jìn)行目標(biāo)人物身高的測(cè)量。實(shí)驗(yàn)結(jié)果如表1、表2 所示。
表1 場(chǎng)景一中消失點(diǎn)與透視法計(jì)算出的目標(biāo)人物的身高與誤差Table1 The height and error of the target person calculated by the vanishing point and the perspective method in scene one
表2 場(chǎng)景二中消失點(diǎn)與透視法計(jì)算出的目標(biāo)人物的身高與誤差Table2 The height and error of the target person calculated by the vanishing point and the perspective method in scene two
1.消失點(diǎn)測(cè)量法的誤差分析
首先,消失點(diǎn)測(cè)量法要求地面平整,根據(jù)墻角線或矩形瓷磚的邊緣等特征線段建立起關(guān)于地面的平面。如果畫面中沒能清楚地顯示特征線段,則建立出的平面不能準(zhǔn)確反映畫面的透視關(guān)系,對(duì)后續(xù)的目標(biāo)人物的測(cè)量會(huì)產(chǎn)生影響。其次,監(jiān)控?cái)z像頭拍攝的畫面不可避免會(huì)出現(xiàn)失真的退化,對(duì)于嚴(yán)重失真的圖片很難校正為正常圖片,這對(duì)消失點(diǎn)測(cè)量也會(huì)產(chǎn)生影響。最后,目標(biāo)人物離鏡頭較遠(yuǎn),人身小且像素低,人在讀取數(shù)據(jù)時(shí)難免存在一定的主觀性。
2.透視作圖法的誤差分析
透視作圖法的關(guān)鍵在于尋找滅點(diǎn),有的監(jiān)控畫面沒有合適的參照物以至于畫不出滅點(diǎn),或是監(jiān)控的偏移角度太大,滅點(diǎn)離開畫面太遠(yuǎn)。滅點(diǎn)遠(yuǎn)導(dǎo)致選取頭部頂點(diǎn)與垂足點(diǎn)時(shí)產(chǎn)生的誤差成倍增大,同時(shí)也加大了作圖的難度。此外,鏡頭焦距的長(zhǎng)短、拍攝距離的遠(yuǎn)近、仰俯角度的大小和畫面的透視變形也會(huì)影響測(cè)量的精度。
實(shí)踐證明,利用Photoshop 的消失點(diǎn)測(cè)量法對(duì)站立狀態(tài)下靜態(tài)身高值測(cè)量誤差最小,假定作圖規(guī)范,誤差可以小于1cm,而且方便快捷。透視作圖法測(cè)量的工作量較大,與Photoshop 畫圖功能相結(jié)合,可相應(yīng)減少工作量。相較于透視作圖法而言,消失點(diǎn)測(cè)量法局限性較小,對(duì)失真退化的圖像預(yù)處理后,消失點(diǎn)測(cè)量法也能較準(zhǔn)確得到目標(biāo)人物的身高值。此外,我們還要綜合考慮目標(biāo)人物的動(dòng)作是否導(dǎo)致身形變化、身體是否被遮擋、鞋子是否帶增高等情形,才能對(duì)目標(biāo)人物的實(shí)際身高作出準(zhǔn)確判斷。