王　嶺，許穎浩，沈　笠，周　軍

(1. 上海文廣科技(集團(tuán))有限公司，上海　200233；2. 上海文廣互動(dòng)電視有限公司，上?！?00072；3. 上海交通大學(xué)圖像通信與網(wǎng)絡(luò)工程研究所，上?！?00240)

基于場(chǎng)景分析的建筑圖像水平自適應(yīng)調(diào)整方法

王嶺1，許穎浩2，沈笠3，周軍3

(1. 上海文廣科技(集團(tuán))有限公司，上海200233；2. 上海文廣互動(dòng)電視有限公司，上海200072；3. 上海交通大學(xué)圖像通信與網(wǎng)絡(luò)工程研究所，上海200240)

摘要:建筑圖像是一類經(jīng)常會(huì)在電視節(jié)目中出現(xiàn)的內(nèi)容。攝像機(jī)非水平位置拍攝建筑物會(huì)影響建筑圖像畫面的美感。建筑類自然場(chǎng)景圖像傾斜自動(dòng)調(diào)整，其技術(shù)核心在于如何檢測(cè)出圖像拍攝時(shí)的水平傾斜角。針對(duì)建筑圖像的自適應(yīng)水平調(diào)整要求，基于成角透視原理，利用建筑的輪廓線，通過邊緣檢測(cè)及霍夫變換提取出主要偏向水平直線的參數(shù)，基于直線參數(shù)方程得到平行線的透視消失點(diǎn)，再利用建筑物的兩個(gè)水平消失點(diǎn)估計(jì)得到成像傾角，最后通過圖像旋轉(zhuǎn)變換得到調(diào)整后的圖像，相關(guān)實(shí)驗(yàn)結(jié)果驗(yàn)證了所提方法的有效性。

關(guān)鍵詞:邊緣檢測(cè)；霍夫變換；圖像水平

在當(dāng)前的電視節(jié)目中，建筑物是畫面中經(jīng)常出現(xiàn)的內(nèi)容。在拍攝建筑的時(shí)候，如果攝像機(jī)沒有處于水平狀態(tài)，畫面中的線條就會(huì)因透視效果而呈現(xiàn)傾斜匯聚，使整個(gè)畫面看起來不舒服。為了拍攝內(nèi)容的水平以實(shí)現(xiàn)其一點(diǎn)或二點(diǎn)透視效果，需要一些輔助方法來確保攝像機(jī)水平，一般采用帶水平儀的三角架來固定攝像機(jī)，從而保證整個(gè)畫面內(nèi)容的水平。

采用輔助手段固然可以保證拍攝出水平的畫面，但更多情況是在沒有輔助方法的情況下通過主觀調(diào)平拍攝的畫面，這類圖像畫面中或多或少地存在水平失真情況。如何通過圖像后期處理方法，將失真圖像進(jìn)行水平調(diào)整，以提高畫面質(zhì)量具有實(shí)際意義。

本文針對(duì)包含建筑物的圖像，基于透視成像原理[1]，通過對(duì)建筑物中所包含的平行線檢測(cè)，得到水平方向的兩個(gè)消失點(diǎn)。這兩個(gè)消失點(diǎn)的連線就是拍攝時(shí)攝像機(jī)的實(shí)際水平線。通過圖像旋轉(zhuǎn)變換，使圖像中建筑物水平消失點(diǎn)水平，即可實(shí)現(xiàn)整個(gè)畫面的水平調(diào)整。

1透視成像基本原理

人們通過一個(gè)面來看事物時(shí)，觀看的視線與該面交成的圖形，稱之為透視圖[2]。如果保持繪圖時(shí)眼睛與圖形的相對(duì)位置，則觀看透視圖所得的視覺體驗(yàn)，就像在原處觀看一樣。透視圖符合人們的視覺印象，而照相機(jī)的成像原理與人眼接近，所以攝影獲得的照片也完全符合透視的規(guī)律。

消失點(diǎn)，也稱為消點(diǎn)、滅點(diǎn)，它是指不平行于畫面的直線無限遠(yuǎn)的投影點(diǎn)。3D空間中，由于透視投影，無窮遠(yuǎn)的東西會(huì)在畫面上聚集于有限的范圍內(nèi)。例如，在真實(shí)世界中兩條平行先會(huì)在畫面中相聚一點(diǎn)，該點(diǎn)即為平行線方向的消失點(diǎn)。

視平線、地平線是過視心所做的水平線，或者說是地平面盡頭與天空交界的水平線。觀察者平視時(shí)，視平線與地平線重疊，即視平線與地平線重疊；當(dāng)觀察者仰視或者俯視時(shí)，視平線與地平線分離，兩者呈平行關(guān)系。地平線是一種消隱線，在計(jì)算機(jī)視覺中，消隱線是平行平面在無窮遠(yuǎn)的地方相交而產(chǎn)生的一條交線在像平面的投影[1]。

成角透視就是景物縱深與視中線成一定角度的透視，景物的縱深因?yàn)榕c視中線不平行而向主點(diǎn)兩側(cè)的余點(diǎn)消失(圖1)。攝像機(jī)調(diào)在水平模式下成像就是成角透視，基于成角透視的原理，針對(duì)建筑物圖像，通過檢測(cè)畫面中建筑物水平平行線的兩個(gè)水平消失點(diǎn)，得到水平消失線，該水平消失線與水平線的偏差反映了圖像成像時(shí)的水平偏差。在檢測(cè)該水平偏差角度基礎(chǔ)上，通過圖像旋轉(zhuǎn)處理即可得到水平調(diào)整后的圖像。

圖1　成角透視原理

2建筑圖像傾斜角自動(dòng)檢測(cè)方法

通過上文分析可知：求得以左右消失點(diǎn)確定的圖像中地平線的傾角，是檢測(cè)建筑類場(chǎng)景圖像傾角的關(guān)鍵步驟。根據(jù)消失點(diǎn)的定義，即不平行于畫面的直線無限遠(yuǎn)的投影點(diǎn)，消失點(diǎn)在建筑類圖像中可以表示方形物寬度和深度的兩個(gè)不同平面上的平行邊線的匯聚點(diǎn)求得。

2.1算法總體框架

基于成角透視原理，針對(duì)一幅建筑圖像，其自動(dòng)水平調(diào)整方法的整體框架如圖2所示。提取合適的建筑物輪廓邊緣是求得成角透視消失點(diǎn)的關(guān)鍵。

圖2　水平調(diào)整算法框架

首先，對(duì)于輸入的建筑圖像，通過邊緣檢測(cè)方法提取偏向于水平方向的邊緣，即建筑物兩個(gè)立面上的水平平行線所對(duì)應(yīng)的直線特征，利用Hough變換提取具有一定長(zhǎng)度特征且偏向水平方向的直線參數(shù)，再通過最小二乘方法擬合得到兩個(gè)平面上水平方向直線的消失點(diǎn)，最后根據(jù)這兩個(gè)成角透視消失點(diǎn)與水平線的夾角，對(duì)圖像進(jìn)行旋轉(zhuǎn)變換，即可得到水平調(diào)整后的圖像。

2.2邊緣提取

霍夫變換是直線檢測(cè)的經(jīng)典算法，但是霍夫變換的操作對(duì)象是二值圖像。因此，需要通過邊緣檢測(cè)算法提取建筑圖像兩個(gè)垂直立面中的水平直線。

邊緣檢測(cè)是圖像處理和計(jì)算機(jī)視覺中的基本問題，邊緣檢測(cè)的目的是標(biāo)識(shí)數(shù)字圖像中亮度變化明顯的點(diǎn)[3]。常用的邊緣檢測(cè)算子有一階的Robert算子、Sobel算子、Canny算子[4]及二階的Marr-Hildreth算子等。其中，Canny算子通過最優(yōu)預(yù)平滑濾波器實(shí)現(xiàn)梯度最大邊緣檢測(cè)[4]。

采用Canny算子可以較好地提取圖像中的邊緣信息。但對(duì)于圖像水平自適應(yīng)調(diào)整應(yīng)用來說，本文的目標(biāo)是提取圖像中在傾角上偏向于水平的線段。因此，邊緣檢測(cè)算法提取到的垂直線段相對(duì)來說成為一種噪聲數(shù)據(jù)。如果能過濾出有價(jià)值的輪廓、剔除不具有參考價(jià)值的邊緣信息，無疑是十分有幫助的預(yù)處理。

通過對(duì)于Canny算子與Sobel水平算子邊緣提取方法(圖3)，可以看到Sobel算子較好地檢測(cè)出偏向水平方向的輪廓線條，同時(shí)具有計(jì)算量小、速度快的特點(diǎn)。相比Canny算子，作為基于霍夫變換的直線檢測(cè)預(yù)處理，Sobel算子能更好地篩選出有用信息，能幫助減小下一步直線檢測(cè)的計(jì)算量。

圖3　Sobel算子與Canny算子邊緣檢測(cè)對(duì)比

2.3直線檢測(cè)與消失點(diǎn)估計(jì)

采用水平方向優(yōu)先的Sobel算子，已較好地完成了圖像中邊緣的二值化檢測(cè)處理，在此基礎(chǔ)上需要提取圖像中的直線及參數(shù)，用于下一步的消失點(diǎn)擬合計(jì)算。

Hough變換是圖像直線檢測(cè)的基本方法[5]，它通過將檢測(cè)到的邊緣點(diǎn)，通過極坐標(biāo)變換，將輸入圖像中的每個(gè)像素到映射到(ρ，θ)空間中，通過累加統(tǒng)計(jì)，得到直線的參數(shù)化方程。

考慮到針對(duì)圖像水平調(diào)整的成角消失點(diǎn)檢測(cè)是提取偏向水平方向的直線，為此本文添加了角度限制和長(zhǎng)度限制作為約束條件。在角度限制方面，剔除了斜率在±45°之外的直線。在長(zhǎng)度限制方面，考慮到圖像中存在各種邊緣噪聲，對(duì)于Hough變換檢測(cè)到的直線段，通過選擇長(zhǎng)度較長(zhǎng)的直線，可以提高所檢測(cè)直線的質(zhì)量。

2.4水平線提取及圖像旋轉(zhuǎn)變換

基于成角透視原理，利用上一步基于Hough變換提取的兩個(gè)垂直平面上偏向水平方向的直線，計(jì)算這些直線兩兩之間的交點(diǎn)。

理論上這些直線在成角透視條件下交于兩點(diǎn)，但是由于鏡頭畸變導(dǎo)致的圖像幾何失真、邊緣提取誤差等，導(dǎo)致所提取的參數(shù)化直線存在一定噪聲，不同垂直平面上水平直線的兩兩交點(diǎn)實(shí)際上不可能聚于某一點(diǎn)，因此，可以通過數(shù)據(jù)篩選原則剔除前10%、后10%的數(shù)據(jù)后求平均值，以此提高所提取的消失點(diǎn)的可靠性(圖4)。

圖4　消失點(diǎn)分布

3實(shí)驗(yàn)結(jié)果與分析

基于上述所提方法，本文使用圖5用于整個(gè)算法測(cè)試。從圖5大樓整體角度可以直觀看出，圖像有較為明顯的左傾情況，大樓輪廓以及墻壁外立面的線條有較好的指向消失點(diǎn)特征傾向，即具有成角透視特征。因此，可以通過本文所提方法分別提取位于地平線上的左右兩個(gè)消失點(diǎn)，測(cè)量?jī)上c(diǎn)直線與水平線的傾角即可檢測(cè)該圖像的傾斜角。

圖5　實(shí)驗(yàn)用圖

針對(duì)圖5實(shí)驗(yàn)用圖，整個(gè)調(diào)整過程中各步驟結(jié)果如圖6所示。對(duì)于圖5中方框內(nèi)含有大樓特征區(qū)域圖像利用Sobel算子提取兩個(gè)建筑面上的水平直線(圖6a)。設(shè)定Hough變換的中θ的間隔為0.5°，通過Hough變換(圖6b)檢測(cè)直線長(zhǎng)度大于80像素的直線段，對(duì)于所檢測(cè)的直線，通過方向一致性檢驗(yàn)，剔除直線方法基本不一致的線段(圖6c)。

圖6　實(shí)驗(yàn)用圖傾角檢測(cè)及調(diào)整流程

采用同樣方法，對(duì)其他2幅建筑圖像進(jìn)行消失點(diǎn)檢測(cè)，得到其傾角分別是+6.427 6°(圖7)和-4.878 4°(圖8)，在此基礎(chǔ)上進(jìn)行圖像的旋轉(zhuǎn)變換即得到水平自動(dòng)調(diào)整后的圖像，可以看到圖像效果有明顯改善。

4小結(jié)

本文實(shí)現(xiàn)了基于場(chǎng)景內(nèi)容分析的建筑圖像自適應(yīng)水平調(diào)整，采用Sobel邊緣檢測(cè)算子進(jìn)行了快速的邊緣檢測(cè)與篩選，在此基礎(chǔ)上通過將長(zhǎng)度、角度未達(dá)到閾值的線段排除，霍夫變換成功提取了有價(jià)值的直線參數(shù)。此外，在數(shù)據(jù)處理方面，對(duì)于分布有較大偏移的消失點(diǎn)，本文予以剔除，依照的原則為保留中間80%的數(shù)據(jù)后取平均，以減小誤差，防止突變量影響最終的圖像調(diào)整結(jié)果。通過上述步驟，本文成功地實(shí)現(xiàn)了傾斜建筑圖像水平自適應(yīng)校正。

參考文獻(xiàn)：

[1]HARTLEY R，ZISSERMAN A. 計(jì)算機(jī)視覺中的多視圖幾何[M].韋穗，譯.合肥：安徽大學(xué)出版社，2002.

[2]劉廣濱. 繪畫透視教程[M]. 南寧：廣西美術(shù)出版社， 2007.

[3]LINDEBERG T. Edge detection and ridge detection with automatic scale selection[J]. International journal of computer vision，1998，30(2)：117-154.

圖7　左傾拍攝圖像調(diào)整前后對(duì)比

[4]CANNY J. A computational approach to edge detection[J]. IEEE transactions on pattern analysis and machine intelligence，1986，8(6)：679-714.

[5]BALLARD D H. Generalizing the hough transform to detect arbitrary shapes[J]. Pattern recognition，1981，13(2)：111-122.

王嶺(1973— )，高級(jí)工程師，主要研究OTT、IPTV相

圖8　右傾拍攝圖像調(diào)整前后對(duì)比

關(guān)技術(shù)；

許穎浩(1984— )，碩士生，主要研究NGB相關(guān)技術(shù)；

沈笠(1991— )，本科，主要研究圖像處理技術(shù)；

周軍(1969— )，副教授，主要研究立體電視技術(shù)。

責(zé)任編輯：時(shí)雯

Architecture image horizontal adaptive adjustment based on scenario analysis

WANG Ling1， XU Yinghao2， SHEN Li3， ZHOU Jun3

(1.ShanghaiMedia&EntertainmentTechnology(Group)Co.Ltd.，Shanghai200233，China；2.ShanghaiInteractiveTelevisionCo.Ltd.，Shanghai200072，China；3.InstituteofImageCommunication&NetworkingEngineering，ShanghaiJiaoTongUniversity，Shanghai200240，China)

Abstract:Architectural is a kind content that often occurs in various types of TV programs. The camera placed in a non-horizontal position will affect the beauty of the captured architectural image. The core technology for inclined architectural image adjustment is how to detect the level of the inclined shooting angle. In this paper， an automatic inclined architecture image adjustment method is proposed based on the principle of angled perspective. The edge detection and Hough transform are applied to extract the architecture’s contour. And then two vanishing points for perspective parallel lines are estimated to get the inclined angle of the image for image horizontal adjustment. The experiment results demonstrate the method proposed in this paper.

Key words:edge detection；hough transform；image horizontal hunting

中圖分類號(hào)：TN941.1

文獻(xiàn)標(biāo)志碼:A

DOI：10.16280/j.videoe.2016.06.002

基金項(xiàng)目：國(guó)家科技支撐計(jì)劃項(xiàng)目(2015BAK05B03)；上海張江國(guó)家自主創(chuàng)新示范區(qū)專項(xiàng)發(fā)展項(xiàng)目(201411-JA-B108-002)

作者簡(jiǎn)介：

收稿日期：2015-11-11

文獻(xiàn)引用格式：王嶺，許穎浩，沈笠，等.基于場(chǎng)景分析的建筑圖像水平自適應(yīng)調(diào)整方法[J].電視技術(shù)，2016，40(6)：5-9.

WANG L， XU Y H， SHEN L, et al.Architecture image horizontal adaptive adjustment based on scenario analysis[J].Video engineering，2016,40(6)：5-9.