江磊 張仁杰

摘 要：研究畸變圖像處理的方法較多，這些方法提高了算法可靠性、完善了算法可行性，但如何提取畸變圖像的有用信息進(jìn)行再校正的理論和方法卻不多。為此提出一個(gè)新的算法，結(jié)合Hough變換和透視變換，在畸變圖像中自動(dòng)選取有用的目標(biāo)圖像區(qū)域并提取出來，最后通過透視變換將其進(jìn)行圖像校正與還原。MATLAB仿真實(shí)驗(yàn)結(jié)果表明，該方法精度高、容錯(cuò)性高、穩(wěn)定性好，可廣泛應(yīng)用到模式識(shí)別等領(lǐng)域。

關(guān)鍵詞：Hough變換;透視變換;目標(biāo)圖像;圖像校正;模式識(shí)別

DOI：10. 11907/rjdk. 181675

中圖分類號(hào)：TP312文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-7800（2019）001-0099-05

Abstract： The research on the algorithms of perspective distortion is increasing， which not only improves the reliability of the algorithms， but also improves the feasibility of the experiment. However， there are not many researches on how to extract the useful information of a distorted image. In this paper， a new algorithm is proposed to combine Hough transform and perspective transform. A useful target image region can be automatically selected and extracted from the distorted image， and the image is corrected and restored by perspective transformation. MATLAB simulation results show that this method has high precision， high fault tolerance and good stability， and can be widely used in pattern recognition.

0 引言

目前對(duì)透視投影產(chǎn)生畸變現(xiàn)象的圖像校正研究方法主要分為角度檢測法、控制點(diǎn)變換法和射影幾何法3大類[1-3]。在圖像處理過程中，由于受限于鏡頭的精度、成像系統(tǒng)的非線性以及在獲取圖像拍攝過程中所采用的角度和距離等因素，獲得的圖像都存在透視畸變。介炫惠[4]在進(jìn)行透視變換時(shí)使用開源圖像庫 OpenCV，根據(jù)攝像機(jī)參數(shù)直接由程序計(jì)算得到變換矩陣。金美玉[5]則使用 DSP進(jìn)行透視變換計(jì)算，但實(shí)時(shí)性問題導(dǎo)致不能得到完整的透視變換圖像。李建華[6]在處理二維條碼運(yùn)算時(shí)，其 VLSI 實(shí)現(xiàn)中包括有透視變換功能，存儲(chǔ)機(jī)制使用的是片外 sram，在片上使用 sram 控制器進(jìn)行訪問。史忠科[7]等設(shè)計(jì)的透視變換FPGA實(shí)現(xiàn)方案采用外部的ram存儲(chǔ)圖像。這些透視變換研究均是作用于整個(gè)畸變圖像，在實(shí)際應(yīng)用中往往需要提取畸變圖像中的有用信息，再進(jìn)一步校正得到其正視圖，這樣不僅有利于邊緣檢測和輪廓提取等操作，還有利于直觀解讀所需要的圖像信息，所以畸變圖像校正受到關(guān)注。盡管畸變圖像研究方法日趨成熟，但自動(dòng)對(duì)畸變圖像中的有用信息進(jìn)行提取并校正的方法并不多。

基于上述原因，本文提出一種改進(jìn)的圖像校正方法。該方法可實(shí)現(xiàn)對(duì)畸變圖像中有用的目標(biāo)區(qū)域自動(dòng)提取并裁剪，然后將提取后的圖像通過Hough變換[8]及透視變換進(jìn)行處理，使處理后的圖像以正視圖形式呈現(xiàn)。MATLAB仿真實(shí)驗(yàn)表明，本文提出的算法成功率較高，可以較好地完成對(duì)畸變圖像目標(biāo)區(qū)域的校正與還原。

1 理論基礎(chǔ)

1.1 Huogh變換理論

Hough變換是識(shí)別幾何形狀的基本方法之一，應(yīng)用十分廣泛。Hough變換主要用于從圖像中分離出具有某種相同特征的幾何形狀。相比于其它方法，檢測直線和圓可更好地減少噪聲干擾，經(jīng)典的Hough變換一般用來從黑白圖像中檢測直線（線段）。

Hough變換的基本原理是利用點(diǎn)與線之間的對(duì)偶性，將原始圖像空間給定的曲線通過該形狀的數(shù)學(xué)表達(dá)形式變換為參數(shù)空間的一個(gè)點(diǎn)，這樣就將原始圖像給定的曲線檢測問題轉(zhuǎn)化為參數(shù)空間峰值檢測問題[9-11]，也就是把檢測整體特性轉(zhuǎn)化為檢測局部特性。因此，本文可直觀地看到Hough變換檢測出的直線。作為一個(gè)特征提取技術(shù)，利用一種投票算法達(dá)到檢測特有形狀物體的目的。

根據(jù)直線的數(shù)學(xué)表達(dá)式可知，任意一條直線在圖像的二維空間可由兩個(gè)變量表示，設(shè)在笛卡爾坐標(biāo)系中參數(shù)斜率為m，截距為b，則該直線可由參數(shù)斜率和截距（m，b）表示。同理，在極坐標(biāo)系中，設(shè)定參數(shù)極徑為s，極角為θ，則該直線可由參數(shù)極徑和極角（S， θ）表示，如圖1所示。

對(duì)于任意一點(diǎn)（x0，y0），可定義為所有通過這個(gè)點(diǎn)的直線表達(dá)式為式（3），同理，這也表示每一對(duì)（Sθ，θ）代表一條通過點(diǎn)（x0，y0）的直線。通過分析可知，一條直線能夠通過在平面θ-S尋找交于一點(diǎn)的曲線數(shù)量進(jìn)行檢測，而越多曲線交于一點(diǎn)則表示該交點(diǎn)代表的直線由更多的點(diǎn)組成。設(shè)置直線上點(diǎn)的閾值定義和計(jì)算多少條曲線交于一點(diǎn)則認(rèn)為檢測到了一條直線，這就是Hough變換實(shí)現(xiàn)的功能。利用Hough變換可追蹤圖像中每個(gè)點(diǎn)所對(duì)應(yīng)曲線之間的交點(diǎn)。如果通過Hough變換發(fā)現(xiàn)交于一點(diǎn)的曲線數(shù)量超過了閾值，則可確定這個(gè)交點(diǎn)所表示的參數(shù)（sθ，θ）在原圖像上為一條直線。

Hough變換的運(yùn)算過程與其它確定直線的方法相比較為簡單，對(duì)參數(shù)的依賴性較小。由于利用了圖像的全局特征，在變換過程中考慮了像素和局部邊緣方向的關(guān)系，所以得到的邊緣方向準(zhǔn)確度較高，受噪聲和邊界的影響較小。

1.2 透視變換理論

當(dāng)人在玻璃窗內(nèi)向玻璃窗外觀察建筑物時(shí)，會(huì)有無數(shù)條視線與玻璃窗相交，如果把各交點(diǎn)連接起來則成為透視圖，這種現(xiàn)象稱為透視投影。透視投影標(biāo)準(zhǔn)模型如圖2所示。

假設(shè)觀察者站于E點(diǎn)觀察，所觀察的視平面P垂直于Z軸，如圖2所示，該視平面的四邊分別與X軸和Y軸平行，通常取近截面P′為視平面，觀察者通過可視區(qū)域?qū)⒁暰€從近截面P′投影到遠(yuǎn)截面P，得到所需的透視圖。

透視變換：將圖片投影到一個(gè)新的視平面也稱作投影映射。由于觀察者的觀察角度和成像面是固定的，根據(jù)物體轉(zhuǎn)動(dòng)等一系列變換，視線經(jīng)過近截面投影到遠(yuǎn)截面時(shí)會(huì)產(chǎn)生一定的夾角，即產(chǎn)生透視畸變，這樣會(huì)投影出一個(gè)新的矩形，如圖3所示。

2 自動(dòng)確定目標(biāo)區(qū)域算法流程

本文的重點(diǎn)是實(shí)現(xiàn)畸變圖像中目標(biāo)區(qū)域的自動(dòng)提取及剪裁。通過輸入圖像對(duì)其分別進(jìn)行預(yù)處理、求最大外接矩形、形態(tài)學(xué)操作，從而找到目標(biāo)區(qū)域框架，進(jìn)一步對(duì)其進(jìn)行Hough變換[14]。通過Hough變換找到目標(biāo)區(qū)域邊框所在直線，求出其頂點(diǎn)，確定目標(biāo)區(qū)域所在位置。算法流程如圖4所示。

2.1 圖像預(yù)處理

圖像預(yù)處理是將每一個(gè)圖像分撿出來然后交給圖像識(shí)別模塊進(jìn)行識(shí)別。由于各種環(huán)境中的噪聲以及圖像在傳輸和接收過程中產(chǎn)生的噪聲會(huì)降低圖像質(zhì)量，為得到更清晰的圖像就要對(duì)圖像進(jìn)行預(yù)處理等操作[15]。

圖像預(yù)處理目的是消除圖像中多余的無關(guān)信息，恢復(fù)和保留有用信息，增強(qiáng)對(duì)有用信息的可檢測性和最大限度地簡化數(shù)據(jù)，從而達(dá)到改進(jìn)特征提取、圖像分割、匹配和識(shí)別可靠性的目的。本文以圖5為例進(jìn)行實(shí)驗(yàn)和分析。

2.2 求最大外接矩形

求最大外接矩形操作見圖8。若任意物體邊界已知，用其外接矩形尺寸刻畫它的長寬是最簡便的方法。通過計(jì)算得到反映物體形狀及特征的主軸方向上的長度和與其垂直方向上的寬度，這樣的外接矩形即物體的最小外接矩形。

圖9 （a）顯示對(duì)每個(gè)連通域建立的最小外接矩形，圖9（b）顯示保留最大外接矩形，圖9（c）表示剪裁之后選出的最大外接矩形，即目標(biāo)區(qū)域。通過實(shí)驗(yàn)結(jié)果可以得出最終選出的目標(biāo)區(qū)域圖像，已基本排除了背景上無關(guān)信息長線條的干擾。

2.3 形態(tài)學(xué)操作與目標(biāo)區(qū)域框架

通過邊緣檢測得到的目標(biāo)區(qū)域邊框會(huì)有許多斷點(diǎn)，為了將斷點(diǎn)連接上，本文提出對(duì)整張圖像進(jìn)行形態(tài)學(xué)操作膨脹處理。該操作的作用是將與物體接觸的所有背景點(diǎn)合并到物體中，使目標(biāo)區(qū)域增大，填補(bǔ)目標(biāo)區(qū)域空洞。之后對(duì)圖像進(jìn)行橋接，橋接完后即得到一個(gè)封閉的框。接下來對(duì)這個(gè)封閉框進(jìn)行填充，使目標(biāo)區(qū)域更加明顯地凸顯出來。圖10為該形態(tài)學(xué)操作流程。

由圖11可知，圖11（a）、圖11（b）、圖11（c）分別表示圖像經(jīng)過膨脹、橋接及填充后的效果，從圖11（c）可看出除目標(biāo)區(qū)域外還有一些干擾的小區(qū)域信息也被填充，此時(shí)只需保留圖像中被填充區(qū)域最大的部分（目標(biāo)區(qū)域）即可，這樣就排除了其它干擾信息的存在。

進(jìn)行二值圖像的邊緣檢測可得到圖12。

2.4 Hough變換操作與找頂點(diǎn)操作

對(duì)原始彩色圖像處理[19-20]后得到本文實(shí)驗(yàn)所需的目標(biāo)區(qū)域邊框，對(duì)該目標(biāo)區(qū)域邊框進(jìn)行Hough變換操作。Hough變換的核心就是公式（3），X、Y是原xoy平面的橫縱坐標(biāo)，如圖1所示。對(duì)于xoy空間上處于同一直線上的每一點(diǎn)坐標(biāo)x、y，對(duì)應(yīng)的S（θ）都滿足上述公式。因此，如果換算到SOθ空間，在xoy空間內(nèi)同一條直線上的每一點(diǎn)在SOθ空間都將變?yōu)橹本€且相交于同一點(diǎn)，此時(shí)在該點(diǎn)相交的次數(shù)越多代表原xoy空間直線越長。通過實(shí)驗(yàn)對(duì)圖10中的目標(biāo)區(qū)域邊框進(jìn)行Hough變換操作，得出結(jié)果如圖13所示。

利用Hough變換確定邊框所在直線如圖13中灰色區(qū)域所示。找到4條直線，由于[C24]= 6即得出6個(gè)交點(diǎn)，通過排除坐標(biāo)為負(fù)值的點(diǎn)并計(jì)算出離原點(diǎn)最近的4個(gè)點(diǎn)，按照4個(gè)點(diǎn)的橫縱坐標(biāo)大小，即可判斷左上、左下、右上和右下4個(gè)點(diǎn)，至此成功找到目標(biāo)區(qū)域的4個(gè)頂點(diǎn)。透視變換可將一個(gè)傾斜矩形轉(zhuǎn)變?yōu)橐粋€(gè)不傾斜矩形，通過原四邊形的頂點(diǎn)和新矩形的頂點(diǎn)之間的矩陣變換關(guān)系，根據(jù)公式（4）和公式（5）將這個(gè)變換矩陣作用到全局圖像，這樣目標(biāo)區(qū)域通過矩陣變換被校正為一個(gè)正視圖，如圖14所示。再一一將原來圖像中每個(gè)像素點(diǎn)所對(duì)應(yīng)的圖像信息還原到校正后的圖像中去，就完成了對(duì)目標(biāo)區(qū)域圖像內(nèi)容的提取以及校正。

3 試驗(yàn)結(jié)果與分析

為保證實(shí)驗(yàn)可靠性及算法可行性，本文選擇邊緣較為清晰的樣本進(jìn)行大量實(shí)驗(yàn)并進(jìn)行成功率統(tǒng)計(jì)。借助MATLAB軟件進(jìn)行仿真分析，仿真條件為Intel I7四核CPU，2.6GHz， 16GB ROM， 1TB硬盤，Win10系統(tǒng)筆記本電腦。通過對(duì)不同場景下的各種畸變圖像進(jìn)行實(shí)驗(yàn)和對(duì)比分析，證明該算法可行穩(wěn)定。實(shí)驗(yàn)過程中也發(fā)現(xiàn)些許不足，如算法中所涉及的Hough變換計(jì)算量大、精確度較低，后續(xù)研究會(huì)著重在這兩個(gè)方面進(jìn)行優(yōu)化和提高。對(duì)100張樣本圖像進(jìn)行算法實(shí)驗(yàn)和分析，實(shí)驗(yàn)成功率為87%。采用本文算法以圖5示例圖像得出最終結(jié)果如圖15所示。由實(shí)驗(yàn)結(jié)果可知該算法有效地去除了背景等無關(guān)信息，能將有用信息自動(dòng)提取并加以校正。

4 結(jié)語

針對(duì)畸形圖像進(jìn)行目標(biāo)區(qū)域自動(dòng)提取和校正等問題，本文給出了一個(gè)可行性較高的算法方案。在此算法基礎(chǔ)上可更好地運(yùn)用Hough變換以及透視變換，達(dá)到自動(dòng)提取目標(biāo)區(qū)域、排除無關(guān)信息并對(duì)目標(biāo)區(qū)域進(jìn)行校正的目的。Hough變換充分體現(xiàn)了其從檢測整體特征到檢測局部特征的特點(diǎn)，以及像素和邊緣方向性的關(guān)系，從而很好地抑制了噪聲，不僅保證了邊緣信息的質(zhì)量，還有效提高了算法效率。利用透視變換可將圖片投影到一個(gè)新的視平面，通過投影映射盡可能地還原出畸形圖像的信息內(nèi)容。本文設(shè)計(jì)的算法實(shí)現(xiàn)了對(duì)畸形圖像目標(biāo)區(qū)域的自動(dòng)提取與剪裁，減少了手動(dòng)輸入圖像位置信息的時(shí)間成本，提高了精確性，有一定研究及實(shí)用價(jià)值。

參考文獻(xiàn)：

[1] 李立鋼，劉波，尤紅建，等. 星載遙感影像幾何精校正算法分析比較[J]. 光子學(xué)報(bào)，2006，35（7）：1028-1034.

[2] 辛舟，龔俊. 空間復(fù)合角構(gòu)成傾斜面加工角度的變換[J]. 機(jī)械設(shè)計(jì)與制造，2003（5）：97-98.

[3] 何援軍. 透視和透視投影變換—論圖形變換和投影的若干問題之三[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2005，17（4）：734-739.

[4] 介炫惠. 道路交通標(biāo)線的檢測算法研究[D]. 長沙：中南大學(xué)，2012.

[5] 金美玉. 基于反透視變換的圖像分割方法的研究與軟件實(shí)現(xiàn)[D]. 保定：華北電力大學(xué)，2007.

[6] 李建華. 二維條碼圖像處理算法及其VLSI設(shè)計(jì)研究[D]. 成都：電子科技大學(xué)，2013.

[7] 史忠科，王闖，賀瑩. 基于FPGA的逆透視變換方法[J]. 計(jì)算機(jī)測量與控制，2016（8）：152-157.

[8] 冠瑋，平西建，程娟. 基于改Hough變換的文本圖像傾斜矯正方法[J]. 計(jì)算機(jī)應(yīng)用，2007，27（7）：1813-1816.

[9] RAFSANJANI M K， VARZANEH Z A. Edge Detection in Digital Images Using Ant Colony Optimization[J].? Computer Science Journal of Moldova， 2015， 23（3）： 343-360.

[10] 李敏. 高分辨率合成孔徑雷達(dá)圖像高速公路檢測法 [J].? 計(jì)算機(jī)應(yīng)用， 2011， 31（7）： 1825-1828.

[11] 高翔，梁志偉，徐國政. 基于Hough空間的移動(dòng)機(jī)器人全局定位算法[J]. 電子測量與儀器學(xué)報(bào)， 2012， 26（6）： 484-490.

[12] GUAN LING.Front Matter Multimedia Image and Video Processing[M]. Boca Raton;CRC Press LLC，2001.

[13] EKALP A M.Digital Video Processing[M]. 第2版. 北京：清華大學(xué)出版社，1998：165-166.

[14] 陳國棟. Hough變換改進(jìn)算法研究[D]. 哈爾濱：哈爾濱工業(yè)大學(xué)，2007：9 -19.

[15] RAFAEL C，GONZALEZ，RICHARD E. Digital Image Processing[M]. 北京：電子工業(yè)出版社， 2011.

[16] 易玲. 基于分級(jí)的快速霍夫變換直線檢測[J]. 微計(jì)算機(jī)信息，2007，11（1）：206-208.

[17] 孫豐榮，劉積仁. 快速霍夫變換算法[J]. 計(jì)算機(jī)學(xué)報(bào)，2001，24（10）：1104-1109.

[18] 月芳，張?jiān)品?，劉揚(yáng)，等. 基于相位編組的Hough變換提取海天線算法[J]. 液晶與顯示，2010，25（6）：901-908.

[19] BCHER T， CURIO C， EDELBRUNNER J， et al. Image processing and behavior planning for intelligent vehicles[J].? IEEE Transaction on Industrial Electronics， 2003， 50（1）： 62-75

[20] YAN H P， WANG Z Y， GUO S. A method for 2D bar code recognition by using rectangle features to allocate vertexes[J]. Lecture Notes in Computer Science， 2006（5）：99-107.

（責(zé)任編輯：杜能鋼）