楊 應(yīng),林宗堅(jiān),2
1. 武漢大學(xué)遙感信息工程學(xué)院,湖北 武漢 430079; 2. 中國(guó)測(cè)繪科學(xué)研究院,北京 100039
1.1.2.1 影像視差模型的點(diǎn)陣形式
?
全部像元參加的影像幾何匹配算法
楊 應(yīng)1,林宗堅(jiān)1,2
1. 武漢大學(xué)遙感信息工程學(xué)院,湖北 武漢 430079; 2. 中國(guó)測(cè)繪科學(xué)研究院,北京 100039
影像幾何匹配之目的是從確定對(duì)應(yīng)的影像中提取其間的幾何轉(zhuǎn)換參數(shù),在攝影測(cè)量測(cè)圖、變形物面監(jiān)測(cè)和飛行平臺(tái)動(dòng)態(tài)性能分析等方面有許多實(shí)用需求。不同于普遍悉知的特征點(diǎn)影像匹配算法,本文研究的算法是把對(duì)應(yīng)影像內(nèi)的全部像元素參加匹配運(yùn)算,從而按最小二乘準(zhǔn)則求解對(duì)應(yīng)影像間的幾何轉(zhuǎn)換參數(shù)值。文中闡述了算法原理,包括灰度對(duì)應(yīng)方程、信息量不等式及最小二乘求解方法,尤其是詳細(xì)探討了灰度信息的小波分析及由信噪比計(jì)算信息量的方法。為驗(yàn)證本文的理論和方法,采用了直升機(jī)載視頻相機(jī)的序列影像進(jìn)行了試驗(yàn),給出了相對(duì)定向元素和視差格網(wǎng)的兩種解算結(jié)果。最后給出了本文方法與傳統(tǒng)特征點(diǎn)匹配方法可利用信息量不等式進(jìn)行對(duì)比分析的結(jié)論。
影像幾何匹配;信息論;小波分析;灰度對(duì)應(yīng)方程;信息量不等式;全部像元素匹配
影像匹配(又稱影像相關(guān))是航測(cè)遙感圖像處理的一個(gè)重要技術(shù)方法。它可用于求解待匹配影像間的幾何變換關(guān)系,評(píng)估對(duì)應(yīng)目標(biāo)的相似程度或成像過(guò)程差異,從不同傳感器影像中發(fā)現(xiàn)同名目標(biāo)等方面。但是,本文所指影像幾何匹配則僅限于使用由同一傳感器對(duì)同一物方表面所形成的對(duì)應(yīng)影像(立體像對(duì)或序列影像),匹配之目的僅限于求解其間的幾何變換關(guān)系。涉及這方面的應(yīng)用需求很多,例如攝影測(cè)量立體測(cè)圖、場(chǎng)景變形監(jiān)測(cè)、飛行平臺(tái)運(yùn)行性能分析、視頻序列影像拼接、多鏡頭組合成像等。
攝影測(cè)量影像匹配源于1958年[1],早期稱為“影像相關(guān)”,Konecny 在1980年定義“影像相關(guān)是對(duì)兩塊具有二維灰度變化的相似影像進(jìn)行比較,從而檢測(cè)其間幾何差別的過(guò)程”[2],如此,影像相關(guān)與影像匹配的概念在攝影測(cè)量界被等同,其目的都是尋求幾何解。至今,這方面的研究已經(jīng)有了幾十年的經(jīng)驗(yàn)積累。目前大多數(shù)做法仍然是從參考影像中找一塊靶區(qū),在待匹配的對(duì)應(yīng)影像中初選一個(gè)比它大的影像搜索區(qū),在搜索區(qū)內(nèi)進(jìn)行影像相似度的比較[3],取其中的最優(yōu)情況認(rèn)定靶塊中心與最優(yōu)塊中心為同名點(diǎn)(對(duì)應(yīng)點(diǎn))。為避免因影像紋理貧乏和噪聲過(guò)大引起的錯(cuò)誤匹配,發(fā)展了基于特征點(diǎn)的匹配方法,僅對(duì)選取的特征點(diǎn)實(shí)施匹配操作,從而提高了匹配的正確率[4]。最典型的例子有Moravec算子[5]、Harris算子[6]、F?rstner算子[7]、SIFT算法[8-9]以及以特征點(diǎn)為基礎(chǔ)的最小二乘匹配算法[10]。目前國(guó)際上著名數(shù)字?jǐn)z影測(cè)量系統(tǒng)軟件,例如Helava、VirtuoZo、DPGrid、JX4、Inpho、Map-AT等,大多采用這種FPM(特征點(diǎn)匹配)算法,輔以粗差剔除、TIN(三角網(wǎng)內(nèi)插)、光束法平差等算法補(bǔ)償FPM算法在影像紋理貧乏區(qū)得不到匹配結(jié)果的缺陷。
為了彌補(bǔ)各種特征點(diǎn)孤立解算可能出現(xiàn)的左右交叉、上下顛倒之類(lèi)的錯(cuò)誤,研究了很多利用相鄰支持和整體幾何約束的方法,典型的有多點(diǎn)最小二乘匹配[4]、動(dòng)態(tài)規(guī)劃匹配[11]、松弛法匹配[12],以及新近研究出的半全局匹配(SGM)算法[13-14]等。這些算法雖然有從單點(diǎn)到局部到整體的趨勢(shì),但是整體思路仍然是單點(diǎn)相似性估計(jì)加幾何約束。
有別于以上方法(包括算法和解決問(wèn)題的思路及技巧),本文以下從學(xué)術(shù)角度探討,能否不做特征點(diǎn)的選取和核線排列工作,而將對(duì)應(yīng)影像對(duì)中的全部像元都參加匹配,把全方位的信息(不僅x方向)全部用上,實(shí)現(xiàn)從大量冗余數(shù)據(jù)中尋求最優(yōu)解的幾何匹配,即all-pixels participated matching,簡(jiǎn)稱APM算法。
設(shè)計(jì)APM算法的基本思路是:從影像全局看,不把對(duì)應(yīng)影像中非特征點(diǎn)的像元看成無(wú)用的,而是把每個(gè)像元都當(dāng)作是整體影像不可分割的組成部分,用全局信號(hào)的信息量去解決所需要的幾何不確定度問(wèn)題。算法原理可以從以下3個(gè)方面闡述。
1.1 灰度對(duì)應(yīng)方程
灰度對(duì)應(yīng)方程用于揭示對(duì)應(yīng)影像灰度與其間幾何轉(zhuǎn)換的數(shù)學(xué)聯(lián)系。設(shè)待匹配的對(duì)應(yīng)影像的灰度函數(shù)分別為Gr(x,y)和G[F(x,y)]。這里Gr(x,y)表示參考影像在(x,y)點(diǎn)上的像元灰度,(x,y)的對(duì)應(yīng)點(diǎn)(同名點(diǎn))為F(x,y),其對(duì)應(yīng)的影像像元灰度為G[F(x,y)]。一般來(lái)說(shuō),灰度值中都包含有相應(yīng)的噪聲nr(x,y)和n[F(x,y)],因此可以列出幾何匹配的灰度對(duì)應(yīng)方程如式(1)所示
(1)
也可以將兩方的噪聲合并為N(x,y),將方程改寫(xiě)為
(2)
幾何匹配的目的就是從給定的對(duì)應(yīng)影像區(qū)間txty像元的灰度值Gr和G中求解出F(x,y)參數(shù)值。為了解算的需要,必須將此灰度對(duì)應(yīng)方程展開(kāi)成參數(shù)化幾何模型的微分方程形式。于是,F(xiàn)(x,y)展開(kāi)成微分形式為
(3)
(4)
1.1.1 攝影測(cè)量相對(duì)定向模型
以參考影像為基準(zhǔn),對(duì)應(yīng)影像相對(duì)于參考影像的相對(duì)外方位元素有6個(gè),即bx、by、bz、φ、ω、κ通常自由比例尺模型的相對(duì)定向中,忽略bx,相對(duì)定向元素簡(jiǎn)化為5個(gè)。因此對(duì)應(yīng)影像的幾何模型可表達(dá)為相對(duì)定向元素的微分形式[15]
(5)
式中,6個(gè)相對(duì)定向元素為待求解的參數(shù),Δbx、Δby、Δbz、Δφ、Δω、Δκ表示未知參數(shù)改正值。
1.1.2 影像視差模型
F(x,y)也可以理解成對(duì)應(yīng)影像同名點(diǎn)視差模型(包括左右視差p和上下視差q)。而目前常用的視差模型有兩種典型的表達(dá)形式:一種是點(diǎn)陣形式另外一種是參數(shù)形式。
1.1.2.1 影像視差模型的點(diǎn)陣形式
最典型的視差點(diǎn)陣是矩形(正方形)格網(wǎng)點(diǎn)陣。將格網(wǎng)點(diǎn)上的視差值作為待求幾何模型的未知數(shù),其余像點(diǎn)的視差值則視為是這些未知數(shù)的函數(shù),例如式(6)所示
(6)
式中,i、j為格網(wǎng)點(diǎn)編號(hào);b為格網(wǎng)間隔(假設(shè)為方格網(wǎng));pij和qij分別表示格網(wǎng)(i,j)位置(x,y)兩個(gè)方向上的視差。這里用了雙線性內(nèi)插法,也允許使用其他合適的內(nèi)插方法。這種方法與文獻(xiàn)[4]中“多點(diǎn)最小二乘匹配”十分相似。
除了規(guī)則格網(wǎng)點(diǎn)陣,也可以采用不規(guī)則格網(wǎng)點(diǎn)陣。可以通過(guò)人工或自動(dòng)化方法從參考影像中挑選地形地物特征點(diǎn)或特征線點(diǎn)列,將這些地形地物特征點(diǎn)的視差作為未知數(shù),而將其他像點(diǎn)的視差作為他們的內(nèi)插值,也可以列出類(lèi)似式(6)的函數(shù),進(jìn)入灰度對(duì)應(yīng)方程解算。
1.1.2.2 影像視差模型的參數(shù)形式
把影像視差模型視為一個(gè)曲面模型,最常用的是多項(xiàng)式形式。此外,以下介紹兩種很好用的周期函數(shù)模型。
(1) 視差模型(DPM)的傅里葉表達(dá)式。按數(shù)學(xué)理論,DSM/DPM可以表達(dá)成以ω為基頻的一系列正弦波的疊加。一維情況可簡(jiǎn)單表達(dá)為
(7)
式中,ai、bi為未知數(shù)參數(shù);總共有2n+1個(gè)未知數(shù)需要從灰度對(duì)應(yīng)方程中解算。
實(shí)踐中,像礦山地面沉降、地下水位降低的地面沉降等情況出現(xiàn)的DSM具有可視的起伏周期性,可能適用于這種模型。
(2) 視差模型(DPM)的小波表達(dá)式。適合于傅里葉變換表達(dá)的DSM/DPM情況還是比較少見(jiàn)。大多數(shù)DSM不具備明顯的周期性。因此,宜改用小波變換形式,將DPM表達(dá)成截止到一定分辨率的一系列小波信號(hào)的疊加,以小波參數(shù)作為待求解幾何模型的未知數(shù)。
除了以上列到的幾種幾何模型外,還可以根據(jù)需要列出其他形式的數(shù)學(xué)模型。至于相對(duì)定向模型與視差模型如何交互使用,則需要根據(jù)具體的數(shù)據(jù)類(lèi)型和任務(wù)來(lái)靈活設(shè)計(jì)。實(shí)用的軟件最好同時(shí)具備這些模型。
1.2 信息量不等式
從灰度對(duì)應(yīng)方程(微分方程)中求解幾何模型參數(shù)的最大困難是影像噪聲的干擾,它甚至可以導(dǎo)致粗差的出現(xiàn),中斷匹配流程。盡管目前解求方程式(2)的方法很多,但是無(wú)論用哪種方法都不能回避所能提供的影像信息量與待求解參數(shù)的不確定度之間的關(guān)系問(wèn)題。依據(jù)信息論原理影像匹配能夠得到可靠解的必要條件[16-18],即參加匹配的全部像元灰度G所能夠提供的信息量HG必須大于待求解的F(x,y)函數(shù)所具有的不確定度HF。同時(shí)還留有足夠的冗余度用于最小二乘求解,以提高幾何匹配的精度。式(8)可稱為影像幾何匹配的信息量不等式
(8)
(9)
由此可統(tǒng)計(jì)得到
(10)
簡(jiǎn)明起見(jiàn),以下示出該樣本x方向一個(gè)剖面的灰度信號(hào)及其小波分解的多分辨率波形圖,其波形圖如圖1所示。小波基函數(shù)形式為[22-23]
(11)
這是二進(jìn)小波,其尺度因子a=2k,τ為平移參數(shù)。
圖1 左右影像小波多分辨率分解波形圖Fig.1 Multi-scale wavelet analysis results of images
小波分解的層次結(jié)構(gòu)如式(12)
A0=A1+D1=A2+D2+D1=A3+D3+D2+D1=A4+D4+D3+D2+D1=A5+D5+D4+D3+D2+D1
(12)
其層次結(jié)構(gòu)示意圖如圖2所示。
按圖1和圖2的關(guān)系,計(jì)算出各分辨率層次信號(hào)的方差、信噪比、信息量。統(tǒng)計(jì)結(jié)果見(jiàn)表1。
圖2 小波多分辨率層次關(guān)系示意圖Fig.2 Schematic diagram of image multi-scale wavelet analysis
尺度σG1σG2σNmean(σ2G/σ2N)log2(σ2G/σ2N)A50.20060.19370.031838.44145.2646A40.20820.20200.037629.82094.8983D40.06570.06720.04352.33571.2239D30.07220.07300.05451.77310.8263D20.06830.06520.04731.98980.9926D10.04190.04710.03801.37510.4595A00.24370.23920.09985.85302.5492
從表1的統(tǒng)計(jì)數(shù)據(jù)可以發(fā)現(xiàn),分辨率越高的波形,其信噪比越低,特別是D1、D2、D3的細(xì)節(jié)層次,其信息量小于1 bit(個(gè)別樣本甚至出現(xiàn)負(fù)值)。如果用這些信號(hào)分量參加影像匹配運(yùn)算,就會(huì)產(chǎn)生錯(cuò)誤匹配,即粗差,給后續(xù)的處理帶來(lái)嚴(yán)重的麻煩。而A5和A4的近似層次較之原始信號(hào)A0,信噪比為原始信號(hào)的5倍,信息量多出2 bit多。由此得出啟示,APM算法雖然不像特征點(diǎn)匹配方法那樣選取信噪比高的特征點(diǎn),但是卻可以通過(guò)多分辨率分析和濾波的方法,選取信噪比高的信號(hào)分量,從而保證全部T=tx·ty像元全部參加匹配。
以上分析了式(8)左邊的情況,接著看右邊。式中,HF是以熵的形式計(jì)量的幾何模型不確定度,最簡(jiǎn)單的例子如圖3所示。左邊的靶點(diǎn)只對(duì)應(yīng)右邊由近似值給出的某點(diǎn)的8鄰域,此時(shí),s=9,則Pi=0.111,HF=3.176 bit。
但是,如果待求解的是一個(gè)視差格網(wǎng),如圖4所示,格網(wǎng)間距b,則共有tx·ty/b2個(gè)格網(wǎng)點(diǎn),因此式(8)可以具體表示為
(13)
值得注意的是,這里的b一定要大于a,也就是說(shuō),當(dāng)把灰度信號(hào)過(guò)濾到a的尺度后,所待求的視差格網(wǎng)的分辨率是不可能超過(guò)灰度信號(hào)之細(xì)節(jié)的。因此,尺度因子a的確定是很關(guān)鍵的,a=2k,k過(guò)小則灰度信噪比低,k過(guò)大則使得(tx·ty)/a2項(xiàng)變小,同樣也減少了信息量。必須具體地根據(jù)在手的影像數(shù)據(jù)情況和待求的幾何模型情況明智地確定a和b的尺度因子。
圖3 搜索8鄰域不確定度示意圖 Fig.3 Schematic diagram of uncertainty for eight-neighborhoods
圖4 影像灰度格網(wǎng)與視差格網(wǎng)關(guān)系示意圖Fig.4 Relationship between image gray grid and parallax grid
1.3 最小二乘解算
如前述,當(dāng)遵循信息論原理,依據(jù)信息量不等式,通過(guò)樣本分析,確定最大信息量對(duì)應(yīng)的最佳分辨率尺度,用小波分解或者其他濾波方法得到具有足夠信息量的影像信號(hào)成分后,則可確定允許求解的幾何模型不確定度,亦即確定求解的幾何參數(shù)值域范圍或視差格網(wǎng)的取樣間隔。接下來(lái),就是利用最小二乘法解算灰度對(duì)應(yīng)微分方程,求解幾何模型參數(shù)。具體算法原理如下。
(14)
(15)
影像的每個(gè)像元可以列上面的一個(gè)方程,全部(tx·ty)個(gè)像元,可以得到一個(gè)方程組,表達(dá)成矩陣形式為
(16)
按照最小二乘法求解可得
(17)
得
ui=u0i+Δui
(18)
即待求的幾何參數(shù)。當(dāng)需要的時(shí)候,可以進(jìn)行迭代求解。
2.1 方法流程
按照APM方法進(jìn)行影像幾何匹配的工作流程如圖5所示。
2.2 若干技術(shù)要點(diǎn)
按照上述算法,利用全部像元進(jìn)行幾何匹配,在技術(shù)上要掌握以下幾個(gè)要點(diǎn)。
2.2.1 影像灰度數(shù)據(jù)的預(yù)處理
如果有必要,可對(duì)影像數(shù)據(jù)進(jìn)行灰度直方圖一致性的預(yù)處理,這樣就不必在匹配處理中增加灰度變換參數(shù)。
2.2.2 影像匹配(F(x,y))的近似值求解
F(x,y)的近似值可以有效地減小待求解問(wèn)題的不確定度,提高影像匹配的可靠性和解算效率。傳統(tǒng)的金字塔與上述的多分辨率分層方法都能以從粗到精的方式,逐層提供可靠的近似值,通過(guò)迭代運(yùn)算逐步精細(xì)求解。本文后續(xù)試驗(yàn)使用Radon變換的方法[24-25],該算法可以簡(jiǎn)便有效地獲取影像匹配的近似值。一般情況相機(jī)的畸變差改正也應(yīng)在此前完成。
圖5 APM算法影像幾何匹配流程Fig.5 Flowchart of APM algorithm
2.2.3 小波分析和低通濾波
利用現(xiàn)有的小波圖像處理工具很容易進(jìn)行多分辨率分析工作。根據(jù)在手?jǐn)?shù)據(jù)的實(shí)際情況,權(quán)衡選擇適合的分辨率尺度。低通濾波則可以在很多現(xiàn)成的方法中選用,不限小波方法,例如高斯低通濾波算法,效果很好。
2.2.4 最小二乘法解灰度對(duì)應(yīng)微分方程
當(dāng)采用相對(duì)定向參數(shù)模型時(shí),盡管有txty個(gè)誤差方程式,但只需解算6階方陣的法方程式,因此速度很快,且精度很高;當(dāng)采用視差格網(wǎng)參數(shù)模型時(shí),則需要解相當(dāng)于2倍格網(wǎng)點(diǎn)個(gè)數(shù)2mn階方陣的法方程式,幸好這是稀疏帶狀的方陣,現(xiàn)行計(jì)算機(jī)軟件庫(kù)中有快速算法,例如Jacobi迭代法和Gauss-Seidel迭代法,可實(shí)現(xiàn)快速求解。具體做法是在軟件中先編程實(shí)現(xiàn)逐點(diǎn)列誤差方程并法化,然后在Matlab中不用求逆,而用左除算法求解未知矢量矩陣[26]。
試驗(yàn)數(shù)據(jù)采用一組旋翼無(wú)人機(jī)載視頻相機(jī)獲取的序列影像,飛行相對(duì)航高約120m,每秒獲取30幀影像,像幅1920×1080像元,相機(jī)主距為1133像元,感光像元尺寸3μm,地面分辨率GSD約12cm。從近萬(wàn)幀影像中抽取一段3000幀連續(xù)影像進(jìn)行試驗(yàn)。其樣本分析情況已在前述表1和圖1。試驗(yàn)之目的除驗(yàn)證上述理論外,還面向兩個(gè)應(yīng)用目標(biāo):①將序列影像拼接成一幅完整連續(xù)影像;②研究解求飛行平臺(tái)動(dòng)態(tài)特性的方法,用于將來(lái)的機(jī)載LiDAR數(shù)據(jù)的精處理。
如圖6所示,由于兩幅影像相似度非常好,所以不需要做直方圖處理。用計(jì)算機(jī)軟件庫(kù)中的Radon算法對(duì)兩幅影像在x、y方向分別做一維Radon變換及一維信號(hào)相關(guān),很快求得兩影像間的Δx0=-5像元,Δy0=1像元用作近似值(其他元素值設(shè)為0)。
(19)
視差格網(wǎng)間距b=50>a,搜索范圍8×8鄰域,x和y兩個(gè)方向,則有
(20)
冗余信息量用于增強(qiáng)匹配可靠性和提高最小二乘求解的精度。舉例說(shuō),若要求計(jì)算精確到0.1個(gè)像元,則HFb就要計(jì)算式(21)
(21)
以此可求解得到20×36視差格網(wǎng)如圖7所示。
按照相對(duì)定向模型求解的6個(gè)相對(duì)定向元素值在表2中給出。圖7的顯示結(jié)果和表2的數(shù)值是對(duì)應(yīng)的,此像對(duì)的基線長(zhǎng)約4.7像元,航高120 m,地面最高建筑物約20 m左右,由此引起的左右視差之差(視差較)約為1.0像元(圖7(a)中左右視差范圍為4.7~5.7像元)。由于各角度元素值很小,所以上下視差模型非常平緩。這里的格網(wǎng)點(diǎn)視差值,仍是格網(wǎng)范圍內(nèi)視差的平均值,顯示不出每個(gè)像元尺度的視差值,因此模型顯示很平滑。用SIFT加最小二乘匹配,從中檢測(cè)13個(gè)點(diǎn),其較差統(tǒng)計(jì)結(jié)果見(jiàn)表3,從統(tǒng)計(jì)結(jié)果可以看出兩種方法匹配結(jié)果的較差均值小于0.1像元。
將3片鄰接的影像依次處理,得到的相對(duì)定向元素值見(jiàn)表4,其中最后一行列出按式(22)計(jì)算的比較誤差值
(22)
統(tǒng)計(jì)試驗(yàn)全部3000幀影像解算結(jié)果,其中線元素的誤差為σxyz=0.015像元,角元素誤差為σφωκ=0.001°。
表2 6個(gè)相對(duì)定向元素統(tǒng)計(jì)
表3 影像匹配殘余視差檢測(cè)統(tǒng)計(jì)
表4 相對(duì)定向元素誤差統(tǒng)計(jì)
將前面試驗(yàn)的3幅鄰近影像按視差格網(wǎng)模型糾正后,經(jīng)邊緣二值化edge(LOG)處理,分別賦予R、G、B 3色,然后疊加顯示如圖8所示,完全重疊則顯示為白色,有差別則顯示為R、G、B等混合色。從圖8上可見(jiàn),撇開(kāi)影像邊緣提取的噪聲,3幅圖像上明顯地物的邊緣完全重疊,幾乎看不出超出1個(gè)像素的粗差。
圖6 兩幅相鄰的序列影像Fig.6 Adjacent two images
圖7 影像視差格網(wǎng)結(jié)果效果Fig.7 Results of image parallax grid
圖8 3幅影像疊加顯示匹配誤差比較顯示圖Fig.8 The geometric image matching error of 3 images
這次試驗(yàn)所得結(jié)果精度很高,尤其是解求相對(duì)定向元素的精度,明顯地高于機(jī)上所裝載的POS硬件所能檢測(cè)的動(dòng)態(tài)位姿精度。因此下步有望用此方法補(bǔ)充POS硬件精度的不足,進(jìn)行同機(jī)所載LiDAR(激光掃描儀)數(shù)據(jù)的誤差修正。同時(shí),也有望應(yīng)用于視頻攝像機(jī)監(jiān)測(cè)滑坡移動(dòng)和多鏡頭組合寬角相機(jī)的動(dòng)態(tài)自檢校等諸多工程實(shí)踐。
一時(shí)還很難將全部像元素參加的匹配方法(APM)與傳統(tǒng)的特征點(diǎn)匹配方法(FPM)進(jìn)行全面比較。但是基于信息論的觀點(diǎn),可以用信息量不等式(本文算式(8)或算式(13))來(lái)概括這兩種方法的相同點(diǎn)和不同點(diǎn)。FPM方法選擇信噪比高的特征點(diǎn),以取得較大信息量;APM方法選擇信噪比高的信號(hào)成分,以取得較大信息量。FPM方法分別處理孤立點(diǎn),以減小幾何模型的不確定度;APM方法選擇有限的參數(shù)形式限制幾何模型的不確定度。兩種方法的共同點(diǎn)是必須遵守信息量不等式,即參加匹配的影像所提供的信息量必須大于待求解的幾何模型的不確定度,如此才能確保解的可靠性及提高解的精度。
從算法原理上分析,不同算法各有其側(cè)重面,效果也必然會(huì)有差異。因此,從理論研究角度,應(yīng)同時(shí)重視這些方面,以思考方法系統(tǒng)的完備性。從實(shí)用角度,在軟件研制和工程方案制定中,應(yīng)根據(jù)任務(wù)需求而組合選用。APM算法通過(guò)低通濾波,降低需求水平,而求解相對(duì)可靠,但是分辨率比較低的視差值,而且是格網(wǎng)平均值,這僅對(duì)求解方位元素和DSM(數(shù)字表面模型)適用;如果要求解各個(gè)特征地物角點(diǎn)的真實(shí)視差值,則還應(yīng)在此初級(jí)結(jié)果基礎(chǔ)上,進(jìn)一步做特征提取和特征點(diǎn)匹配,如此可避免粗差,而求得準(zhǔn)確視差值;如果遇到出現(xiàn)大量高層建筑陰影“遮擋”的情況,則應(yīng)改用“傾斜攝影”以及更復(fù)雜的算法組合。
本文僅闡述了APM方法原理。結(jié)合工程實(shí)踐必有大量具體的技術(shù)問(wèn)題。僅此拋磚引玉,希望引發(fā)更多的問(wèn)題及研討。
[1] 王之卓. 攝影測(cè)量原理[J]. 北京: 測(cè)繪出版社, 1979: 249-271. WANG Zhizhuo.Photogrammetry[M].Beijing: Surveying and Mapping Press, 1979: 249-271.
[2] KONECNY G, PAPE D. Correlation Techniques and Devices[C]∥14th Congress of the International Society of Photogrammetry, Commission II. Hamburg: [s.n.], 1980: 31-50.
[3] 林宗堅(jiān). 相關(guān)算法的矢量分析[J]. 測(cè)繪學(xué)報(bào), 1985, 14(20): 111-121. LIN Zongjian.Vector Analysis for Correlation Algorithms[J]. Acta Geodaetica et Cartographica Sinica, 1985, 14(2): 111-121.
[4] 張祖勛, 張劍清. 數(shù)字?jǐn)z影測(cè)量學(xué)[M]. 武漢: 武漢大學(xué)出版社, 2006. ZHANG Zuxun, ZHANG Jianqing. Digital Aerophotogrammetry[M]. Wuhan: Wuhan University Press, 2006.
[5] MOREVEC H P. Towards Automatic Visual Obstacle Avoidance[C]∥Proceedings of the 5th International Joint Conference on Artificial Intelligence. San Francisco, CA: Morgan Kaufmann Publishers Inc., 1997(2): 584.
[6] HARRIS C, STEPHENS M. A Combined Corner and Edge Detector[C]∥Proceedings of the 4th Alvey Vision Conference. Manchester: ACV, 1988: 147-151.
[7] F?RSTNER W. A Feature Based Correspondence Algorithm for Image Matching[J]. International Archives of the Photogrammetry and Remote Sensing, 1986, 26(3): 150-166.
[8] LOWE D G. Object Recognition from Local Scale-Invariant Features[C]∥Proceedings of the 17th International Conference on Computer Vision. Kerkyra: IEEE, 1999(2): 1150-1157.
[9] LOWE D G. Distinctive Image Features from Scale-Invariant Key Points[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.
[10] ACKERMANN F. High Precision Digital Image Correlation[C]∥Proceedings of the 39th Photogrammetric WEEK. Stuttgart: University of Stuttgart, 1983.
[11] 鄭肇葆. 數(shù)字影像匹配的動(dòng)態(tài)規(guī)劃方法[J]. 測(cè)繪學(xué)報(bào), 1989, 18(2): 100-107. ZHENG Zhaobao. Image Matching Method via Dynamic Programming[J]. Acta Geodaetica et Cartographica Sinica, 1989, 18(2): 100-107.
[12] 張祖勛, 張劍清, 吳曉良. 跨接法概念之?dāng)U展及整體影象匹配[J]. 武漢測(cè)繪科技大學(xué)學(xué)報(bào), 1991, 16(3): 1-11. ZHANG Zhuxun, ZHANG Jianqing, WU Xiaoliang. Develeping of Bridging Mode and Global Image Matching[J]. Journal of Wuhan Technical University of Surveying and Mapping, 1991, 16(3): 1-11.
[13] HIRSCHMüLLER H. Stereo Processing by Semiglobal Matching and Mutual Information[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(2): 328-341.
[14] HIRSCHMüLLER H, BUDER M, ERNST I. Memory Efficient Semi-Global Matching[J]. ISPRS Annals of Photogrammetry,Remote Sensing and Spatial Information Sciences, 2012, I-3(1): 371-376.
[15] 林宗堅(jiān), 解斐斐, 蘇國(guó)中. 寬角相機(jī)低空航測(cè)的精度分析[J]. 測(cè)繪學(xué)報(bào), 2014, 43(10): 991-997. DOI: 10.13485/j.cnki.11-2089.2014.0146. LIN Zongjian,XIE Feifei,SU Guozhong.Accuracy Analysis of Low Altitude Photogrammetry with Wide-angle Camera[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(10): 991-997. DOI: 10.13485/j.cnki.11-2089.2014.0146.
[16] 陶純堪, 陶純匡. 光學(xué)信息論[M]. 北京: 科學(xué)出版社, 2004. TAO Chunkan, TAO Chunkuang. Optical Information Theory[M]. Beijing: Science Press, 2004.
[17] 林宗堅(jiān), 張永紅. 遙感與地理信息系統(tǒng)數(shù)據(jù)的信息量及不確定性[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2006, 31(7): 569-572. LIN Zongjian, ZHANG Yonghong. Measurement of Information and Uncertainty of Remote Sensing and GIS Data[J]. Geomatics and Information Science of Wuhan University, 2006, 31(7): 569-572.
[18] 傅祖蕓, 趙建中. 信息論與編碼[M]. 北京: 電子工業(yè)出版社, 2006. FU Zuyun, ZHAO Jianzhong. Information Theory and Coding[M]. Beijing: Publishing House of Electronics Industry, 2006.
[19] 唐世偉, 劉賢梅. 信息論[M]. 哈爾濱: 哈爾濱工程大學(xué)出版社, 2009. TANG Shiwei, LIU Xianmei. Information Theory[M]. Harbin: Harbin Engineering University Press, 2009.
[20] 樊昌信. 通信原理教程[M]. 2版. 北京: 電子工業(yè)出版社, 2008. FAN Changxin. Lectures on Communication Principles[M]. 2nd ed. Beijing: Publishing House of Electronics Industry, 2008.
[21] 吳資玉, 韓慶文, 蔣陽(yáng). 通信原理[M]. 北京: 電子工業(yè)出版社, 2008. WU Ziyu, HAN Qingwen, JIANG Yang. Communication Principle[M]. Beijing: Publishing House of Electronics Industry, 2008.
[22] 飛思科技產(chǎn)品研發(fā)中心. 小波分析理論與MATLAB 7實(shí)現(xiàn)[M]. 北京: 電子工業(yè)出版社, 2005. Research and Development Center of Phase. Wavelet Analysis Theory and MATLAB 7 Application[M]. Beijing: Publishing House of Electronics Industry, 2005.
[23] 楊杰. 數(shù)字圖像處理及MATLAB實(shí)現(xiàn)[M]. 2版. 北京: 電子工業(yè)出版社, 2013. YANG Jie. Digital Image Processing and MATLAB Implementation[M]. 2nd ed. Beijing: Publishing House of Electronics Industry, 2013.
[24] 賈永紅. 數(shù)字圖像處理[M]. 2版. 武漢: 武漢大學(xué)出版社, 2010. JIA Yonghong. Digital Image Processing[M]. 2nd ed. Wuhan: Wuhan University Press, 2010.
[25] PARKER J R. Algorithms for Image Processing and Computer Vision[M]. 2nd ed. New York: Wiley, 2010.
[26] 謝進(jìn), 李大美. MATLAB與計(jì)算方法實(shí)驗(yàn)[M]. 武漢: 武漢大學(xué)出版社, 2009. XIE Jin, LI Damei. Experiment of MATLAB and Calculation Method[M]. Wuhan: Wuhan University Press, 2009.
(責(zé)任編輯:張艷玲)
測(cè)繪地理信息與導(dǎo)航高端論壇——《測(cè)繪學(xué)報(bào)》創(chuàng)刊60周年學(xué)術(shù)研討會(huì)通知(第一號(hào))
時(shí)間:2017年10月21日 地點(diǎn):深圳
當(dāng)前,新一輪科技創(chuàng)新和產(chǎn)業(yè)發(fā)展正在深度融合,以互聯(lián)網(wǎng)+為代表的信息技術(shù)飛速發(fā)展,泛在測(cè)繪與位置服務(wù)的發(fā)展已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代,智能、快捷服務(wù)已經(jīng)滲透到我國(guó)各個(gè)行業(yè),測(cè)繪地理信息行業(yè)資本融合勢(shì)頭迅猛。國(guó)家測(cè)繪地理信息局也在《測(cè)繪地理信息“十三五”規(guī)劃》中,確立了新型基礎(chǔ)測(cè)繪、地理國(guó)情監(jiān)測(cè)、應(yīng)急測(cè)繪、航空航天遙感測(cè)繪、全球地理信息資源開(kāi)發(fā)“五大業(yè)務(wù)”,形成了公益性保障與地理信息產(chǎn)業(yè)市場(chǎng)化服務(wù)協(xié)同發(fā)展和深度融合的工作布局?!稖y(cè)繪學(xué)報(bào)》長(zhǎng)期致力于推動(dòng)測(cè)繪地理信息的基礎(chǔ)理論與技術(shù)應(yīng)用發(fā)展,為全國(guó)測(cè)繪地理信息行業(yè)的科研機(jī)構(gòu)、高等院校、生產(chǎn)單位等提供學(xué)術(shù)交流與合作的平臺(tái)。為進(jìn)一步促進(jìn)新理論、新技術(shù)、新方法、新思想的交流,總結(jié)和發(fā)展近年來(lái)我國(guó)測(cè)繪地理信息行業(yè)的最新成果,《測(cè)繪學(xué)報(bào)》編委會(huì)定于2017年10月21日在深圳舉辦“測(cè)繪地理信息與導(dǎo)航高端論壇——《測(cè)繪學(xué)報(bào)》創(chuàng)刊60周年學(xué)術(shù)研討會(huì)”,具體事宜通知如下。
一、會(huì)議主題
泛在測(cè)繪與智能服務(wù)
二、會(huì)議時(shí)間與地點(diǎn)
會(huì)議時(shí)間:2017年10月21日
報(bào)到時(shí)間:2017年10月20日全天
地 點(diǎn):廣東省深圳市
三、組織機(jī)構(gòu)
主辦單位: 中國(guó)測(cè)繪地理信息學(xué)會(huì)《測(cè)繪學(xué)報(bào)》 編委會(huì)
中國(guó)地圖出版集團(tuán)
深圳大學(xué)
深圳市測(cè)繪地理信息學(xué)會(huì)
協(xié)辦單位: 中國(guó)測(cè)繪科學(xué)研究院 測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室 武漢大學(xué)測(cè)繪學(xué)院 武漢大學(xué)遙感信息工程學(xué)院 武漢大學(xué)資源與環(huán)境科學(xué)學(xué)院 同濟(jì)大學(xué)測(cè)繪與地理信息學(xué)院 中國(guó)科學(xué)院測(cè)量與地球物理研究所 西安測(cè)繪研究所 中南大學(xué)地球科學(xué)與信息物理學(xué)院 中國(guó)礦業(yè)大學(xué)環(huán)境與測(cè)繪學(xué)院 信息工程大學(xué)地理空間信息學(xué)院 信息工程大學(xué)導(dǎo)航與空天目標(biāo)工程學(xué)院 長(zhǎng)安大學(xué)地質(zhì)工程與測(cè)繪學(xué)院 海軍工程大學(xué)導(dǎo)航工程系 海軍大連艦艇學(xué)院海洋測(cè)繪系 深圳市數(shù)字城市工程研究中心
承辦單位: 《測(cè)繪學(xué)報(bào)》編輯部 深圳大學(xué)智慧城市研究院 深圳大學(xué)空間信息智能感知與服務(wù)深圳市重點(diǎn)實(shí)驗(yàn)室
深圳大學(xué)海岸帶地理環(huán)境監(jiān)測(cè)國(guó)家測(cè)繪地理信息局重點(diǎn)實(shí)驗(yàn)室
媒體支持: 中國(guó)測(cè)繪報(bào) 武漢大學(xué)學(xué)報(bào)·信息科學(xué)版 測(cè)繪通報(bào) 泰伯網(wǎng) 慧天地 中國(guó)測(cè)繪新聞網(wǎng) 測(cè)繪科技信息網(wǎng) GeoTalks 測(cè)繪之家
四、會(huì)議日程安排
時(shí)間上午下午10月20日(周五)論壇參會(huì)人員全天報(bào)到10月21日(周六)開(kāi)幕式,院士報(bào)告分論壇
五、會(huì)務(wù)相關(guān)事項(xiàng)
會(huì)議專(zhuān)用郵箱:agcs2017@163.com
會(huì)議QQ群:496372706
會(huì)議聯(lián)系人:宋啟凡 電話:010—68531322
注:會(huì)務(wù)注冊(cè)、參會(huì)費(fèi)用、會(huì)議具體地點(diǎn)、住宿安排等具體事宜,將在后續(xù)通知中發(fā)布。
YANG Ying (1986—), male, PhD candidate, majors in photogrammetry and remote sensing.
LIN Zongjian
All-pixels Participated Image Matching Algorithm for Geometric Solution
YANG Ying1,LIN Zongjian1,2
1. School of Remote Sensing and Information Engineering, Wuhan University, Wuhan 430079, China; 2. Chinese Academy of Surveying and Mapping, Beijing 100039, China
The purpose of geometric matching is to extract the geometric transformation parameters between the corresponding images. It is widely used in photogrammetric mapping, deformation detection, and flying platform’s posture analysis, etc. In this paper, a new image matching method which is different from the traditional features based image matching algorithm is proposed, it takes all the pixels of the corresponding images to participate the matching procedure and calculate the geometric parameters by least square criterion. The principle of the algorithm, including the gray corresponding equation, the information quantity inequation and procedure of least square solution are expressed. Particularly, the wavelet analysis for gray signal and calculating the information quantity by signal to noise ratio are discussed in detail. For verifying the theory and algorithm, a series of sequential images taking from a video camera mounted on a helicopter are selected for experiment. The results of two typical models according to the relative orientation elements model and parallax grid model are given, and the experimental results show that the proposed algorithm is feasible and effective. The comparison of APM with ordinary features based method by the information quantity inequation is given in the conclusion.
geometric image matching; information theory; wavelet analysis; gray corresponding equation; Information quantity inequation; all-pixels participated matching
The National Natural Science Foundation of China (No.41371425)
楊應(yīng),林宗堅(jiān).全部像元參加的影像幾何匹配算法[J].測(cè)繪學(xué)報(bào),2017,46(5):573-582.
10.11947/j.AGCS.2017.20160368. YANG Ying,LIN Zongjian.All-pixels Participated Image Matching Algorithm for Geometric Solution[J]. Acta Geodaetica et Cartographica Sinica,2017,46(5):573-582. DOI:10.11947/j.AGCS.2017.20160368.
2016-07-28
楊應(yīng)(1986—),男,博士生,研究方向?yàn)閿z影測(cè)量與遙感。
E-mail: yingy@whu.edu.cn
林宗堅(jiān)
E-mail: lincasm@casm.ac.cn
P227
A
1001-1595(2017)05-0573-10
國(guó)家自然科學(xué)基金(41371425)
修回日期: 2017-03-01