童恒建, 裴 謙

(中國(guó)地質(zhì)大學(xué)(武漢) 計(jì)算機(jī)學(xué)院， 湖北 武漢 430074)

?

·專題研討——虛擬仿真實(shí)驗(yàn)(31)·

三維遙感影像立體觀察與視差校正仿真軟件的研究與開(kāi)發(fā)

童恒建, 裴 謙

(中國(guó)地質(zhì)大學(xué)(武漢) 計(jì)算機(jī)學(xué)院， 湖北 武漢 430074)

攝影測(cè)量與遙感課程是遙感科學(xué)與技術(shù)、測(cè)繪科學(xué)與技術(shù)、地理信息系統(tǒng)等專業(yè)的必修課。立體觀察是攝影測(cè)量與遙感課程中重要理論部分和實(shí)驗(yàn)環(huán)節(jié)。雙目視差是產(chǎn)生立體視覺(jué)的基礎(chǔ)。但是，如果視差太大，將產(chǎn)生復(fù)視現(xiàn)象，導(dǎo)致視覺(jué)疲勞，所以要進(jìn)行視差校正。在實(shí)驗(yàn)室中，常用的立體觀察方式有互補(bǔ)色立體觀察、偏振光立體觀察等。這些觀察方法需要相應(yīng)的硬件和立體像片；不僅價(jià)格昂貴，而且像片和設(shè)備容易耗損。三維遙感圖像立體觀察與視差校正的仿真軟件是基于瀏覽器/服務(wù)器模式開(kāi)發(fā)的。任何地方的學(xué)生，只要帶上紅青互補(bǔ)色眼鏡，通過(guò)瀏覽器就可以觀測(cè)到兩幅圖像合成后的立體影像；視差校正既有模仿硬件觀察的手動(dòng)方式，也有智能的自動(dòng)校正方式。

攝影測(cè)量與遙感； 三維遙感影像； 立體觀察； 視差校正

0 引 言

單張像片只能確定地面點(diǎn)的方向，不能確定地面點(diǎn)的三維空間位置，有了立體像對(duì)，則可構(gòu)成模型，解求地面點(diǎn)的空間位置。立體模型是雙像解析攝影測(cè)量的基礎(chǔ)，用數(shù)學(xué)或模似的方法，重建地面立體模型，從而獲取地面的三維信息，是攝影測(cè)量的主要任務(wù)。立體觀察是攝影測(cè)量與遙感課程一個(gè)重要理論部分和實(shí)驗(yàn)環(huán)節(jié)[1-4]。視差是產(chǎn)生立體視覺(jué)的基礎(chǔ)。常用的立體觀察方式有立體鏡式(袖珍立體鏡，反光立體鏡，立體量測(cè)觀察系統(tǒng))、疊映式(互補(bǔ)色法，偏振光法,光閘法)和雙目觀測(cè)光路式。這些觀察方法不僅需要像片，而且需要相應(yīng)的硬件；如果在計(jì)算機(jī)內(nèi)進(jìn)行觀察和量測(cè)，則需昂貴的數(shù)字?jǐn)z影測(cè)量工作站。學(xué)生實(shí)習(xí)時(shí)，如果一個(gè)班30人，每人一套設(shè)備，將需要30套。一套最簡(jiǎn)單的立體鏡設(shè)備平均5 000元，則至少需要15萬(wàn)元。此外，像片和設(shè)備容易耗損。

本文研究的軟件為三維遙感圖像立體觀測(cè)以及視差校正的仿真軟件。采用基于Internet網(wǎng)絡(luò)的瀏覽器/服務(wù)器(Browser/Server)模式，左右兩幅圖像將縱向建立金字塔結(jié)構(gòu)、橫向分塊的結(jié)構(gòu)存儲(chǔ)在服務(wù)器端，兩幅圖像的同名點(diǎn)的視差信息也存儲(chǔ)在服務(wù)器端。學(xué)生帶上一個(gè)便宜的紅青互補(bǔ)色眼鏡(在淘寶網(wǎng)上3元錢(qián)就能買(mǎi)1個(gè))，通過(guò)瀏覽器就可以觀測(cè)到兩幅圖像合成后的立體影像。本文研究的仿真軟件實(shí)驗(yàn)的優(yōu)點(diǎn)是：① 受眾面廣；立體觀察、視差校正等概念是“攝影測(cè)量與遙感”課程一個(gè)重要理論部分和實(shí)驗(yàn)環(huán)節(jié)。而“攝影測(cè)量與遙感”課程是遙感科學(xué)與技術(shù)、測(cè)繪科學(xué)與技術(shù)、地理信息系統(tǒng)等專業(yè)的必修課。以中國(guó)地質(zhì)大學(xué)(武漢)為例，緊密相關(guān)的專業(yè)有：信息工程學(xué)院的遙感科學(xué)與技術(shù)、測(cè)繪工程兩個(gè)專業(yè)。兩個(gè)專業(yè)都有攝影測(cè)量教學(xué)實(shí)習(xí)環(huán)節(jié)。相關(guān)的專業(yè)有：信息工程學(xué)院的軟件工程專業(yè)、信息工程專業(yè)、地理信息系統(tǒng)專業(yè)；還有地球科學(xué)學(xué)院的地理科學(xué)專業(yè)、地球物理與空間信息學(xué)院的地球信息科學(xué)與技術(shù)專業(yè)等。這些專業(yè)都開(kāi)設(shè)了“遙感圖像處理”等課程。以一個(gè)專業(yè)平均兩個(gè)班計(jì)算，則有14班的學(xué)生，大約420名學(xué)生。如果以武漢大學(xué)為例，則密切相關(guān)的有三個(gè)學(xué)院的學(xué)生：遙感信息工程學(xué)院、資源與環(huán)境科學(xué)學(xué)院和測(cè)繪學(xué)院。此外，由于采用基于Internet網(wǎng)絡(luò)的瀏覽器/服務(wù)器模式，不僅本校學(xué)生可以實(shí)習(xí)立體觀測(cè)以及視差校正的效果，而且外校的學(xué)生也可以通過(guò)瀏覽器訪問(wèn)，達(dá)到實(shí)習(xí)的目的，體現(xiàn)了大學(xué)的教書(shū)育人和社會(huì)服務(wù)功能。② 節(jié)儉，方便；除了軟件開(kāi)發(fā)費(fèi)用和購(gòu)買(mǎi)遙感圖像費(fèi)用外，研究開(kāi)發(fā)成功后，不再需要其它費(fèi)用。而且學(xué)生實(shí)習(xí)時(shí)，不用到實(shí)驗(yàn)室，隨時(shí)隨地可以進(jìn)行實(shí)習(xí)(只要能上網(wǎng)，就能訪問(wèn)服務(wù)器提供的實(shí)習(xí)環(huán)境)，深刻理解立體觀測(cè)、視差校正的理論和概念，直觀形象地體會(huì)立體觀測(cè)和視差校正的效果。

根據(jù)查閱的文獻(xiàn)資料，目前還沒(méi)有發(fā)現(xiàn)基于HTML5技術(shù)進(jìn)行在線立體觀察和視差校正的同類仿真軟件。

1 三維遙感圖像的數(shù)據(jù)組織

三維遙感圖像的生成過(guò)程如圖1所示。由于要進(jìn)行視差校正，我們保留了生成后的遙感圖像左圖像和右圖像。由于遙感圖像的數(shù)據(jù)量大，Internet上傳輸時(shí)，不可能一次直接從服務(wù)器傳輸?shù)綖g覽器。通常的數(shù)據(jù)組織方法是為一個(gè)城市或一個(gè)區(qū)域的場(chǎng)景進(jìn)行分幅，每一幅是一個(gè)大圖像文件；然后為每一幅大圖像建立金字塔分層結(jié)構(gòu)，最后對(duì)每層圖像進(jìn)行小的分塊，分塊大小一般為256×256像素，每一小塊稱為瓦片[5-8]。這樣做的目的是快速地響應(yīng)用戶的請(qǐng)求，如：放大、縮小和慢游等操作。建立多分辨率的金字塔分層結(jié)構(gòu)就是為了響應(yīng)放大和縮小操作。每層剖分成小的瓦片，目的是按需調(diào)度和動(dòng)態(tài)調(diào)度。每次當(dāng)用戶請(qǐng)求時(shí)，只需要根據(jù)瀏覽器端的用戶窗口的范圍，傳輸很小的數(shù)據(jù)量，當(dāng)上下左右漫游，超過(guò)窗口的范圍時(shí)，只需要傳輸邊界的小瓦片，這樣，極大地節(jié)約了網(wǎng)絡(luò)帶寬，提高了數(shù)據(jù)傳輸速度，快速響應(yīng)用戶的請(qǐng)求，帶給用戶平滑地觀察三維遙感圖像的感覺(jué)。三維遙感圖像的數(shù)據(jù)組織的詳細(xì)內(nèi)容請(qǐng)參考文獻(xiàn)[8-9]。鑒于文章內(nèi)容的連貫性，以及為了讓讀者更好地理解仿真軟件的設(shè)計(jì)思想，本文宏觀地描述重要的內(nèi)容。三維遙感圖像的數(shù)據(jù)組成的邏輯結(jié)構(gòu)，總體來(lái)說(shuō)是“橫向分幅、縱向分層、層內(nèi)分塊”，如圖2所示，形成了一個(gè)金字塔矩陣結(jié)構(gòu)，金字塔的每一層又形成了瓦片矩陣結(jié)構(gòu)。具體的物理結(jié)構(gòu)如圖3所示。整個(gè)場(chǎng)景是“8×8”的矩陣結(jié)構(gòu)，即有64幅大圖像，對(duì)應(yīng)64個(gè)目錄文件夾，每一個(gè)目錄表示一幅大圖像，如圖3中目錄“16”所示，“16”表示該幅大圖像在大圖像矩陣中行號(hào)為“1”列號(hào)為“6”。每幅大圖像都建立了金字塔的分層結(jié)構(gòu)，金字塔的每層被剖分為瓦片矩陣結(jié)構(gòu)，每個(gè)小瓦片對(duì)應(yīng)一個(gè)文件名，如圖3中目錄“16”下的文件名“rs5028020.jpg”所示，“rs”是文件名前綴，“5”表示該瓦片所在的金字塔的層號(hào)，“028”表示該瓦片在瓦片矩陣中的行號(hào)，“020”表示該瓦片在瓦片矩陣中的列號(hào)。

圖1 高分辨率三維彩色圖像生成流程圖

圖2 三維遙感圖像金字塔矩陣邏輯結(jié)構(gòu)圖

圖3 三維遙感圖像數(shù)據(jù)組織物理結(jié)構(gòu)

2 三維遙感圖像的視差校正過(guò)程

航空攝影直接獲得的圖像數(shù)據(jù)通常存在視差，一些起伏較大的區(qū)域存在較大的視差。雙目視差(主要是水平視差)是產(chǎn)生立體視覺(jué)的基礎(chǔ),但是，如果視差太大，將容易產(chǎn)生復(fù)視現(xiàn)象、導(dǎo)致視覺(jué)疲勞、甚至?xí)炑10-11]，所以要進(jìn)行視差校正。視差校正的目的是使顯示窗口內(nèi)的三維立體圖像的總體視差變小，保持在人眼可以接受的范圍之內(nèi)，讓人眼看起來(lái)舒服。本文視差校正的原理，如圖4所示。移動(dòng)右圖像的紅波段，然后與左圖像的藍(lán)、綠波段重新組合，生成新的三維立體圖像。手動(dòng)校正的過(guò)程是根據(jù)設(shè)置的值，直接水平移動(dòng)右圖像的紅波段。自動(dòng)校正的過(guò)程較復(fù)雜，要根據(jù)顯示窗口內(nèi)瓦片上左右兩幅圖像的同名點(diǎn)的視差信息，根據(jù)算法[9]自動(dòng)計(jì)算出需要校正的視差大小，即需要移動(dòng)的紅波段圖像的像素?cái)?shù)目。其中，移動(dòng)過(guò)程以及三個(gè)波段的合成過(guò)程與手動(dòng)校正的過(guò)程相同。過(guò)去做科研項(xiàng)目時(shí)，我們開(kāi)發(fā)了一個(gè)三維遙感圖像的在線發(fā)布和視差校正系統(tǒng)[9]。該系統(tǒng)的視差校正過(guò)程是在服務(wù)器端完成的。當(dāng)大量用戶同時(shí)訪問(wèn)服務(wù)器時(shí)，會(huì)導(dǎo)致服務(wù)器負(fù)載過(guò)重，響應(yīng)用戶請(qǐng)求的時(shí)間變長(zhǎng)，瀏覽器端的用戶感覺(jué)到明顯的延遲?，F(xiàn)在的系統(tǒng)是基于最新的HTML5技術(shù)開(kāi)發(fā)的，詳細(xì)的視差校正流程圖如圖5所示。從圖5我們可以看出，系統(tǒng)的主要功能和視差校正的過(guò)程在瀏覽器端完成，是一個(gè)富瀏覽器的體系結(jié)構(gòu)，服務(wù)器只負(fù)責(zé)提供數(shù)據(jù)。整個(gè)系統(tǒng)雖然是一個(gè)富瀏覽器的體系結(jié)構(gòu)，但是由于是基于HTML5技術(shù)開(kāi)發(fā)的，瀏覽器端不需要安裝任何插件，只需要瀏覽器支持HTML5，現(xiàn)在新的瀏覽器都支持HTML5技術(shù)。由于服務(wù)器端CPU負(fù)載很輕，新的系統(tǒng)能適應(yīng)大量用戶的并行訪問(wèn)，而且響應(yīng)速度很快。

圖4 三維遙感圖像視差校正的示意圖

3 系統(tǒng)實(shí)現(xiàn)和實(shí)驗(yàn)結(jié)果

系統(tǒng)包括三大部分：

(1) 數(shù)據(jù)管理軟件的開(kāi)發(fā)。功能包括：為遙感圖像建立多分辨率金字塔；將金字塔的每一層剖分為小塊瓦片；為每塊瓦片建立空間索引等。

(2) 服務(wù)器端軟件的開(kāi)發(fā)。功能包括：在內(nèi)存或硬盤(pán)中組織瓦片數(shù)據(jù)；在內(nèi)存中組織同名點(diǎn)的視差數(shù)據(jù)；響應(yīng)瀏覽器端用戶的請(qǐng)求，把指定范圍的瓦片數(shù)據(jù)發(fā)送到瀏覽器端。

(3) 瀏覽器端軟件的開(kāi)發(fā)。功能包括：用戶界面的設(shè)計(jì)；坐標(biāo)系統(tǒng)轉(zhuǎn)換；視差校正；三維遙感圖像的合成；根據(jù)用戶的操作，向服務(wù)器發(fā)送請(qǐng)求。整個(gè)系統(tǒng)的功能是：三維圖像立體觀察、瀏覽(移動(dòng)、放大、縮小)和視差校正(手動(dòng)校正、自動(dòng)校正)。三維遙感圖像的立體觀察與視差校正仿真軟件的界面如圖6和7所示。圖6是視差校正之前的三維遙感圖像。圖7是自動(dòng)視差校正之后的三維遙感圖像。從兩幅圖像對(duì)比，可以看出總體視差明顯減少。視差校正包括自動(dòng)校正過(guò)程和手動(dòng)校正過(guò)程。手動(dòng)校正過(guò)程是實(shí)驗(yàn)室硬件(如：橋式立體眼鏡)立體觀測(cè)過(guò)程的仿真。包括左移和右移兩個(gè)按鈕，移動(dòng)的像素的數(shù)目可以設(shè)置。這個(gè)過(guò)程相當(dāng)于在實(shí)驗(yàn)室用手左右移動(dòng)航空相片立體像對(duì)。軟件演示網(wǎng)站是：http://cs.cug.edu.cn/teacherweb/tonghengjian/imageRefine/imageData/index.htm。讀者可以帶紅青互補(bǔ)色眼鏡，親身體驗(yàn)一下立體觀察和視差校正的效果。

圖5 基于HTML5技術(shù)的三維遙感圖像視差校正流程圖

4 結(jié) 語(yǔ)

實(shí)驗(yàn)教學(xué)不僅能加深學(xué)生對(duì)理論知識(shí)的理解和掌握，而且是培養(yǎng)學(xué)生動(dòng)手能力、創(chuàng)新能力的重要教學(xué)環(huán)節(jié),在創(chuàng)新人才培養(yǎng)中發(fā)揮著無(wú)可替代的作用[12-16]。中國(guó)地質(zhì)大學(xué)(武漢)非常重視實(shí)驗(yàn)教學(xué)環(huán)節(jié)，每年都有專項(xiàng)經(jīng)費(fèi)用于實(shí)驗(yàn)場(chǎng)所、實(shí)驗(yàn)儀器和仿真軟件的建設(shè)和研究。本文是在中國(guó)地質(zhì)大學(xué)(武漢)實(shí)驗(yàn)技術(shù)研究項(xiàng)目資助下完成的。

視差理論、立體觀察是“攝影測(cè)量與遙感”課程重要內(nèi)容。該課程是遙感科學(xué)與技術(shù)、測(cè)繪科學(xué)與技術(shù)、地理信息系統(tǒng)等專業(yè)的必修課，其它相關(guān)專業(yè)的選修課，而且立體觀察是“攝影測(cè)量與遙感”課程一個(gè)實(shí)驗(yàn)環(huán)節(jié)。同時(shí)，互補(bǔ)色立體圖像的觀察也是“大學(xué)物理”課程中的一個(gè)實(shí)驗(yàn)內(nèi)容。本文是作者科研項(xiàng)目與教學(xué)相結(jié)合的成果總結(jié)。本仿真軟件的開(kāi)發(fā)和使用，有助于學(xué)生深刻理解視差理論，雙目視差形成立體視覺(jué)等理論，直觀形象地體會(huì)立體觀測(cè)和視差校正的過(guò)程與效果。

圖6 視差校正之前的三維遙感圖像

圖7 視差校正之后的三維遙感圖像

[1] 王樹(shù)根.攝影測(cè)量原理與應(yīng)用[M].武漢：武漢大學(xué)出版社,2009.

[2] 鄧 非,閆利編著.攝影測(cè)量實(shí)驗(yàn)教程[M].武漢：武漢大學(xué)出版社,2012.

[3] 李德仁.攝影測(cè)量與遙感概論[M].2版. 北京：測(cè)繪出版社,2008，10.

[4] Jensen J R. 遙感數(shù)字影像處理導(dǎo)論[M].3版. 陳曉玲等譯. 北京：科學(xué)出版社,2007.

[5] 吳信才,郭玲玲,李 軍.RDBMS和COM的海量遙感影像數(shù)據(jù)的管理和WEB發(fā)布[J].中國(guó)圖像圖形學(xué)報(bào)，2002，7(4)：383-386.

[6] 朱欣焰,陳能成,王 密，等. 面向網(wǎng)絡(luò)的海量影像空間數(shù)據(jù)在線分發(fā)技術(shù)[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2003,28(3):288-293.

[7] 蔣 杰,應(yīng) 龍,吳玲達(dá),等.全球衛(wèi)星遙感影像數(shù)據(jù)組織與WEB發(fā)布[J].計(jì)算機(jī)工程與應(yīng)用, 2009,45(21):16-20.

[8] 童恒建,黃 洪,左博新.多波段遙感圖像的數(shù)據(jù)組織與發(fā)布[J].地球科學(xué)—中國(guó)地質(zhì)大學(xué)學(xué)報(bào), 2012,37(3):587-592.

[9] Tong H, Zhang Y, Shao Z. 3D remote sensing images online refining[C]∥17th International Conference on Geoinformatics, Geoinformatics, 2009, 8: 1-6.

[10] Wartell Z, Hodges L, Ribarsky W. An analytic comparison of alpha-false eye separation, imagescaling and image shifting in stereoscopic displays [J]. IEEE Transactions on Visualization and Computer Graphics,2002,8(2):129-143.

[11] Xie, Pingping. A Web-based 3D Visualization Prototype System for High Resolution Satellite Colour Stereo Images[D]. M.Sc.E. thesis, Department of Geodesy and Geomatics Engineering Technical Report No. 223, University of New Brunswick, Fredericton, New Brunswick, Canada, 2004.

[12] 馮曉云,夏有為.實(shí)踐育人是大學(xué)的根本[J].實(shí)驗(yàn)室研究與探索,2013,32(1):1-4.

[13] 張 微,溫光浩.重視實(shí)驗(yàn)教學(xué)環(huán)節(jié) 加強(qiáng)實(shí)踐育人工作[J]. 實(shí)驗(yàn)室研究與探索, 2013,32(6):148-150.

[14] 劉 燕,李曉波.開(kāi)放的教學(xué)實(shí)驗(yàn)平臺(tái)建設(shè)與創(chuàng)新性人才培養(yǎng)[J].實(shí)驗(yàn)室研究與探索,2014,33(3):211-214.

[15] 黃曉玫.實(shí)驗(yàn)是實(shí)踐育人的核心[J].實(shí)驗(yàn)室研究與探索 2014,33(4):1-3.

[16] 黃曉玫.實(shí)驗(yàn)是實(shí)踐育人的核心(續(xù))[J].實(shí)驗(yàn)室研究與探索, 2014, 33(5):1-4.

·名人名言·

知識(shí)是一座寶庫(kù),而實(shí)踐則是開(kāi)啟寶庫(kù)的鑰匙。

——托馬斯·富勒

Research and Development of Simulation Software for 3D Remote Sensing Images Stereoscopic Viewing and Parallax Refining

TONGHeng-jian,PEIQian

(School of Computer Science, China University of Geosciences, Wuhan 430074, China)

Photogrammetry and remote sensing is a main specialized course for the following majors: remote sensing science and technology, surveying and mapping, geographic information system, etc. Stereoscopic viewing is an importantly theoretic and practical training for the course of photogrammetry and remote sensing. Binocular parallax is the basis for generating stereoscopic vision. However, if parallax is larger than eye separation, diplopia or dizziness will occur. Therefore, it is necessary to do parallax refining before conducting stereoscopic observation. The common observation methods in laboratory include anaglyphical stereoscopic viewing and vectograph method of stereoscopic viewing. These methods need not only expensive hardware, but also stereoscopic photos. Simulation software of 3D remote sensing images stereoscopic viewing and parallax refining is developed based on the model of browser/server. Students can observe stereoscopic image by browser without being restricted by time and place as long as they wear a cheap red-cyan 3D glasses. Parallax refining has manual adjusting method and automatic refining way. The manual adjusting method can simulate the operations of hardware observation well.

photogrammetry and remote sensing； 3D remote sensing images； stereoscopic viewing； parallax refining

2015-10-10

國(guó)家自然科學(xué)基金(No.41171339); 中國(guó)地質(zhì)大學(xué)(武漢)實(shí)驗(yàn)技術(shù)研究項(xiàng)目(No.SJ-201327,2013)

童恒建(1971-)，男，湖北鄂州人，博士，教授，研究方向?yàn)檫b感圖像處理與分析。

Tel.：13871290569，027-67883716； E-mail：thj26@cug.edu.cn

TP 751.1

A

1006-7167(2016)03-0077-05