孫杰 薛純 余義德

（1.91550部隊(duì)大連116023）（2.中國海洋大學(xué)信息科學(xué)與工程學(xué)院電子工程系青島266100）

基于特征的水下圖像拼接技術(shù)研究

孫杰1薛純2余義德1

（1.91550部隊(duì)大連116023）（2.中國海洋大學(xué)信息科學(xué)與工程學(xué)院電子工程系青島266100）

論文針對(duì)水下圖像的特點(diǎn)，運(yùn)用四種圖像顏色校正的算法，針對(duì)多幅圖片進(jìn)行批量預(yù)處理后，根據(jù)它們能夠平均得到的特征點(diǎn)的個(gè)數(shù)，找到最適用于水下圖像拼接的算法。同時(shí)，在進(jìn)行SIFT特征點(diǎn)描述時(shí)，不僅考慮了鄰域的梯度信息，而且加入紋理信息，能夠在一定程度上降低誤匹配率，改善圖像融合的效果。通過分析錯(cuò)位距離以及拼接處的色度差異，量化了評(píng)價(jià)的好壞，對(duì)最終的拼接效果有了更為客觀的評(píng)價(jià)。

水下圖像；圖像拼接；顏色校正；SIFT特征點(diǎn)描述

Class NumberTP391

1 引言

隨著海洋強(qiáng)國戰(zhàn)略的提出，我國越來越重視對(duì)海洋的開發(fā)和研究。運(yùn)用拼接技術(shù)，可以生成大幅度，高分辨率，寬視角的海洋圖像，從而幫助我們更好地探測未知的海洋。因此，水下圖像拼接技術(shù)以其重要的應(yīng)用價(jià)值，逐步發(fā)展成為計(jì)算機(jī)視覺、圖像處理和計(jì)算機(jī)圖形學(xué)的研究熱點(diǎn)。在多數(shù)實(shí)際應(yīng)用中，由于光在海水傳輸過程中的吸收和散射作用，噪聲以及各類圖像變換等不利因素對(duì)特征匹配魯棒性的影響，導(dǎo)致獲取的單幅水下圖像范圍小、視角有限、顏色失真，并影響著整個(gè)算法的性能?；诖?，本文對(duì)快速提取穩(wěn)定可靠的水下圖像特征，形成有效特征描述子用于水下圖像拼接進(jìn)行了探索性研究。

圖像拼接算法主要包括三部分：圖像的預(yù)處理、特征點(diǎn)提取與描述、圖像配準(zhǔn)與圖像融合。其首要任務(wù)是從待匹配的圖像中提取含有圖像特征的特征點(diǎn)并進(jìn)行描述，建立起原圖像和待匹配圖像的特征點(diǎn)集之間的對(duì)應(yīng)關(guān)系。

1977年，Moravec提出了點(diǎn)特征這個(gè)概念，當(dāng)時(shí)他將特征點(diǎn)稱之為“興趣點(diǎn)”［1］。但當(dāng)時(shí)提出的算法并不具備尺度旋轉(zhuǎn)不變性，而且抗噪性能差。1988年，Harris提出了具有旋轉(zhuǎn)、平移不變性的Harris興趣點(diǎn)檢測器［2］。該方法對(duì)信號(hào)噪聲、數(shù)據(jù)獲取時(shí)的參數(shù)變化和圖像方向變換以及光照變換等具有較好的魯棒性。1994年，Blaszka T.Rachid Deriche通過二維高斯模糊過濾得到一些低級(jí)特征模型［3］，1996年，Lindeberg［4］全面地提出了極具影響力的信號(hào)的尺度空間理論，該理論的出現(xiàn)對(duì)局部特征的研究歷史推進(jìn)了一大步。1997年，LeilaM.G. Fonseca等采用基于小波變換的多尺度分析理論［5］，先對(duì)圖像作小波變換，計(jì)算小波變換的模值，模的局部極大值點(diǎn)即對(duì)應(yīng)圖像中的邊緣特征點(diǎn)。同年，Smith S M，Brady J M利用最小同值吸收核算法（Smallest Univalue Segment Assimilating Nucleus），即SUSAN算法提取特征點(diǎn)來實(shí)現(xiàn)圖像的配準(zhǔn)［6］。1999年，Lowe D G在提出了基于尺度不變特征變換SIFT（Scale Invariant Feature Transform）的特征檢測算法，Lowe將圖像轉(zhuǎn)化為灰度圖像，然后尋找高斯拉普拉斯空間中的極值點(diǎn)來得到特征點(diǎn)［7］。2002年，Matas提出的最大穩(wěn)定極值區(qū)域（Maximally Stable Extremal Regions，MSERs）的特征提取算法［8］。Matas將分水嶺理論運(yùn)用于灰度圖像的最穩(wěn)定局部區(qū)域檢測中，最后對(duì)檢測區(qū)域進(jìn)行旋轉(zhuǎn)和尺度歸一化處理。

2 顏色校正預(yù)處理

傳統(tǒng)的水下圖像在傳輸過程中，由于受到嚴(yán)重的吸收和散射作用的影響，使得獲得的水下圖像存在顏色失真，圖像偏藍(lán)或偏綠色，并呈現(xiàn)一層霧狀效果，對(duì)比度和清晰度較低，噪聲較多，不利于下一步配準(zhǔn)工作的進(jìn)行。本文比較了四種圖像顏色校正的算法，Shade of gray算法［9］，Gray edge算法［10］，Max-RGB算法［11］，Weight gray edge算法［12］，對(duì)圖片集進(jìn)行批量處理。由于圖像拼接最重要的一步是尋找特征點(diǎn)，因此把他們能夠平均得到的特征點(diǎn)的個(gè)數(shù)作為評(píng)價(jià)處理好壞的一個(gè)重要的指標(biāo)。

如圖4可得，Max-RGB算法所得到的特征點(diǎn)數(shù)是最多的。同時(shí)，通過原圖與處理后的圖像相比較，其顏色恢復(fù)效果也較好。

3 基于特征點(diǎn)的圖像配準(zhǔn)算法

基于特征點(diǎn)的圖像配準(zhǔn)技術(shù)有很多優(yōu)點(diǎn)，主要體現(xiàn)在以下三個(gè)方面：圖像的特征點(diǎn)比圖像的像素點(diǎn)要少很多，從而大大減少了匹配過程的計(jì)算量；特征點(diǎn)的匹配度量值對(duì)位置變化比較敏感，可以提高匹配的精度；特征點(diǎn)的提取過程可以減少噪聲的影響，對(duì)灰度變換、圖像變形以及遮擋都有較好的適應(yīng)能力。

3.1 特征點(diǎn)的提取

在現(xiàn)有的圖像配準(zhǔn)方法中，Harris算法，Susan算法，SIFT算法以及Edward Rosten和Tom Drummond提出的FAST算法都是較為經(jīng)典的特征點(diǎn)提取算法。本文運(yùn)用四種比較經(jīng)典的提取特征點(diǎn)的算法，對(duì)海水環(huán)境中距離目標(biāo)物0.5m條件下，對(duì)特征采集進(jìn)行批量處理，從以下幾個(gè)方面進(jìn)行衡量：

不同水質(zhì)下提取特征點(diǎn)個(gè)數(shù)并記錄運(yùn)算速度，不同拍攝距離下提取特征點(diǎn)個(gè)數(shù)并記錄運(yùn)算速度。對(duì)運(yùn)算速度和提取的特征點(diǎn)數(shù)取平均，結(jié)果如表1所示。

表14 種特征點(diǎn)提取算法的性能比較

由表1可得，SIFT算法速度較快，提取的特征點(diǎn)較多，且具有尺度不變性。

3.2 特征點(diǎn)的描述

傳統(tǒng)SIFT算法生成的特征描述子僅僅表明了鄰域的梯度信息，容易受到噪聲的干擾，因而匹配不夠精準(zhǔn)。本文通過獲取關(guān)鍵點(diǎn)的紋理信息，從而提高匹配與拼接的精度，有利于解決高精度快速配準(zhǔn)的問題。

設(shè)Fi（x，y，σ，θ）為SIFT關(guān)鍵點(diǎn)檢測方法得到的某一關(guān)鍵點(diǎn)，其中（x，y）為Fi在原始圖像上的位置坐標(biāo)，σ和θ分別為Fi的空間尺度因子和主方向。根據(jù)空間尺度因子σ的大小，在點(diǎn)Fi所對(duì)應(yīng)的高斯金字塔層上，按照θ的大小把該圖像區(qū)域旋轉(zhuǎn)到參考方向。以點(diǎn)Fi為中心，取半徑為4的圓形區(qū)域作為待描述區(qū)域。特征點(diǎn)描述的具體流程如圖2所示。

以關(guān)鍵點(diǎn)pi為中心在半徑為4的圓形區(qū)域中，分別以區(qū)域內(nèi)每個(gè)像素點(diǎn)pj為中心，求取以它為中心的旋轉(zhuǎn)不變LBP特征，記為lbpj（j=1，2，…，52）。

從直觀上講，像素點(diǎn)pj距離中心pi越遠(yuǎn)，它對(duì)描述pi貢獻(xiàn)的信息量越小，因此對(duì)lbpj進(jìn)行加權(quán)，加權(quán)系數(shù)為

其中，（rj，cj）和（ri，ci）為像素點(diǎn)pj和中心點(diǎn)pi在待描述圖像區(qū)域中的坐標(biāo)，σ0為選定的常數(shù)。

把計(jì)算得到的所有加權(quán)LBP特征值組成一個(gè)一維向量，記為Ti，則

為了消除光照變化的影響，把Ti進(jìn)行歸一化，由原始的128維SIFT局部特征向量Tj和得到的52維向量，構(gòu)成新的180維的描述子：

綜上，最后得到的180維向量T即為關(guān)鍵點(diǎn)pi周圍區(qū)域的描述。從T的計(jì)算過程可以看出，在待描述圖像區(qū)域獲取的過程中，利用關(guān)鍵點(diǎn)的尺度獲得了尺度不變性，把待描述圖像區(qū)域旋轉(zhuǎn)到參考方向獲得了旋轉(zhuǎn)不變性，通過描述向量的歸一化獲得了對(duì)光照變化的魯棒性，再加上旋轉(zhuǎn)不變LBP特征自身具有一定程度的尺度、旋轉(zhuǎn)和光照不變性，確保了基于旋轉(zhuǎn)不變LBP特征描述方法的魯棒性。

3.3 特征點(diǎn)的匹配與融合

圖像融合是圖像拼接的最后一步，圖像融合是將兩幅圖像中信息綜合到一幅圖像中并以可視化方法顯示的技術(shù)。常用的圖像融合方法有以下幾種：

1）平均值法：對(duì)于兩幅圖重疊部分，取兩點(diǎn)像素的平均值，作為新的融合圖像的像素值。

2）加權(quán)平均法：在重疊部分由前一幅圖像慢慢過渡到第二幅圖像，即將圖像重疊區(qū)域的像素值按一定的權(quán)值相加合成新的圖像。使顏色逐漸過渡，以避免圖像的模糊和明顯的邊界。

3）多分辨樣條法：它將圖像分解成不同頻率上的一組圖像，在每個(gè)分解的頻率上，將圖像重疊邊界附近加權(quán)平均。最后將所有頻率上的合成圖像匯總成一幅圖像。

關(guān)于特征點(diǎn)的粗匹配，本文采用最近鄰與次近鄰距離比值法（Nearest-Neighbor with Distance Ratio）。圖像融合階段，用加權(quán)平均法進(jìn)行圖像融合。例f1，f2是兩幅待拼接的圖像，將圖像f1和f2在空間疊加，則融合后的圖像像素f(x，y)可表示為

在重疊區(qū)域中d1由1漸變至0，d2由0漸變至1，由此實(shí)現(xiàn)在重疊區(qū)域中由f1平滑過渡到f2。

4 實(shí)驗(yàn)結(jié)果與分析

對(duì)典型待拼接圖像進(jìn)行前文介紹的處理過程。

比較圖5和圖6可得，傳統(tǒng)拼接圖存在較為明顯的錯(cuò)位，妨礙信息的獲取。而本文提出的改進(jìn)后的拼接圖僅有微量錯(cuò)位，拼接痕跡不易察覺，整體拼接效果更好。

5 結(jié)語

本文針對(duì)水下圖像的特點(diǎn)，運(yùn)用四種圖像顏色校正的算法，針對(duì)多幅圖片進(jìn)行批量預(yù)處理后，通過比較平均得到的特征點(diǎn)個(gè)數(shù)及運(yùn)行速度等，選出最適用于水下圖像拼接的算法。同時(shí)，在進(jìn)行SIFT特征點(diǎn)描述時(shí)，不僅考慮了鄰域的梯度信息，而且加入紋理信息，在一定程度上降低誤匹配率，改善圖像融合的效果。采取基準(zhǔn)數(shù)據(jù)方法中的分析錯(cuò)位距離以及拼接處的色度差異，對(duì)實(shí)驗(yàn)的拼接效果做出了更為客觀的評(píng)價(jià)。

［1］Moravec H P.Towards automatic visual bbstacle avoidance［C］//International Conference on Artificial Intelligence（5th：1977：Massachusetts Institute of Technology）. 1977.

［2］Harris C，Stephens M.A combined corner and edge detector［C］//Alveyvisionconference，1988，15（50）：147-151.

［3］Blaszka T，Deriche R.Recovering and characterizing image features using an efficient model based approach［R］. R-2422，INRIA，1994：7-10.

［4］Lindeberg T.Edge detection and ridge detection with automatic scale selection［J］.International Journal of Computer Vision，1998，30（2）：117-156.

［5］Fonseca L M G，Costa M H M.Automatic registration of satellite images［C］//Computer Graphics and Image Processing，1997.Proceedings.，X Brazilian Symposium on. IEEE，1997：219-226.

［6］Smith S M，Brady J M.SUSAN—a new approach to low level image processing［J］.International journal of computer vision，1997，23（1）：45-78.

［7］Lowe D G.Object recognition from local scale-invariant features［C］//Computer vision，1999.The proceedings of the seventh IEEE international conference on.IEEE，1999，2：1150-1157.

［8］Extremal M S，Matas J，Chum O，et al.Robust wide baseline stereo from［C］//In British Machine Vision Conference.2002：384-393.

［9］Finlayson G D，Trezzi E.Shades of gray and colour constancy［C］//Color and Imaging Conference.Society for Imaging Science and Technology，2004，2004（1）：37-41.

［10］Van De Weijer J，Gevers T，Gijsenij A.Edge-based color constancy［J］.IEEE Transactions on image processing，2007，16（9）：2207-2214.

［11］Land E H，McCann J J.Lightness and retinex theory［J］. Josa，1971，61（1）：1-11.

［12］Gijsenij A，Gevers T，Van De Weijer J.Improving color constancy by photometric edge weighting［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（5）：918-929.

Underwater Image Mosaicking Technologies Based on Features

SUN Jie1XUE Chun2YU Yide1
（1.No.91550 Troops of PLA，Dalian116023）（2.Department of Electronic Engineering，College of Information Science&Engineering，Ocean University of China，Qingdao266100）

According to the characteristics of the underwater image，this paper applies four image color correction algorithms for Batch preprocessing multiple images.Based on the average number of feature points that obtained in the pretreatment，a more suitable algorithm for underwater image mosaicking is found.At the same time，in the description of SIFT feature points，not only the gradient information of the neighborhood，but also the texture information are taken into account，which can reduce the mismatching rate to some extent and improve the effect of image fusion.The difference between the dislocation distance and the chromaticity of the splice is quantitatively analyzed，and the quality of the evaluation is quantified.The final mosaicking effect is evaluated more objectively．

underwater image，image mosaicking，image color correction，description of SIFT feature points

TP391

10.3969/j.issn.1672-9730.2017.06.031

2016年12月9日，

2017年1月17日

孫杰，女，碩士研究生，工程師，研究方向：水下測量。薛純，女，碩士研究生，研究方向：水下圖像拼接。

余義德，男，高級(jí)工程師，研究方向：水下測量。