盛明偉，唐松奇，萬 磊，秦洪德

（哈爾濱工程大學(xué)水下機(jī)器人技術(shù)重點(diǎn)實(shí)驗(yàn)室，哈爾濱150001）

0 引言

隨著社會(huì)多媒體科技的發(fā)展，各種高分辨率成像技術(shù)（包括數(shù)碼照相、攝像產(chǎn)品）的更新?lián)Q代，圖像獲取技術(shù)己經(jīng)被廣泛應(yīng)用于多種領(lǐng)域。在現(xiàn)實(shí)生活中，想要獲取寬視角的全景圖像需要調(diào)整相機(jī)的焦距，但是得到的全景圖像分辨率相對(duì)較低，難以滿足人們的基本要求。因此，為獲得具有較大視域、高分辨率的全景圖像，圖像拼接技術(shù)應(yīng)需而生并蓬勃發(fā)展起來。隨著計(jì)算機(jī)視覺技術(shù)的研究與發(fā)展，作為新興技術(shù)，圖像拼接技術(shù)憑借其可以獲取寬視角、高分辨率的圖像，發(fā)展得越來越廣泛和深入，并且在人工智能和機(jī)器學(xué)習(xí)的實(shí)際應(yīng)用中具有堅(jiān)實(shí)地位。

圖像拼接技術(shù)是數(shù)字圖像處理領(lǐng)域中的一個(gè)重要研究方向，它將部分重疊的圖像序列進(jìn)行配準(zhǔn)和合成，在創(chuàng)建全景圖像的過程中具有重要的實(shí)用價(jià)值。它已成為圖像繪制（Image Based Rende?ring，IBR）方法中的一項(xiàng)重要技術(shù)［1］，具有良好的實(shí)際應(yīng)用價(jià)值，在醫(yī)學(xué)大型影像合成、水下地形測(cè)繪、虛擬現(xiàn)實(shí)場(chǎng)景的構(gòu)建、全景自動(dòng)駕駛輔助系統(tǒng)等很多領(lǐng)域中獲得了廣泛應(yīng)用。

圖像拼接是指將具有重疊區(qū)域的小視角、低分辨率的多張圖像，通過合適的圖像配準(zhǔn)與融合算法，拼接成一張具有高分辨率、寬視角的全景圖像。該幅圖像包含之前所有待拼接圖像的全部信息，然后利用全景圖像進(jìn)行實(shí)驗(yàn)研究與應(yīng)用［2］。其具體拼接流程如下：首先，用數(shù)碼相機(jī)等圖像采集設(shè)備采集多幅有重疊區(qū)域的圖像，分別對(duì)各個(gè)圖像進(jìn)行校正、去噪等預(yù)處理，改善圖像質(zhì)量［3］，并用特征提取算法提取每幅圖像的不變量描述子。接著，計(jì)算這些描述子的相似程度，從而確定匹配關(guān)系。最后，假定圖像的變換模型。該模型的參數(shù)由圖像匹配計(jì)算得來，通過選擇合適的融合算法對(duì)圖像進(jìn)行融合，即可得到所求圖像。其中，圖像拼接的關(guān)鍵步驟是圖像配準(zhǔn)和圖像融合。

1 圖像拼接中的配準(zhǔn)技術(shù)

圖像配準(zhǔn)用來確定具有偏移的兩幅或多幅圖像之間的對(duì)應(yīng)關(guān)系，通過確定圖像數(shù)據(jù)集之間的幾何關(guān)系，可以用估計(jì)的轉(zhuǎn)換參數(shù)將一個(gè)圖像投射于另一個(gè)圖像，使多幅圖像合成一幅包含所有輸入圖像相關(guān)信息的圖像［4］。因此，圖像配準(zhǔn)是圖像拼接成功的關(guān)鍵，選擇不同的圖像配準(zhǔn)方法將直接影響圖像拼接的效果。隨著配準(zhǔn)技術(shù)研究的不斷深入，基于灰度值和變換域的配準(zhǔn)方法已經(jīng)達(dá)不到精度要求，如今的研究趨勢(shì)是追求高精度、耗時(shí)少和魯棒性好的高效圖像配準(zhǔn)方法。

現(xiàn)階段，圖像配準(zhǔn)方法主要分為基于區(qū)域和基于特征的圖像配準(zhǔn)方法。在圖像配準(zhǔn)研究中，基于特征的圖像配準(zhǔn)方法憑借優(yōu)點(diǎn)眾多占據(jù)了大多數(shù)。該方法利用提取的圖像特征建立關(guān)聯(lián)進(jìn)行配準(zhǔn)，其優(yōu)點(diǎn)在于：不需要窮舉搜索空間，能夠降低圖像搜索的復(fù)雜程度，大大減小計(jì)算成本；匹配是在特征空間上操作的，而不是直接利用圖像灰度信息，算法更為魯棒和穩(wěn)健；配準(zhǔn)時(shí)選擇合適的特征，對(duì)圖像灰度或尺度變化、圖像形變和遮擋等問題都有較好的適應(yīng)能力?；谔卣鞯呐錅?zhǔn)方法利用的特征可以是待配準(zhǔn)圖像中的點(diǎn)、線、邊緣或區(qū)域等特征信息［5］。提取特征的不同，采用的配準(zhǔn)算法也隨之變化。因此，選擇基于特征的圖像配準(zhǔn)方法需要根據(jù)圖像不同的情況，選擇最佳的特征，來對(duì)圖像進(jìn)行匹配，以提高配準(zhǔn)精確度。

典型的點(diǎn)特征有角點(diǎn)、線交叉點(diǎn)、封閉曲線的質(zhì)心、高曲率點(diǎn)、使用Gabor小波檢測(cè)出的局部曲率中斷點(diǎn)和小波變換的局部極值點(diǎn)等。特征提取算法層出不窮，目前應(yīng)用比較廣泛的點(diǎn)特征提取算法包括 SIFT、SURF、FAST、Harris 和 ORB［6］等，這些算法能夠適應(yīng)各種圖像，可以提高配準(zhǔn)精度與速度，基本可以達(dá)到實(shí)時(shí)性的要求。下文介紹幾種典型的算法，以及國(guó)內(nèi)外研究發(fā)展現(xiàn)狀。

1.1 SIFT算法

尺度不變特征轉(zhuǎn)換算法（Scale?Invariant Feature Transform，SIFT）可用于檢測(cè)圖像的局部特征。該算法通過在尺度空間中尋找極值點(diǎn)，先進(jìn)行非極大值抑制，去除低對(duì)比度的點(diǎn)。通過Hessian矩陣去除邊緣點(diǎn)，確定特征點(diǎn)主方向，并構(gòu)造生成特征點(diǎn)描述子，保存其坐標(biāo)位置、尺度、旋轉(zhuǎn)不變量等信息，最后通過特征匹配方法將目標(biāo)圖像與源圖像中的特征點(diǎn)進(jìn)行匹配。

SIFT算法保持了尺度、旋轉(zhuǎn)、亮度等不變性，而且對(duì)角度變化、仿射變換和噪聲保持了一定的穩(wěn)定性，但時(shí)間性能較低，匹配精度不夠。Guo［7］提出了一種基于改進(jìn)SIFT的圖像配準(zhǔn)算法，使用一種改進(jìn)的SIFT描述符將特征點(diǎn)的鄰域縮小到15像素×15像素的窗口范圍，然后采用最近鄰Eu?clidean距離，將當(dāng)前最近鄰與下一個(gè)最近鄰Eu?clidean距離之比作為雙重配準(zhǔn)準(zhǔn)則，通過縮小SIFT特征向量的維數(shù)以減少時(shí)間消耗，并且增加最近鄰距離小于0.3的相似性度量來計(jì)算圖像之間的特征點(diǎn)對(duì)應(yīng)。將當(dāng)前最近鄰與下一個(gè)最近鄰Eu?clidean距離之比的閾值設(shè)為0.5，將初始的匹配點(diǎn)分為2類，并且通過基于基本矩陣估計(jì)的隨機(jī)樣本一致性方法（Random Sample Consensus，RANSAC）和相反隨機(jī)樣本一致性方法（A Contrario RANSAC，AC?RANSAC）排除誤匹配點(diǎn)，其具體流程如圖1所示。該方法不僅能保證較好的時(shí)間性能，對(duì)角度變化、仿射變換和噪聲具有較好的穩(wěn)定性，而且能有效地消除錯(cuò)誤匹配點(diǎn)，有效提高匹配精度。

圖1 SIFT改進(jìn)的配準(zhǔn)算法流程圖Fig.1 Flow chart of SIFT improved registration algorithm

水下圖像配準(zhǔn)在海洋探測(cè)、海洋地貌全景圖的獲取中得到了廣泛的應(yīng)用。水下圖像嚴(yán)重退化，易出現(xiàn)顏色衰退、對(duì)比度低及細(xì)節(jié)模糊等現(xiàn)象。為了更好地實(shí)現(xiàn)水下圖像配準(zhǔn)，Sukhada［8］提出了SIFT的改進(jìn)方法。在SIFT算法的基礎(chǔ)上采用Gabor濾波器作為預(yù)濾波器，可以避免水聲噪聲的影響。由于光線逐漸被海底吸收，水下圖像的光照強(qiáng)度較低，將閾值保持在某個(gè)定值將導(dǎo)致部分水下圖像中的關(guān)鍵點(diǎn)被消除。為此，該研究提出了使自適應(yīng)閾值方法消除低照明點(diǎn)，將閾值保持為圖像對(duì)比度的10%。該閾值將根據(jù)圖像的對(duì)比度進(jìn)行設(shè)置，對(duì)比度值低于10%的點(diǎn)將被視為低照度點(diǎn)。在每個(gè)關(guān)鍵點(diǎn)上都應(yīng)用了Sobel濾波器，此過程可去除對(duì)像素差分進(jìn)行高通濾波過程的噪聲，同時(shí)也可在描述符中保留更多信息。最后，通過使用Hausdorff距離來獲得關(guān)鍵點(diǎn)之間的匹配，而不是標(biāo)準(zhǔn)SIFT中使用的Euclidean距離。首先在一個(gè)方向上得到關(guān)鍵點(diǎn)之間的匹配，然后在相反方向獲得匹配。將兩個(gè)方向獲得的匹配作為匹配點(diǎn)，將所有其他的點(diǎn)視為假匹配點(diǎn)并進(jìn)行清除，利用RANSAC方法對(duì)殘差值進(jìn)行了去除。與標(biāo)準(zhǔn)SIFT算法相比，該改進(jìn)算法可檢測(cè)的關(guān)鍵點(diǎn)數(shù)量更多，而且正確匹配點(diǎn)的總數(shù)增加，降低了均方根誤差，能夠得到較好的配準(zhǔn)結(jié)果。

1.2 SURF算法

基于快速魯棒性特征算法（Speeded Up Robust Features，SURF）是SIFT角點(diǎn)檢測(cè)算法的改進(jìn)版，SURF算法的優(yōu)勢(shì)主要體現(xiàn)在速度上，SURF是SIFT速度的3倍左右。SURF與其他算法的不同在于其采用了Harr小波響應(yīng)及運(yùn)用了積分圖像的概念。SURF提取特征點(diǎn)的流程包括：1）構(gòu)建Hessian矩陣；2）構(gòu)造尺度空間；3）利用非極大值抑制初步確定特征點(diǎn)；4）精確定位極值點(diǎn)；5）選取特征點(diǎn)的主方向；6）構(gòu)造SURF特征點(diǎn)描述算子。

Patel［9］提出了一種基于SURF算法的多視圖圖像配準(zhǔn)方法以擴(kuò)大視野。首先，使用SURF檢測(cè)特征并執(zhí)行特征匹配。去除假匹配對(duì)，利用RANSAC算法估計(jì)變換參數(shù)對(duì)圖像進(jìn)行混合。執(zhí)行多波段混合，使拼接的圖像全景無縫。該研究能有效提高特征檢測(cè)的速度和精度，RANSAC算法提高了特征匹配的正確性，也得到了精確的單應(yīng)性矩陣。在進(jìn)行圖像扭曲后，多波段混合去除過渡接縫，最終的圖像拼接結(jié)果是通過將圖像翹曲成單個(gè)平面而獲得的，并應(yīng)用多波段混合，使相同場(chǎng)景的圖像之間實(shí)現(xiàn)了平滑過渡。

Durgam［10］采用 SURF對(duì)合成孔徑雷達(dá)圖像進(jìn)行了特征檢測(cè)和特征匹配，將均方差限制在了0.5以內(nèi)，以去除剩余異常值。首先，在圖像對(duì)之間進(jìn)行基于SURF算法的特征匹配，得到相應(yīng)特征，再利用RANSAC來去除異常點(diǎn)，通過細(xì)化得到匹配特征點(diǎn)。該方法通過將均方差值限制在0.5以內(nèi)來提供非常高的子像素精度，該算法為具有不同照明和變換差異的兩個(gè)或更多圖像提供了更好的配準(zhǔn)精度。

吳一全［11］提出了一種基于小波域SURF的遙感圖像配準(zhǔn)算法。改進(jìn)SURF算法的原理為：特征點(diǎn)檢測(cè)、特征點(diǎn)描述、描述子主成分分析降維和特征點(diǎn)雙向配準(zhǔn)4個(gè)部分。首先，利用小波變換分解源圖像和目標(biāo)圖像，將得到的低頻分量提出，通過改進(jìn)SURF算法得到粗配準(zhǔn)點(diǎn)對(duì)，采用主成分分析對(duì)描述子降維，去除了描述子之中的干擾信息，增強(qiáng)了描述子之間的獨(dú)立性。依據(jù)雙向配準(zhǔn)準(zhǔn)則實(shí)現(xiàn)了特征點(diǎn)的粗配準(zhǔn)，接著利用兩次距離閾值不同的RANSAC算法分級(jí)篩選出精配準(zhǔn)點(diǎn)對(duì)，最后運(yùn)用最小二乘法擬合幾何變換參數(shù)完成配準(zhǔn)。從圖2可知，這兩幅圖像之間存在位置的平移，使用該配準(zhǔn)算法進(jìn)行配準(zhǔn)之后可將圖像準(zhǔn)確無誤地拼接起來，并可以大幅減少運(yùn)行時(shí)間，配準(zhǔn)精度比標(biāo)準(zhǔn)SURF算法更高。

圖2 基于小波域SURF的遙感圖像配準(zhǔn)結(jié)果圖Fig.2 Registration results of remote sensing images in wavelet domain using SURF

1.3 Harris角點(diǎn)檢測(cè)算法

Harris角點(diǎn)檢測(cè)是基于灰度圖像的角點(diǎn)提取方法，穩(wěn)定性高，對(duì)L型角點(diǎn)的檢測(cè)精度尤其高。Harris角點(diǎn)檢測(cè)的原理是選擇一個(gè)以目標(biāo)像素點(diǎn)為中心的適當(dāng)大小的窗口，利用移動(dòng)窗口在圖像中計(jì)算灰度變化值，其中的關(guān)鍵流程包括轉(zhuǎn)化為灰度圖像、計(jì)算差分圖像、Gauss平滑、計(jì)算局部極值、確認(rèn)角點(diǎn)［12］。

在遙感圖像分析中，Harris角點(diǎn)檢測(cè)是較為適合的特征提取方法。Yang［13］利用了 Harris角點(diǎn)檢測(cè)產(chǎn)生的特征點(diǎn)，并將其集成到一致性點(diǎn)漂移（Co?herent Point Drift，CPD）框架中以提高精度。首先構(gòu)造了點(diǎn)對(duì)點(diǎn)對(duì)應(yīng)的似然描述符，然后將該似然值作為Gauss混合模型的先驗(yàn)概率項(xiàng)，使用期望最大化算法迭代匹配點(diǎn)。該研究找到了一種對(duì)特征度量數(shù)據(jù)進(jìn)行規(guī)范化的方法，并構(gòu)造了一個(gè)合適的描述符來包含Harris特征度量和Euclidean距離，進(jìn)而將特征度量值偏差的負(fù)面影響最小化。

針對(duì)Harris角點(diǎn)檢測(cè)算法運(yùn)算速度慢、角點(diǎn)信息丟失和位置偏移，以及角點(diǎn)提取聚簇現(xiàn)象，趙艷［14］提出了一種改進(jìn)的Harris角點(diǎn)檢測(cè)算法。該算法采用FAST特征點(diǎn)檢測(cè)算法排除了大量的非特征點(diǎn)得到初始點(diǎn)，以初始點(diǎn)響應(yīng)Harris函數(shù)執(zhí)行非極大值抑制。保留局部角點(diǎn)響應(yīng)函數(shù)最大值的像素點(diǎn)，以這些點(diǎn)為中心，以一定半徑搜索角點(diǎn)簇，在容忍距離內(nèi)保留一個(gè)特征點(diǎn)，以降低角點(diǎn)簇的影響。提取Harris角點(diǎn)后，采用歸一化互相關(guān)匹配法進(jìn)行粗匹配，利用RANSAC算法消除誤匹配，提高圖像拼接的精度。該方法的特征點(diǎn)檢測(cè)速度快，能減少角點(diǎn)聚簇現(xiàn)象，有效提高角點(diǎn)檢測(cè)效率。

2 圖像拼接中的融合技術(shù)

圖像融合是數(shù)字圖像處理領(lǐng)域中重要的組成部分，指的是將兩幅或多幅圖像信息融合到一張圖像上，將大量多模態(tài)的圖像與特定圖像的互補(bǔ)特征相結(jié)合的過程，提高了圖像的質(zhì)量和清晰度，更有利于人眼的識(shí)別和機(jī)器的自動(dòng)探測(cè)［15］。其目標(biāo)是在實(shí)際應(yīng)用中提高融合圖像的信息包含量，減少輸出的冗余度。圖像融合能擴(kuò)大圖像所含有的時(shí)間、空間信息，明顯的改善單一傳感器的不足，增加可靠性，改進(jìn)系統(tǒng)的魯棒性能，更為全面地獲取目標(biāo)或場(chǎng)景的信息。圖像融合廣泛應(yīng)用于軍事國(guó)防、目標(biāo)檢測(cè)和識(shí)別、機(jī)器人視覺、生物監(jiān)視和導(dǎo)航制導(dǎo)等領(lǐng)域。

圖像融合由低到高可分為3個(gè)層次：像素級(jí)融合、特征級(jí)融合和決策級(jí)融合。選擇融合的層次不同，所采用的算法也不相同，圖像融合算法是依賴于應(yīng)用的［16］。像素級(jí)融合是表示融合了從源圖像到單個(gè)圖像的與每個(gè)像素相關(guān)的視覺信息，是各級(jí)圖像融合的基礎(chǔ)，盡可能保留了圖像場(chǎng)景的原始數(shù)據(jù)，有利于對(duì)圖像的進(jìn)一步分析、處理與檢測(cè)。特征級(jí)圖像融合通過從獨(dú)立圖像中提取的融合特征，對(duì)圖像融合后特征進(jìn)行目標(biāo)識(shí)別的精確度明顯高于原始圖像。決策級(jí)圖像融合是一個(gè)更高層次的融合，并融合了由本地決策者獲得的對(duì)不同圖像的解釋。下文闡述了近年來圖像融合研究領(lǐng)域中幾種具有代表性的創(chuàng)新圖像融合方法。

Shearlet變換是一個(gè)熱門的多尺度幾何分析工具，其具有小波變換的優(yōu)點(diǎn)，包括多尺度時(shí)頻局部特性，允許各個(gè)尺度的方向分解等。將Shearlet變換引入到圖像融合中，成為近年來研究的熱點(diǎn)。結(jié)合Shearlet變換具有較好的稀疏表示圖像特征的性質(zhì)，石智［17］提出了基于Shearlet變換的自適應(yīng)圖像融合算法。精確提取圖像的細(xì)節(jié)特征是多聚焦圖像的融合算法中最重要的步驟。對(duì)不同聚焦圖像采用Shearlet正變換，通過運(yùn)算得到圖像中的高頻和低頻分量，然后對(duì)這些分量采用自適應(yīng)和區(qū)域方差的融合方法進(jìn)行融合，對(duì)得到的子圖像進(jìn)行Shearlet逆變換得到融合圖像。該方法計(jì)算量較小，能夠保持融合圖像的信息細(xì)節(jié)，不會(huì)產(chǎn)生振鈴效應(yīng)，在融合的各個(gè)方面優(yōu)于小波變換。從圖3中將多聚焦圖像的融合結(jié)果圖與左、右聚焦源圖像進(jìn)行對(duì)比，可以看出融合圖像細(xì)節(jié)部分被保持得很好，具有更高的清晰度。

圖3 不同聚焦圖像的融合結(jié)果圖Fig.3 Fusion results of different focused images

為避免小波變換圖像融合中的偽Gibbs效應(yīng)和解決圖像融合時(shí)間較長(zhǎng)的問題，徐小軍［18］提出了基于下采樣的分?jǐn)?shù)階小波變換（Fractional Wavelet Transform，F(xiàn)WT）融合方法。作者采用離散分?jǐn)?shù)階小波變換（Discrete Fractional Wavelet Transform，DFRWT）對(duì)不同灰度特征源的圖像進(jìn)行了多尺度分解，使系數(shù)分量的非稀疏性特點(diǎn)增大像素間的相關(guān)性，然后通過圖像不同特征采用不同的融合規(guī)則計(jì)算融合系數(shù)，將其通過逆DFRWT變換得到融合圖像，保證了融合效率及融合圖像質(zhì)量不受影響。DFRWT圖像融合具體流程如圖4所示，該方法增加了區(qū)域內(nèi)像素間的相關(guān)性，很好地保存了邊緣信息，并且與現(xiàn)在流行的融合算法相比，融合效率得到了提高。

圖4 DFRWT圖像融合框圖Fig.4 Flow chart of DFRWT image fusion

在基于不同小波變換的圖像融合方法中，根據(jù)融合規(guī)則在小波空間中融合源圖像數(shù)據(jù)?？紤]到源圖像的不確定性對(duì)融合圖像的影響，Prasad［19］設(shè)計(jì)了一個(gè)新型融合規(guī)則來包含大量的數(shù)據(jù)，提出了基于小波變換自適應(yīng)模糊邏輯的融合方法。在對(duì)源圖像應(yīng)用小波變換之后，通過自適應(yīng)模糊邏輯計(jì)算每個(gè)源圖像系數(shù)的權(quán)值，然后以互信息、峰值信噪比和均方誤差作為依據(jù)，通過加權(quán)平均法與處理后的權(quán)值對(duì)系數(shù)進(jìn)行融合，并獲得一個(gè)組合圖。

多模態(tài)圖像融合是一種將多模態(tài)圖像的互補(bǔ)信息融合為一幅完整圖像的有效技術(shù)，這些額外的信息不僅可以增強(qiáng)人眼的可視性，而且可以相互補(bǔ)充每個(gè)圖像的局限性。為了保留圖像的結(jié)構(gòu)信息，對(duì)源圖像進(jìn)行細(xì)化處理，Zhu［20］提出了一種基于圖像卡通紋理分解和稀疏表示的圖像融合方法。該方法將源多模態(tài)圖像分解為卡通和紋理兩部分：針對(duì)動(dòng)畫部分，提出了一種基于空間的形態(tài)結(jié)構(gòu)保存方法，利用基于能量的融合規(guī)則保存了各源圖像的結(jié)構(gòu)信息；針對(duì)紋理部分，提出了一種基于稀疏表示的方法，訓(xùn)練了具有較強(qiáng)表示能力的字典。最后，根據(jù)紋理增強(qiáng)融合規(guī)則，對(duì)融合后的動(dòng)畫和紋理部分進(jìn)行了集成。該方法在視覺和定量評(píng)價(jià)方面均優(yōu)于現(xiàn)有的方法。

Nikhil［21］提出了基于相位一致性和導(dǎo)向?yàn)V波器的圖像融合方法，將源圖像通過非下采樣輪廓波變換（Non?Subsampled Contourlet Transform，NSCT）分解為低頻和高頻子帶，然后對(duì)低頻子帶進(jìn)一步進(jìn)行處理，利用計(jì)算機(jī)提取圖像特征。在高頻NSCT子帶中提取高頻細(xì)節(jié)，并通過使用一個(gè)非常有效的引導(dǎo)濾波器來保持平滑區(qū)域的邊緣細(xì)節(jié)。最后，將逆NSCT應(yīng)用于融合的NSCT子帶，以獲得空間域的最終融合圖像。通過對(duì)不同多模態(tài)醫(yī)學(xué)傳感器采集的真實(shí)生物醫(yī)學(xué)圖像進(jìn)行實(shí)驗(yàn)，證實(shí)了該方法的有效性，及其在視覺和定量評(píng)價(jià)方面的良好表現(xiàn)。

多聚焦圖像融合在機(jī)器視覺和圖像處理領(lǐng)域中已經(jīng)成為一個(gè)具有挑戰(zhàn)性的研究方向，需要對(duì)各種圖像捕獲設(shè)備獲得的圖像進(jìn)行處理。為獲得所有物體對(duì)焦的圖像，Manchanda［22］提出基于離散模糊變換的多聚焦圖像融合算法。該融合算法使用了2個(gè)不同的規(guī)則：加權(quán)平均方法和選擇最大值規(guī)則。在離散模糊變換域進(jìn)行圖像融合，最終的融合規(guī)則使用匹配系數(shù)和方差的平方根來確定。多聚焦圖像融合流程圖如圖5所示，該算法有效地融合了部分聚焦多輸入圖像，產(chǎn)生了單一的聚焦圖像，同時(shí)性能優(yōu)于目前最新的融合算法。

圖5 多聚焦圖像融合流程圖Fig.5 Flow chart of multi-focus image fusion

Shao［23］提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像融合方法，該方法能充分提取源圖像的光譜特征和空間特征。該融合方法的創(chuàng)新之處在于包含兩個(gè)分支網(wǎng)絡(luò)，具有更深層的結(jié)構(gòu)，可以分別提取多光譜圖像和全色圖像的顯著特征。全色圖像分支中更深層次的結(jié)構(gòu)可為融合過程提供幫助，通過低分辨率和高分辨率的全色圖像之間的掩模操作來解決融合問題。利用剩余學(xué)習(xí)層學(xué)習(xí)低分辨率和高分辨率全色圖像中的剩余圖像，可以忽略冗余信息，提高全色圖像的空間分辨率。

水下光線存在嚴(yán)重的衰減和散射效應(yīng)，這種復(fù)雜性阻礙了圖像的拼接過程，造成了拼接誤差和光照不均勻。Rahul［24］提出了一種利用多幅水下圖像生成融合圖像的方法，利用Laplace金字塔混合技術(shù)克服了沿水下圖像重疊區(qū)域拼接縫的強(qiáng)度差。首先，對(duì)源圖像和目標(biāo)圖像進(jìn)行預(yù)處理后完成Gauss金字塔差分，圖像被縮小到不同的水平后使用Gauss濾波器。然后，將Gauss圖像擴(kuò)展到一個(gè)較低的層次，將擴(kuò)展后的圖像與該較低層次圖像之間的差值生成Laplace圖像。一旦兩個(gè)圖像的金字塔被生成，圖像就將組合在不同的Laplace層次上。該方法解決了水下圖像融合容易出現(xiàn)可見縫線的問題。從圖6可看出，兩幅水下圖像得到了充分縫合，且顏色分布均勻，該方法有效處理了融合區(qū)域之間的色差。

圖6 水下圖像融合結(jié)果圖Fig.6 Fusion results of underwater image

3 圖像拼接技術(shù)發(fā)展趨勢(shì)

本文總結(jié)了近年來圖像拼接技術(shù)的各種方法，并從圖像配準(zhǔn)和融合方向上的研究與應(yīng)用情況推測(cè)，圖像拼接技術(shù)會(huì)向以下4個(gè)方向?qū)崿F(xiàn)發(fā)展：

1）具有運(yùn)動(dòng)目標(biāo)的圖像拼接技術(shù)研究。傳統(tǒng)的大部分圖像拼接算法都是在靜止背景的基礎(chǔ)上拼接完成的，待拼接的圖像背景保持不變。但是，當(dāng)圖像場(chǎng)景中出現(xiàn)實(shí)質(zhì)性的運(yùn)動(dòng)物體時(shí)，大多數(shù)拼接算法在一定程度上會(huì)失敗，而結(jié)果往往包含被切割的對(duì)象或者出現(xiàn)鬼影現(xiàn)象。一些融合方法可以解決拼接具有運(yùn)動(dòng)物體的圖像后出現(xiàn)的鬼影現(xiàn)象，但是卻會(huì)丟失運(yùn)動(dòng)目標(biāo)。在現(xiàn)實(shí)中，多數(shù)環(huán)境會(huì)存在運(yùn)動(dòng)物體。為了形成高質(zhì)量的拼接結(jié)果，消除運(yùn)動(dòng)物體對(duì)拼接圖像帶來的影響，移動(dòng)的目標(biāo)對(duì)象必須得到正確的處理，這是需要深入研究的問題。

2）多視角視頻拼接技術(shù)研究。多視角視頻拼接可以應(yīng)用于視頻監(jiān)控、衛(wèi)星遙感等領(lǐng)域，能夠保證圖像原有的分辨率，并獲得目標(biāo)細(xì)節(jié)，同時(shí)實(shí)時(shí)拼接形成大視角全景圖像。多視角視頻拼接的關(guān)鍵是視頻幀圖像拼接，現(xiàn)在主要采用基于特征、特別是點(diǎn)特征的拼接算法。但是在實(shí)際應(yīng)用中，采用單一特征的拼接算法難以同時(shí)達(dá)到實(shí)時(shí)處理的速度和拼接質(zhì)量，而采用多特征算法則增加了特征值維度，使匹配難度加大，并且不能增加拼接速度。同時(shí)，視頻幀圖像拼接也存在融合的鬼影問題、視頻每幀圖像變換的畸變問題。如何實(shí)現(xiàn)高分辨率的多視角視頻拼接，提高拼接效率與質(zhì)量，是圖像拼接技術(shù)未來的發(fā)展方向。

3）三維立體圖像拼接技術(shù)研究。到目前為止，靜態(tài)圖像是構(gòu)建可視化的主要方式。由于靜態(tài)圖像所使用的角度和視點(diǎn)是固定的，所以它們大多是二維平面的?？紤]到視頻攝像機(jī)的使用，三維立體圖像拼接是一種具有多視角的建筑可視化形式，其可支持從任意角度方向觀看建筑場(chǎng)景，有利于深化對(duì)圖像的全面分析和理解。三維立體圖像拼接技術(shù)需要利用不同視角的圖像或者視頻序列，如何通過這些圖像視頻信息進(jìn)行三維立體圖像拼接，也是圖像拼接技術(shù)發(fā)展的趨勢(shì)之一。

4）自動(dòng)圖像拼接技術(shù)。通過攝像機(jī)可獲取和存儲(chǔ)大量數(shù)字圖像信息，但是這些數(shù)據(jù)的有效利用仍存在較大問題。比如，針對(duì)無人機(jī)采集的視頻，目前主要通過實(shí)時(shí)分析或錄制方式逐幀進(jìn)行分析，耗時(shí)較長(zhǎng)，操作誤差較大。于是，要求系統(tǒng)能夠?qū)D像序列按場(chǎng)景內(nèi)容自動(dòng)排序，然后進(jìn)行自動(dòng)圖像拼接，避免了圖像處理過程中的手動(dòng)干預(yù)，并能夠?qū)D像中感興趣的目標(biāo)進(jìn)行標(biāo)記和注釋。自動(dòng)圖像拼接技術(shù)也成了為圖像拼接技術(shù)的研究熱點(diǎn)。

4 結(jié)論

作為數(shù)字圖像處理領(lǐng)域中的研究重點(diǎn)和熱點(diǎn)，圖像拼接技術(shù)通過具有部分重疊的圖像序列的配準(zhǔn)和合成，實(shí)現(xiàn)了全景式的圖像創(chuàng)建，具有重要的實(shí)用價(jià)值。圖像配準(zhǔn)和圖像融合是圖像拼接過程中的重要部分。本文通過對(duì)圖像拼接技術(shù)研究成果的綜述，分析比較了圖像配準(zhǔn)和圖像融合方法的國(guó)內(nèi)外發(fā)展趨勢(shì)及優(yōu)缺點(diǎn)，最后展望了該領(lǐng)域的未來發(fā)展趨勢(shì) （包括具有運(yùn)動(dòng)目標(biāo)的圖像拼接技術(shù)、多視角視頻拼接技術(shù)、三維立體圖像拼接技術(shù)和自動(dòng)圖像拼接技術(shù)），為深入研究圖像拼接技術(shù)提供了參考。