宮妍 位沖沖

摘要：圖像拼接技術(shù)是數(shù)字圖像處理領(lǐng)域的一個(gè)重要分支，作為合成全景圖像的工具，近年來(lái)得到迅速發(fā)展，得到了越來(lái)越多的研究者的關(guān)注，也成為當(dāng)前圖形圖像學(xué)的研究熱點(diǎn)。本文介紹了圖像拼接的關(guān)鍵技術(shù)研究流程，包括圖像采集與獲取、圖像預(yù)處理、圖像配準(zhǔn)、圖像融合等。詳細(xì)介紹了圖像配準(zhǔn)和圖像融合的幾種基本方法，對(duì)各種算法進(jìn)行比較分析。并總結(jié)了圖像拼接技術(shù)的發(fā)展趨勢(shì)以及當(dāng)前存在的一些難題。

關(guān)鍵詞：圖像拼接;圖像配準(zhǔn);圖像融合;特征匹配;模板匹配;邊緣匹配;SIFT;最佳拼接線(xiàn);圖割算法

中圖分類(lèi)號(hào)：TP18? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）30-0106-03

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

圖像拼接技術(shù)是集計(jì)算機(jī)視覺(jué)、圖像處理等多個(gè)學(xué)科、多領(lǐng)域應(yīng)用的綜合處理技術(shù)，主要用于獲取多視角圖像和視頻。圖像拼接技術(shù)是近年來(lái)圖像處理技術(shù)領(lǐng)域的研究熱點(diǎn)，深入研究圖像拼接技術(shù)具有重要的實(shí)際意義與工程應(yīng)用前景[1]。

在軍事領(lǐng)域中，圖像拼接技術(shù)在紅外預(yù)警、軍事監(jiān)測(cè)等領(lǐng)域具有巨大的作用。在航空航天領(lǐng)域[2]中，通過(guò)圖像拼接技術(shù)獲取宇宙空間場(chǎng)景的全貌圖，從而精確進(jìn)行目標(biāo)場(chǎng)景的定位，精確探測(cè)定位等。在醫(yī)學(xué)領(lǐng)域中，醫(yī)生在內(nèi)窺鏡中使用多個(gè)攝像頭，多角度進(jìn)行同時(shí)拍攝患處，快速準(zhǔn)確地掌握手術(shù)進(jìn)展情況，提高手術(shù)的成功率。在視頻監(jiān)控領(lǐng)域中，美國(guó)賓夕法尼亞大學(xué)研制多個(gè)全景視覺(jué)目標(biāo)探測(cè)和環(huán)境感知系統(tǒng)，可以用于多目標(biāo)遠(yuǎn)距離跟蹤。

1 圖像拼接關(guān)鍵技術(shù)及流程

圖像拼接技術(shù)的基本流程為：圖像采集與獲取、圖像預(yù)處理、圖像配準(zhǔn)、圖像融合等 [3-4]。

（1）圖像獲取指使用各類(lèi)圖像采集設(shè)備進(jìn)行圖像采集和獲取。方式有平移式獲取、旋轉(zhuǎn)式獲取、手持式獲取等。

（2）圖像預(yù)處理，是圖像配準(zhǔn)前的預(yù)備工作，消除影響圖像配準(zhǔn)精度的無(wú)關(guān)信息，提升圖像配準(zhǔn)效率。圖像預(yù)處理包括圖像去噪、幾何校正、均勻顏色等[5]。

（3）圖像配準(zhǔn)是將多幅圖像進(jìn)行匹配、疊加的過(guò)程。圖像配準(zhǔn)的精度十分重要，因此算法既要保證配準(zhǔn)精度，又不能計(jì)算量過(guò)大。應(yīng)當(dāng)能夠估計(jì)待拼接圖像之間可能存在的縮放、旋轉(zhuǎn)、仿射變換、投影變換以及亮度和顏色等變化[6]。

（4）圖像融合，是由于進(jìn)行圖像配準(zhǔn)操作，可能由于算法誤差累積、色彩差異等原因，導(dǎo)致圖像出現(xiàn)拼接縫隙，以及整幅圖像的顏色亮度差異[7]。因此在圖像配準(zhǔn)處理后需要進(jìn)行圖像融合處理，矯正差異，消除縫隙，才能使拼接的圖像更加自然。

2 圖像配準(zhǔn)技術(shù)

圖像配準(zhǔn)是圖像拼接技術(shù)中的核心和關(guān)鍵技術(shù)。目前，成熟的圖像配準(zhǔn)的方法很多，需根據(jù)實(shí)際應(yīng)用需求及應(yīng)用環(huán)境決定，同時(shí)需考慮圖像間的幾何模型、噪聲干擾、配準(zhǔn)精度和效率、是否能達(dá)到實(shí)時(shí)性要求等各種問(wèn)題，選擇合適的圖像配準(zhǔn)技術(shù)方案。本文介紹幾種較為成熟的配準(zhǔn)方法。

2.1基于模板匹配方法

基于模板匹配方法是基于空間域的圖像配準(zhǔn)方法，要求有兩幅圖像的重疊部分，選擇參考圖像的一塊矩形區(qū)域作為配準(zhǔn)時(shí)的模板，并利用這塊模板在待配準(zhǔn)圖像中平移，去搜索相似的區(qū)域。當(dāng)找到了與模板相對(duì)應(yīng)的區(qū)域之后，計(jì)算這兩塊相同區(qū)域之間的相關(guān)系數(shù)。當(dāng)搜索到不同區(qū)域時(shí)，計(jì)算不同的相關(guān)系數(shù)，當(dāng)某一區(qū)域系數(shù)達(dá)到最大時(shí)，就是我們要找的最佳配準(zhǔn)位置。模板匹配法操作簡(jiǎn)單，有較高的配準(zhǔn)精度。但由于這種基于灰度的配準(zhǔn)算法，利用的是圖像之間的灰度信息來(lái)進(jìn)行的匹配，不需要對(duì)圖像進(jìn)行特征檢測(cè)與提取一系列操作，所以使用起來(lái)效率很高。該算法對(duì)圖像的灰度信息非常依賴(lài)，要求圖像不能含有較大噪聲、旋轉(zhuǎn)、尺度縮放等問(wèn)題，所以使用范圍很窄。

2.2基于邊緣匹配方法

基于邊緣特征進(jìn)行圖像配準(zhǔn)，有兩個(gè)重要環(huán)節(jié)，即邊緣特征點(diǎn)的提取和相似性度量。具體方法為：選擇合適的圖像區(qū)域作為配準(zhǔn)子圖，并對(duì)該圖進(jìn)行特征點(diǎn)的提取?？蓵?huì)用到小波多尺度積的思想，能夠盡量避免噪聲的影響。所提取的特征點(diǎn)可以有效保留邊緣特征點(diǎn)的方向信息。

常用的邊緣檢測(cè)算子有羅伯特交叉（Robert cross）邊緣檢測(cè)算子、Sobel算子、Kirsch算子、拉普拉斯算子和Canny算子等。

2.3基于特征匹配方法

基于特征的匹配算法主要原理是從待配準(zhǔn)的圖像中提取特定的特征集作為控制結(jié)構(gòu)，利用其之間的對(duì)應(yīng)關(guān)系來(lái)進(jìn)行配準(zhǔn)[8]。其中基于特征點(diǎn)的匹配方法在解決圖像尺度不變、透視不變性具有一定的優(yōu)勢(shì)，并且具有一定的魯棒性和穩(wěn)定性。本文介紹基于SIFT特征提取的方法。

基于SIFT的配準(zhǔn)算法主要步驟如下：

（1）探測(cè)尺度空間極值點(diǎn)，確定關(guān)鍵

的位置和所在尺度[9]

二維函數(shù)的尺度空間和高斯核函數(shù)[10]有關(guān)，可表示為

[Lx，y，σ=Gx，y，σ*Ix，y]? ? ? ? ? ? ? ? ? ? ? ? ?（1）

與其他特征提取算法不同，SIFT算法將DoG算子定義為兩個(gè)不同尺度的高斯核的差分：

（2）精確定位關(guān)鍵點(diǎn)的位置和尺度，并將對(duì)比度較低的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)予以剔除。

（3）為特征關(guān)鍵點(diǎn)分配主方向

利用領(lǐng)域像素的梯度分布特性為關(guān)鍵點(diǎn)指定參數(shù)，同時(shí)要使算子的旋轉(zhuǎn)方向性不變[12]，計(jì)算公式如下：

[mx，y=Lx+1，y-Lx-1，y2+Lx，y+1-Lx，y-12 ]

（2）

[θx，y=tan-1Lx，y+1-Lx，y-1Lx+1，y-Lx-1，y]? ?（3）

（4）生成關(guān)鍵點(diǎn)描述子

將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點(diǎn)的主方向，并以關(guān)鍵點(diǎn)為中心構(gòu)造16×16的區(qū)域，從而使一個(gè)關(guān)鍵點(diǎn)就產(chǎn)生128個(gè)數(shù)據(jù)，并形成128維的SIFT特征向量。

（5）將兩幅待匹配圖像分別得到的SIFT特征向量進(jìn)行匹配，得到所需的SIFT匹配點(diǎn)對(duì)。

（6）根據(jù)得到的SIFT匹配點(diǎn)對(duì)計(jì)算出圖像的變換參數(shù)

圖像配準(zhǔn)的方法很多，目前較為常用的仍是特征匹配法。特征匹配法也在不斷進(jìn)步和發(fā)展，除了本文具體介紹的方法外，還包括SURF特征算子、Brand特征算子、ORB特征算子等方法。同時(shí)，隨著深度學(xué)習(xí)理論進(jìn)展，也有很多采用卷積神經(jīng)網(wǎng)絡(luò)的新型圖像配準(zhǔn)方法，對(duì)圖像拼接技術(shù)發(fā)展起到了推動(dòng)作用。

3 圖像融合技術(shù)

圖像融合是圖像拼接的關(guān)鍵技術(shù)之一。由于拼接過(guò)程中圖像之間存在著曝光差異、配準(zhǔn)方法和幾何變換方法的不精確等問(wèn)題，導(dǎo)致拼接后的圖像會(huì)出現(xiàn)亮度、顏色不均、出現(xiàn)鬼影現(xiàn)象以及拼接縫等，是圖像拼接過(guò)程中必須解決的關(guān)鍵問(wèn)題[12]。經(jīng)典的直接平均融合方法、加權(quán)平均法等能進(jìn)行基本的圖像拼接融合處理，但是對(duì)彩色圖像的無(wú)縫拼接和運(yùn)動(dòng)物體的鬼影現(xiàn)象[11]并不適用。本文介紹的最優(yōu)拼接線(xiàn)尋優(yōu)和基于能量譜的最佳拼接線(xiàn)搜尋法和圖割方法尋優(yōu)等算法來(lái)解決拼接圖像信息不連續(xù)、顏色差異、鬼影等問(wèn)題。

3.1基于能量譜的最佳拼接線(xiàn)搜尋

基于能量譜進(jìn)行最優(yōu)拼接線(xiàn)搜尋的技術(shù)，其本質(zhì)是圖像梯度譜的結(jié)合，用結(jié)構(gòu)和特征譜來(lái)確定圖像區(qū)域的顯著特征?；谀芰孔V的最優(yōu)拼接線(xiàn)的搜尋方法，能夠?qū)D像中的突出對(duì)象進(jìn)行自動(dòng)感知，從而能夠消除鬼影和失真。

（1）初步檢測(cè)：首先，我們粗略地確定顯著值，通過(guò)對(duì)所輸入圖像每個(gè)像素的矢量值的平均實(shí)驗(yàn)室矢量的Euclidean距離進(jìn)行估計(jì)，公式如下：

[Etent=Gμ-Gx，y]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（4）

其中[Gx，y]是輸入圖像，[Gμ]是圖像的所有實(shí)驗(yàn)室像素矢量的平均值，[Etentx，y]是位置[x，y]的像素顯著點(diǎn)，我們使用Lab空間而不是RGB空間，是因?yàn)镽GB空間不考慮顏色的亮度，而且Lab空間具有接近人類(lèi)視覺(jué)和追求感知一致性的優(yōu)勢(shì)。當(dāng)[Etentx，y>T]時(shí)（閾值），我們施加標(biāo)記，表示的是該像素可能是顯著像素，因?yàn)樗谡麄€(gè)圖像中與其他像素之間保持很大的距離。

（2）圓形掃描：第二階段，初步檢測(cè)是基于整個(gè)圖像的全局對(duì)比度。在這個(gè)階段，我們所決定的顯著像素點(diǎn)，是基于一個(gè)圖像區(qū)域和相對(duì)于它的鄰域的局部對(duì)比。因此，我們定義了一個(gè)像素為原點(diǎn)[OX，Y]，指定其鄰域?yàn)橐粋€(gè)圓形區(qū)域，半徑為[r]。其鄰域?yàn)閇2r+1×2r+1]的實(shí)際方框區(qū)域。原點(diǎn)[O]的顯著值被估計(jì)為：

[EiproO=Nrμ-vo，i∈1，2，3]? ? ? ? ? ? ? ? ? ? ? （5）

其中[Nrμ]表示在Lab空間內(nèi)，相鄰像素的以r為半徑的圓形區(qū)域的平均向量的值。[vo]表示原點(diǎn)的向量值。[EiproO]仍是由Euclidean距離測(cè)量的范數(shù)。參數(shù)[i]表示的是在這個(gè)測(cè)量范圍內(nèi)的像素顯著值。

3）顯著點(diǎn)求和與最優(yōu)拼接線(xiàn)搜尋：對(duì)于一個(gè)輸入圖像的像素，寬度[w]和高度[h]，半徑為[r]的圓形掃描被改為：[w16≤r≤w4]。假設(shè)[w]小于[h]（否則我們將選擇[h]為半徑），我們?cè)谌N量度范圍內(nèi)執(zhí)行掃描，半徑分別為[w4，w8，w16]。最終，我們得到的顯著譜[Gprom]，是由三種量度下的特征點(diǎn)顯著值的總和獲得的。

改進(jìn)的能量譜技術(shù)實(shí)質(zhì)上是相應(yīng)的逐像素的梯度值和顯著值得總和，目標(biāo)是尋找一個(gè)低能量的路徑作為我們的拼接線(xiàn)，并可以采用貪婪算法來(lái)減少計(jì)算量。

3.2基于圖割的最佳拼接線(xiàn)搜尋

在圖像拼接系統(tǒng)中，兩幅待拼接圖像，利用基于圖割算法尋找到最佳拼接線(xiàn)的方法，可以將圖像間重疊區(qū)域的圖像像素點(diǎn)視為圖結(jié)構(gòu)中的節(jié)點(diǎn)。根據(jù)最佳拼接線(xiàn)的定義，就是在圖像的重疊區(qū)域內(nèi)，尋找一條能夠精準(zhǔn)、有效連接兩幅圖像的、使其實(shí)現(xiàn)無(wú)縫拼接的線(xiàn)。則將最佳拼接線(xiàn)尋優(yōu)問(wèn)題轉(zhuǎn)化為圖割理論中的尋找最優(yōu)節(jié)點(diǎn)連接帶權(quán)限問(wèn)題。

因此，我們?cè)O(shè)定將兩幅圖像的重疊區(qū)域構(gòu)建成一個(gè)圖結(jié)構(gòu)。如何定義帶權(quán)線(xiàn)是構(gòu)建圖結(jié)構(gòu)過(guò)程中的關(guān)鍵。能量函數(shù)取決于帶權(quán)線(xiàn)的定義。拼接線(xiàn)尋優(yōu)也就是該能量函數(shù)的最小化過(guò)程。

在初始化階段，利用基準(zhǔn)圖像來(lái)構(gòu)建初始圖。分別從基準(zhǔn)圖和待拼接圖中生成該圖結(jié)構(gòu)。即拼接線(xiàn)定義中的重疊區(qū)域分別來(lái)自基準(zhǔn)圖像和待拼接圖像。

利用能量函數(shù)公式來(lái)計(jì)算圖的總能量，進(jìn)行算法的迭代最小化，并重新計(jì)算替換后的圖的總能量[12]。如果能量增加，則恢復(fù)[p]節(jié)點(diǎn)的能量值;如果能量減少，則采用替換后的可選源的節(jié)點(diǎn)作為結(jié)果圖中的節(jié)點(diǎn)。循環(huán)迭代最小化能量函數(shù)，保留能量最小值的節(jié)點(diǎn)。從而得到最終能量最小化結(jié)果，劃分可選源的最小能量值分割線(xiàn)就是最優(yōu)拼接線(xiàn)，而分割結(jié)果圖就是圖像拼接的結(jié)果。

能量函數(shù)的數(shù)據(jù)項(xiàng)定義是為了考察拼接線(xiàn)節(jié)點(diǎn)是否落在重疊區(qū)域內(nèi)。如果該節(jié)點(diǎn)屬于重疊區(qū)域，數(shù)據(jù)項(xiàng)為0，即不影響能量函數(shù)值;如果該節(jié)點(diǎn)不屬于重疊區(qū)域內(nèi)，則能量函數(shù)數(shù)據(jù)項(xiàng)值將為[+∞]，即能量函數(shù)值逼近無(wú)窮大，不符合能量最小化的要求。從而確保該拼接線(xiàn)定位于兩幅圖像間的重疊區(qū)域內(nèi)。平滑項(xiàng)采用Sobel濾波器來(lái)進(jìn)行邊緣提取，基于圖像邊緣的平滑項(xiàng)定義能夠克服一定程度上的拼接縫隙，因此可以進(jìn)一步優(yōu)化圖像拼接線(xiàn)。

4 圖像拼接技術(shù)發(fā)展趨勢(shì)

圖像拼接技術(shù)近年來(lái)得到不斷發(fā)展、進(jìn)步。但由于圖像種類(lèi)繁多，尺寸、光線(xiàn)、拍攝環(huán)境等復(fù)雜多變，所以目前尚未有一種算法可以適用所有的情況，所以在算法上研究人員通常會(huì)將不同的算法結(jié)合來(lái)提高效率，或者會(huì)在原算法的基礎(chǔ)上進(jìn)行改進(jìn)。

圖像拼接技術(shù)的未來(lái)還需要更多的人來(lái)做更大量、更深入和更仔細(xì)的研究工作。本文根據(jù)圖像配準(zhǔn)與圖像融合的研究和應(yīng)用情況推測(cè)，未來(lái)圖像拼接技術(shù)會(huì)向以下幾個(gè)方向發(fā)展：

（1）機(jī)器視覺(jué)技術(shù)逐步應(yīng)用在圖像拼接技術(shù)中。目前這一技術(shù)發(fā)展成熟，在現(xiàn)代控制生產(chǎn)中實(shí)現(xiàn)智能化、非接觸化、快速化的全景視角圖像拼接、處理。未來(lái)圖像拼接技術(shù)將與機(jī)器視覺(jué)更緊密地相結(jié)合，可推進(jìn)圖像拼接技術(shù)在工業(yè)場(chǎng)景中的應(yīng)用[13]。

（2）深度學(xué)習(xí)理論的發(fā)展，為圖像拼接技術(shù)的發(fā)展提供了一種全新的思路。為克服對(duì)圖像手動(dòng)提取特征時(shí)的局限性，可利用深度學(xué)習(xí)模型從圖像中自動(dòng)提取有效特征，通過(guò)其特征學(xué)習(xí)能力，對(duì)參數(shù)、模型和架構(gòu)進(jìn)行有效調(diào)整，建立一種表征能力更強(qiáng)的特征檢測(cè)網(wǎng)絡(luò)，可提高拼接在一些較復(fù)雜環(huán)境下的性能，使匹配準(zhǔn)確，魯棒性強(qiáng)，拼接后的圖像觀(guān)感自然，覆蓋面比較廣[14]。

（3）自動(dòng)圖像拼接技術(shù)。針對(duì)視頻拍攝的圖像來(lái)說(shuō)，信息且容易受到角度、光照和尺度等變化影響，采集的視頻要通過(guò)逐幀分析，耗時(shí)且操作誤差較大，因此需要實(shí)現(xiàn)圖像自動(dòng)拼接、排序，進(jìn)而大大提高圖像拼接效率。自動(dòng)圖像拼接技術(shù)也因此成為圖像拼接技術(shù)的研究熱點(diǎn)，從提高拼接速度與效率出發(fā)，可從研究不需進(jìn)行大量圖像預(yù)處理的算法入手。

5 結(jié)論

本文介紹了圖像拼接關(guān)鍵技術(shù)的基本算法和實(shí)現(xiàn)流程，包括圖像采集與獲取、圖像預(yù)處理、圖像配準(zhǔn)、圖像融合等。并重點(diǎn)介紹了其中最關(guān)鍵的圖像配準(zhǔn)與圖像融合技術(shù)。詳細(xì)介紹圖像配準(zhǔn)的幾種基本方法，并進(jìn)行比較分析。在圖像融合方面，介紹了基于能量譜的最佳拼接線(xiàn)尋優(yōu)算法以及基于圖割的圖像融合方法。最后分析了圖像拼接技術(shù)存在的一些問(wèn)題以及未來(lái)的發(fā)展趨勢(shì)，隨著社會(huì)的發(fā)展，計(jì)算機(jī)性能逐漸提高，圖像拼接技術(shù)無(wú)疑將會(huì)有更進(jìn)一步的發(fā)展。

參考文獻(xiàn)：

[1] 吳芳青，楊揚(yáng)，潘安寧，等.利用混合特征的多視角遙感圖像配準(zhǔn)[J].中國(guó)圖象圖形學(xué)報(bào)，2017，22（8）：1154-1161.

[2] 董帥.基于改進(jìn)ORB的圖像拼接算法[D].長(zhǎng)沙：湖南師范大學(xué)，2019.

[3] 龐榮，來(lái)林靜，張磊.網(wǎng)格驅(qū)動(dòng)的雙向圖像拼接算法[J].計(jì)算機(jī)科學(xué)，2020，47（3）：130-136.

[4] 張超.基于局部特征的圖像配準(zhǔn)算法及應(yīng)用研究[D].北京：北京理工大學(xué)，2015.

[5] 姚楠，蔡越，余勁.高空遠(yuǎn)距離多目標(biāo)視覺(jué)跟蹤模型優(yōu)化仿真[J].計(jì)算機(jī)仿真，2014，31（8）：427-431.

[6] 何佳華.基于改進(jìn)SIFT的柱面全景圖像拼接算法研究[D].綿陽(yáng)：西南科技大學(xué)，2018：5-15.

[7] 張翔，王偉，肖迪.基于改進(jìn)最佳縫合線(xiàn)的圖像拼接方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2018，39（7）：1964-1970.

[8] 高金璐.戈壁背景下的圖像配準(zhǔn)與拼接技術(shù)研究[D].長(zhǎng)沙：國(guó)防科學(xué)技術(shù)大學(xué)，2015.

[9] 熊苗苗，王鵬，郜輝，等.基于SIFT算法的圖像拼接技術(shù)[J].數(shù)字技術(shù)與應(yīng)用，2016（11）：129-130.

[10] 張少玉.基于SIFT特征點(diǎn)的點(diǎn)云配準(zhǔn)方法[J].計(jì)算機(jī)與數(shù)字工程，2018，46（3）：449-453.

[11] 張敏.基于多視域廣角相機(jī)視頻圖像拼接技術(shù)研究[D].長(zhǎng)春：中國(guó)科學(xué)院研究生院（長(zhǎng)春光學(xué)精密機(jī)械與物理研究所），2016.

[12] Zhu Z，Lu J M，Wang M X，et al.A comparative study of algorithms for realtime panoramic video blending[J].IEEE Transactions on Image Processing，2018，27（6）：2952-2965.

[13] 羅順元，蒼巖，喬玉龍.一種改進(jìn)的最佳縫合線(xiàn)算法[J].應(yīng)用科技，2019，46（6）：1-5.

[14] 李小雨.全景圖像拼接的關(guān)鍵技術(shù)研究及實(shí)現(xiàn)[D].上海：華東師范大學(xué)，2017.

【通聯(lián)編輯：唐一東】