羅順元，蒼巖，喬玉龍

哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱 150001

圖像拼接技術(shù)即通過校準(zhǔn)融合，拼接若干存在重疊區(qū)域且視角和色彩差異不大的圖像，從而獲得高分辨率的全景圖像。應(yīng)用這種技術(shù)可以消除傳統(tǒng)相機成像中高分辨率和廣視角不可兼得的弊端[1]。憑借這一優(yōu)勢，該技術(shù)已廣泛應(yīng)用于現(xiàn)代研究的多個領(lǐng)域，不僅與人們的生活息息相關(guān)，也為科學(xué)研究和生產(chǎn)實踐帶來了便利。

圖像拼接主要分為圖像采集、圖像預(yù)處理、圖像配準(zhǔn)和圖像融合4個步驟，其中關(guān)鍵步驟為圖像配準(zhǔn)和圖像融合[2]。在圖像采集過程中，獲得的圖像中往往存在運動中的物體，這就造成了圖像拼接過程中運動物體的撕裂或重疊，即鬼影現(xiàn)象和重影現(xiàn)象。針對這一問題，1998年，ML Duplaquet等[3]提出了最佳縫合線算法，該算法應(yīng)用動態(tài)規(guī)劃的思想，使縫合接縫避開運動物體，有效地減輕鬼影、重影現(xiàn)象，但是該算法沒有對圖像之間的色彩差異進行處理，存在明顯的拼接接縫。近年來，國內(nèi)外研究者在這一問題上做了大量工作。2012年，黨建武等[4]通過對特征點進行加權(quán)，使縫合線優(yōu)先通過特征點區(qū)域，但其算法的魯棒性不佳，對于配準(zhǔn)誤差較大的圖像融合效果較差。2013年，Gao等[5]提出一種接縫對比的方法，該方法首先估計待拼接圖像間的多個變換模型，然后在每個模型中各獲得一條最佳拼接接縫，最后對比所有接縫與源圖像中同一區(qū)域的相似度，從而得到最佳變換模型和最佳縫合線，這種方法有效地解決了圖像拼接過程中因變換模型選取不當(dāng)帶來的誤差，但算法本身計算量大，效率不高。其后，瞿中等[6]提出在最佳縫合線兩側(cè)使用加權(quán)平均的圖像融合算法，這種方法在一定程度上降低了拼接接縫問題，但其算法魯棒性不佳。2018年，張翔等[7]將局部信息權(quán)重引入最佳縫合線搜索規(guī)則中，并使用自適應(yīng)權(quán)值的加權(quán)融合方法對圖像的重疊區(qū)域進行融合，在兩圖拼接應(yīng)用中取得了良好的拼接效果，但在存在多種色彩差異的圖像拼接中表現(xiàn)較差。針對最佳縫合線算法中存在的拼接接縫問題，提出一種改進算法，經(jīng)實驗驗證，該算法能夠有效解決拼接中存在的接縫問題，提高圖像拼接質(zhì)量。

1 最佳縫合線算法

最佳縫合線算法通過在圖像的重疊區(qū)域?qū)ふ易罴呀涌p，能夠有效地消除動態(tài)融合場景中的鬼影、重影現(xiàn)象。最佳縫合線算法中的最佳接縫指的是兩幅圖像中重疊區(qū)域顏色差異最小且?guī)缀谓Y(jié)構(gòu)最相近的連續(xù)像素點的集合[2]。最佳接縫可以避開圖像重疊區(qū)域中的運動物體和色彩差異較大的區(qū)域，從而消除傳統(tǒng)拼接方法中出現(xiàn)的鬼影和重影問題。

1）以重疊區(qū)域圖像第1行為起始，每一個點都作為本列的始點，至上而下進行遍歷，每一列都生成一條縫合線；

3）比較求得的3個差異強度值，選擇強度值最小的點為下一個落在縫合線上的點，兩點之間的連線即為縫合線路徑，其強度值即為本段縫合線強度值，依次類推直到最后一行；

4）將每條縫合線各段路徑差異強度值相加，并比較所有路徑的差異強度和大小，強度和最小的路徑即為最佳縫合線。

最佳縫合線的搜索過程如圖1所示。

圖1 最佳縫合線搜索流程示意

得到最佳縫合線后，將縫合線兩側(cè)的像素值分別置為0和1，即可得到圖像的拼接掩模。結(jié)合拼接掩模，使用圖像融合算法得到拼接圖像。

2 多頻段融合算法

多頻段融合算法能夠消除圖像中的色彩過渡不自然現(xiàn)象，算法基本思想是將圖像進行多尺度分解，根據(jù)不同的尺度算子來融合權(quán)重，使用獲得的不同權(quán)重進行融合[9]。相比簡單的線性混合方法會對圖像產(chǎn)生模糊，多頻段融合算法對圖像的處理是在不同尺度域中進行的，通過在不同尺度下使用不同權(quán)重進行圖像融合，使得融合過程中能夠保留更多的細節(jié)信息，避免了圖像細節(jié)的丟失，從而獲得高質(zhì)量圖像。

在多頻段融合中，首先對待融合圖像進行下采樣，并與高斯核進行卷積得到圖像的高斯金字塔，高斯金字塔圖層計算公式為：

高斯金字塔相鄰圖像層進行差分即可得到圖像的拉普拉斯金字塔，拉普拉斯金字塔圖層計算公式為

將融合后的拉普拉斯金字塔進行逆向重構(gòu)，重構(gòu)步驟如下：

1）設(shè)拉普拉斯金字塔層數(shù)為i，選取高斯金字塔頂層的圖像為源圖像；

2）將源圖像上采樣，上采樣結(jié)果尺度與第i層高斯金字塔的尺度保持一致，并進行平滑處理；

3）平滑后的圖像與拉普拉斯金字塔第i 層圖像相加得到新的源圖像，且；

4）重復(fù)步驟 2）、3）；

3 改進的最佳縫合線算法整體流程

由于最佳縫合線算法自身具有較強的魯棒性，在求取最佳縫合線之前，將圖像進行下采樣，將圖像變換到小尺度空間下，然后求得圖像的最佳縫合線掩膜，對掩膜上采樣即可得到原尺度下的拼接掩膜，依據(jù)拼接掩膜拼接圖像，這種改進可以大大減少搜索縫合線耗時，提高程序運行效率。

在最佳縫合線的后級使用多頻段融合算法，將拼接圖像在不同頻段內(nèi)進行加權(quán)融合處理，消除拼接接縫，得到最終的拼接輸出。

算法的具體流程如圖2所示。

圖2 改進的最佳縫合線算法整體流程

4 測試結(jié)果及分析

在 Windows10系統(tǒng)、Intel Corei7-6700HQ、內(nèi)存16 GB的計算機上，程序編譯軟件為Visual Studio2017，使用opencv2.4.13作為外部庫進行測試。

在本次實驗中，使用3組測試圖像進行算法性能測試，測試圖分別來自O(shè)pencv官方圖像拼接項目和人工使用手機拍攝。

第1組測試圖像為課本，源圖像如圖3所示，圖像間整體的色彩差異不大，但光心在實際場景中的位置不同。

圖3 測試組 1 (課本)

對源圖像做拼接處理，本文算法與文獻[6]算法輸出結(jié)果對比如圖4所示。

圖4 測試組1本文算法與文獻[6]算法輸出結(jié)果對比

結(jié)果可以看出，當(dāng)圖像色彩差異不大時，本文算法與文獻[6]算法輸出效果接近一致，拼接輸出圖像中并無明顯接縫。

第2組測試圖像內(nèi)容為公園場景，2個圖像草地中影子存在明顯的光照差異，源圖像如圖5所示。其中源圖像1較源圖像2的下方陰影處更亮。

圖5 測試組 2 (公園場景)

使用文獻[6]中方法得到的拼接輸出圖像如圖6（a）所示。圖中方框標(biāo)記處為未能完全消除的接縫，接縫兩側(cè)影子光照強度仍存在過渡不自然。圖6（b）為本文算法輸出結(jié)果，原本存在于文獻[6]中的接縫問題得到了改善，輸出圖像更加平滑。

圖6 測試組2本文算法與文獻[6]算法輸出結(jié)果對比

圖7 測試組 3 (實驗室場景)

第3組為多圖像拼接測試，拍攝內(nèi)容為實驗室場景，源圖像之間存在不同程度的色彩差異，所使用的源圖像如圖7所示。其中源圖像2、4、6、9與其他圖像之間存在不同程度的色彩差異。

使用文獻[6]算法和本文算法分別對圖像進行拼接處理，得到的拼接結(jié)果如圖8所示。從結(jié)果中可以看出，如圖8（a）所示，由于文獻[6]算法在圖像融合步驟中采用加權(quán)融合的方法，這種方法在多種失真并存的應(yīng)用場景中效果不佳，由于源圖像中存在不同程度色溫差異，文獻6拼接結(jié)果的圖像方框標(biāo)記區(qū)域出現(xiàn)了較為明顯的色差，在色差過渡處有明顯的拼接接縫，而本文算法結(jié)果中拼接效果得到了明顯改善，圖像接縫處顏色過渡更加平滑。

圖8 測試組3本文算法與文獻[6]算法輸出結(jié)果對比

為了更加客觀地驗證本文算法，采用主觀打分與圖像客觀質(zhì)量評價算法評估結(jié)合的方式對本文算法結(jié)果圖像進行評價，并將評價結(jié)果與文獻[6]算法進行比較。主觀打分部分由12名參與者對3組測試圖像進行打分，并將平均得分作為該圖像的主觀質(zhì)量得分[10]，打分區(qū)間為0~10分；客觀評價部分采用基于特征映射的無參考圖像質(zhì)量評估算法（feature maps based referenceless image quality evaluation engine，F(xiàn)RIQUEE）對圖像進行評價[11]，這種評價模型利用廣義高斯模型和非對稱廣義高斯模型共同作用，提取包括亮度域、高斯差分域、拉普拉斯域和小波域在內(nèi)的多種變換域特征，其特征描述高達560維，能夠?qū)Ω鞣N失真進行響應(yīng)，相較于傳統(tǒng)的基于信息熵和互相關(guān)性的方法有著更加全面的評價效果[12]，該模型的打分區(qū)間為0~100分。測試結(jié)果如表1所示。

表1 拼接圖像質(zhì)量評價結(jié)果表

從結(jié)果中可以看出：在2幅圖像拼接場景中，測試組1中，當(dāng)兩圖像色彩差距不大時，本文算法與文獻[6]算法性能差距不大；測試組2中，當(dāng)兩圖像存在較大色彩差異時，本文算法較文獻[6]算法拼接時間延長12.20%，在主觀得分上提升30.06%，客觀得分提升1.10%。在多幅圖像拼接場景中，測試組3結(jié)果顯示，本文算法較文獻[6]算法速度延長5.30%，在主觀得分上提升20.04%，客觀得分提升1.86%。綜合來看，本文算法在運行速度上與文獻[6]算法相仿，在輸出圖像的質(zhì)量上有明顯提升。

5 結(jié)論

1）傳統(tǒng)的最佳縫合線算法中采用的加權(quán)平均算法能夠減弱色彩差異對拼接質(zhì)量的影響，但由于算法本身普適性差，所以在多圖像拼接應(yīng)用中不能得到良好效果。本文通過引入多頻段融合算法，對最佳縫合線算法進行了改進，改進算法能夠解決最佳縫合線算法中由于源圖像色彩差異導(dǎo)致的接縫問題。

2）本文進行了3組具有代表性的測試。通過2組兩圖拼接測試和1組多圖拼接測試，反映了在不同應(yīng)用場景下，較文獻[6]算法，本文算法有著更好的拼接效果。

3）通過主客觀結(jié)合的圖像質(zhì)量評價對測試結(jié)果進行評估。結(jié)果顯示，本文算法較文獻[6]算法主觀評分最大可提升30.06%，客觀評分最大提升1.86%；在運行速度上，本文算法與文獻[6]算法相當(dāng)，算法耗時最大增量為12.20%。由此可見，本文提出的改進算法有效地解決了接縫問題，可以實現(xiàn)高質(zhì)量和高效率的圖像拼接。