呂　楠，茍永剛，龍　川，張　婕

（1.重慶市地理信息云服務(wù)企業(yè)工程技術(shù)研究中心，重慶400020；2.重慶數(shù)字城市科技有限公司，重慶400020；3.重慶市勘測院，重慶400020）

多相機圖像拼接勻色算法

呂楠1，茍永剛2，龍川2，張婕3

（1.重慶市地理信息云服務(wù)企業(yè)工程技術(shù)研究中心，重慶400020；2.重慶數(shù)字城市科技有限公司，重慶400020；3.重慶市勘測院，重慶400020）

多相機圖像拼接中存在的亮度和色彩不均勻的現(xiàn)象嚴重影響著拼接圖像的視覺效果。本文針對全景圖像拼接過程中多幅圖像之間的亮度和色彩差異問題，提出了一種多相機圖像拼接勻色算法，該算法先從局部出發(fā)對單幅圖像進行亮度調(diào)整，再從全局角度對待拼接圖像進行顏色校正，最終獲得亮度和色彩一致的全景圖像。試驗結(jié)果表明，該方法能較好地減少甚至消除拼接圖像間的亮度和色彩差異，較好地改善全景圖像的視覺效果。

勻色算法；全景圖像；顏色空間

隨著計算機技術(shù)和圖像處理技術(shù)的不斷發(fā)展，多相機圖像拼接技術(shù)得到了越來越廣泛的應(yīng)用，如測繪遙感、軍事安防、虛擬現(xiàn)實、全景地圖等［1-3］。多相機圖像拼接一般需要多部攝像機同步獲取圖像，尤其在獲取全景圖像時，需要多部相機在同一時刻從不同角度進行拍攝，而且相鄰圖像之間要有重疊區(qū)域，通過重疊區(qū)域同名控制點點對，利用圖像匹配方法計算圖像變換矩陣，從而拼接成一幅全景圖像。然而，由于相機自身硬件（如相機型號、成像性能、感光元件尺寸等）及拍攝環(huán)境（如光照、大氣條件、太陽高度等）等因素的影響，同一區(qū)域內(nèi)來自不同相機的圖像在亮度、色彩等方面會存在差異，如果對這些圖像直接進行拼接，拼接的全景圖像在圖像重疊區(qū)域會存在明顯的接縫線，從而影響全景圖像的視覺和美觀效果。因此，非常有必要進行多相機圖像拼接亮度和色彩分布不均問題的處理方法（即勻色方法）的研究。

目前國內(nèi)外對圖像勻色算法的研究較多，主要集中在兩個方面:一是從硬件角度的圖像校正［4］，二是從軟件角度的圖像校正［5-8］。從軟件角度的圖像校正算法主要有直方圖匹配［9］、直方圖規(guī)定化［10］、Wallis勻色算法［6］、Mask色光算法［8］及基于均值和標準差統(tǒng)計的方法等。如張靜等基于直方圖匹配理論，在目標圖像和源圖像的直方圖之間建立映射關(guān)系，使目標圖像的直方圖與源圖像相同或相似，從而使兩幅圖像具有相同的亮度和色彩，最終實現(xiàn)對圖像顏色的校正，該方法在圖像直方圖差異較大時，直方圖匹配會改變原有灰度級之間的相對距離［11］。曹彬才等將用于保持兩幅或多幅圖像間的亮度和色彩一致性的Wallis濾波器用于單幅圖像，并且取得了較好的勻色效果，但是此方法在處理顏色變化較大的圖像時，會出現(xiàn)顏色突變的現(xiàn)象［12］。李德仁等提出的基于Mask原理的勻色方法采用高斯濾波器模擬圖像的亮度分布作為背景圖像，通過從原始圖像中減去不均勻背景圖像，達到圖像勻色的目的［13］。張振等指出現(xiàn)有Mask勻色方法能夠在一定程度上解決不均勻光照的現(xiàn)象，但是經(jīng)過Mask勻色處理后的圖像存在反差不均勻的現(xiàn)象，即原始的圖像中較暗的區(qū)域經(jīng)過勻色后明顯地表現(xiàn)出反差較低，而亮的區(qū)域則反差較大，針對這一問題，對Mask勻色算法進行了改進，得到了反差一致的圖像［14］。然而，這些方法大部分是針對灰度圖像的勻色處理，對彩色圖像的勻色效果并不理想。

本文針對目前多相機圖像拼接勻色算法存在的問題，提出了基于顏色空間變換理論的多相機拼接勻色算法。試驗證明，本算法可以很好地對多相機圖像拼接亮度和色彩不均勻問題進行處理，使最終全景圖像色彩和亮度具有一致性，勻色效果較好。

一、算法理論基礎(chǔ)

1.Gamma校正

多相機獲取的圖像由于成像角度和成像環(huán)境等條件的影響，圖像存在照度不均勻的現(xiàn)象，導致圖像不同區(qū)域存在不同的光照效果，對圖像進行Gamma校正，能夠使圖像光照分布均勻。本文使用的Gamma校正公式為式中，Iin表示輸入圖像的原始灰度值；Iout表示校正后的圖像灰度值；graymax表示輸入最大灰度值；γ即Gamma值，為一個經(jīng)驗值。

2.信息熵

信息熵表示圖像包含信息量的多少。對于單幅圖像，可以認為圖像各個灰度值是相互獨立的樣本，則認為這幅圖像的灰度分布為p=｛p0，p1，…，pi，…，pn-1｝，i表示灰度級；pi表示第i灰度級出現(xiàn)的概率；n表示灰度級個數(shù)。信息熵定義為式中，H表示圖像信息熵。圖像的信息熵值越大，說明圖像信息量越大。

3.RGB顏色空間與YCbCr顏色空間變換

顏色空間是按照某種定義或規(guī)則描述顏色的模型。常見的顏色空間有:RGB顏色空間、HSV顏色空間、CMY顏色空間、CMYK顏色空間、YCbCr顏色空間等。根據(jù)應(yīng)用場合的不同，選擇的顏色空間也不同，如RGB顏色空間用于計算機的顯示，HSV顏色空間用于視覺系統(tǒng)的處理，CMY顏色空間用于印刷行業(yè)，YCbCr顏色空間用于表示彩色電視數(shù)字信號等。不同顏色空間對顏色特征的表現(xiàn)不同，經(jīng)過試驗發(fā)現(xiàn)，在YCbCr顏色空間對圖像進行勻色處理，試驗效果最佳。多相機獲取的圖像屬于RGB顏色空間，RGB顏色空間轉(zhuǎn)化到Y(jié)CbCr顏色空間的計算公式為［15］

YCbCr顏色空間轉(zhuǎn)換到RGB顏色空間的轉(zhuǎn)換公式為［15］

4.對比度增強

多相機圖像拼接成全景圖之后，為了更好地改善全景圖像效果，對全景圖進行了對比度增強。本文采用直方圖增強法［16］，首先計算全景圖像直方圖，然后分別從最大灰度值255和最小灰度值0開始，計算累積直方圖，確定目標灰度級數(shù)，如目標最大灰度級數(shù)為Newmax，最小灰度級數(shù)為Newmin，修正歸一化灰度值為實際灰度，建立灰度映射表，生成目標全景圖像。原始全景圖像灰度值Iold和目標全景圖像灰度值Inew之間的映射關(guān)系為

二、多相機拼接勻色算法

本文針對多相機圖像拼接過程中存在的亮度和色彩不一致的現(xiàn)象，提出了一種多相機拼接勻色算法，通過該方法能夠有效處理全景圖像拼接中存在的亮度和顏色差異，該算法的處理流程如圖1所示。

圖1　多相機圖像拼接勻色算法流程

如圖1所示，由于拍攝環(huán)境等因素的影響，圖像存在光照不均勻的現(xiàn)象，首先需要對多幅圖像進行Gamma校正，使各幅圖像光照分布均勻；其次計算各幅圖像信息熵，根據(jù)圖像信息熵，選擇參考圖像；然后將所有圖像進行顏色空間轉(zhuǎn)換，以參考圖像為基礎(chǔ)，對圖像進行亮度和色彩校正；最后拼接多幅圖像并進行對比度增強，得到最終全景圖。

1.Gamma校正

對多相機圖像進行Gamma校正，使單幅圖像光照分布均勻，消除單幅圖像內(nèi)部光照不均現(xiàn)象，Gamma校正公式如式（1）所示。

2.選取參考圖像

計算各幅圖像信息熵，選取信息熵最大的圖像作為參考圖像，信息熵計算方法如式（2）所示。

3.圖像亮度與色彩校正

圖像亮度和色彩的校正包括顏色空間的轉(zhuǎn)換、圖像區(qū)域劃分及圖像顏色校正。首先需要將參考圖像和目標圖像從RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間；然后將每幅圖像按照重疊區(qū)域和非重疊區(qū)域進行劃分，按照不同的權(quán)值計算Y、Cb、Cr的平均值；最后計算各個分量的自動調(diào)節(jié)因子，根據(jù)自動調(diào)節(jié)因子，重新計算Y、Cb、Cr各分量，對目標圖像顏色進行校正。如圖2所示。

圖2　圖像亮度、色彩校正流程

（1）顏色空間轉(zhuǎn)換

將參考圖像和目標圖像進行顏色空間轉(zhuǎn)換，即將圖像從RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間，轉(zhuǎn)換公式如式（3）所示。

（2）重疊區(qū)與非重疊區(qū)劃分

多相機圖像拼接中，圖像重疊區(qū)域是最有參考價值的一部分。本文根據(jù)全景圖像的特點，將每幅圖像劃分為重疊區(qū)域與非重疊區(qū)域，賦予重疊區(qū)域較大的權(quán)值。假設(shè)將圖像劃分后，重疊區(qū)域記為I0，非重疊區(qū)域記為I1，重疊區(qū)域權(quán)值用λ（本文取值0.7～0.9）表示，則非重疊區(qū)域權(quán)值用1-λ表示，Y、Cb、Cr各分量的均值可以按照下式計算

（3）顏色校正

顏色校正的關(guān)鍵是計算目標圖像和參考圖像之間的顏色調(diào)節(jié)因子，本文顏色調(diào)節(jié)因子的計算方法為

式中，IS_Avg表示參考圖像的平均亮度值；ID_Avg表示目標圖像的平均亮度值；IDiff表示目標圖像與參考圖像平均亮度差值；Icurr表示目標圖像中某一像素點的當前亮度值；Ifactor表示目標圖像的亮度調(diào)節(jié)因子；Inew表示目標圖像中某一像素點校正后的亮度值。式中的I表示Y、Cb或Cr分量。

顏色校正完成后，將圖像從YCbCr顏色空間轉(zhuǎn)換到RGB顏色空間，轉(zhuǎn)換公式如式（4）所示。

4.圖像拼接

單幅圖像勻色處理結(jié)束后，拼接所有圖像即可獲得亮度、顏色分布均勻的全景圖像。本文采用基于特征的匹配算法實現(xiàn)同名點提取與匹配，該方法對同名點的識別效率較高［17-18］。

5.對比度增強

為了更好地改善全景圖像效果，本文根據(jù)對比度增強理論對全景圖像進行對比度增強。

三、試驗結(jié)果與分析

本文對多相機圖像拼接勻色算法進行了驗證。用于試驗的計算機硬件為Inter（R）Core（TM）i5-4590 CPU@3.30 GHz，內(nèi)存為8 GB，操作系統(tǒng)為Window7，開發(fā)環(huán)境為Visual Studio 2010，使用開源庫OpenCV2.0。圖3為多相機在同一時刻拍攝的待拼接圖像，圖像分辨率均為4000×3000像素，從圖中可以看出，部分圖像亮度較亮，而部分圖像較暗，且存在較大的顏色差異，如果不對圖像進行顏色校正直接拼接為全景圖，那么拼接圖會存在明顯的亮度和色彩差異。

圖3　多相機待拼接圖像

圖4為未經(jīng)本文算法處理直接對全景圖像拼接所得的結(jié)果，從圖中可以看出，全景圖像存在亮度和色彩不均一的現(xiàn)象。圖5為經(jīng)過本文算法處理后得到的全景圖像，經(jīng)過本文算法處理后，圖像中亮度和色彩不均一現(xiàn)象基本消除，全景圖的效果較好。

圖4　未經(jīng)本文算法處理的全景圖像

圖5　本文算法處理后的全景圖像

四、結(jié)束語

本文針對多相機圖像拼接中存在的亮度和色彩差異現(xiàn)象，提出了一種多相機圖像拼接勻色算法，詳細論述了該算法的理論基礎(chǔ)與處理流程，并且通過試驗驗證了本文算法的有效性。本文算法能夠消除圖像之間的亮度和色彩差異，非常有效地改善了圖像的整體視覺效果，為圖像拼接中存在的顏色不一致問題提供了新的解決思路和方法。

［1］ CHEN S E.QuickTime VR-An Image-based Approach to Virtual Environment Navigation［C］∥Proceedings Siggraph’95.Los Angeles:［s.n.］，1995.

［2］ 王曉麗，戴華陽，余濤，等.基于多分辨率融合的無人機圖像拼接勻色研究［J］.測繪通報，2013（6）:27-30. ［3］ 李海亭，彭清山，王閃，等.數(shù)字城市中的全景地圖系統(tǒng)建設(shè)方法研究［J］.測繪通報，2011（4）:71-73.

［4］ SASAKI M，MASE M，KAWAHITO S，et al.A Wide Dynamic Range CMOS Image Sensor with Multiple Shoretime Exposures［C］∥Proceedings of IEEE Sensors. ［S.l.］:IEEE，2004.

［5］ 張力，張祖勛，張劍清.Waills濾波在影像匹配中的應(yīng)用［J］.武漢測繪科技大學學報，1999，24（1）:24-35.

［6］ 林景亮，陳岳林.多攝像機圖像拼接自動色彩均衡算法［J］.計算機應(yīng)用，2010（12）:3236-3237.

［7］ 周麗雅，秦志遠，尚煒，等.反差一致性保持的影像勻光算法［J］.測繪科學技術(shù)學報，2011（1）:46-49.

［8］ 姚芳，萬幼川，胡晗.基于Mask原理的改進勻光算法研究［J］.遙感信息，2013（3）:8-13.

［9］ 李勇.圖像無縫拼接及勻色技術(shù)的研究［D］.西安:西安電子科技大學，2013.

［10］ 趙通，王國胤，肖斌.基于多峰高斯函數(shù)的直方圖規(guī)定化算法［J］.計算機科學，2014（12）:245-250.

［11］ 張靜，陳廣學.基于直方圖匹配的圖像顏色校正算法研究［C］∥2013中國食品包裝學術(shù)會議論文摘要集.北京:［s.n.］，2013.

［12］ 曹彬才，朱寶山，李潤生，等.用于單幅影像勻光的Wallis算法［J］.測繪科學技術(shù)學報，2012（5）:373-377.

［13］ 李德仁，王密，潘俊.光學遙感影像的自動勻光處理及應(yīng)用［J］.武漢大學學報（信息科學版），2006，31（9）: 753-756.

［14］ 張振，朱寶山，朱述龍.反差一致性改進的MASK勻光算法［J］.測繪科學技術(shù)學報，2010（1）:54-56.

［15］ 張懿，劉旭，李海峰.數(shù)字RGB與YCbCr顏色空間轉(zhuǎn)換的精度［J］.江南大學學報（自然科學版），2007 （2）:200-202.

［16］ 李開端，李樹軍.基于直方圖統(tǒng)計學的圖像增強算法研究［J］.科學技術(shù)與工程，2011，11（23）:5572-5575.

［17］ 羅如為，陳孝威.360°圖像序列的柱面全景拼接算法［C］∥第二屆和諧人機環(huán)境聯(lián)合學術(shù)會議（HHME2006）——第 15屆中國多媒體學術(shù)會議（NCMT'06）論文集.杭州:［s.n.］，2006.

［18］ 楊一曼，牟伶俐，劉建軍，等.基于嫦娥二號數(shù)據(jù)的高分辨率影像拼接方法研究［J］.測繪通報，2015（1）: 115-120.

An Image Dodging Algorithm Based on Multiple Cameras

LV Nan，GOU Yonggang，LONG Chuan，ZHANG Jie

10.13474/j.cnki.11-2246.2016.0221.

P237

B

0494-0911（2016）07-0044-04

2015-08-10

重慶市科技人才培養(yǎng)計劃（cstc2013kjrc-tdsj40001）；智慧重慶空間信息服務(wù)云計算平臺開發(fā)（cstc2014yykfB40004）

呂 楠（1979—），男，高級工程師，主要研究地理信息系統(tǒng)與地面移動測量系統(tǒng)。E-mail:lvn@dcqtech.com

引文格式：呂楠，茍永剛，龍川，等.多相機圖像拼接勻色算法［J］.測繪通報，2016（7）:44-47.