傅子秋，張曉龍，余 成，梁 丹，梁冬泰*

多場景下基于快速相機(jī)標(biāo)定的柱面圖像拼接方法

傅子秋1，張曉龍2，余 成3，梁 丹1，梁冬泰1*

1寧波大學(xué)機(jī)械工程與力學(xué)學(xué)院，浙江 寧波 315211；2上海浦江橋隧運(yùn)營管理有限公司，上海 200023；3寧波詮航機(jī)械科技有限公司，浙江 寧波 315200

針對目前利用相機(jī)標(biāo)定參數(shù)進(jìn)行圖像拼接的方法存在受場景限制大、標(biāo)定過程復(fù)雜而耗時(shí)長的問題，提出一種多場景下基于快速相機(jī)標(biāo)定的柱面圖像拼接方法。首先，利用棋盤格標(biāo)定板角點(diǎn)特征提取精度高的特點(diǎn)，使其分別位于兩兩鄰接圖像的重疊視場中，對該圖像序列依次進(jìn)行角點(diǎn)提取、精確化和匹配等預(yù)處理，以準(zhǔn)確快速求解出待拼接圖像間的配準(zhǔn)參數(shù)；然后利用標(biāo)定得到的配準(zhǔn)參數(shù)快速拼接圖像，通過柱面投影以保持圖像的視覺一致性，并采用多頻段融合以保留圖像的細(xì)節(jié)信息；最后，將整個(gè)系統(tǒng)搭建在低功耗嵌入式平臺，實(shí)現(xiàn)可在多場景下完成快速標(biāo)定及基于標(biāo)定參數(shù)的拼接過程。實(shí)驗(yàn)結(jié)果表明，該文方法在室內(nèi)及隧道等場景下可準(zhǔn)確快速完成相機(jī)標(biāo)定，圖像拼接過程耗時(shí)短，同時(shí)可保證較高的拼接精度和較好的成像效果，具有較強(qiáng)的魯棒性。

圖像拼接；相機(jī)標(biāo)定；柱面投影；多頻段融合

1 引 言

圖像拼接是將同一場景中具有重疊視場的兩幅或者多幅圖像組合，以產(chǎn)生一幅無縫全景圖或高分辨率圖像的過程[1]，經(jīng)過拼接所獲得的圖像有較大的視場(field of view，F(xiàn)OV)。絕大部分相機(jī)視場角約35°×50°，信息獲取受限。因此，通過圖像拼接，將同一場景的連續(xù)圖像序列進(jìn)行拼接，形成具有更大視場的合成圖像，可一次性獲取給定視點(diǎn)處的全部視覺信息。該技術(shù)在地質(zhì)勘測[2-3]、醫(yī)學(xué)影像[4-5]以及虛擬現(xiàn)實(shí)[6]等多個(gè)領(lǐng)域中發(fā)揮著重要的作用，其技術(shù)優(yōu)勢明顯。

國內(nèi)外研究者對圖像拼接進(jìn)行了大量研究，圖像配準(zhǔn)是其關(guān)鍵步驟，目前主要有基于頻域、基于灰度和基于特征點(diǎn)的三種經(jīng)典配準(zhǔn)方法[7]。Szeliski[8]于1996年提出利用圖像頻域特性進(jìn)行圖像拼接的算法，通過傅里葉變換計(jì)算圖像間位移的橫向功率譜來實(shí)現(xiàn)圖像匹配，成為全景圖拼接的經(jīng)典算法。Zou等[9]提出一種基于時(shí)空域流形的視頻序列圖像拼接算法，對視頻序列圖像拼接十分有效，拼接結(jié)果良好。Li等[10]提出了一種基于尺度不變特征變換(scale-invariant feature transform，SIFT)的算法，在確保拼接全景圖像沒有缺失的同時(shí)，還減少了整個(gè)拼接過程的時(shí)間。Wu等[11]在SIFT的基礎(chǔ)上針對汽車后視圖像系統(tǒng)使用漸變進(jìn)出的融合算法，計(jì)算時(shí)間更短、圖像細(xì)節(jié)特征更完整。2016年，Zhou等[12]針對鋼旋轉(zhuǎn)件缺陷檢測圖像的特征，提出了一種基于坡度概率測度和RANSAC算法，并利用SIFT進(jìn)行特征跟蹤和提取的圖像拼接方法，得到無縫、清晰的零件表面圖像，為金屬零件表面缺陷的自動(dòng)精確檢測奠定基礎(chǔ)。Alomran和Chai[13]通過檢測圖像重疊區(qū)域，自動(dòng)對齊并融合拼縫以創(chuàng)建無縫全景圖像。該算法可對最小5%的重疊面積、水平或垂直旋轉(zhuǎn)以及非固定軸獲取的多幅輸入圖像進(jìn)行正確拼接。上述圖像配準(zhǔn)算法普遍存在計(jì)算量大、執(zhí)行效率低下的問題。對此，有國內(nèi)研究者提出基于相機(jī)標(biāo)定的方法[14-16]，節(jié)省了絕大部分拼接所需的時(shí)間，并獲得較高的拼接精度。

但目前基于相機(jī)標(biāo)定的拼接方法受場景限制較大，標(biāo)定過程復(fù)雜；且經(jīng)圖像變換后會(huì)破壞成像中的共線條件，不利于后續(xù)的圖像處理和信息歸類。為此，提出一種多場景下基于快速相機(jī)標(biāo)定的柱面圖像拼接方法，該方法充分利用棋盤格標(biāo)定板的特征提取精度高的特點(diǎn)，將其置于兩兩鄰接圖像的重疊視場中，對采集的圖像序列依次進(jìn)行角點(diǎn)提取、精確化和匹配等預(yù)處理，以準(zhǔn)確快速求解出待拼接圖像間的配準(zhǔn)參數(shù)，進(jìn)而迅速完成圖像拼接。采用柱面投影和多頻段融合方法使圖像保持視覺一致性和保留細(xì)節(jié)信息。系統(tǒng)建立在低功耗嵌入式平臺上，實(shí)現(xiàn)了可在多場景下相機(jī)標(biāo)定參數(shù)的快速獲取及準(zhǔn)確拼接。經(jīng)實(shí)驗(yàn)驗(yàn)證，該方法標(biāo)定過程簡單快速且準(zhǔn)確，拼接精度高，成像效果好，對于在固定先驗(yàn)場景(大范圍的視覺實(shí)時(shí)監(jiān)控、醫(yī)療影像等)及特征點(diǎn)稀少的隧道場景等圖像拼接技術(shù)上的應(yīng)用具有積極意義。

2 算 法

本算法可分為標(biāo)定參數(shù)獲取和柱面圖像拼接兩個(gè)步驟。第一步是利用棋盤格標(biāo)定板進(jìn)行快速相機(jī)標(biāo)定，得出相鄰圖像間的配準(zhǔn)參數(shù)；第二步先將圖像投影到柱面上，再由標(biāo)定參數(shù)進(jìn)行配準(zhǔn)完成圖像拼接，獲得一幅高質(zhì)量的拼接圖像。

2.1 標(biāo)定參數(shù)獲取

標(biāo)定參數(shù)獲取分為兩個(gè)過程(如圖1)，過程1先對鄰接圖像進(jìn)行角點(diǎn)的檢測、亞像素精確化及匹配，利用匹配的角點(diǎn)坐標(biāo)來計(jì)算單應(yīng)性矩陣，再結(jié)合焦距評估計(jì)算出像素焦距。過程2以該焦距為半徑做柱面投影變換得出柱面圖像，對柱面圖像再次預(yù)處理及計(jì)算更新，得出配準(zhǔn)圖單應(yīng)性變換后的四個(gè)頂點(diǎn)坐標(biāo)，最后獲取調(diào)整變換后的單應(yīng)性矩陣′和拼接圖像的平移向量。

圖1 標(biāo)定參數(shù)獲取流程圖

2.1.1 成像的幾何模型

針孔成像模型[17-18]具有很好的緊湊性，建立幾何模型如圖2所示，被攝體經(jīng)透鏡匯聚于一點(diǎn)(光心)后，其倒影映射到成像平面上。為了便于觀察和研究，假設(shè)成像平面位于針孔和被攝體之間，被攝體成像方向與實(shí)際方向一致。

圖中相機(jī)坐標(biāo)系camcamcam的原點(diǎn)cam為光心，camcam平面與成像平面平行。cam軸為光軸，光心與光軸的距離即為焦距。圖像直角坐標(biāo)系imgimg和像素直角坐標(biāo)系都在成像平面上，圖像坐標(biāo)系原點(diǎn)img的像素坐標(biāo)值為(u,v)。各坐標(biāo)系間的轉(zhuǎn)換關(guān)系為

圖2 針孔成像幾何模型

圖3 圖像投影變換三維示意圖

2.1.2 單應(yīng)性矩陣計(jì)算

根據(jù)建立的成像模型，需計(jì)算圖像平面間像素點(diǎn)間的映射關(guān)系，實(shí)現(xiàn)圖像的配準(zhǔn)。平面間的對應(yīng)關(guān)系可通過單應(yīng)性(Homography)變換[19]來確定。三維空間中兩圖像平面間的變換如圖3所示，相機(jī)在兩相鄰位姿拍攝得到圖像1和圖像2(配準(zhǔn)圖像)，可用一個(gè)非奇異的3×3的矩陣對其映射進(jìn)行描述，將配準(zhǔn)圖像平面變換至基準(zhǔn)圖像平面上。

式中：為表示尺度因子，為單應(yīng)性矩陣。

單應(yīng)矩陣只有8個(gè)自由度，采用線性變換進(jìn)行求解，將式(2)展開并寫成矩陣形式為

式中：為矩陣的向量形式，因而需求解8個(gè)未知變量，也就需要4對匹配點(diǎn)(每3個(gè)點(diǎn)不共線)，通常為了精確結(jié)果會(huì)使用遠(yuǎn)大于4個(gè)點(diǎn)對來進(jìn)行計(jì)算。此時(shí)式(3)中的變成一個(gè)多行的矩陣。因此，需要求解超定方程組=0，通過齊次線性最小二乘法[20]對該方程組進(jìn)行求解，即對進(jìn)行奇異值分解，無需解方程組即可得到，它取值于最小奇異值對應(yīng)的最右側(cè)奇異向量，將重新排列后得出單應(yīng)性矩陣。

2.1.3 像素焦距計(jì)算

由式(2)和式(5)可知：

旋轉(zhuǎn)矩陣12屬于標(biāo)準(zhǔn)的正交矩陣，它的行向量和列向量都是兩兩正交的，且每個(gè)行向量和列向量都是單位向量，則有：

上式得到兩個(gè)2的值，采用OpenCV[22]圖像拼接算法中的焦距評估，比較兩個(gè)2分式形式中分母絕對值的大小，如果前者大于后者，則取兩個(gè)2的值中的較大者，反之取較小者。

同理可得到相機(jī)的位姿1處的像素焦距1。

2.2 柱面圖像拼接算法

該圖像拼接過程如圖4，是基于標(biāo)定得到的配準(zhǔn)參數(shù)。首先采集圖像序列，通過設(shè)計(jì)的自適應(yīng)工業(yè)相機(jī)對焦轉(zhuǎn)臺裝置，根據(jù)預(yù)設(shè)的值依次改變相機(jī)的位姿和焦距并觸發(fā)相機(jī)采圖，每完成一幅圖像采集則進(jìn)行柱面投影變換，采圖和圖像變換處理分節(jié)點(diǎn)獨(dú)立進(jìn)行，效率較高。圖像采集數(shù)量達(dá)到預(yù)定值后，采圖結(jié)束。隨后依次讀取變換后的圖像序列，利用標(biāo)定得到的變換矩陣′進(jìn)行單應(yīng)性變換。選取序列中間圖像為基準(zhǔn)圖像，其余的為配準(zhǔn)圖像，利用標(biāo)定得到的平移向量拼接圖像，再對拼接后的圖像利用多頻段融合方法消除拼縫線。最后將融合后的圖像更新替換為新的基準(zhǔn)圖像，依次與配準(zhǔn)圖像拼接融合得到全景圖。

2.2.1 柱面投影變換

由于進(jìn)行圖像拼接的原始圖像是現(xiàn)實(shí)場景在各自觀察方向所對應(yīng)的視平面上的投影，如果對含有重疊區(qū)域的原始圖像直接進(jìn)行配準(zhǔn)并拼接，使得我們得到的圖像序列的二維投影的坐標(biāo)系產(chǎn)生差異，這將會(huì)破壞現(xiàn)實(shí)場景的全景視覺屬性，得到圖像畸變的全景圖拼接結(jié)果。而柱面投影變換[23]是將現(xiàn)實(shí)場景投影到一個(gè)以固定視點(diǎn)為中心的假想圓柱體表面，通過將圖像投影到統(tǒng)一坐標(biāo)系下以像素焦距為半徑的柱面上進(jìn)行拼接，能夠維持現(xiàn)實(shí)場景中的空間約束關(guān)系，從而在后面的拼接過程中保持全景視覺的一致性。柱面投影示意如圖5所示。

圖4 圖像拼接算法框圖

而成像處于二維平面上，因此還需將柱面圖像反變換至平面上。將點(diǎn)￠轉(zhuǎn)換至相機(jī)坐標(biāo)系中：

圖5 柱面投影示意圖

圖6 柱面投影示意圖

Fig. 6 The sketch of cylindrical projection transformation

2.2.2 單應(yīng)性變換

單應(yīng)性變換是將一個(gè)平面內(nèi)的點(diǎn)映射到另一個(gè)平面內(nèi)的二維投影變換，通過標(biāo)定過程計(jì)算圖像平面間對應(yīng)關(guān)系，將相鄰兩幅柱面反變換后的圖像進(jìn)行單應(yīng)性變換，使得相鄰圖像的重疊部分在二維平面上保持相同尺度。單應(yīng)性矩陣獲取原理及實(shí)現(xiàn)如上文標(biāo)定過程描述，該矩陣(8個(gè)自由度)各參數(shù)的作用如表1所示。

2.2.3拼接圖像

相鄰圖像經(jīng)透視變換后已處于相同平面，利用標(biāo)定好的平移向量，將配準(zhǔn)圖像所有像素點(diǎn)進(jìn)行平移，與基準(zhǔn)圖像相應(yīng)配準(zhǔn)像素點(diǎn)重合拼接，未融合的圖像拼接如圖7所示。圖中紅框?yàn)榕錅?zhǔn)圖經(jīng)透視變換后的邊界輪廓，經(jīng)調(diào)整和平移變換后已位于指定拼接位置。

在拼接時(shí)選取最右側(cè)圖像為基準(zhǔn)圖像，其左邊相鄰的圖像配準(zhǔn)圖像，利用標(biāo)定出的平移向量拼接至基準(zhǔn)圖上。將拼接好的圖像融合后更新為基準(zhǔn)圖像，重復(fù)上述過程可完成拼接。

2.2.4 圖像融合

拼接后圖像間的銜接不自然，需對其進(jìn)行融合。像素加權(quán)平均法最為簡單直接，而在復(fù)雜場景容易產(chǎn)生ghost區(qū)域，可以通過多特征融合的背景建模方法[25]提高其適應(yīng)性，但會(huì)導(dǎo)致目標(biāo)局部不完整現(xiàn)象。采用Brown和Lowe[26]提出的多頻段融合方法，通過建立拉普拉斯金字塔(Laplacian pyramid，LP)，將待拼接圖像分別分解到不同的空間頻帶上，在各空間頻率層上分別進(jìn)行合并融合，可使各個(gè)頻帶上的特征與細(xì)節(jié)都保留并融合在一起。

表1 單應(yīng)性矩陣參數(shù)介紹

圖7 拼接圖像示意圖

圖8 多頻段融合示意圖

融合過程如圖8所示，該融合方法需先建立待拼接圖像的高斯金字塔，然后用高斯金字塔的每一層圖像，減去其上一層的擴(kuò)展圖像(完成上采樣并高斯卷積)得到LP，再將重疊區(qū)域的LP相同層采用加權(quán)平均的方法進(jìn)行合并。最后將合并后的LP從頂層開始進(jìn)行擴(kuò)展，將其擴(kuò)展圖像與下一層的合并LP圖像相加得到下一層的融合圖像，逐層遞推完成圖像重構(gòu)。

3 實(shí)驗(yàn)結(jié)果與分析

為在實(shí)際環(huán)境中驗(yàn)證拼接方法，搭建了如圖9所示的硬件系統(tǒng)實(shí)驗(yàn)平臺，分別在室內(nèi)和隧道場景中進(jìn)行相機(jī)標(biāo)定和圖像拼接，并與其它圖像拼接方法進(jìn)行了拼接時(shí)間和拼接精度的對比分析。通過實(shí)驗(yàn)對本方法進(jìn)行誤差分析，并功能模塊化于隧道巡檢機(jī)器人中，在杭州文一路隧道和上海四平路隧道試行，進(jìn)而驗(yàn)證拼接系統(tǒng)的穩(wěn)定性。

3.1 實(shí)驗(yàn)系統(tǒng)的搭建

為了使該方法更具靈活性、通用性，將整個(gè)拼接系統(tǒng)模塊化，建立在低功耗嵌入式平臺上(如圖10)。其既執(zhí)行舵機(jī)運(yùn)動(dòng)和相機(jī)采圖的底層控制，又作為上位機(jī)在Linux下實(shí)現(xiàn)相機(jī)標(biāo)定和圖像拼接算法，同時(shí)還通過串口和ROS(robot operating system)實(shí)現(xiàn)各功能模塊的通信，從而實(shí)現(xiàn)快速的相機(jī)標(biāo)定，且適用于多種場景。

該實(shí)驗(yàn)還設(shè)計(jì)了一套工業(yè)相機(jī)自適應(yīng)調(diào)焦的裝置，鏡頭調(diào)焦圈外接齒輪與舵機(jī)轉(zhuǎn)盤上的齒輪嚙合，舵機(jī)用L型連接件固定于相機(jī)架上，整個(gè)裝置隨轉(zhuǎn)臺轉(zhuǎn)動(dòng)。這套裝置可由嵌入式平臺進(jìn)行自適應(yīng)調(diào)焦，以解決工業(yè)相機(jī)景深不足的問題。

低功耗嵌入式平臺搭載ARM Cortex-A57內(nèi)核；采用大面陣工業(yè)相機(jī)，分辨率和幀率分別為4096′3000和9 fps，搭配焦距25 mm工業(yè)定焦鏡頭；舵機(jī)的最小角度0.088°，轉(zhuǎn)臺和調(diào)焦舵機(jī)的空載轉(zhuǎn)速分別為63 rpm和55 rpm，靜止扭矩分別為6.0 N×m和2.5 N×m；結(jié)構(gòu)件采用3D打印和鈑金加工。

3.2 拼接結(jié)果

分別在室內(nèi)和隧道場景中由該系統(tǒng)拼接完成的全景圖如圖11(a)和11(b)所示，其拼接相關(guān)參數(shù)如表2所示，只需進(jìn)行一次標(biāo)定，獲取圖像拼接過程中所需的各圖像間配準(zhǔn)參數(shù)，進(jìn)而大量減少圖像拼接所需的時(shí)間，且該系統(tǒng)建立在低功耗嵌入式平臺上，當(dāng)標(biāo)定點(diǎn)位置和姿態(tài)與工作點(diǎn)位置和姿態(tài)不同時(shí)，可快速完成相機(jī)標(biāo)定參數(shù)的獲取。

圖9 硬件系統(tǒng)圖

圖10 實(shí)驗(yàn)平臺

圖11 拼接結(jié)果。(a) 室內(nèi)拼接圖；(b) 隧道拼接圖

3.3 拼接時(shí)間對比分析

硬件系統(tǒng)在已完成相機(jī)標(biāo)定的前提下，每采好一張1200萬像素的圖耗時(shí)0.83 s，該過程包括轉(zhuǎn)臺轉(zhuǎn)位、舵機(jī)調(diào)焦和相機(jī)SDK軟觸發(fā)采圖，執(zhí)行圖像拼接算法耗時(shí)1.24 s。從接受拼接指令開始到完成一整套拼接流程總共9.64 s(以8張圖為例)，各部分所用時(shí)間如圖12所示。整個(gè)拼接過程由多個(gè)節(jié)點(diǎn)獨(dú)立執(zhí)行，各部分互不影響。

在相同的硬件設(shè)備和圖像數(shù)據(jù)條件下，與文獻(xiàn)[4]的利用OpenCV和文獻(xiàn)[17]基于SIFT的拼接方法進(jìn)行實(shí)驗(yàn)對比如表3所示，表中數(shù)據(jù)分別以兩幅相鄰圖像拼接得出，每組數(shù)據(jù)為10次實(shí)驗(yàn)平均值。

由于拼接源圖像分辨率高，在拼接過程計(jì)算量大，從而耗時(shí)相對較長。采用低分辨率的CCD相機(jī)進(jìn)行實(shí)驗(yàn)，通過本文方法完成兩幅分辨率為640 pixels′360 pixels的圖像拼接僅需0.0113 s，而采用OpenCV拼接方法和基于SIFT方法完成拼接分別需要0.2321 s和0.7863 s。綜上可知，在相同硬件設(shè)備和圖像數(shù)據(jù)條件下，拼接兩幅4096 pixels×3000 pixels的圖像，OpenCV平均耗時(shí)為1.533 s，基于SIFT的拼接方法平均耗時(shí)為8.5488 s，本文方法平均耗時(shí)為0.1854 s，明顯快于OpenCV和基于SIFT的拼接方法。

由于OpenCV中的圖像拼接算法復(fù)雜，對于圖像間特征點(diǎn)的檢測、匹配篩選和查找最優(yōu)拼縫線進(jìn)行融合，都要進(jìn)行大量的計(jì)算，因此需花費(fèi)大量的時(shí)間；基于SIFT的圖像拼接方法雖然使得圖像間配準(zhǔn)更精確，但在圖像特征檢測過程中檢測到的特征點(diǎn)數(shù)目巨大，圖像配準(zhǔn)過程耗時(shí)長；而本文的方法只需執(zhí)行相機(jī)標(biāo)定，可快速獲取拼接配準(zhǔn)參數(shù)，隨后由標(biāo)定參數(shù)配準(zhǔn)圖像，極大地提高了圖像拼接速度。本文方法的拼接速度是OpenCV的8倍，而對比基于SIFT的拼接方法的運(yùn)行速度更是有45倍，具有非常大的提升。

表3 圖像拼接速度對比

圖12 拼接過程時(shí)間柱狀圖

3.4 拼接精度對比分析

對含有重疊區(qū)域的原始圖像直接進(jìn)行配準(zhǔn)并拼接結(jié)果如圖13所示，該結(jié)果由5幅圖像進(jìn)行拼接融合得到。圖像中本來是直線的邊緣輪廓，由于直接配準(zhǔn)進(jìn)行變換后產(chǎn)生的非一致性，在拼接得出的全景圖中成為折線，破壞了現(xiàn)實(shí)場景的全景視覺屬性，得到圖像畸變的全景圖像，成像效果差。

與圖11對比可知，柱面拼接結(jié)果基本無扭曲，能夠較好地保持視覺一致性。采用的多頻段融合方法使得拼縫自然銜接，無重影和移位等現(xiàn)象，具有較好的成像效果，能夠滿足實(shí)際需求。

3.5 誤差分析

本實(shí)驗(yàn)的拼接質(zhì)量依賴于相機(jī)標(biāo)定參數(shù)的準(zhǔn)確度，而影響標(biāo)定過程的主要是相機(jī)機(jī)械安裝誤差和標(biāo)定板放置的位置。將以標(biāo)定后得到像素焦距和拼接平移值L作為標(biāo)定誤差指標(biāo)，它們分別影響圖像配準(zhǔn)和拼接融合的精度，分別從相機(jī)歐拉角中的pitch(傾斜)和roll(滾動(dòng))旋轉(zhuǎn)方向?qū)ζ浒惭b位置和標(biāo)定板在圖像重疊視場位置進(jìn)行誤差分析。

本實(shí)驗(yàn)通過二維旋轉(zhuǎn)微距云臺分別對相機(jī)roll方向(圖14(a))和pitch方向(圖14(b))的誤差進(jìn)行分析，云臺底座固定在支撐架上，并在90°的位置鎖緊使云臺旋轉(zhuǎn)活動(dòng)座保持豎直，以實(shí)現(xiàn)相機(jī)pitch方向下的轉(zhuǎn)動(dòng)。安裝支架與云臺快裝板連接固定，相機(jī)隨著云臺在roll方向下轉(zhuǎn)動(dòng)，從而達(dá)到控制實(shí)驗(yàn)變量的目的。

3.5.1 相機(jī)roll方向下旋轉(zhuǎn)誤差

鎖緊云臺的旋轉(zhuǎn)活動(dòng)座使相機(jī)pitch方向保持水平，旋動(dòng)云臺控制相機(jī)roll方向下的旋轉(zhuǎn)，每旋轉(zhuǎn)1.5°取一組數(shù)據(jù)進(jìn)行標(biāo)定，得到對應(yīng)的像素焦距和平移向量中的橫向平移值L，如圖15所示。

圖13 無柱面投影變換拼接結(jié)果

圖14 Roll方向(a)和pitch方向(b)下旋轉(zhuǎn)平臺

圖15 Roll方向像素焦距(a)和平移值(b)實(shí)驗(yàn)結(jié)果

由圖15可知，像素焦距在11238 pixels到13008 pixels范圍內(nèi)，最大的誤差為15.75%，導(dǎo)致在圖像配準(zhǔn)過程中變換尺度大，容易造成圖16(a)中的圖像畸變，該圖由相機(jī)在roll方向下旋轉(zhuǎn)15°標(biāo)定并拼接得到，圖16(b)為相機(jī)水平實(shí)驗(yàn)結(jié)果，圖中紅框?yàn)閳D像經(jīng)處理變換后的輪廓。通過對比，相機(jī)在roll方向下旋轉(zhuǎn)誤差極大影響成像效果，且多幅圖像拼接會(huì)進(jìn)行累加。對于拼接平移值L保持3200 pixels上下微動(dòng)，其誤差在3%以內(nèi)，即對圖像拼接融合影響很小，能夠使圖像間自然銜接無拼縫，保證高的圖像拼接精度。

3.5.2 相機(jī)pitch方向下旋轉(zhuǎn)誤差

鎖緊云臺使相機(jī)在roll方向保持水平，旋動(dòng)活動(dòng)座來控制相機(jī)pitch方向下的旋轉(zhuǎn)，每旋轉(zhuǎn)1.5°取一組數(shù)據(jù)進(jìn)行標(biāo)定，得到對應(yīng)的像素焦距和平移向量中的橫向平移值L，如圖17所示。由圖可知，的最大誤差接近至9.17%，而L的誤差保持在0.8%以內(nèi)，表明相機(jī)pitch方向下旋轉(zhuǎn)誤差對標(biāo)定過程圖像變換有一定影響，相機(jī)在pitch方向轉(zhuǎn)過15°的拼接結(jié)果如圖16(c)所示，該圖只有視場角整體發(fā)生了變化，并不影響成像效果，且對于拼接融合幾乎無影響。

3.5.3 棋盤格標(biāo)定板放置位置影響

單應(yīng)性矩陣由匹配的棋盤格角點(diǎn)計(jì)算得出，使單應(yīng)性變換以圖像上標(biāo)定板附近區(qū)域?yàn)榛鶞?zhǔn)進(jìn)行配準(zhǔn)，而在遠(yuǎn)離標(biāo)定板的位置圖像變換尺度大，造成配準(zhǔn)誤差，從而導(dǎo)致相同場景像素點(diǎn)不重合的現(xiàn)象。分別改變標(biāo)定板在兩相鄰圖像重疊視場中橫向和縱向位置，進(jìn)行標(biāo)定及拼接實(shí)驗(yàn)，標(biāo)定得出的數(shù)據(jù)如表4，表中為棋盤格中心角點(diǎn)位于圖像重疊區(qū)域的橫向像素坐標(biāo)值，取值為640 pixels、500 pixesl和350 pixels分別表示標(biāo)定板位于圖像重疊區(qū)域的靠右側(cè)、中間和靠左側(cè)，而值則表示棋盤格在圖像重疊區(qū)域豎直方向的位置。

圖16 Roll和pitch方向拼接結(jié)果對比

圖17 Pitch方向像素焦距(a)和平移值(b)實(shí)驗(yàn)結(jié)果

表4 標(biāo)定板放置位置誤差分析

圖18 標(biāo)定板不同位置的拼接結(jié)果

通過表中數(shù)據(jù)可知，在橫向位置=500 pixels情況下，改變標(biāo)定板縱向位置使像素焦距值誤差最高達(dá)到12.66%，而取值為500 pixels和350 pixels時(shí)，該誤差分別達(dá)到16.55%和17.06%。即標(biāo)定板越偏離重疊區(qū)域中心圖像配準(zhǔn)誤差越大，使遠(yuǎn)離標(biāo)定板的像素點(diǎn)間產(chǎn)生偏移錯(cuò)位(見圖18)。以同樣方式分析其對橫向平移值L的影響，誤差保持在0.6%以內(nèi)，即對圖像拼接融合幾乎不產(chǎn)生影響。根據(jù)實(shí)驗(yàn)結(jié)果可得出，標(biāo)定板需位于圖像重疊區(qū)域中間位置來保證圖像配準(zhǔn)精度，并實(shí)現(xiàn)圖像準(zhǔn)確拼接與融合，達(dá)到較好的成像效果。

4 結(jié) 論

基于相機(jī)標(biāo)定的圖像拼接方法不受環(huán)境光照條件影響，在不失精度的前提下具有較強(qiáng)的魯棒性，利用標(biāo)定參數(shù)來代替圖像配準(zhǔn)過程，可有效減少圖像拼接所需的時(shí)間。本文提出的基于棋盤格的快速相機(jī)標(biāo)定的柱面圖像拼接方法在此基礎(chǔ)上簡化標(biāo)定過程，標(biāo)定方便快速、不受場景限制。采用柱面投影變換，將圖像投影在圓柱面上進(jìn)行拼接，能夠保持視覺一致性，具有較好的成像效果。通過室內(nèi)和隧道(無特征點(diǎn))場景中實(shí)驗(yàn)分析，驗(yàn)證了本文方法的可行性。實(shí)驗(yàn)結(jié)果表明該方法能夠快速準(zhǔn)確獲取標(biāo)定參數(shù)，與其它圖像拼接方法相比，拼接時(shí)間較少，不存在重影和移位現(xiàn)象，具有較高精度。本文方法依賴于標(biāo)定參數(shù)，連接件的加工誤差以及安裝精度誤差會(huì)影響標(biāo)定過程，產(chǎn)生偏差，使得圖像變換的尺度過大，影響成像效果。因此，可與多相機(jī)結(jié)合設(shè)計(jì)一套穩(wěn)定的拼接系統(tǒng)，實(shí)現(xiàn)對無特征點(diǎn)或環(huán)境變化大的實(shí)時(shí)圖像拼接。

[1] Adel E, Elmogy M, Elbakry H. Image stitching based on feature extraction techniques: a survey[J]., 2014, 99(6): 1–8.

[2] Cheng Y F, Jin S Y, Wang M,. Image mosaicking approach for a double-camera system in the GaoFen2 optical remote sensing satellite based on the big virtual camera[J]., 2017, 17(6): E1441.

[3] Bosch J, Gracias N, Ridao P,. Omnidirectional underwater camera design and calibration[J]., 2015, 15(3): 6033–6065.

[4] Chen C T, Pan Z W, Shen H L,. Image stitching and partitioning algorithms for infrared thermal human-body images[J]., 2019, 46(9): 180689.

陳晨濤, 潘之瑋, 沈會(huì)良, 等. 一種人體熱紅外圖像拼接及部位劃分方法[J]. 光電工程, 2019, 46(9): 180689.

[5] Kaynig V, Fischer B, Müller E,. Fully automatic stitching and distortion correction of transmission electron microscope images[J]., 2010, 171(2): 163–173.

[6] Wu L P, Hu Y. Virtual reality technology of image smoothing in cylindrical panoramic image mosaic[J]., 2017, 17(31): 271–276.吳麗萍, 胡郁. 柱面全景圖圖像拼接中圖像平滑的虛擬現(xiàn)實(shí)技術(shù)[J]. 科學(xué)技術(shù)與工程, 2017, 17(31): 271–276.

[7] Seo S, Jeonz S, Lee S. Efficient homography estimation method for panorama[C]//, 2013: 209–212.

[8] Szeliski R. Video mosaics for virtual environments[J]., 1996, 16(2): 22–30.

[9] Zou L H, Chen J, Zhang J,. An image mosaicing approach for video sequences based on space-time manifolds[C]//, 2010.

[10] Li L N, Geng N. Algorithm for sequence image automatic mosaic based on sift feature[C]//, 2010.

[11] Wu Z W, Zhu L R, Sun X C. Expansion of the visual angle of a car rear-view image via an image mosaic algorithm[J]., 2015, 54(5): 053101.

[12] Zhou A W, Shao W, Guo J J. An image mosaic method for defect inspection of steel rotary parts[J]., 2016, 35(4): 60.

[13] Alomran M, Chai D. Feature-based panoramic image stitching[C]//, 2016.

[14] Zhang J L, Sun H X, Jia Q X,. Image mosaic algorithm based on camera calibration[J].(), 2008, 29(6): 575–579.

張金玲, 孫漢旭, 賈慶軒, 等. 基于相機(jī)標(biāo)定的圖像拼接算法[J]. 中北大學(xué)學(xué)報(bào)(自然科學(xué)版), 2008, 29(6): 575–579.

[15] Wang D, Liu F Y, Chen T E,. The method of cylinder panoramic image mosaic based on camera calibration parameters[J]., 2016, 41(7): 150–154, 143.

王冬, 劉鳳英, 陳天恩, 等. 一種相機(jī)標(biāo)定參數(shù)的柱面全景影像拼接方法[J]. 測繪科學(xué), 2016, 41(7): 150–154, 143.

[16] Ma J L, Zhang J M, Sun W X. Research on panoramic image mosaic method based on camera calibration[J]., 2017, 29(5): 1112–1119.

馬嘉琳, 張錦明, 孫衛(wèi)新. 基于相機(jī)標(biāo)定的全景圖拼接方法研究[J]. 系統(tǒng)仿真學(xué)報(bào), 2017, 29(5): 1112–1119.

[17] Zhang Z Y. Flexible camera calibration by viewing a plane from unknown orientations[C]//, 1999.

[18] Hartley R, Zisserman A.[M]. Cambridge university press, 2003

[19] Chuan Z, Long T D, Feng Z,. A planar homography estimation method for camera calibration[C]//, 2003.

[20] Lenth R V. Least-squares means: the R package lsmeans[J]., 2016, 69(1): 1–33.

[21] Janota A, ?imák V, Nemec D,. Improving the precision and speed of euler angles computation from low-cost rotation sensor data[J]., 2015, 15(3): 7016–7039.

[22] Pulli K, Baksheev A, Kornyakov K,. Real-time computer vision with OpenCV[J]., 2012, 55(6): 61–69.

[23] Xu Y, Zhou Q H, Gong L W,. High-speed simultaneous image distortion correction transformations for a multicamera cylindrical panorama real-time video system using FPGA[J]., 2014, 24(6): 1061–1069.

[24] Guo H X, Guo H L, Xie K. Improved bilinear interpolation algorithm based on edge information[J]., 2011, 47(31): 171–174. 郭海霞, 郭海龍, 解凱. 基于邊緣信息改進(jìn)的雙線性插值算法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2011, 47(31): 171–174.

[25] Guo Z C, Dang J W, Wang Y P,. Background modeling method based on multi-feature fusion[J]., 2018, 45(12): 180206.

郭治成, 黨建武, 王陽萍, 等. 基于多特征融合的背景建模方法[J]. 光電工程, 2018, 45(12): 180206.

[26] Brown M, Lowe D G. Automatic panoramic image stitching using invariant features[J]., 2007, 74(1): 59–73.

Cylindrical image mosaic method based on fast camera calibration in multi-scene

Fu Ziqiu1, Zhang Xiaolong2, Yu Chen3, Liang Dan1, Liang Dongtai1*

1Faculty of Mechanical Engineering and Mechanics, Ningbo University, Ningbo, Zhejiang 315211, China;2Shanghai Pujiang Bridge and Tunnel Operation Management Co., Ltd, Shanghai 200023, China;3Ningbo Hermeneutic Aircraft Machinery Technology Co., Ltd, Ningbo, Zhejiang 315200, China

The experiment platform

Overview:Image mosaic is the process of combining two or more images with an overlapping field of view in the same scene to produce a seamless panorama or high-resolution image. The image obtained by mosaic has a larger field of view (FOV). Most of the cameras have a FOV angle of about 35′50 degrees, which limits the acquisition of information. Therefore, through image mosaic, the continuous image sequence of the same scene is stitched to form a composite image with a larger FOV, which can obtain all visual information at a given point of view at one time. This technology plays an important role in many fields, such as geological survey, medical minimally invasive surgery, and virtual reality. Its technical advantages are obvious. Researchers at home and abroad have done a lot of researches on image mosaic, and image registration is the key step. At present, there are mainly three classical registration methods based on frequency domain, gray level, and feature points, respectively. Nevertheless, the above image registration algorithms generally have the problems of large computational load and low execution efficiency. In this regard, some domestic researchers have proposed a camera calibration method, which saves most of the time needed for stitching and achieves high stitching accuracy.

But at present, the mosaic algorithm based on camera calibration is limited by the scene, and the calibration process is complex. The collinear condition in imaging will be destroyed after image transformation, which is not conducive to subsequent image processing and information classification. For this reason, a cylindrical image mosaic method based on fast camera calibration in multi-scene is proposed. This method makes full use of the high accuracy of feature extraction of checkerboard calibration board, which is used to make it in the overlapping field of view of two adjacent images. In order to accurately and quickly solve the registration parameters between the images to be spliced, the image sequence is pre-processed by corner extraction, precision and matching. Then, cylindrical projection and multi-band fusion are used to maintain visual consistency and detailed information. The system is based on a Low-Power Embedded platform, which achieves fast acquisition and accurate mosaic of camera calibration parameters in multi-scene. The experiment results show that the proposed method can accomplish camera calibration quickly and accurately in indoor and tunnel scenarios, and the image mosaic process is time-consuming. Meanwhile, it can ensure better stitching accuracy and imaging effect, and has strong robustness.

The proposed method has positive significance for real-time image stitching without feature points or large environmental changes.

Citation: Fu Z Q, Zhang X L, Yu C,. Cylindrical image mosaic method based on fast camera calibration in multi-scene[J]., 2020,47(4): 190436

Cylindrical image mosaic method based on fast camera calibration in multi-scene

Fu Ziqiu1, Zhang Xiaolong2, Yu Chen3, Liang Dan1, Liang Dongtai1*

1Faculty of Mechanical Engineering and Mechanics, Ningbo University, Ningbo, Zhejiang 315211, China;2Shanghai Pujiang Bridge and Tunnel Operation Management Co., Ltd, Shanghai 200023, China;3Ningbo Hermeneutic Aircraft Machinery Technology Co., Ltd, Ningbo, Zhejiang 315200, China

A cylindrical image mosaic method based on fast camera calibration in multi-scene is proposed to solve the problems of scene limitation and complex calibration process in image mosaic using camera calibration parameter. Firstly, the accurate corner feature of checkerboard calibration board is used to make it in the overlapping field of view of two adjacent images. Then, the image sequence is pre-processed by corner extraction, precision and matching, so that the registration parameters between the images to be stitched can be solved accurately and quickly. After that, the cylindrical projection is used to maintain the visual consistency of the images, and the multi-band fusion is used to retain the details of the images. Subsequently, the images are stitched using registration parameters obtained by calibration. Finally, the whole system is built on a low-power embedded platform to accomplish fast calibration and mosaic process based on calibration parameters in multi-scene. The experiment results show that the proposed method can accomplish camera calibration quickly and accurately in indoor and tunnel scenarios, and the image mosaic process is time-consuming. Meanwhile, it can ensure better stitching accuracy and imaging effect, and has strong robustness.

image mosaic; camera calibration; cylindrical projection; multi-band fusion

National Natural Science Foundation of China (51805280), the Public Technology Application Project of Zhejiang (2017C31094), and Natural Science Foundation of Zhejiang (LQ18E050005)

* E-mail: liangdongtai@nbu.edu.cn

TP317.4

A

傅子秋，張曉龍，余成，等. 多場景下基于快速相機(jī)標(biāo)定的柱面圖像拼接方法[J]. 光電工程，2020，47(4): 190436

: Fu Z Q, Zhang X L, Yu C,Cylindrical image mosaic method based on fast camera calibration in multi-scene[J]., 2020, 47(4): 190436

10.12086/oee.2020.190436

2019-07-24；

2019-11-29

國家自然科學(xué)基金青年基金資助項(xiàng)目(51805280)；浙江省公益性技術(shù)應(yīng)用研究計(jì)劃(2017C31094)；浙江省自然科學(xué)基金資助項(xiàng)目(LQ18E050005)

傅子秋(1995-)，男，碩士，主要從事機(jī)器人感知與操控、機(jī)器視覺圖像處理的研究。E-mail：fuziqiuno1@163.com

梁冬泰(1981-)，男，博士，副教授，主要從事工業(yè)視覺檢測、機(jī)器人感知及操控技術(shù)的研究。E-mail：liangdongtai@nbu.edu.cn

版權(quán)所有?2020中國科學(xué)院光電技術(shù)研究所