高延鵬+李小平+張曉康+孫艷春

（Mechatronics T & R Institute， Lanzhou Jiaotong University， Lanzhou 730000， China）

摘 要：現(xiàn)在成像設(shè)備視角不能直接拍攝超寬照片，集裝箱智能大門系統(tǒng)對通過車輛定位后采集多張圖片進(jìn)行識(shí)別和檢驗(yàn)處理。文章提出基于視頻流的集裝箱智能大門的全景圖像采集方法，主要對車輛定位與全景圖像采集、圖像拼接方法進(jìn)行研究并設(shè)計(jì)，旨在為智能大門系統(tǒng)集裝箱箱號識(shí)別、箱體殘損檢驗(yàn)提供全景照片，以進(jìn)一步優(yōu)化智能大門系統(tǒng)。

關(guān)鍵詞：智能大門；集裝箱；全景圖；視頻流

中圖分類號：F253.9 文獻(xiàn)標(biāo)識(shí)碼：A

Abstract： Container intelligent gate system through which can identify multiple pictures was taken from the vehicle positioning and inspection process. In this paper， based on streaming video intelligent container door panoramic image acquisition method， mainly of vehicle positioning and container panoramic image acquisition and image fusion methods are studied and the program design. The purpose is for container intelligent gate system identification， the photos of the damaged inspection provide full container appearance， to further optimize the intelligent gate system.

Key words： smart door； container； panorama； the video stream

0 引 言

集裝箱智能大門[1]作為集裝箱中心站與運(yùn)輸車輛交接的門戶，其通行的效率以及數(shù)據(jù)的安全準(zhǔn)確是至關(guān)重要的。隨著技術(shù)發(fā)展，新技術(shù)應(yīng)用于在集裝箱智能大門系統(tǒng)中。系統(tǒng)需對通過車輛定位后采集多張圖片進(jìn)行識(shí)別和檢驗(yàn)處理，現(xiàn)在成像設(shè)備視角不能直接拍攝超寬照片。根據(jù)上述情況，本文提出全景圖像技術(shù)應(yīng)用在智能大門系統(tǒng)。主要解決由窄視角成像設(shè)備獲取（具有重疊區(qū)域的）多幅圖片通過拼接生成超寬視場圖像或全景圖像[2-3]。集裝箱全景圖片為智能大門進(jìn)行后續(xù)處理提供基礎(chǔ)圖片，是一種對集裝箱智能大門功能、性能及安全可靠性能提升的一種方法。

目前，圖像拼接算法主要分為基于頻域的相位相關(guān)分析方法以及基于時(shí)域的特征匹配算法。相位相關(guān)分析法最早由Kuglin[4]等人提出，該方法通過傅里葉變換快速獲得兩幅圖像的平移量，之后Reddy[5]等人實(shí)現(xiàn)將相位相關(guān)方法擴(kuò)展到對于存在旋轉(zhuǎn)、縮放的圖像配準(zhǔn)領(lǐng)域，鄭志彬[6]等人提出對于存在平移、旋轉(zhuǎn)、縮放三者作用的圖像進(jìn)行配準(zhǔn)拼接。上述方法對于3種變化效果較好，對復(fù)雜的智能大門系統(tǒng)速度和效果也會(huì)下降。還有學(xué)者：張?jiān)品錥7]設(shè)計(jì)了基于DSP的實(shí)時(shí)圖像拼接技術(shù)，設(shè)計(jì)了一套基于DSP經(jīng)緯儀實(shí)時(shí)拼接系統(tǒng)實(shí)現(xiàn)圖像實(shí)時(shí)拼接，該方法圖像快速拼接中以相位相關(guān)特點(diǎn)，不適合速度不定的集卡集裝箱圖像采集。宋戈[8]將多個(gè)固定攝像頭或單個(gè)移動(dòng)攝像頭的內(nèi)容進(jìn)行拼接獲得更加高分辨率的圖像，該方法會(huì)大幅圖提高系統(tǒng)成本。

集裝箱卡車所載箱型和進(jìn)入車道速度不能確定，所以每幀圖像相差也是不能確定。為了降低設(shè)備運(yùn)行成本，又能得到集裝箱全景圖像。本文對系統(tǒng)結(jié)構(gòu)、車輛定位與圖像采集進(jìn)行設(shè)計(jì)，然后重點(diǎn)對視頻序列全景圖像快速獲取方法介紹。本文首先，介紹視頻序列中以紋理特性相似特性選取關(guān)鍵幀。然后，采用SURF[9]（Speeded Up Robust Features）進(jìn)行提取柱面投影[10]的匹配特征，并采用基于K-D樹的最近鄰搜索BBF算法得到特征點(diǎn)之間的匹配關(guān)系。采用基于RANSAC方法，以Sampson距離劃分局內(nèi)點(diǎn)和局外點(diǎn)來提高算法的魯棒性。最后，采用加權(quán)平均法對關(guān)鍵幀進(jìn)行融合。

1 全景圖像采集方法概述

集裝箱卡車在進(jìn)入車道口時(shí)，集裝箱圖像采集開始工作，通過5個(gè)相機(jī)分別抓拍集裝箱的左、頂、右、前、后箱的視頻流和圖像。在這個(gè)過程中，攝像機(jī)是靜止的，而集卡是運(yùn)動(dòng)的，運(yùn)用幀之間紋理特征相鄰兩幀間的差異選取關(guān)鍵幀，然后進(jìn)行圖像拼接。這樣，當(dāng)集裝箱卡車駛離視頻區(qū)域時(shí)，就可以得到最后的集裝箱卡車完整圖片。視頻流全景圖像拼接中幀到幀拼接圖像方式是采用增量更新的方法，全景圖像生成過程中不會(huì)造成運(yùn)動(dòng)目標(biāo)的突然消失。首先選取關(guān)鍵幀I■x，y，然后計(jì)算當(dāng)前關(guān)鍵幀與之前接圖像間的變換關(guān)系。最后拼接到之前的拼接的圖像I■x，y結(jié)果如圖1所示。

集裝箱全景圖像采集系統(tǒng)主要由網(wǎng)絡(luò)攝像機(jī)、千兆交換機(jī)、NVR、紅外對射開關(guān)、泛光燈、PLC、服務(wù)器組成。圖像采集服務(wù)器根據(jù)PLC信號對視頻進(jìn)行提取。網(wǎng)絡(luò)攝像機(jī)作為視頻監(jiān)控系統(tǒng)部分，完成視頻的采集、壓縮和簡單處理功能。網(wǎng)絡(luò)攝像機(jī)通過交換機(jī)將數(shù)字化的圖像數(shù)據(jù)送到硬盤錄像機(jī)。經(jīng)裁剪、比例壓縮及數(shù)據(jù)格式轉(zhuǎn)換后，數(shù)據(jù)傳輸于工控機(jī)。系統(tǒng)設(shè)備安裝關(guān)系如圖2所示。

2 車輛定位與圖像采集

2.1 車輛定位與圖像采集

當(dāng)一輛載有集裝箱的卡車通過通道的大門時(shí)，因?yàn)榧t外觸發(fā)器的高度小于集裝箱上沿的最低高度，所以在卡車前行的過程中會(huì)發(fā)生遮擋和連通的兩種狀態(tài)，拍攝就是利用這兩種狀態(tài)的變化進(jìn)行圖像和視頻流的采集。集裝箱的長箱、雙箱、短箱也是根據(jù)紅外對射開關(guān)觸發(fā)情況區(qū)分。本節(jié)設(shè)計(jì)中只要A■、A■、A■、A■中間一個(gè)發(fā)生通斷即判斷為雙箱，這大大提高箱型區(qū)分準(zhǔn)確率。集裝箱圖像采集過程如流程圖3所示。

當(dāng)卡車上裝載的集裝箱為雙箱時(shí)，在車行進(jìn)中A■觸發(fā)器由接通變?yōu)檎趽?，A■觸發(fā)器變化接通→遮擋→接通→遮擋。同時(shí)后面的A■、A■觸發(fā)器都被遮擋，則L■觸發(fā)拍照，L■、L■、L■同時(shí)被觸發(fā)錄像。即前面相機(jī)觸發(fā)拍照，左、上、下3個(gè)相機(jī)觸發(fā)開始錄像。行進(jìn)過程A■、A■觸發(fā)器接通，則L■觸發(fā)拍照，L■、L■、L■同時(shí)被觸發(fā)結(jié)束錄像。同時(shí)根據(jù)A■、A■、A■、A■的觸發(fā)情況判斷為雙箱。雙箱相機(jī)控制時(shí)機(jī)如圖4所示。

當(dāng)卡車上裝載的集裝箱為長箱時(shí)，在車行進(jìn)中A■觸發(fā)器由接通變?yōu)檎趽酰珹■觸發(fā)器變化接通→遮擋。同時(shí)后面的A■、A■觸發(fā)器都被遮擋，則L■觸發(fā)拍照，L■、L■、L■同時(shí)被觸發(fā)錄像。即前面相機(jī)觸發(fā)拍照，左、上、下3個(gè)相機(jī)觸發(fā)開始錄像。行進(jìn)過程中行進(jìn)過程A■、A■觸發(fā)器接通，則L■觸發(fā)拍照，L■、L■、L■同時(shí)被觸發(fā)結(jié)束錄像。同時(shí)根據(jù)A■、A■、A■、A■的觸發(fā)情況判斷為長箱。長箱相機(jī)控制圖如雙箱。

當(dāng)卡車上裝載的集裝箱為單箱時(shí)，在車行進(jìn)中A■觸發(fā)器由接通變?yōu)檎趽?，A■觸發(fā)器變化接通→遮擋→接通。同時(shí)后面的A■、A■觸發(fā)器都被遮擋，則L■觸發(fā)拍照，

L■、L■、L■同時(shí)被觸發(fā)錄像。即前面相機(jī)觸發(fā)拍照，左、上、下3個(gè)相機(jī)觸發(fā)開始錄像。行進(jìn)過程中行進(jìn)過程

A■、A■觸發(fā)器接通，則L■觸發(fā)拍照，L■、L■、L■同時(shí)被觸發(fā)結(jié)束錄像。同時(shí)根據(jù)A■、A■、A■、A■的觸發(fā)情況判斷為單箱。單箱相機(jī)控制時(shí)機(jī)如圖5所示。

2.2 PLC與上位軟件控制相機(jī)方法

每個(gè)車道的千兆路由器與網(wǎng)絡(luò)攝像機(jī)相連：定義拍攝前方的攝像機(jī)為L■，拍攝后方的攝像機(jī)為L■，拍攝左方的攝像機(jī)為L■，拍攝上方的攝像機(jī)為L■，拍攝右方的攝像機(jī)為L■。對于何時(shí)拍照的判斷過程是由PLC系統(tǒng)完成。上位軟件通過與PLC的協(xié)議進(jìn)行控制相機(jī)進(jìn)行拍照。

定義相機(jī)的拍照相機(jī)命令為1，相對相機(jī)不需要拍照的命令為0；相機(jī)錄像開始為11，相機(jī)結(jié)束錄像為00。以相機(jī)L■、

L■、L■、L■、L■的命令邏輯狀態(tài)組成4位二進(jìn)制數(shù)據(jù)。通過PLC將相機(jī)拍照命令發(fā)送給全景照片采集服務(wù)器。4對紅外對射開關(guān)，代號分別為：A■、A■、A■、A■。對射開關(guān)動(dòng)作為0或1：當(dāng)條件為1時(shí)觸發(fā)器接通，反之0時(shí)觸發(fā)器被遮擋。其觸發(fā)狀態(tài)標(biāo)志是邏輯0，接通標(biāo)志狀態(tài)是邏輯1；PLC通過紅外觸發(fā)器的邏輯狀態(tài)來進(jìn)行集裝箱車類型及位置判斷。表1為標(biāo)準(zhǔn)車3種情況下，箱號識(shí)別PLC與上位軟件控制相機(jī)通信協(xié)議。

3 全景圖像拼接

3.1 視頻序列關(guān)鍵幀的選取

集裝箱卡車通過智能大門時(shí)候，攝像機(jī)采集到的視頻序列的幀之間有重合部分。考慮視頻序列紋理特性相似特性選取關(guān)鍵幀[11]。目前描述紋理特征的算法很多，本文考慮使用二階矩、熵和局部平穩(wěn)性等3個(gè)特征，由此它們構(gòu)造的紋理特征向量V為：

V=f■，f■，f■ （1）

其中：

f■=∑■■∑■■P■i，j■ （2）

f■為二階矩陣特征；

f■=∑■■∑■■P■i，jlogP■i，j （3）

f■為熵特征；

f■=∑■■∑■■■P■i，j （4）

f■為局部平穩(wěn)特征。

假設(shè)當(dāng)前關(guān)鍵幀為i，下一個(gè)需要比較的幀編號為j，兩個(gè)幀之間的相似度如式（5）所示：

di，j=V■-V■≥T （5）

其中：i，ji≠j為視頻序列號；T是相似度量的閾值，鄰圖像的位姿信息的精確度只需滿足重合區(qū)域大于30%，而通常的采集頻率可保證的重合區(qū)域?yàn)?0%。可以看出，兩幀相鄰越近，其相似度越大，差值di，j越小，而隨著幀之間的距離增加，相似度減小、差值逐漸增大。當(dāng)di，j≥T，選取j幀為關(guān)鍵幀；否則，i繼續(xù)為當(dāng)前關(guān)鍵幀，與下一采集到幀繼續(xù)計(jì)算相似度，用于選取下一關(guān)鍵幀。

為了提高圖片質(zhì)量，第一幀、最后一幀均為關(guān)鍵幀。也就是紅外對射開關(guān)觸發(fā)開始，采集視頻中第一幀；結(jié)束觸發(fā)時(shí)不管di，j≥T是否成立，均選取最后關(guān)鍵幀。

3.2 關(guān)鍵幀的特征選取和配準(zhǔn)

系統(tǒng)中相機(jī)是固定的，在相鄰幀之間會(huì)有相對較小的幾何變換，主要空間變換有剛性、仿射、透視4種模型。根據(jù)齊次坐標(biāo)，用式（6）描述上述關(guān)系模型。

■=H■×■=■×■ （6）

其中：x，y，1■和x■，y■，1■分別為相鄰兩關(guān)鍵幀視圖的齊次坐標(biāo)。圖像配準(zhǔn)最終目的就是求出這8個(gè)參數(shù)值。

本文圖像采集是集裝箱卡車通過車道，紅外對射開關(guān)給出起止信號，從中選取關(guān)鍵幀。由于車輛基本平穩(wěn)通過車道，車輛行進(jìn)中，圖像采集范圍基本不變，兩個(gè)相鄰關(guān)鍵幀間也會(huì)出現(xiàn)透視變換。透視變換矩陣H如式（7）所示：

H■=■ （7）

其中8個(gè)參數(shù)h■、h■、h■、h■、h■、h■、h■、h■都是未知。所以需要至少4對SURF特征匹配點(diǎn)，設(shè)為x■，y■， x■，y■， x■，y■， x■，y■和x■■，y■■， x■■，y■■， x■■，y■■， x■■，y■■，具體估算方法如式（8）所示：

■×■=■ （8）

當(dāng)確定相鄰關(guān)鍵幀之間的幾何關(guān)系后，本文在兩個(gè)關(guān)鍵幀中選擇前一個(gè)作為基準(zhǔn)圖像，然后將其他非基準(zhǔn)圖像根據(jù)變換模型轉(zhuǎn)換到基準(zhǔn)圖像的坐標(biāo)系中。

圖像的匹配中，相比SIFT算法，SURF的特征點(diǎn)對光照、尺度、旋轉(zhuǎn)具有不變性，在保證獨(dú)特性、重復(fù)度、魯棒性的同時(shí)，計(jì)算速度上有明顯優(yōu)勢。因此方法適合需要快速運(yùn)算的智能大門系統(tǒng)，本論文提取柱面投影后的關(guān)鍵幀的SURF特征點(diǎn)。然后，使用隨機(jī)抽樣一致算法尋找RANSAC兩幅圖像間的最佳的匹配點(diǎn)，并剔除誤匹配點(diǎn)。

3.3 關(guān)鍵幀的融合

當(dāng)兩個(gè)幀統(tǒng)一坐標(biāo)后，本文為了使過度的更加融洽，先從關(guān)鍵幀的公共重疊區(qū)域找出最優(yōu)拼接線，然后使用圖像融合技術(shù)將它們?nèi)诤系揭黄稹榉乐钩霈F(xiàn)明顯縫合線，獲得較快處理速度，本論文采用加權(quán)平均法對關(guān)鍵幀進(jìn)行融合。選取適當(dāng)?shù)臋?quán)值函數(shù)，可實(shí)現(xiàn)重疊區(qū)域平滑過度。

對于最佳縫合線準(zhǔn)則主要從顏色和結(jié)構(gòu)兩個(gè)方面定義。從顏色差異看，兩幅圖像Fx，y和Gx，y重疊區(qū)域做差，得到差值圖像D■x，如式（9）：

D■x=Fx，y-Gx，y （9）

結(jié)構(gòu)上，兩關(guān)鍵幀F(xiàn)x，y和Gx，y重疊區(qū)域分別在x和y方向上求梯度，并構(gòu)造梯度差異算子D■x，如式（10）：

D■x=？塄■Fx，y-？塄■Gx，y×？塄■Fx，y-？塄■Gx，y （10）

其中：梯度可通過對圖像Fx，y和Gx，y的重疊區(qū)域利用Sobel算子S■和S■分別求取垂直和水平方向梯度值，記為？塄■Fx，y、？塄■Fx，y和？塄■Gx，y、？塄■Gx，y。

S■=■ S■=■

整合顏色與結(jié)構(gòu)差異，得到式（11）：

D■x=D■x+D■x （11）

該結(jié)果構(gòu)成一個(gè)鄰接矩陣。至此縫合線的定義準(zhǔn)則準(zhǔn)備工作完成。

根據(jù)顏色結(jié)構(gòu)整合的式子中，得到差值圖像。首先在差值圖像中從第一行選擇值最小的10個(gè)像素點(diǎn)作為起點(diǎn)，從這些起點(diǎn)開始往下傳播到最后一行，各自走過一條從上到下的路徑。根據(jù)這個(gè)規(guī)則，每個(gè)起點(diǎn)都可以生成一條路徑，在生成的路徑中選擇差異最小的一條路徑作為最佳縫合線。其具體生成的步驟如下：

（1）選擇第一行10個(gè)差異最小的像素作為初始生長點(diǎn)。

（2）當(dāng)縫合線路徑生長至第i行時(shí)，選擇與生長點(diǎn)x，y，相鄰下一行x-1，y+1、x，y+1、x+1，y+13個(gè)像素點(diǎn)。當(dāng)前生長點(diǎn)強(qiáng)度與其和最小的作為下一行生長方向。

（3）所有縫合線生長最后一行，從中選擇差值強(qiáng)度最小路徑作為最佳縫合線。

為了使縫合線過度更加完美，相鄰兩關(guān)鍵幀F(xiàn)x，y和Gx，y，在最佳縫合線的基礎(chǔ)上，對其基本算法進(jìn)行改進(jìn)：兩邊構(gòu)造一個(gè)縫合線過度帶，通過距離加權(quán)融合使得其在縫合線處過度得更平滑，主要有以下步驟：

（1）相鄰兩關(guān)鍵幀F(xiàn)x，y和Gx，y，分別建立一個(gè)二值圖像表示初始化權(quán)重矩陣T■x，y和T■x，y，對T■x，y縫合線兩側(cè)為1和0，同理，T■x，y兩側(cè)分別為0和1。

（2）定義距離變換函數(shù)Dpx，y，對T■x，y和T■x，y變換，如式（12）。

Dpx，y=mindisp，q （12）

其中：p∈非0像素集、q∈0像素集，距離函數(shù)定義為街區(qū)距離，如式（13）。

dispx■，y■，qx■，y■=x■-x■+y■-y■ （13）

其中：Dpx，y本質(zhì)就是，計(jì)算初始化權(quán)重矩陣中，所有非零像素點(diǎn)到其相鄰的最近零像素點(diǎn)的距離，如圖6所示：

（3）通過閾值ε∈（0，1]設(shè)定平滑過度帶大小，分別計(jì)算對應(yīng)圖像Fx，y和Gx，y新過度融合權(quán)重α■x，y和α■x，y，歸一化0～1之間，如式（14）。

■ （14）

（4）最終計(jì)算融合兩幀圖像，如式（15）。

I■=■ （15）

本論文首先融合前兩個(gè)關(guān)鍵幀，用融合后的圖像作為基準(zhǔn)圖像繼續(xù)與下一個(gè)關(guān)鍵幀配準(zhǔn)和融合。

4 實(shí)驗(yàn)結(jié)果分析與總結(jié)

4.1 實(shí)驗(yàn)結(jié)果分析

根據(jù)本文研究，本章為了驗(yàn)證本章算法的性能與可行性，實(shí)驗(yàn)程序在CPU為G2120，2G內(nèi)存的PC機(jī)上運(yùn)行C#算法實(shí)現(xiàn)上述算法。選取相鄰兩關(guān)鍵幀進(jìn)行SURF特征點(diǎn)提取，兩幀圖片像素分別為：500×500。如圖7所示，檢測知左側(cè)圖像380個(gè)特征點(diǎn)，右側(cè)圖像467個(gè)特征點(diǎn)；匹配個(gè)數(shù)有380對；匹配點(diǎn)最大距離0.564785，最小距離0.0664676。

然后利用BBF算法近似搜索兩幀特征點(diǎn)，最終搜索到的匹配結(jié)果可能會(huì)存在的冗余和錯(cuò)誤匹配，對粗匹配得到的SURF特征點(diǎn)采用RANSAC進(jìn)行篩選，特征點(diǎn)匹配項(xiàng)變?yōu)?3對，如圖8所示。

將一側(cè)所有關(guān)鍵幀圖像融合后，可以看出通過加權(quán)平均數(shù)獲得景圖片無明顯拼接痕跡，如圖9所示。

4.2 總 結(jié)

本文提出集裝箱智能大門的全景圖像采集，主要對車輛定位與全景圖像采集、圖像拼接方法進(jìn)行了研究并對方案進(jìn)行設(shè)計(jì)，由實(shí)驗(yàn)可知本文提出方法能夠得到質(zhì)量較高的全景圖像。當(dāng)然全景圖像拼接技術(shù)，也會(huì)受天氣、光線影響出現(xiàn)錯(cuò)誤匹配與拼接，后續(xù)應(yīng)提高智能大門補(bǔ)光問題；系統(tǒng)處理方面，應(yīng)考慮GPU進(jìn)一步提高圖像采集速度。

參考文獻(xiàn)：

[1] 王任祥. 現(xiàn)代港口物流管理[M]. 上海：同濟(jì)大學(xué)出版社，2007.

[2] Ho S， David P. Automatic generation of 360 degree panorama from image sequences[J]. Proceedings of SPIE-The International Society for Optical Engineering， 2008，7073：70731J-70731J-9.

[3] 宋寶森. 全景圖像拼接方法研究與實(shí)現(xiàn)[D]. 哈爾濱：哈爾濱工程大學(xué)（博士學(xué)位論文），2012.

[4] Kuglin C D. The phase correlation image alignment method[J]. Proc. intl Conf. cybernetics & Society， 1975（5）：163-165.

[5] Reddy B S， Chatterji B N. An FFT-based technique for translation， rotation， and scale-invariant image registration[J]. IEEE Transactions on Image Processing， 1996，5（8）：1266.

[6] 鄭志彬，葉中付. 基于相位相關(guān)的圖像配準(zhǔn)算法[J]. 數(shù)據(jù)采集與處理，2006，21（4）：444-449.

[7] 張?jiān)品? 基于DSP的實(shí)時(shí)圖像拼接技術(shù)[J]. 液晶與顯示，2013，28（6）：963-967.

[8] 宋戈. 動(dòng)態(tài)視頻拼接技術(shù)的研究與實(shí)現(xiàn)[D]. 北京：北京化工大學(xué)（碩士學(xué)位論文），2014.

[9] Bay H， Tuytelaars T， Gool L V. SURF： Speeded Up Robust Features[C] // Computer Vision ECCV， 2006.

[10] 吳子章. 一種基于柱面投影的圖像拼接算法研究[J]. 計(jì)算機(jī)光盤軟件與應(yīng)用，2011（5）：168.

[11] 劉李緯. 基于特征的多路視頻實(shí)時(shí)拼接技術(shù)的研究與實(shí)現(xiàn)[D]. 北京：北京工業(yè)大學(xué)（碩士學(xué)位論文），2015.