崔克彬，苑津莎，李寶樹

（1.華北電力大學(xué)控制與計(jì)算機(jī)工程學(xué)院，河北 保定071003；2.華北電力大學(xué)電氣與電子工程學(xué)院，河北 保定071003）

1 引言

全景圖像拼接是近年來計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)問題，通過將相互間存在重疊區(qū)域的圖像序列實(shí)施配準(zhǔn)和融合，并最終形成一幅包含各圖像信息的寬視野的、完整的、高分辨率的新圖像。為了保證圖像序列的正確拼接，必須確定其拍攝順序，然而，由于拍攝以及后續(xù)的存儲(chǔ)和處理等過程中圖像的排列順序可能會(huì)變得混亂，致使不能直接進(jìn)行全景圖像的拼接。目前，國內(nèi)外涌現(xiàn)出多種全景圖像拼接算法［1～5］，但這些算法在進(jìn)行拼接前已經(jīng)知道圖像序列的拍攝順序，如果圖像序列的順序被打亂，則需手工調(diào)整排列順序。

為了避免人工排序費(fèi)時(shí)費(fèi)力的缺點(diǎn)，利用計(jì)算機(jī)進(jìn)行圖像序列的自動(dòng)排序算法被提出。較早關(guān)注圖像序列自動(dòng)排序的是文獻(xiàn)［6］，算法使用等距離的思想使圖像對齊，對齊過程中使用了平移運(yùn)動(dòng)模型，但該算法要求相機(jī)在拍攝過程中要保持近乎絕對平移，在實(shí)際應(yīng)用中很難做到。文獻(xiàn)［7～10］提出了利用相位相關(guān)法實(shí)現(xiàn)序列圖像的自動(dòng)排序，但文獻(xiàn)［7］在確定頭尾圖像時(shí)需人工設(shè)定閾值，閾值的大小影響排序效果，不能實(shí)現(xiàn)自動(dòng)化；文獻(xiàn)［8］可實(shí)現(xiàn)頭尾圖像的自動(dòng)識(shí)別，但無法完成圖像大小不同的序列的自動(dòng)排序；文獻(xiàn)［9］也可實(shí)現(xiàn)序列圖像的快速、自動(dòng)排序，但要求圖像的大小相同；文獻(xiàn)［10］提出了針對不同圖像大小的圖像序列的自動(dòng)排序，但并沒有考慮在拍攝過程中出現(xiàn)的橫拍、豎拍交替拍攝的情況。總體來看，這些算法中，相位相關(guān)或其改進(jìn)算法被廣泛應(yīng)用到自動(dòng)排序中，但這些方法均未考慮拍攝過程中相機(jī)翻轉(zhuǎn)造成的影響。

上述算法存在不能處理拍攝尺寸大小不同或存在圖像旋轉(zhuǎn)的圖像序列的不足，本文，根據(jù)Hu矩對圖像旋轉(zhuǎn)具有不變性的特點(diǎn)，定義了Hu矩向量相似度，將其引入圖像序列自動(dòng)排序，解決了這一不足。

2 Hu不變矩

Hu在1962年提出用于描述圖像特征的Hu不變矩［11］。矩在統(tǒng)計(jì)學(xué)中表征隨機(jī)量的分布，一幅灰度圖像可以用二維灰度密度函數(shù)來表示，因此可以用矩來描述灰度圖像的特征。

一幅M×N的數(shù)字圖像f（i，j），其p＋q階幾何矩mpq和中心矩μpq的定義見公式（1）和公式（2）：

其中，p，q＝0，1，2，…；

為了消除圖像比例變化帶來的影響，定義規(guī)格化中心矩ηpq，見公式（3）：

利用二階和三階中心矩可以導(dǎo)出式（4）～式（10）的七個(gè)不變矩，它們在圖像平移、旋轉(zhuǎn)和比例變化時(shí)保持不變。

對一幅圖像求其七個(gè)Hu不變矩，一般得到的結(jié)果為絕對值很小的值，因此，在實(shí)際使用中對其求對數(shù)并取絕對值，即｜logΦi｜，i＝1，2，…，7。圖像的Hu 矩信息可以表征圖像的本質(zhì)特征，因此，可利用其實(shí)現(xiàn)目標(biāo)圖像的識(shí)別［12～15］，但將Hu矩信息應(yīng)用到序列圖像排序中的研究在作者所查閱的文獻(xiàn)中未曾見到。

3 基于Hu矩向量相似度的序列圖像自動(dòng)排序

將需要排序的圖像轉(zhuǎn)換成灰度圖像，根據(jù)Hu的七個(gè)不變矩每幅灰度圖像分別求其七個(gè)Hu矩，定義向量HV表示圖像的特征。式（11）給出了Hu矩向量HV的定義。

如果兩幅圖像之間有重疊，則其HV就越相似。對于向量的相似度度量，一般選用歐氏距離法。歐氏距離是一個(gè)通常采用的距離定義，是在m維空間中兩個(gè)點(diǎn)的真實(shí)距離。式（12）利用歐氏距離法定義了兩幅圖像的Hu矩向量的相似度HVS（Hu Vector Similarity）：

其中，i、j表示圖像序列的編號(hào)，HVS值越小，表示兩幅圖的Hu矩向量越相似。則兩幅圖像越相似。當(dāng)兩幅圖像完全相同時(shí)，其HVS為0，一般地，為了保證兩幅圖像有一定的重疊，以重疊1/4到1/3為宜。

算法具體步驟為（假定序列圖像為n幅）：

（1）確定序列圖像的頭和尾。

①計(jì)算每幅圖像和其他n－1 幅圖像的HVS。

②對每幅圖像選取HVS最小的兩個(gè)，共2n個(gè)值。因?yàn)閷τ陬^圖像和尾圖像，其相鄰圖像為一幅，對于中間圖像，其相鄰圖像為兩幅，選取過程中頭尾圖像按兩個(gè)相鄰圖像進(jìn)行選取。

③找到2n個(gè)值中最大的兩個(gè)，這兩個(gè)值對應(yīng)的是圖像序列的頭和尾。因?yàn)樵谶@2n個(gè)值中包含兩個(gè)與頭尾圖像并沒有重疊的圖像的HVS，因此它們是最大的兩個(gè)。

④圖像序列中除頭尾圖像外，其他為中間圖像。

（2）序列圖像的排序。

①從頭、尾圖像中任選一幅作為圖像序列的開始圖像，利用HVS的值找到與其相連的第二幅圖像。

②根據(jù)第二幅圖像的信息，去除與其相連的第一幅（頭圖像），另一個(gè)HVS代表的則是第三幅圖像，以此類推，直到所有的圖像排序完成。

該方法較相位差方法簡單，只是利用現(xiàn)有圖像間的HVS即可完成排序，而不必判斷圖像的左右關(guān)系，可直接應(yīng)用到相位相關(guān)算法中，替換原來的求相位差判斷兩幅圖像左右關(guān)系的步驟。

4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)1正常拍攝圖像實(shí)驗(yàn)。

這里所說的正常拍攝是指在拍攝過程中，相機(jī)拍攝角度不能調(diào)整，即在始終保持橫拍或豎拍一種姿勢。

圖1是正常拍攝的五幅圖像，順序已打亂，圖像大小為519×389。

Figure 1 Unordered image set圖1 順序打亂的五幅圖像

分別計(jì)算圖1中五幅圖像的Hu矩信息，得到表1中各圖像的Hu矩信息。

Table 1 Hu moment information of the images表1 各圖像的Hu矩信息

Table 2 HSVvalues of the image set表2 各圖像間的HVS

根據(jù)表1中Hu矩向量信息，利用式（12）計(jì)算各圖像間的HVS，得到表2。HVS具有對稱性，即圖像i和圖像j的HVS與圖像j和圖像i的HVS相同，因此表2中對圖像i和圖像j的HVS只列出了一個(gè)，且圖像i與自身的HVS未列出，未列出用“/”表示。

根據(jù)表2，找到每幅圖像對應(yīng)的最小的兩個(gè)HVS及其對應(yīng)的圖像編號(hào)，構(gòu)造表3。

Table 3 Possible image SNand HSVvalues of the images表3 各圖像可能相鄰的圖像編號(hào)及HVS值

根據(jù)表3中HVS值的情況，確定圖1b和圖1c中存在兩個(gè)最大值，因此可以判斷這兩幅圖像為圖像序列的頭圖像和尾圖像。選定圖1b為頭圖像，則根據(jù)表3中第二列的信息，可推斷出與圖1b相連的是圖1e，接著找到與圖1e的相鄰圖像編號(hào)（包括圖1b 和圖1d），圖1b 已經(jīng)在圖1e的一側(cè)了，因此，圖1e的另一側(cè)應(yīng)該為圖1d，依此類推，直到所有的圖像排序完畢。最終的排序結(jié)果為圖1b→圖1e→圖1d→圖1a→圖1c，圖2給出了排序好的圖像序列。

Figure 2 Sorted image set圖2 排序后的圖像序列

為了驗(yàn)證本文算法的有效性，與文獻(xiàn)［8］中的相位差法做了對比，表4給出了圖像序列的相位相關(guān)信息。

Table 4 Phase correlation information of the image set表4 各圖像相位相關(guān)信息

利用文獻(xiàn)［8］算法分析表4發(fā)現(xiàn)，利用相位相關(guān)方法得到了與本文相同的頭、尾圖像和中間圖像，對于圖像序列的排序，利用本文給出的方法或是相位差法均可得到和本文一致的排序結(jié)果。假定圖像的大小為M×N，利用相位差方法時(shí)由于用到了卷積，其時(shí)間復(fù)雜度為O（（M×N）2）級(jí)，而本文求Hu矩采用的是點(diǎn)乘的方式，其時(shí)間復(fù)雜度為O（M×N）級(jí)，算法時(shí)間復(fù)雜度上本文給出的算法較優(yōu)。

實(shí)驗(yàn)2將圖像序列的某一幅圖像右旋轉(zhuǎn)90°的實(shí)驗(yàn)

在進(jìn)行圖像拍攝時(shí)經(jīng)常出現(xiàn)橫拍和豎拍交替進(jìn)行的情況，如果圖像序列中出現(xiàn)了同時(shí)包含這兩種拍攝方式時(shí)，則拍攝圖像的尺寸大小不同。對于這種情況，文獻(xiàn)［10］給出了一種改進(jìn)的相位差法用于計(jì)算相位相關(guān)，該方法通過將兩幅圖像補(bǔ)零的方式達(dá)到尺寸大小一致，但這無疑增加了算法本身的時(shí)間復(fù)雜度，同時(shí)，該文獻(xiàn)中大小不同的兩幅圖像也不能存在旋轉(zhuǎn)情況。本文給出的算法依靠圖像的Hu矩向量來判斷兩幅圖像的相似性，與圖像本身的大小無關(guān)，且Hu矩向量對圖像的大小具有旋轉(zhuǎn)不變性。因此，在右旋轉(zhuǎn)90°時(shí)，其Hu矩向量不變，因此，其計(jì)算結(jié)果與實(shí)驗(yàn)1完全相同，時(shí)間復(fù)雜度沒有變化，排序結(jié)果也與實(shí)驗(yàn)1完全相同。

實(shí)驗(yàn)3將圖像序列的某一幅圖像旋轉(zhuǎn)180°的實(shí)驗(yàn)。

在進(jìn)行圖像拍攝時(shí)豎拍有頭部向左和向右傾斜兩種方式，可認(rèn)為是旋轉(zhuǎn)180°的情況，因此有必要做旋轉(zhuǎn)180°的實(shí)驗(yàn)，對圖像序列的第一幅圖像旋轉(zhuǎn)180°，重新計(jì)算其與其他圖像的相位相關(guān)信息，計(jì)算結(jié)果見表5。

根據(jù)文獻(xiàn)［8］中的算法分析表5發(fā)現(xiàn)，得到的

結(jié)果與實(shí)驗(yàn)1已不完全相同。而對于本文給出的算法，由于Hu矩向量的旋轉(zhuǎn)不變性，第一幅圖像的Hu矩信息未發(fā)生改變，因此實(shí)驗(yàn)結(jié)果與實(shí)驗(yàn)1完全相同。

Table 5 Phase correlation information of the image set after a right rotation of 180degrees of image a表5 圖1a的圖像右旋轉(zhuǎn)180°后各圖像的相位相關(guān)信息

從上面三組實(shí)驗(yàn)可以看出，基于Hu不變矩的序列圖像自動(dòng)排序算法具有良好的全自動(dòng)排序功能，時(shí)間復(fù)雜度低，且序列圖像尺寸大小不同時(shí)可在不增加時(shí)間復(fù)雜度的情況下正常處理，對于圖旋轉(zhuǎn)180°時(shí)仍能正確給出排列順序。

根據(jù)表3 中HVS值的情況，確定圖1b 和圖1c中存在兩個(gè)最大值，因此可以判斷這兩幅圖像為圖像序列的頭圖像和尾圖像。選定圖1b為頭圖像，則根據(jù)表3中第二列的信息，可推斷出與圖1b相連的是圖1e，接著找到與圖1e的相鄰圖像編號(hào)（包括圖1b 和圖1d），圖1b 已經(jīng)在圖1e的一側(cè)了，因此，圖1e的另一側(cè)應(yīng)該為圖1d，依此類推，直到所有的圖像排序完畢。最終的排序結(jié)果為圖1b→圖1e→圖1d→圖1a→圖1c，圖2給出了排序好的圖像序列。

5 結(jié)束語

本文提出了一種新的對順序雜亂的圖像序列進(jìn)行自動(dòng)排序的算法，利用Hu 矩構(gòu)造了圖像的HVS，根據(jù)圖像間HVS的大小判斷兩幅圖像是否相鄰，并根據(jù)圖像間的相鄰關(guān)系確定圖像序列的順序。實(shí)驗(yàn)結(jié)果表明，算法的魯棒性較強(qiáng)，不僅能針對拍攝尺寸大小相同的圖像序列處理，而且對拍攝過程中出現(xiàn)的拍攝角度旋轉(zhuǎn)90°和180°的情況也能正常處理，具有較強(qiáng)的實(shí)用性，且算法時(shí)間復(fù)雜度低于常見的相位差法。但是，算法在首尾圖像有重疊的情況下并不適用，這也是本文進(jìn)一步要解決的問題之一。

［1］ Yang Fan，Deng Zhen－sheng，F(xiàn)an Qiu－h(huán)ong.A method for fast automated microscope image stitching［J］.Micron，2013，48：17－25.

［2］ Xiong Yin－gen，Pulli K.Fast panorama stitching for highquality panoramic images on mobile phones［J］.IEEE Transactions on Consumer Electronics，2010，56（2）：298－306.

［3］ Zhong Min，Zeng Ji－guo，Xie Xu－sheng.Panorama stitching based on SIFT algorithm and levenberg－marquardt optimization［J］.Physics Procedia，2012，33：811－818.

［4］ Huang Ying－dong，Li Jie，F(xiàn)an Ning－jun.Aerial image mosaic algorithm of MAV［J］.Opto－Electronic Engineering，2008，35（9）：99－104.（in Chinese）

［5］ He Jing，Li Yong－shu，Lu Heng，et al.Research of UAV aerial image mosaic based on SIFT［J］.Opto－Electronic Engineering，2011，38（2）：122－126.（in Chinese）

［6］ Jang K H，Jung S K，Lee M.Constructing cylindrical panoramic image using equidistant matching［J］.Electronics Letters，1999，35（20）：1715－1716.

［7］ Zhao Hui，Chen Hui，Yu Hong.An improved fully－automatic image mosaic algorithm［J］.Journal of Image and Graphics，2007，12（2）：336－342.（in Chinese）

［8］ Zhao Wan－jin，Gong Sheng－rong，Liu Quan，et al.An autosorting arithmetic for image sequence used in image mosaics［J］.Journal of Image and Graphics，2007，12（10）：1861－1864.（in Chinese）

［9］ Song R，Szymanski J.Auto－sorting scheme for image ordering applications in image mosaicing［J］.Electronics Letters，2008，44（13）：798－799.

［10］ Wu Xian－xiang，Guo Bao－long，Wang Juan.An improved automatic image sequencing algorithm［J］.Journal of Optoelectronics·Laser，2009，20（8）：1114－1117.（in Chinese）

［11］ Ming－Kuei H.Visual pattern recognition by moment invariants［J］.IRE Transactions on Information Theory，1962，8（2）：179－187.

［12］ Zhang Ming－h(huán)eng，Han Yue－lin，Zhao Yi－bing，et al.Road traffic signs recognition based on improved Hu moment invariants［J］.Journal of Dalian University of Technology，2012，52（6）：908－913.（in Chinese）

［13］ Zhang Yuan，Cheng Wan－sheng，Zhao Jie.Classification of surface defects of strips based on invariable moment functions［J］.Opto－Electronic Engineering，2008，35（7）：90－94.（in Chinese）

［14］ Zhao Feng－min，Liu Hao，Chen Wang－da.Method for ship target recognition in mid－long range［J］.Laser ＆Infrared，2012，42（9）：1071－1075.（in Chinese）

［15］ Liu Zheng－jun，Li Qi，Wang Qi.Object recognition of ladar range image using combined moment invariants［J］.Chinese Journal of Lasers，2012，39（60）：193－199.（in Chinese）

附中文參考文獻(xiàn)：

［4］ 黃英東，李杰，范寧軍.微小型飛行器航空圖像拼接算法［J］.光電工程，2008，35（9）：99－104.

［5］ 何敬，李永樹，魯恒，等.基于SIFT 特征點(diǎn)的無人機(jī)影像拼接方法研究［J］.光電工程，2011，38（2）：122－126.

［7］ 趙輝，陳輝，于泓.一種改進(jìn)的全景圖自動(dòng)拼接算法［J］.中國圖象圖形學(xué)報(bào)，2007，12（2）：336－342.

［8］ 趙萬金，龔聲蓉，劉全，等.一種用于圖像拼接的圖像序列自動(dòng)排序算 法［J］.中 國 圖 象 圖 形 學(xué) 報(bào)，2007，12（10）：1861－1864.

［10］ 吳憲祥，郭寶龍，王娟.一種改進(jìn)的序列圖像自動(dòng)排序算法［J］.光電子·激光，2009，20（8）：1114－1117.

［12］ 張明恒，韓月林，趙一兵，等.基于改進(jìn)Hu不變矩的路面交通標(biāo)識(shí)識(shí)別［J］.大連理工大學(xué)學(xué)報(bào)，2012，52（6）：908－913.

［13］ 張媛，程萬勝，趙杰.不變矩法分類識(shí)別帶鋼表面的缺陷［J］.光電工程，2008，35（7）：90－94.

［14］ 趙峰民，劉皞，陳望達(dá).中遠(yuǎn)距離艦船目標(biāo)識(shí)別方法研究［J］.激光與紅外，2012，42（9）：1071－1075.

［15］ 劉正君，李琦，王騏.基于組合矩的激光雷達(dá)距離像目標(biāo)識(shí)別［J］.中國激光，2012，39（60）：193－199.