衛(wèi)小強(qiáng)

摘 要：本文設(shè)計(jì)一套多源多模式的圖像融合系統(tǒng)。信息的多源化和冗余性為圖像處理的最終質(zhì)量提供了保證。筆者提出了相應(yīng)的融合策略，以便為眾多信息融合時(shí)實(shí)現(xiàn)快速、可靠的整合提供解決思路。

關(guān)鍵詞：冗余性;激光測(cè)距;多源性;Curvelet

中圖分類號(hào)：TN223文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1003-5168（2020）20-0019-02

Abstract： This paper designed a multi-source and multi-mode image fusion system. The multi-source and redundancy of information provided a guarantee for the final quality of image processing. The author proposed a corresponding fusion strategy in order to provide a solution for the realization of rapid and reliable integration of many information fusion.

Keywords： redundancy;laser ranging;multi-source;Curvelet

隨著微電子技術(shù)與傳感器技術(shù)的發(fā)展，人們可以通過不同模式的傳感器獲得感興趣的目標(biāo)場(chǎng)景。這些傳感器可以是可見光學(xué)攝像頭，也可是紅外、微光等不可見光的攝像裝置?？梢姽忸悅鞲衅鞯膬?yōu)點(diǎn)是圖像日間的分辨率高，場(chǎng)景的細(xì)節(jié)信息量大;不可見光的傳感器分辨率普遍較低，但夜間獲取目標(biāo)對(duì)象的敏感度高，這些是光學(xué)傳感器所不具備的[1-2]。將兩者有機(jī)結(jié)合，可將各自優(yōu)點(diǎn)互相融合，同時(shí)增加信息冗余度，這樣才能更全面、真實(shí)地反映所描述的客觀內(nèi)容。但是，多模式又帶來無法避免的信息量大、處理耗時(shí)的問題。人們需要通過一定的方法，在大量多來源的信息中快速分離感興趣的目標(biāo)對(duì)象信息，通過融合策略對(duì)這些多模式目標(biāo)信息進(jìn)行整合，使新生成目標(biāo)既具有光學(xué)傳感器分辨率高、細(xì)節(jié)豐富的優(yōu)點(diǎn)，又具備不可見光傳感器高亮色彩可獲得的優(yōu)點(diǎn)，即最終獲得的目標(biāo)圖像既具有自然色，符合人類的視覺感官，又具有醒目的高亮色，尤其在夜色中，類似對(duì)目標(biāo)進(jìn)行備注，突出目標(biāo)重點(diǎn)。

1 左側(cè)短時(shí)間間隔內(nèi)的單目彩色光學(xué)攝像機(jī)的連拍信息的冗余性

使用一臺(tái)光學(xué)彩色攝像機(jī)在短時(shí)間內(nèi)連拍若干張同一場(chǎng)景的目標(biāo)圖像，當(dāng)然針對(duì)的是緩變的目標(biāo)場(chǎng)景。這些圖像來源于同一臺(tái)攝像裝置，所以一般融合時(shí)無須配準(zhǔn)，分辨率一致[3-4]。在連拍過程中，將其聚焦點(diǎn)與曝光條件適當(dāng)?shù)乳g距化，這樣融合為一張圖像時(shí)形成不同聚焦和曝光的冗余信息。通過一定的融合策略，人們可以得到各個(gè)部分都聚焦良好的清晰圖像，即全局都為聚焦且光線充足的圖像，這樣充分利用了單臺(tái)攝像機(jī)的資源與潛力。

融合策略可采用像素級(jí)融合。它可以直接對(duì)多幅圖像的相應(yīng)信息進(jìn)行處理，優(yōu)點(diǎn)是因?yàn)閱文慷喾粓?chǎng)景，配準(zhǔn)精度非常高，能提供多目攝像機(jī)無法獲得的豐富、精確且可靠性高的信息。但缺點(diǎn)是信息量大，處理耗時(shí)，實(shí)用性受限。所以，要限制其連拍的幅數(shù)，同時(shí)必須在極短的時(shí)間內(nèi)完成，這在一定范圍內(nèi)要受到攝像機(jī)連拍速度的制約。同時(shí)，其對(duì)目標(biāo)對(duì)象也有要求，在短時(shí)間間隔內(nèi)不能劇烈變化，所以主要針對(duì)緩變目標(biāo)。

2 右側(cè)單目前視紅外圖像

紅外攝像裝置與可見光攝像裝置的成像原理不同，后者主要根據(jù)目標(biāo)圖像光譜的散射、反射等成像，而前者主要根據(jù)接受目標(biāo)的熱輻射強(qiáng)弱特性成像。可見光裝置分辨率高，所以背景信息量大，能較好地反映環(huán)境的細(xì)節(jié)。而紅外成像對(duì)環(huán)境不敏感，將可見光與紅外攝像頭結(jié)合，能更好地表征目標(biāo)場(chǎng)景的詳盡信息，既提高目標(biāo)的識(shí)別性，又可解釋目標(biāo)與環(huán)境的關(guān)聯(lián)，進(jìn)一步增加觀察者對(duì)目標(biāo)行為的理解力。

3 激光測(cè)距輔助裝置下的左側(cè)光學(xué)攝像機(jī)與右側(cè)前視紅外攝像機(jī)的相互融合

激光測(cè)距處于左側(cè)光學(xué)攝像機(jī)和右側(cè)前視紅外攝像機(jī)之間連線的中點(diǎn)位置。在攝像機(jī)對(duì)目標(biāo)場(chǎng)景的拍攝中，激光測(cè)距記錄大量的目標(biāo)及場(chǎng)景深度測(cè)量數(shù)據(jù)，通過這些深度數(shù)據(jù)的積累進(jìn)行并行數(shù)據(jù)處理，再設(shè)置合適閾值分類，對(duì)圖像中的各個(gè)目標(biāo)進(jìn)行分割，這樣就不必對(duì)整幅圖像進(jìn)行融合，真正的融合對(duì)象是目標(biāo)本身。這種圖像分割方式的魯棒性、可靠性均較高，它可以大量節(jié)約后面的融合時(shí)間，以便后續(xù)只針對(duì)目標(biāo)進(jìn)行多模的圖像融合，即在激光測(cè)距的輔助下，將圖像融合轉(zhuǎn)變?yōu)閳D像中特定目標(biāo)區(qū)域的融合。這種方法可以解決圖像融合中耗時(shí)、無法實(shí)時(shí)處理的問題，同時(shí)因?yàn)槿诤蠀^(qū)域小，可采用一些計(jì)算復(fù)雜、精確度要求高的融合方法。

4 雙模式下的圖像融合策略——Curvelrt變換

Curvelet變換是一種在小波變換基礎(chǔ)上發(fā)展而來的多分辨率、多尺度的幾何分析方法。它既繼承了小波變換的多分辨率、多尺度的優(yōu)點(diǎn)，又增加了前者所不具備的多方向性的各向異性特征。圖像表征比小波變換更接近真實(shí)目標(biāo)，減少了配準(zhǔn)誤差。

基于激光測(cè)距的圖像，對(duì)獲得的可見光圖像與紅外圖像進(jìn)行分割，然后進(jìn)行感興趣目標(biāo)區(qū)域的融合算法設(shè)計(jì)。

采用非下降沿Cuevelet變換，將可見光圖像[Ivi]和紅外圖像[Iir]區(qū)域分別進(jìn)行多尺度、多方向的分解，可依次獲得[Ivi]和[Iir]區(qū)域的NSCT系數(shù)，這些系數(shù)包括低頻子帶系數(shù)[Cj0（m，n）]和各個(gè)帶通方向子帶系數(shù)[Cj，l（m，n）]。采用分別不同的融合策略，對(duì)可見光圖像和紅外圖像的低頻子帶系數(shù)、各個(gè)帶通子帶系數(shù)進(jìn)行融合。

將融合結(jié)果進(jìn)行Cuevelet反變換，可得最終融合圖像，融合規(guī)則如下。

一是低頻子帶系數(shù)融合采用可見光圖像和紅外圖像加權(quán)與平均相結(jié)合的計(jì)算方法，具體計(jì)算公式為：

二是帶通方向子帶系數(shù)融合計(jì)算方法。首先計(jì)算相應(yīng)區(qū)域的區(qū)域能量系數(shù)[EIvij，l]、[EIirj，l]。當(dāng)兩幅圖像相關(guān)性較強(qiáng)時(shí)，采用互相補(bǔ)償?shù)姆椒ǎM(jìn)行加權(quán)平均。當(dāng)兩個(gè)來源圖像相關(guān)性較弱時(shí)，選擇能量較大一方代表最終結(jié)果。這樣比較能反映更多的信息，符合人類對(duì)清晰事物的認(rèn)知。

參考文獻(xiàn)：

[1]Cuihong Qu，Dali Zhang，Pingfan Yan.Medical image fusion by wavelet transform modulus maxima[J].Optics Express，2001（4）：184-190.

[2]毛士藝，趙魏.多傳感器圖像融合技術(shù)綜述[J].北京航空航天大學(xué)學(xué)報(bào)，2002（5）：512-518.

[3]吳良華.多傳感器圖像融合算法研究[D].長(zhǎng)沙：國(guó)防科技大學(xué)，2005.

[4]李勇.基于多尺度分解的多源圖像融合算法研究[D].長(zhǎng)春：吉林大學(xué)，2010.