吳文君

（廣州颯特紅外股份有限公司，廣東廣州 510000）

紅外和CCD（電荷耦合元件）圖像的融合過(guò)程中，CCD 圖像分辨率較高，信息量很大，紅外圖像能夠?qū)囟刃畔@示出來(lái)。將兩種圖像相互融合，有助于提升信息顯示的多元化和準(zhǔn)確性。而FPGA（現(xiàn)場(chǎng)可編程門(mén)陣列）則是實(shí)現(xiàn)紅外和CCD 圖像融合的重要算法，科學(xué)合理進(jìn)行FPGA 的設(shè)計(jì)至關(guān)重要，因此，在紅外和CCD 圖像融合的過(guò)程中，需要注重FPGA設(shè)計(jì)，促使圖像融合效果的提升。

1 紅外與CCD圖像融合

紅外與CCD 圖像的融合是指將紅外圖像和CCD圖像進(jìn)行融合，以提高圖像的質(zhì)量和信息內(nèi)容。此類(lèi)研究在多個(gè)領(lǐng)域具有廣泛的應(yīng)用，如軍事、安防、醫(yī)學(xué)等。通常情況下，紅外與CCD 圖像融合的原理如下。

（1）圖像采集。紅外圖像和CCD 圖像是通過(guò)不同的傳感器采集的，紅外圖像主要捕捉目標(biāo)的熱輻射信息，而CCD 圖像則捕捉目標(biāo)的可見(jiàn)光信息。因此，首先需要對(duì)兩種圖像進(jìn)行分別采集。

（2）圖像預(yù)處理。紅外圖像和CCD 圖像在圖像質(zhì)量和特征方面存在差異，因此需要對(duì)兩種圖像進(jìn)行預(yù)處理，以消除噪聲、增強(qiáng)圖像對(duì)比度等。常見(jiàn)的預(yù)處理方法包括濾波、增強(qiáng)及幾何校正等。

（3）圖像配準(zhǔn)。由于紅外圖像和CCD 圖像是通過(guò)不同的傳感器采集的，之間存在一定的幾何畸變和位置偏差。圖像配準(zhǔn)是將兩種圖像對(duì)齊，使其在空間上一一對(duì)應(yīng)，以便后續(xù)的融合處理。

（4）圖像融合。圖像融合是將紅外圖像和CCD圖像的信息相結(jié)合，生成一幅融合圖像。常見(jiàn)的融合方法包括基于像素的融合、基于特征的融合及基于深度學(xué)習(xí)的融合等。可以根據(jù)應(yīng)用需求，選擇合適的融合策略。

（5）圖像評(píng)價(jià)。對(duì)融合圖像進(jìn)行評(píng)價(jià)，以驗(yàn)證融合結(jié)果的質(zhì)量和效果。常用的評(píng)價(jià)指標(biāo)包括結(jié)構(gòu)相似性指標(biāo)（SSIM）、峰值信噪比（PSNR）等。紅外與CCD 圖像的融合旨在綜合利用紅外圖像和CCD 圖像的優(yōu)勢(shì)，提高圖像的識(shí)別和分析能力。通過(guò)融合，可以獲得更全面、更準(zhǔn)確的圖像信息，為相關(guān)領(lǐng)域的應(yīng)用提供更好的支持。

2 紅外與CCD圖像融合的FPGA設(shè)計(jì)

2.1 總體架構(gòu)設(shè)計(jì)

紅外與CCD 圖像融合過(guò)程中采用FPGA 算法，整體架構(gòu)如圖1所示。

圖1 紅外與CCD圖像融合的FPGA設(shè)計(jì)整體架構(gòu)

其中，紅外傳感器主要用來(lái)進(jìn)行灰度信息的讀取，科學(xué)合理進(jìn)行信息的處理。而CCD 傳感器的功能在于進(jìn)行彩色圖像信息的接收，直接進(jìn)行圖像融合操作。對(duì)于紅外圖像而言，需要經(jīng)過(guò)插值放大模塊進(jìn)行放大，使其能夠和CCD 的圖像規(guī)格一致，然后經(jīng)過(guò)彩虹編碼模塊將其轉(zhuǎn)變成為彩色圖像，傳輸?shù)綀D像融合模塊，以FPGA 算法為基礎(chǔ)，進(jìn)行圖像的融合處理，最終FPGA 將完成融合的圖像輸送到顯示屏，使相關(guān)圖像快速顯示出來(lái)。

2.2 FPGA算法的應(yīng)用

2.2.1 插值放大算法

通常情況下，在紅外與CCD 圖像融合中FPGA插值放大算法是常用的圖像處理算法，用于增強(qiáng)圖像的細(xì)節(jié)和對(duì)比度，具體應(yīng)用措施為：①圖像插值計(jì)算。先將紅外圖像和CCD 圖像進(jìn)行配準(zhǔn)，確保兩幅圖像對(duì)齊。再使用FPGA 實(shí)現(xiàn)插值計(jì)算，將紅外圖像與CCD 圖像相減，得到插值圖像，該步驟可以通過(guò)像素級(jí)的減法運(yùn)算實(shí)現(xiàn)。②插值放大。在插值圖像上應(yīng)用插值放大算法，以增強(qiáng)圖像的細(xì)節(jié)和對(duì)比度。插值放大算法可以通過(guò)增加插值圖像中的像素值來(lái)實(shí)現(xiàn)，從而增強(qiáng)圖像的細(xì)節(jié)信息。FPGA 可以通過(guò)并行處理的方式快速實(shí)現(xiàn)插值放大算法，以提高處理速度和效率。③圖像融合。將經(jīng)過(guò)插值放大的插值圖像與紅外圖像進(jìn)行融合，生成最終的融合圖像。融合可以采用像素級(jí)融合或其他融合算法，根據(jù)應(yīng)用需求選擇合適的方法。④實(shí)時(shí)性考慮。在設(shè)計(jì)FPGA 插值放大算法時(shí)，需要考慮算法的實(shí)時(shí)性。插值放大算法可能會(huì)引入一定的計(jì)算復(fù)雜度，因此需要對(duì)FPGA 資源進(jìn)行合理分配和優(yōu)化，以保證系統(tǒng)的實(shí)時(shí)性能。⑤性能評(píng)估。對(duì)使用FPGA 插值放大算法進(jìn)行紅外與CCD 圖像融合的系統(tǒng)進(jìn)行性能評(píng)估?？梢允褂贸Ｒ?jiàn)的評(píng)估指標(biāo)，如結(jié)構(gòu)相似性指標(biāo)（SSIM）、峰值信噪比（PSNR）等，來(lái)評(píng)估融合圖像的質(zhì)量和效果?？傊?，F(xiàn)PGA 插值放大算法在紅外與CCD 圖像融合中的應(yīng)用措施包括圖像插值計(jì)算、插值放大、圖像融合、實(shí)時(shí)性考慮及性能評(píng)估。這些措施可以提高融合圖像的質(zhì)量和細(xì)節(jié)，并滿足實(shí)時(shí)性處理的需求。

從總體層面而言，紅外傳感器可劃分成為陣列和焦平面兩種類(lèi)型。其中焦平面類(lèi)型的設(shè)備分辨率很高，但是成本較大。而陣列類(lèi)型設(shè)備的分辨率和成本都較低。綜合進(jìn)行成本的研究，采用陣列類(lèi)型的紅外傳感器，設(shè)備數(shù)量為3臺(tái)，紅外圖像為16×12 B，進(jìn)行圖像放大，放大倍數(shù)為20，將其和CCD 圖像相互匹配，考慮當(dāng)前紅外傳感器存在一定的限制，因此，在實(shí)際操作的過(guò)程中，結(jié)果是單個(gè)紅外傳感器的計(jì)算結(jié)果。目前經(jīng)常采用的圖像插值放大算法，主要是雙線性類(lèi)型和最近鄰域類(lèi)型兩種。最近鄰域插值算法的應(yīng)用便利，計(jì)算量很小，但是對(duì)圖像放大之后可能會(huì)發(fā)生鋸齒的現(xiàn)象。而雙線性插值算法的應(yīng)用效果較高，計(jì)算量合適。因此，可按照具體的情況選擇相應(yīng)的算法。例如，為避免圖像放大出現(xiàn)鋸齒的現(xiàn)象，預(yù)防發(fā)生算法應(yīng)用問(wèn)題，可將雙線性與最近領(lǐng)域兩種插值算法有機(jī)整合，達(dá)到圖像精準(zhǔn)放大的目的。在此過(guò)程中，各個(gè)圓紅外像素點(diǎn)放大之后，處于中間的位置，算法應(yīng)用期間，主要采用原像素點(diǎn)，左側(cè)和上方插入的像素點(diǎn)，實(shí)現(xiàn)圖像的放大處理。而圖像邊緣像素點(diǎn)，主要使用最近鄰域插值算法進(jìn)行新增加插值點(diǎn)的計(jì)算，插值點(diǎn)數(shù)據(jù)值選取原像素點(diǎn)的數(shù)據(jù)值。而圖像內(nèi)部的像素點(diǎn)，則使用雙線性插值法進(jìn)行插值計(jì)算。

在紅外和CCD 圖像融合中FPGA 插值放大具體的計(jì)算公式為：插值放大：新圖像=原始CCD 圖像+放大倍數(shù)×（原始紅外圖像-原始CCD 圖像）。

其中原始CCD 圖像和原始紅外圖像是輸入的原始圖像。放大倍數(shù)是一個(gè)調(diào)節(jié)參數(shù)，用于控制插值放大的程度。通過(guò)調(diào)節(jié)放大倍數(shù)的大小，可以增強(qiáng)紅外圖像與CCD 圖像之間的差異，從而提高圖像的質(zhì)量和可視化效果。需要注意的是，插值放大的計(jì)算公式只是一種常見(jiàn)的方法，具體的實(shí)現(xiàn)方式可能會(huì)有所不同，取決于具體的圖像融合算法和FPGA 設(shè)計(jì)。在實(shí)際應(yīng)用中，可以根據(jù)需求和實(shí)驗(yàn)結(jié)果，調(diào)整放大倍數(shù)，以獲得最佳的圖像融合效果。

2.2.2 彩虹編碼算法

在紅外與CCD 圖像融合中FPGA 彩虹編碼算法也屬于常用的圖像處理算法，能夠使紅外圖像和CCD 圖像進(jìn)行融合和增強(qiáng)，具體操作方式為：①圖像輸入和采集。將紅外圖像和CCD 圖像輸入到FPGA，可通過(guò)適當(dāng)?shù)慕涌冢绱型ㄐ?、并行接口或者幀緩沖器等方式實(shí)現(xiàn)。確保圖像數(shù)據(jù)在FPGA 中的正確接收和處理。②圖像配準(zhǔn)。對(duì)紅外圖像和CCD 圖像進(jìn)行配準(zhǔn)，確保兩幅圖像對(duì)齊。這可以通過(guò)使用圖像配準(zhǔn)算法，如特征點(diǎn)匹配、相位相關(guān)等方法實(shí)現(xiàn)。配準(zhǔn)后的圖像可以減小紅外和CCD 圖像之間的幾何畸變和位置偏差。③彩虹編碼。使用FPGA 實(shí)現(xiàn)彩虹編碼算法，對(duì)紅外圖像和CCD 圖像進(jìn)行編碼。彩虹編碼是一種將不同光譜信息編碼到一幅圖像中的技術(shù)，可以將紅外和CCD 圖像的信息融合起來(lái)。FPGA 可以通過(guò)并行處理的方式，快速實(shí)現(xiàn)彩虹編碼算法。④圖像解碼和融合。將彩虹編碼后的圖像解碼，并將紅外圖像和CCD 圖像進(jìn)行融合。解碼可以通過(guò)使用彩虹解碼算法，將編碼后的圖像還原為原始的紅外和CCD 圖像。融合可以采用像素級(jí)融合或其他融合算法，根據(jù)應(yīng)用需求選擇合適的方法。⑤圖像輸出和顯示。將融合后的圖像輸出到顯示設(shè)備或存儲(chǔ)設(shè)備上。這可以通過(guò)視頻接口、HDMI 接口、存儲(chǔ)器等方式實(shí)現(xiàn)。確保融合后的圖像能夠被正確顯示和使用。在進(jìn)行彩虹編碼的FPGA 設(shè)計(jì)時(shí)，需要考慮算法的實(shí)時(shí)性和計(jì)算復(fù)雜度。合理分配和優(yōu)化FPGA 資源，以保證系統(tǒng)的實(shí)時(shí)性能和效率。

對(duì)于彩虹編碼算法而言，能夠完成灰度圖像的偽彩色變換處理，使顏色單一的圖像被映射成為彩色類(lèi)型的圖像，經(jīng)常應(yīng)用的顏色空間則是RGB 顏色空間，常規(guī)類(lèi)型的偽彩色變換方式，就是將灰色圖像變換成為RGB 圖像，但是由于計(jì)算的流程較為繁瑣復(fù)雜，對(duì)FPGA 硬件的實(shí)現(xiàn)會(huì)造成不利影響，且在完成圖像映射后，溫度最高的位置是白色，和圖像融合的要求不符，所以需要進(jìn)行算法的修改處理。例如，對(duì)彩虹編碼進(jìn)行改進(jìn)，使其變換曲線的灰度范圍為k0～k4，R、G、B 設(shè)定為彩色空間的不同通道，原本紅外圖像的灰度區(qū)，可劃分成為4部分，分別與偽彩色變換之后的彩色圖像相互對(duì)應(yīng)，即k0～k1是低溫物體，顏色為藍(lán)色；k1～k2是中低溫物體，顏色是綠色；k2～k3為中溫物體，顏色是黃色；k3～k4是高溫物體，顏色為紅色。

2.2.3 圖像融合算法

基于FPGA 的紅外與CCD 圖像融合算法，主要的措施如下。

（1）圖像配準(zhǔn)。對(duì)紅外圖像和CCD 圖像進(jìn)行配準(zhǔn)，確保兩幅圖像對(duì)齊，可以使用特征點(diǎn)匹配、相位相關(guān)等配準(zhǔn)算法來(lái)實(shí)現(xiàn)。

（2）圖像融合。將配準(zhǔn)后的紅外圖像和CCD 圖像進(jìn)行融合。常用的融合方法包括加權(quán)平均、小波變換、局部對(duì)比度增強(qiáng)等。根據(jù)應(yīng)用需求選擇合適的融合算法。例如，在采用小波變換法進(jìn)行基于FPGA 的紅外與CCD 圖像融合的過(guò)程如下：①對(duì)配準(zhǔn)后的紅外圖像和CCD 圖像進(jìn)行小波變換。小波變換可以將圖像分解為不同尺度和頻率的子帶，提取不同的圖像特征。在FPGA 中實(shí)現(xiàn)小波變換可以使用快速小波變換算法。同時(shí)，需要選擇合適的小波基函數(shù)和分解層數(shù)。②子帶融合。對(duì)小波變換后的子帶進(jìn)行融合?？梢圆捎貌煌娜诤戏椒?，如加權(quán)平均、最大值選擇、局部對(duì)比度增強(qiáng)等。根據(jù)應(yīng)用需求選擇合適的融合方法。③逆小波變換。將融合后的子帶進(jìn)行逆小波變換，將其重建為融合后的圖像。在FPGA 中實(shí)現(xiàn)逆小波變換可以使用快速逆小波變換算法。

（3）圖像增強(qiáng)。對(duì)融合圖像進(jìn)行增強(qiáng)，以提高圖像的細(xì)節(jié)和對(duì)比度。常用的增強(qiáng)方法包括直方圖均衡化、對(duì)比度拉伸、銳化等。在FPGA 中實(shí)現(xiàn)這些方法可以提高處理速度和效率。

（4）性能優(yōu)化。對(duì)FPGA 算法進(jìn)行性能優(yōu)化，包括資源分配、數(shù)據(jù)流設(shè)計(jì)、算法并行化等。通過(guò)合理的優(yōu)化可以提高算法的效率和性能。

（5）結(jié)果輸出。將融合和增強(qiáng)后的圖像輸出到顯示設(shè)備或存儲(chǔ)設(shè)備上?？梢允褂靡曨l接口、HDMI 接口、存儲(chǔ)器等方式實(shí)現(xiàn)圖像的輸出。

3 結(jié)束語(yǔ)

綜上所述，紅外與CCD 圖像融合，不僅能夠提升圖像處理的效果，還能改善圖像處理的精準(zhǔn)度，具有重要意義。但是在紅外與CCD 圖像融合的過(guò)程中如果缺少精準(zhǔn)的算法，將會(huì)導(dǎo)致圖像融合的效果降低。因此，建議在紅外與CCD 圖像融合期間，科學(xué)合理采用FPGA 算法，合理設(shè)計(jì)總體架構(gòu)，應(yīng)用FPGA 插值放大算法、彩虹編碼算法及圖像融合算法，為提升紅外與CCD 圖像融合效果作出貢獻(xiàn)。