曹欣

夜視攝像頭技術(shù)在數(shù)字時(shí)代取得了長(zhǎng)足的進(jìn)步。隨著傳感器的不斷改進(jìn)，低光環(huán)境下的圖像質(zhì)量也在不斷提高。然而，與紅外夜視攝像機(jī)一樣，它們是單色的。研究人員希望通過將紅外相機(jī)技術(shù)與人工智能相結(jié)合來改變這種狀況，開發(fā)出一種夜視相機(jī)，即使在人眼完全黑暗的情況下也能產(chǎn)生全彩色圖像。

專門的夜視攝像系統(tǒng)在紅外光中可“看到”肉眼看不到的影像，然后將其數(shù)字轉(zhuǎn)換為可見光譜中的單色圖像，人的肉眼可見光譜的波長(zhǎng)范圍為400至700 nm，對(duì)于暗部細(xì)節(jié)的觀察有局限性。如果通過優(yōu)化的深度學(xué)習(xí)架構(gòu)，提供支持的成像算法，那么場(chǎng)景中的紅外光譜照明就可以用來預(yù)測(cè)光譜渲染，實(shí)現(xiàn)彩色夜視圖像。

為了實(shí)現(xiàn)彩色夜視圖像這一目標(biāo)，團(tuán)隊(duì)需要使用合適的圖像集充分訓(xùn)練深度學(xué)習(xí)模型。使用在多光譜照明下顯示的打印圖像，對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了優(yōu)化，以預(yù)測(cè)在紅外光下看到的不同圖像在可見光譜中的樣子?！斑@項(xiàng)研究是從難以察覺的近紅外照明，預(yù)測(cè)人類可見光譜場(chǎng)景的第一步?！?/p>

先前的嘗試包括使用典型的相機(jī)和紅外相機(jī)拍攝相同的場(chǎng)景，讓機(jī)器學(xué)習(xí)模型，從紅外圖像中預(yù)測(cè)顏色。后來科學(xué)家們改為使用多種波長(zhǎng)的紅外光來改進(jìn)顏色預(yù)測(cè)算法，結(jié)果表明，與實(shí)際彩色圖像相比，增加了紅外通道的數(shù)量之后，該模型做出了更好的預(yù)測(cè)，可以實(shí)現(xiàn)更準(zhǔn)確的全色預(yù)測(cè)。

但到目前為止，該團(tuán)隊(duì)的深度學(xué)習(xí)模型僅使用三個(gè)輸入紅外圖像就產(chǎn)生了一致的 RGB 重建。此外，所提出的U-Net架構(gòu)每秒可以處理三個(gè)圖像。該技術(shù)可用于監(jiān)視、安全、動(dòng)物觀察和軍事行動(dòng)，還可用于處理和研究對(duì)可見光敏感的生物樣本，例如研究視網(wǎng)膜組織時(shí)。雖說目前并不能完全充當(dāng)實(shí)時(shí)的全彩色夜視攝像機(jī)，但隨著架構(gòu)的改進(jìn)、多線程或更快的硬件的升級(jí)，迭代只是時(shí)間問題。

FID 分?jǐn)?shù)（越低越好）隨著模型的訓(xùn)練越來越多，紅外波長(zhǎng)捕獲的圖像質(zhì)量得到提高。從黑線可以看出，使用三個(gè)紅外波長(zhǎng)（718、777 和 807 nm）獲得了最佳結(jié)果