摘要：目前，多光譜探測技術(shù)，尤其是采用快照成像技術(shù)的多光譜探測器，在農(nóng)業(yè)監(jiān)測、環(huán)境評估、資源勘探等領(lǐng)域的應(yīng)用受到重視。其能夠同時捕獲多個不同波段的圖像數(shù)據(jù)，提供豐富的空間和光譜信息。然而同時，其數(shù)據(jù)采集和處理的效率面臨挑戰(zhàn)，尤其是在需要實時數(shù)據(jù)采集和穩(wěn)定性的場景下。本文提出了一種優(yōu)化數(shù)據(jù)處理算法和硬件設(shè)計的方案，通過減少數(shù)據(jù)處理過程中的地址輪詢操作，降低對CPU資源的依賴，從而提高數(shù)據(jù)處理效率和系統(tǒng)的實時性。核心技術(shù)包括采用瑞芯微電子的RK3399Pro處理器。該處理器具有低功耗、高性能的特點，以及強大的神經(jīng)網(wǎng)絡(luò)處理單元，支持Caffe、TensorFlow等主流模型。通過改進的二維圖像加速處理方案，實現(xiàn)對快照式多光譜探測器采集的多波段混合數(shù)據(jù)的高效處理，能夠顯著提高探測器的實時性，從而為多光譜成像技術(shù)的實時和高穩(wěn)定性要求場景提供強有力的支持。

關(guān)鍵詞 ：快照式多光譜；數(shù)據(jù)處理；探測器；圖像加速

一、引言

在科技飛速發(fā)展的背景下，多光譜探測技術(shù)因其在農(nóng)業(yè)監(jiān)測、環(huán)境評估、資源勘探等領(lǐng)域的廣泛應(yīng)用而受到了極大的關(guān)注。多光譜探測器能夠同時捕獲多個不同波段的圖像數(shù)據(jù)，提供比傳統(tǒng)成像技術(shù)更豐富的空間和光譜信息，從而使得對觀測對象的分析更加細致和準確[1]。然而，隨著技術(shù)的發(fā)展和應(yīng)用需求的提高，多光譜探測器在數(shù)據(jù)采集和處理過程中面臨著新的挑戰(zhàn)。

在最近幾年，新興的快照成像技術(shù)催生了一代快照相機。這些相機正朝著成本更低、體積更小、分辨率更高、幀率更快的方向進化。在最新的研究中，歐洲微電子研究中心IMEC開發(fā)出了一項創(chuàng)新的芯片上光譜傳感器技術(shù)。該技術(shù)利用了一種特殊的光學(xué)濾波層。這層濾波層直接集成在標準CMOS圖像傳感器之上，通過在每個晶圓表面鍍上不同光譜段的濾波膜，實現(xiàn)了一次性捕捉多光譜圖像的能力。這種芯片上的光譜傳感器技術(shù)摒棄了使用傳統(tǒng)光學(xué)組件（比如光柵或棱鏡）的需求，取而代之的是直接在圖像傳感器上沉積的濾波器。這一變革顯著提升了相機的采集速度，同時降低了相機的體積和成本。因此，對于那些需要高度便攜性和能夠即時響應(yīng)變化的應(yīng)用場景而言，采用這種鍍膜CMOS技術(shù)的快照相機展現(xiàn)出了極大的應(yīng)用潛力。由于其特殊的濾波膜設(shè)計，這類相機產(chǎn)生的圖像會展現(xiàn)出特有的塊狀效果，因而，這種類型的相機也被稱作馬賽克鍍膜型相機。

快照式多光譜探測器采集的數(shù)據(jù)是多波段混合數(shù)據(jù)，這要求在后續(xù)的數(shù)據(jù)處理中將混合數(shù)據(jù)按波段分解，以生成單一波段數(shù)據(jù)。以9波段多光譜探測器為例，其像元陣列設(shè)計使得相同顏色或數(shù)字代表采集同一波段數(shù)據(jù)的像元。這種設(shè)計雖然在采集效率上有優(yōu)勢，但在數(shù)據(jù)處理過程中，需要進行大量的地址輪詢操作。這不僅消耗大量CPU資源，而且對實時性和穩(wěn)定性構(gòu)成挑戰(zhàn)，限制了多光譜成像技術(shù)在實時和高穩(wěn)定性要求場景下的應(yīng)用潛力。

本文針對上述問題，提出了一種新的解決方案。該方案旨在通過優(yōu)化數(shù)據(jù)處理算法和改進硬件設(shè)計，減少數(shù)據(jù)處理過程中的地址輪詢操作，從而降低對CPU資源的依賴，提高數(shù)據(jù)處理的效率和系統(tǒng)的實時性。

二、探測器信號處理系統(tǒng)

信號處理系統(tǒng)接收圖像采集模塊通過MIPI接口發(fā)送的圖像數(shù)據(jù)，并對接收到的圖像數(shù)據(jù)進行光譜復(fù)原、圖譜識別等數(shù)據(jù)處理，以及對圖像數(shù)據(jù)進行存儲。

信號處理系統(tǒng)主要由嵌入式處理器及其他外圍電路組成。嵌入式處理器的功能主要是通過內(nèi)部接口接收圖像采集模塊傳輸?shù)膱D像數(shù)據(jù)，并進行圖像數(shù)據(jù)的緩存、處理、存儲[2]。信號處理模塊系統(tǒng)組成如圖1所示。

信號處理系統(tǒng)能夠?qū)崿F(xiàn)以下具體功能：

①通過MIPI接口接收圖像采集模塊輸出的圖像數(shù)據(jù)。

②通過RS-422接口向圖像采集模塊發(fā)送攝像機控制指令，并接收攝像機狀態(tài)數(shù)據(jù)。

③對輸入的圖像數(shù)據(jù)進行光譜復(fù)原、圖譜識別等圖像處理。

④將原始圖像數(shù)據(jù)和經(jīng)數(shù)據(jù)處理后的圖像數(shù)據(jù)存儲到硬盤中。

三、二維圖像加速處理方案

二維圖像加速處理方案的設(shè)計框圖如圖2所示，主要涵蓋兩個模塊：視頻輸入模塊和數(shù)據(jù)搬運模塊。數(shù)據(jù)拷貝的結(jié)果將在目的地址生成寬/高按數(shù)據(jù)間隔成比例縮小的圖像數(shù)據(jù)。

（一）信號輸入模塊ISP

多光譜探測器通過MIPI接口接入主處理器的內(nèi)置圖像信號處理器ISP。ISP作為RK3399Pro的視頻輸入單元，具有圖像處理、縮放和壓縮功能，可以對探測器數(shù)據(jù)進行預(yù)處理。使用時首先根據(jù)需求更改對應(yīng)傳感器的XML文件信息，然后調(diào)用RKISP庫函數(shù)對Sensor配置信息結(jié)構(gòu)體進行設(shè)置，涉及的關(guān)鍵成員包括：總線寬度、采集格式、顏色校驗等。

ISP模塊支持標準Sensor圖像數(shù)據(jù)處理，包括自動白平衡、自動曝光、Demosaic、壞點矯正及鏡頭陰影矯正等基本功能，也支持WDR、DRC、降噪等高級處理功能。該模塊的輸入采集窗口是可編程的，支持小于設(shè)置大小的輸入圖像。在輸入錯誤時會生成IRQ錯誤。ISP允許連續(xù)圖像采集或按特定數(shù)量進行圖片采樣的采集模式（1…1023）。此外，ISP模塊通過向系統(tǒng)處理器提供圖片數(shù)據(jù)信息來支持自動曝光功能，模塊的輸入部分可以根據(jù)信號極性、視頻數(shù)據(jù)位置和亮度/色度順序設(shè)置。

ISP模塊總是輸出YCbCr 4：2：2格式的數(shù)據(jù)。RGB通道提供的數(shù)據(jù)下采樣得到Y(jié)CbCr 4：2：2，支持共址和非共址計算。使用行和幀結(jié)束信號并行提供亮度和色度數(shù)據(jù)。在原始數(shù)據(jù)模式中，這些數(shù)據(jù)通過Y端口傳送。

數(shù)據(jù)確認使用握手的方式。由于傳感器設(shè)備無法停止發(fā)送數(shù)據(jù)，反向握手（確認）僅用于像素檢測使用IRQ發(fā)出信號。為防止像素丟失，模塊內(nèi)置FIFO。FIFO的深度可以由用戶定制。

ISP模塊還包含可編程寄存器，可通過僅支持單次傳輸?shù)?2位PVCI兼容接口訪問。

來自相機輸入的hsync和vsync控制信號與中斷邏輯連接，在處理過程中，可以再用些信號觸發(fā)配置事件。

下面對ISP的常用功能進行說明：

1.顏色處理

該模塊負責顏色處理相關(guān)功能，如色調(diào)、對比度、亮度和飽和度調(diào)節(jié)，操作數(shù)據(jù)格式為YCbCr 4：2：2。

2.圖像效果

圖像效果模塊逐像素修改圖像?？梢赃M行一系列不同操作，如灰度、棕褐色、顏色選擇、負片、浮雕、素描和銳化效果等。同時，可以使用ISP控制器的伽馬模塊創(chuàng)建日光效果。圖像效果模塊通過16位（[15：8]：Y，[7：0]：Cb/Cr）數(shù)據(jù)接口獲取YCbCr 4：2：2數(shù)據(jù)。

亮度色度分離：亮度/色度分離器負責提供分量分離的YCbCr 4：2：2像素數(shù)據(jù)，以便進一步處理。

JPEG格式編碼器：JPEG編碼器由Raster-2-Block轉(zhuǎn)換器和JPEG編碼器核心組成。它只接受YCbCr 4：2：2數(shù)據(jù)。輸出接口為64位寬，兩個接口都使用握手，編程接口是16位PVCI接口。

ISP使用分布式配置寄存器方案。所有子模塊都包含自己的編程寄存器。在整個ISP控制器地址空間內(nèi)為每個子模塊保留一個地址空間。

（二）數(shù)據(jù)搬運模塊DMA

數(shù)據(jù)搬運模塊（Direct Memory Access，DMA）控制器允許外圍設(shè)備或內(nèi)存直接與主存交換數(shù)據(jù)，而無需CPU的介入，從而大幅減少CPU的負載，并提高數(shù)據(jù)傳輸效率。RK3399Pro處理器內(nèi)置的DMA控制器支持直接拷貝和間隔拷貝功能，使得數(shù)據(jù)可以快速且靈活地在內(nèi)存區(qū)域之間移動。在直接拷貝模式下，數(shù)據(jù)從源地址直接移動到目標地址，適合大塊數(shù)據(jù)的快速傳輸。間隔拷貝模式則允許在傳輸過程中按照預(yù)設(shè)的間隔調(diào)整數(shù)據(jù)，這對于處理特定格式的數(shù)據(jù)，如圖像數(shù)據(jù)非常有效。

對DMA進行正確的配置是充分利用其性能的關(guān)鍵。配置包括設(shè)置源和目標地址、定義傳輸?shù)臄?shù)據(jù)大小、選擇傳輸模式（直接拷貝或間隔拷貝）等。在RK3399Pro平臺上，DMA控制器的配置通過編程實現(xiàn)。開發(fā)者可以根據(jù)數(shù)據(jù)處理需求精細調(diào)整DMA的工作模式，確保數(shù)據(jù)傳輸?shù)母咝Ш蜏蚀_。

RK3399Pro提供了兩個DMA控制器：DMAC0和DMAC1，兩者都在Pd_Peri_Lp系統(tǒng)中。DMAC0有10個硬件請求端口。它們的觸發(fā)器類型都是高電平觸發(fā)的，不能編程。DMAC1有20個硬件請求端口，每個觸發(fā)器類型都是高電平觸發(fā)的，不可編程。

在圖像處理領(lǐng)域，DMA的應(yīng)用尤為重要?？煺帐蕉喙庾V探測器采集的數(shù)據(jù)通常是多波段混合數(shù)據(jù)，需要經(jīng)過復(fù)雜的處理才能分離成單一波段數(shù)據(jù)。通過利用DMA的間隔拷貝功能，可以按波段對這些混合數(shù)據(jù)進行有效重組，從而大幅度提高數(shù)據(jù)處理效率和系統(tǒng)的實時性。這種方法不僅減輕了CPU的負擔，還加速了圖像處理流程，為實時圖像分析提供了可能[3]。

RK3399Pro的DMA具有直接拷貝和間隔拷貝功能。直接拷貝可以實現(xiàn)矩形數(shù)據(jù)區(qū)域的快速搬移功能。在此模式下，源數(shù)據(jù)將會直接通過快速通路搬移到目標區(qū)

域；間隔拷貝可以實現(xiàn)矩形區(qū)域數(shù)據(jù)的間隔搬移。在該模式下，源數(shù)據(jù)將在水平和垂直方向上都按給定的距離間隔、以固定大小搬移到目的區(qū)域。在本方案中使用間隔拷貝按波段對探測器采集數(shù)據(jù)進行搬運重組。

四、結(jié)束語

綜上所述，針對快照式多光譜探測器圖像為多波段混合數(shù)據(jù)的特點，本文設(shè)計了二維圖像加速方案。該方案從數(shù)據(jù)處理算法和硬件設(shè)計兩方面入手，減少了數(shù)據(jù)處理的復(fù)雜度，從而有、加速圖像數(shù)據(jù)處理，提高探測器的實時性。

作者單位：黃永飛 中國科學(xué)院空天信息創(chuàng)新研究院中國科學(xué)院大學(xué)光電學(xué)院

參考文獻

[1]J H ，E W ，于嘯 .基于長波紅外和可見光相機的多光譜成像技術(shù)[J].紅外，2020，41（07）：38-46.

[2]劉安，馮英林，徐冬梅等.一種具有多接口的網(wǎng)絡(luò)測試儀[P].北京市：CN116389330A，2023-07-04.

[3]胡溢.微型無人直升機水面檢測系統(tǒng)研究[D].浙江大學(xué)，2007.