于雙銘 武文波 竇潤江 劉力源 劉劍 吳南健

基于視覺處理器芯片的遙感圖像智能處理系統(tǒng)設(shè)計與驗證

于雙銘1,2武文波3竇潤江1,2劉力源1,4劉劍1,2吳南健1,2

（1 中國科學(xué)院半導(dǎo)體研究所半導(dǎo)體超晶格國家重點實驗室，北京 100083）（2 中國科學(xué)院大學(xué)材料科學(xué)與光電技術(shù)學(xué)院，北京 100049）（3 北京空間機電研究所，北京 100094）（4 中國科學(xué)院大學(xué)電子電氣與通信工程學(xué)院，北京 100049）

隨著遙感衛(wèi)星成像技術(shù)向高分辨率、高幀率的方向快速發(fā)展，星上遙感圖像處理技術(shù)面臨海量數(shù)據(jù)處理速度慢、有效信息提取能力不足、載荷功耗高等瓶頸問題。文章提出一種面向星上處理的遙感圖像智能處理系統(tǒng)，系統(tǒng)架構(gòu)設(shè)計基于一款邊緣型視覺處理器芯片，該芯片為可重構(gòu)并行處理器架構(gòu)，可通過指令編程兼容支持圖像預(yù)處理算法、計算機視覺算法和深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法?；谒惴?硬件協(xié)同設(shè)計思想，對圖像處理算法進(jìn)行了剪枝和量化等壓縮優(yōu)化，在芯片上實現(xiàn)算法的高效部署。搭建基于視覺處理器芯片的遙感圖像智能處理系統(tǒng)，進(jìn)行實驗驗證。結(jié)果表明，該系統(tǒng)能夠完成對遙感圖像的實時目標(biāo)檢測等智能化處理，系統(tǒng)處理能力達(dá)到200 M像素/s，芯片峰值計算能效達(dá)到2×1012次/W（300 MHz時）。

遙感圖像 圖像處理 視覺處理器 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)

0 引言

航天遙感衛(wèi)星可實時獲取地球表面的高分辨率遙感圖像數(shù)據(jù)，已成為航天電子信息領(lǐng)域的關(guān)鍵技術(shù)之一[1-4]。遙感圖像獲取采集技術(shù)向高分辨率、高幀率的方向發(fā)展迅速，如美國DigitalGlobe公司具有QuickBird、WorldView和GeoEye等多個系列衛(wèi)星群，其遙感圖像的分辨率大多在0.3～0.5 m[5-6]。此外還有歐洲的SPOT、Pleiades系列衛(wèi)星，以及印度的ResourceSat系列衛(wèi)星等。2015年我國長光衛(wèi)星技術(shù)有限公司研制發(fā)射了吉林一號商業(yè)遙感衛(wèi)星，可以獲取分辨率0.92 m的彩色視頻[7]。2016年發(fā)射的高景一號衛(wèi)星是中國首個商業(yè)化運營的高分辨率遙感衛(wèi)星星座，可提供分辨率0.5 m拼接幅寬大于60 km的遙感圖像[8]。隨著遙感衛(wèi)星數(shù)據(jù)總量的快速獲取和累積，遙感圖像數(shù)據(jù)的高性能處理技術(shù)成為航天領(lǐng)域未來的研究重點。

然而，圖像處理技術(shù)正逐漸面臨新的挑戰(zhàn)。第一，實時采集的海量遙感圖像數(shù)據(jù)難以在星上完成實時的處理任務(wù)。第二，應(yīng)用領(lǐng)域從傳統(tǒng)圖像處理應(yīng)用向智能化應(yīng)用拓展，在星上對有效信息的智能化提取能力不足。第三，遙感衛(wèi)星對圖像處理載荷的功耗有嚴(yán)苛的限制。為了滿足以上對星上圖像處理系統(tǒng)的處理能力、智能化水平和功耗提出的更高要求，邊緣計算技術(shù)成為了突破瓶頸的重要方法。視覺處理器芯片作為一種具備高速圖像信息智能處理能力的專用芯片，具有處理速度快、可編程和功耗低的優(yōu)點，特別適用于邊緣型智能化應(yīng)用場景。因此，開發(fā)基于視覺處理器芯片的遙感圖像智能化處理系統(tǒng)，對滿足星上遙感圖像大數(shù)據(jù)在軌實時處理應(yīng)用需求具有重要的意義。

本文提出一種面向星上處理的遙感圖像智能處理系統(tǒng)，系統(tǒng)架構(gòu)設(shè)計基于一款邊緣型視覺處理器芯片，該芯片能夠通過指令編程兼容支持圖像預(yù)處理算法、計算機視覺算法和深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)處理算法，可以對遙感圖像進(jìn)行低功耗的實時目標(biāo)檢測等智能化處理，通過實拍遙感圖像驗證了系統(tǒng)功能。此外，展望了未來遙感成像與處理技術(shù)的應(yīng)用前景和發(fā)展方向。

1 遙感圖像處理特征

高分辨率光學(xué)遙感圖像具有以下顯著特點：第一，為了更清晰地獲得地面物體的結(jié)構(gòu)、形狀和紋理等細(xì)節(jié)信息，遙感圖像通常具有更高分辨率。第二，為了動態(tài)監(jiān)測各種目標(biāo)運動變化情況，必須要對同一個區(qū)域進(jìn)行連續(xù)拍攝，圖像采集的幀速率顯著增加。第三，遙感圖像通常包含大量無目標(biāo)的海洋背景或受云霧遮擋的無效圖像，少數(shù)含有感興趣目標(biāo)的圖像也是背景較為單一的稀疏圖像，星載存儲器的“圖像有效信息密度”很低[9-12]。本文針對這種高分辨率海洋稀疏背景遙感圖像提出智能化實時處理方案。

圖1展示了遙感圖像處理流程及特征，首先完成遙感圖像采集，然后進(jìn)行視覺圖像信息處理，最后輸出處理結(jié)果。圖像處理算法按照并行度和計算復(fù)雜度可以劃分為3個層次：像素級并行處理、區(qū)域級并行處理和全局級并行處理。像素級并行處理一般以像素為單位并行計算，包括彩色處理、圖像增強、數(shù)據(jù)切割等圖像預(yù)處理操作，對成像質(zhì)量不足的圖像進(jìn)行預(yù)處理可以有效減少各類噪聲、低對比度等成像因素對圖像特征提取的影響，方便后續(xù)復(fù)雜的圖像處理。區(qū)域級并行處理可以將圖像分塊處理得到特征向量，圖像塊之間相互獨立并行處理，包括直方圖統(tǒng)計、圖像分割和特征提取等傳統(tǒng)計算機視覺算法，所提取的特征可以是邊緣、角點、紋理和特殊結(jié)構(gòu)等，分割出圖像中感興趣目標(biāo)圖像與背景圖像。全局級并行處理利用提取的圖像特征對圖像或目標(biāo)進(jìn)行整體的綜合分析和處理，包括基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)算法（Convolutional Neural Network，CNN）等，得到最終處理結(jié)果，實現(xiàn)圖像分類、目標(biāo)檢測和追蹤等功能。上述圖像處理算法對于硬件計算資源的需求各不相同，不論是傳統(tǒng)計算機視覺算法，還是深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法，都需要相當(dāng)?shù)挠嬎阋?guī)模，深度學(xué)習(xí)算法更是以計算密集和訪存密集為顯著特點。因此，針對稀疏背景遙感圖像的星上處理系統(tǒng)，需要具備兼容多種圖像處理算法的大規(guī)模并行計算能力，以及從海量稀疏背景中快速提取目標(biāo)的只能化水平，同時達(dá)到較低的系統(tǒng)功耗。

圖1 遙感稀疏圖像信息處理流程及特征

為了滿足上述對遙感圖像處理系統(tǒng)的要求，本文設(shè)計了基于智能視覺處理器芯片的目標(biāo)檢測智能處理系統(tǒng)，采用軟硬件協(xié)同設(shè)計方法開發(fā)視覺處理器芯片，使其具備大規(guī)模并行計算能力以及可重構(gòu)運算功能，既包含傳統(tǒng)計算視覺算子，又包含大規(guī)模神經(jīng)網(wǎng)絡(luò)計算單元和存儲器單元，可通過指令編程實現(xiàn)稀疏背景遙感圖像目標(biāo)檢測功能。此外，系統(tǒng)采用周期性片上指令刷新技術(shù)使其具有一定容錯能力。

2 智能視覺處理器芯片

2.1 芯片架構(gòu)

智能視覺處理器芯片架構(gòu)框圖如圖2所示，主要由視覺核心、微控制模塊、存儲器訪問網(wǎng)絡(luò)、數(shù)據(jù)傳輸通路、指令和數(shù)據(jù)存儲器等部分構(gòu)成。視覺核心為視覺處理器提供了主要的計算能力，具有可編程和可重構(gòu)并行處理功能。微控制模塊負(fù)責(zé)調(diào)度整個芯片的工作流程，向視覺核心發(fā)布數(shù)據(jù)處理任務(wù)，向數(shù)據(jù)傳輸通路發(fā)布數(shù)據(jù)傳輸任務(wù)。微控制模塊和視覺核心都是可編程處理模塊，編程指令存儲在指令存儲器中。數(shù)據(jù)存儲器用來存儲從外部輸入待處理的圖像數(shù)據(jù)、圖像處理的中間結(jié)果、以及待輸出的圖像處理結(jié)果。每次圖像處理任務(wù)中，微控制模塊首先控制數(shù)據(jù)傳輸通路從外部輸入待處理圖像、算法指令和參數(shù)，然后啟動視覺核心執(zhí)行特定的圖像處理算法，最后通過傳輸通路向片外輸出圖像處理結(jié)果。

圖2 視覺處理器芯片架構(gòu)

2.2 關(guān)鍵電路設(shè)計

（1）可重構(gòu)并行視覺核心電路

視覺核心是視覺處理器的核心電路，它具有可重構(gòu)并行處理能力。如圖3所示，視覺核心采用兼容計算機視覺處理和深度學(xué)習(xí)處理的可重構(gòu)視覺架構(gòu)，它可以時分復(fù)用地重構(gòu)為計算機視覺處理模式和深度學(xué)習(xí)處理模式。視覺核心的可重構(gòu)特性具體體現(xiàn)在可以通過編程不同的指令編碼，執(zhí)行可變向量寬度的單指令多向量的并行運算工作機制，提供靈活高效的可重構(gòu)并行處理能力。視覺核心主要包含256個處理單元（Processing Element，PE），每個PE均可獨立完成計算操作，多個PE也可以根據(jù)向量運算操作數(shù)的寬度動態(tài)重構(gòu)為多個PE Group（PEG），每個PEG包含與向量寬度一致的PE數(shù)量，執(zhí)行對應(yīng)向量寬度的向量運算。視覺核心根據(jù)不同的向量寬度對所有PE進(jìn)行動態(tài)重構(gòu)，支持配置的向量寬度為256、128、64、32、16、8，分別構(gòu)成1、2、4、8、16、32個PEG。PEG中包含多組并行的算數(shù)單元，因此可以并行地執(zhí)行向量運算。

圖3 可重構(gòu)并行視覺核心架構(gòu)

靈活動態(tài)可重構(gòu)的視覺核心架構(gòu)為圖像處理帶來了以下優(yōu)勢：第一，在計算機視覺算法中，對于輸入尺寸較大的圖像，可以對圖像進(jìn)行切割，將小塊圖像送入視覺核心并行處理，對于尺寸較小的圖像，可以將視覺核心重構(gòu)成多個小處理單元塊，并行處理不同區(qū)域的圖像，提高了算法執(zhí)行的并行度。第二，CNN算法中的卷積運算包含豐富的變化，包括特征圖尺寸變化、卷積核尺寸變化和卷積滑動步長變化，可重構(gòu)的視覺核心可以靈活地適配CNN算法中不同的卷積運算，提供高效的CNN并行計算能力。

（2）多粒度存儲器訪問網(wǎng)絡(luò)

存儲器訪問網(wǎng)絡(luò)負(fù)責(zé)為存儲器和PEG的各級寄存器組之間進(jìn)行靈活多粒度的數(shù)據(jù)加載和存儲。它支持在多個PEG之間廣播共享數(shù)據(jù)，例如用同一輸入特征圖與不同卷積模板進(jìn)行卷積運算，或者用相同卷積模板對不同特征圖進(jìn)行卷積運算，提高了數(shù)據(jù)的共享重用率。訪問網(wǎng)絡(luò)還可以根據(jù)不同的數(shù)據(jù)向量寬度，自適應(yīng)地將不同寬度的共享運算數(shù)據(jù)廣播到PEG中，例如向量寬度為W，存儲器訪問網(wǎng)絡(luò)從存儲器中讀取一個寬度為W的向量數(shù)據(jù)，將其廣播到256/W個PEG中，操作過程如圖4所示。這種訪存方式相當(dāng)于將寬度為W的向量數(shù)據(jù)復(fù)制了256/W次，恢復(fù)得到一個寬度為256的向量數(shù)據(jù)，寫入到256個PE中。

圖4 靈活多粒度的存儲器訪問網(wǎng)絡(luò)電路

（3）視覺處理專用指令集

本文為視覺核心設(shè)計了自定義的視覺處理專用指令集。視覺處理專用指令集根據(jù)處理器支持的圖像處理算法多級并行的特點而設(shè)計，主要包含三個大類：標(biāo)量類型指令、向量類型指令以及控制類型指令。標(biāo)量類型指令主要負(fù)責(zé)串行的標(biāo)量數(shù)據(jù)處理，以及分支和跳轉(zhuǎn)指令。向量類型指令主要負(fù)責(zé)大規(guī)模數(shù)據(jù)并行處理，可同時對多個向量數(shù)據(jù)并行地執(zhí)行運算操作?？刂祁愋椭噶钪饕?fù)責(zé)配置視覺核心的工作狀態(tài)。多樣的指令集提高了處理器的可編程性，使得處理器兼容支持計算機視覺算法和深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法。另外，視覺處理專用指令集根據(jù)神經(jīng)網(wǎng)絡(luò)算法進(jìn)行了新的調(diào)整和擴展，在向量類型指令中加入了乘累加運算指令、神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)移動指令和數(shù)據(jù)截斷指令，在控制類型指令中加入了向量寬度配置指令和PEG邊界填充配置指令，這些指令都有效提高了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法的運行效率。

2.3 算法-硬件協(xié)同設(shè)計

視覺處理器芯片硬件上的計算單元數(shù)量、存儲容量、面積和功耗都有諸多限制，為了在芯片上實現(xiàn)深度學(xué)習(xí)算法這種復(fù)雜的圖像處理操作，本文仔細(xì)分析目標(biāo)檢測算法的計算特點和硬件需求，從算法-硬件協(xié)同設(shè)計的視角出發(fā)，對算法進(jìn)行剪枝和量化壓縮，從而實現(xiàn)算法在硬件上的高效部署。

（1）算法設(shè)計

遙感圖像下船只目標(biāo)具有以下特征：1）船只目標(biāo)較為稀疏，在遙感圖像中分布較為分散；2）遙感圖像中船只目標(biāo)尺寸相對較??；3）不同船只目標(biāo)尺寸變化范圍較小。因此，針對海洋稀疏背景遙感圖像目標(biāo)檢測的應(yīng)用需求，本文使用一種“粗看-細(xì)看”融合的高效率視覺處理算法[13]，該算法通過低運算量的處理實現(xiàn)圖像背景的快速排除，再對疑似船只目標(biāo)區(qū)域進(jìn)行精確的分類檢測，從而提取船只目標(biāo)的精確位置信息，算法流程如圖5所示。首先對遙感圖像進(jìn)行預(yù)處理操作，提高原始圖像的質(zhì)量，然后采用計算機視覺算法分割出存在可疑目標(biāo)的感興趣圖像區(qū)域，最后使用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法提取特征，分類檢測出遙感目標(biāo)。

圖5 “粗看-細(xì)看”融合的類腦視覺處理算法流程

（2）算法壓縮

為了便于圖像處理算法部署在視覺處理器芯片硬件上，本文采用了算法剪枝和量化的壓縮方法對卷積神經(jīng)網(wǎng)絡(luò)算法模型進(jìn)行壓縮。由于神經(jīng)網(wǎng)絡(luò)中包含了很多對模型的推理精度影響很小的權(quán)重參數(shù)，利用這一特性可以簡化神經(jīng)網(wǎng)絡(luò)運算，把卷積核包含的非重要權(quán)重參數(shù)置0，消除不必要的計算量，這個過程稱為算法剪枝。本文使用基于飽和懲罰項的剪枝方法對算法主干網(wǎng)絡(luò)進(jìn)行裁剪，保留重要的通道，裁剪掉非重要的通道，以達(dá)到算法剪枝降低計算量的目的[14]。算法量化是一種壓縮網(wǎng)絡(luò)參數(shù)量、減少運算復(fù)雜度的算法優(yōu)化技術(shù)，通過對32bit浮點數(shù)進(jìn)行量化操作轉(zhuǎn)換為定點8bit數(shù)值格式，可以大幅降低硬件存儲開銷。本文采用基于離群值感知的Post-Training量化方法，通過均勻采樣確定量化因子的手段，有效解決了因為量化離群值引起的量化誤差過大的問題[15]，達(dá)到了在不明顯損失精度的條件下壓縮網(wǎng)絡(luò)模型的目的。

本文設(shè)計的神經(jīng)網(wǎng)絡(luò)算法采用剪枝和量化技術(shù)進(jìn)行模型壓縮優(yōu)化，模型參數(shù)量從4.1MB壓縮至0.7 MB，極大地便于在視覺處理器芯片硬件上完成算法部署。

（3）抗輻照刷新技術(shù)

在遙感衛(wèi)星應(yīng)用場景下，輻照效應(yīng)會嚴(yán)重影響芯片功能，尤其視覺處理器中大量指令流水線、多種功能存儲器以及運算單元的使用，更造成視覺處理器對單粒子翻轉(zhuǎn)輻照效應(yīng)敏感性大大提高[16]。然而，視覺處理器的可編程特性決定了其內(nèi)部只有指令存儲器收到輻照影響才會導(dǎo)致功能錯誤。因此，為了以最小的功能、功耗和面積代價提升視覺處理器的抗輻照性能，我們應(yīng)該主要提升指令存儲器的容錯性能。提出針對指令存儲器的周期性刷新緩解技術(shù)，由微控制模塊編程控制周期性地刷新指令存儲器數(shù)據(jù)，刷新周期可根據(jù)輻照環(huán)境的具體情況編程配置。采用這種技術(shù)，在保證視覺處理器功能可用的前提下，可減少整個工作期間內(nèi)修復(fù)過程所占的時間比例，從而提高處理器的工作效率和抗輻照性能。

3 目標(biāo)檢測應(yīng)用與驗證系統(tǒng)

3.1 驗證系統(tǒng)設(shè)計

本文設(shè)計的遙感圖像目標(biāo)檢測智能處理系統(tǒng)的系統(tǒng)架構(gòu)基于智能視覺處理芯片和FPGA，具體如圖6所示。系統(tǒng)中視覺處理器芯片主要負(fù)責(zé)對輸入的遙感圖像完成圖像預(yù)處理、計算機視覺算法和深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法等圖像處理算法，可以實現(xiàn)實時的目標(biāo)檢測功能。數(shù)據(jù)轉(zhuǎn)換板上集成的FPGA芯片負(fù)責(zé)完成系統(tǒng)各功能模塊間的數(shù)據(jù)傳輸、數(shù)據(jù)轉(zhuǎn)換和流程控制。DDR3存儲顆粒用于緩存圖像數(shù)據(jù)。板間高速數(shù)據(jù)傳輸采用標(biāo)準(zhǔn)高速接口，同時支持Aurora 64B/66B、Aurora 8B/10B、SRIO、10G Base-kr等多種通信協(xié)議，保障了應(yīng)用靈活性。高分相機型號采用Cameralink接口與FPGA相連，通過上位機配置分辨率、幀率、輸出增益等工作參數(shù)。

圖6 遙感圖像目標(biāo)檢測智能處理系統(tǒng)架構(gòu)

系統(tǒng)的工作流程如圖7所示。具體流程如下：

1）初始化視覺處理器芯片。視覺處理器芯片初始化過程是為芯片提供指令數(shù)據(jù)，F(xiàn)PGA先從板上Flash中讀取指令數(shù)據(jù)，發(fā)送給視覺處理器芯片。指令數(shù)據(jù)包括微控制模塊指令、視覺核心指令和圖像處理算法參數(shù)。

2）啟動相機拍攝并緩存圖像。利用上位機啟動相機拍攝圖像并將圖像數(shù)據(jù)發(fā)送至數(shù)據(jù)轉(zhuǎn)接板，F(xiàn)PGA將寬幅高分辨率圖像按照視覺處理器芯片輸入要求進(jìn)行裁切后，緩存至DDR3顆粒中，等待視覺處理器芯片的讀取。

3）圖像處理并返回結(jié)果。視覺處理器芯片監(jiān)測到拍攝圖像緩存完成后，通過FPGA啟動板間接口和數(shù)據(jù)轉(zhuǎn)換模塊，依次將裁切好的圖像塊輸入至處理器芯片，在片內(nèi)完成多種圖像處理算法，并輸出處理結(jié)果緩存至DDR3中。

4）讀回并顯示處理結(jié)果。FPGA將緩存在DDR3中的原始圖像和處理結(jié)果通過HDMI高清視頻接口直接顯示目標(biāo)檢測結(jié)果，完成完整的工作流程。

圖7 驗證系統(tǒng)工作流程

高速數(shù)據(jù)傳輸通路的暢通和穩(wěn)定是整個系統(tǒng)實現(xiàn)實時圖像拍攝和處理的關(guān)鍵。因此，有必要對系統(tǒng)數(shù)據(jù)傳輸鏈路進(jìn)行數(shù)據(jù)帶寬分析，以保證芯片和系統(tǒng)性能最大化。原始圖像由高分相機拍攝產(chǎn)生，圖像像素規(guī)模為4 k×3 k@8 bit，幀率18幀/s，圖像數(shù)據(jù)帶寬約1 700 Mbit/s。板間的高速接口峰值帶寬最高可達(dá)10 Gbit/s，實際運行帶寬2.5Gbit/s。板上DDR3顆粒頻率運行在666.6 MHz，數(shù)據(jù)位寬64 bit，數(shù)據(jù)帶寬約42 Gbit/s。視覺處理器芯片接口頻率為50 MHz，數(shù)據(jù)位寬為64 bit，對應(yīng)數(shù)據(jù)帶寬約3 Gbit/s。由此可見，所有關(guān)鍵節(jié)點數(shù)據(jù)帶寬均高于數(shù)據(jù)源帶寬，相機拍攝的圖像數(shù)據(jù)先緩存到DDR3緩存中，供視覺處理器芯片連續(xù)不間斷地讀取圖像并執(zhí)行目標(biāo)檢測處理算法。因此，系統(tǒng)設(shè)計可以滿足圖像數(shù)據(jù)實時處理的需求。

本文設(shè)計了面向硬件的卷積神經(jīng)網(wǎng)絡(luò)圖像目標(biāo)檢測算法，并將算法部署在智能視覺處理器芯片上，可執(zhí)行實時目標(biāo)檢測圖像處理任務(wù)。圖8給出了圖像目標(biāo)檢測算法流程，采用面向硬件加速的輕量級卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，整個算法包含“粗看”和“細(xì)看”兩個階段?！按挚础彪A段網(wǎng)絡(luò)模型包含4層卷積層，各卷積層分別包含2、4、8、16個卷積模板。“細(xì)看”階段的網(wǎng)絡(luò)模型主要由一個主干網(wǎng)絡(luò)、一個類別生成分支、一個實例分割分支組成。主干網(wǎng)絡(luò)主要包含4個卷積層；類別生成分支的輸入為主干網(wǎng)絡(luò)輸出的特征圖，經(jīng)過卷積層和softmax等處理后輸出該圖像塊所屬類別為船只目標(biāo)或背景（云、陸地、海洋）；實例分割分支輸入也為主干網(wǎng)絡(luò)輸出的特征圖，經(jīng)過卷積轉(zhuǎn)置和激活函數(shù)后輸出船只目標(biāo)實例分割Mask。本文在Airbus數(shù)據(jù)集和實際拍攝圖像數(shù)據(jù)的基礎(chǔ)上構(gòu)建了適用于兩階段目標(biāo)檢測算法訓(xùn)練的數(shù)據(jù)集，并分別對“粗看”和“細(xì)看”兩個階段網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。

圖8 船只目標(biāo)檢測算法流程

3.2 測試結(jié)果

本文搭建了遙感圖像目標(biāo)檢測智能處理系統(tǒng)，該系統(tǒng)由高分相機、圖像目標(biāo)檢測模塊、上位機和模擬遙感沙盤組成，數(shù)據(jù)轉(zhuǎn)換板和智能圖像處理板通過高速接口接插件固定在圖像目標(biāo)檢測模塊中，圖像目標(biāo)檢測模塊主要完成了圖像數(shù)據(jù)收集、智能圖像處理和結(jié)果輸出的功能，是系統(tǒng)的核心功能模塊。為保障系統(tǒng)長時間的穩(wěn)定工作，圖像目標(biāo)檢測模塊內(nèi)部采用風(fēng)冷散熱，視覺處理器芯片和FPGA芯片加裝散熱鋁片和風(fēng)扇，并在模塊外殼兩側(cè)制作開孔加強空氣流通散熱。圖像目標(biāo)檢測模塊加裝外殼（不包含鏡頭）后的尺寸為250 mm×190 mm×80 mm（長×高×寬）。

本文采用兩種方法對該系統(tǒng)進(jìn)行測試。

方法1：我們制作了模擬遙感拍攝圖像的沙盤實物，沙盤尺寸2.5 m×2.5 m，遙感目標(biāo)船只尺寸約10～15 cm，成像距離2.5 m。使用高分相機對沙盤進(jìn)行拍攝，將獲取的彩色圖像裁切成256×256像素分辨率大小的圖像塊，送入視覺處理器芯片實時地進(jìn)行目標(biāo)檢測處理，檢測出目標(biāo)的位置坐標(biāo)，處理結(jié)果通過顯示器實時顯示檢測效果，測試結(jié)果如圖9(a)所示，成像分辨率為4 k×3 k像素，成像幀率為18幀/s。

方法2：通過Google地圖、Airbus等來源獲取真實遙感圖像和視頻數(shù)據(jù)，將數(shù)據(jù)通過高速接口直接連續(xù)地輸入到系統(tǒng)中，系統(tǒng)中的FPGA芯片將圖像進(jìn)行裁切及下采樣等預(yù)處理后，以256×256像素分辨率大小的圖像塊送入視覺處理器芯片完成目標(biāo)檢測功能，并將處理得到的船只目標(biāo)坐標(biāo)信息實時傳回至上位機顯示檢測結(jié)果，測試效果如圖9(b)所示。

利用檢測精度來評價算法的有效性，定義如下[17]

式中T指被正確地檢測為目標(biāo)的圖像數(shù)量；F指被錯誤地檢測為目標(biāo)的圖像數(shù)量。本文統(tǒng)計將1 500個圖像塊送入視覺處理系統(tǒng)，其中102個圖像塊含有目標(biāo)，1 398個圖像塊為背景（不考慮圖像塊同時含目標(biāo)和背景的情況）。

經(jīng)測試，系統(tǒng)正確檢測出目標(biāo)圖像塊77個，誤檢為目標(biāo)的圖像塊5個。因此根據(jù)公式（1）計算，本系統(tǒng)目標(biāo)檢測精度為93.9%。系統(tǒng)處理能力達(dá)到200 M像素/s，芯片峰值計算能效達(dá)到2×1012次/W（300 MHz時），系統(tǒng)性能參數(shù)如表1所示。

圖9 遙感圖像目標(biāo)檢測系統(tǒng)測試結(jié)果

表1 遙感圖像智能處理系統(tǒng)性能參數(shù)

Tab.1 Performance of vision processor and verification system

4 結(jié)束語

針對遙感圖像數(shù)據(jù)量激增、處理速度慢、有效信息提取能力不足以及載荷功耗高等限制與挑戰(zhàn)，本文提出一種面向星上處理的遙感圖像智能處理系統(tǒng)，系統(tǒng)搭載視覺處理器芯片和FPGA，可實現(xiàn)圖像預(yù)處理算法、計算機視覺算法和深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法等多種圖像處理算法，采用實拍模擬遙感圖像沙盤和直接輸入真實遙感圖像數(shù)據(jù)兩種方式對芯片和系統(tǒng)進(jìn)行了測試驗證，芯片峰值計算能效達(dá)到2×1012次/W（300 MHz時），系統(tǒng)處理能力達(dá)到200 M像素/s。

基于本文的研究工作，面向更高集成度、更強處理能力和更低功耗的目標(biāo)，未來我們將圍繞以下內(nèi)容開展下一階段的研究：

1）為了進(jìn)一步提升智能視覺系統(tǒng)的算力和集成度，采用三維集成工藝技術(shù)將不同工藝制作的高分辨率傳感器芯片和智能視覺處理器芯片實現(xiàn)堆疊集成，構(gòu)成完整視覺系統(tǒng)芯片，單芯片實現(xiàn)高性能、高能效、高帶寬和小尺寸的傳感、計算與存儲功能[18]。

2）近年來，視覺處理器單芯片的算力已經(jīng)達(dá)到很高的程度，基于芯粒（Chiplet）的集成封裝技術(shù)將多個單功能分立式芯片集成封裝在一塊基板上[19]，互連成為一個完整復(fù)雜功能的系統(tǒng)級芯片。待解決高速數(shù)據(jù)接口、低功耗集成技術(shù)以及互連標(biāo)準(zhǔn)化等關(guān)鍵技術(shù)問題后，“芯?！奔夹g(shù)有望極大地提升芯片性能，增加芯片設(shè)計靈活性。

[1] 張財廣, 熊博蒞, 匡綱要. 光學(xué)衛(wèi)星遙感圖像艦船目標(biāo)檢測綜述[J]. 電波科學(xué)學(xué)報, 2020, 35(5): 637-647. ZHANG Caiguang, XIONG Boli, KUANG Gangyao. A Survey of Ship Detection in Optical Satellite Remote Sensing Images[J]. Chinese Journal of Radio Science, 2020, 35(5): 637-647. (in Chinese)

[2] 肖化超, 王鵬, 張建華, 等. 遙感衛(wèi)星在軌圖像智能處理設(shè)計與驗證[J]. 航天器工程, 2022, 37(2): 43-48. XIAO Huachao, WANG Peng, ZHANG Jianhua, et al. Design and Verification of On-board Intelligent Processing Technology for Remote Sensing Satellites[J]. Spacecraft Engineering, 2022, 37(2): 43-48. (in Chinese)

[3] 李想, 楊燦坤, 周春平, 等. 高分辨率光學(xué)衛(wèi)星圖像目標(biāo)運動信息提取研究綜述[J]. 國土資源遙感, 2019, 31(3): 1-9. LI Xiang, YANG Cankun, ZHOU Chunping, et al. A Review of Target Motion Information Extraction from High-resolution Optical Satellite Images[J]. Remote Sensing for Land and Resources, 2019, 31(3): 1-9. (in Chinese)

[4] 唐紹富, 段蘭蘭. 基于遙感圖像的船舶目標(biāo)識別技術(shù)[J]. 艦船科學(xué)技術(shù), 2020, 42(14): 85-87. TANG Shaofu, DUAN Lanlan. Research on Ship Target Recognition Technology Based on Remote Sensing Image[J]. Ship Science and Technology, 2020, 42(14): 85-87. (in Chinese)

[5] 仇曉蘭, 胡玉新, 上官松濤, 付琨. 遙感衛(wèi)星大數(shù)據(jù)高精度一體化處理技術(shù)[J]. 大數(shù)據(jù), 2022, 8(2): 15-27. QIU Xiaolan, HU Yuxin, SHANGGUAN Songtao, FU Kun. Remote Sensing Satellite Big Data High-recision Integration Processing Technology[J]. Big Data Research, 2022, 8(2): 15-27. (in Chinese)

[6] 劉韜. 國外視頻衛(wèi)星發(fā)展研究[J]. 國際太空, 2014(9): 50-56. LIU Tao. Research of National and International Video Satellites[J]. Space International, 2014(9): 50-56. (in Chinese)

[7] 李貝貝, 韓冰, 田甜, 等. 吉林一號視頻衛(wèi)星應(yīng)用現(xiàn)狀與未來發(fā)展[J]. 衛(wèi)星應(yīng)用, 2018(3): 23-27. LI Beibei, HAN Bing, TIAN Tian, et al. Application Status and Future Development of Jilin-1 Video Satellite[J]. Satellite Applications, 2018(3): 23-27. (in Chinese)

[8] 孫偉偉, 楊剛, 陳超, 等. 中國地球觀測遙感衛(wèi)星發(fā)展現(xiàn)狀及文獻(xiàn)分析[J]. 遙感學(xué)報, 2020, 24(5): 479-510. SUN Weiwei, YANG Gang, CHEN Chao, et al．Development Status and Literature Analysis of China's Earth Observation Remote Sensing Satellites[J]. Journal of Remote Sensing, 2020, 24(5): 479-510. (in Chinese)

[9] 李鴻龍, 楊杰, 張忠星, 等. 用于實時目標(biāo)檢測的高速可編程視覺芯片[J]. 紅外與激光工程, 2020, 49(5): 193-202. LI Honglong, YANG Jie, ZHANG Zhongxing, et al. A High Speed Programmable Vision Chip for Real-time Object Detection[J]. Infrared and Laser Engineering, 2020, 49(5): 193-202. (in Chinese)

[10] 羅遷. 面向視覺芯片的深度學(xué)習(xí)視覺處理器關(guān)鍵技術(shù)研究[D]. 北京: 中國科學(xué)院半導(dǎo)體研究所, 2022. LUO Qian. Research on Key Technologies of Deep Learning Vision Processor for Vision Chip[D]. Beijing: Institute of Semiconcluctors, Chinese Academy of Sciences, 2022.

[11] ZHENG Xuemin, CHENG Li, ZHAO Mingxin, et al. ViP: A Hierarchical Parallel Vision Processor for Hybrid Vision Chip[J]. IEEE Transactions on Circuits and Systems II: Express Briefs, 2022, 69(6): 2957-2961.

[12] 王密, 楊芳. 智能遙感衛(wèi)星與遙感影像實時服務(wù)[J]. 測繪學(xué)報, 2019, 48(12): 1586-1594. WANG Mi, YANG Fang. Intelligent Remote Sensing Satellite and Remote Sensing Image Real-time Service[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(12): 1586-1594. (in Chinese)

[13] ZHANG Zhongxing, LI Honglong, ZHANG Guangqian, et al. CCNet: A High-speed Cascaded Convolutional Neural Network for Ship Detection with Multispectral Images[J]. Journal of Infrared and Millimeter Waves, 2019, 38(3): 290-295.

[14] ZHAO Mingxin, PENG Junbo, YU Shuangming, et al. Exploring Structural Sparsity in CNN via Selective Penalty[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2022, 32(3): 1658-1666.

[15] ZHAO Mingxin, NING Ke, YU Shuangming, et al. Quantizing Oriented Object Detection Network via Outlier-Aware Quantization and IoU Approximation[J]. IEEE Signal Processing Letters, 2020, 27: 1914-1918.

[16] DI Qian, ZHANG Zhongxing, LI Honglong, et al. Single Event Upset Failure Probability Evaluation and Periodic Scrubbing Techniques for Hierarchical Parallel Vision Processors[J]. IEICE Electronics Express, 2019, 16(21): 20190544.

[17] 李曉斌, 江碧濤, 楊淵博, 等. 光學(xué)遙感圖像目標(biāo)檢測技術(shù)綜述[J]. 航天返回與遙感, 2019, 40(4): 95-104. LI Xiaobin, JIANG Bitao, YANG Yuanbo, et al. A Survey on Object Detection Technology in Optical Remote Sensing Images[J]. Spacecraft Recovery & Remote Sensing, 2019, 40(4): 95-104. (in Chinese)

[18] CHAN Chihang, CHENG Lin, DENG Wei, et al. Trending IC Design Directions in 2022[J]. Journal of Semiconductors, 2022, 43(7): 071401.

[19] 蔣劍飛, 王琴, 賀光輝, 等. Chiplet技術(shù)研究與展望[J]. 微電子學(xué)與計算機, 2022, 39(1): 1-6． JIANG Jianfei, WANG Qin, HE Guanghui, et al. Research and Prospect on Chiplet Technology[J]. Microelectromcs & Computer, 2022, 39(1): 1-6. (in Chinese)

Design and Implementation of Remote Sensing Image Processing System with Intelligent Vision Processor

YU Shuangming1,2WU Wenbo3DOU Runjiang1LIU Liyuan1,4LIU Jian1,2WU Nanjian1,2

（1 State Key Laboratory of Superlattices and Microstructures, Institute of Semiconductors, Chinese Academy of Sciences, Beijing 100083, China）（2 University of Chinese Academy of Sciences, College of Materials Science and Opto-Electronic Technology, Beijing 100049, China）（3 Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）（4 University of Chinese Academy of Sciences, School of Electronic Electrical and Communication Engineering, Beijing 100049, China）

With the rapid development of remote sensing satellite imaging technology, image processing technology is faced with challenges, such as slow data processing, detection and high power consumption. This paper presents a remote sensing image processing system with a vision processor chip for intelligently processing remote sensing images. The chip has a dynamically reconfigurable parallel architecture is proposed to flexibly and efficiently implement image preprocessing, computer vision algorithms and deep learning neural network algorithms. The algorithm/hardware co-design method is used to compact algorithm models by pruning and quantization techniques. The processing system for remote sensing image processing is built and tested with real remote images. The test results show that the vision processor designed and implemented in the paper achieves an energy efficiency of 2TOPS/W @300 MHz clock frequency. The system can realize remote sensing image target detection function with a performance of 200M pixel/second.

remote sensing image; image processing; vision processor; deep learning neural network

V445

A

1009-8518(2023)05-0054-11

10.3969/j.issn.1009-8518.2023.05.007

于雙銘，男，1987年生，2015年獲中國科學(xué)院半導(dǎo)體研究所微電子學(xué)與固體電子學(xué)博士學(xué)位，現(xiàn)為中國科學(xué)院半導(dǎo)體研究所副研究員。主要研究方向為人工智能視覺芯片、低功耗數(shù)?；旌霞呻娐?。E-mail：yushuangming@semi.ac.cn。

2022-06-11

國家自然科學(xué)基金（62274154，U20A20205，U21A20504）；國家重點研發(fā)計劃（2019YFB2204300）；中國科學(xué)院青年創(chuàng)新促進(jìn)會項目（2021109）

于雙銘, 武文波, 竇潤江, 等. 基于視覺處理器芯片的遙感圖像智能處理系統(tǒng)設(shè)計與驗證[J]. 航天返回與遙感, 2023, 44(5): 54-64.

YU Shuangming, WU Wenbo, DOU Runjiang, et al. Design and Implementation of Remote Sensing Image Processing System with Intelligent Vision Processor[J]. Spacecraft Recovery & Remote Sensing, 2023, 44(5): 54-64. (in Chinese)

（編輯：毛建杰）