薛武 趙玲,2 王鵬

星地協(xié)同光學遙感影像目標識別技術驗證研究

薛武1趙玲1,2王鵬1

（1 航天工程大學，北京 101416）（291039部隊，北京 102400）

為了提高光學遙感衛(wèi)星信息處理的時效性，文章提出了星地協(xié)同光學遙感影像在軌目標智能識別技術框架。將基于遙感大數(shù)據(jù)的深度學習、神經(jīng)網(wǎng)絡模型訓練等數(shù)據(jù)量大、運算量大、計算復雜、要求較高的處理任務部署在地面服務器，將深度學習訓練得到的模型進行壓縮并上注至衛(wèi)星，衛(wèi)星在軌利用輕量化模型對影像進行推理計算，最后把目標識別結果下傳至用戶。為了對所提出的技術框架進行驗證，在高性能服務器和嵌入式開發(fā)板上進行了驗證試驗，利用YOLO-v5算法和DIOR遙感數(shù)據(jù)集進行了測試，結果表明：在模擬星載計算環(huán)境下，處理100km2范圍1m分辨率遙感影像耗時17.74s，平均精確度（Mean Average Precision，mAP）為87.2%。文章提出的星地協(xié)同智能目標識別技術框架實時性和精度上能夠滿足應用需求，具備一定的可行性，可以進一步開展在軌驗證試驗。

星地協(xié)同 目標識別 深度學習 驗證試驗 遙感應用

0 引言

經(jīng)過多年的建設發(fā)展，中國逐步構建了比較完備的航天遙感、地理測繪、海洋監(jiān)測等對地觀測衛(wèi)星體系，在地理國情監(jiān)測、資源普查、基礎測繪等領域發(fā)揮了重要的作用，取得了顯著的經(jīng)濟和社會效益。特別在“高分”專項的持續(xù)推動下，中國遙感衛(wèi)星進入了空前發(fā)展時期，多平臺、多傳感器、多時相的海量對地觀測數(shù)據(jù)，為國民經(jīng)濟建設提供日益豐富的數(shù)據(jù)資源[1]。但受限于空間環(huán)境、質(zhì)量、體積、功耗等因素，目前遙感衛(wèi)星在軌信息處理能力較弱，主要完成數(shù)據(jù)采集和少量預處理工作。數(shù)據(jù)處理主要通過地面設備和人員進行，因此導致衛(wèi)星對地觀測數(shù)據(jù)處理自動化程度低，信息提取的時效性較差等問題。隨著各行業(yè)對于衛(wèi)星遙感信息時效性要求越來越高，傳統(tǒng)的“衛(wèi)星數(shù)據(jù)獲取—地面站接收處理—數(shù)據(jù)分發(fā)—專業(yè)應用”的模式無法滿足用戶的時效性要求。

因此，在努力追求更高空間分辨率、光譜分辨率和時間分辨率，提高數(shù)據(jù)獲取品質(zhì)的同時，應提高遙感信息處理的時效性，特別是提高衛(wèi)星在軌的數(shù)據(jù)處理能力。目前來看，受限于衛(wèi)星的質(zhì)量、體積、功耗以及信息處理硬件的發(fā)展水平，將信息處理設備直接“搬運”到星上的方式是尚不具備可行性。僅以當前光學遙感影像智能目標識別為例，以卷積神經(jīng)網(wǎng)絡為代表的深度學習算法取得了傳統(tǒng)機器學習算法難以達到的效果，展現(xiàn)出巨大的應用潛力[2-3]。但深度學習需要依賴高性能的服務器進行模型的訓練與驗證工作，對硬件的計算和存儲能力要求都很高，即使是模型推理，也十分消耗硬件資源，就目前衛(wèi)星的計算能力來看，無法滿足深度學習算法的需求。

各航天大國一直很重視對星上信息處理技術的研究，已有不少在遙感衛(wèi)星上采用高速處理器件實現(xiàn)特定實時處理功能的先例。目前的星上處理任務主要集中在圖像預處理、海量數(shù)據(jù)存儲與格式轉換、數(shù)據(jù)壓縮與轉發(fā)、原始數(shù)據(jù)的自動分析及目標的特征提取等功能上，力圖依靠星上自主處理，最大限度地減少地面干預。

美海軍“地球繪圖觀測者”衛(wèi)星采用了美國海軍研究所研制的光學實時適應信號識別系統(tǒng)，能夠進行星上超光譜數(shù)據(jù)的實時自動數(shù)據(jù)分析、特征提取和10:1～20:1數(shù)據(jù)壓縮處理，并實時地以戰(zhàn)術下行線路將觀測結果從衛(wèi)星直接傳送到戰(zhàn)場[4]。美國為了實現(xiàn)向作戰(zhàn)單兵提供實時遙感情報分發(fā)，發(fā)射了“戰(zhàn)術星-3”（TacSat-3）試驗衛(wèi)星，能夠在10min內(nèi)完成從發(fā)出觀測任務指令到作戰(zhàn)人員接收信息的全過程[5]。

德國宇航局的雙光譜紅外探測小衛(wèi)星主要用于地面火災監(jiān)視，其有效載荷包括雙光譜紅外過熱點識別系統(tǒng)，其在軌處理系統(tǒng)實現(xiàn)了可見光、中波紅外和熱紅外3個波段圖像在星上的輻射校正、幾何校正、紋理提取和神經(jīng)網(wǎng)絡分類等處理，實現(xiàn)對亞像元級熱點的探測[4]。

法國研制的高分辨的光學衛(wèi)星“Pleiades”采用了可重構FPGA作為模塊化的星上圖像數(shù)據(jù)處理器（Module Video Processor，MVP）核心，實現(xiàn)片上的數(shù)據(jù)采集、像元對齊、熱控、電控等功能。其中的圖像壓縮模塊采用基于小波的圖像壓縮算法，壓縮比7:l（標準方法4.8:1），依據(jù)國際空間數(shù)據(jù)系統(tǒng)咨詢委員會規(guī)范對輸出數(shù)據(jù)進行打包[4]。

文獻[5]從遙感衛(wèi)星技術與信息技術深度融合的角度，闡述了未來遙感衛(wèi)星運營模式和服務模式可能的變革方向。提出了未來新型智能遙感衛(wèi)星的總體概念設想及一種具備開放軟件平臺、網(wǎng)絡接入、可以支持第三方靈活開發(fā)并上注應用程序的智能遙感衛(wèi)星，給出了一種由智能遙感衛(wèi)星、云服務中心、星地網(wǎng)絡組成的智能遙感衛(wèi)星系統(tǒng)；文獻[6]在分析未來空間信息系統(tǒng)發(fā)展需求以及現(xiàn)有空間信息系統(tǒng)建設所存在的弊端的基礎上，從頂層設計入手，提出了以“軟件星”為基礎的空間信息系統(tǒng)發(fā)展新策略，并提出了基于“軟件星”的綜合一體化空間信息系統(tǒng)建設的初步設想；文獻[7]提出了智能高光譜衛(wèi)星的概念，智能高光譜衛(wèi)星成像系統(tǒng)包括前視預判相機和主相機，前視相機用于云監(jiān)測、氣溶膠光學厚度以及水汽含量的反演，以及成像區(qū)域地表覆蓋與背景輻射信息的初步估算，為主相機成像提供重要依據(jù)，主相機以最優(yōu)化模式對地表進行光譜成像；文獻[8]提出了未來空間信息網(wǎng)絡環(huán)境下對地觀測腦的概念，即基于事件感知的智能化對地觀測系統(tǒng)，并介紹了對地觀測腦的概念模型及需要解決的關鍵技術，舉例說明了對地觀測腦初級階段的感知、認知過程。將來對地觀測腦可以回答何時、何地、何目標發(fā)生了何種變化，并在規(guī)定的時間和地點把這些正確的信息推送給需要的人的手機或其他智能終端，全球用戶可實時獲得所需的任何數(shù)據(jù)、信息和知識。

然而，以上研究仍然主要集中在數(shù)據(jù)預處理相關的初級算法，實現(xiàn)基于專業(yè)模型直接生成用戶可用的信息產(chǎn)品的高級算法仍存在較大困難。因此，未來智能遙感衛(wèi)星將衛(wèi)星數(shù)據(jù)的獲取和應用結合在一起，將應用分析模塊固化到衛(wèi)星上，使得數(shù)據(jù)處理和分析與有效載荷數(shù)據(jù)獲取系統(tǒng)連為一體，數(shù)據(jù)獲取后可在星上直接處理生成信息產(chǎn)品，為用戶提供實時服務。

本文結合當前主流衛(wèi)星計算能力和嵌入式設備算力的發(fā)展現(xiàn)狀，提出了星地協(xié)同光學遙感影像在軌目標智能識別技術框架。所謂星地協(xié)同，就是將歷史數(shù)據(jù)的深度挖掘、基于遙感大數(shù)據(jù)的深度學習、神經(jīng)網(wǎng)絡模型訓練等數(shù)據(jù)量大、運算量大、計算復雜、要求較高的處理任務部署在地面系統(tǒng)，將深度學習訓練得到的模型參數(shù)等上注至衛(wèi)星，在軌通過模型推理對影像進行實時智能處理，直接將處理結果下傳至用戶，大幅提高衛(wèi)星的智能化水平和遙感信息應用的時效性。

為闡述星地協(xié)同的遙感信息智能處理的理念并進行原理性驗證，本文以高分辨率光學衛(wèi)星影像在軌目標識別為例，開展了相關研究和實踐工作。

1 技術框架及關鍵技術

1.1 技術框架

星地協(xié)同光學遙感影像在軌目標智能識別技術框架的核心思想是構建“地面模型訓練—模型壓縮—模型上傳—星上處理—結果下傳—地面檢核—模型修正—更新上傳”的良性循環(huán)回路，如圖1所示。衛(wèi)星在軌實時處理遙感影像，將信息產(chǎn)品傳輸至地面用戶，提高了遙感信息應用的時效性。同時，隨著深度學習模型的持續(xù)優(yōu)化迭代，在軌處理結果的可靠性與精度不斷提高。星地協(xié)同光學遙感影像在軌目標智能識別技術框架涉及多項關鍵技術，技術流程如圖2所示。技術流程圖展示的是星地協(xié)同處理的完整技術流程，本文重點對其中的模型訓練、模型壓縮和迭代優(yōu)化技術進行研究。

1.2 關鍵技術

（1）基于深度學習的光學遙感影像目標檢測識別技術

基于深層神經(jīng)網(wǎng)絡的深度學習方法在目標識別研究中取得了良好的效果，并展示出巨大的應用潛力。按照“是否生成區(qū)域建議”，可以分為“兩步法”和“一步法”。

“兩步法”將目標檢測框架分為兩個階段。第一階段的重點是生成一系列可能包含目標的候選區(qū)域建議。第二階段的目標是將第一階段獲得的候選區(qū)域建議分類為目標類或背景，并進一步微調(diào)邊界框的坐標。比較具有代表性的“兩步法”目標識別算法有R-CNN[9]、Fast R-CNN[10]、Faster R-CNN[11]、Mask R-CNN[12-13]等；“一步法”是指直接將檢測簡化為一個回歸問題。與基于區(qū)域建議的方法相比，基于回歸的方法更簡單、更有效，因為不需要生成候選區(qū)域建議和隨后的特征重新采樣。比較具有代表性的“一步法”目標識別方法有You Look Only Once（YOLO）[14-15]、Single Shot multibox Detector（SSD）[16]和RetinaNet[17]等。

圖1 技術框架示意

圖2 關鍵技術流程

在眾多的目標檢測識別算法中，YOLO算法憑借其良好的性能和效率在諸多領域取得了成功的應用，并相繼推出了v1～v5多個版本。文獻[16-17]開源了YOLO-v4，采用多種改進策略，在COCO數(shù)據(jù)集上幾乎是當時綜合性能最好的算法。Ultralytics更新了YOLO-v5（https://github.com/ultralytics/yolov5），包括4個不同的版本：YOLO-v5 s、YOLO-v5 m、YOLO-v5 l、YOLO-v5 x，其s版本體積只有YOLO-v4的十分之一，推理速度是v4版本的近3倍。

光學遙感衛(wèi)星在軌目標檢測識別對算法的精度和速度均有較高的要求，為驗證在軌處理的可行性，本文對具有代表性的目標檢測識別最新算法YOLO-v5開展試驗測試。

為了使試驗測試具有一定的可比性，選擇在遙感公開數(shù)據(jù)集上開展試驗。目前，光學遙感影像處理領域的公開數(shù)據(jù)集主要有TAS、SZTAKI-INRIA、NWPU VHR-10、VEDAI、UCAS-AOD、DOTA、DIOR等[18-19]。其中，DIOR數(shù)據(jù)集包含23 463幅遙感影像和190 288個目標實例，目標尺度變化大、影像類型豐富多樣、類間相似性和類內(nèi)多樣性高，在眾多數(shù)據(jù)集中具有明顯的優(yōu)勢，適宜作為試驗測試的基準。

（2）深層神經(jīng)網(wǎng)絡輕量化與加速技術

深度學習被認為是目前計算機圖像處理領域中最先進的技術之一，雖然其功能強大，但網(wǎng)絡中大規(guī)模的權值參數(shù)消耗了大量的計算和內(nèi)存資源，如：AlexNet模型超過200Mbyte，YOLO-v4模型約250Mbyte，YOLO-v5 x模型約350Mbyte，VGG-16模型超過了500Mbyte，若將其傳輸至星上將相當耗費時間，且模型在星上運行還會占用相當大的計算和內(nèi)存資源[20]。因此，需要研究深層神經(jīng)網(wǎng)絡輕量化與加速技術，以便于目標特征模型傳輸和部署到星上。網(wǎng)絡模型輕量化的原則是在精度損失可接受的范圍內(nèi)盡可能壓縮模型的大小，以便于在星上嵌入式系統(tǒng)部署和運行。

主流的深層神經(jīng)網(wǎng)絡輕量化與加速技術主要包括輕量化設計、模型剪枝、參數(shù)共享、低秩分解、知識蒸餾、權值量化和編碼等技術，在邊緣計算、移動端應用、在軌數(shù)據(jù)處理等領域有重要的價值[21-23]。

不同的深層神經(jīng)網(wǎng)絡輕量化與加速技術各有其優(yōu)缺點，關于如何選擇哪種技術尚無明確的準則，目前可供參考的經(jīng)驗主要有[21]：

1）對于在線計算內(nèi)存存儲有限的應用場景或設備，可以選擇參數(shù)共享和參數(shù)剪枝方法，特別是二值量化權值和激活結構化剪枝，其他方法雖然能夠有效的壓縮模型中的權值參數(shù)，但無法減小計算中隱藏的內(nèi)存大小，如特征圖；

2）如果在應用中用到的緊性模型需要利用預訓練模型，那么參數(shù)剪枝、參數(shù)共享以及低秩分解將成為首要考慮的方法，相反地若不需要借助預訓練模型則可以考慮緊性濾波設計及知識蒸餾方法；

3）若需要一次性端對端訓練得到壓縮與加速后模型，可以利用基于緊性濾波設計的深度神經(jīng)網(wǎng)絡壓縮與加速方法；

4）一般情況下，參數(shù)剪枝特別是非結構化剪枝能大大壓縮模型大小且不容易丟失分類精度．對于需要穩(wěn)定的模型分類的應用非結構化剪枝成為首要選擇；

5）若采用的數(shù)據(jù)集較小時，可以考慮知識蒸餾方法，對于小樣本的數(shù)據(jù)集學生網(wǎng)絡能夠很好地遷移教師模型的知識提高學生網(wǎng)絡的判別性；

6）主流的幾個深度神經(jīng)網(wǎng)絡壓縮與加速算法相互之間是正交的，可以結合不同技術進行進一步的壓縮與加速。

針對星上計算資源、功耗、內(nèi)存受限的現(xiàn)狀，瞄準任務實時性、可靠性要求高的難題，研究星上智能計算架構設計、星上智能算法設計以及基于星載嵌入式系統(tǒng)的運算加速技術，為星上智能實時處理提供技術支撐，提升空間系統(tǒng)的智能化水平和實時響應能力。

（3）星地協(xié)同模型迭代優(yōu)化技術

星地協(xié)同計算一個突出的優(yōu)勢就是在星上計算資源有限的情況下，充分利用了地面系統(tǒng)的計算能力，將預先訓練好的模型上注至衛(wèi)星，獲取影像的同時執(zhí)行推理計算，得到目標檢測結果。由于歷史積累數(shù)據(jù)與真實數(shù)據(jù)之間存在差異，預訓練模型的精度有待進一步提高。模型的優(yōu)化是一個迭代的過程，需要星地協(xié)同配合實現(xiàn)，以光學衛(wèi)星為例，其具體流程如下：地面模型遷移學習—預訓練模型—模型上注—在軌推理—地面結果復核—地面模型持續(xù)訓練優(yōu)化—模型更新上注。

由于當前主流的深度學習目標檢測算法已經(jīng)有研究人員在計算機視覺開源數(shù)據(jù)庫上進行了訓練，并將訓練結果開源。遙感領域的目標檢測模型訓練可以充分利用這些資源，節(jié)約較多的時間。由于遙感數(shù)據(jù)和計算機視覺數(shù)據(jù)在成像方式、尺度、目標類型、背景分布等方面有較大差異，因此直接利用計算機視覺開源數(shù)據(jù)集訓練得到的模型進行推理的精度較差。利用計算機視覺中訓練好的模型在遙感數(shù)據(jù)集上進行遷移學習訓練，能夠有效降低模型訓練所需要的時間。遷移學習后可以得到目標識別的預訓練模型，模型的精度取決于算法本身的精度以及采用的訓練數(shù)據(jù)集與真實數(shù)據(jù)之間的相似性。

為了提高目標檢測的精度，需要對遷移學習后得到的預訓練模型進行迭代優(yōu)化，即隨著衛(wèi)星在軌運行采集遙感數(shù)據(jù)的積累進行模型的持續(xù)學習，形成目標檢測的閉環(huán)控制。

星地協(xié)同模型迭代優(yōu)化技術主要研究星地協(xié)同智能處理閉環(huán)控制的實現(xiàn)方案，關鍵技術包括目標特征模型更新頻率的自適應確定、抽樣檢核方案設計以及先驗知識約束下的模型的迭代優(yōu)化等。

2 模擬試驗與分析

為了對本文提出的星地協(xié)同目標智能識別技術框架進行驗證，搭建了驗證環(huán)境，開展了演示驗證試驗，并進行了總結分析。

2.1 模擬驗證環(huán)境搭建

由于在軌驗證試驗開展難度較大，本文在實驗室搭建了星地協(xié)同目標智能識別的模擬環(huán)境。地面處理部分采用AMAX高性能服務器（GPU），軟硬件配置如表1所示，模擬星上計算設備采用NVIDIA嵌入式開發(fā)板Jetson AGX XAVIER，軟硬件配置情況如表2所示，測試數(shù)據(jù)采用DIOR數(shù)據(jù)集。

表1 AMAX高性能GPU服務器配置

Tab.1 AMAX high performance GPU server configuration

表2 Jetson AGX XAVIER配置

Tab.2 Configuration of Jetson AGX Xavier

2.2 地面模型訓練

在AMAX服務器上利用DIOR數(shù)據(jù)集開展YOLO-v5模型訓練，DIOR數(shù)據(jù)集中不同類別的目標數(shù)量如圖5所示，目標在影像上的分布情況統(tǒng)計如圖6所示，目標大小情況統(tǒng)計如圖7所示。YOLO-v5有多個版本，本文選擇了x和s兩個版本，x版本的網(wǎng)絡模型最復雜，模型參數(shù)最多，理論上效率最慢、效果最好；s版本的網(wǎng)絡模型結構最簡單，參數(shù)最少，理論上效率最高、效果最差。通過兩個版本的對比測試，可以驗證YOLO算法的性能，為地面模型訓練和星上推理驗證提供依據(jù)。訓練時利用了開源的COCO數(shù)據(jù)集預訓練的模型進行遷移學習，訓練過程中主要參數(shù)設置情況如表3所示，部分影像測試結果如圖8所示。從隨機抽取的影像中可以看出，無論是操場、網(wǎng)球場等大型目標，還是汽車、風車、船只等小型目標，均能夠正確識別出來，說明遷移學習的有效性。訓練結束后在驗證數(shù)據(jù)集上，對兩個版本模型的性能進行測試驗證，統(tǒng)計其平均精確度（Mean Average Precision，mAP）、運行時間等，結果如表4、表5所示。

圖5 訓練數(shù)據(jù)集中不同類別目標數(shù)量

圖6 目標在影像上分布位置情況統(tǒng)計

圖7 目標大小情況統(tǒng)計

表3 訓練過程參數(shù)設置

Tab.3 Parameter setting of training process

圖8 部分影像測試結果

表4 YOLO-v5-x性能測試結果

Tab.4 YOLO-v5-x Performance test results

表5 YOLO-v5-s性能測試結果

Tab.5 YOLO-v5-s Performance test results

2.3 模擬星上模型部署與推理驗證

在AMAX服務器上模型訓練結束后，將結果部署在嵌入式開發(fā)板Jetson AGX XAVIER中，利用DIOR數(shù)據(jù)集中的測試數(shù)據(jù)進行模型推理性能測試，并統(tǒng)計其mAP、耗時等指標。兩個版本的統(tǒng)計結果如表6所示。

表6 模型推理性能測試結果

Tab.6 Model inference performance test results

2.4 模型優(yōu)化與更新

在實際工程應用中，地面訓練模型上注到衛(wèi)星后，其精度需要通過持續(xù)學習不斷迭代優(yōu)化進行提升。主要方法是根據(jù)真實場景，在新獲取數(shù)據(jù)積累到一定數(shù)量后，對模型進行繼續(xù)訓練，不斷提高其精度。由于本文所采用的訓練數(shù)據(jù)集與真實光學衛(wèi)星影像的一致性很高，推理的精度與訓練數(shù)據(jù)集比較一致，因此沒有進行模型的再次更新。

對于新型傳感器或新成像方式的衛(wèi)星則必須進行模型的持續(xù)優(yōu)化，否則受限于模型的泛化能力，基于公開數(shù)據(jù)集訓練得到的模型精度較低，無法滿足在軌目標識別的精度要求。

2.5 試驗結果分析

1）分析2.2地面模型訓練的結果可知，YOLO-v5模型具有良好的性能，在DIOR數(shù)據(jù)集上有良好的性能表現(xiàn)，x版本和s版本的mAP分別達到了0.887和0.872，AP值最高達0.98，滿足大多數(shù)情況下的應用需求；

2）不同版本YOLO模型的精度差別不大，s版本僅比x版本下降了1.5個百分點，而模型大小不到其1/13，在嵌入式開發(fā)板上的推理速度是x版本的2.19倍，說明通過模型的輕量化設計實現(xiàn)了幾乎不損失精度的前提下提高推理效率、節(jié)約內(nèi)存資源開銷的目的；

3）從表6中可以看出，運行軟硬件環(huán)境的的變化并未對兩個版本YOLO模型的mAP帶來變化，即在嵌入式計算環(huán)境下其性能沒有下降；

表7 推理效率等效計算

Tab.7 Equivalent calculation of inference efficiency

4）為了更加形象的表示模型的推理速度，便于衛(wèi)星遙感領域應用分析，本文將YOLO-v5兩個版本的推理效率換算到地面分辨率1m，像幅10 000像元×10 000像元的遙感影像，其地面覆蓋范圍10km×10km，其時間消耗情況如表7所示。

從表7可以看出，在單個Jetson AGX XAVIER開發(fā)板上采用YOLO-v5的s版本的模型處理百平方千米遙感影像消耗時間為17.74 s，mAP為87.2%，能夠滿足在軌快速處理的應用需求。

3 結束語

隨著遙感衛(wèi)星的快速發(fā)展，在軌處理、星地協(xié)同處理成為重要的發(fā)展趨勢。本文提出了星地協(xié)同光學遙感影像在軌目標智能識別的技術框架，介紹了其基本原理和關鍵技術?；跇嫿ǖ男堑啬M計算環(huán)境，利用開源數(shù)據(jù)集，開展了演示驗證試驗。試驗結果表明本文提出的星地協(xié)同智能目標識別技術框架實時性和精度上能夠滿足在軌處理應用需求，具備一定的可行性，可以進一步開展在軌驗證試驗。

[1] 李德仁, 童慶禧, 李榮興, 等. 高分辨率對地觀測的若干前沿科學問題[J]. 中國科學: 地球科學, 2012, 42(6): 805-813.

LI Deren, TONG Qingxi, LI Rongxing, et al. Current Issues in High-resolution Earth Observation Technology[J]. Scientia Sinica (Terrae), 2012, 42(6): 805-813. (in Chinese)

[2] 趙申劍. 深度學習[M]. 北京: 人民郵電出版社, 2017.

ZHAO Shenjian. Deep Learning[M]. Beijing: People's Posts and Telecommunications Press, 2017. (in Chinese)

[3] DENG J, DONG W, SOCHER R, et al. ImageNet: A Large-scale Hierarchical Image Database[C]// 2009 IEEE Conference on Computer Vision & Pattern Recognition, June 20-25, 2009, Miami, FL, USA. IEEE, 2009.

[4] 高昆, 劉迎輝, 倪國強, 等. 光學遙感圖像星上實時處理技術的研究[J]. 航天返回與遙感, 2008, 29(1): 50-54.

GAO Kun, LIU Yinghui, NI Guoqiang, et al. Study on On-board Real-time Image Processing Technology of Optical Remote Sensing[J]. Spacecraft Recovers & Remote Sensing, 2008, 29(1): 50-54. (in Chinese)

[5] 楊芳, 劉思遠, 趙鍵, 等. 新型智能遙感衛(wèi)星技術展望[J]. 航天器工程, 2017, 26(5): 74-81.

YANG Fang, LIU Siyuan, ZHAO Jian, et al. Technology Prospective of Intelligent Remote Sensing Satellite[J]. Spacecraft Engineering, 2017, 26(5): 74-81. (in Chinese)

[6] 楊小牛. 基于“軟件星”的綜合一體化空間信息系統(tǒng)[J]. 中國電子科學研究院學報, 2004(4): 15-22.

YANG Xiaoniu. Integrated Spatial Information System Based on “Software Star”[J]. Journal of Chinese Academy of Electronic Sciences, 2004(4): 15-22. (in Chinese)

[7] 張兵. 智能遙感衛(wèi)星系統(tǒng)[J]. 遙感學報, 2011, 15(3): 415-431.

ZHANG Bing. Intelligent Remote Sensing Satellite System[J]. Journal of Remote Sensing, 2011, 15(3): 415-43l. (in Chinese)

[8] 李德仁, 王密, 沈欣, 等. 從對地觀測衛(wèi)星到對地觀測腦[J]. 武漢大學學報(信息科學版), 2017, 42(2): 143-149.

LI Deren, WANG Mi, SHEN Xin, et al. From Earth Observation Satellite to Earth Observation Brain[J]. Geomatics and Information Science of Wuhan University, 2017, 42(2): 143-149. (in Chinese)

[9] GIRSHICK, DONAHUE R, DARRELL J, et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2014, Columbus, OH, USA. IEEE, 2014: 580-587.

[10] GIRSHICK R. Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision (ICCV), December 7-13, 2015, Santiago, Chile. IEEE, 2015: 1440-1448.

[11] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: Towards Real-time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[12] LIN T Y, DOLLáR P, GIRSHICK R, et al. Feature Pyramid Networks for Object Detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. IEEE, 2017.

[13] HE K, GKIOXARI G, DolláR P, et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(2): 386-397.

[14] REDMON J, DIVVALA S, GIRSHICK R, et al. You Only Look Once: Unified, Real-time Object Detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016,Las Vegas, NV, USA. IEEE, 2016.

[15] BOCHKOVSKIY A, WANG C Y, LIAO H. YOLOv4: Optimal Speed and Accuracy of Object Detection[EB/OL]. [2020-10-11]. https://arxiv.org/abs/2004.10934.

[16] LIU W, ANGUELOV D, ERHAN D, et al. SSD: Single Shot Multibox Detector[EB/OL]. (2016-09-17)[2020-10-11]. https://arxiv.org/abs/1512.02325.

[17] LIN T, GOYAL P, GIRSHICK R, et al. Focal Loss for Dense Object Detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(2): 318-327.

[18] XIA G, BAI X, DING J, et al. DOTA: A Large-scale Dataset for Object Detection in Aerial Images[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 18-23, 2018, Salt Lake City, UT, USA. IEEE, 2018.

[19] LI K, WAN G, CHENG G, et al. Object Detection in Optical Remote Sensing Images: A Survey and a New Benchmark[EB/OL]. [2020-10-11]. https://arxiv.org/abs/1909.00133v2.

[20] 袁秋壯, 魏松杰, 羅娜. 基于深度學習神經(jīng)網(wǎng)絡的SAR星上目標識別系統(tǒng)研究[J]. 上海航天, 2017, 34(5): 46-53.

YUAN Qiuzhuang, WEI Songjie, LUO Na. Research on SAR Satellite Target Recognition System Based on Deep Learning Neural Network[J]. Aerospace Shanghai, 2017, 34(5): 46-53. (in Chinese)

[21] 紀榮嶸, 林紹輝, 晁飛, 等. 深度神經(jīng)網(wǎng)絡壓縮與加速綜述[J]. 計算機研究與發(fā)展, 2018, 55(9): 1871-1888.

JI Rongrong, LIN Shaohui, CHAO Fei, et al. Deep Neural Network Compression and Acceleration: A Review[J]. Journal of Computer Research and Development, 2018, 55(9): 1871-1888. (in Chinese)

[22] HAN S, MAO H, DALLY W J. Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding[EB/OL]. [2020-10-11]. https://arxiv.org/abs/1510.00149v3.

[23] HAN S. Efficient Methods and Hardware for Deep Learning[D]. San Francisco: Stanford University, 2017.

Satellite-earth Coordinated On-orbit Intelligent Target Recognition of Optical Remote Sensing Images

XUE Wu1ZHAO Ling1,2WANG Peng1

（1 Space Engineering University, Beijing 101416, China）（291039 Troops, Beijing 102400, China）

To improve the timeliness of optical remote sensing satellite information processing, we propose a technical framework for satellite-earth coordinated on-orbit intelligent target recognition using optical remote sensing images. Processing tasks with large amounts of data and high computation requirements, such as deep learning based on remote sensing big data and neural network model training, are deployed on the ground computing server, while the model obtained from deep learning training is compressed and transmitted to the satellite. The satellite uses a lightweight model for on-orbit inference and computation before finally transmitting the target recognition results to the user. To validate the proposed technical framework, we conducted a verification experiment on GPU server and embedded development board, and used YOLO-v5 algorithms and DIOR remote sensing data set for testing. The results show that under a simulated onboard computing environment, the processing time of 1m-resolution remote sensing images in a range of 100km2is 17.74 s, and the mAP is 87.2%. The experimental results suggest that the proposed technical framework for satellite-earth coordinated intelligent target recognition is able to meet the application requirements in both real-time performance and accuracy with certain feasibility, warranting on-orbit experiments for further verification.

satellite-earth coordination; target recognition; deep learning; verification experiment; remote sensing application

P237

A

1009-8518(2021)03-0128-10

10.3969/j.issn.1009-8518.2021.03.014

2020-11-11

薛武, 趙玲, 王鵬. 星地協(xié)同光學遙感影像目標識別技術驗證研究[J]. 航天返回與遙感, 2021, 42(3): 128-137. XUE Wu, ZHAO Ling, WANG Peng. Satellite-earth Coordinated On-orbit Intelligent Target Recognition of Optical Remote Sensing Images[J]. Spacecraft Recovery & Remote Sensing, 2021, 42(3): 128-137. (in Chinese)

薛武，男，1988年生，2017年獲信息工程大學測繪科學與技術專業(yè)博士學位，助理研究員。研究方向為空間感知信息智能處理。E-mail：xuewu_81@126.com。

（編輯：龐冰）