汪 琪，馬靈玲*，王 寧，王宇航,2，黎荊梅，騰格爾，歐陽光洲，張遠平，敖 磊，牛沂芳，鄭青川,李子揚

(1.中國科學(xué)院空天信息創(chuàng)新研究院 定量遙感信息技術(shù)重點實驗室，北京 100094；2.中國科學(xué)院大學(xué) 電子電氣與通信工程學(xué)院，北京 100049；3.內(nèi)蒙古北方重工業(yè)集團有限公司，內(nèi)蒙古 包頭 014033)

0 引言

草地載畜量是草地畜牧科學(xué)管理的核心指標之一，開展草原放牧型牲畜數(shù)量的精準分類核算是評估草地實際載畜能力、評估草原資源風(fēng)險的重要前提。傳統(tǒng)基于地面調(diào)查的牲畜核算方式工作量大、耗時長、準確度低[1-3]。遙感手段具備“站得高，看得遠”的優(yōu)勢，為區(qū)域和全國尺度的草原資源快速、高頻次普查提供了有力支持，也是未來生態(tài)草牧業(yè)發(fā)展的重要方法[4-5]。

星載觀測是理想的數(shù)據(jù)來源，但其數(shù)據(jù)分辨率通常與大型放牧型牲畜的尺寸在同一量級[6-8]，導(dǎo)致基于此類數(shù)據(jù)獲取牲畜數(shù)量的可靠性不高，相應(yīng)模型驗證不足，在實際推廣與應(yīng)用中存在著較大局限性。以無人機為代表的機載觀測手段可以根據(jù)需求來獲取高分辨率的牲畜影像[9]，但無人機獲取數(shù)據(jù)的效率較低，無法持續(xù)觀測。

系留氣球可提供定點駐空的觀測平臺，具有載重量大、駐空時間長的特點，可對部署地的周邊區(qū)域進行持續(xù)監(jiān)測，在800 m駐空高度理想條件下，監(jiān)控范圍可覆蓋周邊約100 km2的區(qū)域，對于重點地區(qū)的草地載畜量監(jiān)測具有重要應(yīng)用價值[10-12]。對無人機影像中的動物檢測與數(shù)量核算，研究人員已開展了相關(guān)的研究[13-15]。然而，與垂直或近垂直下視的星載及機載成像不同，系留氣球載荷通常是以較大的傾角斜視觀測，獲取的目標特征與垂直下視時具有較大差異；同時，由于不同區(qū)域成像距離的不同，獲取圖像的分辨率也存在差異，對基于影像的牲畜信息提取算法帶來了較大挑戰(zhàn)，特別是對于聚集度高的牲畜群，在影像分辨率不高時出現(xiàn)明顯的模糊與粘連現(xiàn)象，常用的目標個體檢測識別方法難以適用。

本文針對基于系留氣球觀測平臺下的草原牲畜數(shù)量核算需求，為解決球載成像載荷獲取的牲畜影像分辨率不足及成像環(huán)境干擾下導(dǎo)致的目標模糊與粘連效應(yīng)對牲畜檢測帶來的困難，提出基于異常檢測與模糊均值聚類的球載可見光影像牲畜數(shù)量核算方法，首先通過異常檢測算法區(qū)分牲畜目標與草地背景，然后采用形態(tài)學(xué)方法去除噪聲點，最后利用模糊均值聚類算法計算目標的中心位置并進行數(shù)量統(tǒng)計?；?種球載光學(xué)相機載荷獲取的牲畜影像的試驗表明，本文方法牲畜數(shù)量核算準確度達到90%以上，且對不同觀測角度具有良好的適應(yīng)性，相比基于深度學(xué)習(xí)算法的牲畜檢測與數(shù)量核算，在精度上具有明顯提升。

1 異常檢測與模糊均值聚類算法

1.1 譜段擴展下的RX異常檢測算法

異常檢測是多光譜/高光譜影像中小目標檢測的經(jīng)典算法，是一種無監(jiān)督檢測方法，旨在將光譜響應(yīng)曲線與周圍背景有差異的位置信息與背景和噪聲分離[16]。良好的異常檢測器可以有效地確定異常和背景之間的差異，同時抑制背景。抑制背景的關(guān)鍵過程是選擇合適的方法來有效地表示背景。異常檢測中經(jīng)典的RX異常檢測器使用背景協(xié)方差矩陣表示背景信息，具有環(huán)境適應(yīng)性強、檢測效率高的優(yōu)點，適合不同傾角和分辨率下的球載影像目標檢測。

對于本文使用的3波段彩色影像，由于波段數(shù)較少，對異常檢測算法效果造成影響，因此本文采取波段擴展策略，將每個波段擴展成4個波段，具體方法為：將原波段劃分為2 pixel×2 pixel的小方格覆蓋，每個方格內(nèi)的4個像素值依次作為新的4個波段中同樣位置的像素值，再將新的4個波段影像通過插值方法變換為與原波段同樣空間大小。通過該方法將3波段數(shù)據(jù)變換為12波段數(shù)據(jù)，再進行RX異常檢測。

RX異常檢測器基于以下假設(shè)：數(shù)據(jù)空間白化，異常目標和背景類別遵循具有不同均值向量和相同協(xié)方差矩陣的高斯分布，其中目標的光譜和背景的協(xié)方差未知。在RX異常檢測器中，背景協(xié)方差矩陣的逆用于測量觀察到的異常像素和背景之間的統(tǒng)計差異。該過程可以認為是具有橢圓分布的測試像素和背景的“球化”或“白化”，產(chǎn)生具有球形分布但具有不同中心的相應(yīng)測試像素和背景。然后可以將RX異常檢測器建立為測試像素與白化空間中的背景之間的歐幾里德距離，實際是原始空間中的馬哈拉諾比斯距離?；诖?，RX算法首先分析均值和方差的2個統(tǒng)計量，然后將其與設(shè)定的閾值進行比較，以確定是否是異常值。

設(shè)圖像數(shù)據(jù)總波段數(shù)為P，則包含M個像素點的背景數(shù)據(jù)可以表示為一個P×M的矩陣X=[x1x2…xM]，其中Xi=[X1i,X2i,…,Xpi]T，xi=[x1i,x2i,…,xpi]T，表示每一個像素點的光譜，設(shè)H0為目標不存在，H1為目標存在：

(1)

式中，x為待檢測點的光譜向量；n表示背景噪聲向量；s為目標光譜向量。RX算法的表達式為：

(2)

簡化得到：

(3)

式中，x為要檢測的像素的光譜數(shù)據(jù)；μb為背景窗口的平均值；Cb為背景窗口協(xié)方差矩陣；λ為判定閾值?？梢钥闯觯琑X算子實際上計算了待檢測點的光譜與背景窗口的平均矢量之間的馬氏距離。

1.2 形態(tài)學(xué)處理算法

通過異常檢測提取出目標區(qū)域后，可能存在如下問題：① 將同一個目標分離成相近的多個目標，需要進行合并；② 檢測出小面積的孤立噪聲點，需要進行去除。因此使用形態(tài)學(xué)操作對圖像進行修正，對目標形狀進行一定程度的恢復(fù)。

形態(tài)學(xué)建立在數(shù)學(xué)格論和拓撲學(xué)上，是用于圖像分析的一種常用手段，其基本運算包括腐蝕和膨脹[17]。實際應(yīng)用中很少單獨使用基本運算對圖像進行分析，往往使用腐蝕和膨脹運算的組合進行分析，其中開閉運算是形態(tài)學(xué)的一對有效的對偶運算。

設(shè)集合A與集合B，當A被B腐蝕，將其記為AΘB，腐蝕操作可以去除所有無法容納結(jié)構(gòu)元素B的A部分，數(shù)學(xué)表示如下：

AΘB={x,y|(B)xy?A}。

(4)

設(shè)集合A與集合B，當A被B膨脹，將其記為A⊕B，膨脹操作可以連接A的可以被結(jié)構(gòu)元素B擊中的部分，數(shù)學(xué)表示如下：

A⊕B={x,y|(B)xy∩A≠?}。

(5)

腐蝕與膨脹運算的常用組合是開運算與閉運算。開運算是對圖像先進行腐蝕后進行膨脹，可以消除圖像中小于結(jié)構(gòu)元素的孤立部分，同時并不明顯改變其面積。閉運算是對圖像先進行膨脹后進行腐蝕，可以填充背景無法包含于結(jié)構(gòu)元素的細小孔洞，同時并不明顯改變其面積。

1.3 基于模糊均值聚類的粘連目標提取算法

對于粘連區(qū)域，根據(jù)區(qū)域面積初步估計目標數(shù)量，通過模糊均值聚類算法提取每個目標的位置，統(tǒng)計目標數(shù)量[18]。模糊均值聚類算法是一個迭代尋優(yōu)的過程，其模糊聚類的表達函數(shù)為對如下條件極值的求解：

(6)

式中，Z={z1,z2,…,zn}表示樣本總數(shù)為n的模糊集合；m為模糊集合中的元素分成的類別數(shù)；C={c1,c2,…,cm}為每個類別的聚類中心；U表示模糊隸屬度矩陣；s∈[1,∞)為模糊加權(quán)系數(shù)；uij表示第i個元素對第j類的隸屬度。

引入n個拉格朗日因子，利用拉格朗日乘數(shù)法將條件極值轉(zhuǎn)化為無條件極值問題，即：

?j=1,2,…,n。

(7)

對變量ci，uij分別進行求導(dǎo)，得到每個變量的極值點：

(8)

(9)

給出初始化聚類中心，對式(8)和式(9)進行反復(fù)迭代使式(6)中的目標函數(shù)達到最小值。算法具體步驟如下：

① 初始化聚類中心；

② 計算隸屬度函數(shù)uij；

③ 更新聚類中心ci；

④ 重復(fù)步驟②,③，直到uij收斂。

2 實驗結(jié)果與分析

2.1 實驗數(shù)據(jù)

實驗數(shù)據(jù)為呼倫貝爾特泥河農(nóng)場系留氣球草畜觀測實驗中獲取的可見光牲畜影像數(shù)據(jù)，最大升球高度為300 m。試驗中基于系留氣球平臺獲取數(shù)據(jù)的位置與范圍如圖1所示。

圖1 試驗中獲取數(shù)據(jù)的位置與范圍Fig.1 Location and scope of the data obtained in the experiment

相機載荷有2種，分別為球載可見-紅外雙通道視頻相機與球載大幅寬可見光相機，如圖2所示。球載可見-紅外雙通道視頻相機圖像分辨率為1 920 pixel×1 080 pixel，最大地面分辨率為0.02 m@1 km，具有30倍變焦能力，獲取視頻的最大幀率為25幀/秒，共獲取視頻圖像30 610幀，圖3為拍攝的一幅包含羊群的影像。球載大幅寬可見光相機圖像分辨率為11 664 pixel×8 750 pixel，地面分辨率為0.04 m@1 km，共獲取圖像5 715幅，圖4為拍攝的一幅包含羊群的影像。獲取的圖像對應(yīng)成像載荷傾斜角0°～85°不等(以垂直下視為0°)，目標距成像載荷距離300～2 000 m不等。

(a) 球載可見-紅外雙通道 視頻相機

圖3 球載可見-紅外雙通道視頻相機拍攝的牲畜影像 (傾斜角60.9°，距離約540 m)Fig.3 Livestock image taken by the visible-infrared dual channel video camera (tilt angle:60.9°, distance:about 540 m)

2.2 算法流程

本文提出的基于異常檢測與模糊均值聚類的球載可見光影像牲畜數(shù)量核算方法流程如圖5所示。

圖5 本文算法流程Fig.5 Flow chart of the proposed algorithm

首先對輸入的球載相機獲取的影像進行預(yù)處理，由于球載平臺在成像過程中存在平臺抖動、對焦不準等因素造成圖像質(zhì)量的下降，影響牲畜目標提取，因此采用對比度拉伸、去噪、銳化等方法對圖像進行預(yù)處理，提升圖像質(zhì)量，便于目標提取與數(shù)量統(tǒng)計。然后通過異常檢測算法對譜段擴展后的數(shù)據(jù)進行目標提取，將目標與背景進行區(qū)分，并使用形態(tài)學(xué)操作對圖像進行修正，對目標形狀進行一定程度的恢復(fù)。對于處理得到的二值目標圖像，統(tǒng)計每個連通區(qū)域的位置和面積大小，設(shè)置單個目標的面積范圍，對于目標區(qū)域面積在該范圍內(nèi)的視為孤立目標，提取每個質(zhì)心位置，計算孤立目標面積均值，統(tǒng)計目標數(shù)量；對于粘連區(qū)域，根據(jù)區(qū)域面積初步估計目標數(shù)量，通過模糊均值聚類算法提取每個目標的位置，統(tǒng)計目標數(shù)量，最終得到影像中的牲畜數(shù)量核算值。

2.3 基于譜段擴展的RX異常檢測算法效果對比

RX異常檢測算法探測的是基于光譜維度上的統(tǒng)計異常信息，具有效率高、不需要先驗信息的優(yōu)點。對于高空間分辨率的3波段彩色影像，光譜維度信息不足，使用RX算法的效果不佳，本文采用波段擴展的方式通過犧牲部分空間分辨率的方式增加譜段信息。對于地物，一般空間相鄰像元的光譜信息具有高度相關(guān)性，這是應(yīng)用該方法的理論基礎(chǔ)。為說明該方法的有效性，補充了對比實驗圖，對于同一幅牲畜目標影響，直接使用RX異常檢測方法與使用改進后的RX異常檢測算法得到的效果如圖6所示。

(a) 羊群圖像

由圖6可以看出，直接對原始3波段影像使用RX異常檢測方法會提取出大量偽目標，而改進后的方法提取效果有明顯改善。

2.4 實驗結(jié)果分析

基于球載觀測試驗中獲取的包含牛羊群的光學(xué)影像，對本文提出的自動牲畜數(shù)量核算方法進行測試驗證，將算法自動提取的結(jié)果與人工識別結(jié)果進行對比，計算提取精度：

(10)

由于牲畜群影像分辨率較低，存在明顯的遮擋和粘連現(xiàn)象，人工提取數(shù)量也存在一定的不確定性，采用多人獨立提取結(jié)果取平均的方式作為人工識別結(jié)果。球載可見-紅外雙通道視頻相機拍攝的一景牲畜影像提取結(jié)果如圖7所示，圖7中為聚集度較低的羊群目標，人工核算數(shù)量為199只，算法提取的數(shù)量為187只，數(shù)量核算精度94.0%。

(a) 羊群影像

球載大幅寬可見光相機拍攝的一景牲畜影像提取結(jié)果如圖8所示，圖8中為聚集度較高的羊群目標，人工核算數(shù)量為240只，算法提取的數(shù)量為217只，數(shù)量核算精度90.4%。由于該影像中羊群目標清晰度較低，粘連程度較高，核算精度較上一景影像有所下降。

(a) 羊群影像

對試驗區(qū)域周邊約3 km2范圍內(nèi)獲取的球載2型相機影像中的牛羊目標進行數(shù)量核算，將算法提取結(jié)果與人工結(jié)果進行比對。為進一步說明本文算法的有效性，同時采用基于機載影像樣本構(gòu)建的深度學(xué)習(xí)算法進行牛羊目標檢測并進行數(shù)量核算，對比數(shù)量核算精度[19]。該模型為利用無人機下視拍攝數(shù)據(jù)構(gòu)建的草原牛羊檢測模型(http:∥218.202.104.82:5806/vid)，模型框架為Mask RCNN，訓(xùn)練樣本為13 803 張影像塊中的4 229 頭牛、10 174 只羊目標?；谏疃葘W(xué)習(xí)算法對羊群和牛群目標的檢測結(jié)果如圖9所示。

(a) 羊群影像

由圖9可以看出，基于個體檢測的深度學(xué)習(xí)算法，對于像素面積較大的牛檢測識別率高，而對于較小的羊檢測識別率低。

表1是采用本文算法以及深度學(xué)習(xí)算法得到的牛羊數(shù)量核算結(jié)果，所有影像中共計有羊1 376只，牛273頭；本文算法核算出羊1 245只，牛289頭，核算精度分別為90.5%，94.1%，總計核算精度93.0%；作為對比，深度學(xué)習(xí)算法對羊和牛的核算精度分別為71.5%，89.7%，總計核算精度77.9%。2種算法對于牛群的數(shù)量核算精度高于羊群，是因為牛群個體目標更大，且目標更為分散，有利于檢測識別。本文算法核算精度較深度學(xué)習(xí)算法有顯著優(yōu)勢，特別是對于體型更小、聚集度更高的羊群目標，核算精度提升更為明顯。

表1 本文算法與深度學(xué)習(xí)算法對牛羊核算精度對比

隨著觀測角度的增大，目標距離更遠，目標在圖像中的分辨率降低，且目標的遮擋粘連現(xiàn)象更為顯著，對數(shù)量核算精度產(chǎn)生影響。為分析本文算法對不同觀測角度下牲畜目標核算的適應(yīng)性，選取不同觀測角度下的羊群目標影像，采用本文算法與深度學(xué)習(xí)算法分別進行目標檢測與數(shù)量核算，結(jié)果如表2所示。

表2 不同觀測角度下本文算法與深度學(xué)習(xí)算法對羊群核算精度對比

對于60.9°，71.3°，83.9°三種觀測角度，本文算法對羊群目標數(shù)量核算精度分別為94.9%，90.9%，90.4%，深度學(xué)習(xí)算法的數(shù)量核算精度分別為83.7%，76.5%，62.9%?？梢钥闯觯S著觀測角度的增大，深度學(xué)習(xí)算法的數(shù)量核算精度出現(xiàn)了較為明顯的下降，而本文算法精度下降較小，對于不同觀測角度顯示出較好的適應(yīng)性。

相比于其他深度學(xué)習(xí)算法，本文方法的優(yōu)越性主要體現(xiàn)在：① 深度學(xué)習(xí)方法需要大量的樣本庫支持，且對樣本的質(zhì)量和屬性有較高要求，使用條件較為嚴格，如實驗中基于無人機下視拍攝數(shù)據(jù)構(gòu)建的模型在傾斜角度下的球載影像中的效果不佳，本文算法不依賴于訓(xùn)練樣本，具有較好的環(huán)境適應(yīng)性；② 對于密集型目標的檢測，深度學(xué)習(xí)方法精度不高，文獻[10]中也進行了討論，本文算法更側(cè)重于目標密集粘連時的處理，在密集目標數(shù)量核算精度上具有更顯著的優(yōu)勢。

3 結(jié)束語

本文面向草原牲畜數(shù)量核算需求，針對球載成像載荷獲取的牲畜影像分辨率不足及成像環(huán)境干擾導(dǎo)致的目標模糊與粘連效應(yīng)對牲畜檢測與數(shù)量核算的問題，提出了一種基于異常檢測與模糊均值聚類的球載可見光影像牲畜數(shù)量核算方法?；?種球載光學(xué)相機載荷獲取的牲畜影像中對1 376只羊與273頭牛的數(shù)量核算試驗結(jié)果表明，本文方法對羊和牛的數(shù)量核算精度分別為90.5%，94.1%，總計核算精度93.0%，比目前主流的深度學(xué)習(xí)目標檢測算法的核算精度(77.9%)有明顯提升；同時對不同觀測角度下的牲畜數(shù)量核算表明，深度學(xué)習(xí)算法在大觀測角度下出現(xiàn)了明顯下降，本文算法在較大觀測角(83.9°)下仍表現(xiàn)出較高的核算精度(90.4%)。因此，本文提出的基于異常檢測與模糊均值聚類的牲畜數(shù)量核算方法對不同大傾角觀測下的球載可見光影像具有良好的適應(yīng)性，適用于球載平臺的牲畜數(shù)量核算，對草原牲畜數(shù)量核算與草地載畜量估計應(yīng)用具有重要價值。本文算法側(cè)重于目標數(shù)量的核算，在計算時已經(jīng)事先人工將牛群和羊群的影像進行了分類篩選，故未在算法中進行物種的自動區(qū)分。下一步工作將考慮利用檢測出目標的光譜、紋理及空間分布等特性在檢測目標的同時進行快速物種識別。此外，針對分辨率更低(亞米級)的光學(xué)衛(wèi)星影像，研究本算法模型的可傳遞性，實現(xiàn)星空一體化草原牲畜的目標檢測與數(shù)量核算，在草牧業(yè)應(yīng)用上發(fā)揮更大的作用。