加權(quán)損失函數(shù)在劃分甘蔗種植區(qū)域的應(yīng)用
——以廣西扶綏縣某甘蔗種植區(qū)域?yàn)槔?/h1>
2022-03-17 10:04:56何永寧譚太恒
南方自然資源 2022年2期
◎何永寧，吳 博，譚太恒
廣西自然資源信息中心，廣西 南寧 530023
1 研究概況
糖業(yè)是廣西最具有代表性的傳統(tǒng)優(yōu)勢產(chǎn)業(yè)之一，在促進(jìn)全區(qū)經(jīng)濟(jì)社會發(fā)展、推動扶貧攻堅(jiān)、保障民生等方面發(fā)揮了重要作用。運(yùn)用衛(wèi)星遙感影像對甘蔗地塊進(jìn)行分類預(yù)測、甘蔗估產(chǎn)已成為遙感影像在糖業(yè)中的重要應(yīng)用方向。遙感影像樣本具有復(fù)雜性，加上廣西獨(dú)有的喀斯特地貌，因此每年獲取的影像質(zhì)量并不高。在實(shí)際工作中，負(fù)樣本的數(shù)據(jù)往往比正樣本數(shù)據(jù)多。
1.1 研究區(qū)概況
廣西扶綏縣屬亞熱帶季風(fēng)氣候，夏季高溫多雨、光熱充足，春季溫暖濕潤，是廣西著名的甘蔗生產(chǎn)基地。甘蔗產(chǎn)業(yè)是扶綏縣重要的經(jīng)濟(jì)支柱產(chǎn)業(yè)，全縣擁有南華糖業(yè)、東亞糖業(yè)兩家大規(guī)模制糖企業(yè)。
1.2 采用的技術(shù)
隨著深度學(xué)習(xí)技術(shù)在遙感影像上的不斷應(yīng)用，基于深度學(xué)習(xí)分類的方法也得到不斷完善。鄧志鵬等利用了多尺度形變特征卷積網(wǎng)絡(luò)對遙感影像進(jìn)行檢測，優(yōu)于傳統(tǒng)方法的檢測效果[1]；李傳林等利用了注意力網(wǎng)絡(luò)模塊和殘差網(wǎng)絡(luò)模塊相結(jié)合，提高了提取建筑物遙感影像的精度[2]；何直蒙等利用空洞卷積網(wǎng)絡(luò)結(jié)合U-Net對遙感影像上的建筑物進(jìn)行提取，該方法完整提取了建筑物邊角的細(xì)節(jié)，提取精度比較高[3]。
基于此，研究小組利用U-Net 作為遙感影像分類的網(wǎng)絡(luò)模型，根據(jù)不同的樣本數(shù)量、不同的樣本特性進(jìn)行權(quán)重劃分，使用加權(quán)交叉熵?fù)p失函數(shù)計(jì)算模型損失。加權(quán)交叉熵?fù)p失函數(shù)是在交叉熵?fù)p失函數(shù)的基礎(chǔ)上為每一個類別添加一個權(quán)重比例參數(shù)，通過控制權(quán)重參數(shù)的大小，進(jìn)而影響每一個類別輸出的損失大小，以確保在數(shù)量不均衡的情況下仍可以獲得較好的效果。
2 數(shù)據(jù)分析
2.1 數(shù)據(jù)基本概況
研究小組采用的數(shù)據(jù)是基于“北京二號”衛(wèi)星遙感影像構(gòu)建的甘蔗樣本數(shù)據(jù)集，數(shù)據(jù)樣本位于廣西扶綏縣某甘蔗種植片區(qū)，樣本覆蓋面積為320 km2，影像的分辨率為0.8 m，采用含有近紅外波段的影像數(shù)據(jù)，影像波段數(shù)為4 波段。甘蔗生長周期較長，研究小組在選擇樣本的時候?yàn)榱吮荛_甘蔗生長周期的紋理差異性帶來的誤差，在每年的9—11 月選擇樣本，該階段是甘蔗生長較為旺盛的時期，并且不同甘蔗地塊的紋理差異性較小（見圖1、圖2）。研究小組在參與訓(xùn)練的過程中將甘蔗樣本數(shù)據(jù)的柵格值設(shè)置為1 值，非甘蔗樣本數(shù)據(jù)的柵格設(shè)置為0 值。
圖2 研究區(qū)甘蔗標(biāo)記樣本數(shù)據(jù)圖（綠色的部分為甘蔗標(biāo)記樣本數(shù)據(jù)，黑色的部分為非甘蔗標(biāo)記樣本數(shù)據(jù)）
目前參與訓(xùn)練的甘蔗樣本并不均衡，有些片區(qū)甘蔗樣本較少，僅有零星的圖斑屬于甘蔗樣本，這類數(shù)據(jù)對訓(xùn)練造成較大的影響，為了進(jìn)一步對數(shù)據(jù)樣本進(jìn)行分析，研究小組對樣本的數(shù)量分布情況進(jìn)行計(jì)算，計(jì)算結(jié)果甘蔗的占比為32%，非甘蔗的占比為68%，正負(fù)樣本占比相差較大。
研究小組通過調(diào)整每一類樣本的損失權(quán)重，使樣本數(shù)量較少的一類損失權(quán)重占比偏高，最終使得損失函數(shù)的計(jì)算結(jié)果向樣本數(shù)量少的一類傾斜，進(jìn)而解決因樣本不均衡帶來的問題。
2.2 數(shù)據(jù)預(yù)處理分析步驟
研究小組在訓(xùn)練模型之前對樣本進(jìn)行預(yù)處理，主要是對數(shù)據(jù)樣本進(jìn)行數(shù)據(jù)增強(qiáng)，包括翻轉(zhuǎn)、旋轉(zhuǎn)、縮放比例、裁切、高斯噪聲、幾何扭曲、調(diào)整對比度等。遙感影像和普通的圖片相比具有特殊性，體現(xiàn)在遙感影像并不是簡單地通過圖像表現(xiàn)出的形狀區(qū)分地類類別，而是通過其紋理特征能夠反應(yīng)了地類類別，不同地類有著不同的紋理特征。因此不能過度調(diào)節(jié)對比度、明亮度[4]，以免造成負(fù)面效果影響訓(xùn)練的精度。
翻轉(zhuǎn)和旋轉(zhuǎn)是指將影像水平或者垂直翻轉(zhuǎn)180°或者旋轉(zhuǎn)指定的角度，并將處理后的結(jié)果作為新的樣本數(shù)據(jù)補(bǔ)充到現(xiàn)有的樣本數(shù)據(jù)集中；縮放比例和裁切是指按指定比例縮放以及裁切原有樣本數(shù)據(jù)，然后將處理后的數(shù)據(jù)作為新的樣本數(shù)據(jù)集；高斯噪聲是指添加的隨機(jī)噪聲點(diǎn)概率密度函數(shù)服從高斯分布（即正態(tài)分布）的一類噪聲，利用這類噪聲模擬影像數(shù)據(jù)中可能出現(xiàn)的噪點(diǎn)值，得到新的數(shù)據(jù)樣本。
研究小組通過對樣本數(shù)據(jù)進(jìn)行預(yù)處理分析，將原來的樣本進(jìn)一步拓展，讓原本的影像樣本數(shù)據(jù)集含有更豐富的數(shù)據(jù)特征值，進(jìn)一步提升模型的精度。
3 加權(quán)損失函數(shù)
3.1 交叉熵?fù)p失函數(shù)
模型訓(xùn)練中通常使用交叉熵?fù)p失函數(shù)（Cross-entropy cost function）作為模型訓(xùn)練的損失函數(shù)，該函數(shù)來源于信息論，后來常被用來描述正樣本和負(fù)樣本分布之間的差異，該函數(shù)的定義公式為：
公式（1）中，L為交叉熵?fù)p失函數(shù)計(jì)算結(jié)果；y)為樣本標(biāo)簽的值；)為對應(yīng)每一類樣本分類的概率值。
公式（1）表示的是計(jì)算單個像素點(diǎn)數(shù)據(jù)的情況，如果是多個數(shù)據(jù)，則需要求和平均，具體公式為：
公式（2）中，L為交叉熵?fù)p失函數(shù)計(jì)算結(jié)果；y)為樣本標(biāo)簽的值；)為對應(yīng)每一類樣本分類的概率值。通過損失函數(shù)可知，預(yù)測的概率越大，表明該像素點(diǎn)就越接近真實(shí)樣本，損失函數(shù)的結(jié)果就會越小，并越接近于0，反之則越大。
3.2 加權(quán)損失函數(shù)
訓(xùn)練過程中正負(fù)樣本數(shù)量不均衡會導(dǎo)致最后的損失傾向于數(shù)量較多的樣本，最終無法得到一個合理的結(jié)果模型，基于此，為了讓損失函數(shù)的結(jié)果更加均衡，研究小組將樣本數(shù)量作為樣本的權(quán)重，并將該權(quán)重加入損失函數(shù)中，加權(quán)后的損失函數(shù)公式為[5]：
公式（3）中，L為交叉熵?fù)p失函數(shù)計(jì)算結(jié)果；y)為樣本標(biāo)簽的值；)為對應(yīng)每一類樣本分類的概率值；β為正樣本的權(quán)重系數(shù)。該公式與交叉熵?fù)p失函數(shù)的公式唯一的區(qū)別是添加上正樣本的權(quán)重參數(shù)β，β權(quán)重的設(shè)置是根據(jù)樣本的占比進(jìn)行設(shè)置的，通過該參數(shù)能夠讓損失計(jì)算的結(jié)果更加均衡。
4 模型結(jié)構(gòu)及訓(xùn)練方法
4.1 模型結(jié)構(gòu)
研究小組采用U-Net 作為模型訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu)，U-Net 是經(jīng)典網(wǎng)絡(luò)FCN 的一種變體結(jié)構(gòu)，采用了全卷積層。U-Net 基于編碼解碼結(jié)構(gòu)，編碼結(jié)構(gòu)部分負(fù)責(zé)提取特征，該部分可以使用常見的特征提取網(wǎng)絡(luò)[6]，如resnet101 等，主要用于提取圖像特征信息；解碼結(jié)構(gòu)負(fù)責(zé)還原提取的特征信息，U-Net 的網(wǎng)絡(luò)結(jié)構(gòu)雖然簡單，但是模型的效率十分高效，在數(shù)據(jù)量不多的情況下能夠獲取更多的樣本。
4.2 訓(xùn)練方法
運(yùn)用損失函數(shù)計(jì)算損失結(jié)果，目前常用的優(yōu)化算法主要有SGD 隨機(jī)梯度下降法、Momentum 動量法、RMSprop 算法、Adam算法。
研究小組采用Adam 算法。該算法通過在小批量上計(jì)算損失函數(shù)的梯度進(jìn)而迭代地更新權(quán)重和偏置項(xiàng)，最終達(dá)到減小損失函數(shù)計(jì)算結(jié)果的目的。目標(biāo)函數(shù)計(jì)算公式[7]如下：
公式（4）中，fi（x）是關(guān)于索引為i的訓(xùn)練數(shù)據(jù)樣本的損失函數(shù)；n是訓(xùn)練數(shù)據(jù)樣本數(shù)；x是模型的參數(shù)向量。
目標(biāo)函數(shù)f（x）在x處的梯度計(jì)算公式為：
公式（5）中，n是訓(xùn)練數(shù)據(jù)樣本數(shù)；∑?fi(x)為關(guān)于索引為i的訓(xùn)練數(shù)據(jù)樣本的梯度。
在隨機(jī)梯度下降算法中的每一次迭代，隨機(jī)均勻采樣的一個樣本索引 i∈{1,2,…,n}，并使用該樣本計(jì)算梯度∑?fi(x)來迭代x[7]。
公式（6）中，η為學(xué)習(xí)率的值；x為模型參數(shù)的值；∑?fi(x)為關(guān)于索引為i的訓(xùn)練數(shù)據(jù)樣本的梯度。
在公式（6）中，當(dāng)前的模型參數(shù)減去梯度的結(jié)果與學(xué)習(xí)率η的乘積，最終更新到新的模型參數(shù)，反復(fù)迭代，直到梯度為最小值，即可求得損失函數(shù)fi(x)的最小值。
研究小組發(fā)現(xiàn)，模型初始參數(shù)是隨機(jī)設(shè)定的，并且在初始參數(shù)不斷下降的過程中，能將梯度優(yōu)化到了局部最優(yōu)解，并非全局最優(yōu)解。這時候需要調(diào)整學(xué)習(xí)率，通過學(xué)習(xí)率的衰減策略，不斷調(diào)整隨機(jī)梯度的結(jié)果。目前常用的學(xué)習(xí)率衰減策略主要有等間隔算法、指數(shù)衰減算法、余弦周期算法等。研究小組采用的是余弦周期算法，該方法利用了余弦函數(shù)周期性的特點(diǎn)，反復(fù)地調(diào)整學(xué)習(xí)率。
研究小組使用學(xué)習(xí)率調(diào)整策略的算法是余弦退火策略，該算法主要利用了余弦函數(shù)波長周期的特點(diǎn)，反復(fù)調(diào)整學(xué)習(xí)周期的長短，從而讓梯度逐步跳出局部最優(yōu)解，向全局最優(yōu)解靠近，公式如下：
公式（7）中，i為每次執(zhí)行訓(xùn)練的次序號；表示學(xué)習(xí)率取值范圍的最小值；(表示學(xué)習(xí)率取值范圍的最大值；Tcur表示當(dāng)前執(zhí)行了多少個迭代，每個批次數(shù)據(jù)執(zhí)行結(jié)束后，都會更新Tcur的值；Ti表示第i次迭代中的總批次數(shù)。
研究小組在此次實(shí)驗(yàn)中采用的初始學(xué)習(xí)率為0.001，利用余弦周期算法以及Adam 優(yōu)化器不斷調(diào)整、優(yōu)化學(xué)習(xí)率，利用加權(quán)損失函數(shù)計(jì)算卷積分類的結(jié)果得到最終的分類。訓(xùn)練的迭代次數(shù)設(shè)置為200 次，訓(xùn)練總時長為43 h 23 min，程序模型框架則是使用了Facebook 公司研發(fā)的開源框架Pytorch 來實(shí)現(xiàn)，GPU 資源為2×GeForce RTX 2080 Ti顯卡，BatchSize 設(shè)置為8，即每次輸入的樣本數(shù)量為8 張，單張樣本統(tǒng)一裁切為寬度和高度都為512dpi 的矩形，最后，經(jīng)過訓(xùn)練得到了此次的實(shí)驗(yàn)結(jié)果。
4.3 評價方法
有效的精度評價體系是提升深度學(xué)習(xí)遙感分類結(jié)果的重要保障，同時也是數(shù)據(jù)產(chǎn)品開展應(yīng)用的基礎(chǔ)[8]。研究中使用的評價指標(biāo)有精度（Acc）、召回率（Recall）、平均交占比（MIoU）、Kappa 系數(shù)等。其中，精度(Acc)指標(biāo)是最直接反應(yīng)模型分類情況好壞的指標(biāo)之一，計(jì)算公式如下：
公式（8）中，TP為正確分類的正樣本像素個數(shù)；TN為正確分類的負(fù)樣本像素個數(shù)；FP為錯誤分類的正樣本像素個；FN為錯誤分類的負(fù)樣本像素個數(shù)。
召回率（Recall）可以反應(yīng)預(yù)測正樣本占實(shí)際總正樣本的比例，計(jì)算公式為：
公式（9）中，TP為正確分類的正樣本像素個數(shù)；FN為錯誤分類的負(fù)樣本像素個數(shù)。
精度（Acc）和召回率（Recall）都和TP值相關(guān)，TP的值越大，精度和召回率就越高。
MIoU 指標(biāo)代表平均交占比，因其操作簡單、代表性強(qiáng)成為了檢驗(yàn)算法優(yōu)越性最常用的度量標(biāo)準(zhǔn)[9]，計(jì)算公式為：
公式（10）中，K為類別的數(shù)量；TP為正確分類的正樣本像素個數(shù)；FP為錯誤分類的正樣本像素個；FN為錯誤分類的負(fù)樣本像素個數(shù)。
MIoU 指所有類別的交占比的平均值。計(jì)算方法為依次計(jì)算每個類別的交占比，然后再將所有類別的交占比的平均值作為計(jì)算指標(biāo)。
Kappa 系數(shù)是用于評價遙感解譯成果的重要指標(biāo)，也是利用深度學(xué)習(xí)算法分割遙感影像常用到的評價指標(biāo)，其計(jì)算結(jié)果通常介于0～1之間，數(shù)值越大，表示分類結(jié)果就越準(zhǔn)確。
5 實(shí)驗(yàn)結(jié)果分析
研究小組將此次實(shí)驗(yàn)的訓(xùn)練結(jié)果與未使用權(quán)重?fù)p失函數(shù)的訓(xùn)練結(jié)果進(jìn)行對比分析發(fā)現(xiàn)，在相同的條件下，加上權(quán)重后模型結(jié)果精度得到了提升。研究小組采用的評價指標(biāo)為精度（Acc）、召回率（Recall）、平均交占比（MIoU）、Kappa 系數(shù)，經(jīng)過加權(quán)損失函數(shù)訓(xùn)練后的模型的精度（Acc）和召回率（Recall）等各項(xiàng)指標(biāo)高于未加權(quán)損失函數(shù)訓(xùn)練的模型，其中精度（Acc）高了2.59 %，召回率（Recall）高了3.88%，平均交占比（MIoU）高了3.06%，Kappa 系數(shù)高了0.062，這4 個指標(biāo)評估模型的最終結(jié)果如表1 所示。
表1 研究區(qū)甘蔗種植區(qū)域加權(quán)模型結(jié)果對比表
在計(jì)算山地周圍的甘蔗的地塊分類中，加上權(quán)重的損失函數(shù)能夠更好地分割甘蔗種植類別的地塊（見圖5）。在甘蔗田埂分類中，加上權(quán)重的損失函數(shù)能夠更清晰地顯示甘蔗地塊中的田?。ㄒ妶D6）。
圖5 研究區(qū)甘蔗地塊分類顯示的加權(quán)與未加權(quán)的對比圖
圖6 研究區(qū)甘蔗地田埂影像加權(quán)與未加權(quán)分類顯示對比圖
研究小組利用加權(quán)損失函數(shù)對研究區(qū)的甘蔗種植區(qū)域的遙感影像數(shù)據(jù)進(jìn)行研究，通過遙感影像快速解譯并分割出甘蔗地塊，改善了傳統(tǒng)的未加權(quán)的方法導(dǎo)致的分類精度不高、分割的效果不好等問題，改進(jìn)了糖料蔗種植生產(chǎn)管理方式。
6 結(jié)語
研究小組通過使用樣本數(shù)量參數(shù)作為樣本的權(quán)重參數(shù)，不同類別具有不同的樣本數(shù)量，從而每個類別都會有不同的權(quán)重參數(shù)，并將權(quán)重系數(shù)加入交叉熵?fù)p失函數(shù)中，通過調(diào)節(jié)損失函數(shù)中的權(quán)重參數(shù)，解決樣本數(shù)量不均衡的問題。此次樣本采用的是廣西扶綏縣甘蔗種植區(qū)的樣本數(shù)據(jù)，通過調(diào)節(jié)權(quán)重參數(shù)有效地將不均衡的樣本進(jìn)行有側(cè)重的分類，將更多的權(quán)重參數(shù)賦值給樣本較少的一類，得到更好更穩(wěn)定的訓(xùn)練結(jié)果，對使用深度學(xué)習(xí)方法分類遙感影像具有較好的指導(dǎo)意義。
猜你喜歡
一半模型童話王國·奇妙邏輯推理(2024年5期)2024-06-19 16:03:38 分類算一算數(shù)學(xué)小靈通(1-2年級)(2021年4期)2021-06-09 06:25:56 垃圾分類的困惑你有嗎大眾健康(2021年6期)2021-06-08 19:30:06 重要模型『一線三等角』中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2020年10期)2020-11-26 08:24:50 重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布數(shù)學(xué)物理學(xué)報(bào)(2020年2期)2020-06-02 11:29:24 分類討論求坐標(biāo)中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2019年4期)2019-05-20 10:06:32 數(shù)據(jù)分析中的分類討論中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2018年6期)2018-06-26 08:36:06 教你一招：數(shù)的分類初中生世界·七年級(2017年9期)2017-10-13 22:27:46 3D打印中的模型分割與打包光學(xué)精密工程(2016年6期)2016-11-07 09:07:19 FLUKA幾何模型到CAD幾何模型轉(zhuǎn)換方法初步研究核科學(xué)與工程(2015年4期)2015-09-26 11:59:03
◎何永寧，吳 博，譚太恒
廣西自然資源信息中心，廣西 南寧 530023
1 研究概況
糖業(yè)是廣西最具有代表性的傳統(tǒng)優(yōu)勢產(chǎn)業(yè)之一，在促進(jìn)全區(qū)經(jīng)濟(jì)社會發(fā)展、推動扶貧攻堅(jiān)、保障民生等方面發(fā)揮了重要作用。運(yùn)用衛(wèi)星遙感影像對甘蔗地塊進(jìn)行分類預(yù)測、甘蔗估產(chǎn)已成為遙感影像在糖業(yè)中的重要應(yīng)用方向。遙感影像樣本具有復(fù)雜性，加上廣西獨(dú)有的喀斯特地貌，因此每年獲取的影像質(zhì)量并不高。在實(shí)際工作中，負(fù)樣本的數(shù)據(jù)往往比正樣本數(shù)據(jù)多。
1.1 研究區(qū)概況
廣西扶綏縣屬亞熱帶季風(fēng)氣候，夏季高溫多雨、光熱充足，春季溫暖濕潤，是廣西著名的甘蔗生產(chǎn)基地。甘蔗產(chǎn)業(yè)是扶綏縣重要的經(jīng)濟(jì)支柱產(chǎn)業(yè)，全縣擁有南華糖業(yè)、東亞糖業(yè)兩家大規(guī)模制糖企業(yè)。
1.2 采用的技術(shù)
隨著深度學(xué)習(xí)技術(shù)在遙感影像上的不斷應(yīng)用，基于深度學(xué)習(xí)分類的方法也得到不斷完善。鄧志鵬等利用了多尺度形變特征卷積網(wǎng)絡(luò)對遙感影像進(jìn)行檢測，優(yōu)于傳統(tǒng)方法的檢測效果[1]；李傳林等利用了注意力網(wǎng)絡(luò)模塊和殘差網(wǎng)絡(luò)模塊相結(jié)合，提高了提取建筑物遙感影像的精度[2]；何直蒙等利用空洞卷積網(wǎng)絡(luò)結(jié)合U-Net對遙感影像上的建筑物進(jìn)行提取，該方法完整提取了建筑物邊角的細(xì)節(jié)，提取精度比較高[3]。
基于此，研究小組利用U-Net 作為遙感影像分類的網(wǎng)絡(luò)模型，根據(jù)不同的樣本數(shù)量、不同的樣本特性進(jìn)行權(quán)重劃分，使用加權(quán)交叉熵?fù)p失函數(shù)計(jì)算模型損失。加權(quán)交叉熵?fù)p失函數(shù)是在交叉熵?fù)p失函數(shù)的基礎(chǔ)上為每一個類別添加一個權(quán)重比例參數(shù)，通過控制權(quán)重參數(shù)的大小，進(jìn)而影響每一個類別輸出的損失大小，以確保在數(shù)量不均衡的情況下仍可以獲得較好的效果。
2 數(shù)據(jù)分析
2.1 數(shù)據(jù)基本概況
研究小組采用的數(shù)據(jù)是基于“北京二號”衛(wèi)星遙感影像構(gòu)建的甘蔗樣本數(shù)據(jù)集，數(shù)據(jù)樣本位于廣西扶綏縣某甘蔗種植片區(qū)，樣本覆蓋面積為320 km2，影像的分辨率為0.8 m，采用含有近紅外波段的影像數(shù)據(jù)，影像波段數(shù)為4 波段。甘蔗生長周期較長，研究小組在選擇樣本的時候?yàn)榱吮荛_甘蔗生長周期的紋理差異性帶來的誤差，在每年的9—11 月選擇樣本，該階段是甘蔗生長較為旺盛的時期，并且不同甘蔗地塊的紋理差異性較小（見圖1、圖2）。研究小組在參與訓(xùn)練的過程中將甘蔗樣本數(shù)據(jù)的柵格值設(shè)置為1 值，非甘蔗樣本數(shù)據(jù)的柵格設(shè)置為0 值。
圖2 研究區(qū)甘蔗標(biāo)記樣本數(shù)據(jù)圖（綠色的部分為甘蔗標(biāo)記樣本數(shù)據(jù)，黑色的部分為非甘蔗標(biāo)記樣本數(shù)據(jù)）
目前參與訓(xùn)練的甘蔗樣本并不均衡，有些片區(qū)甘蔗樣本較少，僅有零星的圖斑屬于甘蔗樣本，這類數(shù)據(jù)對訓(xùn)練造成較大的影響，為了進(jìn)一步對數(shù)據(jù)樣本進(jìn)行分析，研究小組對樣本的數(shù)量分布情況進(jìn)行計(jì)算，計(jì)算結(jié)果甘蔗的占比為32%，非甘蔗的占比為68%，正負(fù)樣本占比相差較大。
研究小組通過調(diào)整每一類樣本的損失權(quán)重，使樣本數(shù)量較少的一類損失權(quán)重占比偏高，最終使得損失函數(shù)的計(jì)算結(jié)果向樣本數(shù)量少的一類傾斜，進(jìn)而解決因樣本不均衡帶來的問題。
2.2 數(shù)據(jù)預(yù)處理分析步驟
研究小組在訓(xùn)練模型之前對樣本進(jìn)行預(yù)處理，主要是對數(shù)據(jù)樣本進(jìn)行數(shù)據(jù)增強(qiáng)，包括翻轉(zhuǎn)、旋轉(zhuǎn)、縮放比例、裁切、高斯噪聲、幾何扭曲、調(diào)整對比度等。遙感影像和普通的圖片相比具有特殊性，體現(xiàn)在遙感影像并不是簡單地通過圖像表現(xiàn)出的形狀區(qū)分地類類別，而是通過其紋理特征能夠反應(yīng)了地類類別，不同地類有著不同的紋理特征。因此不能過度調(diào)節(jié)對比度、明亮度[4]，以免造成負(fù)面效果影響訓(xùn)練的精度。
翻轉(zhuǎn)和旋轉(zhuǎn)是指將影像水平或者垂直翻轉(zhuǎn)180°或者旋轉(zhuǎn)指定的角度，并將處理后的結(jié)果作為新的樣本數(shù)據(jù)補(bǔ)充到現(xiàn)有的樣本數(shù)據(jù)集中；縮放比例和裁切是指按指定比例縮放以及裁切原有樣本數(shù)據(jù)，然后將處理后的數(shù)據(jù)作為新的樣本數(shù)據(jù)集；高斯噪聲是指添加的隨機(jī)噪聲點(diǎn)概率密度函數(shù)服從高斯分布（即正態(tài)分布）的一類噪聲，利用這類噪聲模擬影像數(shù)據(jù)中可能出現(xiàn)的噪點(diǎn)值，得到新的數(shù)據(jù)樣本。
研究小組通過對樣本數(shù)據(jù)進(jìn)行預(yù)處理分析，將原來的樣本進(jìn)一步拓展，讓原本的影像樣本數(shù)據(jù)集含有更豐富的數(shù)據(jù)特征值，進(jìn)一步提升模型的精度。
3 加權(quán)損失函數(shù)
3.1 交叉熵?fù)p失函數(shù)
模型訓(xùn)練中通常使用交叉熵?fù)p失函數(shù)（Cross-entropy cost function）作為模型訓(xùn)練的損失函數(shù)，該函數(shù)來源于信息論，后來常被用來描述正樣本和負(fù)樣本分布之間的差異，該函數(shù)的定義公式為：
公式（1）中，L為交叉熵?fù)p失函數(shù)計(jì)算結(jié)果；y)為樣本標(biāo)簽的值；)為對應(yīng)每一類樣本分類的概率值。
公式（1）表示的是計(jì)算單個像素點(diǎn)數(shù)據(jù)的情況，如果是多個數(shù)據(jù)，則需要求和平均，具體公式為：
公式（2）中，L為交叉熵?fù)p失函數(shù)計(jì)算結(jié)果；y)為樣本標(biāo)簽的值；)為對應(yīng)每一類樣本分類的概率值。通過損失函數(shù)可知，預(yù)測的概率越大，表明該像素點(diǎn)就越接近真實(shí)樣本，損失函數(shù)的結(jié)果就會越小，并越接近于0，反之則越大。
3.2 加權(quán)損失函數(shù)
訓(xùn)練過程中正負(fù)樣本數(shù)量不均衡會導(dǎo)致最后的損失傾向于數(shù)量較多的樣本，最終無法得到一個合理的結(jié)果模型，基于此，為了讓損失函數(shù)的結(jié)果更加均衡，研究小組將樣本數(shù)量作為樣本的權(quán)重，并將該權(quán)重加入損失函數(shù)中，加權(quán)后的損失函數(shù)公式為[5]：
公式（3）中，L為交叉熵?fù)p失函數(shù)計(jì)算結(jié)果；y)為樣本標(biāo)簽的值；)為對應(yīng)每一類樣本分類的概率值；β為正樣本的權(quán)重系數(shù)。該公式與交叉熵?fù)p失函數(shù)的公式唯一的區(qū)別是添加上正樣本的權(quán)重參數(shù)β，β權(quán)重的設(shè)置是根據(jù)樣本的占比進(jìn)行設(shè)置的，通過該參數(shù)能夠讓損失計(jì)算的結(jié)果更加均衡。
4 模型結(jié)構(gòu)及訓(xùn)練方法
4.1 模型結(jié)構(gòu)
研究小組采用U-Net 作為模型訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu)，U-Net 是經(jīng)典網(wǎng)絡(luò)FCN 的一種變體結(jié)構(gòu)，采用了全卷積層。U-Net 基于編碼解碼結(jié)構(gòu)，編碼結(jié)構(gòu)部分負(fù)責(zé)提取特征，該部分可以使用常見的特征提取網(wǎng)絡(luò)[6]，如resnet101 等，主要用于提取圖像特征信息；解碼結(jié)構(gòu)負(fù)責(zé)還原提取的特征信息，U-Net 的網(wǎng)絡(luò)結(jié)構(gòu)雖然簡單，但是模型的效率十分高效，在數(shù)據(jù)量不多的情況下能夠獲取更多的樣本。
4.2 訓(xùn)練方法
運(yùn)用損失函數(shù)計(jì)算損失結(jié)果，目前常用的優(yōu)化算法主要有SGD 隨機(jī)梯度下降法、Momentum 動量法、RMSprop 算法、Adam算法。
研究小組采用Adam 算法。該算法通過在小批量上計(jì)算損失函數(shù)的梯度進(jìn)而迭代地更新權(quán)重和偏置項(xiàng)，最終達(dá)到減小損失函數(shù)計(jì)算結(jié)果的目的。目標(biāo)函數(shù)計(jì)算公式[7]如下：
公式（4）中，fi（x）是關(guān)于索引為i的訓(xùn)練數(shù)據(jù)樣本的損失函數(shù)；n是訓(xùn)練數(shù)據(jù)樣本數(shù)；x是模型的參數(shù)向量。
目標(biāo)函數(shù)f（x）在x處的梯度計(jì)算公式為：
公式（5）中，n是訓(xùn)練數(shù)據(jù)樣本數(shù)；∑?fi(x)為關(guān)于索引為i的訓(xùn)練數(shù)據(jù)樣本的梯度。
在隨機(jī)梯度下降算法中的每一次迭代，隨機(jī)均勻采樣的一個樣本索引 i∈{1,2,…,n}，并使用該樣本計(jì)算梯度∑?fi(x)來迭代x[7]。
公式（6）中，η為學(xué)習(xí)率的值；x為模型參數(shù)的值；∑?fi(x)為關(guān)于索引為i的訓(xùn)練數(shù)據(jù)樣本的梯度。
在公式（6）中，當(dāng)前的模型參數(shù)減去梯度的結(jié)果與學(xué)習(xí)率η的乘積，最終更新到新的模型參數(shù)，反復(fù)迭代，直到梯度為最小值，即可求得損失函數(shù)fi(x)的最小值。
研究小組發(fā)現(xiàn)，模型初始參數(shù)是隨機(jī)設(shè)定的，并且在初始參數(shù)不斷下降的過程中，能將梯度優(yōu)化到了局部最優(yōu)解，并非全局最優(yōu)解。這時候需要調(diào)整學(xué)習(xí)率，通過學(xué)習(xí)率的衰減策略，不斷調(diào)整隨機(jī)梯度的結(jié)果。目前常用的學(xué)習(xí)率衰減策略主要有等間隔算法、指數(shù)衰減算法、余弦周期算法等。研究小組采用的是余弦周期算法，該方法利用了余弦函數(shù)周期性的特點(diǎn)，反復(fù)地調(diào)整學(xué)習(xí)率。
研究小組使用學(xué)習(xí)率調(diào)整策略的算法是余弦退火策略，該算法主要利用了余弦函數(shù)波長周期的特點(diǎn)，反復(fù)調(diào)整學(xué)習(xí)周期的長短，從而讓梯度逐步跳出局部最優(yōu)解，向全局最優(yōu)解靠近，公式如下：
公式（7）中，i為每次執(zhí)行訓(xùn)練的次序號；表示學(xué)習(xí)率取值范圍的最小值；(表示學(xué)習(xí)率取值范圍的最大值；Tcur表示當(dāng)前執(zhí)行了多少個迭代，每個批次數(shù)據(jù)執(zhí)行結(jié)束后，都會更新Tcur的值；Ti表示第i次迭代中的總批次數(shù)。
研究小組在此次實(shí)驗(yàn)中采用的初始學(xué)習(xí)率為0.001，利用余弦周期算法以及Adam 優(yōu)化器不斷調(diào)整、優(yōu)化學(xué)習(xí)率，利用加權(quán)損失函數(shù)計(jì)算卷積分類的結(jié)果得到最終的分類。訓(xùn)練的迭代次數(shù)設(shè)置為200 次，訓(xùn)練總時長為43 h 23 min，程序模型框架則是使用了Facebook 公司研發(fā)的開源框架Pytorch 來實(shí)現(xiàn)，GPU 資源為2×GeForce RTX 2080 Ti顯卡，BatchSize 設(shè)置為8，即每次輸入的樣本數(shù)量為8 張，單張樣本統(tǒng)一裁切為寬度和高度都為512dpi 的矩形，最后，經(jīng)過訓(xùn)練得到了此次的實(shí)驗(yàn)結(jié)果。
4.3 評價方法
有效的精度評價體系是提升深度學(xué)習(xí)遙感分類結(jié)果的重要保障，同時也是數(shù)據(jù)產(chǎn)品開展應(yīng)用的基礎(chǔ)[8]。研究中使用的評價指標(biāo)有精度（Acc）、召回率（Recall）、平均交占比（MIoU）、Kappa 系數(shù)等。其中，精度(Acc)指標(biāo)是最直接反應(yīng)模型分類情況好壞的指標(biāo)之一，計(jì)算公式如下：
公式（8）中，TP為正確分類的正樣本像素個數(shù)；TN為正確分類的負(fù)樣本像素個數(shù)；FP為錯誤分類的正樣本像素個；FN為錯誤分類的負(fù)樣本像素個數(shù)。
召回率（Recall）可以反應(yīng)預(yù)測正樣本占實(shí)際總正樣本的比例，計(jì)算公式為：
公式（9）中，TP為正確分類的正樣本像素個數(shù)；FN為錯誤分類的負(fù)樣本像素個數(shù)。
精度（Acc）和召回率（Recall）都和TP值相關(guān)，TP的值越大，精度和召回率就越高。
MIoU 指標(biāo)代表平均交占比，因其操作簡單、代表性強(qiáng)成為了檢驗(yàn)算法優(yōu)越性最常用的度量標(biāo)準(zhǔn)[9]，計(jì)算公式為：
公式（10）中，K為類別的數(shù)量；TP為正確分類的正樣本像素個數(shù)；FP為錯誤分類的正樣本像素個；FN為錯誤分類的負(fù)樣本像素個數(shù)。
MIoU 指所有類別的交占比的平均值。計(jì)算方法為依次計(jì)算每個類別的交占比，然后再將所有類別的交占比的平均值作為計(jì)算指標(biāo)。
Kappa 系數(shù)是用于評價遙感解譯成果的重要指標(biāo)，也是利用深度學(xué)習(xí)算法分割遙感影像常用到的評價指標(biāo)，其計(jì)算結(jié)果通常介于0～1之間，數(shù)值越大，表示分類結(jié)果就越準(zhǔn)確。
5 實(shí)驗(yàn)結(jié)果分析
研究小組將此次實(shí)驗(yàn)的訓(xùn)練結(jié)果與未使用權(quán)重?fù)p失函數(shù)的訓(xùn)練結(jié)果進(jìn)行對比分析發(fā)現(xiàn)，在相同的條件下，加上權(quán)重后模型結(jié)果精度得到了提升。研究小組采用的評價指標(biāo)為精度（Acc）、召回率（Recall）、平均交占比（MIoU）、Kappa 系數(shù)，經(jīng)過加權(quán)損失函數(shù)訓(xùn)練后的模型的精度（Acc）和召回率（Recall）等各項(xiàng)指標(biāo)高于未加權(quán)損失函數(shù)訓(xùn)練的模型，其中精度（Acc）高了2.59 %，召回率（Recall）高了3.88%，平均交占比（MIoU）高了3.06%，Kappa 系數(shù)高了0.062，這4 個指標(biāo)評估模型的最終結(jié)果如表1 所示。
表1 研究區(qū)甘蔗種植區(qū)域加權(quán)模型結(jié)果對比表
在計(jì)算山地周圍的甘蔗的地塊分類中，加上權(quán)重的損失函數(shù)能夠更好地分割甘蔗種植類別的地塊（見圖5）。在甘蔗田埂分類中，加上權(quán)重的損失函數(shù)能夠更清晰地顯示甘蔗地塊中的田?。ㄒ妶D6）。
圖5 研究區(qū)甘蔗地塊分類顯示的加權(quán)與未加權(quán)的對比圖
圖6 研究區(qū)甘蔗地田埂影像加權(quán)與未加權(quán)分類顯示對比圖
研究小組利用加權(quán)損失函數(shù)對研究區(qū)的甘蔗種植區(qū)域的遙感影像數(shù)據(jù)進(jìn)行研究，通過遙感影像快速解譯并分割出甘蔗地塊，改善了傳統(tǒng)的未加權(quán)的方法導(dǎo)致的分類精度不高、分割的效果不好等問題，改進(jìn)了糖料蔗種植生產(chǎn)管理方式。
6 結(jié)語
研究小組通過使用樣本數(shù)量參數(shù)作為樣本的權(quán)重參數(shù)，不同類別具有不同的樣本數(shù)量，從而每個類別都會有不同的權(quán)重參數(shù)，并將權(quán)重系數(shù)加入交叉熵?fù)p失函數(shù)中，通過調(diào)節(jié)損失函數(shù)中的權(quán)重參數(shù)，解決樣本數(shù)量不均衡的問題。此次樣本采用的是廣西扶綏縣甘蔗種植區(qū)的樣本數(shù)據(jù)，通過調(diào)節(jié)權(quán)重參數(shù)有效地將不均衡的樣本進(jìn)行有側(cè)重的分類，將更多的權(quán)重參數(shù)賦值給樣本較少的一類，得到更好更穩(wěn)定的訓(xùn)練結(jié)果，對使用深度學(xué)習(xí)方法分類遙感影像具有較好的指導(dǎo)意義。
猜你喜歡
童話王國·奇妙邏輯推理(2024年5期)2024-06-19 16:03:38
數(shù)學(xué)小靈通(1-2年級)(2021年4期)2021-06-09 06:25:56
大眾健康(2021年6期)2021-06-08 19:30:06
中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2020年10期)2020-11-26 08:24:50
數(shù)學(xué)物理學(xué)報(bào)(2020年2期)2020-06-02 11:29:24
中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2019年4期)2019-05-20 10:06:32
中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2018年6期)2018-06-26 08:36:06
初中生世界·七年級(2017年9期)2017-10-13 22:27:46
光學(xué)精密工程(2016年6期)2016-11-07 09:07:19
核科學(xué)與工程(2015年4期)2015-09-26 11:59:03
