王 雨 嫣,吳 森 森,杜 震 洪

(浙江大學(xué)地球科學(xué)學(xué)院,浙江 杭州310058)

0 引言

考慮到海洋科學(xué)大數(shù)據(jù)的敏感性,在保障數(shù)據(jù)安全的前提下進行數(shù)據(jù)共享,需要顧及多源數(shù)據(jù)、傳輸介質(zhì)和傳輸頻率帶來的安全差異性,以及數(shù)據(jù)訪問、計算、共享、監(jiān)管等方面的安全等級性;同時,海洋科學(xué)數(shù)據(jù)體量巨大,現(xiàn)有的技術(shù)孤島、資源孤島和信息孤島現(xiàn)象嚴重,數(shù)據(jù)共享性較差,嚴重阻礙海洋領(lǐng)域的探索性研究開展[1,2]。云處理可輔助數(shù)據(jù)實現(xiàn)集中化,進而為解決該問題提供支持,但云端訓(xùn)練人工智能(Artificial Intelligence,AI)模型離不開大型的訓(xùn)練數(shù)據(jù)集[3-5],即需要關(guān)注數(shù)據(jù)集的流量增加和集中式管理對數(shù)據(jù)所有權(quán)、使用權(quán)等的要求,以及創(chuàng)建有利于數(shù)據(jù)聚合的高效方法。因此,必須探索高效方案以應(yīng)對AI模型訓(xùn)練在數(shù)據(jù)聚合方面的挑戰(zhàn),針對具體問題時還需保證數(shù)據(jù)的機密性,并設(shè)計出對應(yīng)的安全和容錯機制。

聯(lián)邦學(xué)習(federated learning)[6]由谷歌于2016年首次提出,具有強大的數(shù)據(jù)處理功能,旨在讓分散的各數(shù)據(jù)持有方在滿足不向其他參與方披露隱私數(shù)據(jù)的前提下,協(xié)作進行模型訓(xùn)練,即聯(lián)邦學(xué)習是一個帶有隱私保護、安全加密技術(shù)的分布式機器學(xué)習框架。Google 首先將聯(lián)邦學(xué)習運用在Google 鍵盤上,聯(lián)合用戶終端設(shè)備,基于用戶的本地數(shù)據(jù)訓(xùn)練模型,將訓(xùn)練過程中的模型參數(shù)聚合、分發(fā),最終實現(xiàn)模型的精準預(yù)測。Lu等[7]通過將區(qū)塊鏈與聯(lián)邦學(xué)習相結(jié)合,在保留區(qū)塊鏈安全可信的基礎(chǔ)上,為系統(tǒng)賦予人工智能的優(yōu)化決策能力。聯(lián)邦學(xué)習的架構(gòu)理念符合上述數(shù)據(jù)集中化的架構(gòu)設(shè)想,同時允許數(shù)據(jù)在本地保存,僅通過隱私聚合模型參數(shù)以構(gòu)建總的AI模型,無需聚合原始數(shù)據(jù),因此本地的數(shù)據(jù)保密問題得到解決[8],但聯(lián)邦學(xué)習是仍未中心化的結(jié)構(gòu),受攻擊風險高,為后續(xù)解決方案提供了探索空間。

海洋表面鹽度(Sea Surface Salinity,SSS)是研究大洋環(huán)流和海洋對全球氣候影響的重要參量,不少學(xué)者利用遙感反射率數(shù)據(jù)和海表溫度數(shù)據(jù)反演海表鹽度[9-12],反演方法多采用比值模型[13]、多元線性回歸模型[14]等數(shù)理統(tǒng)計模型,但因模型反演精度低、應(yīng)用范圍有限,無法適用于鹽度呈復(fù)雜非線性特征或遙感信息間存在時空自相關(guān)性等的復(fù)雜場景。而機器學(xué)習能有效挖掘數(shù)據(jù)內(nèi)部的關(guān)聯(lián)性,探索更復(fù)雜的鹽度分布模式并提高預(yù)測精度[12,15],結(jié)合機器學(xué)習的鹽度反演在研究區(qū)域較大或注重鹽度的時空信息時,需要精細處理大體量的研究數(shù)據(jù),使用神經(jīng)網(wǎng)絡(luò)等AI算法進行鹽度反演時更甚,即不可避免地要解決數(shù)據(jù)聚合和隱私方面的問題。鑒于此,本文將群體學(xué)習(Swarm Learning)[16](引入?yún)^(qū)塊鏈、去中心化的聯(lián)邦學(xué)習)和用于樹形模型隱私整合的隱私保護樹(Secure Boost)[17]結(jié)合,關(guān)注LightGBM的整合訓(xùn)練,從而構(gòu)建用于鹽度反演的SLSB-LightGBM模型,該模型在完全去中心化和假定數(shù)據(jù)隱私使用的條件下進行訓(xùn)練,形成一套分布式海洋數(shù)據(jù)隱私集成解決方案,將其反演結(jié)果與本地學(xué)習模式的反演結(jié)果進行對比,以評價模型的區(qū)域適用性和泛化性。

1 研究區(qū)和數(shù)據(jù)

1.1 研究區(qū)選取

本文從愛爾蘭西部、美國東部、墨西哥灣和日本南部共選取4片海域作為測試區(qū)(圖1)。①愛爾蘭西部海域位于歐洲西北部,大西洋海域的東北部,北大西洋暖流在此一分為二,其中一支洋流(即加那利寒流)向南流動,另一支洋流則繼續(xù)沿西北方向流入北冰洋。鹽度實測點主要圍繞愛爾蘭島陸地西側(cè)海域向東北、東南方向延伸,整體分布較均勻,鹽度值整體較高。②美國東部海域更加開闊,自南向北流動的墨西哥灣暖流和自北向南流動的拉布拉多寒流在此相遇,墨西哥灣暖流由研究區(qū)南部輸送高溫高鹽的海水,而拉布拉多洋流由研究區(qū)北部輸入低溫低鹽的海水,該地區(qū)鹽度自北向南上升,且溫度、鹽度數(shù)據(jù)變幅大。鹽度實測點圍繞東海岸的近岸海域,北部寒流流經(jīng)海域的實測點略多于南部海域,整體呈現(xiàn)出南高北低的鹽度分布態(tài)勢。美國東部海域城市眾多,對該區(qū)域進行海洋相關(guān)屬性的研究,可為類似海洋功能區(qū)域規(guī)劃提供支持。③墨西哥灣形勢復(fù)雜,灣區(qū)北部有多個河流入?？谳斔湍嗌澈偷望}淡水,內(nèi)部環(huán)流及渦流組成了Loop Current系統(tǒng),較大的溫差導(dǎo)致鹽度產(chǎn)生明顯的局部變化[15]。河流入?？诓糠譃辂}度低值區(qū),灣區(qū)內(nèi)部鹽度值略高,整體鹽度差異大,海水的區(qū)域性屬性明顯,增加了鹽度反演的難度。鹽度實測軌跡由近岸向灣區(qū)中心反復(fù)折返,整體分布均勻但稀疏。④日本南部海域東至相模灣,西至沖繩群島,世界第二大暖流黑潮流經(jīng)該片海域,帶來高溫、高鹽、透明度高的海水。同時由于夏秋季節(jié)日本海域海洋鹽度鋒面的存在,7、8月日本南部海岸呈現(xiàn)出明顯的鹽度梯度變化,鹽度由近岸海域向外擴散現(xiàn)象顯著[18]。鹽度實測軌跡途經(jīng)黑潮流域和日本近岸海域,鹽度值整體分布較均勻。

1.2 數(shù)據(jù)收集和處理

1)實測鹽度數(shù)據(jù)。相關(guān)數(shù)據(jù)來自美國國家海洋和大氣管理局(NOAA),從海洋碳數(shù)據(jù)系統(tǒng)(OCADS)(https://www.nodc.noaa.gov/ocads)下載(表1)。根據(jù)世界海洋環(huán)流實驗(WOCE)指南,數(shù)據(jù)均具有質(zhì)量控制標識:“2”表示質(zhì)量良好,“3”表示數(shù)據(jù)可疑,“4”表示質(zhì)量較差。為保證數(shù)據(jù)的準確性,本研究保留具有質(zhì)量良好標識“2”的實測鹽度數(shù)據(jù),數(shù)據(jù)空間分布如圖1所示。

表1 研究區(qū)實測海表面鹽度數(shù)據(jù)概況

2)衛(wèi)星遙感數(shù)據(jù)。海表鹽度與有色溶解有機物(CDOM)的吸收系數(shù)存在顯著的負相關(guān)關(guān)系[19,20],而后者可通過遙感反射率反演得出[21],故可通過遙感反射率間接反映鹽度信息。CDOM 的吸收系數(shù)在可見光波段內(nèi)呈指數(shù)衰減特性,可表示為藍綠光波段的比值或紫光、藍綠光的線性組合[22],同時,紅光波段對鹽度反演也很重要[11],故本文選取MODIS Rrs412、Rrs443、Rrs488、Rrs555、Rrs667波段的遙感反射率數(shù)據(jù)和海表溫度(SST)數(shù)據(jù)用于反演海表鹽度,是空間分辨率為0.01°的標準L2級單軌產(chǎn)品。將實測鹽度數(shù)據(jù)和衛(wèi)星遙感數(shù)據(jù)按照經(jīng)緯度和數(shù)據(jù)獲取日期進行匹配,得到各研究區(qū)的數(shù)據(jù)概況(表2)。在保證數(shù)據(jù)量和精度的情況下,剔除異常值,在愛爾蘭西部海域、美國東部海域、墨西哥灣和日本南部海域分別獲取6 715條、18 531條、15 033條和16 847條有效數(shù)據(jù)。各研究區(qū)數(shù)據(jù)統(tǒng)計信息如表3所示。

表2 研究區(qū)衛(wèi)星遙感數(shù)據(jù)概況

2 研究方法

2.1 Swarm Learning和Secure Boost

通常情況下,如果本地有足夠的數(shù)據(jù)和適宜的計算機軟硬件環(huán)境,則可直接訓(xùn)練機器學(xué)習模型,即本地學(xué)習。如果數(shù)據(jù)聚合到一個中心位置,集成學(xué)習可集成多個學(xué)習器共同進行模型訓(xùn)練,數(shù)據(jù)共享性提高,隱私性變差[23-25]。當數(shù)據(jù)以前所未有的速度、體量和分布式位置生成時,實現(xiàn)數(shù)據(jù)的有效集成難度大幅提高。考慮到數(shù)據(jù)所有權(quán)與訪問管理分離造成的數(shù)據(jù)壟斷問題,大量數(shù)據(jù)無法被高效共享利用。此外,在保障數(shù)據(jù)安全的前提下進行數(shù)據(jù)共享常涉及法律法規(guī)。綜上,在實際的大數(shù)據(jù)場景中,使用集成學(xué)習進行數(shù)據(jù)聚合并構(gòu)建有效模型的成本越來越高。這些困難促使真正分散式機器學(xué)習架構(gòu)的出現(xiàn),如聯(lián)邦學(xué)習[17,26,27],其典型的模型更新過程包含4個步驟:①每個本地節(jié)點從中心節(jié)點服務(wù)器下載初始模型;②每個本地節(jié)點基于本地數(shù)據(jù)計算更新模型;③每個本地節(jié)點在加密的情況下將模型更新參數(shù)發(fā)送回中心節(jié)點服務(wù)器;④中心節(jié)點服務(wù)器聚合模型更新參數(shù)并基于此構(gòu)建總模型。Secure Boost[17]是聯(lián)邦環(huán)境中一種端到端的梯度提升算法,提高了聯(lián)邦學(xué)習的可行性,且在聯(lián)邦學(xué)習領(lǐng)域提出了更嚴格的Boost樹構(gòu)造法,用于樹形模型的隱私構(gòu)建和整合,在數(shù)據(jù)集多的情況下依然能保證安全性和準確性。

作為改進的聯(lián)邦學(xué)習,Swarm Learning(SL)[16]省去了中心服務(wù)器,通過Swarm網(wǎng)絡(luò)共享參數(shù),在各個節(jié)點的私有數(shù)據(jù)上獨立構(gòu)建模型,使用區(qū)塊鏈技術(shù)交換學(xué)習成果。SL訓(xùn)練出的模型準確性與集成學(xué)習相當,同時在安全性、容錯性和延遲方面優(yōu)于集成學(xué)習[28]。SL中每個參與者都有明確的定義,只有預(yù)先得到授權(quán)的參與者(節(jié)點)才能加入,新節(jié)點的加入是動態(tài)的且有適當?shù)氖跈?quán)措施控制[16,28]。

2.2 LightGBM

LightGBM[29]是由微軟團隊提出的一種高效梯度提升決策樹算法,它是對GBDT模型的一種改進算法,也是一種基于Boosting的集成學(xué)習算法,具有訓(xùn)練效果好、不易過擬合等優(yōu)點。相較于其他Boosting(如XGBoost)算法,LightGBM使用了基于梯度的單邊采樣算法配合EFB預(yù)處理稀疏數(shù)據(jù),能在不降低準確率的條件下加快GBDT模型的訓(xùn)練速度。因此,LightGBM能在保證預(yù)測精度的同時,顯著縮短訓(xùn)練時間,大大降低內(nèi)存使用,目前已在遙感領(lǐng)域得到有效應(yīng)用[30,31]。

2.3 SLSB-LightGBM

由于LightGBM模型在擬合殘差、構(gòu)建決策樹時需要確定樹的節(jié)點分裂,事實上是確定目標函數(shù)依賴于每個數(shù)據(jù)點在誤差函數(shù)上的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)[30]。而在SL中各本地節(jié)點是通過Swarm API交換模型參數(shù)以合并、更新總模型,LightGBM模型的合并更新與SL的常規(guī)應(yīng)用場景不同,難以將各節(jié)點的訓(xùn)練成果直接在SL中聚合。因此,引入Secure Boost聚合直方圖以構(gòu)建全局LightGBM樹,Secure Boost和SL結(jié)合的架構(gòu)可以在保證隱私和去中心化的情況下盡可能地使數(shù)據(jù)的利用價值最大化,從根本上改變了機器學(xué)習的計算范式。

本文對各區(qū)域數(shù)據(jù)集按照8∶2劃分訓(xùn)練集和驗證集,分別構(gòu)建基于愛爾蘭西部海域、美國東部海域、墨西哥灣、日本南部海域四區(qū)數(shù)據(jù)的SLSB-LightGBM全局模型和基于愛爾蘭西部海域、美國東部海域、墨西哥灣三區(qū)數(shù)據(jù)的SLSB-LightGBM遷移模型,與本地學(xué)習模式下的4個單區(qū)模型交叉對研究區(qū)進行鹽度反演。選用1 PSU(Practical Salinity Units)和0.8 PSU條件下的SSS反演精度、均方誤差(MSE)、平均絕對誤差(MAE)作為評價指標,對比討論交叉反演結(jié)果,結(jié)合各區(qū)域?qū)嶋H海洋系統(tǒng)環(huán)境綜合評價SLSB-LightGBM的區(qū)域適用性和泛化性(圖2)。

圖2 研究框架

3 結(jié)果分析

將4個單區(qū)模型和SLSB-LightGBM全局模型在4片海域進行交叉驗證得到各模型交叉反演結(jié)果(圖3),再與SLSB-LightGBM遷移模型的反演結(jié)果進行整合得到反演結(jié)果評價表(表4)。

表4 模型交叉反演結(jié)果評價

3.1 SLSB-LightGBM的區(qū)域適用性評價

由表4可知,愛爾蘭西部海域模型在該海域驗證數(shù)據(jù)集上得到的1 PSU和0.8 PSU下精度分別為99.92%、99.97%,MSE和MAE分別為0.01、0.05,在墨西哥灣驗證數(shù)據(jù)集上得到的1 PSU和0.8 PSU下精度僅為76.18%和55.02%,且MSE和MAE值較大,在美國東部海域和日本南部海域的精度更低,因此認為愛爾蘭西部海域模型不能對其余研究區(qū)鹽度進行準確反演。SLSB-LightGBM全局模型在愛爾蘭西部海域驗證數(shù)據(jù)集上得到的1 PSU和0.8 PSU下精度分別為95.52%、92.84%,MSE和MAE分別為0.18、0.27。使用愛爾蘭西部海域模型和SLSB-LightGBM模型對2021年7月12日愛爾蘭西部海域SSS進行反演(圖4),得到的海表鹽度分布情況基本一致:單區(qū)模型反演離岸區(qū)域、近岸區(qū)域和南部海域的鹽度值分別集中在35.6 PSU、35 PSU和34 PSU左右;SLSB-LightGBM全局模型反演離岸區(qū)域、近岸區(qū)域和南部海域的鹽度值分別集中在35.9 PSU、34 PSU和30 PSU左右。

美國東部海域模型在該海域數(shù)據(jù)集上得到的1 PSU和0.8 PSU下精度分別為94.17%、90.80%,MSE和MAE分別為0.26、0.33;SLSB-LightGBM全局模型在1 PSU和0.8 PSU下精度分別為84.17%、76.24%,MSE和MAE分別為0.55、0.54。使用兩模型對2021年9月22日美國東部海域SSS進行反演(圖5),單區(qū)模型反演結(jié)果顯示:海表鹽度分布態(tài)勢自南向北逐漸上升,南部海域SSS約為33 PSU,北部海域SSS在34～35 PSU之間。該反演結(jié)果與前述自北向南鹽度上升的趨勢不相符,未能體現(xiàn)暖流寒流相交對該片海域鹽度的影響。另外,4個單區(qū)模型和SLSB-LightGBM全局模型的反演結(jié)果中,只有SLSB-LightGBM全局模型印證了這一態(tài)勢,南部海域SSS主要集中在34.4～35.9 PSU,北部海域主要集中在33 PSU以下,整體向北遞減。

圖5 美國東部海域模型和SLSB-LightGBM全局模型對比

墨西哥灣模型在該海域數(shù)據(jù)集上得到的1 PSU和0.8 PSU下精度分別為93.95%、90.42%,MSE和MAE分別為0.28、0.34;SLSB-LightGBM全局模型在1 PSU和0.8 PSU下精度分別為84.06%、77.35%,MSE和MAE分別為0.73、0.58。使用兩模型對2021年9月30日墨西哥灣SSS進行反演(圖6),結(jié)果顯示:鹽度空間形態(tài)分布不規(guī)律,未見北部河口的低值變化態(tài)勢,低值區(qū)從北部河流入?？谖恢缅e現(xiàn)到灣區(qū)西南部,兩模型預(yù)測的灣區(qū)內(nèi)部鹽度值約為36 PSU,屬高值區(qū),灣區(qū)南部的鹽度值較低,集中在34 PSU左右。整體上,墨西哥灣由于受到入海河流淡水輸送、環(huán)流和風力等因素的疊加影響,其物理和生物化學(xué)過程活躍,海水鹽度也呈現(xiàn)復(fù)雜的空間異質(zhì)性[32,33]。本文選擇的SSS影響因子為遙感反射率和海表溫度,由于前述多作用力,推測遙感反射率和海表溫度在灣區(qū)內(nèi)不同區(qū)域的因子貢獻率同其他研究區(qū)有差別。另外,墨西哥灣實測數(shù)據(jù)點有限,僅使用1個月的采樣數(shù)據(jù)或許難以體現(xiàn)河流輸入和洋流風力等的疊加作用,進而導(dǎo)致單區(qū)模型和SLSB-LightGBM全局模型的反演結(jié)果較差。

圖6 墨西哥灣模型和SLSB-LightGBM全局模型對比

日本南部海域模型在該海域數(shù)據(jù)集上得到的1 PSU和0.8 PSU下精度分別為98.30%、97.32%,MSE和MAE分別為0.62、0.13;SLSB-LightGBM全局模型在1 PSU和0.8 PSU下精度分別為94.74%、92.37%,MSE和MAE分別為0.34、0.29。使用兩模型對2021年8月21日日本南部海域SSS進行反演,結(jié)果(圖7)顯示:海表鹽度分布態(tài)勢基本一致,呈現(xiàn)由北向南逐漸下降、近岸高離岸低的趨勢,離岸區(qū)域鹽度值集中在33～34 PSU之間,最低值為27.1 PSU,近岸區(qū)域鹽度值集中在35～36 PSU之間,此分布態(tài)勢與鋒面和環(huán)流的出現(xiàn)相符。

圖7 日本南部海域模型和SLSB-LightGBM全局模型對比

3.2 本地學(xué)習模型的區(qū)域適用性

以愛爾蘭西部海域研究區(qū)為例,愛爾蘭西部海域模型與美國東部海域模型、墨西哥灣模型、日本南部海域模型的反演結(jié)果差異明顯,本地學(xué)習的反演結(jié)果整體數(shù)值較高,大片海域的鹽度值大于35 PSU,最低值為34.1 PSU,非本地學(xué)習模型的反演結(jié)果整體偏低,最低值為24.9 PSU,且本地學(xué)習模型得到的鹽度空間分布模式不能在非本地學(xué)習模型的反演結(jié)果中印證,鹽度變化未體現(xiàn)出從南至北的上升趨勢。模型驗證的量化評價結(jié)果(表 4)表明,非本區(qū)域的單區(qū)模型預(yù)測結(jié)果在1 PSU和0.8 PSU下精度極差,體現(xiàn)出本地學(xué)習的局限性。不同地區(qū)的海洋系統(tǒng)各異,鹽度的空間分布及變化情況有明顯的區(qū)域性,難以用同一個機器學(xué)習模型進行全球范圍的鹽度反演,而SLSB-LightGBM全局模型在不直接使用數(shù)據(jù)的情況下對4個研究區(qū)的模擬效果均較好,反演結(jié)果在復(fù)雜海域甚至優(yōu)于傳統(tǒng)機器學(xué)習模型,適用性優(yōu)于本地學(xué)習模型。

3.3 SLSB-LightGBM模型的泛化性評價

將愛爾蘭西部海域、墨西哥灣、美國東部海域的數(shù)據(jù)進行隱私聯(lián)合訓(xùn)練,構(gòu)建SLSB-LightGBM遷移模型,在日本南部海域進行鹽度反演,得到在1 PSU和0.8 PSU下精度分別為85.43%、75.18%,MSE和MAE分別為0.24、0.13。使用SLSB-LightGBM遷移模型對2021年8月21日日本南部海域SSS進行反演,結(jié)果(圖8)顯示:鹽度值呈自北向南逐漸降低分布態(tài)勢,北部近岸海域的SSS大于35 PSU,SSS高值主要集中在此,南部離岸海域SSS集中在30 PSU左右,與前述鹽度鋒的存在相印證。對比其余單區(qū)模型的預(yù)測結(jié)果,遷移模型的預(yù)測結(jié)果最貼近實際的鹽度分布態(tài)勢,高低值分布合理。愛爾蘭西部海域模型的預(yù)測結(jié)果整體偏高,其余兩個模型的預(yù)測結(jié)果中均出現(xiàn)西南部SSS異常低值區(qū)。SLSB-LightGBM在無日本南部海域數(shù)據(jù)集參與訓(xùn)練的情況下仍能對該海域的鹽度分布態(tài)勢實現(xiàn)較準確的反演預(yù)測,模型的泛化性得以體現(xiàn),即能在有限的訓(xùn)練數(shù)據(jù)集中學(xué)習SSS空間變化的隱含規(guī)律,并能對新數(shù)據(jù)進行準確預(yù)測。

圖8 日本南部海域單日反演結(jié)果對比

4 結(jié)論

海洋數(shù)據(jù)共享性差,本文以海洋表面鹽度為研究對象,首次將隱私計算算法引入GIS場景中,構(gòu)建了SLSB-LightGBM模型,對全球4片海域的海表鹽度進行反演。結(jié)果表明:SLSB-LightGBM模型的整體性能優(yōu)于本地學(xué)習模型,全局模型和遷移模型在1 PSU條件下精度大于84%,0.8 PSU條件下精度大于76%,MSE和MAE值均小于0.58;在洋流環(huán)境復(fù)雜區(qū)的反演預(yù)測結(jié)果更能反映各海域的實際洋流系統(tǒng)環(huán)境,且在數(shù)據(jù)集減少、任務(wù)場景變化時仍能對海表鹽度進行準確、合理的反演預(yù)測。此外,SLSB-LightGBM模型在設(shè)計和執(zhí)行過程上完全保證了數(shù)據(jù)的隱私性,實現(xiàn)了各區(qū)數(shù)據(jù)在互不相通情況下的聚合,直接提高了數(shù)據(jù)的可用性,為探索進一步跨邊界合作研究提供了思路和方法。