袁紅春 張碩 陳冠奇

摘要：?為解決傳統(tǒng)漁場(chǎng)漁情預(yù)測(cè)方法在處理高維復(fù)雜海洋數(shù)據(jù)時(shí)存在人工干預(yù)較多、擬合困難、精度不高的問題，提出了一種基于雙模態(tài)深度學(xué)習(xí)的漁場(chǎng)漁情預(yù)測(cè)方法。首先，該方法將不同海洋環(huán)境因子在5°×5°漁業(yè)作業(yè)區(qū)域范圍內(nèi)按照空間相對(duì)位置映射為三維矩陣。然后，分別使用卷積神經(jīng)網(wǎng)絡(luò)模型（CNN）和深度神經(jīng)網(wǎng)絡(luò)模型（DNN）對(duì)海洋環(huán)境因子和時(shí)空因子2種異構(gòu)數(shù)據(jù)進(jìn)行特征提取。最后，將基于時(shí)空信息的深度神經(jīng)網(wǎng)絡(luò)模型與卷積結(jié)構(gòu)進(jìn)行特征融合，再將融合后的特征經(jīng)過全連接層進(jìn)行分類。試驗(yàn)結(jié)果表明，雙模態(tài)深度學(xué)習(xí)模型對(duì)南太平洋長鰭金槍魚中心漁場(chǎng)的漁場(chǎng)漁情預(yù)報(bào)率達(dá)到了89.8%，較其他漁場(chǎng)漁情預(yù)報(bào)模型精度提高10%～30%。同時(shí)由于該模型使用卷積神經(jīng)網(wǎng)絡(luò)，可以對(duì)任意空間分辨率的海洋環(huán)境因子進(jìn)行特征提取，省去了手動(dòng)匹配不同空間分辨率的過程，減少了人工干預(yù)，對(duì)南太平洋長鰭金槍魚的漁業(yè)作業(yè)與漁場(chǎng)漁情預(yù)報(bào)有極高的指導(dǎo)意義。

關(guān)鍵詞：?雙模態(tài)深度學(xué)習(xí)模型;漁場(chǎng)漁情預(yù)報(bào);長鰭金槍魚

中圖分類號(hào)：?S934??文獻(xiàn)標(biāo)識(shí)碼：?A??文章編號(hào)：?1000-4440（2021）02-0435-08

Abstract：?To solve the problems of much manual intervention， difficulty in fitting and low accuracy in processing ocean data of high-dimensional complex by traditional fishery forecasting methods in the fishing ground， a fishery forecasting method based on dual-modal deep learning was proposed. Firstly， the method mapped different marine environmental factors within a 5°×5° fishery operation area into a three-dimensional matrix according to their relative spatial positions. Secondly， features of two heterogeneous data such as marine environmental factors and spatiotemporal factors were extracted by convolutional neural network （CNN） model and deep neural network （DNN） model respectively. Finally， the deep neural network model based on spatiotemporal information and the convolution structure were fused by feature， and the fused features were classified through the fully connected layer. The results showed that， the forecast rate of fishery by dual-modal deep learning model in the central fishing ground of albacore in the South Pacific reached 89.8%， which improved the forecast accuracy by 10%-30% compared with forecast models in other fishing grounds. At the same time， because the model used a convolutional neural network， which could extract features of marine environmental factors with any spatial resolution， thus eliminated the process of matching different spatial resolutions by manual and reduced manual intervention， which showed extremely high guiding significance for the fishing operations and fishery forecast in the fishing ground of albacore in the South Pacific.

Key words：?dual-modal deep learning model;fishery forecasting in the fishing ground;albacore tuna

長鰭金槍魚（Thunnus alalunga）是高度洄游的大洋性魚類，因其經(jīng)濟(jì)價(jià)值高，資源量相對(duì)豐富，故該魚種具有較大開發(fā)潛力，已引起包括中國在內(nèi)的很多漁業(yè)國家的關(guān)注與重視。如何提高南太平洋長鰭金槍魚的漁場(chǎng)漁情預(yù)測(cè)水平已成為國內(nèi)外學(xué)術(shù)界研究熱點(diǎn)之一。通過調(diào)研區(qū)域漁業(yè)管理部門的漁獲量和努力量數(shù)據(jù)，發(fā)現(xiàn)長鰭金槍魚的種群主要分布于太平洋，并且在南太平洋海域近二十年來長鰭金槍魚產(chǎn)量逐年增長。目前長鰭金槍魚已成為南太平洋金槍魚延繩釣漁業(yè)的主要捕撈對(duì)象之一[1]，準(zhǔn)確預(yù)報(bào)南太平洋長鰭金槍魚漁場(chǎng)，對(duì)于合理安排漁業(yè)生產(chǎn)，提高捕撈效益具有重要意義。

目前國內(nèi)外農(nóng)漁學(xué)者通常將漁情預(yù)測(cè)看作是一種分類或回歸問題，通常采取的方式是統(tǒng)計(jì)學(xué)方法和GIS技術(shù)對(duì)漁場(chǎng)漁情進(jìn)行分析和預(yù)估。但由于海洋數(shù)據(jù)的復(fù)雜性、多變性，需要人為對(duì)海洋數(shù)據(jù)進(jìn)行預(yù)處理以及樣本重組，在預(yù)測(cè)過程中，整個(gè)流程較為復(fù)雜，且人為篩選的特征和預(yù)處理方式直接影響模型的預(yù)測(cè)準(zhǔn)確率，故預(yù)測(cè)結(jié)果受人為因素影響較大，不具備泛化性，可普及程度低。近年來國內(nèi)外有研究者構(gòu)建多種模型進(jìn)行漁場(chǎng)漁情預(yù)報(bào)，如Zagaglia等[2]、Zainuddin等[3]通過廣義加性模型（GAM）與廣義線性模型（GLM）對(duì)長鰭金槍魚漁場(chǎng)漁情建立預(yù)報(bào)模型。崔雪森等[4] 使用樸素貝葉斯方法對(duì)西北太平洋柔魚漁場(chǎng)漁情進(jìn)行回歸預(yù)測(cè)。宋利明等[5] 針對(duì)不同水層的環(huán)境因子差異，使用支持向量機(jī)進(jìn)行分析，測(cè)算了庫克群島海域長鰭金槍魚棲息環(huán)境綜合指數(shù)。

隨著海洋科技的進(jìn)步，漁業(yè)數(shù)據(jù)規(guī)模變得更加巨大，傳統(tǒng)的線性模型在對(duì)海量高維度數(shù)據(jù)進(jìn)行分析時(shí)，模型預(yù)測(cè)的準(zhǔn)確率往往偏低[6] ?，F(xiàn)有漁情預(yù)測(cè)模型大多基于小范圍海面區(qū)域或短期漁業(yè)數(shù)據(jù)進(jìn)行預(yù)測(cè)。而深度學(xué)習(xí)的發(fā)展，給傳統(tǒng)漁情預(yù)測(cè)帶來了新的思路。深度神經(jīng)網(wǎng)絡(luò)能夠在復(fù)雜動(dòng)態(tài)場(chǎng)景中挖掘出重要的語義特征，在大規(guī)模數(shù)據(jù)預(yù)測(cè)上有較好的擬合效果[7-9]。在數(shù)據(jù)結(jié)構(gòu)上，海洋環(huán)境因子在空間排列上為二維矩陣，可以通過疊加不同的環(huán)境因子構(gòu)成三維矩陣，將其視為圖像信息，十分適合使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行特征提取，而時(shí)空因子則是均勻分布的離散特征，此類特征適合使用深度神經(jīng)網(wǎng)絡(luò)（DNN）神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取。本研究基于2種異構(gòu)數(shù)據(jù)，使用雙模態(tài)學(xué)習(xí)的方式構(gòu)建模型，先通過卷積神經(jīng)網(wǎng)絡(luò)挖掘環(huán)境因子的內(nèi)在關(guān)系，并與DNN提取的時(shí)空信息特征相結(jié)合，再用卷積神經(jīng)網(wǎng)絡(luò)的特征提取方法將不同空間分辨率的數(shù)據(jù)融合到統(tǒng)一模型中，共同預(yù)測(cè)漁場(chǎng)漁情等級(jí)，以提高南太平洋長鰭金槍魚漁場(chǎng)漁情預(yù)報(bào)的精度。

1?材料與方法

1.1?數(shù)據(jù)來源

根據(jù)捕撈南太平洋長鰭金槍魚的作業(yè)范圍，選取135°W～115°E、10°S～35°S為研究海域，采用2000-2015年的數(shù)據(jù)進(jìn)行分析研究。漁業(yè)作業(yè)數(shù)據(jù)來源于中西太平洋漁業(yè)委員會(huì)（Western and central pacific fisheries commission， WCPFC）的南太平洋延繩釣數(shù)據(jù)。該數(shù)據(jù)包括作業(yè)時(shí)間、作業(yè)空間坐標(biāo)位置、釣鉤數(shù)、捕獲量（質(zhì)量和尾數(shù)）。該捕撈數(shù)據(jù)以月為時(shí)間分辨率進(jìn)行記錄，將產(chǎn)量以5°×5°空間分辨率進(jìn)行匯總。

長鰭金槍魚分布受海表溫度、葉綠素a含量、鹽度、渦動(dòng)能和海流等多種因子影響[10] ，因此本研究選取即時(shí)性較強(qiáng)、獲取方便的環(huán)境遙感數(shù)據(jù)作為解釋因子，包括海表溫度（SST）、葉綠素a含量（Chla）、海面高度（SSH）。其中海表溫度、葉綠素a含量的數(shù)據(jù)來源于美國國家海洋和大氣管理局（Nation oceanic and atmospheric administration， NOAA）環(huán)境數(shù)據(jù)庫。海面高度數(shù)據(jù)來源于哥白尼海洋環(huán)境監(jiān)測(cè)服務(wù)中心（Copernicus marine environment monitoring service，CMEMS）。該環(huán)境數(shù)據(jù)以月為時(shí)間分辨率，空間分辨率為1°×1°。

1.2?數(shù)據(jù)預(yù)處理與評(píng)估方法

1.2.1?單位捕撈努力量漁獲量（CPUE）的計(jì)算?在漁業(yè)作業(yè)生產(chǎn)中通常采用單位捕撈努力量漁獲量（CPUE）來表示漁業(yè)資源的豐度水平[11-13]。本研究在5°×5°的空間網(wǎng)格內(nèi)對(duì)CPUE進(jìn)行計(jì)算，公式如下：

其中CPUE（i，j）表示經(jīng)度i緯度j處漁區(qū)范圍內(nèi)的CPUE，F(xiàn)（i，j）和H（i，j）分別為對(duì)應(yīng)的漁獲尾數(shù)和釣鉤數(shù)。

1.2.2?漁業(yè)作業(yè)數(shù)據(jù)處理?在漁業(yè)公司的日常作業(yè)中，為了節(jié)省能源與提高產(chǎn)量，漁船的作業(yè)區(qū)域常常圍繞著高產(chǎn)區(qū)，因此提升高產(chǎn)區(qū)預(yù)報(bào)精度對(duì)于指導(dǎo)漁業(yè)作業(yè)有著十分重要的意義。研究中常使用三分位數(shù)將漁區(qū)按照CPUE的大小劃分為若干個(gè)類別，將CPUE有效離散化[14-15]，從而適用于分類模型。

按照公式（1）的方法計(jì)算出CPUE值后，以每月CPUE三分位點(diǎn)的上三分位點(diǎn)（即CPUE最高數(shù)值的三分位點(diǎn)）為分界點(diǎn)重新將每月的CPUE劃分為2類，并分別命名為中心漁場(chǎng)和非中心漁場(chǎng)，并將中心漁場(chǎng)標(biāo)簽值初始化為1，非中心漁場(chǎng)標(biāo)簽值初始化為0。最終得到中心漁場(chǎng)2 875個(gè)，非中心漁場(chǎng)5 579個(gè)，2種類別的漁場(chǎng)數(shù)量分布不均勻。

1.2.3?環(huán)境數(shù)據(jù)處理?對(duì)于傳統(tǒng)的漁場(chǎng)漁情預(yù)報(bào)方法在面對(duì)環(huán)境因子與漁業(yè)作業(yè)數(shù)據(jù)空間分辨率不匹配時(shí)，常常采用取平均值、取中心值等方法統(tǒng)一環(huán)境因子數(shù)據(jù)與作業(yè)數(shù)據(jù)空間分辨率 [16]。這是由于在傳統(tǒng)的模型中如果采取不同空間分辨率的數(shù)據(jù)，會(huì)導(dǎo)致海洋環(huán)境因子在輸入層所占比重較大，當(dāng)時(shí)空因子與海洋環(huán)境因子分布不均勻時(shí)，最終預(yù)報(bào)精度將會(huì)受到影響。本研究分別使用CNN和DNN提取兩種類型的異構(gòu)數(shù)據(jù)。由于卷積神經(jīng)網(wǎng)絡(luò)特有的卷積和池化操作，可以在運(yùn)算的同時(shí)將環(huán)境數(shù)據(jù)的空間分辨率下降到與時(shí)空因子相同大小，因此本研究所用數(shù)據(jù)無需對(duì)海洋環(huán)境因子數(shù)據(jù)進(jìn)行匹配，使用1°×1°的空間分辨率即可。

對(duì)于環(huán)境因子的預(yù)處理共分2步：第1步是將海洋環(huán)境因子和時(shí)空因子進(jìn)行歸一化，消除量綱;第2步則是將海洋環(huán)境因子映射為三維矩陣，可看作RGB三通道彩色像。

1.2.3.1?環(huán)境因子歸一化?由于不同環(huán)境因子的量綱和數(shù)量級(jí)不同，首先將海表溫度、葉綠素a含量、海面高度、月份、經(jīng)度、緯度歸一化到0至1范圍內(nèi)，具體的計(jì)算公式為：

式中Xi代表某環(huán)境因子初始值，Xmax代表此環(huán)境因子在全部研究區(qū)域中的最大值，Xmin表示此環(huán)境因子在全部研究區(qū)域中的最小值，X′表示數(shù)據(jù)歸一化后得到的值。

1.2.3.2?將海洋環(huán)境因子映射為三維矩陣?先將整個(gè)研究區(qū)域按照1°×1°劃分為網(wǎng)格區(qū)域，然后再將整個(gè)海域中歸一化后的環(huán)境因子數(shù)據(jù)以5°×5°漁業(yè)作業(yè)范圍進(jìn)行組織，從而構(gòu)成5×5大小的環(huán)境因子矩陣，最終將3種環(huán)境因子疊加為三維矩陣，即每個(gè)漁場(chǎng)作業(yè)點(diǎn)分別根據(jù)海表溫度、海面高度、葉綠素a含量數(shù)值生成一個(gè)5×5×3大小的矩陣。例如，對(duì)于處于緯度為i、經(jīng)度為j的作業(yè)點(diǎn)，設(shè)其海面高度為Hij，海表溫度為Tij，葉綠素a含量為Aij。將此作業(yè)點(diǎn)5°×5°范圍內(nèi)的環(huán)境因子轉(zhuǎn)換為如圖1所示的三維矩陣：

為了方便輸入卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行運(yùn)算，Python3.6中的Numpy科學(xué)計(jì)算包將三維矩陣統(tǒng)一轉(zhuǎn)換為Numpy數(shù)組并保存，原數(shù)據(jù)具體格式如表1所示。

1.2.4?預(yù)報(bào)精度評(píng)估方法?漁場(chǎng)漁情預(yù)報(bào)精度是描述漁場(chǎng)漁情預(yù)報(bào)結(jié)果與真實(shí)捕撈數(shù)據(jù)之間符合程度的標(biāo)準(zhǔn)。由于漁業(yè)作業(yè)會(huì)受到相關(guān)法律法規(guī)和天氣等影響，部分漁場(chǎng)并沒有漁船進(jìn)行作業(yè)，CPUE并不能完全表示該漁場(chǎng)的等級(jí)水平，因此本文使用總召回率（Recall）作為評(píng)估標(biāo)準(zhǔn)[17] ，具體計(jì)算方法如下：

1.3?多模態(tài)學(xué)習(xí)

海洋大數(shù)據(jù)具有多源異構(gòu)性特點(diǎn)，采用多模態(tài)學(xué)習(xí)方式十分適合。Srivastava等[18]利用受限玻爾茲曼機(jī)分別提取2種不同數(shù)據(jù)的特征，然后將其進(jìn)行有監(jiān)督學(xué)習(xí)。除此之外還有眾多學(xué)者嘗試了多模態(tài)支持向量機(jī)[19和多模態(tài)半監(jiān)督學(xué)習(xí)[20]等多模態(tài)學(xué)習(xí)方法。

多模態(tài)學(xué)習(xí)使用不同的方式對(duì)不同種類的特征進(jìn)行提取，然后映射到統(tǒng)一特征空間中進(jìn)行學(xué)習(xí)，十分有利于多源異構(gòu)數(shù)據(jù)的處理。對(duì)于不同數(shù)據(jù)類型可以各自選擇合適的模型進(jìn)行特征提取。通過多模態(tài)學(xué)習(xí)能夠處理和關(guān)聯(lián)來自多種模式信息的模型，對(duì)于許多實(shí)際問題，多模態(tài)學(xué)習(xí)常常為涉及多模式數(shù)據(jù)的問題提供了很多改進(jìn)的性能。多模態(tài)學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)的區(qū)別見表2。

1.4?模型結(jié)構(gòu)

對(duì)不同結(jié)構(gòu)的數(shù)據(jù)類型分別選擇合適的神經(jīng)網(wǎng)絡(luò)類型進(jìn)行特征提取，以取得更好的特征提取效果。將海洋環(huán)境遙感數(shù)據(jù)經(jīng)本研究方法轉(zhuǎn)換后的三維矩陣看作RGB三通道圖像格式，在該數(shù)據(jù)類型中，同一通道內(nèi)同一種海洋環(huán)境因子是相似的，但是也存在類似于紋理的差異性。不同通道的數(shù)據(jù)差異較大，但在空間位置上又相互關(guān)聯(lián)，通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取能夠融合多種環(huán)境因子，同時(shí)減少參數(shù)量。時(shí)空環(huán)境因子是離散的數(shù)值型數(shù)據(jù)，適用于DNN進(jìn)行特征提取。本試驗(yàn)的數(shù)據(jù)類型存在圖像格式和數(shù)值型2種模態(tài)，所以2種數(shù)據(jù)類型可以分別在特征提取后進(jìn)行特征融合，然后使用全連接層映射到標(biāo)簽空間內(nèi)進(jìn)行分類。

整個(gè)模型的設(shè)計(jì)分為2個(gè)分支結(jié)構(gòu)，一個(gè)結(jié)構(gòu)是使用卷積神經(jīng)網(wǎng)絡(luò)提取海洋環(huán)境因子特征，另一個(gè)結(jié)構(gòu)則是利用DNN提取時(shí)空因子特征，將2種特征融合后共同輸入到全連接層進(jìn)行分類。具體流程如圖2所示。

1.4.1?卷積結(jié)構(gòu)設(shè)計(jì)?卷積部分的輸入矩陣大小為5×5×3，故在卷積過程不適合進(jìn)行池化操作，全局采用64個(gè)3×3大小的卷積核進(jìn)行操作，最終使用全局平均池化將三維特征值矩陣轉(zhuǎn)換為二維特征向量，該向量用于后續(xù)的特征融合。具體的卷積分支結(jié)構(gòu)如表3所示。

1.4.2?深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)?深度神經(jīng)網(wǎng)絡(luò)分支的輸入層為月份、經(jīng)度、緯度3種時(shí)空因子構(gòu)成的特征向量。為了使特征提取后的權(quán)重與3種海洋環(huán)境因子相同，該分支采用與卷積神經(jīng)網(wǎng)絡(luò)分支濾波器數(shù)目相同的隱層節(jié)點(diǎn)數(shù)，即3-32-32-32結(jié)構(gòu)，如圖3所示。

1.4.3?模型整體結(jié)構(gòu)?海洋環(huán)境因子數(shù)據(jù)與時(shí)空因子數(shù)據(jù)經(jīng)上述設(shè)計(jì)的2個(gè)分支結(jié)構(gòu)進(jìn)行特征提取后得到2個(gè)長度為32的特征向量。由于海洋環(huán)境因子與時(shí)空因子都對(duì)漁業(yè)CPUE有很大的影響，考慮到各個(gè)提取到的環(huán)境因子的重要性難以確定，本模型將2個(gè)特征向量進(jìn)行拼接，并在融合后的特征層新增2個(gè)含64個(gè)節(jié)點(diǎn)的全連接層，以便于2種特征更加充分地融合。

由于預(yù)測(cè)中心漁場(chǎng)與非中心漁場(chǎng)為二分類問題，故在全連接層后新增一個(gè)Sigmoid函數(shù)作為輸出層。在試驗(yàn)中我們視中心漁場(chǎng)標(biāo)簽為1，非中心漁場(chǎng)標(biāo)簽為0，當(dāng)正負(fù)樣本分布均勻時(shí)，我們認(rèn)為輸出值y，滿足：

即輸出y>0.5時(shí)，將該作業(yè)區(qū)域視為為中心漁場(chǎng)。由于漁場(chǎng)等級(jí)劃分時(shí)中心漁場(chǎng)與非中心漁場(chǎng)所占比重差異很大，因此將分類閾值重新調(diào)整為：

其中T=2 669為訓(xùn)練集中心漁場(chǎng)的數(shù)目，F(xiàn)=5 182為訓(xùn)練集非中心漁場(chǎng)的數(shù)目。最終得到分類閾值為0.34。最終模型的整體結(jié)構(gòu)如圖4所示。

1.5?試驗(yàn)設(shè)計(jì)

依據(jù)上述長鰭金槍魚漁場(chǎng)漁情預(yù)報(bào)方法，分別使用DNN和CNN模型提取2種模態(tài)的數(shù)據(jù)特征，實(shí)現(xiàn)雙模態(tài)漁場(chǎng)漁情預(yù)報(bào)模型。本試驗(yàn)工作站顯卡型號(hào)為NVIDIA GTX 1080Ti，CPU型號(hào)為AMD Ryzen Threadripper 1950X，操作系統(tǒng)為Windows10，并搭建了基于Python3.6的TensorFlow 1.3框架與Keras 2.0.8框架。其中試驗(yàn)訓(xùn)練數(shù)據(jù)為經(jīng)過預(yù)處理的雙模態(tài)環(huán)境因子數(shù)據(jù)。2000-2014年共有數(shù)據(jù)7 851條，另外選擇2015年603條數(shù)據(jù)作為測(cè)試集。模型訓(xùn)練時(shí)學(xué)習(xí)率設(shè)置為0.000 1，采用Adam優(yōu)化器進(jìn)行訓(xùn)練，并設(shè)置最大迭代次數(shù)為50次。

為驗(yàn)證本研究模型的準(zhǔn)確率和優(yōu)越性，設(shè)置了模型對(duì)比試驗(yàn)。其他4種模型分別是只通過CNN分支進(jìn)行特征提取海洋環(huán)境因子并分類的CNN模型，只使用DNN分支對(duì)海洋環(huán)境因子與時(shí)空因子進(jìn)行提取并分類的DNN模型，袁紅春等[7]提出的F-ACN（全卷積深度神經(jīng)網(wǎng)絡(luò)）模型以及采用基于FastICA方法進(jìn)行獨(dú)立成分分析的樸素貝葉斯模型。

2?結(jié)果與分析

2.1?不同模型訓(xùn)練擬合過程對(duì)比分析

試驗(yàn)結(jié)果表明，F(xiàn)-CAN模型能夠?qū)Υ笠?guī)模海洋數(shù)據(jù)進(jìn)行特征提取，在準(zhǔn)確率上該方法與傳統(tǒng)漁情預(yù)報(bào)方法相比有較為明顯的提升。基于雙模態(tài)深度學(xué)習(xí)方法是在F-CAN模型的基礎(chǔ)上處理高維復(fù)雜海洋數(shù)據(jù)時(shí)提出的一種新思路。F-ACN 模型的多層非線性結(jié)構(gòu)和龐大可訓(xùn)練參數(shù)能夠比較充分地?cái)M合多參數(shù)間的非線性關(guān)系，但 F-ACN 模型在訓(xùn)練初期學(xué)習(xí)進(jìn)度較為緩慢，無法判明類別，梯度方向也不斷變化，當(dāng)進(jìn)行10 次迭代后，損失值開始快速下降。而本研究提出的多模態(tài)深度學(xué)習(xí)方式采用多分支結(jié)構(gòu)，相較于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)參數(shù)量較小，經(jīng)過多次試驗(yàn)發(fā)現(xiàn)大約進(jìn)行50次迭代后模型就達(dá)到了擬合狀態(tài)，并且從預(yù)測(cè)結(jié)果可以看出，本研究提出的方法具備更好的擬合效果。

2.2?不同模型漁場(chǎng)漁情預(yù)測(cè)結(jié)果比較

不同模型預(yù)測(cè)結(jié)果表明，分別使用2種模型對(duì)2種模態(tài)數(shù)據(jù)進(jìn)行特征提取的雙模態(tài)模型極大地提高了南太平洋長鰭金槍魚漁場(chǎng)漁情的預(yù)報(bào)精度，預(yù)測(cè)結(jié)果如表4所示。由表4可以看出，相比于其他模型，本研究提出的雙模態(tài)學(xué)習(xí)模型總體準(zhǔn)確率最高。雙模態(tài)學(xué)習(xí)模型的優(yōu)點(diǎn)是能夠針對(duì)不同結(jié)構(gòu)的特征進(jìn)行特征提取，所獲得的特征值更加具有代表性。雙模態(tài)學(xué)習(xí)模型對(duì)于中心漁場(chǎng)的預(yù)報(bào)準(zhǔn)確率達(dá)到了89.8%，遠(yuǎn)高于其他模型，可以準(zhǔn)確地反映南太平洋長鰭金槍魚的漁場(chǎng)資源水平。由于模型的總精準(zhǔn)率均達(dá)到了83.5%，不僅可以準(zhǔn)確地預(yù)報(bào)中心漁場(chǎng)位置，而且誤報(bào)率較低。雙模態(tài)學(xué)習(xí)模型分別針對(duì)矩陣型數(shù)據(jù)和數(shù)值型數(shù)據(jù)使用2種神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，取得了遠(yuǎn)高于單模態(tài)模型CNN或DNN的預(yù)報(bào)準(zhǔn)確率，同時(shí)彌補(bǔ)了單模態(tài)模型對(duì)于不同類型特征進(jìn)行提取時(shí)的不足，可以充分利用卷積神經(jīng)網(wǎng)絡(luò)的特征提取能力和DNN模型優(yōu)秀的特征融合能力，發(fā)揮各自的優(yōu)勢(shì)。

樸素貝葉斯模型是通過對(duì)歷史數(shù)據(jù)的頻率統(tǒng)計(jì)得到先驗(yàn)概率和條件概率，從而計(jì)算出后驗(yàn)概率。故樸素貝葉斯模型雖同為分類模型，但其要求輸入模型前各變量相互獨(dú)立，在模型訓(xùn)練前需要對(duì)多種輸入?yún)?shù)進(jìn)行獨(dú)立成分分析，這不僅會(huì)增加模型復(fù)雜度，同時(shí)還易損失數(shù)據(jù)信息量。

F-ACN 模型主要由多層卷積神經(jīng)網(wǎng)絡(luò)和 DNN 構(gòu)成，具備更強(qiáng)的非線性，比樸素貝葉斯模型包含更多的可訓(xùn)練參數(shù)。與此同時(shí)，F(xiàn)-ACN模型通過全卷積網(wǎng)絡(luò)結(jié)構(gòu)，取消了池化操作，使用步長為 2 的卷積層來代替，模型在卷積層的計(jì)算量較普通卷積網(wǎng)絡(luò)減少了 1/2，極大地加速了運(yùn)算速度。針對(duì)海洋數(shù)據(jù)大規(guī)模、多源化、異構(gòu)性的特點(diǎn)，該模型能夠較好地?cái)M合復(fù)雜的海洋數(shù)據(jù)，自動(dòng)獲取海量高維海洋大數(shù)據(jù)中存在的復(fù)雜關(guān)聯(lián)，F(xiàn)-CAN模型較樸素貝葉斯模型能更精準(zhǔn)地預(yù)報(bào)漁場(chǎng)漁情。對(duì)比回歸模型，F(xiàn)-ACN模型得到的預(yù)報(bào)結(jié)果是一個(gè)離散值，不存在一個(gè)連續(xù)的預(yù)測(cè)概率值，所以能夠更明確直觀地表示對(duì)漁場(chǎng)漁情等級(jí)的預(yù)測(cè)水平。F-ACN 模型結(jié)構(gòu)作為一種“黑盒”模型，對(duì)漁業(yè)數(shù)據(jù)的假設(shè)條件不作要求，只先對(duì)數(shù)據(jù)進(jìn)行三維獨(dú)熱編碼簡單處理即可，無需考慮環(huán)境因子間的相互影響，且當(dāng)環(huán)境因子種類增加時(shí)，只需增加訓(xùn)練集三維矩陣的維度即可在原模型上繼續(xù)訓(xùn)練，故相較于其他模型而言，F(xiàn)-ACN 模型具有較好的可擴(kuò)展性與簡易性。

但F-ACN 模型僅考慮了漁場(chǎng)與環(huán)境因子的關(guān)聯(lián)關(guān)系進(jìn)行獨(dú)立漁場(chǎng)漁情預(yù)報(bào)，而南太平洋長鰭金槍魚作為一種高度洄游性的大洋魚類，各漁區(qū)的漁場(chǎng)數(shù)據(jù)在一段連續(xù)時(shí)間內(nèi)與時(shí)空因素存在一定的關(guān)聯(lián)關(guān)系。本研究提出的基于雙模態(tài)深度學(xué)習(xí)的方法將漁場(chǎng)的時(shí)間序列因素和空間因子分別采用CNN和DNN進(jìn)行提取，將特征加入到模型中，更進(jìn)一步提高了漁場(chǎng)漁情預(yù)報(bào)準(zhǔn)確率。通過CNN模型對(duì)任意空間分辨率的海洋環(huán)境因子數(shù)據(jù)進(jìn)行特征提取，解決了海洋環(huán)境因子空間分辨率與漁業(yè)作業(yè)數(shù)據(jù)空間分辨率不匹配的問題。該模型可以通過卷積運(yùn)算獲取5°×5°漁業(yè)作業(yè)范圍內(nèi)1°×1°的信息，同時(shí)卷積運(yùn)算的輸入矩陣保留了各個(gè)數(shù)據(jù)點(diǎn)的空間位置信息和5°×5°空間內(nèi)環(huán)境因子的內(nèi)部規(guī)律，遠(yuǎn)優(yōu)于各種手工的歸一化方法。在多個(gè)卷積核對(duì)不同層之間的各個(gè)環(huán)境因子進(jìn)行交互運(yùn)算時(shí)，由于卷積運(yùn)算權(quán)重共享的特性，各卷積層的參數(shù)量僅為3×3×32，與全連接操作相比減少了近2/3的參數(shù)量。

2.3?其他影響因素對(duì)預(yù)測(cè)結(jié)果的影響分析及拓展

由于在實(shí)際漁場(chǎng)預(yù)報(bào)中，月份、緯度等時(shí)空因子對(duì)漁業(yè)CPUE的影響較大，在漁場(chǎng)漁情預(yù)報(bào)過程中必須要對(duì)時(shí)空因子進(jìn)行兼顧，因此本模型采用多分支結(jié)構(gòu)。一方面考慮到時(shí)空因子的重要性，多分支結(jié)構(gòu)減少了高維度環(huán)境因子特征提取時(shí)對(duì)預(yù)測(cè)結(jié)果產(chǎn)生的影響，同時(shí)在全連接層將2種特征進(jìn)行融合，使2種特征相互補(bǔ)充，最后輸入到分類器中。CNN分支與DNN分支在模型結(jié)構(gòu)上雖然不同，但在特征提取過程互不影響，且各分支結(jié)構(gòu)的輸出向量維度一致，故提取的特征向量能夠較好地進(jìn)行融合，并不會(huì)由于參數(shù)量的差異導(dǎo)致某種環(huán)境因子所占比重較小或被忽略。本模型為提高中心漁場(chǎng)預(yù)報(bào)精度，將漁業(yè)數(shù)據(jù)劃分為中心漁場(chǎng)和非中心漁場(chǎng)2類，使?jié)O場(chǎng)等級(jí)標(biāo)簽更加明確。此外，由于本模型減少了漁場(chǎng)的類別，一定程度上緩解了模型由于類別劃分不清導(dǎo)致分類精度下降的問題。同時(shí)，使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)海洋環(huán)境因子進(jìn)行特征提取能夠減少數(shù)據(jù)預(yù)處理過程中造成的信息損失，該模型能夠?qū)⑷我饪臻g分辨率的海洋環(huán)境因子與時(shí)空因子相結(jié)合，對(duì)復(fù)雜的海洋大數(shù)據(jù)有較好的適用性和可擴(kuò)展性。試驗(yàn)結(jié)果表明，本模型對(duì)中心漁場(chǎng)的預(yù)報(bào)準(zhǔn)確率可以達(dá)到89.8%，完全可以滿足現(xiàn)有漁業(yè)作業(yè)的需求。不過長鰭金槍魚的中心漁場(chǎng)分布除了受上述因素影響外，還可能受到海水流速、海面風(fēng)場(chǎng)、海水鹽度、海水溶解氧濃度等因素影響，因此下一步的延申研究工作是收集和分析更多的海洋環(huán)境參數(shù)數(shù)據(jù)，將其加入到模型中，進(jìn)行更多影響因子的綜合處理與分析，以期更加準(zhǔn)確地為海洋漁業(yè)提供技術(shù)支撐。

3?結(jié)論

本研究針對(duì)傳統(tǒng)漁場(chǎng)漁情預(yù)報(bào)方法在處理高維復(fù)雜海洋數(shù)據(jù)時(shí)難以擬合海洋大數(shù)據(jù)的缺陷，提出了一種基于雙模態(tài)深度學(xué)習(xí)的南太平洋長鰭金槍魚漁場(chǎng)漁情預(yù)報(bào)模型，使用CNN和DNN分別提取不同類型數(shù)據(jù)的特征。該模型能夠?qū)Υ笠?guī)模任意空間分辨率的海洋環(huán)境因子進(jìn)行特征提取，省去了手動(dòng)匹配不同空間分辨率的過程，減少了人工干預(yù)，為漁場(chǎng)漁情預(yù)報(bào)提供了一種全新思路。

采用海面高度、海表溫度、葉綠素a含量3種環(huán)境因子，增加了卷積神經(jīng)網(wǎng)絡(luò)模型的輸入矩陣維度，提高了南太平洋長鰭金槍魚漁場(chǎng)漁情預(yù)報(bào)準(zhǔn)確率。在雙模態(tài)學(xué)習(xí)模型中對(duì)于海洋環(huán)境因子和時(shí)空因子的融合使用特征拼接方法，進(jìn)一步提高了準(zhǔn)確率，同時(shí)也省去池化操作，提高了運(yùn)算速度。本研究對(duì)各個(gè)分支結(jié)構(gòu)的節(jié)點(diǎn)數(shù)、層數(shù)、不同尺度卷積核進(jìn)行了試驗(yàn)，增強(qiáng)了模型的特征提取能力，預(yù)報(bào)精度達(dá)到了89.8%，相較于其他模型，極大程度提高了預(yù)測(cè)精確度，對(duì)于南太平洋長鰭金槍魚的漁業(yè)作業(yè)有較好的指導(dǎo)作用。試驗(yàn)結(jié)果證明了雙模態(tài)深度學(xué)習(xí)技術(shù)在漁場(chǎng)漁情預(yù)測(cè)領(lǐng)域的優(yōu)越性。

參考文獻(xiàn)：

[1]?NIKOLIC N， MORANDEAU G， HOARAU L， et al. Review of albacore tuna， Thunnus alalunga， biology， fisheries and management[J]. Reviews in Fish Biology and Fisheries， 2017， 27（4）： 775-810.

[2]?ZAGAGLIA C R， LORENZZETTI J A， STECH J L. Remote sensing data and longline catches of yellowfin tuna （Thunnus albacares） in the equatorial Atlantic[J]. Remote Sensing of Environment， 2004， 93（1/2）： 267-281.

[3]?ZAINUDDIN M， SAITOH K， SAITOH S E I I. Albacore （Thunnus alalunga） fishing ground in relation to oceanographic conditions in the western North Pacific Ocean using remotely sensed satellite data[J]. Fisheries Oceanography， 2008， 17（2）： 61-73.

[4]?崔雪森，唐峰華，張?衡，等.基于樸素貝葉斯的西北太平洋柔魚漁場(chǎng)預(yù)報(bào)模型的建立[J].中國海洋大學(xué)學(xué)報(bào)（自然科學(xué)版），2015，45（2）：37-43.

[5]?宋利明，周建坤，沈智賓，等.基于支持向量機(jī)的庫克群島海域長鰭金槍魚棲息環(huán)境綜合指數(shù)[J].海洋通報(bào)，2017，36（2）：195-208.

[6]?HARRELL F E， LEE K L， MARK D B. Tutorial in biostatistics multivariable prognostic models： issues in developing models， evaluating assumptions and adequacy， and measuring and reducing errors[J]. Statistics in Medicine，1996，1 （15） ： 361-387.

[7]?袁紅春，陳冠奇，張?zhí)祢?，?基于全卷積網(wǎng)絡(luò)的南太平洋長鰭金槍魚漁場(chǎng)預(yù)報(bào)模型[J].江蘇農(nóng)業(yè)學(xué)報(bào)，2020，36（2）：423-429.

[8]?LIU Q， YU F， WU S， et al. A convolutional click prediction model[C]//ASSOCIATION FOR COMPUTING MACHINERY. Proceedings of the 24th ACM International on Conference on Information and Knowledge Management. New York， USA： ACM， 2015： 1743-1746.

[9]?WANG P， XU B， XU J， et al. Semantic expansion using word embedding clustering and convolutional neural network for improving short text classification [J]. Neurocomputing， 2016，174：806-814.

[10]毛江美，陳新軍，余?景.基于神經(jīng)網(wǎng)絡(luò)的南太平洋長鰭金槍魚漁場(chǎng)預(yù)報(bào)[J].海洋學(xué)報(bào)，2016，38（10）：34-43.

[11]宋利明，謝?凱，趙海龍，等.庫克群島海域海洋環(huán)境因子對(duì)長鰭金槍魚漁獲率的影響[J].海洋通報(bào)，2017，36（1）：96-106.

[12]范永超，戴小杰，朱江峰，等.南太平洋長鰭金槍魚延繩釣漁業(yè)CPUE標(biāo)準(zhǔn)化[J].海洋湖沼通報(bào)，2017（1）：122-132.

[13]ZAINUDDIN M， SAITOH S， SAIROH K. Detection of potential fishing ground for albacore tuna using synoptic measurements of ocean color and thermal remote sensing in the northwestern North Pacific[J]. Geophysical Research Letters， 2004， 31（20）： 183-213.

[14]ISMAIL A I， MORRISION E C， BURT B A， et al. Natural history of periodontal disease in adults： findings from the Tecumseh Periodontal Disease Study， 1959-1987[J]. Journal of Dental Research， 1990， 69（2）： 430-435.

[15]陳雪忠，樊?偉，崔雪森，等.基于隨機(jī)森林的印度洋長鰭金槍魚漁場(chǎng)預(yù)報(bào)[J].海洋學(xué)報(bào)，2013，35（1）：158-164.

[16]高?峰，陳新軍，官文江，等.基于提升回歸樹的東、黃海鮐魚漁場(chǎng)預(yù)報(bào)[J].海洋學(xué)報(bào)，2015，37（10）：39-48.

[17]張?衡，崔雪森，樊?偉.基于遙感數(shù)據(jù)的智利竹筴魚漁場(chǎng)預(yù)報(bào)系統(tǒng)[J].農(nóng)業(yè)工程學(xué)報(bào)，2012，28（15）：140-144.

[18]SRIVASTAVA N， SALAKHUTDINOV R. Multimodal learning with deep boltzmann machines[J]. Journal of Machine Learning Research，2014，15（8）：1967-2006.

[19]林大超，安鳳平，郭章林，等.滑坡位移的多模態(tài)支持向量機(jī)模型預(yù)測(cè)[J].巖土力學(xué)，2011，32（S1）：451-458.

[20]姜?遠(yuǎn)，黎?銘，周志華.一種基于半監(jiān)督學(xué)習(xí)的多模態(tài)Web查詢精化方法[J].計(jì)算機(jī)學(xué)報(bào)，2009，32（10）：2099-2106.

（責(zé)任編輯：張震林）