劉藝，孫延斌，翟鳳國(guó)，梁新

（1. 牡丹江醫(yī)學(xué)院，黑龍江牡丹江 157011；2. 牡丹江醫(yī)學(xué)院附屬紅旗醫(yī)院，黑龍江牡丹江 157011）

1 引言

植物病害影響其各自物種的生長(zhǎng)，因此早期識(shí)別非常重要。許多機(jī)器學(xué)習(xí)（Machine Learning，ML）模型已被用于植物病害的檢測(cè)和分類(lèi)，但是，在ML的一個(gè)子集（即深度學(xué)習(xí)（Deep Learning， DL））取得進(jìn)展之后，這一研究領(lǐng)域在提高準(zhǔn)確性方面似乎具有巨大的潛力［1］。

葉片病斑的顏色和形態(tài)特征是病害識(shí)別的重要依據(jù)［2］，傳統(tǒng)的機(jī)器學(xué)習(xí)方法在植物病蟲(chóng)害識(shí)別中主要依賴(lài)圖像處理技術(shù)來(lái)提取葉片病斑的顏色、形狀、紋理等特征。這些方法需要手動(dòng)設(shè)計(jì)和選擇特征提取算法，并且其分類(lèi)性能很大程度上依賴(lài)特征提取的效果。這些方法通常是針對(duì)特定的病蟲(chóng)害進(jìn)行設(shè)計(jì)的，缺乏泛化能力，難以應(yīng)用于其他病蟲(chóng)害的識(shí)別［3］。相比之下，深度學(xué)習(xí)技術(shù)在植物病蟲(chóng)害識(shí)別中具有許多優(yōu)勢(shì)。深度學(xué)習(xí)模型能夠自動(dòng)學(xué)習(xí)和提取圖像中的特征，無(wú)需手動(dòng)設(shè)計(jì)特征提取算法［4］。通過(guò)深層神經(jīng)網(wǎng)絡(luò)的層層堆疊和訓(xùn)練，深度學(xué)習(xí)模型可以學(xué)習(xí)到更加高級(jí)和抽象的特征表示，從而能夠更準(zhǔn)確地區(qū)分不同的病蟲(chóng)害。深度學(xué)習(xí)模型具有較強(qiáng)的泛化能力，可以應(yīng)用于多種病蟲(chóng)害的識(shí)別任務(wù)［5-7］。通過(guò)大規(guī)模的訓(xùn)練數(shù)據(jù)集和深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化，深度學(xué)習(xí)模型能夠?qū)崿F(xiàn)快速、準(zhǔn)確的病蟲(chóng)害識(shí)別。與傳統(tǒng)的機(jī)器學(xué)習(xí)方法相比，深度學(xué)習(xí)技術(shù)能夠更好地處理圖像中的復(fù)雜特征和背景噪聲，提高識(shí)別的準(zhǔn)確性和魯棒性。

許多最先進(jìn)的深度學(xué)習(xí)模型/架構(gòu)在引入AlexNet后發(fā)展起來(lái)用于圖像檢測(cè)、分割和分類(lèi)，如圖1所示。AlexNet被稱(chēng)為第一個(gè)現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)［8］。圖像識(shí)別性能的關(guān)鍵在于其時(shí)間。AlexNet采用ReLU激活函數(shù)實(shí)現(xiàn)更好的性能，采用Dropout技術(shù)避免過(guò)擬合。OverFeat是第一個(gè)通過(guò)單個(gè)CNN進(jìn)行對(duì)象檢測(cè)、定位和分類(lèi)的模型。與AlexNet相比，有大量的參數(shù)。VGG考慮到3×3接收野包含更多的非線(xiàn)性函數(shù)，使決策函數(shù)具有判別性。由于參數(shù)數(shù)量多，計(jì)算成本高，GoogleNet 與AlexNet模型相比，參數(shù)數(shù)量更少，即時(shí)的準(zhǔn)確性更高。ResNet解決了梯度消失問(wèn)題，精度優(yōu)于VGG和GoogleNet模型。本文中所提到的DenseNet通過(guò)密集連接、梯度傳播、參數(shù)效率、更好的特征表示和魯棒性等方面的優(yōu)勢(shì)，成為深度學(xué)習(xí)領(lǐng)域中重要的網(wǎng)絡(luò)架構(gòu)之一，被廣泛應(yīng)用于圖像分類(lèi)、目標(biāo)檢測(cè)、語(yǔ)義分割等計(jì)算機(jī)視覺(jué)任務(wù)中。本文提出一種基于DenseNet的模型，以適應(yīng)植物葉片病蟲(chóng)害分類(lèi)任務(wù)，并提高模型在該任務(wù)上的性能。

圖1 從AlexNet到DenseNet的模型演變

2 數(shù)據(jù)預(yù)處理

2.1 實(shí)驗(yàn)材料

本實(shí)驗(yàn)采用從Kaggle網(wǎng)站獲取的患病葉片圖像以及相應(yīng)的標(biāo)簽數(shù)據(jù)集，原始圖像共54 305張。如圖2所示，其中包含正常蘋(píng)果、番茄、馬鈴薯、玉米、葡萄等農(nóng)作物正常葉片以及蘋(píng)果黑霉病、番茄葉枯病、馬鈴薯晚疫病、玉米葉枯病等病變?nèi)~片，共38類(lèi)。將數(shù)據(jù)進(jìn)行劃分，訓(xùn)練集占80%，驗(yàn)證集和測(cè)試集各占總數(shù)據(jù)集的10%。

圖2 數(shù)據(jù)集中葉片預(yù)覽

2.2 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)是一種常用的技術(shù)，用于在訓(xùn)練過(guò)程中對(duì)輸入數(shù)據(jù)進(jìn)行隨機(jī)變換，以增加數(shù)據(jù)的多樣性和泛化能力。使用以下5種數(shù)據(jù)增強(qiáng)方法。（1）隨機(jī)高度變換：在每個(gè)樣本上，將圖像的高度隨機(jī)調(diào)整，最大調(diào)整范圍為原始高度的20%。（2）隨機(jī)寬度變換：在每個(gè)樣本上，將圖像的寬度隨機(jī)調(diào)整，最大調(diào)整范圍為原始寬度的20%。（3）隨機(jī)旋轉(zhuǎn)：在每個(gè)樣本上，將圖像隨機(jī)旋轉(zhuǎn)，最大旋轉(zhuǎn)角度為20度。（4）水平翻轉(zhuǎn)：在每個(gè)樣本上，以50%的概率將圖像水平翻轉(zhuǎn)。（5）像素值縮放：將圖像的像素值縮放到0到1的范圍，以便更好地適應(yīng)模型的輸入要求。

通過(guò)這些數(shù)據(jù)增強(qiáng)方法，每個(gè)訓(xùn)練樣本都會(huì)在每個(gè)訓(xùn)練迭代中以隨機(jī)的方式進(jìn)行變換。這樣可以增加數(shù)據(jù)的多樣性，使模型能夠?qū)W習(xí)到不同角度和樣本變化下的特征，從而提高模型的泛化能力。

3 遷移學(xué)習(xí)和DenseNet模型

3.1 遷移學(xué)習(xí)

遷移學(xué)習(xí)是一種有效的機(jī)器學(xué)習(xí)方法［10］，可以利用預(yù)訓(xùn)練的模型在新任務(wù)上進(jìn)行訓(xùn)練。在植物葉片病蟲(chóng)害分類(lèi)任務(wù)中，選擇使用遷移學(xué)習(xí)的原因是該任務(wù)與其他相關(guān)的圖像識(shí)別任務(wù)存在相似的特征。

植物葉片病蟲(chóng)害分類(lèi)任務(wù)的核心目標(biāo)是對(duì)不同類(lèi)型的葉片病蟲(chóng)害進(jìn)行準(zhǔn)確分類(lèi)。這些病蟲(chóng)害可能表現(xiàn)出特定的形狀、顏色、紋理等特征，這與其他圖像識(shí)別任務(wù)中的對(duì)象分類(lèi)任務(wù)具有相似性。以預(yù)訓(xùn)練的Densenet模型作為基礎(chǔ)模型，可以利用其在大規(guī)模圖像數(shù)據(jù)集上訓(xùn)練的能力，從中學(xué)習(xí)到普遍的特征表示。

3.2 DenseNet模型

在計(jì)算機(jī)視覺(jué)領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）已經(jīng)成為最主流的方法，比如最近的GoogLenet、VGG-19、Incepetion等模型［11］。CNN史上的一個(gè)里程碑事件是ResNet模型的出現(xiàn)。ResNet可以訓(xùn)練出更深的CNN模型，從而實(shí)現(xiàn)更高的準(zhǔn)確度。另一個(gè)在CNN領(lǐng)域具有重大影響的里程碑事件是DenseNet模型的出現(xiàn)。DenseNet（Densely connected convolutional Networks）是一種能夠訓(xùn)練出更加密集連接的CNN模型［12］，它通過(guò)引入密集連接塊（dense block）的結(jié)構(gòu)，進(jìn)一步推動(dòng)了模型深度的增加，從而實(shí)現(xiàn)了更高的準(zhǔn)確度。

DenseNet的核心思想［13］是在每一層中將前面所有層的特征圖（feature map）連接到當(dāng)前層的輸入，這樣每一層都能直接訪(fǎng)問(wèn)之前層的輸出。這種密集連接的設(shè)計(jì)帶來(lái)了以下幾個(gè)重要優(yōu)勢(shì)。（1）參數(shù)和特征重用。由于每一層都能直接訪(fǎng)問(wèn)前面層的輸出，DenseNet能夠充分利用之前層的信息，并將其傳遞給后續(xù)層，從而實(shí)現(xiàn)參數(shù)和特征的重用。這使模型更加高效，并且可以使用相對(duì)較少的參數(shù)來(lái)實(shí)現(xiàn)更深的網(wǎng)絡(luò)結(jié)構(gòu)。（2）梯度傳播和特征傳遞。密集連接的結(jié)構(gòu)使梯度能夠更快地傳播，有助于解決梯度消失或梯度爆炸的問(wèn)題。同時(shí)，前面層的特征也能夠直接傳遞給后續(xù)層，這有助于緩解信息丟失的問(wèn)題，提高特征的傳遞效率。（3）特征融合和多尺度表示。DenseNet中密集連接塊的設(shè)計(jì)使網(wǎng)絡(luò)能夠同時(shí)學(xué)習(xí)不同層級(jí)的特征表示，從而實(shí)現(xiàn)多尺度的特征融合。這有助于模型捕捉不同尺度下的圖像特征，提高模型的表達(dá)能力和泛化能力。

對(duì)于一個(gè)n層的網(wǎng)絡(luò)，DenseNet共包含個(gè)連接（圖3），相比ResNet，這是一種密集連接。而且DenseNet是直接連接來(lái)自不同層的特征圖，這可以實(shí)現(xiàn)特征重用，提升效率。

圖3 DenseNet網(wǎng)絡(luò)的密集連接機(jī)制

用公式表示，傳統(tǒng)的網(wǎng)絡(luò)在n層的輸出為

在DenseNet中，會(huì)連接前面所有層作為輸入，即

其中，上面的Hn( )代表是非線(xiàn)性轉(zhuǎn)化函數(shù)（non-liear transformation），它是一個(gè)組合操作，其中可能包括一系列的BN（Batch Normalization）、ReLU、Pooling及Conv操作。這里n層與n-1層之間可能實(shí)際上包含多個(gè)卷積層。

4 實(shí)驗(yàn)方法

4.1 實(shí)驗(yàn)設(shè)置

所有試驗(yàn)均在Ubuntu 20.04 LTS 64位系統(tǒng)環(huán)境下運(yùn)行，模型采用深度學(xué)習(xí)開(kāi)源框架Pytorch1.10.1和Python3.8.0 搭建。計(jì)算機(jī)搭載的處理器為 Intel Core i7-12700H @八核，運(yùn)行內(nèi)存16 GB，GPU為RTX 3060。輸入模型的圖像尺寸大小為224×224像素。受硬件條件的約束，批處理大?。╞atch-size）設(shè)置為16，模型迭代次數(shù)15 epoch，初始學(xué)習(xí)率設(shè)置為0.001。使用默認(rèn)的更新策略。進(jìn)行微調(diào)參數(shù)后，繼續(xù)訓(xùn)練，模型迭代次數(shù)15 epoch。本文采用準(zhǔn)確率（accuracy）、精確率（precision）、召回率（recall）、準(zhǔn)確率與召回率加權(quán)調(diào)和平均值—F1值（F1-score）來(lái)衡量模型的分類(lèi)性能。以上評(píng)價(jià)指標(biāo)數(shù)值越高，模型性能越好。

4.2 模型設(shè)置

以在大規(guī)模圖像數(shù)據(jù)集上訓(xùn)練得到的預(yù)訓(xùn)練的DenseNet-169模型作為基礎(chǔ)模型，并在植物葉片病蟲(chóng)害分類(lèi)任務(wù)上進(jìn)行微調(diào)，可以加速模型的訓(xùn)練過(guò)程，并且由于模型已經(jīng)學(xué)習(xí)到了一些與圖像識(shí)別任務(wù)相關(guān)的特征，可以提高模型在植物葉片病蟲(chóng)害分類(lèi)中的性能。

DenseNet-169是一種深度卷積神經(jīng)網(wǎng)絡(luò)模型［14］，其結(jié)構(gòu)可以分為以下幾個(gè)主要部分。（1）輸入層。接收輸入圖像的張量，通常是具有固定大小的圖像。（2）預(yù)處理層。對(duì)輸入圖像進(jìn)行預(yù)處理操作，如歸一化、縮放等，以便適應(yīng)網(wǎng)絡(luò)模型的輸入要求。（3）初始卷積層。由一系列卷積操作組成，用于對(duì)輸入圖像進(jìn)行初步特征提取。在DenseNet-169中，初始卷積層通常包括一個(gè)7×7的卷積核，用于捕捉更大范圍的特征。（4）密集塊（dense block）。DenseNet-169由四個(gè)密集塊組成，每個(gè)密集塊由多個(gè)卷積層組成，且每個(gè)卷積層的輸入都來(lái)自于前面所有層的級(jí)聯(lián)連接。這種密集連接的結(jié)構(gòu)使特征可以在網(wǎng)絡(luò)中充分傳播和重用，有助于提取更豐富的特征表示。（5）過(guò)渡層（transition layer）。在相鄰的兩個(gè)密集塊之間，DenseNet-169引入了過(guò)渡層。過(guò)渡層通過(guò)使用1×1卷積核和2×2的平均池化操作，將特征圖的通道數(shù)減少，并將空間維度進(jìn)行下采樣。這有助于控制特征圖的大小和參數(shù)數(shù)量，同時(shí)降低計(jì)算復(fù)雜度。（6）全局平均池化層。在最后一個(gè)密集塊之后，通常會(huì)添加一個(gè)全局平均池化層，將特征圖的高度和寬度降低為1，同時(shí)保留每個(gè)通道的平均值。這有助于進(jìn)一步減少參數(shù)數(shù)量，并提取整個(gè)圖像的全局特征。（7）全連接層。在全局平均池化層之后，可以添加一個(gè)或多個(gè)全連接層，用于將提取到的特征映射到分類(lèi)輸出空間。通常，最后一層使用softmax激活函數(shù)，以得到每個(gè)類(lèi)別的概率預(yù)測(cè)。

4.3 微調(diào)參數(shù)

預(yù)訓(xùn)練模型已經(jīng)在大規(guī)模數(shù)據(jù)集上學(xué)習(xí)到了有效的特征表示，只需要針對(duì)特定任務(wù)進(jìn)行微調(diào)。首先解凍靠近輸出層的最后30層，并允許它們?cè)谌~病分類(lèi)數(shù)據(jù)集上進(jìn)行訓(xùn)練，而不是使用預(yù)先訓(xùn)練的權(quán)重。通過(guò)解凍這些層，模型能夠展示與葉病分類(lèi)的特定任務(wù)相關(guān)的更具體和細(xì)粒度的特征。網(wǎng)絡(luò)中較早的層更接近輸入，已經(jīng)從大型數(shù)據(jù)集的預(yù)訓(xùn)練中學(xué)習(xí)了一般特征。

為了優(yōu)化參數(shù)微調(diào)過(guò)程，需仔細(xì)調(diào)整學(xué)習(xí)率等優(yōu)化參數(shù)。通常情況下，微調(diào)過(guò)程需要使用較小的學(xué)習(xí)率，以確保模型在特定任務(wù)上收斂得更好?？梢赃x擇使用適當(dāng)?shù)膬?yōu)化器Adam優(yōu)化器［15］，并設(shè)置較小的學(xué)習(xí)率0.000 1來(lái)進(jìn)行微調(diào)。這有助于在微調(diào)過(guò)程中更精確地調(diào)整模型參數(shù)，以使其適應(yīng)葉病分類(lèi)數(shù)據(jù)集。

解凍更多圖層需要仔細(xì)考慮，因?yàn)榭赡軙?huì)增加過(guò)度擬合的風(fēng)險(xiǎn)，尤其是在數(shù)據(jù)集大小有限的情況下。使用正則化技術(shù)（如dropout或權(quán)重衰減）來(lái)緩解過(guò)度擬合［16］，并確保模型很好地推廣到看不見(jiàn)的數(shù)據(jù)。

5 結(jié)果與分析

5.1 模型訓(xùn)練過(guò)程分析

在初始的幾個(gè)epoch中，訓(xùn)練集和驗(yàn)證集的損失和準(zhǔn)確率都有明顯的改善，如圖4、圖5所示，這表明模型在學(xué)習(xí)數(shù)據(jù)集的特征和模式。隨著訓(xùn)練的進(jìn)行，訓(xùn)練集和驗(yàn)證集的損失逐漸減小，模型逐漸收斂到更好的解決方案。訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率也逐漸提高，表明模型在分類(lèi)任務(wù)上的性能在不斷提升。驗(yàn)證集的準(zhǔn)確率在前幾個(gè)epoch之后基本穩(wěn)定，這可能表示模型已經(jīng)趨于收斂。

圖4 模型損失函數(shù)曲線(xiàn)

圖5 模型準(zhǔn)確率曲線(xiàn)

再對(duì)模型進(jìn)行了15個(gè)epoch的訓(xùn)練后，執(zhí)行額外的操作來(lái)進(jìn)一步提高模型的性能。這些操作包括：解凍靠近輸出層的層，繼續(xù)訓(xùn)練過(guò)程，從上一個(gè)訓(xùn)練中斷的點(diǎn)開(kāi)始，增加了幾個(gè)時(shí)期。這使模型能夠進(jìn)一步完善其學(xué)習(xí)的表示，并專(zhuān)門(mén)為本研究的數(shù)據(jù)集優(yōu)化其參數(shù)。應(yīng)用學(xué)習(xí)率計(jì)劃或?qū)W習(xí)率降低策略來(lái)控制持續(xù)訓(xùn)練階段的學(xué)習(xí)率。這有助于微調(diào)模型的權(quán)重，而無(wú)需進(jìn)行劇烈更新，并確保更穩(wěn)定的收斂。

在上一次訓(xùn)練結(jié)束的輪數(shù)開(kāi)始繼續(xù)訓(xùn)練，如圖6所示，模型在第25個(gè)epoch時(shí)觸發(fā)了早停。這意味著在前面的epoch中，驗(yàn)證集的性能指標(biāo)沒(méi)有明顯提升，并且模型可能已經(jīng)達(dá)到了較好的泛化能力。

圖6 微調(diào)參數(shù)后模型訓(xùn)練周期圖

在最初的15個(gè)epoch中，訓(xùn)練集上的驗(yàn)證準(zhǔn)確率為95.1%，損失函數(shù)值為0.147。微調(diào)參數(shù)后，訓(xùn)練集上的驗(yàn)證準(zhǔn)確率提高到98.2%，損失函數(shù)值下降到0.060 1。經(jīng)過(guò)微調(diào)后模型的性能有所提高，訓(xùn)練集上的準(zhǔn)確率更高，損失更小。

5.2 模型評(píng)估分析

如表1和圖7所示，在測(cè)試集中，不同植物名稱(chēng)的精確率表現(xiàn)良好，大多數(shù)類(lèi)別的精確率超過(guò)了95%甚至接近或達(dá)到100%。這意味著模型在預(yù)測(cè)這些植物類(lèi)別時(shí)能夠準(zhǔn)確地識(shí)別出大部分正樣本。召回率也表現(xiàn)較好，大部分類(lèi)別的召回率超過(guò)了95%。召回率衡量了模型對(duì)于正樣本的檢測(cè)能力，高召回率意味著模型能夠較好地找到正樣本。F1分?jǐn)?shù)綜合了精確率和召回率的表現(xiàn)。絕大多數(shù)類(lèi)別的F1分?jǐn)?shù)都在95%以上，說(shuō)明模型在植物分類(lèi)任務(wù)中具有較好的綜合性能。每個(gè)植物類(lèi)別的樣本數(shù)（support/count）也給出了測(cè)試集中每個(gè)類(lèi)別的樣本數(shù)量。這些數(shù)字可以用于了解不同類(lèi)別之間的數(shù)據(jù)分布情況。

表1 對(duì)不同類(lèi)別植物葉片病蟲(chóng)害分類(lèi)模型評(píng)估

綜上所述，模型在測(cè)試集上取得了較高的分類(lèi)性能，對(duì)于多個(gè)植物類(lèi)別的識(shí)別都表現(xiàn)出很好的準(zhǔn)確率、召回率和F1分?jǐn)?shù)。這說(shuō)明模型經(jīng)過(guò)訓(xùn)練和微調(diào)后在植物分類(lèi)任務(wù)上取得了較好的結(jié)果。

6 討論

本研究提出了一個(gè)基于Densenet的高效準(zhǔn)確的植物病蟲(chóng)害識(shí)別模型。通過(guò)使用遷移學(xué)習(xí)和微調(diào)參數(shù)，以預(yù)訓(xùn)練的DenseNet模型作為基礎(chǔ)模型，并在特定植物病害數(shù)據(jù)集上對(duì)模型進(jìn)行進(jìn)一步訓(xùn)練。該模型經(jīng)過(guò)兩個(gè)訓(xùn)練階段，最終的識(shí)別準(zhǔn)確率達(dá)到96%。

通過(guò)利用從大規(guī)模預(yù)訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)的知識(shí)，該模型能夠捕獲與植物病害相關(guān)的一般和信息特征。微調(diào)過(guò)程允許模型適應(yīng)并學(xué)習(xí)與手頭的分類(lèi)任務(wù)相關(guān)的更具體和更細(xì)微的特征。結(jié)果取得較高的識(shí)別精度，表明了所提方法的有效性。

使用遷移學(xué)習(xí)和預(yù)訓(xùn)練模型有幾個(gè)優(yōu)點(diǎn)。它減少了對(duì)大量標(biāo)記訓(xùn)練數(shù)據(jù)的需求，因?yàn)轭A(yù)訓(xùn)練模型已經(jīng)擁有有價(jià)值的學(xué)習(xí)表征。這使模型即使在有限的訓(xùn)練樣本下也能獲得良好的性能。同時(shí)微調(diào)過(guò)程允許我們根據(jù)模型數(shù)據(jù)集中植物病害的特定特征定制其學(xué)習(xí)特征，增強(qiáng)其判別能力。

然而，本研究也存在一些局限性。首先，模型的性能很大程度上依賴(lài)訓(xùn)練數(shù)據(jù)集的質(zhì)量和多樣性。雖然葉病分類(lèi)數(shù)據(jù)集是多種常見(jiàn)植物葉片組成的，但仍有一些罕見(jiàn)或新穎的植物病害病例未被包括在內(nèi)，這可能會(huì)影響模型推廣到未見(jiàn)數(shù)據(jù)的能力。其次，對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào)需要仔細(xì)考慮要解凍的層數(shù)和正則化技術(shù)，以減輕過(guò)擬合風(fēng)險(xiǎn)?？梢赃M(jìn)行進(jìn)一步的優(yōu)化和實(shí)驗(yàn)，以探索適合特定任務(wù)的最佳微調(diào)策略。

盡管存在這些限制，本研究顯示了在植物疾病診斷和識(shí)別中使用預(yù)訓(xùn)練模型和遷移學(xué)習(xí)的潛力。所獲得的高識(shí)別精度驗(yàn)證了所提方法的有效性及其在實(shí)際應(yīng)用中的潛力。在未來(lái)的工作中，可以擴(kuò)展數(shù)據(jù)集，探索不同的預(yù)訓(xùn)練模型，并進(jìn)一步優(yōu)化微調(diào)過(guò)程，以提高模型的性能和泛化能力。