姜 山，丁治明，徐馨潤，嚴 瑾

1.中國科學院 軟件研究所，北京100190

2.中國科學院大學，北京100190

3.大規(guī)模流數(shù)據(jù)集成與分析技術(shù)北京市重點實驗室，北京100190

+通信作者E-mail:zhiming@iscas.ac.cn

城市道路網(wǎng)中的交通流態(tài)勢預(yù)測問題是應(yīng)急管理科學和城市管理科學等眾多領(lǐng)域的核心問題之一。路網(wǎng)交通流態(tài)勢預(yù)測是一個典型的時空時序數(shù)據(jù)預(yù)測問題，交通流數(shù)據(jù)被分布在城市道路網(wǎng)絡(luò)各個固定卡口的數(shù)據(jù)采集設(shè)備以固定時間間隔連續(xù)采集。相鄰設(shè)備采集的數(shù)據(jù)記錄以及不同時間戳下的數(shù)據(jù)記錄具有某種時空相關(guān)性。因此，有效地捕捉道路網(wǎng)絡(luò)中觀測數(shù)據(jù)間的時空相關(guān)性是解決交通流態(tài)勢預(yù)測問題的關(guān)鍵。

近年來，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）[1-2]模型與算法已經(jīng)廣泛地被用于計算機視覺任務(wù)和模式識別任務(wù)等領(lǐng)域，神經(jīng)網(wǎng)絡(luò)以其獨特的數(shù)據(jù)經(jīng)驗優(yōu)勢和其卷積核的領(lǐng)域相關(guān)性優(yōu)勢，在交通流預(yù)測問題中得到了學界的普遍關(guān)注，有大量學者研究并提出了用于交通流預(yù)測的循環(huán)神經(jīng)網(wǎng)絡(luò)及其多種改進版本[3-5]。然而，CNN 的計算通常被限定在歐式空間。對于歐式空間以外的非歐式空間數(shù)據(jù)的處理，傳統(tǒng)的CNN 就顯得乏力。由于非歐式空間下的圖結(jié)構(gòu)數(shù)據(jù)具有很強的數(shù)據(jù)建模與表達能力，越來越受到關(guān)注，比如，文獻[6-8]就提出了基于圖數(shù)據(jù)結(jié)構(gòu)的圖卷積神經(jīng)網(wǎng)絡(luò)（graph convolutional neural network，GCNN）模型與算法，GCNN 模型一經(jīng)提出就受到了學界和工業(yè)界的廣泛重視。此外，文獻[9]提出了一種能預(yù)測結(jié)構(gòu)化數(shù)據(jù)序列的深度學習模型，即圖卷積循環(huán)網(wǎng)絡(luò)（graph convolutional recurrent network，GCRN）。該模型結(jié)合CNN 對圖形進行空間結(jié)構(gòu)特征提取，并采用循環(huán)神經(jīng)網(wǎng)絡(luò)[10]（recurrent neural network，RNN）對時序數(shù)據(jù)的動態(tài)特征進行提取，但是不能很好地拓展到更大尺度的時間預(yù)測窗口。進一步地，文獻[11]針對交通領(lǐng)域的時間序列預(yù)測問題，提出了一種新的時空圖卷積網(wǎng)絡(luò)學習框架，基于圖形結(jié)構(gòu)建立了具有完整卷積結(jié)構(gòu)的圖神經(jīng)網(wǎng)絡(luò)模型，其在較少參數(shù)的情況下，能夠有效保證訓練速度，但是該方法對圖的卷積核鄰域尺寸的支持不夠靈活。文獻[12]提出了一種用于時空圖建模的新型圖神經(jīng)網(wǎng)絡(luò)模型，該模型能夠準確地捕獲數(shù)據(jù)中隱藏的空間依賴關(guān)系。此外，文獻[13]將圖小波代替圖拉普拉斯的特征向量作為基底，通過小波變換和卷積定理定義卷積算子，提出的模型能夠?qū)崿F(xiàn)節(jié)點的分類預(yù)測，但無法對交通數(shù)據(jù)的時空特征和動態(tài)相關(guān)性進行同時建模。

一個時序預(yù)測模型與算法不僅要考慮某感興趣路段的歷史觀測數(shù)據(jù)，還需要考慮相鄰路網(wǎng)觀測對其的累積影響效應(yīng)。因此，本文提出了基于圖小波卷積網(wǎng)絡(luò)的路網(wǎng)交通流態(tài)勢預(yù)測模型與方法。首先，基于圖小波卷積算子，設(shè)計了面向路網(wǎng)交通流態(tài)勢預(yù)測的圖小波神經(jīng)網(wǎng)絡(luò)模塊，對交通數(shù)據(jù)的時空相關(guān)性和動態(tài)相關(guān)性進行建模；其次，通過引入注意力機制構(gòu)建時空注意力模型，以捕獲交通網(wǎng)絡(luò)上的動態(tài)時空相關(guān)性；最后，通過疊加多層圖小波神經(jīng)網(wǎng)絡(luò)模塊從交通網(wǎng)絡(luò)圖節(jié)點鄰域中捕獲空間相關(guān)性。

1 路網(wǎng)交通流態(tài)勢預(yù)測與圖小波卷積

1.1 路網(wǎng)交通流態(tài)勢預(yù)測

1.1.1 交通路網(wǎng)圖模型

以城市路網(wǎng)交通流探測傳感器i安裝位置為節(jié)點，以vi表示，并且以相鄰路段上的傳感器j為鄰居節(jié)點vj，構(gòu)建交通路網(wǎng)圖模型G，定義如下：

其中，V表示節(jié)點集合，在路網(wǎng)中表示交通流探測傳感器集合，且|V|=N。E表示圖G中邊的集合，元素ei=＜vi,vj＞∈E表示節(jié)點vi和節(jié)點vj有聯(lián)結(jié)關(guān)系。在路網(wǎng)圖構(gòu)建過程中，通常以節(jié)點vi鄰域范圍內(nèi)鄰居節(jié)點構(gòu)建邊或聯(lián)結(jié)。A∈RN×N為圖G的鄰接矩陣。本文構(gòu)建的交通路網(wǎng)圖G是無向圖模型。在圖G中，每個傳感節(jié)點vi以相同頻率p采集m個測量屬性值（如車流量和行駛平均速度等），即在每個時間片t下每個節(jié)點vi共收集m維度的特征向量xi∈Rm。

1.1.2 路網(wǎng)交通流預(yù)測

交通路網(wǎng)圖G中每個節(jié)點以相同的頻率進行數(shù)據(jù)采集，每個節(jié)點包含m維測量屬性值，即在時間步t下圖G中每個節(jié)點vi觀測屬性值屬于m維特征向量。對于道路網(wǎng)絡(luò)圖G，在給定歷史觀測序列值(xt,xt-1,…,xt-H+1)T∈RN×m×H和預(yù)測時間窗口F大小的情況下，交通流態(tài)勢預(yù)測問題定義如下：

其中，xt∈RN×m是圖G中全部節(jié)點在時間t下的特征觀測矩陣，xt每一行代表某節(jié)點的特征觀測向量，f為映射函數(shù)，F(xiàn)為預(yù)測窗口長度。

1.2 圖小波卷積

（1）圖譜卷積

利用多個卷積核對輸入數(shù)據(jù)進行特征提取，各卷積層中每個神經(jīng)元都與前一層位置臨近區(qū)域的多個神經(jīng)元相連接，以捕獲空間相關(guān)性，卷積操作區(qū)域的大小取決于卷積核的尺寸。面向圖結(jié)構(gòu)的圖譜卷積定義如下：

其中，x表示圖G的節(jié)點信號，即xt。ζθ表示卷積濾波核。*G為卷積操作算符。矩陣L=D-A是圖G的拉普拉斯矩陣，D∈RN×N是圖G的度矩陣，并且規(guī)范化之后的拉普拉斯矩陣L=IND-1/2AD-1/2，IN∈RN×N為單位矩陣。U是拉普拉斯矩陣L進行特征值分解后相應(yīng)的特征向量矩陣，即L=UΛUT。Λ∈RN×N是由L特征分解后的特征值對角矩陣。表示圖傅里葉變換，矩陣U為傅里葉變換基。

（2）圖小波卷積

圖小波卷積用圖小波基替代L特征值分解后的特征向量基[13]（傅里葉變換基UT），并通過圖小波變換和卷積定理定義圖小波卷積算子?；趫D小波變換的圖小波卷積定義如下：

其中，Ψs=UGsUT=(Ψs1,Ψs2,…,ΨsN)，s為擴散尺度因子，Ψsi表示以節(jié)點i為中心并以s為尺度向鄰居節(jié)點擴散，為熱擴散核函數(shù)[14]，λi為L特征分解后特征值。為了計算方便，本文采用。為了不對圖G的拉普拉斯矩陣L進行特征分解，本文采用Hammond等人[15]提出的基于切比雪夫多項式近似算法有效近似Ψs和Ψ-1s，從而有效避免了對矩陣L的特征分解計算，近似求解算法復(fù)雜度為O(K×|E|)，K為多項式階數(shù)，|E|為圖G的邊數(shù)。近似算法如下：

其中，τ為圖信號，即表示矩陣L的K階切比雪夫多項式，為矩陣L的最大特征值。多項式階數(shù)K值越大計算越精確，但會帶來較高的計算復(fù)雜度，通常情況下K的取值范圍為3～10 之間。與圖譜卷積相比，圖小波卷積計算復(fù)雜度更低；多為稀疏矩陣，運算效率較高；圖小波卷積具有局部特性[16]，擴散尺度因子s控制著節(jié)點的鄰域范圍。

2 圖小波神經(jīng)網(wǎng)絡(luò)模型

2.1 圖小波神經(jīng)網(wǎng)絡(luò)模型總體結(jié)構(gòu)

時空圖小波卷積網(wǎng)絡(luò)的總體架構(gòu)如圖1 所示。時空圖小波卷積網(wǎng)絡(luò)由時空動態(tài)相關(guān)性捕獲模型和時空相關(guān)性捕獲模型串聯(lián)組成時空塊，再串聯(lián)堆疊多個時空塊，最后接入到一個多層感知機[17]（multilayer perceptron，MLP）模型輸出層。在時空圖小波卷積網(wǎng)絡(luò)的總體架構(gòu)中，時空動態(tài)相關(guān)性捕獲模型由空間注意力模型和時間注意力模型組成，空間注意力模型通過引入空間注意力機制捕獲空間動態(tài)相關(guān)依賴特征，空間注意力模型基于注意力機制構(gòu)造時間注意力矩陣捕獲交通流數(shù)據(jù)的時間動態(tài)相關(guān)依賴特征；時空相關(guān)性捕獲模型由圖小波卷積和1 維擴張因果卷積組成，圖小波卷積用以提取圖節(jié)點間的空間特征，1 維擴張因果卷積用以提取時間維度上各觀測值的時間相關(guān)性特征。從本質(zhì)上講，圖小波神經(jīng)網(wǎng)絡(luò)是一種多層圖譜卷積神經(jīng)網(wǎng)絡(luò)，其核心是利用小波變換代替傅里葉變換來定義圖卷積運算符。

Fig.1 Architecture of spatial-temporal graph wavelets convolutional networks圖1 時空圖小波卷積網(wǎng)絡(luò)的總體架構(gòu)圖

2.2 時空動態(tài)相關(guān)性捕獲模型

圖小波卷積運算能夠捕獲節(jié)點間的空間相關(guān)性特征，并以此建模圖節(jié)點間的信息流向和匯集的影響力，但是只能建模有限尺度鄰域內(nèi)節(jié)點間的靜態(tài)依賴特征。在交通網(wǎng)絡(luò)中，節(jié)點間相互影響具有長時空的動態(tài)相關(guān)性，比如相鄰節(jié)點在不同時間發(fā)生了不同程度的堵車以及不同節(jié)點同一時段交通流量狀況都有著時空關(guān)聯(lián)性。為了建模節(jié)點間的動態(tài)相關(guān)性，引入注意機制模型[18]分別對時間和空間的動態(tài)相關(guān)性進行建模，并構(gòu)建了時空動態(tài)相關(guān)性模型，對時空動態(tài)相關(guān)性進行建模。

（1）空間注意力模型

為了建模交通網(wǎng)絡(luò)圖節(jié)點間的空間動態(tài)相關(guān)性，在空間維度上定義空間注意力模型，如下：

其中，Zs∈RN×N為空間注意力矩陣，為規(guī)范化后的空間注意力矩陣，h為激活函數(shù)（如ReLU（rectified linear unit）），(i,j)表示圖節(jié)點i,j間的連接強度，通過設(shè)定合理的閾值大小可以動態(tài)調(diào)整空間注意力矩陣。是網(wǎng)絡(luò)的第l層輸入特征信號，為第l層時間序列長度，F(xiàn)l為第l層特征維度；若l為0，則表示第一層，其對應(yīng)的輸入為以及偏置bs∈RN×N待訓練學習的參數(shù)。

（2）時間注意力模型

為了建模交通網(wǎng)絡(luò)圖節(jié)點間的時間動態(tài)相關(guān)性，在時間維度上定義時間注意力模型，如下：

2.3 時序相關(guān)性捕獲模型

為了能夠捕獲時序數(shù)據(jù)間的時間相關(guān)性，采用一維擴張因果卷積（dilated causal convolution，DCC）提取節(jié)點的時間相關(guān)特征。在擴張因果卷積網(wǎng)絡(luò)中，隨著層數(shù)的增加，接受域（或稱感受野）變大，在當前時間步上所做的推論只包含歷史信息。假設(shè)給定一個輸入序列x*∈RH，則一維擴張因果卷積定義如下：

其中，*D表示擴張因果卷積操作算符，k∈RK為濾波核，K表示擴張因果卷積濾波核大小，d為擴張率（或擴張因子）。通過將擴張因果卷積層與擴張因子按遞增順序疊加，模型的感受野會指數(shù)級增長。這使得擴張因果卷積網(wǎng)絡(luò)能夠以較少的層捕獲較長的序列，從而有效節(jié)省了計算資源。

2.4 圖小波網(wǎng)絡(luò)交通流預(yù)測算法訓練步驟

基于圖小波神經(jīng)網(wǎng)絡(luò)的交通流預(yù)測前向訓練步驟如下：

步驟1給定道路網(wǎng)絡(luò)圖G和各節(jié)點的歷史觀測數(shù)據(jù)集，并設(shè)定歷史時間窗口長度H和預(yù)測時間窗口長度F，將歷史時間窗口H對應(yīng)的時序數(shù)據(jù)作為訓練樣本{xi}=(xt,xt-1,…,xt-H+1)T∈RN×m×H，將預(yù)測時間窗口長度F對應(yīng)的時序數(shù)據(jù)作為訓練樣本的學習目標{yi}。

步驟2將數(shù)據(jù)集以6∶2∶2 的比例隨機分割為訓練集、驗證集和測試集（其中，訓練集用于模型擬合的數(shù)據(jù)樣本，驗證集用于“調(diào)優(yōu)”模型的超參數(shù)設(shè)置，訓練集和驗證集數(shù)據(jù)均參與訓練過程，測試集數(shù)據(jù)僅對訓練調(diào)優(yōu)后的模型進行測試驗證），并對數(shù)據(jù)進行零均值歸一化處理，以減小尺度因素對樣本均衡性的影響，使模型更容易收斂到最優(yōu)解。此外，在訓練過程中對數(shù)據(jù)集進行了隨機Shuffle 操作，以提升模型的泛化性能。

步驟3利用公式計算Ψs和

步驟4串聯(lián)堆疊兩個時空塊（每個時空塊由時空動態(tài)相關(guān)性捕獲模型和時空相關(guān)性捕獲模型串聯(lián)組成）構(gòu)造時空圖小波卷積網(wǎng)絡(luò)模型。輸入數(shù)據(jù){xi}∈RN×m×H，計算Zt=fZt({xi})時間注意力矩陣，并規(guī)范化為，計算；計算空間注意力矩陣，并規(guī)范化為，計算

步驟5利用公式進行空間特征提取運算，利用公式對輸入數(shù)據(jù)進行時間特征提取運算。

步驟6將由多個串聯(lián)堆疊的時空塊進行特征提取后的數(shù)據(jù)接入到多層感知機MLP[17]中，MLP 將特征進行融合輸出，輸出結(jié)果作為時空圖小波卷積網(wǎng)絡(luò)模型的前向傳播輸出。

步驟7以均方誤差為優(yōu)化損失函數(shù)，采用Adam一階優(yōu)化算法進行梯度反向傳播優(yōu)化，迭代學習得到模型的參數(shù)數(shù)值。

步驟8基于已經(jīng)訓練得到的最優(yōu)模型參數(shù)，進行路網(wǎng)交通流態(tài)勢預(yù)測，得到預(yù)測時間窗口F內(nèi)的各節(jié)點交通流狀態(tài)。

3 結(jié)果與分析

3.1 實驗環(huán)境及數(shù)據(jù)預(yù)處理

（1）實驗數(shù)據(jù)集

選用公開數(shù)據(jù)集PeMSD-4 和PeMSD-8 作為時空圖小波卷積神經(jīng)網(wǎng)絡(luò)模型的驗證數(shù)據(jù)[19]。實驗中，將PeMSD-4 和PeMSD-8 數(shù)據(jù)聚合為5 min 間隔的數(shù)據(jù)記錄。PeMSD-4 中記錄了某高速公路307 個傳感器兩個月的交通參數(shù)，具體包括交通流量、平均速度和平均車道占有量。PeMSD-8 中記錄了某高速公路170 個傳感器兩個月的交通參數(shù)。

（2）實驗環(huán)境

實驗基礎(chǔ)硬件平臺為：Intel?Xeon?Gold 5218 CPU@2.30 GHz，NVIDIA GeForce GTX 2080 GPU，顯存32 GB。采用Adam 優(yōu)化器進行優(yōu)化，學習率為0.000 1。為了提升計算效率，將Ψs和Ψ-1s中小于閾值0.000 1 的元素設(shè)置為0。訓練過程中如果存在連續(xù)200 個迭代步驟中驗證集的損失無明顯變化的情況，則表示完成模型訓練。

（3）模型評估度量與對照基線

在實驗過程中，選用平均絕對誤差（mean absolute errors，MAE）、平均絕對百分比誤差（mean absolute percentage errors，MAPE）和均方根誤差（root mean squared errors，RMSE）三種度量指標來評估模型，指標越小表示模型越精確，并選用STGCN-Cheb（spatiotemporal graph convolutional networks with Chebyshev polynomials approximation）、STGCN-1st（spatio-temporal graph convolutional networks with 1storder approximation）、ASTGCN（attention based spatial-temporal graph convolutional network）和MSTGCN（multi-component spatial-temporal graph convolution networks）模型[11,20]作為本文模型實驗對比基線。同時，為了和傳統(tǒng)非深度學習模型進行比較，本文選取了歷史平均（historical average，HA）預(yù)測方法和VAR（vector auto-regressive）[21]預(yù)測方法作為傳統(tǒng)基線模型。在HA 中，根據(jù)前12 個時間片的平均值來預(yù)測下一個值。

3.2 實驗結(jié)果與分析

基于PeMSD-4 和PeMSD-8 數(shù)據(jù)集，驗證本文提出的面向路網(wǎng)交通流態(tài)勢預(yù)測的時空圖小波卷積網(wǎng)絡(luò)模型的性能，并與多個基線進行比較。

圖2 和圖3 分別展示了不同模型在數(shù)據(jù)集PeMSD-4和PeMSD-8上的平均性能對比結(jié)果。從圖2中可以明顯看出，在PeMSD-4 數(shù)據(jù)集上，提出的時空圖小波卷積網(wǎng)絡(luò)模型均方根誤差RMSE、平均絕對誤差MAE 和平均絕對百分比誤差MAPE 均比其他4 個基線模型的平均性能低。其中時空圖小波卷積網(wǎng)絡(luò)模型的RMSE 比STGCN-1st、STGCN-Cheb、MSTGCN和ASTGCN 分別低15.92%、11.47%、6.31%和2.93%，時空圖小波卷積網(wǎng)絡(luò)模型的MAE 比STGCN-1st、STGCN-Cheb、MSTGCN 和ASTGCN 分別低17.35%、16.40%、9.10%和2.81%，MAPE 數(shù)值比STGCN-1st、STGCN-Cheb、MSTGCN 和ASTGCN 分別低24.08%、18.45%、18.04%和3.50%。

Fig.2 Average performance comparison of different models on PeMSD-4圖2 不同模型在數(shù)據(jù)集PeMSD-4 上平均性能比較

Fig.3 Average performance comparison of different models on PeMSD-8圖3 不同模型在數(shù)據(jù)集PeMSD-8 上平均性能比較

從圖3 中可以明顯看出，在PeMSD-8 數(shù)據(jù)集上，時空圖小波卷積網(wǎng)絡(luò)模型平均性能均比其他4 個基線模型的平均性能低。時空圖小波卷積網(wǎng)絡(luò)模型的RMSE、MAE 和MAPE 均比最佳基線模型ASTGCN分別低2.08%、0.68%和6.26%。與基線模型STGCN-1st的平均性能相比，時空圖小波卷積網(wǎng)絡(luò)模型的RMSE、MAE 和MAPE 分別低15.42%、18.71%和41.05%。與傳統(tǒng)模型相比，從圖2 和圖3 中可以明顯看出，時空圖小波卷積網(wǎng)絡(luò)模型具有明顯的性能優(yōu)勢。

從圖2 和圖3 的平均性能結(jié)果可以看出，以圖小波變換為基礎(chǔ)的圖小波卷積運算、擴張因果卷積運算和基于注意力機制的時空注意力模型構(gòu)建的時空圖卷積網(wǎng)絡(luò)模型，不僅能夠很好地提取時空相關(guān)性特征，還能夠建模時空動態(tài)相關(guān)性特征。因此，本文提出的時空圖卷積網(wǎng)絡(luò)模型更適合用作交通路網(wǎng)的交通流態(tài)勢的預(yù)測與分析任務(wù)。

基于圖小波卷積的神經(jīng)網(wǎng)絡(luò)模型，除了能夠提高預(yù)測精度外，圖小波卷積中的小波變換矩陣更具稀疏性。統(tǒng)計了在PeMSD-4 和PeMSD-8 數(shù)據(jù)集上的圖小波變換矩陣與傅里葉變換矩陣非零元素個數(shù)和密度，分別如表1 和表2 所示。

在PeMSD-4數(shù)據(jù)集中，共有307個節(jié)點，因此圖小波變換矩陣和傅里葉變換矩陣UT∈R307×307。表1 中第一行統(tǒng)計了變換矩陣間的非0 元素占比（密度），可以明顯看出圖小波變換矩陣以及圖小波逆變換矩陣Ψs均比傅里葉變換矩陣UT和傅里葉逆變換矩陣U稀疏。因此，基于圖小波變換定義的卷積運算更有效率。表2 中，分別統(tǒng)計了在PeMSD-8數(shù)據(jù)集（共有170 個節(jié)點）上的圖小波變換矩陣的非零元素個數(shù)與傅里葉變換矩陣UT∈R170×170的非零元素個數(shù)，可以看出，圖小波變換矩陣比傅里葉變換矩陣UT稀疏，其中的密度占比比UT的密度占比低約88.36%。通過統(tǒng)計PeMSD-4 和PeMSD-8 數(shù)據(jù)集上的圖小波變換矩陣與傅里葉變換矩陣的稀疏性，發(fā)現(xiàn)基于圖小波變換定義的卷積運算更具稀疏性，這將有助于提高模型訓練時的計算效率。

Table 1 Count of non-zero elements of different transformation matrices on PeMSD-4表1 不同變換矩陣在PeMSD-4 上的非零元素計數(shù)

Table 2 Count of non-zero elements of different transformation matrices on PeMSD-8表2 不同變換矩陣在PeMSD-8 上的非零元素計數(shù)

4 結(jié)束語

針對交通路網(wǎng)中交通流態(tài)勢預(yù)測問題，提出了一種基于圖的交通流預(yù)測深度學習模型。實驗發(fā)現(xiàn)，該模型不僅能夠很好地捕捉時空相關(guān)性特征，還能夠建模時空動態(tài)相關(guān)性特征；同時，該模型的預(yù)測精度優(yōu)于所選的基準模型；此外，本文模型中的卷積運算更具稀疏性，相較于傳統(tǒng)圖卷積運算更具有計算效率。因此，提出的模型極易推廣至更一般的時空圖結(jié)構(gòu)序列預(yù)測場景中。

交通路網(wǎng)中的交通流態(tài)勢預(yù)測，實際上會受到許多外部因素的影響，如氣象條件、突發(fā)事件等。因此，在未來工作中，一方面，考慮將外部因素引入模型，進一步提高預(yù)測精度；另一方面，將提出的交通流預(yù)測深度學習模型應(yīng)用到新的城市路網(wǎng)交通流數(shù)據(jù)上，進一步驗證和測試模型的性能。