孫布勒，楊 昂，孫 鵬，姜大潔

(維沃移動(dòng)通信有限公司，北京 100015)

0 引言

隨著計(jì)算處理能力和數(shù)據(jù)處理技術(shù)的快速發(fā)展，人工智能(Artificial Intelligence,AI)正在開啟人類科技史上的新紀(jì)元[1]。以機(jī)器學(xué)習(xí)為代表的人工智能技術(shù)已經(jīng)在圖像識(shí)別[2-3]、語音識(shí)別[4]和自然語言處理[5-6]等方面取得了顯著的突破。最近，人工智能在生活中的各個(gè)領(lǐng)域得到了越來越多的關(guān)注。與此同時(shí)，無線通信系統(tǒng)也在不斷快速發(fā)展。根據(jù)全球移動(dòng)供應(yīng)商協(xié)會(huì)(Global Mobile Suppliers Association,GSA)的最新數(shù)據(jù)，截至目前，共有73個(gè)國(guó)家/地區(qū)的182家運(yùn)營(yíng)商推出了至少一項(xiàng)符合第三代合作伙伴計(jì)劃(3rd Generation Partnership Project,3GPP)的第五代(5th Generation,5G)移動(dòng)通信服務(wù)[7]。未來的無線通信系統(tǒng)將不可避免地朝著更高吞吐量、更低延遲、更高可靠性、更多連接、更高頻譜效率和更高能量效率的方向發(fā)展?，F(xiàn)有研究表明，人工智能在環(huán)境建模、信號(hào)檢測(cè)、信道估計(jì)、波束形成、定位、移動(dòng)性管理、無線資源分配、流量預(yù)測(cè)，以及網(wǎng)絡(luò)狀態(tài)跟蹤和智能調(diào)度等復(fù)雜的通信任務(wù)中擁有特殊的潛力和優(yōu)勢(shì)[8-10]。因此，有理由期待，無線通信和人工智能的結(jié)合將改變未來通信系統(tǒng)的模式。

在無線通信系統(tǒng)中，信道估計(jì)是一個(gè)不可避免的模塊，因?yàn)樗枋隽藷o線信道對(duì)傳輸信號(hào)的影響。為了在正交頻分復(fù)用(Orthogonal Frequency Division Multiplexing,OFDM)系統(tǒng)中獲得信道的信息，需要在特定的時(shí)間頻率資源粒子(Resource Element,RE)上傳輸導(dǎo)頻信號(hào)進(jìn)行信道估計(jì)。使用導(dǎo)頻信號(hào)，傳統(tǒng)的信道估計(jì)可以分兩步進(jìn)行：對(duì)導(dǎo)頻RE的信道估計(jì)和對(duì)非導(dǎo)頻RE的信道估計(jì)。在實(shí)際系統(tǒng)中，一般先使用線性算法獲得導(dǎo)頻RE的信道估計(jì)，再對(duì)其進(jìn)行濾波或插值獲得非導(dǎo)頻RE的信道估計(jì)。然而，信號(hào)經(jīng)歷信道的方式并非是純線性的，且導(dǎo)頻RE和非導(dǎo)頻RE之間的相關(guān)性也包含大量的非線性因素。所以傳統(tǒng)的信道估計(jì)算法的準(zhǔn)確性相對(duì)有限，尤其是在低信噪比(Signal to Noise Ratio,SNR)區(qū)域。最新研究表明，與傳統(tǒng)方法相比，基于AI的信道估計(jì)方法在提高估計(jì)精度方面具有巨大潛力[11-15]。在文獻(xiàn)[11]中，作者首先提出將信道矩陣視作二維圖像，并將信道估計(jì)問題轉(zhuǎn)換為圖像處理問題?；谠撍枷耄墨I(xiàn)[12]將信道矩陣視為二維圖像，提出基于學(xué)習(xí)的去噪近似消息傳遞算法(Learned Denoising-based Approximate Message Passing,LDAMP)來實(shí)現(xiàn)信道估計(jì)。文獻(xiàn)[13]提出了稱為ChannelNet的神經(jīng)網(wǎng)絡(luò)，通過去噪卷積神經(jīng)網(wǎng)絡(luò)(Denoising Convolutional Neural Network,DnCNN)[14]對(duì)導(dǎo)頻RE處的信道估計(jì)結(jié)果進(jìn)行去噪，通過超分辨率卷積神經(jīng)網(wǎng)絡(luò)(Super Resolution Convolution Neural Networks,SRCNN))實(shí)現(xiàn)導(dǎo)頻RE處的信道估計(jì)到全部RE的維度擴(kuò)展。文獻(xiàn)[15]中提出ChanEstNet神經(jīng)網(wǎng)絡(luò)，通過使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)和遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)的組合來實(shí)現(xiàn)快速時(shí)變和非平穩(wěn)信道的信道估計(jì)。對(duì)于ChanEstNet，CNN用于提取信道特征信息，而RNN用于信道的時(shí)域相關(guān)信息。

上述基于AI的信道估計(jì)方法雖然可以提高信道估計(jì)的精度，但其有效性對(duì)數(shù)據(jù)的依賴性非常高。當(dāng)實(shí)際使用環(huán)境和AI模型的訓(xùn)練環(huán)境有差別時(shí)，基于AI的信道估計(jì)方法的性能將會(huì)大打折扣。這是基于AI方案的通病，即泛化性能較差。在無線通信的很多場(chǎng)景下，很難獲取大量的帶標(biāo)簽數(shù)據(jù)。其次，無線通信場(chǎng)景變化較快，離線訓(xùn)練的模型會(huì)很快產(chǎn)生漂移和失效。因此，想用實(shí)際使用環(huán)境采集的大量數(shù)據(jù)做訓(xùn)練變得不現(xiàn)實(shí)，探索基于小數(shù)據(jù)、小樣本的魯棒模型已成為不可避免的問題。遷移學(xué)習(xí)(Transfer Learning)[16]、聯(lián)合訓(xùn)練(Joint Training)[17]、元學(xué)習(xí)(Meta Learning)[18]等方法可以在不同程度上緩解泛化能力不足的問題，且可以在小樣本數(shù)據(jù)下提升模型的性能。其中遷移學(xué)習(xí)一般是將一個(gè)場(chǎng)景中離線訓(xùn)練好的網(wǎng)絡(luò)用到另一個(gè)場(chǎng)景中，將該收斂的網(wǎng)絡(luò)作為初始網(wǎng)絡(luò)，并用新場(chǎng)景中的數(shù)據(jù)進(jìn)行微調(diào)(可能會(huì)凍結(jié)某些層)得到適用于新場(chǎng)景的網(wǎng)絡(luò)；聯(lián)合訓(xùn)練一般是用多種環(huán)境的數(shù)據(jù)組成聯(lián)合數(shù)據(jù)集，用聯(lián)合數(shù)據(jù)集進(jìn)行訓(xùn)練得到收斂的網(wǎng)絡(luò)，并將其直接或間接(微調(diào))用于新場(chǎng)景中；本文中的元學(xué)習(xí)特指面向初始化參數(shù)優(yōu)化的元學(xué)習(xí)，比如模型無關(guān)的元學(xué)習(xí)(Model-Agnostic Meta-Learning,MAML)、Reptile等方案。這類元學(xué)習(xí)通過多個(gè)任務(wù)訓(xùn)練出一個(gè)最優(yōu)的初始化參數(shù)，在新的場(chǎng)景下基于該初始化參數(shù)進(jìn)行微調(diào)，可以實(shí)現(xiàn)快速收斂。

對(duì)此，基于3GPP典型仿真場(chǎng)景，本文提出將遷移學(xué)習(xí)、聯(lián)合訓(xùn)練、MAML等方案應(yīng)用于基于AI的信道估計(jì)，提高模型的泛化能力。實(shí)驗(yàn)結(jié)果也表明，相比于直接在新場(chǎng)景中使用離線訓(xùn)練的模型，上述三種方案均可以有效提高信道估計(jì)的性能。但是，上述三種方案也有明顯區(qū)別。聯(lián)合訓(xùn)練方案可以獲得最好的初始性能，但如果不做微調(diào)的話，其性能會(huì)比其他做微調(diào)的方案差很多。此外，基于聯(lián)合訓(xùn)練得到的模型進(jìn)行微調(diào)，其收斂速度比遷移學(xué)習(xí)要好。原因在于聯(lián)合訓(xùn)練方案在離線訓(xùn)練時(shí)數(shù)據(jù)集中包含的信息更多，因此最終訓(xùn)練出來的網(wǎng)絡(luò)(即微調(diào)時(shí)的初始網(wǎng)絡(luò))泛化性能更好一些。MAML的初始性能較差，原因是MAML的訓(xùn)練目的是獲得一個(gè)在多種場(chǎng)景下都可以快速收斂的初始值，該初始值并不對(duì)應(yīng)一個(gè)性能較好的網(wǎng)絡(luò)。MAML的優(yōu)勢(shì)在于其快速收斂特性，即使用少量的迭代性能就可以達(dá)到與最終的收斂值很接近的水平。

1 系統(tǒng)模型

考慮OFDM系統(tǒng)中一個(gè)端口的信道估計(jì)問題，載頻為3.5 GHz，頻域有4個(gè)資源塊(Resource Block， RB)?；贏I的信道估計(jì)過程如圖1所示，首先將OFDM RE中的導(dǎo)頻RE提取出來，計(jì)算出導(dǎo)頻RE的初始信道估計(jì)結(jié)果。其次，將導(dǎo)頻RE的初始信道估計(jì)結(jié)果輸入神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)去噪和升維，獲得全部RE上的最終信道估計(jì)結(jié)果。導(dǎo)頻的位置考慮了5G NR規(guī)定的type I方案，即導(dǎo)頻RE配置在一個(gè)時(shí)隙的第4和第12個(gè)OFDM符號(hào)的奇數(shù)子載波[19]。

圖1 基于AI的OFDM信道估計(jì)

神經(jīng)網(wǎng)絡(luò)采用全連接網(wǎng)絡(luò)，以歸一化均方誤差作為優(yōu)化目標(biāo)。神經(jīng)網(wǎng)絡(luò)的輸入維度為96(對(duì)應(yīng)2個(gè)OFDM符號(hào)，4個(gè)RB，每RB的6個(gè)子載波上配置有導(dǎo)頻，初始信道估計(jì)的實(shí)部和虛部分別作為輸入)，輸出維度為1 344(即14個(gè)OFDM符號(hào)，4個(gè)RB，每RB的12個(gè)子載波上最終信道估計(jì)的實(shí)部和虛部)，有1層隱藏層，神經(jīng)元數(shù)為2 000。為了驗(yàn)證遷移學(xué)習(xí)、聯(lián)合訓(xùn)練和MAML的泛化以及遷移能力，本文使用3GPP采用的五類時(shí)間延遲線(Time Delay Line,TDL)信道模型[20]，即TDL-A、TDL-B、TDL-C、TDL-D、TDL-E五類信道的數(shù)據(jù)用以訓(xùn)練和驗(yàn)證。

2 訓(xùn)練方案

2.1 遷移學(xué)習(xí)

遷移學(xué)習(xí)是一種經(jīng)典的小樣本學(xué)習(xí)方法。遷移學(xué)習(xí)將源域(即舊任務(wù)或場(chǎng)景的數(shù)據(jù)集)上訓(xùn)練好的模型作為目標(biāo)域(即新任務(wù)或場(chǎng)景的數(shù)據(jù)集)模型的初始神經(jīng)網(wǎng)絡(luò)，再基于目標(biāo)域的少量數(shù)據(jù)進(jìn)行微調(diào)，獲得適配于目標(biāo)域的神經(jīng)網(wǎng)絡(luò)。遷移學(xué)習(xí)可以在目標(biāo)域中快速收斂是因?yàn)樵从蚝湍繕?biāo)域的數(shù)據(jù)具有一定的相似性，源域訓(xùn)練出來的模型在目標(biāo)域也可以提取特征。針對(duì)本文涉及的信道估計(jì)問題，遷移學(xué)習(xí)方案描述如下：

① 在TDL-A信道下訓(xùn)練神經(jīng)網(wǎng)絡(luò)得到收斂的神經(jīng)網(wǎng)絡(luò)。

② 以上述收斂的神經(jīng)網(wǎng)絡(luò)作為初始神經(jīng)網(wǎng)絡(luò)，用TDL-C和TDL-E信道的少量數(shù)據(jù)進(jìn)行微調(diào)，并在TDL-C和TDL-E信道中進(jìn)行驗(yàn)證測(cè)試。

2.2 聯(lián)合訓(xùn)練

聯(lián)合訓(xùn)練可以認(rèn)為是一種多任務(wù)學(xué)習(xí)方法。聯(lián)合訓(xùn)練將多種任務(wù)或場(chǎng)景的數(shù)據(jù)匯聚成一個(gè)聯(lián)合數(shù)據(jù)集，使用該聯(lián)合數(shù)據(jù)集訓(xùn)練出一個(gè)公用模型，再將該公用模型用于推理。在進(jìn)行推理之前也可以進(jìn)行微調(diào)。針對(duì)本文涉及的信道估計(jì)問題，聯(lián)合訓(xùn)練方案描述如下：

① 在TDL-A、TDL-B、TDL-D信道組成的聯(lián)合數(shù)據(jù)集下訓(xùn)練神經(jīng)網(wǎng)絡(luò)得到收斂的神經(jīng)網(wǎng)絡(luò)(即公用模型)。

② 收斂的神經(jīng)網(wǎng)絡(luò)(即公用模型)直接用于TDL-C和TDL-E信道進(jìn)行驗(yàn)證測(cè)試。

③ 以上述收斂的神經(jīng)網(wǎng)絡(luò)(即公用模型)作為初始神經(jīng)網(wǎng)絡(luò)，用TDL-C和TDL-E信道的少量數(shù)據(jù)進(jìn)行微調(diào)，并在信道中進(jìn)行驗(yàn)證測(cè)試。

2.3 MAML

MAML是一種模型無關(guān)的元學(xué)習(xí)方法。MAML的核心思想是尋找一個(gè)優(yōu)秀的初始化參數(shù)，使用該初始化參數(shù)，模型可以在任意新的場(chǎng)景中使用較少的迭代次數(shù)和訓(xùn)練數(shù)據(jù)實(shí)現(xiàn)收斂。如圖2所示，MAML算法包括兩個(gè)迭代：內(nèi)迭代和外迭代。

圖2 MAML訓(xùn)練過程

內(nèi)迭代中，每個(gè)任務(wù)在其支持集上使用初始化參數(shù)進(jìn)行梯度下降并更新參數(shù)。外迭代中，每個(gè)任務(wù)在其查詢集上計(jì)算損失，再基于所有查詢集上的損失總和對(duì)初始化參數(shù)進(jìn)行梯度下降，更新初始化參數(shù)。通過多次內(nèi)外迭代的更新，最終獲得使查詢集損失總和最小的模型，完成收斂。在新的任務(wù)上，使用收斂的模型作為初始化參數(shù)進(jìn)行微調(diào)。

針對(duì)本文涉及的信道估計(jì)問題，MAML方案描述如下：

① 基于TDL-A、TDL-B、TDL-D三個(gè)信道上的數(shù)據(jù)構(gòu)造任務(wù)集合(包含多個(gè)任務(wù))，基于該任務(wù)集合以MAML方案訓(xùn)練獲得最優(yōu)的初始化參數(shù)。

② 以獲得的最優(yōu)初始化參數(shù)作為新網(wǎng)絡(luò)的初始化參數(shù)，用TDL-C和TDL-E信道的少量數(shù)據(jù)進(jìn)行微調(diào),并在信道中進(jìn)行驗(yàn)證測(cè)試。

3 實(shí)驗(yàn)結(jié)果

3.1 仿真假設(shè)

訓(xùn)練和推理驗(yàn)證均在信噪比為10 dB的條件下進(jìn)行。在TDL-A、TDL-B、TDL-D每種信道下以時(shí)延為{30，300} ns，移動(dòng)速度為{3，30} km/h各產(chǎn)生4組數(shù)據(jù)作為不同的任務(wù)，共12個(gè)任務(wù)，每個(gè)任務(wù)采集20 000個(gè)樣本。在元學(xué)習(xí)的訓(xùn)練中，從總共12個(gè)任務(wù)集合中隨機(jī)選取5個(gè)任務(wù)進(jìn)行內(nèi)迭代。TDL-C和TDL-E下各采集500個(gè)樣本用來做微調(diào)，各采集10 000個(gè)樣本來做測(cè)試。元學(xué)習(xí)的內(nèi)迭代使用單次梯度下降完成參數(shù)更新，微調(diào)時(shí)采取多次梯度下降的參數(shù)更新來驗(yàn)證收斂性能，每次迭代中使用的批大小為100個(gè)樣本。

3.2 評(píng)估結(jié)果

圖3和圖4分別給出新場(chǎng)景是TDL-C和TDL-E信道時(shí)的微調(diào)性能。

圖3 在TDL-C信道中進(jìn)行微調(diào)后的推理性能

圖4 在TDL-E信道中進(jìn)行微調(diào)后的推理性能

橫軸表示微調(diào)階段的更新次數(shù)，縱軸表示使用所有RE(即14個(gè)OFDM符號(hào)，4個(gè)RB，每RB的12個(gè)子載波)計(jì)算的信道估計(jì)歸一化均方誤差(Normalized Mean Square Error,NMSE)。

兩種情況均可獲得如下結(jié)論：

① 相比于不做任何處理，將源域訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)直接推理于目標(biāo)域，遷移學(xué)習(xí)、聯(lián)合訓(xùn)練和MAML均可以提高信道估計(jì)性能，且隨著微調(diào)次數(shù)的增加，性能增益也會(huì)變大。

② 聯(lián)合訓(xùn)練方案可以獲得最好的初始性能，但如果不做微調(diào)的話，其性能會(huì)比其他做微調(diào)的方案差很多。

③ 基于聯(lián)合訓(xùn)練得到的模型進(jìn)行微調(diào)，其收斂速度比遷移學(xué)習(xí)要好。原因在于聯(lián)合訓(xùn)練方案在離線訓(xùn)練時(shí)使用的數(shù)據(jù)集包含的信息更多，因此最終訓(xùn)練出來的網(wǎng)絡(luò)(即微調(diào)時(shí)的初始網(wǎng)絡(luò))泛化性能更好一些。

④ MAML的初始網(wǎng)絡(luò)的性能(對(duì)應(yīng)圖3和圖4中橫軸是0的點(diǎn))較差。原因是MAML的訓(xùn)練目的是獲得一個(gè)在多種場(chǎng)景下都可以快速收斂的初始值，該初始值并不對(duì)應(yīng)一個(gè)性能較好的網(wǎng)絡(luò)。

⑤ MAML在第一個(gè)迭代的微調(diào)后，NMSE就快速下降到與最終的收斂值很接近的水平。在第5個(gè)迭代的微調(diào)后基本上完成收斂。

4 結(jié)論

本文對(duì)基于AI的信道估計(jì)方案在泛化方面的表現(xiàn)，在3GPP典型仿真場(chǎng)景下進(jìn)行了評(píng)估，并驗(yàn)證了遷移學(xué)習(xí)、聯(lián)合訓(xùn)練和MAML在提升泛化能力方面的表現(xiàn)。結(jié)果表明，基于MAML的信道估計(jì)方案可以通過很少的迭代更新，就可以逼近收斂時(shí)的性能，且其最終性能也比其他幾種方案優(yōu)秀。因此，基于MAML的方案可以更好、更快地在新場(chǎng)景中完成適配。無線通信中存在非常多的源域與目標(biāo)域不匹配的問題，對(duì)此，基于MAML的方案可以作為一種潛在的解決方案。