李揚 周明拓

摘要：無線信道均衡可以被看成將接收端符號恢復(fù)成發(fā)射符號集中某個符號的問題；而無線通信系統(tǒng)中的許多恢復(fù)過程可以被認(rèn)為是通過學(xué)習(xí)一組具有良好的概率包絡(luò)和相干時間的隨機濾波器來克服信號的線性混合、旋轉(zhuǎn)、時移、縮放以及卷積等特性。具體地，使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）來學(xué)習(xí)這些濾波器，然后將學(xué)習(xí)到的濾波器送入后續(xù)的循環(huán)神經(jīng)網(wǎng)絡(luò)進行時域建模，最后對信號進行分類。實驗顯示：卷積-循環(huán)神經(jīng)網(wǎng)絡(luò)（CRNN）均衡器與傳統(tǒng)的遞歸最小二乘濾波器（RLS）、多層感知機濾波器（MLP）在達到相同誤碼率（SER）情況下好2～4 dB。

關(guān)鍵詞： 信道均衡；無線通信；深度學(xué)習(xí)；神經(jīng)網(wǎng)絡(luò)

Abstract： Channel equalization can be viewed as a task that classifies or reconstructs the received signal as a symbol from the transmitting symbol set at the receiver. Many recovery processes in wireless communication systems can be considered to overcome linear mixing， rotation， time-shift， scaling and convolution by learning a set of random filters with good probabilistic envelope and coherent time. Concretely， convolutional neural network （CNN） is used to learn these filters， which are send into the subsequent recurrent neural network （RNN） for temporal modeling， and finally the signals are classified. Experimental results show that our convolutional recurrent neural network-based （CRNN） equalizer outperforms the recursive least square （RLS） and multi-layer perceptron network （MLP） equalizers by average 2 to

4 dB with the same symbol error rate （SER）.

Key words： channel equalization； wireless communications； deep learning； neural network

在數(shù)字無線通信系統(tǒng)中，二進制符號通過色散信道傳輸，導(dǎo)致產(chǎn)生時延擴展和符號間串?dāng)_（ISI）；而ISI的存在阻礙了頻率帶寬的有效利用和系統(tǒng)性能的提高[1]。無線信道基本上可以用一個復(fù)數(shù)值有限脈沖響應(yīng)（FIR）濾波器來表示，而信道輸出是濾波器抽頭權(quán)重的線性組合，并且被噪聲污染。信道均衡則是基于信道觀測來抵消ISI和噪聲的影響，從而重建傳輸序列。通常，傳輸信道會受到線性和非線性失真的影響，現(xiàn)實中往往將信道建模為一個非線性系統(tǒng)。傳統(tǒng)的線性均衡算法，如遞歸最小二乘（RLS）[2]算法，在信道非線性特性強烈及多徑豐富的情況下無法保證較低的誤碼率。

人工神經(jīng)網(wǎng)絡(luò)的強大非線性擬合能力近來在無線信道均衡領(lǐng)域受到了較多關(guān)注。文獻[3-4]中，作者分別使用了不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)進行均衡，并與傳統(tǒng)的信道均衡器做對比，發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)算法能達到更低的誤比特率。文獻[5]中作者提出一種基于自適應(yīng)決策反饋的信道均衡器，其中使用了多層感知機（MLP）神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，來解決通信衛(wèi)星的信道均衡問題。由于無線信號由復(fù)數(shù)值表示，文獻[6]中作者提出一種基于復(fù)數(shù)值的多層感知機神經(jīng)網(wǎng)絡(luò)，并提出一種基于復(fù)數(shù)值的反向傳播算法，使得其更適用于實際系統(tǒng)。

受時變信道的影響，無線信號屬于時間序列數(shù)據(jù)，但是上述信道均衡器并未將這一特性考慮在內(nèi)。因此，本文中我們提出一種基于卷積-循環(huán)神經(jīng)網(wǎng)絡(luò)（CRNN）的信道均衡器，其特點是既考慮了信道的非線性又兼顧了信道的時變性。我們利用卷積神經(jīng)網(wǎng)絡(luò)的平移不變性來學(xué)習(xí)像傳統(tǒng)濾波器抽頭權(quán)重那樣的匹配濾波器，然后再將學(xué)習(xí)到的濾波器送入接下來的循環(huán)神經(jīng)網(wǎng)絡(luò)進行時間建模，繼而就可以用于對接收到的信號進行分類。

具體地，我們使用自制的8×8并行多輸入多輸出（MIMO）通信系統(tǒng)收集實際的收發(fā)信號，構(gòu)建成用于訓(xùn)練我們神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)集。特別地，收發(fā)端僅使用一根天線，從而組成一個單發(fā)單收系統(tǒng)，信號發(fā)送采用正交相移鍵控（QPSK）調(diào)制。據(jù)我們所知，我們是第一個采用CRNN結(jié)構(gòu)進行信道均衡的[7]。我們的主要貢獻總結(jié)如下：

（1）通過將信道均衡建模成一個條件概率分布學(xué)習(xí)問題，從而可以使用神經(jīng)網(wǎng)絡(luò)算法進行求解。

（2）基于問題建模，我們提出一種基于CRNN的信道均衡器，在其中既考慮了信道的非線性失真又兼顧了信道的時變性。

我們將所提出的CRNN均衡器與傳統(tǒng)的RLS均衡器，以及MLP均衡器在誤碼（SER）率性能上進行了比較。大量實驗結(jié)果顯示：我們的CRNN均衡器要比其他另外兩個均衡器在達到相同SER時好2～4 dB。

1 問題建模

無線信道均衡可以表示成如圖1所示的條件概率分布學(xué)習(xí)問題。具體地，我們假設(shè)發(fā)送符號集為S，當(dāng)中包含K個符號，為方便建模，我們以自然數(shù)1～K來表示這K個符號。對于給定的接收信號[y（i）] ，信道均衡的作用就是將其識別或者還原為發(fā)送符號集的某符號[x（i）=k] ，通過計算對應(yīng)于每個發(fā)送符號的條件概率（也即整個符號集的條件概率分布），我們可以得出條件概率最大的符號即為[y（i）]最可能的對應(yīng)發(fā)送符號。在這當(dāng)中，[y（i）]由有限個時延副本構(gòu)成：

基于以上推導(dǎo)，目前我們需要一個標(biāo)準(zhǔn)對神經(jīng)網(wǎng)絡(luò)調(diào)整參數(shù)后的預(yù)測性能進行評估。具體地，我們引入交叉熵損失函數(shù)進行這項評價，其表示如下：

其中，m為訓(xùn)練集樣本的個數(shù)，一個訓(xùn)練樣本可表示為[（y（i），x（i））] 。[y（i）]為接收符號，[x（i）]為該接收信號對應(yīng)的真實發(fā)送符號，在機器學(xué)習(xí)的語境中則為樣本對應(yīng)的標(biāo)簽。1{·}為指示函數(shù)，表示在大括號里的假設(shè)若為真則返回1，否則返回0。該函數(shù)對一組神經(jīng)網(wǎng)絡(luò)權(quán)重w所導(dǎo)致的預(yù)測誤差進行計算，我們利用收集到的訓(xùn)練樣本集合通過調(diào)節(jié)w最小化這一函數(shù)從而提高預(yù)測準(zhǔn)確率。

2 CRNN無線信道均衡器

基于以上問題建模，我們提出一種流水線式神經(jīng)網(wǎng)絡(luò)均衡器，由2部分構(gòu)成：第1部分為一個卷積神經(jīng)網(wǎng)絡(luò)；第2部分為一個循環(huán)神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)的原理詳細可見文獻[8]，本文由于篇幅所限將不深入討論。

我們所提出的CRNN均衡器如圖2所示，除輸入和輸出之外，其為一個5層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。輸入層為一個2xN的接收符號，分別由N個時延副本的實部和虛部構(gòu)成。輸入層后接第1個卷積層Conv，卷積層是卷積神經(jīng)網(wǎng)絡(luò)中最關(guān)鍵的環(huán)節(jié)，用于提取輸入樣本的特征[9]。每個卷積層都由若干個卷積核組成，每個卷積核都是一個特定長、寬的2D濾波器，在計算機中由一個隨機初始化的2D權(quán)重矩陣表示。這些卷積核會以一定的步長遍歷整個上層輸入進行卷積操作，生成特征圖，即我們前文提到的匹配濾波器。神經(jīng)網(wǎng)絡(luò)下一層為Dropout，表示上層有多少比例的神經(jīng)元與下一層進行連接，由1個0～1之間的參數(shù)控制。該層的作用是適當(dāng)降低神經(jīng)網(wǎng)絡(luò)的表達能力，降低神經(jīng)網(wǎng)絡(luò)過擬合的可能性。接下來的卷積層的作用與第1個卷積層相同，但是進一步學(xué)習(xí)更加抽象地表達，即可能得到的是有利于識別信號的幅度、相位、多普勒頻移等特征。卷積神經(jīng)網(wǎng)絡(luò)的最后一層是1個Max-pooling層，具體操作類似于卷積核，但僅提取對應(yīng)面積內(nèi)最大的權(quán)重值，一方面用于減少連接數(shù)，降低復(fù)雜度，另一方面可以獲得局部相似性特征。我們使用卷積神經(jīng)網(wǎng)絡(luò)的原因在于無線通信系統(tǒng)中許多信號識別或還原是通過學(xué)習(xí)一組具有良好的概率包絡(luò)和相干時間的隨機濾波器來克服信號的線性混合、旋轉(zhuǎn)、時移、縮放以及卷積等特性。那么經(jīng)過上述一系列操作之后，卷積神經(jīng)網(wǎng)絡(luò)就學(xué)習(xí)出了這些濾波器。

下一步我們將這些學(xué)習(xí)到的匹配濾波器送入由長短時記憶（LSTM）單元[10]構(gòu)成的循環(huán)神經(jīng)網(wǎng)絡(luò)用于時間建模，以克服無線信道的時變特性。具體地，LSTM單元通過記憶上一時刻的狀態(tài)并把這一狀態(tài)加入當(dāng)前狀態(tài)的計算，來進行時間依賴學(xué)習(xí)。需要注意的是：LSTM層的權(quán)重在每一時刻都是共享的。最后，我們使用Softmax對結(jié)果進行歸一化并得到發(fā)送符號的條件概率分布。

至此，我們可以開始使用大量預(yù)先收集的收發(fā)數(shù)據(jù)訓(xùn)練所提出的CRNN均衡器。下一步，我們將討論如何獲取這些所需數(shù)據(jù)。

3 數(shù)據(jù)獲取

如圖3所示，我們采用自研的8×8 MIMO系統(tǒng)進行數(shù)據(jù)采集，為了保證測試數(shù)據(jù)的真實性和均衡算法的可靠性，保證采集數(shù)據(jù)的多樣化，我們在多個典型室內(nèi)通信場景下采集無線收發(fā)數(shù)據(jù)。在采集實驗中信號發(fā)射端采用正交相移鍵控（QPSK）調(diào)制模式，發(fā)送端以100 Mbit/s的碼片速率連續(xù)發(fā)送4 096個QPSK碼片200次。采集的數(shù)據(jù)平均分布于信噪比為-10～20 dB的區(qū)間內(nèi)，且為簡單地驗證起見，采集過程中我們僅使用單發(fā)單收設(shè)置。值得注意的是：在特定信噪比下收集的數(shù)據(jù)將單獨構(gòu)成子數(shù)據(jù)集，我們的CRNN訓(xùn)練將由每個不同的子數(shù)據(jù)集單獨訓(xùn)練并篩選出表現(xiàn)最好的模型。具體地，每個子數(shù)據(jù)集包含11萬對收發(fā)數(shù)據(jù)，其中10萬對數(shù)據(jù)用于訓(xùn)練CRNN，其余數(shù)據(jù)用于對模型進行測試。

4 模型訓(xùn)練及測試結(jié)果

4.1 超參數(shù)優(yōu)化

在第3節(jié)中，我們指出通過調(diào)整神經(jīng)網(wǎng)絡(luò)的連接權(quán)重w，就可以優(yōu)化神經(jīng)網(wǎng)絡(luò)均衡器對于接收信號的預(yù)測結(jié)果。除了連接權(quán)重這些參數(shù)，類似于神經(jīng)網(wǎng)絡(luò)隱藏層個數(shù)、特定隱藏層的神經(jīng)元個數(shù)、神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練時的梯度下降學(xué)習(xí)率等需要人工試驗的參數(shù)，我們稱之為超參數(shù)。因此，均衡器最終的預(yù)測效果除了依賴于神經(jīng)網(wǎng)絡(luò)的連接權(quán)重，也取決于神經(jīng)網(wǎng)絡(luò)的各個超參數(shù)。而如何確定超參數(shù)的值，以及采取何種操作使得神經(jīng)網(wǎng)絡(luò)的預(yù)測效果最好的過程被稱為超參數(shù)優(yōu)化。

在實際工程中，我們通常使用網(wǎng)格搜索法進行超參數(shù)優(yōu)化，也即采用窮搜法逐個試驗各個人工設(shè)定的超參數(shù)組合，從而確定一組最佳超參數(shù)組合。本文中，我們將固定一些超參數(shù)從而避免搜索空間過大，導(dǎo)致調(diào)節(jié)效率低下。

除批數(shù)量外，表1中選取固定的超參數(shù)基本為我們的CRNN均衡器的結(jié)構(gòu)參數(shù)。批數(shù)量是利用數(shù)據(jù)集進行最小化損失函數(shù)的隨機梯度下降操作時需要確定的參數(shù)，它決定了在每次梯度下降時可同時參與更新權(quán)重w所應(yīng)選取的數(shù)據(jù)個數(shù)。

選取了固定的超參數(shù)之后，我們需要對剩下的超參數(shù)進行優(yōu)化。具體地，我們將優(yōu)化學(xué)習(xí)率[γ] 、Dropout層神經(jīng)元連接丟棄比率、訓(xùn)練批次等3個超參數(shù)。如圖4所示，在訓(xùn)練過程中交叉熵損失在當(dāng)學(xué)習(xí)率[γ=1×10-2] 或[γ=1×10-3] 時下降。雖然不夠明顯，但[γ=1×10-3]時交叉熵損失函數(shù)收斂到一個更低的值。我們還可以看到：當(dāng)[γ=1×10-1] 時，交叉熵損失一直處于振蕩狀態(tài)并未明顯下降。這說明此學(xué)習(xí)率過大，對于梯度下降步長過大導(dǎo)致無法找到正確的使損失函數(shù)下降的方向。我們將訓(xùn)練集劃分為互不相交的訓(xùn)練集和驗證集，與之對應(yīng)得到的準(zhǔn)確率分別為訓(xùn)練準(zhǔn)確率和驗證準(zhǔn)確率。驗證準(zhǔn)確率指示了模型的泛化性能，因為驗證集中的數(shù)據(jù)在訓(xùn)練集中從未遇到過。從而，我們可以利用驗證準(zhǔn)確率來判斷該超參數(shù)設(shè)置是否真正有效。圖5表示當(dāng)我們設(shè)置不同的神經(jīng)元連接丟失比率時，CRNN均衡器預(yù)測準(zhǔn)確率的表現(xiàn)，其中實線為訓(xùn)練準(zhǔn)確率，虛線為驗證準(zhǔn)確率?？梢钥闯觯寒?dāng)Dropout層神經(jīng)元連接丟棄比率為0時，我們得到更高的訓(xùn)練準(zhǔn)確率和驗證準(zhǔn)確率，這說明先前的超參數(shù)設(shè)置導(dǎo)致的模型訓(xùn)練結(jié)果并未過擬合我們的訓(xùn)練集。因此，針對本文實驗而言，Dropout層并無必要加入CRNN均衡器結(jié)構(gòu)中。最后一個需要優(yōu)化的超參數(shù)為訓(xùn)練批次，其定義為訓(xùn)練集被完全迭代的次數(shù)，而訓(xùn)練過程遍歷完一次訓(xùn)練集稱為訓(xùn)練一個批次。當(dāng)訓(xùn)練批次較大時，不同的訓(xùn)練批次導(dǎo)致的驗證準(zhǔn)確率差別很小，因此我們使用驗證誤差來評價超參數(shù)的影響。如圖6所示，訓(xùn)練批次對于準(zhǔn)確率的增益是有上限的。那么我們需要找到最小的上限，以防止過度訓(xùn)練。在工程實驗中，我們可以使用訓(xùn)練提前停止方法，即監(jiān)測控制訓(xùn)練批次對于準(zhǔn)確率增益的影響，當(dāng)相鄰若干次準(zhǔn)確率增長非常小時，我們認(rèn)為訓(xùn)練批次達到了它對于準(zhǔn)確率增益的上限，這時便可以提前終止訓(xùn)練。在我們的實驗中，當(dāng)訓(xùn)練批次為40時，驗證誤差最小，也即驗證準(zhǔn)確率最大。另外，需要強調(diào)的是：上述超參數(shù)優(yōu)化是在信噪比為15 dB的數(shù)據(jù)集下進行的。我們在線下對比發(fā)現(xiàn)：信噪比為15 dB時的數(shù)據(jù)集訓(xùn)練出的CRNN均衡器的泛化性能最好，因此我們在其他信噪比下也使用信噪比為15 dB的數(shù)據(jù)集模型。

4.2 誤碼率性能

誤碼率（SER）是信道均衡器的一個重要性能指標(biāo)，我們也實現(xiàn)了RLS均衡器和MLP均衡器并將它們與我們訓(xùn)練得到的CRNN均衡器對比SER性能。

圖6顯示了3種信道均衡器在信噪比為-10～20 dB時的SER性能，顯然當(dāng)信噪比低于0 dB時，它們均無法符合性能要求，此時CRNN基本只能從噪聲中學(xué)習(xí)而無法學(xué)習(xí)到有效的信道特征。當(dāng)信噪比在0～10 dB時，CRNN均衡器在達到相同SER情況下要比RLS、MLP均衡器平均高2 dB。而當(dāng)信噪比在10～15 dB時，CRNN均衡器在達到相同SER情況下比另外兩個均衡器平均高4 dB，這意味著CRNN在信號特征明顯時能比傳統(tǒng)均衡器學(xué)習(xí)到更多的信道特征。

5 結(jié)束語

本文中我們提出了一種基于CRNN的算法，來解決非線性時變信道的均衡問題，并在實際系統(tǒng)中進行了驗證。具體地，我們使用卷積神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)匹配濾波器，然后將學(xué)習(xí)到的濾波器送入后續(xù)的循環(huán)神經(jīng)網(wǎng)絡(luò)進行時域建模，最后對信號進行分類。實驗表明：相比RLS、MLP算法，CRNN均衡算法能夠更好地處理真實通信環(huán)境中的無線信道均衡問題。

參考文獻

[1] LYU X， FENG W， SHI R， et al. Artificial Neural Networkbased Nonlinear Channel Equalization： A Soft-Output Perspective[C]// Proceedings of the International Conference on Telecommunications （ICT）. USA：IEEE， 2015： 243-248.DOI： 10.1109/ICT.2015.7124690

[2] WANG Y. Channel Equalization Using a Robust Recursive Least-Squares Adaptive-Filtering Algorithm[C]//Proceedings of the IEEE International Conference on Computer and Information Technology （ICCIT）.USA：IEEE， 2012： 135-138.DOI： 10.1109/CIT.2012.49

[3] BURSE K， YADAY R N， SHRIVASTAVA S C. Channel Equalization Using Neural Networks： A Review[J].IEEE Transactions on Systems， Man，and Cybernetics， Part C （Applications and Reviews），2010，40（3）： 352-357.DOI： 10.1109/TSMCC.2009.2038279

[4] PATRA J C， BENG POH W， CHAUDHARI N S， et al. Nonlinear Channel Equalization with QAM Signal Using Chebyshev Artificial Neural Network[C]// Proceedings of the IEEE International Joint Conference on Neural Networks. USA：IEEE， 2005，（5）：3214-3219.DOI： 10.1109/IJCNN.2005.1556442

[5] CHANG P， WANG B. Adaptive Decision Feedback Equalization for Digital Satellite Channels Using Multilayer Neural Networks[J].IEEE Journal on Selected Areas in Communications， 1995，13（2）： 316-324

[6] HUANG R C， CHEN M S. Adaptive Equalization Using Complex-Valued Multilayered Neural Network Based on the Extended Kalman Filter[C]// Proceedings of the International Conference on Signal Processing. USA：IEEE， 2000：519-524

[7] LI Y， CHEN M H， YANG Y， M.T.et al. Convolutional Recurrent Neural Network-Based Channel Equalization： An Experimental Study[C]// Proceedings of the Aisa-Pacific Conference on Communications （APCC）. USA：IEEE， 2017. DOI： 10.23919/APCC.2017.8304090

[8] GOODFELLOW I， BENGIO Y， COURVILLE A. Deep Learning[M]. USA：MIT Press， 2016

[9] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-Based Learning Applied to Document Recognition[C]//Proceedings of the IEEE. USA：IEEE， 1998， 86（11）：2278-2324

[10] HOCHREITER S， SCHMIDHUBER J. Long Short-Term Memory[J]. Neural Computation， 1997， 9（8）：1735-1780