李英華，楊 琳 通信作者

（1.國家無線電監(jiān)測中心，北京 100037；2.北京東方波泰無線電頻譜技術(shù)研究所有限公司，北京 100041）

目前，互聯(lián)網(wǎng)中超過95%的信息采用TCP[1]進(jìn)行傳輸。對于像TCP這樣的可靠傳輸協(xié)議，當(dāng)出現(xiàn)網(wǎng)絡(luò)丟包時(shí)會(huì)自動(dòng)重傳丟失的數(shù)據(jù)包直到傳輸成功，這種重傳機(jī)制會(huì)進(jìn)一步增加信息流量，導(dǎo)致?lián)砣麪顟B(tài)加劇并形成一個(gè)惡性循環(huán)，不僅大大降低業(yè)務(wù)的有效帶寬，嚴(yán)重時(shí)有可能造成整個(gè)網(wǎng)絡(luò)崩潰[2]。因此，需要對網(wǎng)絡(luò)和業(yè)務(wù)進(jìn)行擁塞控制，以避免整個(gè)網(wǎng)絡(luò)出現(xiàn)擁塞，或者在發(fā)生擁塞后通過擁塞控制，使網(wǎng)絡(luò)恢復(fù)暢通。1988年，Jacobson等人[2]率先提出了在TCP中增加擁塞控制機(jī)制，即著名的“慢啟動(dòng)”“擁塞避免”和“快速重傳”等三個(gè)算法；1990年又進(jìn)一步提出了“快速恢復(fù)”算法，主要以丟包作為網(wǎng)絡(luò)擁塞的判斷依據(jù)。這種算法在有線網(wǎng)絡(luò)中表現(xiàn)出較好的性能，但是在誤碼率較高的無線網(wǎng)絡(luò)，或傳播時(shí)延較大的衛(wèi)星網(wǎng)絡(luò)中，則會(huì)導(dǎo)致業(yè)務(wù)的實(shí)際傳輸速率大大降低，因此研究者又提出了基于網(wǎng)絡(luò)測量的擁塞控制算法，以解決傳輸效率低和網(wǎng)絡(luò)適應(yīng)性差問題。

隨著智能手機(jī)和移動(dòng)互聯(lián)網(wǎng)的飛速發(fā)展，給社會(huì)各行各業(yè)帶來了新的發(fā)展機(jī)遇，通過網(wǎng)絡(luò)傳遞的信息流量也變得極其巨大，當(dāng)信息流量超過網(wǎng)絡(luò)中部分傳輸線路的承載能力時(shí)，隨之而來的問題就是越來越嚴(yán)重的網(wǎng)絡(luò)擁塞問題。隨著人工智能技術(shù)取得突破性的進(jìn)展，研究者們也在嘗試通過機(jī)器學(xué)習(xí)來提高TCP對網(wǎng)絡(luò)擁塞狀態(tài)的判斷能力，以及優(yōu)化擁塞后的速率控制機(jī)制，以進(jìn)一步提高算法的網(wǎng)絡(luò)適應(yīng)性，實(shí)現(xiàn)按需分配網(wǎng)絡(luò)資源。

基于機(jī)器學(xué)習(xí)的算法一般通過使用效用函數(shù)或基于訓(xùn)練數(shù)據(jù)來調(diào)整擁塞窗口，或者通過機(jī)器學(xué)習(xí)將控制操作與直接觀察到的性能結(jié)果進(jìn)行映射，進(jìn)而評價(jià)每一步的操作，從而做出下一步的最優(yōu)控制決策，主要包括PCC、PCC-Vivace、Copa、Remy、Xavier、TCP-Drinc、Aurora、Orca、AUTO等。

1 基于機(jī)器學(xué)習(xí)的算法

1.1 PCC和PCC-Vivace算法

PCC算法[3]提出了一種以性能為導(dǎo)向的控制算法，它通過持續(xù)觀察決策和經(jīng)驗(yàn)性能之間的聯(lián)系，并自動(dòng)采取導(dǎo)致良好性能的決策，以自動(dòng)適應(yīng)各種網(wǎng)絡(luò)環(huán)境。PCC算法在連續(xù)的監(jiān)測周期內(nèi)首先分別按照速率vi發(fā)送數(shù)據(jù)包，如式（1）；然后，再分別計(jì)算兩種情況下觀測到的效用函數(shù)Ui，如式（2）；最后，再比較Ui的大小并按照取值大的方向調(diào)整發(fā)送速率。

式中，ε是速率調(diào)整梯度系數(shù)；R是當(dāng)前發(fā)送速率；Li是觀測到的丟包率；Ti是實(shí)際吞吐量；Sigmoid是神經(jīng)網(wǎng)絡(luò)里的激活函數(shù)。PCC算法的主要問題是，如何選擇效用函數(shù)，能夠同時(shí)保證收斂性和TCP友好性。

針對上述問題，研究者又提出了改進(jìn)的PCCVivace算法[4]，將時(shí)延引入效用函數(shù)，并修改了速率調(diào)節(jié)算法，同時(shí)保證了收斂性和TCP友好性。

1.2 Copa算法

Copa算法[5]的整體思路與基于網(wǎng)絡(luò)測量的BBR算法相類似，其重點(diǎn)主要在于，當(dāng)一個(gè)流在鏈路中產(chǎn)生排隊(duì)延遲時(shí)，首先給定一個(gè)當(dāng)前擁塞狀態(tài)下的目標(biāo)速率λ，如式（3），然后控制當(dāng)前速率在該目標(biāo)速率上下的一定范圍內(nèi)進(jìn)行波動(dòng)，最后通過效用函數(shù)，如式（4），來衡量擁塞狀態(tài)。

式中，δ是時(shí)延的權(quán)重系數(shù)；d表示排隊(duì)時(shí)延。與BBR算法相比，Copa算法對鏈路中隊(duì)列長度進(jìn)行了更加主動(dòng)且細(xì)粒度的控制，而不是像BBR那樣主動(dòng)排空隊(duì)列。由于δ將控制流的最大隊(duì)列長度，因此，在實(shí)際應(yīng)用時(shí)如何調(diào)整δ，從而在Copa算法與其他協(xié)議的流進(jìn)行競爭時(shí)，保持其良好的兼容性是一個(gè)尚待研究的問題。

1.3 Remy算法

Remy算法[6]的基本思想是通過對不同控制參數(shù)所造成的后果進(jìn)行預(yù)測，以選擇能夠得到最優(yōu)后果的參數(shù)作為下一步的控制決策，關(guān)鍵是生成合適的擁塞控制預(yù)測模型。因此，研究者采用機(jī)器學(xué)習(xí)的方式來訓(xùn)練算法模型，通過輸入各種參數(shù)模型（如時(shí)延、瓶頸鏈路速率、業(yè)務(wù)強(qiáng)度等），并使用目標(biāo)函數(shù)作為定量指標(biāo)，判斷參數(shù)模型的優(yōu)劣度。

在訓(xùn)練過程中，以獲得最優(yōu)目標(biāo)函數(shù)為標(biāo)準(zhǔn)，選擇不同的擁塞窗口調(diào)節(jié)方式以匹配不同網(wǎng)絡(luò)狀態(tài)，形成調(diào)節(jié)方式與網(wǎng)絡(luò)狀態(tài)的映射關(guān)系表，在實(shí)際使用時(shí)可直接選取擁塞窗口的調(diào)節(jié)方式。Remy算法采用一個(gè)通用的擁塞控制算法模型來處理不同的網(wǎng)絡(luò)環(huán)境，以屏蔽底層網(wǎng)絡(luò)的差異性，但此方式比較依賴輸入的訓(xùn)練集（即歷史網(wǎng)絡(luò)狀態(tài)），如果訓(xùn)練集能夠覆蓋所有可能出現(xiàn)的網(wǎng)絡(luò)狀態(tài)，以及可采取的擁塞調(diào)節(jié)方式，則Remy算法在真實(shí)的網(wǎng)絡(luò)環(huán)境中也能獲得較好的性能，否則性能有可能會(huì)較差。

上述算法的重點(diǎn)在于效用函數(shù)的選擇，特定的效用函數(shù)體現(xiàn)了算法對某種網(wǎng)絡(luò)特性的偏好，一旦出現(xiàn)實(shí)際需求與假定場景不一致的情況，則需要重新選擇效用函數(shù)，否則算法的性能有可能會(huì)急劇下降。

2 引入強(qiáng)化學(xué)習(xí)的算法

近年來，研究者們又試圖將強(qiáng)化學(xué)習(xí)引入到擁塞控制算法的研究中。由于強(qiáng)化學(xué)習(xí)的自學(xué)習(xí)特性，可以通過對網(wǎng)絡(luò)環(huán)境的采集與評估，將擁塞窗口的調(diào)節(jié)體現(xiàn)在每一步的動(dòng)作上，并根據(jù)動(dòng)作的反饋來不斷修正學(xué)習(xí)網(wǎng)絡(luò)，使得算法對擁塞狀態(tài)的預(yù)測盡可能地接近準(zhǔn)確，從而確保算法在不同的網(wǎng)絡(luò)環(huán)境下具有自適應(yīng)性。

2.1 Xavier算法

Xavier算法[7]將擁塞控制問題建模為一個(gè)馬爾可夫過程，且在每個(gè)時(shí)間段內(nèi)由控制器決定是否發(fā)送數(shù)據(jù)包以及數(shù)據(jù)包的發(fā)送速率。Xavier算法使用Q學(xué)習(xí)算法來獲得累計(jì)最大回報(bào)，并使用線性函數(shù)近似的SARSA來學(xué)習(xí)Q值。

2.2 TCP-Drinc算法

TCP-Drinc算法[8]將擁塞控制問題描述為延遲分布式?jīng)Q策問題，用部分可見馬爾可夫決策過程描述擁塞控制，將側(cè)重點(diǎn)放在如何處理環(huán)境產(chǎn)生的延遲，如動(dòng)作在延遲后生效、反饋也存在延遲等。該算法通過構(gòu)建經(jīng)驗(yàn)緩沖區(qū)將歷史數(shù)據(jù)存儲(chǔ)起來，并使用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）來有效捕捉時(shí)間序列中的時(shí)間動(dòng)態(tài)行為，增加了系統(tǒng)的穩(wěn)定性，其整體架構(gòu)如圖1所示。

圖1 TCP-Drinc整體架構(gòu)圖

2.3 Aurora算法

Aurora算法[9]將擁塞控制過程描述為一個(gè)順序決策問題，并采用深度強(qiáng)化學(xué)習(xí)對行為、狀態(tài)以及獎(jiǎng)勵(lì)函數(shù)進(jìn)行設(shè)置，如式（5）。經(jīng)過訓(xùn)練后，獲得各種網(wǎng)絡(luò)狀況下的響應(yīng)策略，在實(shí)際應(yīng)用中按策略確定下一步動(dòng)作，從而計(jì)算出當(dāng)前時(shí)刻的發(fā)送速率。

與基于網(wǎng)絡(luò)測量的BBR算法相比，Aurora算法所需的數(shù)據(jù)量較少，但其公平性較差，對其他TCP流過于具有侵略性，即在訓(xùn)練中主動(dòng)學(xué)習(xí)到的動(dòng)作可能包括“偶爾丟包”，而丟包行為將導(dǎo)致其他TCP流吞吐量下降。

2.4 Orca算法

Orca算法[10]在底層使用TCP CUBIC算法對擁塞窗口進(jìn)行基本調(diào)整，同時(shí)使用深度強(qiáng)化學(xué)習(xí)對擁塞窗口進(jìn)行更進(jìn)一步的細(xì)化調(diào)整。Orca算法定義了獎(jiǎng)勵(lì)函數(shù)，如式（6），在R值達(dá)到最大時(shí)，網(wǎng)絡(luò)擁塞狀況達(dá)到最優(yōu)。這一方法借鑒了Giessler等提出的以吞吐量（Throughput）與延遲（Delay）的比值定義的Power[11]指標(biāo)。此外，為減小強(qiáng)化學(xué)習(xí)中智能體的動(dòng)作空間，Orca算法還對底層算法的擁塞窗口進(jìn)行了抽樣并取而代之，如式（7）。

式中， 是平衡系數(shù)，用于表征吞吐量和丟包率總的影響程度；α是用于控制動(dòng)作空間大小的調(diào)節(jié)系數(shù)。與單純使用強(qiáng)化學(xué)習(xí)的算法相比，Orca算法的動(dòng)作更具可預(yù)測性且公平性相對較好。

2.5 AUTO算法

AUTO算法[12]在環(huán)境適應(yīng)性與應(yīng)用目標(biāo)可配置方面進(jìn)行了改進(jìn)，通過訓(xùn)練一個(gè)偏好適應(yīng)模型和一個(gè)MORL智能體來實(shí)現(xiàn)環(huán)境適應(yīng)性。其中，前者將狀態(tài)序列映射為可識(shí)別的環(huán)境，并自動(dòng)為每個(gè)環(huán)境選擇合適的偏好；后者則負(fù)責(zé)為所有可能的偏好生成最優(yōu)策略，其算法框架如圖2所示。

圖2 AUTO算法框架

在AUTO算法中，偏好是一個(gè)二元向量，通過此向量可以將獎(jiǎng)勵(lì)向量轉(zhuǎn)變?yōu)橐粋€(gè)標(biāo)量，由此可以比較出獎(jiǎng)勵(lì)向量的大小，從而可以通過調(diào)整網(wǎng)絡(luò)參數(shù)來實(shí)現(xiàn)獎(jiǎng)勵(lì)最大化。此外，AUTO算法還允許應(yīng)用程序按需設(shè)置偏好，以滿足多樣化的應(yīng)用需求，通過調(diào)整偏好實(shí)現(xiàn)對不同擁塞控制方案的公平性。

2.6 小結(jié)

基于強(qiáng)化學(xué)習(xí)的擁塞控制算法針對不同的網(wǎng)絡(luò)環(huán)境（或者不同的應(yīng)用需求）能夠自適應(yīng)地調(diào)整發(fā)送策略，對隨機(jī)丟包和快速網(wǎng)絡(luò)變化具有更強(qiáng)的魯棒性，但同時(shí)也存在以下尚待研究的問題。一是對環(huán)境狀態(tài)的采集是否足夠精準(zhǔn)，以確保學(xué)習(xí)器能做出最適合當(dāng)前狀態(tài)的最佳決策；二是訓(xùn)練時(shí)間過長，有可能導(dǎo)致算法決策的滯后性，如何對快速變化的網(wǎng)絡(luò)及時(shí)做出最佳決策；三是使用諸如深度強(qiáng)化學(xué)習(xí)這類復(fù)雜算法進(jìn)行擁塞控制時(shí)，如何保證其收斂性；四是如何保證與使用其他算法的TCP流之間的公平性。

3 結(jié)束語

隨著網(wǎng)絡(luò)技術(shù)的不斷進(jìn)步，未來網(wǎng)絡(luò)環(huán)境可能更加復(fù)雜和難于預(yù)測，傳統(tǒng)的數(shù)學(xué)建模方法所面臨的困難將更加嚴(yán)重?；跈C(jī)器學(xué)習(xí)的網(wǎng)絡(luò)擁塞控制算法，主要依靠自學(xué)習(xí)能力來適應(yīng)復(fù)雜的網(wǎng)絡(luò)環(huán)境，雖然不能及時(shí)感知網(wǎng)絡(luò)環(huán)境的真實(shí)擁塞狀態(tài)，其行為也存在較大的不確定性和不可預(yù)測性，目前仍處于早期的研究探索階段，但是從實(shí)用性的角度來看，可能更適合解決復(fù)雜的網(wǎng)絡(luò)擁塞控制問題。一方面，可以采用更合適的效能函數(shù)來準(zhǔn)確評價(jià)網(wǎng)絡(luò)環(huán)境的擁塞狀態(tài)，以及更準(zhǔn)確地探索可用帶寬，使得機(jī)器學(xué)習(xí)能夠獲得更逼真的訓(xùn)練數(shù)據(jù)，從而提高決策的精確性；另一方面，可以進(jìn)一步細(xì)化擁塞窗口的調(diào)節(jié)方案及其可解釋性，兼顧網(wǎng)絡(luò)的穩(wěn)定和帶寬利用率，同時(shí)也可以保證各種互聯(lián)網(wǎng)業(yè)務(wù)的服務(wù)質(zhì)量?！?/p>