崔暢

關(guān)鍵詞：車聯(lián)網(wǎng)；區(qū)塊鏈；聯(lián)邦學(xué)習(xí)

1引言

5G網(wǎng)絡(luò)中新的計算和通信技術(shù)的快速發(fā)展為先進(jìn)的車輛服務(wù)和應(yīng)用（如自動駕駛和內(nèi)容交付）提供了可能性，從而改善了駕駛體驗。在該背景下，車聯(lián)網(wǎng)（IoV）作為一種將智能計算和車輛網(wǎng)絡(luò)集成到車輛網(wǎng)絡(luò)中的新技術(shù)，成為一個關(guān)鍵的研究領(lǐng)域。在物聯(lián)網(wǎng)中，移動的車輛不斷生成大量不同類型的數(shù)據(jù)，其中包括軌跡、交通信息和多媒體數(shù)據(jù)等附加數(shù)據(jù)。如何高效、有效地利用海量可用數(shù)據(jù)來改善駕駛體驗，并在物聯(lián)網(wǎng)中提供廣泛的高質(zhì)量服務(wù)，是一個至關(guān)重要的研究領(lǐng)域。

數(shù)據(jù)共享可以通過協(xié)同分析和挖掘數(shù)據(jù)來改善IoV應(yīng)用程序質(zhì)量。然而，在物聯(lián)網(wǎng)中，數(shù)據(jù)共享面臨兩個關(guān)鍵挑戰(zhàn)。首先，盡管車輛間通信不可靠，但車輛需要有效共享數(shù)據(jù)。如何提高數(shù)據(jù)共享效率和可靠性需要進(jìn)一步深入研究。其次，數(shù)據(jù)提供商越來越擔(dān)心數(shù)據(jù)安全和隱私問題，這可能會阻止他們提供可用于分析的數(shù)據(jù)。因此，如何在物聯(lián)網(wǎng)中高效、安全地共享數(shù)據(jù)仍然是一個廣泛研究的熱門方向。

2存在的問題

多接人邊緣計算（MEC）通過設(shè)備到設(shè)備（D2D）通信在移動網(wǎng)絡(luò)邊緣執(zhí)行計算和內(nèi)容存儲，實現(xiàn)邊緣資源共享。但是現(xiàn)有研究側(cè)重于MEC的效率，仍需要進(jìn)一步研究如何在MEC中實現(xiàn)分布式智能控制。在這方面，最近的一些工作已經(jīng)將邊緣智能用于車輛網(wǎng)絡(luò)中的資源共享。如采用深度強化學(xué)習(xí)（DRL）來設(shè)計數(shù)據(jù)傳輸調(diào)度方案，以最小化車輛網(wǎng)絡(luò)中的傳輸成本。然而，分布式場景中資源共享的安全問題仍未解決。

最近，區(qū)塊鏈已成為提供分布式安全解決方案的一種很有前途的技術(shù)。區(qū)塊鏈具有防篡改、匿名性和可追蹤性等先進(jìn)特性，因此在物聯(lián)網(wǎng)、車載網(wǎng)絡(luò)和智能電網(wǎng)等領(lǐng)域，區(qū)塊鏈在增強安全性方面引起了極大關(guān)注。近年來，有大量研究利用區(qū)塊鏈在車輛網(wǎng)絡(luò)中進(jìn)行數(shù)據(jù)共享。例如，不但利用了由路邊裝置維護(hù)聯(lián)盟區(qū)塊鏈，實現(xiàn)車輛邊緣網(wǎng)絡(luò)中的安全數(shù)據(jù)共享，還可為分布式數(shù)據(jù)共享設(shè)計一個區(qū)塊鏈?zhǔn)跈?quán)的安全數(shù)據(jù)共享架構(gòu)。盡管區(qū)塊鏈的使用為數(shù)據(jù)安全共享提供了可能性，但維護(hù)區(qū)塊鏈需要額外的計算和通信負(fù)擔(dān)，可能對效率方面產(chǎn)生不利影響。

為了提高區(qū)塊鏈的效率和智能性，一些研究探索了將區(qū)塊鏈與人工智能相結(jié)合。如通過將人工智能算法和區(qū)塊鏈集成到無線網(wǎng)絡(luò)中，構(gòu)成一種安全智能的架構(gòu)，可實現(xiàn)5G以外的安全資源共享。然而，雖然在這些集成框架中，研究數(shù)據(jù)和網(wǎng)絡(luò)的安全和隱私問題是一個重要的研究方向，但相關(guān)工作卻相當(dāng)有限。為此，減輕區(qū)塊鏈與人工智能集成的資源成本需要更密切和更深入的研究。

聯(lián)邦學(xué)習(xí)是分布式場景中隱私保護(hù)邊緣智能的一種很有前途的方法。而在傳統(tǒng)的機器學(xué)習(xí)中，所有的訓(xùn)練數(shù)據(jù)都是在一個集中的管理員處收集的，聯(lián)邦學(xué)習(xí)在很大程度上解決了隱私問題，并且通過將訓(xùn)練工作分發(fā)給用戶自己來降低數(shù)據(jù)傳輸成本。本地訓(xùn)練由用戶根據(jù)自己的數(shù)據(jù)執(zhí)行，通常采用梯度下降優(yōu)化算法。在聯(lián)邦學(xué)習(xí)框架中，用戶自己保存數(shù)據(jù)，但將參數(shù)發(fā)送到服務(wù)器進(jìn)行聚合。這為用戶提供了一個并行方案，以協(xié)作學(xué)習(xí)與其數(shù)據(jù)隱私相關(guān)的全局模型。因此，聯(lián)邦學(xué)習(xí)通過以保護(hù)隱私的方式從分布式數(shù)據(jù)學(xué)習(xí)中來實現(xiàn)邊緣智能，并利用區(qū)塊鏈在不受信任的參與者之間提供有保證的協(xié)作方案，以實現(xiàn)高效共享。

然而，就聯(lián)邦學(xué)習(xí)的計算和通信資源而言，設(shè)備的異構(gòu)性為應(yīng)用聯(lián)邦學(xué)習(xí)帶來了新的挑戰(zhàn)。為了提高學(xué)習(xí)效率和學(xué)習(xí)質(zhì)量，需要解決三個關(guān)鍵方面。首先，更新的參數(shù)也可能泄露用戶的數(shù)據(jù)隱私。如何全面確保聯(lián)邦學(xué)習(xí)計劃的安全性有待進(jìn)一步研究。其次，由于邊緣設(shè)備的異構(gòu)計算和通信能力，必須減少計算和通信開銷，并將總體學(xué)習(xí)時間降至最低，應(yīng)降低參與者共享惡意和冗余數(shù)據(jù)等不合格數(shù)據(jù)的風(fēng)險。最后，應(yīng)減少由于聯(lián)邦學(xué)習(xí)造成的延遲，提高處理車輛的異構(gòu)通信和計算能力。

3面向車聯(lián)網(wǎng)基于異步聯(lián)邦學(xué)習(xí)和區(qū)塊鏈的數(shù)據(jù)安全共享體系框架

本文通過將區(qū)塊鏈和聯(lián)邦學(xué)習(xí)集成到IoV中以實現(xiàn)數(shù)據(jù)安全共享。本文開發(fā)了一個混合區(qū)塊鏈-PermiDAG，并用提出的節(jié)點選擇算法改進(jìn)聯(lián)邦學(xué)習(xí)。本文的貢獻(xiàn)可以概括如下：提出了一種新的混合區(qū)塊鏈-PermiDAG，它由路邊裝置（RSU）和DAG組成：通過將學(xué)習(xí)的參數(shù)集成到區(qū)塊鏈中，并通過兩階段驗證來驗證這些參數(shù)的質(zhì)量，從而提高學(xué)習(xí)模型的可靠性。

假設(shè)車輛提交共享特定類型數(shù)據(jù)的請求，用于特定目的，如交通預(yù)測或路徑選擇。我們將數(shù)據(jù)共享過程視為一項計算任務(wù)。

由于傳統(tǒng)的聯(lián)合學(xué)習(xí)可能會導(dǎo)致參與節(jié)點之間的同步延遲，本文提出了一種異步聯(lián)合學(xué)習(xí)方法，將計算和通信資源結(jié)合起來考慮。本文提出的方法通過優(yōu)化選擇參與節(jié)點，并將其分為本地聚合和全局融合來執(zhí)行異步學(xué)習(xí)。同時，使用集成區(qū)塊鏈來存儲和驗證模型參數(shù)，這可以提高所提方案的可靠性和安全性。本文提出的面向車聯(lián)網(wǎng)基于異步聯(lián)邦學(xué)習(xí)和區(qū)塊鏈的數(shù)據(jù)安全共享體系，如圖1所示。首先，選定的車輛執(zhí)行本地訓(xùn)練，然后通過DRL算法對區(qū)塊鏈節(jié)點選擇優(yōu)化，最后更新其經(jīng)過訓(xùn)練的本地模型以進(jìn)行全局融合。此外，我們還考慮了由本地計算過程和本地數(shù)據(jù)決定的更新質(zhì)量。

對于不同的應(yīng)用場景，如物聯(lián)網(wǎng)中的邊緣資源共享和車載網(wǎng)絡(luò)中的內(nèi)容緩存，可以根據(jù)優(yōu)化目標(biāo)定義不同的目標(biāo)函數(shù)。例如，目標(biāo)可以是最小化能源成本、最小化運行或時間，以及最大限度地提高學(xué)習(xí)精度。此外，目標(biāo)函數(shù)可以將各種約束納入組合優(yōu)化問題。

傳統(tǒng)的同步聯(lián)合學(xué)習(xí)會消耗大量資源并導(dǎo)致通信延遲，使用控制算法可實現(xiàn)高效的異步學(xué)習(xí)方案。解決定義的目標(biāo)函數(shù)和提高聯(lián)合學(xué)習(xí)性能的方法可以基于以下方面的控制算法。

節(jié)點選擇：由于不同客戶端節(jié)點的異構(gòu)資源和能力，參與節(jié)點的選擇對聯(lián)邦學(xué)習(xí)的性能有著決定性的影響。此外，還應(yīng)驗證每個節(jié)點的訓(xùn)練模型。基于計算能力、通信狀態(tài)和訓(xùn)練數(shù)據(jù)的質(zhì)量，我們可以進(jìn)一步設(shè)計選擇控制算法，以最大限度地提高學(xué)習(xí)性能。

全局聚合：對于邊緣服務(wù)器，如何根據(jù)應(yīng)用場景選擇初始全局訓(xùn)練模型是一個基本問題。此外，由于聚合過程花費了大量資源，因此如何設(shè)計聚合算法、選擇每次迭代的持續(xù)時間以及指定迭代的總數(shù)，還需要進(jìn)一步工作。

權(quán)衡本地訓(xùn)練：由于在基于區(qū)塊鏈的解決方案中上傳更新需要花費時間，因此參與節(jié)點的目標(biāo)是以更少的成本獲得更高的訓(xùn)練精度。在上傳更新之前確定本地訓(xùn)練迭代次數(shù)的控制算法可以進(jìn)一步提高本地訓(xùn)練過程的利潤。

4混合許可區(qū)塊鏈：PermiDAG

為了提高數(shù)據(jù)共享的安全性、訓(xùn)練效率和準(zhǔn)確性，本文為聯(lián)邦學(xué)習(xí)方案設(shè)計了一種混合區(qū)塊鏈機制-PermiDAG。PermiDAG由一個主要許可區(qū)塊鏈和本地DAG組成，分別負(fù)責(zé)聯(lián)邦學(xué)習(xí)中的同步全局融合和異步本地訓(xùn)練。PermiDAG是分區(qū)容忍的，這意味著部分節(jié)點也可以有效地運行區(qū)塊鏈。此外，通過讓車輛只存儲本地DAG，并讓RSU存儲許可的區(qū)塊鏈，提高了存儲效率。

本文利用本地DAG，將車輛之間的相關(guān)數(shù)據(jù)共享事件作為事務(wù)處理。異步一致性允許車輛就歷史狀態(tài)而不是當(dāng)前狀態(tài)達(dá)成一致。車輛i的本地DAGi更新模型并傳輸?shù)狡涓浇能囕v進(jìn)行同步。每輛車都會隨機將其最新的DAGi（包括交易和審批關(guān)系）與相鄰車輛互通同步事務(wù)記錄數(shù)據(jù)請求者、數(shù)據(jù)提供者、根據(jù)N個節(jié)點中每個節(jié)點貢獻(xiàn)Ci從本地更新全局模型權(quán)重w（t）如式（1）所示，以及DAG中已批準(zhǔn)事務(wù)（即邊緣）之間的指針信息。

此外，本文還使用聲譽機制來量化參與者在數(shù)據(jù)共享過程中的表現(xiàn)，高質(zhì)量數(shù)據(jù)的參與者獲得較高的聲譽分?jǐn)?shù)。在數(shù)據(jù)共享過程中，我們根據(jù)參與者的模型準(zhǔn)確性計算其累積聲譽，并將聲譽記錄在本地DAG中。

5用于節(jié)點選擇的深度強化學(xué)習(xí)

5.1問題描述：節(jié)點選擇的組合優(yōu)化

不同車輛的異構(gòu)計算資源和時變通信條件阻礙了全局融合階段的執(zhí)行效率。本文利用深度確定性策略梯度（DDPG）算法，在異步反饋學(xué)習(xí)中找到節(jié)點選擇的最佳解決方案?；隈R爾可夫決策過程，其中參數(shù)描述如下。

5.2基于DDPG的完全節(jié)點選擇算法

本文采用DDPG來解決節(jié)點選擇問題（圖1），基本準(zhǔn)則是使用值函數(shù)更新系統(tǒng)策略。主網(wǎng)絡(luò)包括一個演員神經(jīng)網(wǎng)絡(luò)模型和評論家神經(jīng)網(wǎng)絡(luò)模型分別表示代表神經(jīng)網(wǎng)絡(luò)中的參數(shù)。需要注意的是目標(biāo)網(wǎng)絡(luò)與主網(wǎng)絡(luò)具有相同的網(wǎng)絡(luò)結(jié)構(gòu)，并生成用于訓(xùn)練演員一批評家神經(jīng)網(wǎng)絡(luò)的目標(biāo)值。DDPG還使用回放存儲器存儲用于訓(xùn)練網(wǎng)絡(luò)的過渡信息。過渡信息包含當(dāng)前狀態(tài)、對狀態(tài)采取的操作、下一狀態(tài)和相應(yīng)的獎勵。演員神經(jīng)網(wǎng)絡(luò)的目標(biāo)是提供最佳節(jié)點選擇操作。參與神經(jīng)網(wǎng)絡(luò)的輸入是當(dāng)前狀態(tài)，輸出是要采取的操作。動作是通過從當(dāng)前狀態(tài)到動作的映射生成，其中0為神經(jīng)網(wǎng)絡(luò)的模型參數(shù)，也可以看作搜索策略。其中，隨機策略梯度的梯度，等價于確定性策略梯度。

6應(yīng)用場景及服務(wù)

車聯(lián)網(wǎng)場景：在車聯(lián)網(wǎng)場景中，由于電力供應(yīng)有限，能源成本是一個關(guān)鍵問題。與其他場景相比，計算和通信資源也非常有限。因此，為了在車聯(lián)網(wǎng)中應(yīng)用所提出的框架，在設(shè)計目標(biāo)函數(shù)時應(yīng)考慮能量、計算和通信的消耗。此外，由于每個設(shè)備上的訓(xùn)練數(shù)據(jù)大小有限，應(yīng)簡化車聯(lián)網(wǎng)設(shè)備的模型，并應(yīng)執(zhí)行更多本地訓(xùn)練迭代。執(zhí)行的聚合可以通過涉及更多車聯(lián)網(wǎng)設(shè)備在更大程度上確保學(xué)習(xí)質(zhì)量。由于車聯(lián)網(wǎng)設(shè)備的資源有限，提出的方案可以在車聯(lián)網(wǎng)設(shè)備無任務(wù)期間執(zhí)行。此外，由于資源有限，車聯(lián)網(wǎng)設(shè)備的安全性是一個嚴(yán)重的問題。參數(shù)區(qū)塊鏈的集成可以降低集中式機制所帶來的風(fēng)險。

資源共享：在車聯(lián)網(wǎng)中，大規(guī)模設(shè)備和延遲敏感應(yīng)用程序需要大量資源。因此，頻譜和數(shù)據(jù)等資源的限制會阻礙超網(wǎng)絡(luò)的發(fā)展步伐。分布式資源共享是提高無線網(wǎng)絡(luò)資源利用率和服務(wù)質(zhì)量的一種有效方法。在提出的區(qū)塊鏈?zhǔn)跈?quán)聯(lián)邦學(xué)習(xí)方案中，擁有免費資源的多個分布式提供商可以協(xié)作為消費者共享資源，如圖1所示。區(qū)塊鏈為資源提供商與消費者共享資源提供了一個安全的方案，從而減輕了惡意用戶和易受攻擊的集中式管理者所帶來的風(fēng)險。共享信息記錄為區(qū)塊鏈中的交易，消費者通過區(qū)塊鏈進(jìn)行資源租賃交易。聯(lián)邦學(xué)習(xí)方案不僅可以從數(shù)據(jù)中學(xué)習(xí)計算結(jié)果，還可以提供優(yōu)化的共享策略。

分布式設(shè)備到設(shè)備緩存：邊緣設(shè)備上的大量多媒體應(yīng)用程序生成大量內(nèi)容，在MBS中存儲的大規(guī)模內(nèi)容具有挑戰(zhàn)性。本文提出的方案可以通過對分布式用戶數(shù)據(jù)流行程度的模型進(jìn)行訓(xùn)練來學(xué)習(xí)最佳的緩存策略，該模型還考慮了通信成本、當(dāng)前需求和用戶提供的信息。學(xué)習(xí)過的模型能夠?qū)Σ煌膬?nèi)容進(jìn)行預(yù)測。因此，系統(tǒng)可以緩存所需的內(nèi)容，減少傳輸延遲。該方案還增強了緩存過程中用戶數(shù)據(jù)的安全性和隱私性，實現(xiàn)了全局最優(yōu)的緩存策略。

邊緣計算卸載：由于區(qū)塊鏈的維護(hù)和更新的融合需要密集的計算，對于邊緣服務(wù)器來說，根據(jù)適用的約束執(zhí)行計算是一項具有挑戰(zhàn)性的任務(wù)。為解決這個問題，本文將計算任務(wù)拆分，并將計算任務(wù)的碎片卸載到附近具有足夠計算資源的參與節(jié)點，以完全利用分布的計算資源。此外，卸載的計算任務(wù)還可以利用目標(biāo)用戶的數(shù)據(jù)來訓(xùn)練計算任務(wù)，這可以進(jìn)一步減少傳輸開銷。提出的區(qū)塊鏈?zhǔn)跈?quán)聯(lián)邦學(xué)習(xí)方案非常適合應(yīng)用于分布式邊緣計算場景。通過區(qū)塊鏈交互和本地保存自己的數(shù)據(jù)，增強了數(shù)據(jù)的安全性和隱私性。聯(lián)邦學(xué)習(xí)方案涉及來自不同用戶的大量訓(xùn)練數(shù)據(jù)，從而提高了訓(xùn)練的全局模型的質(zhì)量。

網(wǎng)絡(luò)數(shù)據(jù)分析：網(wǎng)絡(luò)數(shù)據(jù)分析功能是3GPP在車聯(lián)網(wǎng)技術(shù)中引入的一個新實體，它使5G運營商能夠使用AI監(jiān)控和分析網(wǎng)絡(luò)。通常，網(wǎng)絡(luò)數(shù)據(jù)分析功能可以連接到任何網(wǎng)絡(luò)功能，并可以訪問核心網(wǎng)絡(luò)中的任何數(shù)據(jù)。此外，任何網(wǎng)絡(luò)功能都可以請求網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)分析。通過使用本文提出的聯(lián)邦學(xué)習(xí)方案，核心網(wǎng)絡(luò)中的每個實體都訓(xùn)練其本地機器學(xué)習(xí)模型，并且只將訓(xùn)練好的模型參數(shù)傳輸給網(wǎng)絡(luò)數(shù)據(jù)分析功能實體，應(yīng)用場景如圖1所示。反饋學(xué)習(xí)方案可以顯著降低車聯(lián)網(wǎng)中網(wǎng)絡(luò)功能虛擬化技術(shù)帶來的安全風(fēng)險。

7結(jié)束語

本文針對IoV框架中車輛之間的邊緣數(shù)據(jù)共享問題，為了減輕傳輸負(fù)載并解決提供商的隱私問題，首先提出了一種基于異步聯(lián)邦學(xué)習(xí)和區(qū)塊鏈的新數(shù)據(jù)安全共享架構(gòu)。為了增強模型參數(shù)的安全性和可靠性，進(jìn)一步提出了一個區(qū)塊鏈?zhǔn)跈?quán)的異步聯(lián)邦學(xué)習(xí)框架。通過將區(qū)塊鏈集成到聯(lián)邦學(xué)習(xí)中來維護(hù)經(jīng)過訓(xùn)練的參數(shù)，從而增強安全性和隱私性。最后，本文將資源共享任務(wù)定義為一個組合優(yōu)化問題，同時考慮了資源消耗和學(xué)習(xí)質(zhì)量到基于深度強化學(xué)習(xí)的算法來尋找問題的最優(yōu)解。本文提出的算法可有效提高運行效率，降低計算成本，具有較快的收斂速度和較高的模型精度。