郭帥帥/GUO Shuaishuai，李樹靜/LI Shujing

（ 山東大學，中國 濟南 250062）

隨著人工智能的發(fā)展，各種新型通信對象大量涌現(xiàn)。通信網(wǎng)絡(luò)不僅要支撐人與人（H2H）之間的交互，還要支撐人與智能機器（H2SM）的交互和智能機器與智能機器（SM2SM）的交互。星地融合的全覆蓋和機器-機器意圖通信或?qū)⒊蔀?G使能的創(chuàng)新應(yīng)用[1]。然而，傳統(tǒng)通信系統(tǒng)中信息壓縮和傳輸?shù)姆椒ㄒ呀?jīng)逼近香農(nóng)信息論極限。語義通信有望打破這一瓶頸，成為6G 的關(guān)鍵技術(shù)[2]。語義通信關(guān)注數(shù)據(jù)中蘊含的語義，結(jié)合背景知識提取與任務(wù)相關(guān)的語義，其通信目標是接收端在語義層面上恢復信息?，F(xiàn)有關(guān)于語義通信的研究大多基于信源信道聯(lián)合設(shè)計的思路，在仿真中表現(xiàn)出優(yōu)越的性能，但在神經(jīng)網(wǎng)絡(luò)訓練耗時和通信安全等方面仍存在一些問題[3]。本文從信源信道分離設(shè)計的角度出發(fā)，提出了一種基于語義重要度構(gòu)造不等錯誤保護的傳輸機制。

1 傳統(tǒng)通信與語義通信

傳統(tǒng)通信以香農(nóng)經(jīng)典信息論為指導，按照技術(shù)堆疊的思路發(fā)展，系統(tǒng)復雜度和對資源的消耗都不斷提高。語義通信拓展香農(nóng)信息論，挖掘信息的語義維度，實現(xiàn)信息的高度抽象表征和智能簡約傳輸。本節(jié)將從系統(tǒng)組成和理論基礎(chǔ)兩方面討論傳統(tǒng)通信和語義通信之間的異同。

1.1 系統(tǒng)組成

傳統(tǒng)通信系統(tǒng)模型如圖1所示，在信源到信宿之間采用信源、信道分離編解碼。信源編碼把經(jīng)過采樣和量化的模擬信號變換成數(shù)字脈沖，信道編碼按照一定的協(xié)議對信息進行糾、檢錯編碼，以彌補由高斯白噪聲（AWGN）、信道衰落等引起的信息錯誤。信源、信道譯碼是編碼過程的逆過程。

▲圖1 傳統(tǒng)通信系統(tǒng)模型

信源信道聯(lián)合設(shè)計的語義通信系統(tǒng)模型如圖2所示，該模型除采用信源信道聯(lián)合編碼外，還引入了語義編解碼功能塊。語義編碼器和語義解碼器都會使用神經(jīng)網(wǎng)絡(luò)。語義編碼器從要傳輸?shù)臄?shù)據(jù)中提取出與任務(wù)相關(guān)的語義信息，并進行語義編碼，降低傳輸數(shù)據(jù)的維數(shù)；語義解碼器接收語義信息，并根據(jù)背景知識進行語義恢復。在這個過程中存在兩種噪聲，即物理信道中的物理噪聲和語義信道中的語義噪聲。背景知識庫不匹配，或者傳輸內(nèi)容存在歧義，都是語義噪聲的來源[3]。語義噪聲的存在可能使信源和信宿之間產(chǎn)生誤解，導致語義失真。建立知識庫可以解決這一問題。語義通信系統(tǒng)是一種基于知識的系統(tǒng)[3]。背景知識庫的建立十分耗時，它在訓練的過程中通過對環(huán)境的感知學習不斷更新，但發(fā)送端和接收端所處環(huán)境與學習過程不同會導致兩者的知識庫不匹配[4]。通過收發(fā)端知識庫共享可以減少這種不匹配，提高語義通信的準確性。但在實際應(yīng)用中，出于對通信開銷和隱私保護等因素的考慮，背景知識完全共享難以實現(xiàn)。

▲圖2 信源信道聯(lián)合設(shè)計的語義通信系統(tǒng)模型

信源信道分離設(shè)計的語義通信系統(tǒng)模型如圖3 所示。信源信道的編解碼和調(diào)制解調(diào)可使用經(jīng)典的技術(shù)。添加一個訓練好的神經(jīng)網(wǎng)絡(luò)可使系統(tǒng)根據(jù)背景知識對數(shù)據(jù)進行學習。引入神經(jīng)網(wǎng)絡(luò)是為了識別數(shù)據(jù)的語義重要度，以便對具有不同語義重要度的數(shù)據(jù)設(shè)置差異化的傳輸機制：重要度高的語義信息使用比特保護能力強的傳輸機制，重要度低的語義信息使用比特保護能力弱的傳輸機制。

▲圖3 信源信道分離設(shè)計的語義通信系統(tǒng)模型

1.2 經(jīng)典信息論與語義信息論

信息論是建立在概率論的基礎(chǔ)上的，香農(nóng)在文獻[5] 中引入了信息熵的概念，以比特為單位衡量信息量，為通信過程建立數(shù)學模型，這奠定了通信的理論基礎(chǔ)。對于特定的傳輸任務(wù)，如何衡量語義信息量，目前理論研究尚不完備。

1）信息熵與語義熵

經(jīng)典信息論用信息熵H(X)表示無損傳輸?shù)男旁磯嚎s上限。對于給定的信源X，其信息熵可以表示為：

信息熵的計算只考慮原始數(shù)據(jù)，而語義熵的計算還需要考慮語義。例如文獻[6]從邏輯概率角度出發(fā)，將香農(nóng)的通信理論從語法層面擴展到語義層面，定義了句子x的語義熵：

其中，P(x)是句子的邏輯概率。然而，這種定義存在邏輯悖論問題，且不具有普適性。從本質(zhì)上講，語義信息只是原始數(shù)據(jù)有損壓縮后的信息。對此，我們先定義語義失真測度，然后依據(jù)失真測度推導率失真定理，再根據(jù)信息熵是無失真編碼碼率的下界，將語義熵描述為語義失真最小的編碼碼率的下界。這種定義方式具有普適性且與傳統(tǒng)信息論邏輯自洽，有利于理論及其支撐下的編碼技術(shù)的平滑演進。

2） 傳統(tǒng)信道容量與語義信道容量

信道傳輸?shù)男畔⒘靠梢杂尚诺垒斎隭和信道輸出Y間的互信息表示，互信息表達式為：

其中，條件熵H(X|Y)表示信道傳輸中信息量的損失。高斯信道容量取上述互信息的最大值，計算公式為：

其中，B 表示系統(tǒng)帶寬，P 表示輸入信號平均功率限制，N0代表噪聲功率的譜密度。傳統(tǒng)通信中信道容量的大小與傳輸?shù)膬?nèi)容無關(guān)，而語義信道容量既與通信系統(tǒng)本身有關(guān)，也與傳輸任務(wù)有關(guān)。文獻[6] 還開發(fā)了語義信道容量的定理。假設(shè)X 代表信道輸入，Z 是從中提取的語義特征，Y 為信道的輸出，離散無記憶信道的語義信道容量可以表示為：

其中，I(X; Y)表示語法信道的性能，C = sup{I(X; Y)}。H(X|Z)代表語義編碼后的歧義，表示語義編碼器的性能。代表接收消息的平均邏輯信息，其值越大表示接收者對接收到的消息的解釋能力越強。在語法信道容量的基礎(chǔ)上，語義信道容量的大小取決于

3） 率失真與語義率失真

率失真理論也叫有損信源編碼定理。對于給定的最大平均失真D*，率失真函數(shù)R(D*)給出傳輸比特率的下限[7]：

其中，失真D與X和Y的距離有關(guān)。不考慮外部信息，語義率失真要同時考慮傳輸?shù)氖д婧驼Z義層面的失真。文獻[8]中給出了一種計算公式：

其中，Ds是信源X和恢復信息?之間的語義失真，Da是信道噪聲引起的語義表征Z和接收端接收到的語義表征Z?之間的失真。

一些研究人員引入信息瓶頸理論來進行率失真權(quán)衡。文獻[9] 設(shè)計了一種新的損失函數(shù)：

其中，α和β是調(diào)節(jié)互信息項和推理項的權(quán)重的參數(shù)。壓縮項表示X所需的平均位數(shù)。推理項是編碼器處的X和接收器捕獲的?之間的KL 散度，表示接收端推理性能。在文獻[10] 中，作者利用信息瓶頸公式化了邊緣推理系統(tǒng)的率失真權(quán)衡，損失函數(shù)如下：

其中，V是推理任務(wù)，失真項表示推理結(jié)果的不確定性，壓縮項表示給定X條件下的Z?中保留的信息。

2 語義通信系統(tǒng)架構(gòu)

語義通信系統(tǒng)的架構(gòu)有信源信道聯(lián)合設(shè)計和信源信道分離設(shè)計兩種。語義通信的研究工作主要分為兩類：一是以數(shù)據(jù)重建為目標，如文本圖像的高質(zhì)量傳輸；另一個是以執(zhí)行任務(wù)為目標，如圖像的分類、識別、分割和視覺問答等。現(xiàn)有工作主要集中于聯(lián)合信源信道編碼的語義通信系統(tǒng)。本章節(jié)按照數(shù)據(jù)重建導向和任務(wù)執(zhí)行導向的分類方式對相關(guān)研究進行總結(jié)，并提出一種信源信道分離設(shè)計的方案。

2.1 信源信道聯(lián)合設(shè)計的語義通信

1） 面向數(shù)據(jù)重建的語義通信

通信系統(tǒng)傳輸?shù)臄?shù)據(jù)類型主要有圖像、文本和語音3種。面向數(shù)據(jù)重建的通信任務(wù)目標是在接收端恢復信源數(shù)據(jù)。對于此類任務(wù)，語義通信系統(tǒng)借助先驗背景知識庫，僅對提取的語義信息進行編碼傳輸，而不是傳輸全部原始數(shù)據(jù)。大量仿真實驗表明，語義通信系統(tǒng)具有比傳統(tǒng)通信系統(tǒng)更高的魯棒性和更低的通信開銷。

文獻[11] 提出了傳輸高分辨率圖像的方案——基于深度學習的聯(lián)合信源信道編碼（Deep JSCC），將圖像像素值直接映射為復值信道輸入符號。編碼器和解碼器通過兩個卷積神經(jīng)網(wǎng)絡(luò)進行聯(lián)合訓練。該方案分別在CIFAR-10 和Kodak 圖像數(shù)據(jù)集中進行訓練和測試。實驗顯示，在峰值信噪比和結(jié)構(gòu)相似度方面，Deep JSCC 方案性能比傳統(tǒng)的信源信道分離方案更優(yōu)，在低信噪比區(qū)域的優(yōu)勢尤其顯著，且在時變信道上表現(xiàn)出更高的魯棒性。

文獻[12]提出一種用于文本傳輸?shù)姆桨?，將互信息作為損失函數(shù)的一部分，通過恢復句子的含義不僅使系統(tǒng)容量達到最大，還可以使語義錯誤變得最少。文獻[12]還定義了名為句子相似性的新指標，以描述兩個句子在語義信息方面的相似水平。該指標的計算公式如公式（10）所示，其中BΦ代表BERT（一個巨大的用于提取語義信息的預訓練模型）。

文獻[13]設(shè)計了用于語音傳輸?shù)恼Z義通信系統(tǒng)（DeepSC-S），采用了聯(lián)合信源信道編碼的方式，尤其使用了壓縮和激勵（SE）網(wǎng)絡(luò)來提取重要語音語義信息，并在電話系統(tǒng)和多媒體傳輸系統(tǒng)中驗證了模型的適應(yīng)性。結(jié)果表明，在兩種情況下的信號失真比和語音失真感知評估等語音信號指標都優(yōu)于傳統(tǒng)通信。

2） 面向任務(wù)執(zhí)行的語義通信

在面向任務(wù)執(zhí)行的語義通信系統(tǒng)中，發(fā)送端要在知識庫的支持下提取充分且盡量少的語義特征，并且忽略無關(guān)信息，使接收端能夠根據(jù)接收到的語義特征有效地執(zhí)行任務(wù)，同時最大程度地減少通信開銷，提高資源利用率。面向數(shù)據(jù)的通信能夠滿足H2H 通信的需求，而H2SM 通信和SM2SM通信需要更加智能、高效的面向任務(wù)執(zhí)行的通信。

文獻[14] 研究了多用戶語義通信，并將圖像檢索、機器翻譯和視覺問答（VQA）3個智能任務(wù)作為傳輸目標，基于Transformer 提出了不同的模型。用于VQA 任務(wù)的系統(tǒng)模型在結(jié)合圖像檢索和機器翻譯外，還加入了一種新的用于圖像-文本信息融合的語義解碼器網(wǎng)絡(luò)。

文獻[10]和[15]設(shè)計了一種用于邊緣推理的語義通信系統(tǒng)，將特征提取器和聯(lián)合信源信道編碼器布置在邊緣設(shè)備，利用信息瓶頸原理提取推理任務(wù)的相關(guān)特征，以低延遲進行準確邊緣推理。對于動態(tài)信道條件下的圖像分類任務(wù)，文獻[10]提出了一種可變長度變分特征編碼的端到端架構(gòu)，可根據(jù)信道條件調(diào)整特征編碼的激活維度數(shù)。該架構(gòu)在延遲和準確率方面的性能良好。為彌補該設(shè)備感知的不足，文獻[15]提出了用于多設(shè)備協(xié)作邊緣計算的語義通信方案（VDDIBSR），并開發(fā)了一種選擇性重傳機制，以識別多個邊緣設(shè)備的編碼特征中的冗余。在多視圖圖像分類和多視圖對象識別任務(wù)上進行的實驗表明，VDDIB-SR與現(xiàn)有方法相比，實現(xiàn)了更高的分類和識別精度，同時降低了通信開銷和延遲。

2.2 信源信道分離設(shè)計的語義通信

當傳輸任務(wù)或通信環(huán)境改變時，信源信道聯(lián)合設(shè)計的語義通信系統(tǒng)需要對整個網(wǎng)絡(luò)進行重新訓練。這是一個非常復雜且耗時的過程。此外，信道中直接傳輸?shù)恼Z義特征容易受到攻擊，存在隱私/秘密泄露等風險?，F(xiàn)有的語法通信是基于信源信道分離定理設(shè)計的，且分離設(shè)計的通信技術(shù)已經(jīng)非常成熟，這些都有助于語義通信系統(tǒng)信源信道的分離設(shè)計。

文獻[16]提出了一種語義通信信號成形（SSSC）方法，以最小化語義損失。語義損失通過來自BERT模型的預訓練雙向編碼器測量。該方法將信號集優(yōu)化問題轉(zhuǎn)化為受功率約束的矢量優(yōu)化，能夠合理設(shè)計星座圖。因為考慮了每個信號點的語義，所以文中設(shè)計的信號星座是不規(guī)則的。語義相似度越高的信號星座點越接近，留出的空間就越多，有利于放置其他信號星座點。這里我們將所提出的SSSC 與二進制相移鍵控和正交相移鍵控等設(shè)計相比較。仿真結(jié)果表明，SSSC在減少語義損失方面能夠帶來顯著性能增益。

本文提出了一種基于語義重要度構(gòu)造不等錯誤傳輸機制的方案?；诒尘爸R，該方案在信源編碼時對語義按重要度進行分類，根據(jù)重要度設(shè)置不同的誤碼率限制并采用不同的傳輸方案（包括信道編碼等），為重要度高的語義信息構(gòu)建強保護傳輸?shù)膫鬏敊C制，為重要度低的語義信息設(shè)計弱保護傳輸機制，用較少的通信資源實現(xiàn)良好的通信性能。

系統(tǒng)模型如公式（11）所示。對于要傳輸?shù)臄?shù)據(jù)X，根據(jù)背景知識將其語義重要度從低到高劃分為n類，原始數(shù)據(jù)X 也分為n 組。對應(yīng)地，傳輸機制也分為n 個等級，保護性能的強弱與等級高低一致。

我們在AWGN信道下用Mnist 數(shù)據(jù)集進行仿真實驗，使用神經(jīng)網(wǎng)絡(luò)識別圖片上的數(shù)字。不失一般性，我們假設(shè)語義重要度與數(shù)值大小一致（9 對應(yīng)的重要度最高，0 對應(yīng)的重要度最低），并與不區(qū)分語義重要度的傳統(tǒng)通信方法進行對比。圖4給出了在實現(xiàn)相同的誤比特率（BER）條件下，信源信道分離的語義通信系統(tǒng)與傳統(tǒng)通信系統(tǒng)BER性能對比。仿真中，重要數(shù)據(jù)對應(yīng)數(shù)字9，共1 000 張圖片，采用（7，4）漢明碼+4符號正交幅度調(diào)制（4 QAM）;次要數(shù)據(jù)對應(yīng)數(shù)字0，共1 000張圖片，采用（7，4）漢明碼+64 QAM。為了公平對比，我們采用傳統(tǒng)通信方案傳輸這2 000張圖片，不進行重要度區(qū)分，均采用（7，4）漢明碼+16 QAM調(diào)制。仿真結(jié)果顯示，在BER=10-3時，我們所提的語義重要度感知的通信方法比傳統(tǒng)通信方案節(jié)省了約3 dB 的功率。這一結(jié)果表明，區(qū)分語義重要度能夠更好地保障重要數(shù)據(jù)的傳輸，從而節(jié)約通信資源。

▲圖4 信源信道分離設(shè)計的語義通信與傳統(tǒng)通信方案的性能對比

3 語義通信的開放問題

1）近年來，深度學習取得了巨大的進步，其在語義通信中的應(yīng)用彌補了概率統(tǒng)計等理論基礎(chǔ)的不足，使語義通信再次成為研究熱點。但深度學習的可解釋性差，語義信息度量、語義傳輸容量等基礎(chǔ)理論問題仍未突破，語義通信的研究仍然缺乏一種通用的科學理論指導。

2）現(xiàn)有語法通信是基于信源信道分離定理而設(shè)計的，而目前語義通信系統(tǒng)的研究幾乎全部采用信源信道聯(lián)合設(shè)計的方法。通信網(wǎng)絡(luò)中任何一個節(jié)點都有可能遭受攻擊，而語義特征的提取是基于背景知識庫的。按照理想的設(shè)計思路，在背景知識未知的情況下，系統(tǒng)中傳輸?shù)男畔⑹菬o意義的。也就是說，語義特征提取與語義編碼的過程為語義通信提供了天然的加密層。實際上這種加密是否有效還有待考證。

4 結(jié)束語

傳統(tǒng)的語法通信已經(jīng)逼近香農(nóng)定理的極限，在原有思路上提升性能只能依靠技術(shù)的堆疊，而這也帶來了系統(tǒng)復雜度和能耗的提高。語義通信提供了一條新的發(fā)展思路，旨在構(gòu)建“智能、簡約、達意”的通信系統(tǒng)，且其在理論和技術(shù)方面都具有光明的發(fā)展前景和廣闊的研究空間。