范偉健,王永濱

（中國傳媒大學智能融媒體教育部重點實驗室，北京 100024）

1 引言

隨著社交網(wǎng)絡(luò)被大眾廣泛使用，信息的數(shù)字化傳播方式潛移默化地改變了公共媒體空間的整體結(jié)構(gòu)。人們可以通過微信、微博、自媒體等各種網(wǎng)絡(luò)平臺便捷地獲取大量信息。但在享受這些便利的同時，大眾也必須面對一些別有目的的信息傳播帶來的一系列問題，如過濾氣泡，虛假信息，政治分化和仇恨言語等。

例如，在2016年美國總統(tǒng)大選期間，一條關(guān)于選舉的虛假新聞在世界范圍廣泛傳播［1］。虛假信息的影響范圍已經(jīng)擴展到了全球。此外，Covid-19疫情爆發(fā)以來，其相關(guān)信息也成為了全球互聯(lián)網(wǎng)錯誤信息的主要話題［2］。

在網(wǎng)絡(luò)與社會現(xiàn)實的不斷交互下，“后真相”現(xiàn)象也不斷增多，反映著當前網(wǎng)絡(luò)輿論場域一種不信任、無法形成共識的狀態(tài)［3］。針對數(shù)字化信息的定量分析與自動檢測成為一個亟待解決的社會問題。為了能夠更快更好地解決這一問題，郭斌等人提出了一個跨學科研究方向稱為“認知安全（Cognition Security,CogSec）”，定義為通過了解人與虛假新聞之間的互動模式、認知行為以及社會影響與傳播機制，來探索識別虛假新聞、維護人類認知安全的有效途徑［4］。

除了上述提到的內(nèi)容，人工智能技術(shù)的發(fā)展對數(shù)字化信息的識別與審核提出了更高的要求：從原先人工創(chuàng)作到人機協(xié)作或機器生成的文本、圖像和音視頻內(nèi)容［5］。例如，通過深度偽造技術(shù)（Deepfake）生成真實人物從未說過的音頻或篡改真實的視頻內(nèi)容［7］。這類內(nèi)容被一些有心之人用于偽造政客言論和不實證據(jù)，嚴重影響了公眾輿論和政治局勢［7］。

綜上所述，公共空間數(shù)字化轉(zhuǎn)型對輿論形成、傳播過程和大眾認知安全都具有重大影響。為了能夠在巨量數(shù)字化信息中保護大眾安全，需要計算機科學、語言學、社會學、心理學、法學、神經(jīng)科學、認知科學以及腦科學等多角度的綜合研究。本文首先從CogSec的概念出發(fā)，調(diào)研了現(xiàn)有研究的相關(guān)概念，以及涉及認知安全防護現(xiàn)存的主要研究任務；其次，調(diào)研現(xiàn)有用于大眾認知安全防護的關(guān)鍵技術(shù)和進展；最后，討論了大眾認知安全防護的主要挑戰(zhàn)和未來方向。

2 認知安全防護

郭斌等人在明確定義認知安全和認知安全防護的概念后提出了認知安全領(lǐng)域。其原始出發(fā)點主要是針對虛假新聞，并延伸至關(guān)于虛假新聞帶來的一系列問題的解決技術(shù)。具體定義如下［4］：

定義1認知安全：指虛假新聞對人類認知的潛在影響，包括錯誤認知、不實知識獲取、有偏見的決策等。

定義2認知安全防護：致力于有效干預，確保人的認知安全，包括認知機制研究、信息傳播模式挖掘、虛假新聞早期檢測、惡意機器人檢測等技術(shù)。

在調(diào)研過程中發(fā)現(xiàn)虛假新聞并不能代表造成當前網(wǎng)絡(luò)環(huán)境中有害現(xiàn)象的數(shù)字化信息。表1總結(jié)了包括虛假新聞在內(nèi)的現(xiàn)有研究涉及到的數(shù)字化信息的相關(guān)概念［8-12］。

表1 現(xiàn)有研究工作中出現(xiàn)的相關(guān)概念

在本文中，將認知安全的概念進行擴充，將虛假新聞延伸至無效信息，并將無效信息定義如下：

定義3無效信息：在網(wǎng)絡(luò)平臺中發(fā)布的信息，且至少屬于以下情況之一：a）沒有包含實質(zhì)內(nèi)容；b）包含不實內(nèi)容；c）具有惡意目的；d）包含未經(jīng)驗證的內(nèi)容。

雖然在現(xiàn)有的研究中還沒有發(fā)現(xiàn)直接研究認知安全防護領(lǐng)域的工作。但現(xiàn)有的一些相關(guān)學科和任務已經(jīng)有了不同程度的進展，其部分成果如下：

（1）社交機器人

社交機器人能夠通過特定程序或算法模仿真實用戶的社交行為，且具有一定自主決策能力［12］。Salge等人指出，推特中有約8.5%的賬戶為社交機器人，并頻繁參與新聞、熱點事件、商業(yè)交流等社交活動［13］。社交機器人最初是為了自動地為用戶提供真實新聞和信息而提出的，但最近有越來越多的社交機器人傳播謠言與有害信息，加劇了輿論沖突［14］。

（2）回音室效應

指在一個相對封閉的網(wǎng)絡(luò)環(huán)境中，一些觀點相近的聲音不斷重復，令處于相對封閉環(huán)境中的大多數(shù)人認為這些觀點就是事實的全部。而該封閉網(wǎng)絡(luò)外部的任何信息，都很難在這個網(wǎng)絡(luò)中傳播或者不會達到這個網(wǎng)絡(luò)中。隨著推薦算法的興起，回音室效應進一步加劇。當用戶總在瀏覽自己喜歡的信息時，其認知行為會被潛移默化地影響［15］。例如，Barberá等人發(fā)現(xiàn)，政治話題的信息主要在具有相似意識形態(tài)偏好的用戶之間傳播［16］。在社交網(wǎng)絡(luò)中，高度同質(zhì)化的回音室效應會降低人們識別無效信息的能力，從而助長無效信息的傳播［17］。

（3）媒體可信度

Jamieson等人的研究表明，新聞媒體在報道事實的同時，經(jīng)常會考慮政府的影響、受眾偏好、贊助商喜好等因素［18］。即媒體由于主觀性而無法公正、客觀地報道新聞事件，是認知偏差的一種表現(xiàn)形式。在各方面的綜合影響下，網(wǎng)絡(luò)媒體往往不經(jīng)過核實就發(fā)布報道，這為無效信息的傳播提供了機會。

（4）虛假新聞和謠言識別

用戶的認知局限性和社交媒體平臺特性等因素導致虛假新聞和謠言的傳播。傳統(tǒng)的虛假新聞和謠言通常以文本模態(tài)進行傳播。然而，網(wǎng)絡(luò)社交平臺的發(fā)展使其擁有了更多的模態(tài)，使其具有更強的吸引力和更大的影響力［19］。

（5）虛假評論

指評論者對產(chǎn)品或服務發(fā)表的內(nèi)容與自身真實感受不一致的評論［20］。評論者發(fā)布虛假評論的主要動機是獲得情感補償和/或財物等利益，如商家出于不良競爭的目的雇傭利益團體中的用戶發(fā)布虛假評論。評論是網(wǎng)絡(luò)口碑的主要傳遞途徑，為用戶提供參考意見，幫助他們了解產(chǎn)品或服務的優(yōu)勢與不足，同時可以使商家進行有針對性的改進。而真實用戶對于虛假評論的識別能力往往較低，難以識別出帶有欺騙性質(zhì)的評論內(nèi)容［21］。

（6）文本生成檢測

當前許多研究表明，文本生成模型已經(jīng)可以生成類似人類語言風格的文本，特別是在語法、流暢性、連貫性和對知識的使用方面［22,23］。文本生成模型已經(jīng)應用在故事生成、對話回復生成、代碼自動補全等多個任務中。然而文本生成模型也面臨著被惡意使用的情況，如虛假新聞、虛假產(chǎn)品評論和垃圾郵件的生成［24］。

3 關(guān)鍵技術(shù)

本部分在上述擴展后概念的基礎(chǔ)上，從認知機制、基于內(nèi)容、基于信息傳播、基于社交行為和新興技術(shù)五個角度概述大眾認知安全防護的關(guān)鍵技術(shù)。

3.1 認知機制

以內(nèi)容交互為核心的網(wǎng)絡(luò)用戶行為，如發(fā)布、轉(zhuǎn)發(fā)、點贊等，會極大地影響數(shù)字化信息的傳播和影響力。了解網(wǎng)絡(luò)平臺上大眾分享、轉(zhuǎn)發(fā)等行為的機制對于他們的認知安全防護至關(guān)重要。

神經(jīng)科學一直被廣泛應用于人機交互的相關(guān)領(lǐng)域。其領(lǐng)域內(nèi)的相關(guān)研究為大眾認知安全防護提供了許多理論基礎(chǔ)。例如，Dmochowski等人發(fā)現(xiàn)相對于文本，人們觀看視頻時大腦活動更加活躍［25］。Falk等人的研究表明小群體的個體神經(jīng)反應可以用來預測大規(guī)模群體的行為［26］。Hasson等人則發(fā)現(xiàn)，不同個體的大腦在觀看復雜場景時，表現(xiàn)出高度一致的行為傾向［27］。

同時還有一些研究旨在學習社交網(wǎng)絡(luò)中的信息分享機制。例如，Scholz等人［28］提出了一個神經(jīng)認知框架來理解信息分享的機制。他們發(fā)現(xiàn)分享操作與用戶自我表達和強化社會聯(lián)系的動機有關(guān)。Hodas等人通過分析人格類型、情緒、大腦反應以及人們分享的內(nèi)容類型之間的聯(lián)系發(fā)現(xiàn)用戶的分享行為可以通過性格和當時的情緒狀態(tài)來預測［29］。Falk等人通過觀察用戶翻閱信息時的神經(jīng)反應發(fā)現(xiàn)個體在信息分析的初始過程中會產(chǎn)生更大的心理活動［30］。

除了神經(jīng)科學領(lǐng)域外，Lewandowsky等人從心理學角度，通過觀察用戶對錯誤信息的記憶程度，研究認知因素在識別錯誤信息中的作用。并將大眾在面對錯誤信息時的認知問題分為持續(xù)影響效應、說服難度、傾向接受自己的知識和對錯誤信息的接受四類［31］。

3.2 基于內(nèi)容特征的關(guān)鍵技術(shù)

盡管網(wǎng)絡(luò)媒體平臺上數(shù)字化信息包含許多社會語境內(nèi)容，但建立可靠的識別系統(tǒng)所必需的主要特征來源是直接從信息內(nèi)容中提取的特征。而基于內(nèi)容特征的關(guān)鍵技術(shù)可以分為文本表征分析、心理語言學因素分析和多模態(tài)表征分析。

（1）文本表征分析

現(xiàn)有網(wǎng)絡(luò)無效信息的識別通常依賴于文本內(nèi)容中的寫作風格或語言特征（如詞匯特征、句法特征、和主題特征等）。最直接的文本表征的方法是將識別任務視為文本分類問題，并使用 RST［32］，LIWC［33］和text-CNN［34］等技術(shù)進行研究。例如，Egele等人［35］使用七個文本內(nèi)容特征對網(wǎng)絡(luò)信息進行建模，然后通過判斷之后發(fā)布的信息是否偏離已創(chuàng)建的模型來檢測社交機器人。

此外，真實的信息往往會引發(fā)用戶的悲傷、快樂和信任的情感，而虛假新聞往往會引發(fā)公眾的驚訝、恐懼和厭惡。Alonso等人提出了一種融合多種情感特征提取器的虛假信息檢測方法［36］。

（2）心理語言學因素分析

由心理學相關(guān)研究表明，基于事實的陳述在內(nèi)容和質(zhì)量上都與虛構(gòu)的陳述不同。寫作風格特征旨在用可量化的特征來識別不同的內(nèi)容風格。Potthast等人［37］就利用真實新聞和虛假新聞在寫作風格上的差異，提出了一種用于檢測虛假新聞的元學習模型。Marouf等人針對網(wǎng)絡(luò)不當言論數(shù)據(jù)集，使用LIWC工具構(gòu)建了六種不同心理學因素特征［38］。

（3）多模態(tài)表征分析

帶有視覺內(nèi)容的信息要比純文本信息傳播的速度更快，并且越來越多的信息通過圖像進行傳播，已經(jīng)有大量研究聚焦于預測帶有誤導內(nèi)容多模態(tài)信息。

Garimella和Eckles從WhatsApp收集了2500幅圖像樣本，并進行標注。他們根據(jù)這個數(shù)據(jù)集進行了不同類型的圖像識別研究，如斷章取義的圖像、篡改圖像、誤導圖像等。該研究還發(fā)現(xiàn)，帶有暴力因素的圖像比其他圖像信息傳播速度更快［39］。

Volkova等人提出了使用文本、視覺和詞匯特征檢測誤導信息的模型［40］。Zlatkova等人通過比較文本和圖像之間不同特征組的表現(xiàn)來完成關(guān)于圖像聲明的真實性判斷任務［41］。Wang等人在分析了社交媒體圖像推文后，發(fā)現(xiàn)帶有篡改圖像的推文會有更高的用戶參與度［42］。

3.3 基于信息傳播的關(guān)鍵技術(shù)

建模信息如何傳播有助于分析無效信息的傳播機制，為阻止無效信息的擴散提供理論依據(jù)和技術(shù)支撐。在社會學、物理學和計算機科學中，社交網(wǎng)絡(luò)中的信息傳播一直是研究熱點之一。信息傳播建模、信息源檢測和影響力最大化分析等研究都為大眾認知安全防護提供研究路徑與可靠方法。

（1）傳播機制

社交網(wǎng)絡(luò)中的虛假信息往往會導致社區(qū)內(nèi)的同質(zhì)化和社區(qū)間的兩極分化，且虛假內(nèi)容傳播的早期階段往往表現(xiàn)為病理模式。Friggeri等人通過分析Facebook上的謠言傳播發(fā)現(xiàn)，在社交平臺中謠言的擴散深度比普通信息更深［43］。Liu等人發(fā)現(xiàn)真實新聞和虛假新聞的傳播模式存在明顯差異［44］。

為了理解社交網(wǎng)絡(luò)的脆弱性，提高用戶對虛假新聞的應變能力，Wang等人提出了一個多變量跳躍傳播引導框架，該框架對輿論的傳播動態(tài)進行建模，引導輿論達到理想狀態(tài)［45］。Martins等人提出了一個觀點傳播模型CODA，將用戶的不同觀點視為離散變量，將每個觀點建模為連續(xù)的觀點函數(shù)，目標用戶根據(jù)鄰居觀點的貝葉斯描述來決定是否改變自己的觀點［46］。Yang等人為了描述用戶角色之間的交互操作及其對信息傳播的影響，提出了角色感知的信息傳播模型［47］。Gilani等人通過分析真實用戶和社交機器人在推特上發(fā)布和轉(zhuǎn)發(fā)的行為，發(fā)現(xiàn)社交機器人在信息傳播中起著非常重要的作用［48］。

（2）關(guān)鍵節(jié)點影響機制

Morone等人將滲透理論引入到社會網(wǎng)絡(luò)影響節(jié)點發(fā)現(xiàn)中，發(fā)現(xiàn)大量弱連接（低度）節(jié)點可以成為最優(yōu)影響者［49］。Amati利用動態(tài)轉(zhuǎn)發(fā)圖中節(jié)點的度、親密度、之間度和PageRank中心度來尋找Twitter中最有影響力的用戶［50］。Qiu等人結(jié)合網(wǎng)絡(luò)嵌入、圖卷積和注意力機制提出一個基于深度學習的影響力預測框架，學習用戶潛在的社會表征來評估其社會影響［51］。

（3）影響機制

社交網(wǎng)絡(luò)用戶是否會被影響，取決于其相關(guān)社區(qū)的組成部分和結(jié)構(gòu)，而不是社區(qū)的規(guī)模大小。因此，以目標用戶的鄰居為代表的不同社會環(huán)境和影響可以被認為是社會影響的驅(qū)動機制。Kramer等人的研究證明了Facebook中每個用戶的情緒都會受到其他用戶的影響［52］，這為大規(guī)模的社會影響和傳染提供了實驗基礎(chǔ)。

Abebe等人從人們心理敏感性變化的角度研究了信息傳染的過程，并提出了一個社會觀點的動態(tài)模型，綜合利用群體觀點的最大化和最小化來影響社會輿論［53］。Messias等人則從影響力的角度出發(fā)，提出了惡意社交機器人的行為策略，包括定期發(fā)布某個熱門話題的推文、不同的發(fā)布間隔和內(nèi)容完整性［54］。Abokhodair等人通過分析社交機器人的發(fā)布行為、社交結(jié)構(gòu)、群體行為特征及影響網(wǎng)絡(luò)，發(fā)現(xiàn)社交機器人如果擁有更多類似人的社交行為就會提高其傳播影響力［55］。

3.4 基于社交行為技術(shù)

社交行為主要包含用戶的發(fā)布、轉(zhuǎn)發(fā)、評論和點贊數(shù)等操作以及這些操作的時間信息。分析和挖掘現(xiàn)有網(wǎng)絡(luò)平臺中社交行為數(shù)據(jù)具有重要的價值。

Ma等人利用時間序列的社會語境特征來檢測網(wǎng)絡(luò)謠言［56］。Jin等人通過挖掘評論中支持或反對意見，提出了一種用于謠言檢測的可信度傳播網(wǎng)絡(luò)模型［57］。Ruchansky等人通過結(jié)合信息的文本特征、用戶評論和發(fā)布者特征，提出了基于RNN的虛假新聞檢測模型［58］。Shu等人通過研究發(fā)布者、信息內(nèi)容和用戶之間的社會關(guān)系，提出了一個用于對人與內(nèi)容的交互進行建模的關(guān)系嵌入網(wǎng)絡(luò)，并將該模型用于檢測虛假信息［59］。

Boshmaf等人利用社交機器人與人類用戶在好友數(shù)、發(fā)文時間間隔、發(fā)布內(nèi)容和賬戶屬性等方面的差異特征，提出了一種基于隨機森林的社交機器人檢測方法［60］。Haustein等人分析真實推特用戶和社交機器人在轉(zhuǎn)發(fā)科學類文章方面的差異，發(fā)現(xiàn)社交機器人在涉及主題、來源等方面的轉(zhuǎn)發(fā)往往沒有主題聚焦的特性［61］。此外，Varol等人發(fā)現(xiàn)，與人類用戶相比，社交機器人的社交行為選擇更加隨意，它們與真實用戶之間的雙向交互更少［62］。

3.5 新興技術(shù)

目前最先進的文本生成模型已經(jīng)能夠生成接近人類語言風格的文本，特別是在語法、流暢性、連貫性以及對現(xiàn)實世界知識的使用上。文本生成模型的發(fā)展使其能夠服務于各種各樣的應用中，包括故事生成、對話回復生成、代碼自動補全等。然而，文本生成模型也可能被濫用，如虛假新聞生成、虛假產(chǎn)品評論生成和垃圾郵件等。Gao等人發(fā)現(xiàn)推特中63%的無效信息是基于模板生成的［63］。因此，構(gòu)建能夠最大限度地減少文本生成模型誤用帶來的威脅的工具是很重要的。

表2 列舉了現(xiàn)有的一些典型的文本生成模型［24］。對于語言模型任務，可以在特定領(lǐng)域的語料庫上對這些訓練過的文本生成模型進行微調(diào)，以生成適配各自領(lǐng)域的文本。例如，Adelani等人對GPT-2模型在產(chǎn)品評論的特定領(lǐng)域進行微調(diào)，生成了模仿真實用戶評論風格的虛假評論［64］。

表2 文本生成模型

而在最近的GROVER相關(guān)研究中，有研究者發(fā)現(xiàn)從文本生成模型中檢測虛假信息的最佳模型還是其模型本身。此外，RoBERTa檢測器可以泛化到在其預訓練期間未看到的數(shù)據(jù)源上，該檢測器可以在推文中準確地識別出機器生成的推文，性能表現(xiàn)遠遠超過了傳統(tǒng)的機器學習模型和復雜神經(jīng)網(wǎng)絡(luò)模型。同時，在檢測由文本生成模型生成的新聞文章和由微調(diào)的GPT-2模型生成的產(chǎn)品評論任務中，RoBERTa檢測器也優(yōu)于現(xiàn)有的模型。

4 挑戰(zhàn)與未來

雖然在大眾認知安全防護這一新興研究領(lǐng)域內(nèi)還沒有針對性的研究，但相關(guān)學科和相似任務的研究已經(jīng)為該領(lǐng)域研究提供了初步的理論基礎(chǔ)和技術(shù)支撐。今后，這一領(lǐng)域仍有許多研究挑戰(zhàn)與實際問題需要解決，本部分將討論其中一些急需解決的問題。

（1）對于大眾認知安全防護，首先要了解人類對無效信息的認知機制。而認知機制的研究涉及認知科學、心理學、神經(jīng)科學等多個學科。針對當前網(wǎng)絡(luò)媒體平臺的發(fā)展，需要深入研究具體的認知問題。例如，個體認知對群體行為的影響；滿足用戶認知偏好的無效信息的特征；社交行為對個體認知的影響等。

（2）信息傳播模型和影響力模型是人類社會的一種普遍現(xiàn)象，它有助于社會網(wǎng)絡(luò)中觀點動力學、行為塑造和認知偏好的研究。因此對社交網(wǎng)絡(luò)上有影響力的用戶進行評估，最大化地提高其在信息傳播過程中的影響力，有助于中斷無效信息的傳播進程。這就需要加快研究在新的網(wǎng)絡(luò)媒介中信息的傳播理論，以及真實信息對大眾的快速影響最大化機制。

（3）網(wǎng)絡(luò)媒體平臺中的信息通常具有極高的時效性，平均傳播時間不超過三天，且無效信息的傳播往往在早期階段就已造成極大的影響。因此，針對無效信息的早期發(fā)現(xiàn)是一個重要的課題。盡管關(guān)于虛假新聞的早期發(fā)現(xiàn)這一相似任務已經(jīng)進行了一些研究，但其性能表現(xiàn)仍有待提高。

（4）隨著深度學習和大規(guī)模預訓練模型的成果應用，現(xiàn)有的模型研究通常只給出相關(guān)任務的結(jié)果，而針對結(jié)果的決策依據(jù)幾乎沒有解釋。然而，無效信息挖掘過程中的可解釋性以及模型透明性對于說服大眾具有不可替代的作用。隨著可解釋機器學習的發(fā)展和知識圖譜的引入，深度學習模型也具有了一定的可解釋，但為了能夠更好地獲取大眾的信任，如概率圖模型、基于復雜規(guī)則的知識圖譜和人機交互機制等可解釋技術(shù)依舊需要進一步探索。

5 結(jié)論

本文針對認知安全這一全新的研究課題，為了更加準確描述認知安全防護的內(nèi)容，在通過相關(guān)領(lǐng)域和研究任務的充分調(diào)研后，擴展了認知安全的相關(guān)概念并回顧了一些現(xiàn)有研究的代表性成果，包括社交機器人、回聲室效應、媒體可信度、文本生成檢測等。然后，本文通過認知機制、基于內(nèi)容、基于社交網(wǎng)絡(luò)、基于社交行為和新興技術(shù)五個角度分析了涉及大眾認知安全防護的現(xiàn)有研究工作進展，并討論了這一新興領(lǐng)域所面臨的實際問題。大眾認知安全防護的研究仍處于起步階段，相關(guān)領(lǐng)域的研究人員仍面臨許多挑戰(zhàn)和問題。