朱世強(qiáng)，王永恒

（之江實(shí)驗(yàn)室，杭州 311121）

一、前言

隨著移動(dòng)互聯(lián)網(wǎng)、數(shù)字媒體、人工智能（AI）等技術(shù)及應(yīng)用的飛速發(fā)展，內(nèi)容安全的重要性越來(lái)越突出。內(nèi)容安全的內(nèi)涵包括兩個(gè)層面，第一個(gè)層面是指對(duì)信息內(nèi)容的保護(hù)，如防竊取、防篡改等，這涉及信息內(nèi)容保密、知識(shí)產(chǎn)權(quán)保護(hù)、信息隱藏和隱私保護(hù)等諸多方面；第二個(gè)層面是指信息內(nèi)容符合政治、法律、道德層次的要求。內(nèi)容安全從多個(gè)方面對(duì)國(guó)家和社會(huì)產(chǎn)生重要影響，從反動(dòng)、暴恐等影響國(guó)家安全的高危內(nèi)容，到色情、賭博等影響社會(huì)民生的風(fēng)險(xiǎn)內(nèi)容，再到垃圾廣告等影響企業(yè)業(yè)務(wù)和個(gè)人生活的內(nèi)容等。同時(shí)，虛假新聞、網(wǎng)絡(luò)謠言等內(nèi)容造假已經(jīng)成為影響目前內(nèi)容安全治理最大的問(wèn)題之一。從信息審查的角度，數(shù)字信息來(lái)源多樣、內(nèi)容復(fù)雜、數(shù)量龐大、傳播速度迅猛，對(duì)事實(shí)核查高效、快速、準(zhǔn)確能力的要求越來(lái)越高。新型冠狀病毒肺炎疫情初期，虛假新聞和網(wǎng)絡(luò)謠言曾經(jīng)給疫情防控工作造成嚴(yán)重阻礙。隨著當(dāng)前網(wǎng)絡(luò)直播的流行，一些不法分子開(kāi)始利用直播進(jìn)行各種違法犯罪活動(dòng)。對(duì)海量的直播數(shù)據(jù)進(jìn)行實(shí)時(shí)的內(nèi)容監(jiān)管也是當(dāng)前亟待解決的問(wèn)題。

近年來(lái)，人工智能的快速發(fā)展給內(nèi)容安全帶來(lái)深刻的影響?；谌斯ぶ悄艿膬?nèi)容安全算法都可能遭受數(shù)據(jù)樣本污染和對(duì)抗性算法攻擊，從而導(dǎo)致決策錯(cuò)誤。基于深度學(xué)習(xí)的偽造圖像、虛假新聞、語(yǔ)音詐騙等內(nèi)容欺騙技術(shù)，已經(jīng)達(dá)到以假亂真的效果。智能推薦算法被不法分子利用，使不良信息的傳播更加具有針對(duì)性和隱蔽性。另一方面，人工智能的發(fā)展也給內(nèi)容安全帶來(lái)了新的機(jī)遇。人工智能，特別是深度學(xué)習(xí)和知識(shí)圖譜等技術(shù)的發(fā)展，能夠有效提高內(nèi)容鑒別、保護(hù)及違規(guī)審查等能力，加速將內(nèi)容安全治理向自動(dòng)化、智能化、高效化、精準(zhǔn)化方向推進(jìn)。

2019年3月，中國(guó)工程院?jiǎn)?dòng)了“新一代人工智能安全與自主可控發(fā)展戰(zhàn)略研究”重大咨詢(xún)項(xiàng)目，本論文作為其中“基于人工智能的內(nèi)容安全與攻防戰(zhàn)略研究”課題研究成果的學(xué)術(shù)性展示，從基于人工智能的內(nèi)容安全重大戰(zhàn)略需求出發(fā)，梳理了相關(guān)關(guān)鍵技術(shù)及應(yīng)用，總結(jié)了國(guó)內(nèi)外的研究現(xiàn)狀與發(fā)展趨勢(shì)，提出了我國(guó)基于人工智能的內(nèi)容安全發(fā)展戰(zhàn)略建議。

二、基于人工智能的內(nèi)容安全關(guān)鍵技術(shù)及 應(yīng)用

（一）基于人工智能的內(nèi)容安全關(guān)鍵技術(shù)

1.基于人工智能的內(nèi)容偽造與保護(hù)

人工智能特別是深度學(xué)習(xí)的發(fā)展給內(nèi)容偽造提供了極大的便利。深度偽造技術(shù)是一種利用人工智能程序和深度學(xué)習(xí)算法實(shí)現(xiàn)視頻、音頻模擬和偽造的技術(shù)[1,2]。深度偽造涉及的技術(shù)主要有自編碼器 [3]及生成式對(duì)抗網(wǎng)絡(luò)[4]等。目前，深度偽造技術(shù)不僅能偽造人臉，更可以模擬真人聲音及創(chuàng)造出實(shí)際不存在的人物圖像。結(jié)合基于人工智能的自然語(yǔ)言生成技術(shù)及社交網(wǎng)絡(luò)傳播，深度偽造大幅度促進(jìn)了虛假新聞的發(fā)展[5]。這種具有數(shù)字自動(dòng)化特征的深度偽造技術(shù)，借助各類(lèi)媒體傳播虛假信息，具有極強(qiáng)的傳播勢(shì)能，可實(shí)現(xiàn)大規(guī)模、潛伏性的政治操縱和控制，因而大大加劇網(wǎng)絡(luò)空間帶來(lái)的政治安全威脅的影響力和對(duì)抗復(fù)雜性[6]。

與內(nèi)容偽造技術(shù)相對(duì)應(yīng)，近期涌現(xiàn)出大量虛假內(nèi)容檢測(cè)技術(shù)。在基于人工智能的深度偽造內(nèi)容檢測(cè)方面，特征提取主要有生成式對(duì)抗網(wǎng)絡(luò)流水線(xiàn)（GAN-Pipeline）、深度學(xué)習(xí)、隱藏分析（Steganalysis）等技術(shù)，分類(lèi)器主要有支持向量機(jī)（SVM）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）等[7]。在基于人工智能的虛假新聞檢測(cè)方面，有基于知識(shí)庫(kù)、寫(xiě)作風(fēng)格、傳播特性、發(fā)源地等多種方法，涉及深度學(xué)習(xí)、知識(shí)庫(kù)、圖數(shù)據(jù)挖掘等多項(xiàng)技術(shù)[8]。當(dāng)前在新類(lèi)型虛假新聞檢測(cè)、虛假新聞早期檢測(cè)、跨域檢測(cè)及可解釋檢測(cè)等方面還存在很大挑戰(zhàn)。

2.面向內(nèi)容分析的人工智能模型與算法安全

基于人工智能的內(nèi)容分析涉及文本、圖像、視音頻處理的各類(lèi)機(jī)器學(xué)習(xí)模型和算法，這些模型和算法本身的安全性對(duì)內(nèi)容安全有至關(guān)重要的影響。機(jī)器學(xué)習(xí)模型和算法安全主要涉及以下幾個(gè)方面 [9]。

（1）投毒攻擊及防御。投毒攻擊的方法是在訓(xùn)練模型時(shí)有意污染訓(xùn)練數(shù)據(jù)，從而破壞模型的可用性和完整性。訓(xùn)練數(shù)據(jù)的污染一般通過(guò)注入一些精心偽造的惡意數(shù)據(jù)樣本來(lái)實(shí)現(xiàn)。

（2）后門(mén)攻擊及防御。后門(mén)攻擊以數(shù)據(jù)和模型兩種方式在神經(jīng)網(wǎng)絡(luò)模型中植入后門(mén)，當(dāng)模型得到特定輸入時(shí)被觸發(fā)，然后導(dǎo)致神經(jīng)網(wǎng)絡(luò)產(chǎn)生錯(cuò)誤輸出，因此非常隱蔽不容易被發(fā)現(xiàn)。

（3）對(duì)抗攻擊及防御。機(jī)器學(xué)習(xí)模型和神經(jīng)網(wǎng)絡(luò)模型很容易受到對(duì)抗樣本的影響。通過(guò)對(duì)原始樣本添加特定的擾動(dòng)，可以使分類(lèi)模型對(duì)新構(gòu)造的樣本產(chǎn)生錯(cuò)誤的分類(lèi)判斷。

（4）模型竊取及防御。模型竊取技術(shù)是指通過(guò)黑盒探測(cè)來(lái)竊取模型或者恢復(fù)訓(xùn)練數(shù)據(jù)成員，比如竊取股票市場(chǎng)預(yù)測(cè)模型和垃圾郵件過(guò)濾模型。

目前每年都有大量新的機(jī)器學(xué)習(xí)算法出現(xiàn)，這些算法的安全已經(jīng)成為普遍關(guān)注的問(wèn)題。模型與算法安全問(wèn)題可以看作防御和攻擊方在信息缺失情況下對(duì)對(duì)方進(jìn)行建模的技術(shù)之間的博弈。在新型魯棒性模型及訓(xùn)練算法、多學(xué)習(xí)器安全問(wèn)題、信息缺失下的系統(tǒng)建模和推理問(wèn)題等方面還有待深入研究。

3.面向內(nèi)容分析的可解釋人工智能

以深度學(xué)習(xí)為代表的人工智能技術(shù)面臨可解釋性難題，將其應(yīng)用于敏感領(lǐng)域內(nèi)容分析時(shí)，缺乏透明度和可理解性的“黑盒”算法很難獲得人們的安全感和信任感。

人工智能模型的可解釋性研究主要有三個(gè)方向 [10]：①深度解釋?zhuān)床捎眯碌纳疃葘W(xué)習(xí)模型去學(xué)習(xí)可用于解釋的特征。很多相關(guān)工作與可視化技術(shù)相結(jié)合，提供更直觀(guān)的解釋。②可解釋模型。傳統(tǒng)的貝葉斯、決策樹(shù)等模型具有很好的可解釋性。當(dāng)前也有很多研究者針對(duì)深度學(xué)習(xí)模型進(jìn)行改進(jìn)，使其具備更好的可解釋性。③模型推理。這種方法把機(jī)器學(xué)習(xí)模型看作一個(gè)黑盒，通過(guò)大量實(shí)驗(yàn)在外部建立一個(gè)新的可解釋模型。一種新型的研究方法是構(gòu)建一套機(jī)器學(xué)習(xí)技術(shù)，該技術(shù)能夠自動(dòng)生成可解釋模型，并且保持較高的學(xué)習(xí)效率。

盡管模型可解釋性研究已取得一些矚目的研究成果，但其研究還處于初級(jí)階段，依然面臨著許多挑戰(zhàn)且存在許多的關(guān)鍵問(wèn)題尚待解決。其中，可解釋性研究當(dāng)前面臨的一個(gè)挑戰(zhàn)是如何設(shè)計(jì)更精確、更友好的解釋方法，消除解釋結(jié)果與模型真實(shí)行為之間的不一致；另一個(gè)挑戰(zhàn)是如何設(shè)計(jì)更科學(xué)、更統(tǒng)一的可解釋性評(píng)估指標(biāo)，以評(píng)估可解釋方法的解釋性能和安全性[11]。

（二）基于人工智能的內(nèi)容安全重要應(yīng)用

1.網(wǎng)絡(luò)輿情分析與監(jiān)管

輿論是“社會(huì)的皮膚”，是反映社會(huì)形勢(shì)的晴雨表。大數(shù)據(jù)及人工智能技術(shù)為輿情分析和研判提供了全新的資源、方法與范式[12]。網(wǎng)絡(luò)輿論的內(nèi)容復(fù)雜，且對(duì)輿情分析實(shí)時(shí)性的要求也比較高。人工智能技術(shù)能夠使網(wǎng)絡(luò)輿情分析更高效和準(zhǔn)確，可大幅減少人工工作的成本。

近年來(lái)基于人工智能的網(wǎng)絡(luò)輿情分析與監(jiān)管獲得廣泛應(yīng)用。百度公司的媒體輿情分析工具面向傳統(tǒng)媒體和新媒體行業(yè)，針對(duì)內(nèi)容生產(chǎn)、觀(guān)點(diǎn)及傳播分析、運(yùn)營(yíng)數(shù)據(jù)展示等業(yè)務(wù)場(chǎng)景，提供輿情分析能力。其政務(wù)輿情分析工具依托網(wǎng)頁(yè)內(nèi)容挖掘能力與中文語(yǔ)義分析技術(shù)支持國(guó)內(nèi)外風(fēng)險(xiǎn)情報(bào)的深度挖掘及城市公眾輿情態(tài)勢(shì)的實(shí)時(shí)感知。騰訊計(jì)算機(jī)系統(tǒng)有限公司的WeTest輿情監(jiān)控工具，通過(guò)分布式爬蟲(chóng)7×24 h抓取主流應(yīng)用市場(chǎng)（應(yīng)用寶等）評(píng)論評(píng)星和主流論壇（百度貼吧等）的用戶(hù)發(fā)帖討論，并智能匯總用戶(hù)評(píng)論，進(jìn)行智能分類(lèi)。通過(guò)情感分析加情感維度提取技術(shù)，智能分析并定位到具體問(wèn)題。2020年中國(guó)信息通信研究院等單位發(fā)起的人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟發(fā)布了《人工智能助力新冠疫情防控調(diào)研報(bào)告》，報(bào)告中指出人工智能和大數(shù)據(jù)在新冠輿情分析中發(fā)揮了重要作用。

2.多媒體內(nèi)容分析與審核

即使是挪威、日本、意大利等標(biāo)榜自由的國(guó)家，互聯(lián)網(wǎng)內(nèi)容審查也在加強(qiáng)力度。密歇根大學(xué)的一個(gè)團(tuán)隊(duì)使用其開(kāi)發(fā)的“審查星球”（Censored Planet）工具（2018年啟動(dòng)的自動(dòng)審查跟蹤系統(tǒng)），在過(guò)去的20個(gè)月中，從221個(gè)國(guó)家收集了超過(guò)210億次內(nèi)容審查的測(cè)量數(shù)據(jù)[13]。近期多媒體數(shù)據(jù)特別是視頻數(shù)據(jù)得到前所未有的增長(zhǎng)并將持續(xù)這種增長(zhǎng)趨勢(shì)。海量的多媒體數(shù)據(jù)遠(yuǎn)遠(yuǎn)超出了人類(lèi)的處理能力，基于人工智能的內(nèi)容分析和審核獲得了廣泛應(yīng)用。

基于人工智能的多媒體內(nèi)容分析主要包括智能審核、內(nèi)容理解、版權(quán)保護(hù)、智能編輯等。其中內(nèi)容審核功能包括鑒黃、暴恐涉政識(shí)別、廣告二維碼識(shí)別、無(wú)意義直播識(shí)別等，利用識(shí)別能力對(duì)網(wǎng)絡(luò)上沒(méi)意義和不健康的內(nèi)容進(jìn)行排查和處理。內(nèi)容理解功能包括內(nèi)容分類(lèi)、標(biāo)簽，人物識(shí)別、語(yǔ)音識(shí)別，同時(shí)也包括對(duì)圖像和視頻中的文字進(jìn)行識(shí)別。版權(quán)保護(hù)功能包括內(nèi)容相似性 、同源內(nèi)容檢索和音視頻指紋等功能。內(nèi)容編輯層面可以實(shí)現(xiàn)視頻首圖、視頻摘要、視頻亮點(diǎn)的生成，同時(shí)支持新聞拆條。

目前短視頻、圖片等成為多媒體審核的主要內(nèi)容。基于海量標(biāo)注數(shù)據(jù)和深度學(xué)習(xí)算法，可以從多維度精準(zhǔn)識(shí)別多媒體內(nèi)容中的違禁內(nèi)容，如色情、暴恐等。2019年阿里巴巴集團(tuán)推出“人工智能謠言粉碎機(jī)”支持對(duì)新聞內(nèi)容可信度的智能判別，在特定場(chǎng)景中的準(zhǔn)確率已達(dá)到 81%。中國(guó)信息通信研究院初步實(shí)現(xiàn)基于人工智能技術(shù)的不良信息檢測(cè)能力，支持對(duì)淫穢色情、涉恐涉暴等違法信息的識(shí)別，識(shí)別準(zhǔn)確率比傳統(tǒng)方式提升了17%，達(dá)到97%以上，識(shí)別速度達(dá)到傳統(tǒng)方式的 110 倍。2021年2月百度發(fā)布了《2020年信息安全綜合治理年報(bào)》。百度內(nèi)容安全中心在2020年利用人工智能技術(shù)挖掘各類(lèi)有害信息共515.4億余條，通過(guò)人工自主巡查打擊各類(lèi)相關(guān)有害信息8000萬(wàn)余條。大幅提升審核速度，并制定了暴恐、政治敏感、水印、標(biāo)簽、公眾人物、惡意圖像等6個(gè)審核維度。

三、基于人工智能的內(nèi)容安全國(guó)內(nèi)外發(fā)展現(xiàn)狀

（一）國(guó)外發(fā)展現(xiàn)狀及最新進(jìn)展

1.美國(guó)發(fā)展現(xiàn)狀分析

作為內(nèi)容產(chǎn)業(yè)最為發(fā)達(dá)的國(guó)家，美國(guó)在內(nèi)容安全與攻防戰(zhàn)略方面主要有以下幾個(gè)特點(diǎn)：第一，針對(duì)日益嚴(yán)峻的國(guó)際形勢(shì)以及國(guó)內(nèi)意識(shí)形態(tài)安全需要，對(duì)互聯(lián)網(wǎng)內(nèi)容產(chǎn)業(yè)加大監(jiān)管力度，尤其是關(guān)于歧視，偏見(jiàn)等內(nèi)容；第二，高度重視人工智能算法在內(nèi)容安全方面的應(yīng)用，Google等公司與政府合作密切，政府對(duì)算法的安全性提出相關(guān)的審查要求；第三，美國(guó)國(guó)會(huì)參眾兩院高度重視利用人工智能算法進(jìn)行內(nèi)容造假問(wèn)題，并通過(guò)召開(kāi)聽(tīng)證會(huì)或提出相關(guān)法案的方式，將內(nèi)容造假問(wèn)題納入立法程序。

2019年，美國(guó)政府發(fā)布了《美國(guó)人工智能倡議》，其中強(qiáng)調(diào)人工智能對(duì)傳統(tǒng)安全領(lǐng)域的重要意義，通過(guò)人工智能來(lái)確保美國(guó)的領(lǐng)先地位以應(yīng)對(duì)來(lái)自“戰(zhàn)略競(jìng)爭(zhēng)者和外國(guó)對(duì)手”的挑戰(zhàn)。2021年3月，美國(guó)人工智能?chē)?guó)家安全委員會(huì)（NSCAI）發(fā)布最終報(bào)告：積極維持美國(guó)在人工智能領(lǐng)域的統(tǒng)治地位，報(bào)告系統(tǒng)論述了美國(guó)如何在人工智能激烈競(jìng)爭(zhēng)的時(shí)代贏得主動(dòng)，維持全球領(lǐng)導(dǎo)地位，并詳細(xì)闡述了聯(lián)邦各機(jī)構(gòu)今后改革的行動(dòng)路線(xiàn)。美國(guó)國(guó)防部高級(jí)研究計(jì)劃局（DARPA）于2017年啟動(dòng)了“算法戰(zhàn)跨部門(mén)小組計(jì)劃”（即“Maven計(jì)劃”），將機(jī)器學(xué)習(xí)算法集成到情報(bào)收集中。DARPA還推動(dòng)了其他和人工智能內(nèi)容安全相關(guān)的研究，包括媒體取證、可解釋人工智能等。在基于人工智能的內(nèi)容安全技術(shù)方面，美國(guó)也處于全球絕對(duì)領(lǐng)先的位置。美國(guó)人工智能論文引文影響力、專(zhuān)利數(shù)量、企業(yè)數(shù)量和融資規(guī)模等指標(biāo)都居全球第一。

2.歐洲國(guó)家發(fā)展現(xiàn)狀分析

歐洲國(guó)家在人工智能安全方面更注重倫理。歐盟委員會(huì)于2019年4月發(fā)布了人工智能道德準(zhǔn)則《可信賴(lài)AI的倫理準(zhǔn)則》，提出了實(shí)現(xiàn)可信賴(lài)人工智能全生命周期的框架?？蚣芴岢隽藢?shí)現(xiàn)可信賴(lài)AI的七個(gè)關(guān)鍵要素：人的能動(dòng)性和監(jiān)督，技術(shù)魯棒性和安全性，隱私和數(shù)據(jù)管理，透明性，多樣性非歧視性和公平性，社會(huì)和環(huán)境福祉，問(wèn)責(zé)。

準(zhǔn)則中特別強(qiáng)調(diào)了隱私和數(shù)據(jù)管理，要求隱私和數(shù)據(jù)保護(hù)必須貫穿人工智能系統(tǒng)的整個(gè)生命周期。人工智能系統(tǒng)使用的算法和數(shù)據(jù)應(yīng)該更具透明性且可追溯。在AI系統(tǒng)對(duì)人類(lèi)造成重大影響時(shí)，人工智能系統(tǒng)能夠?qū)Q策過(guò)程進(jìn)行合理解釋?zhuān)瑫r(shí)避免不公平的歧視。英國(guó)、法國(guó)、德國(guó)、俄羅斯等歐洲國(guó)家都出臺(tái)了人工智能安全的綱領(lǐng)性文件，都涉及到了人工智能內(nèi)容安全的策略和發(fā)展規(guī)劃。

3.日本發(fā)展現(xiàn)狀分析

在日本的互聯(lián)網(wǎng)內(nèi)容產(chǎn)業(yè)中，最為發(fā)達(dá)的是游戲、動(dòng)漫、音樂(lè)等產(chǎn)業(yè)，因此，在人工智能時(shí)代下，日本的內(nèi)容安全戰(zhàn)略主要針對(duì)人工智能生產(chǎn)內(nèi)容的知識(shí)產(chǎn)權(quán)歸屬問(wèn)題，并推進(jìn)相關(guān)具體法案的推出。2018年12月，日本內(nèi)閣府發(fā)布《以人類(lèi)為中心的人工智能社會(huì)原則》的報(bào)告，是迄今為止日本為推進(jìn)人工智能發(fā)展發(fā)布的最高級(jí)別的政策文件，從宏觀(guān)和倫理角度表明了日本政府發(fā)展人工智能的立場(chǎng)。

在報(bào)告中和人工智能內(nèi)容安全相關(guān)的部分，主要強(qiáng)調(diào)了保護(hù)隱私和保障安全兩部分內(nèi)容。在保護(hù)隱私原則中，人工智能能夠依據(jù)個(gè)人行動(dòng)等數(shù)據(jù)高精度推斷其政治立場(chǎng)、經(jīng)濟(jì)狀況、興趣愛(ài)好等。在保障安全原則中，報(bào)告強(qiáng)調(diào)人工智能系統(tǒng)需要把握利益與風(fēng)險(xiǎn)之間的平衡。報(bào)告建議深入研究人工智能風(fēng)險(xiǎn)及降低風(fēng)險(xiǎn)的方法，重視人工智能使用的可持續(xù)性。

4.其他國(guó)家發(fā)展現(xiàn)狀分析

除了美國(guó)、歐洲、日本、中國(guó)等人工智能發(fā)達(dá)國(guó)家和地區(qū)，很多其他國(guó)家也紛紛推出了人工智能安全的國(guó)家戰(zhàn)略，而內(nèi)容安全是其中的一部分。2018年6月，印度發(fā)布了《人工智能?chē)?guó)家戰(zhàn)略》，其中提出利用人工智能促進(jìn)經(jīng)濟(jì)增長(zhǎng)和提升社會(huì)包容性，并試圖尋求一個(gè)適用于發(fā)展中國(guó)家的人工智能發(fā)展戰(zhàn)略。2019年11月，以色列透露其國(guó)家級(jí)人工智能計(jì)劃，對(duì)人工智能的發(fā)展、如何滿(mǎn)足政府軍方的需求及安全性等進(jìn)行了規(guī)劃，主要目標(biāo)是確定教育系統(tǒng)和學(xué)術(shù)機(jī)構(gòu)能夠提供足夠的人工智能工程師，以滿(mǎn)足政府、國(guó)防軍事和產(chǎn)業(yè)界的人力需求。加拿大政府近年來(lái)在人工智能研究和開(kāi)發(fā)方面加大了投入，致力于形成一個(gè)極其豐富的人工智能生態(tài)系統(tǒng)，包括多個(gè)專(zhuān)門(mén)研究機(jī)構(gòu)和數(shù)千名人工智能研究人員。研究人員對(duì)面向內(nèi)容安全的多媒體分析、可解釋人工智能等技術(shù)進(jìn)行了廣泛研究。

（二）國(guó)內(nèi)現(xiàn)狀及最新進(jìn)展

1.國(guó)家戰(zhàn)略與技術(shù)研究

我國(guó)高度重視人工智能產(chǎn)業(yè)的發(fā)展，2017年，國(guó)務(wù)院發(fā)布《新一代人工智能發(fā)展規(guī)劃》，作為新一輪產(chǎn)業(yè)變革的核心驅(qū)動(dòng)力和引領(lǐng)未來(lái)發(fā)展的戰(zhàn)略技術(shù)，對(duì)人工智能產(chǎn)業(yè)進(jìn)行戰(zhàn)略部署?！吨袊?guó)新一代人工智能發(fā)展報(bào)告2019》顯示，中國(guó)人工智能論文發(fā)文量居全球首位，企業(yè)數(shù)量、融資規(guī)模居全球第二。2018年1月，我國(guó)成立了國(guó)家人工智能標(biāo)準(zhǔn)化總體組和專(zhuān)家咨詢(xún)組，并發(fā)布了《人工智能標(biāo)準(zhǔn)化白皮書(shū)（2018版）》，提出建立統(tǒng)一完善的標(biāo)準(zhǔn)體系。2019年，我國(guó)成立了中國(guó)人工智能學(xué)會(huì)人工智能與安全專(zhuān)委會(huì)，為解決網(wǎng)絡(luò)空間安全面臨的挑戰(zhàn)性問(wèn)題提供了新的途徑。2020年3月國(guó)家正式施行《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》，以網(wǎng)絡(luò)信息內(nèi)容為主要治理對(duì)象，以建立健全網(wǎng)絡(luò)綜合治理體系、營(yíng)造清朗的網(wǎng)絡(luò)空間、建設(shè)良好的網(wǎng)絡(luò)生態(tài)為目標(biāo)，抵制和處置違法和不良信息。中國(guó)科學(xué)院專(zhuān)門(mén)成立了信息內(nèi)容安全技術(shù)國(guó)家工程實(shí)驗(yàn)室，圍繞國(guó)家網(wǎng)絡(luò)信息安全的重大需求，開(kāi)展基礎(chǔ)理論和網(wǎng)絡(luò)信息獲取、分析及挖掘等核心關(guān)鍵技術(shù)研究。

2.新興產(chǎn)業(yè)的創(chuàng)新發(fā)展

目前，我國(guó)各地政府緊跟國(guó)家步伐，分別根據(jù)當(dāng)?shù)亟?jīng)濟(jì)發(fā)展?fàn)顩r，結(jié)合國(guó)家內(nèi)容安全與人工智能相關(guān)政策，提出相關(guān)的人工智能發(fā)展行動(dòng)計(jì)劃，加強(qiáng)人工智能監(jiān)管力度，并推動(dòng)人工智能在內(nèi)容安全方面的深度應(yīng)用。

商湯科技開(kāi)發(fā)有限公司自主研發(fā)的原創(chuàng)深度學(xué)習(xí)平臺(tái)SenseParrots，已經(jīng)在人臉識(shí)別、圖像識(shí)別、視頻分析、無(wú)人駕駛、醫(yī)療影像識(shí)別等應(yīng)用層技術(shù)落地，為基于人工智能的內(nèi)容安全提供了技術(shù)支撐。騰訊科技有限公司注重網(wǎng)絡(luò)安全能力建設(shè)，設(shè)立了七大網(wǎng)絡(luò)安全實(shí)驗(yàn)室，專(zhuān)注安全技術(shù)研究以及安全攻防體系搭建。利用騰訊優(yōu)圖的DeepEye識(shí)別技術(shù)引擎，對(duì)內(nèi)容進(jìn)行置信度分析，依托騰訊社交的海量樣本優(yōu)勢(shì)進(jìn)行深度識(shí)別訓(xùn)練，并基于多模型匹配技術(shù)進(jìn)行文本識(shí)別，助力內(nèi)容安全。阿里云平臺(tái)采用自然語(yǔ)言理解算法識(shí)別文本垃圾和惡意行為，采用深度學(xué)習(xí)算法結(jié)合獨(dú)有的情報(bào)、輿情、預(yù)警和分析體系及實(shí)時(shí)更新的樣本圖庫(kù)，快速定位敏感信息。華為技術(shù)有限公司在機(jī)器學(xué)習(xí)算法安全方面做了大量研究工作，對(duì)數(shù)據(jù)投毒、模型竊取、后門(mén)攻擊等模型和算法攻擊給出了解決方案，為基于人工智能的內(nèi)容分析模型和算法提供安全保障。此外，我國(guó)還有一些人工智能創(chuàng)新企業(yè)，在將人工智能應(yīng)用到內(nèi)容安全方面做了大量的研究工作。

3.人工智能2.0時(shí)代的新發(fā)展

潘云鶴院士提出人工智能2.0，其主要特征是通過(guò)大數(shù)據(jù)和群體智能，拓展、管理和重組人類(lèi)的知識(shí)，為經(jīng)濟(jì)和社會(huì)的發(fā)展提供建議，在越來(lái)越多專(zhuān)門(mén)領(lǐng)域的博弈、識(shí)別、控制和預(yù)測(cè)中達(dá)到甚至超過(guò)人類(lèi)的能力[14]。在人工智能2.0時(shí)代，首先是和人機(jī)交互緊密結(jié)合；其次是和大數(shù)據(jù)云計(jì)算的結(jié)合，大數(shù)據(jù)和云計(jì)算是人工智能發(fā)展的重要推動(dòng)力；再次是人工智能和智能監(jiān)控的緊密結(jié)合；最后是人工智能和先進(jìn)制造的結(jié)合。

人工智能2.0時(shí)代的大數(shù)據(jù)智能、跨媒體智能等將對(duì)內(nèi)容安全產(chǎn)生重要影響。基于多模態(tài)數(shù)據(jù)的深度融合、知識(shí)庫(kù)、跨媒體分析與推理，結(jié)合類(lèi)腦計(jì)算、群體智能等技術(shù)，能夠?qū)崿F(xiàn)更智能、更精準(zhǔn)的內(nèi)容分析。我國(guó)以阿里巴巴集團(tuán)、騰訊科技有限公司、百度集團(tuán)、華為技術(shù)有限公司等為代表的科技企業(yè)，已經(jīng)開(kāi)始積極探索人工智能2.0的相關(guān)技術(shù)及在內(nèi)容安全治理方面的應(yīng)用。如百度內(nèi)容安全中心的“網(wǎng)絡(luò)生態(tài)治理2019”專(zhuān)項(xiàng)行動(dòng)，綜合運(yùn)用了自然語(yǔ)言甄別、音視頻智能識(shí)別、內(nèi)容智能挖掘等多種人工智能技術(shù)。

四、我國(guó)基于人工智能的內(nèi)容安全發(fā)展建議

（一）總體發(fā)展戰(zhàn)略

總體上采取“三步走”的發(fā)展戰(zhàn)略：到2025年基于人工智能的內(nèi)容安全發(fā)展初見(jiàn)成效，到2035年實(shí)現(xiàn)世界一流水平，到2050年達(dá)到世界領(lǐng)先水平。

到2025年，人工智能內(nèi)容安全的發(fā)展環(huán)境和基礎(chǔ)設(shè)施基本完善，基于內(nèi)容安全的重點(diǎn)前沿理論和應(yīng)用技術(shù)進(jìn)步明顯，在內(nèi)容安全人工智能模型與算法研究方面取得初步成效，人工智能內(nèi)容攻防關(guān)鍵技術(shù)研究取得關(guān)鍵性突破，人工智能內(nèi)容安全領(lǐng)域涌現(xiàn)一批優(yōu)秀企業(yè)，集聚一批安全領(lǐng)域的領(lǐng)軍人才和專(zhuān)家，面向個(gè)人、企業(yè)和國(guó)家的三級(jí)人工智能內(nèi)容安全體系基本建成。

到2035年，人工智能內(nèi)容安全的發(fā)展環(huán)境優(yōu)勢(shì)明顯，國(guó)家大力投入基礎(chǔ)設(shè)施建設(shè)，規(guī)模和水平并肩世界第一梯隊(duì)，基于內(nèi)容安全的理論研究，學(xué)術(shù)水平進(jìn)入世界一流行列，在人工智能安全領(lǐng)域提出創(chuàng)新理論和方法，人工智能內(nèi)容安全審核機(jī)制成型完善，人工智能內(nèi)容安全應(yīng)用技術(shù)廣泛應(yīng)用，在內(nèi)容安全人工智能模型與算法研究和內(nèi)容攻防關(guān)鍵技術(shù)研究上達(dá)到世界一流水平。

到2050年，在人工智能內(nèi)容安全領(lǐng)域?qū)崿F(xiàn)基礎(chǔ)層、技術(shù)層和應(yīng)用層的全面世界領(lǐng)先，總體創(chuàng)新能力和理論體系達(dá)到國(guó)際領(lǐng)先水平，擁有一批主導(dǎo)人工智能內(nèi)容安全發(fā)展潮流的國(guó)際頂級(jí)專(zhuān)家，在網(wǎng)絡(luò)空間內(nèi)容安全領(lǐng)域擁有一批專(zhuān)業(yè)的，穩(wěn)定的具備世界領(lǐng)先水平人才隊(duì)伍和創(chuàng)新創(chuàng)業(yè)團(tuán)隊(duì)。人工智能內(nèi)容安全法規(guī)倫理規(guī)范和政策體系完整完善，人工智能安全評(píng)估和管控能力均居于世界領(lǐng)先水平。

（二）內(nèi)容安全發(fā)展政策保障

1.政府主導(dǎo)人工智能發(fā)展路線(xiàn)

國(guó)家在維護(hù)網(wǎng)絡(luò)信息安全方面所處的高度和發(fā)揮的作用是無(wú)可比擬的，在規(guī)范互聯(lián)網(wǎng)行為、打擊網(wǎng)絡(luò)犯罪等模式治理方面有著先天的優(yōu)勢(shì)。政府要主導(dǎo)人工智能安全的發(fā)展戰(zhàn)略，將人工智能安全上升到國(guó)家高度，作為國(guó)家未來(lái)發(fā)展的核心競(jìng)爭(zhēng)力，同時(shí)把內(nèi)容安全作為人工智能安全的一個(gè)重要部分。在人工智能應(yīng)用中深入分析內(nèi)容安全需求，強(qiáng)化頂層設(shè)計(jì)，提出基于國(guó)家網(wǎng)絡(luò)空間安全的總體規(guī)劃，建立內(nèi)容安全治理的實(shí)施細(xì)則，建立安全準(zhǔn)入制度和檢測(cè)評(píng)估方法、機(jī)制。以企業(yè)為主體推進(jìn)人工智能內(nèi)容安全發(fā)展，政府在法律法規(guī)、安全風(fēng)險(xiǎn)、政策指導(dǎo)、資源配置、行業(yè)準(zhǔn)則等方面提供保障，制定分階段發(fā)展戰(zhàn)略，目標(biāo)清晰，從科研立項(xiàng)、智能經(jīng)濟(jì)到智能社會(huì)全面布局，加強(qiáng)指導(dǎo)性和執(zhí)行力。

2.建立健全合法有效的監(jiān)管機(jī)制

制定人工智能內(nèi)容安全風(fēng)險(xiǎn)管控制度，從系統(tǒng)安全、算法安全、應(yīng)用安全多層次制定安全防護(hù)措施。保障用戶(hù)的數(shù)據(jù)安全，避免算法設(shè)計(jì)對(duì)公眾產(chǎn)生的危害，明晰算法動(dòng)機(jī)和可解釋性，克服算法設(shè)計(jì)和數(shù)據(jù)收集引發(fā)的不公正影響。內(nèi)容安全風(fēng)險(xiǎn)管控制度中針對(duì)社交網(wǎng)絡(luò)、短視頻、線(xiàn)上直播等重點(diǎn)應(yīng)用的內(nèi)容安全進(jìn)行詳細(xì)規(guī)定。通過(guò)建立可審查、可回溯、可推演的監(jiān)管機(jī)制，確保目標(biāo)功能和技術(shù)實(shí)現(xiàn)的安全統(tǒng)一。建立人工智能數(shù)據(jù)安全監(jiān)督機(jī)制。依照國(guó)家法律法規(guī)，政府部門(mén)針對(duì)數(shù)據(jù)過(guò)度采集、數(shù)據(jù)偏見(jiàn)歧視、數(shù)據(jù)資源濫用等人工智能數(shù)據(jù)安全風(fēng)險(xiǎn)，通過(guò)線(xiàn)上線(xiàn)下多種方式實(shí)施監(jiān)督檢查，及時(shí)發(fā)現(xiàn)和防范安全隱患。

3.構(gòu)建人工智能內(nèi)容安全標(biāo)準(zhǔn)體系

優(yōu)化我國(guó)人工智能內(nèi)容安全標(biāo)準(zhǔn)化組織建設(shè)，促進(jìn)國(guó)家、行業(yè)和團(tuán)體標(biāo)準(zhǔn)化組織聯(lián)合有序推進(jìn)人工智能內(nèi)容安全標(biāo)準(zhǔn)出臺(tái)。在人工智能產(chǎn)品、應(yīng)用和服務(wù)等多個(gè)環(huán)節(jié)，制定內(nèi)容安全檢測(cè)評(píng)估方法和指標(biāo)體系，通過(guò)檢測(cè)評(píng)估強(qiáng)化內(nèi)容安全與隱私保護(hù)。按照內(nèi)容安全承載模式分類(lèi)，建立圖形/圖像內(nèi)容、文本內(nèi)容、視頻內(nèi)容、音頻內(nèi)容安全指標(biāo)體系，按照內(nèi)容安全行為模式分類(lèi)，建立智能鑒黃、暴恐涉政識(shí)別、敏感人臉識(shí)別、不良場(chǎng)景識(shí)別、廣告識(shí)別過(guò)濾、Logo識(shí)別、反垃圾等安全指標(biāo)體系。

（三）開(kāi)展面向內(nèi)容安全的人工智能技術(shù)創(chuàng)新

新形勢(shì)下的內(nèi)容安全面臨巨大挑戰(zhàn)，需要在技術(shù)層面進(jìn)行創(chuàng)新突破，主要包括以下方面。

1.人機(jī)協(xié)同的混合增強(qiáng)智能

在內(nèi)容安全方面，很多時(shí)候當(dāng)前的人工智能還無(wú)法獨(dú)立完成任務(wù)，如在視頻直播中識(shí)別非法活動(dòng)。因此需要在人機(jī)協(xié)同、腦機(jī)協(xié)作、認(rèn)知計(jì)算等技術(shù)上進(jìn)行創(chuàng)新突破，充分融合人類(lèi)智能和機(jī)器智能，實(shí)現(xiàn)人工智能的增強(qiáng)，同時(shí)基于人類(lèi)的指導(dǎo)和反饋實(shí)現(xiàn)人工智能的持續(xù)改進(jìn)。

2.知識(shí)驅(qū)動(dòng)的內(nèi)容安全

基于人工智能的內(nèi)容安全復(fù)雜應(yīng)用需要知識(shí)的輔助，因此需要大力推進(jìn)知識(shí)驅(qū)動(dòng)的內(nèi)容安全創(chuàng)新。技術(shù)方向包括跨媒體知識(shí)獲取、內(nèi)容安全知識(shí)庫(kù)構(gòu)建、大規(guī)模知識(shí)庫(kù)的管理及知識(shí)演化、面向內(nèi)容安全的知識(shí)推理等。

3.高性能內(nèi)容安全分析

有害內(nèi)容一旦傳播出去，可能會(huì)造成國(guó)家和社會(huì)的重大損失，因此很多內(nèi)容監(jiān)管應(yīng)用要強(qiáng)調(diào)實(shí)時(shí)性。需要研究高性能的內(nèi)容分析算法，特別是在視頻直播這樣的場(chǎng)景下，需要處理海量視頻數(shù)據(jù)流，同時(shí)需要關(guān)聯(lián)多通道的歷史數(shù)據(jù)和知識(shí)。

4.對(duì)抗性機(jī)器學(xué)習(xí)

對(duì)抗性機(jī)器學(xué)習(xí)直接影響到人工智能的模型和算法安全，從而直接威脅到內(nèi)容安全。需要在數(shù)據(jù)投毒的防御、決策時(shí)攻擊的防御、深度學(xué)習(xí)模型和算法的魯棒性等方面進(jìn)行技術(shù)創(chuàng)新。

5.可解釋人工智能

人工智能模型和算法的可解釋性直接影響內(nèi)容安全分析和監(jiān)管應(yīng)用的可信度。需要在可解釋機(jī)器學(xué)習(xí)模型、基于深度學(xué)習(xí)和可視化的模型解釋、基于推理的模型解釋等方面進(jìn)行技術(shù)創(chuàng)新。

（四）完善內(nèi)容安全基礎(chǔ)設(shè)施

以技術(shù)創(chuàng)新促進(jìn)基于人工智能的內(nèi)容安全發(fā)展，需要建立和完善一批國(guó)家重大基礎(chǔ)設(shè)施來(lái)滿(mǎn)足新技術(shù)實(shí)驗(yàn)需要，以及監(jiān)管政策和策略評(píng)估的需要。

1.面向內(nèi)容攻防演練與研究的網(wǎng)絡(luò)靶場(chǎng)

構(gòu)建大規(guī)模、開(kāi)放式、共享式、增長(zhǎng)式的國(guó)家級(jí)內(nèi)容安全網(wǎng)絡(luò)靶場(chǎng)，為用戶(hù)提供內(nèi)容安全攻防體系驗(yàn)證、應(yīng)用系統(tǒng)及安全產(chǎn)品安全性檢測(cè)、風(fēng)險(xiǎn)評(píng)估及應(yīng)急響應(yīng)等高端服務(wù)，創(chuàng)新突破復(fù)雜網(wǎng)絡(luò)屬性、行為、交互式動(dòng)態(tài)等高度仿真，復(fù)雜業(yè)務(wù)模擬和節(jié)點(diǎn)重構(gòu)等大規(guī)模仿真，全景捕獲復(fù)現(xiàn)和應(yīng)激反制等對(duì)抗性仿真，多層次多維度攻擊效能效果的仿真評(píng)估等重難點(diǎn)技術(shù)，構(gòu)建大規(guī)模、高逼真、對(duì)抗性網(wǎng)絡(luò)靶場(chǎng)。并在技術(shù)驗(yàn)證、戰(zhàn)略預(yù)判、內(nèi)容檢驗(yàn)、情報(bào)分析，輿情預(yù)警等方面構(gòu)建攻防演練模型，通過(guò)靶場(chǎng)的系統(tǒng)性、基礎(chǔ)性、開(kāi)拓性工作，使國(guó)家內(nèi)容安全能力得到實(shí)質(zhì)性提升。

2.面向輿情攻防演練與研究的大規(guī)模社會(huì)系統(tǒng)模擬裝置

模擬裝置以虛實(shí)結(jié)合的方式進(jìn)行建設(shè)，用真實(shí)數(shù)據(jù)驅(qū)動(dòng)虛擬模型，對(duì)虛實(shí)數(shù)據(jù)進(jìn)行一體化分析?；谧钚氯斯ぶ悄芗夹g(shù)，建立智能擬合模型，實(shí)現(xiàn)大規(guī)模輿情攻防模擬推演交互式可視化分析。支持多用戶(hù)在模擬推演平臺(tái)開(kāi)展實(shí)驗(yàn)分析，支持對(duì)模擬系統(tǒng)運(yùn)行進(jìn)行實(shí)時(shí)干預(yù)，并提供可視化數(shù)據(jù)展示驗(yàn)證效果。支持政府對(duì)輿情信息了解得更加全面、對(duì)輿論動(dòng)態(tài)認(rèn)識(shí)得更加深刻、對(duì)敏感變化捕捉得更加及時(shí)，增加理政治國(guó)的主動(dòng)性、施政為民的科學(xué)性。