本課對象

廣大黨員干部和群眾。

本課時間

3小時（講課2小時，討論1小時）。

本課目的

廣大黨員干部和群眾通過對本課的學習，充分認識人工智能“火爆”背后的風險點，深入理解加快建立人工智能安全監(jiān)管制度的意義，準確把握加快建立人工智能安全監(jiān)管制度的著力點，進而不斷提高人工智能技術的可靠性和可控性，為中國式現代化提供堅實的安全保障。

習近平總書記指出：“人工智能是新一輪科技革命和產業(yè)變革的重要驅動力量，將對全球經濟社會發(fā)展和人類文明進步產生深遠影響?！秉h的二十屆三中全會審議通過的《中共中央關于進一步全面深化改革、推進中國式現代化的決定》明確提出，“建立人工智能安全監(jiān)管制度”和“完善生成式人工智能發(fā)展和管理機制”，為推動人工智能領域的技術進步、產業(yè)發(fā)展與安全保障指明了前進方向。國家安全是安邦定國的重要基石，加快建立人工智能安全監(jiān)管制度對于維護國家安全至關重要。這不僅涉及技術層面的風險評估和管控，還關乎法律法規(guī)的制定和執(zhí)行，以及國際合作與交流等。新時代新征程，我們要充分發(fā)揮法律和政策的保障作用，有效防范化解人工智能發(fā)展帶來的各類安全風險，對人工智能進行分級分類監(jiān)管，逐步構建起具有中國特色的人工智能安全監(jiān)管制度。

一、人工智能“火爆”背后的風險點

近年來，人工智能尤其是生成式人工智能的快速發(fā)展，對人類生產生活產生了深刻影響。生成式人工智能是指基于算法、模型、規(guī)則生成文本、圖片、聲音、視頻、代碼等內容的技術。在海量數據和強大算力的支撐下，聽得懂、說得出、能互動的生成式人工智能快速迭代升級，呈現出良好互動性、高度通用性、智能生成性等特征，正與各行各業(yè)形成更加剛性、高頻、泛在、深度的聯結，但也存在一定潛在風險。

（一）數據安全與隱私保護方面的風險

為充分理解特定情境中的顯性和隱性信息，并精確識別人類的意圖，人工智能系統(tǒng)從單一的文本信息擴展到了包含文本、圖像和聲音在內的多模態(tài)感知領域。雖然這種擴展增強了人工智能系統(tǒng)的決策力，但也可能帶來數據安全與隱私保護方面的風險。

一是數據質量和可用性方面。人工智能大模型依靠海量數據進行訓練和推理，因此，數據的規(guī)模、數據結構的均衡程度以及數據內容的準確性都會直接影響人工智能大模型的安全性和輸出內容的質量。高質量的數據能夠顯著提升模型的準確性和可靠性，反之則可能導致決策錯誤甚至人工智能系統(tǒng)失效。目前，生成式人工智能在實際操作中可能會輸出不真實的信息，這一問題被業(yè)界稱為人工智能的“幻覺”或“事實編造”。例如，一些醫(yī)療人工智能診斷系統(tǒng)因信息偏差，增加了醫(yī)療誤診風險。此外，數據的可用性問題也不容忽視，尤其在公共數據共享和跨境數據傳輸過程中，存在一定的技術障礙和安全隱患。

二是數據隱私與保護方面。數據隱私問題在人工智能的應用中顯得尤為突出。隱私是自然人不愿為他人知曉的私密空間、私密活動、私密信息。自然人享有隱私權，任何組織和個人不得以刺探、侵擾、泄露、公開等方式侵害他人的隱私權。隱私權是人格權的核心要素，其核心訴求是不被公開。隨著大數據分析技術的廣泛應用，收集和處理個人數據變得更加便捷。人工智能為了改善服務質量，有時傾向于過度收集和使用個人信息，從而帶來隱私泄露的風險。例如，為改善用戶體驗，某些網絡個性化推薦系統(tǒng)會過度采集用戶數據，這些數據一旦被非法獲取或濫用，將對用戶隱私造成嚴重侵害。某些平臺利用個人信息進行“大數據殺熟”，實行“價格歧視”，使用戶承受不必要的損失。更有不法分子利用個人信息進行深度偽造，通過聲音仿真、AI換臉等手段，實施詐騙等違法犯罪行為。這說明，侵害隱私權不僅侵犯了公民的人格尊嚴，而且可能引發(fā)其他嚴重的社會后果。

（二）算法方面的風險

人工智能的內在邏輯之一是算法。數字時代的機器設備在算法的驅動下實現智能化運行，正推動人類社會生產方式發(fā)生翻天覆地的變化。但是，算法可能帶來多種風險，這需要我們高度警惕。一方面，存在算法偏見風險。算法偏見是指由于人工智能系統(tǒng)訓練出的數據存在偏差，導致算法在進行決策時存在一定的不公平現象。研究表明，相關數據中存在的性別、種族、年齡等方面的偏差會反映到算法的結果中，導致特定群體受到不公平對待。另一方面，缺乏足夠的算法透明度與可解釋性。當前，算法的復雜性容易使人工智能的決策過程缺乏透明度和可解釋性。大語言模型越來越成為全知全能但難以掌控的機器，其在自主學習和自我編程的過程中可能會出現“算法黑箱”現象，這不僅增加了人工智能應用的風險，也影響了用戶對人工智能系統(tǒng)的信任度。

（三）其他潛在的安全隱患

首先是極端言論與虛假信息傳播問題。生成式人工智能技術的開放性和便捷性使其容易成為極端言論和虛假信息的傳播工具。不法分子可能利用生成式人工智能生成虛假新聞、制造謠言，從而擾亂社會秩序。例如，一些深度偽造技術被用于制作虛假視頻和音頻，誤導公眾輿論。其次是真實與虛擬的界限容易模糊化。隨著虛擬現實（VR）和增強現實（AR）技術的發(fā)展，真實世界與虛擬世界的界限變得越來越模糊。雖然這些技術帶來了新的應用場景和商業(yè)機會，但過度依賴虛擬現實可能導致人們出現社會隔離和心理健康問題。再次是人工智能大模型的“價值對齊”問題。人工智能的“價值對齊”是讓人工智能系統(tǒng)的行為符合人類的偏好或倫理原則。如果人工智能系統(tǒng)生成的信息與人類的真實目的、意圖、價值觀不一致，那么將會給人類造成災難性后果。最后是數據污染與“投毒”攻擊。數據污染是指在數據中故意插入虛假或有害數據，從而破壞模型性能和完整性的行為。“投毒”攻擊則是利用數據“投毒”來誤導模型輸出錯誤結果。這種攻擊方式不僅影響模型的準確性，還可能引發(fā)重大安全風險。例如，在自動駕駛系統(tǒng)中，“投毒”攻擊可能導致交通事故。

二、加快建立人工智能安全監(jiān)管制度的意義

建立人工智能安全監(jiān)管制度的理論基礎涉及多個學科領域，包括計算機科學、倫理學、法學等。確保人工智能安全、可靠、可控，有利于人類文明進步，是我們推動人工智能發(fā)展必須解決的重要課題。因此，建立一套多層次、多維度的人工智能安全監(jiān)管制度十分重要。

（一）技術和應用快速發(fā)展的需要

目前，我國雖然在人工智能領域取得顯著進展，但在安全監(jiān)管方面仍面臨諸多挑戰(zhàn)。比如，相關法律法規(guī)滯后于實踐發(fā)展，現行的法律體系未能全面解決人工智能帶來的新問題；技術標準和倫理規(guī)范尚不完善；個人隱私泄露事件時有發(fā)生。只有加快建立系統(tǒng)完備的人工智能安全監(jiān)管制度，才能確保人工智能技術可持續(xù)發(fā)展，從而維護社會的整體利益和安全。

（二）實現高質量發(fā)展的必然要求

由于人工智能涉及的算法較為復雜，數據處理量較大，我國對人工智能的監(jiān)管存在一定缺位。如果監(jiān)管長期缺位，那么可能導致技術失控，甚至觸發(fā)社會倫理危機。人工智能作為推動高質量發(fā)展的重要工具，其安全性直接影響著經濟增長、社會進步和文化發(fā)展。我們必須汲取歷史經驗和教訓，摒棄“先發(fā)展、后治理”的盲目思維，在推動技術創(chuàng)新的過程中防范人工智能無序發(fā)展帶來的安全隱患。為此，建設一套能夠實時監(jiān)控技術進展、及時發(fā)現并解決安全問題的人工智能安全監(jiān)管體系，對于保障人工智能技術的健康發(fā)展至關重要。只有這樣，人工智能才能真正推動各項工作高質量發(fā)展。

（三）人工智能進行國際競爭和合作的需要

近年來，世界各國紛紛意識到人工智能安全監(jiān)管工作的重要性，并在人工智能領域不斷加快戰(zhàn)略布局。然而，各國在人工智能監(jiān)管工作的理念和實踐上存在差異，這種差異可能導致國際合作出現數字壁壘和各國人工智能安全監(jiān)管相互矛盾甚至相互對立。此外，由于人工智能技術的傳播不受國界限制，人工智能模型一經發(fā)布便無處不在，現有的監(jiān)管方式必然產生漏洞，因此，建立全球范圍的人工智能監(jiān)管框架勢在必行。我國作為全球最大的人工智能應用市場，有責任也有能力在人工智能領域的全球治理中發(fā)揮積極作用，建立符合國際標準且具有中國特色的人工智能安全監(jiān)管制度，從而推進國際合作與交流。

三、加快建立人工智能安全監(jiān)管制度的著力點

面對人工智能技術帶來的風險隱患，從法律、技術、倫理、國際合作等多個方面綜合施策，建立一套有效的人工智能安全監(jiān)管制度，是我們當前的一項緊迫任務。

（一）完善法律法規(guī)

人工智能技術既關系數據安全、算法公正和算力保障等議題，又牽涉網絡謠言、網絡暴力和虛假信息的治理等?，F有的法律法規(guī)體系亟須從技術層面健全完善相關監(jiān)管體系。

一方面，要加快立法進程。面對人工智能發(fā)展的迅猛勢頭，加快立法進程至關重要。目前，我國已經出臺《中華人民共和國網絡安全法》《中華人民共和國數據安全法》等基礎性法律，但針對人工智能的專門性法律尚未完善。2023年5月23日，國家互聯網信息辦公室2023年第12次室務會會議審議通過《生成式人工智能服務管理暫行辦法》。這是一個積極的信號，顯示出我國對人工智能安全監(jiān)管工作的重視。接下來，我們應進一步細化相關法律法規(guī)，形成系統(tǒng)完備的法律體系。例如，要明確人工智能的研發(fā)、應用、數據管理、算法公開等方面的法律責任和義務，為行業(yè)發(fā)展提供明確的法律指引。

另一方面，要建立完善的配套措施和執(zhí)行機制。為確保法律法規(guī)得到有效實施，必須建立完善的配套措施和執(zhí)行機制。這包括設置專門的監(jiān)管機構或部門，讓其負責相關法律的執(zhí)行和監(jiān)督工作；建立舉報和申訴機制，為公眾和企業(yè)提供反饋渠道；設立定期審查機制，對法律法規(guī)進行動態(tài)調整。此外，應加大執(zhí)法力度，確保各項規(guī)定得到嚴格執(zhí)行。例如，設立由行業(yè)專家、法律顧問和技術人員組成的人工智能安全監(jiān)管機構，讓其定期對相關法律法規(guī)的執(zhí)行情況進行檢查和評估。

（二）優(yōu)化技術標準

人工智能技術在快速迭代升級的同時，引發(fā)了一系列問題。解決這些問題的重要思路就是完善技術手段，確保“智能向善”。以人工智能侵犯隱私問題為例，在處理個人數據時，收集、保存、應用等環(huán)節(jié)都可能引發(fā)個人隱私和數據安全等方面的問題。為在各個環(huán)節(jié)有效保護個人數據隱私，我們要采取有針對性的技術性措施。在個人數據的收集環(huán)節(jié)，要應用和推廣匿名化技術。在收集個人數據時，要通過匿名化處理，使數據與個人身份“脫鉤”，從而有效避免人工智能侵犯個人隱私權。在個人數據的保存環(huán)節(jié)，要積極運用加密技術。目前，數據存儲主要依賴本地存儲和云存儲兩種形式。無論是外部攻擊竊取數據，還是內部人員未經授權進行訪問、使用或泄露數據，都是數據在保存過程中存在的主要風險。因此，必須采取有效的數據加密措施，嚴格控制數據的訪問權限。在個人數據的應用環(huán)節(jié)，應加強對非法使用個人數據行為的實時監(jiān)控、干預和阻斷，以加大對數據隱私權和個人數據安全的保護力度。

一方面，要建立標準化體系。技術標準是確保人工智能產品和服務質量的關鍵。應建立全面的標準化體系，涵蓋數據采集、數據處理、算法設計、系統(tǒng)開發(fā)等各個環(huán)節(jié)?？梢詤⒖加嘘P人工智能管理體系要求、人工智能管理體系審核和認證機構要求等方面的國際標準，并結合我國的實際情況，制定符合我國國情的標準規(guī)范。要制定關于人工智能算法透明度的相關指南，明確算法的開發(fā)流程、性能評估方法和透明度要求；出臺數據質量管理的具體規(guī)范，確保數據收集的準確性和可靠性。

另一方面，要制定關鍵技術標準?，F階段，關于人工智能特別是生成式人工智能的監(jiān)管模式，我們將監(jiān)管重點放在了監(jiān)管組織建設、責任分配和違法責任追究等方面，在數據版權、算法透明度和備案規(guī)則等方面仍存在一定欠缺。我們應優(yōu)先制定關鍵技術標準，以保證人工智能技術安全可靠。例如，在自動駕駛領域，相關安全技術標準要涵蓋環(huán)境感知、決策控制、緊急處置等內容；在醫(yī)療人工智能領域，相關安全標準要提升診斷、治療等環(huán)節(jié)的安全性和有效性。此外，應制定區(qū)塊鏈技術在數據存證、版權保護方面的應用標準，以增強數據的透明度和不可篡改性。

（三）遵循人工智能倫理

人工智能倫理是指在人工智能技術的設計、開發(fā)、應用和管理過程中，相關人員應遵循的道德規(guī)范和原則。這些倫理規(guī)范和原則旨在確保人工智能技術的應用符合社會的公共利益。

一方面，要完善倫理準則。要規(guī)范人工智能技術的發(fā)展，就要持續(xù)完善并推廣人工智能倫理準則?？梢詤⒖紘倚乱淮斯ぶ悄苤卫韺I(yè)委員會制定的《新一代人工智能倫理規(guī)范》，明確人工智能在研發(fā)和應用中的倫理要求。例如，制定人工智能研發(fā)人員應遵守的職業(yè)道德規(guī)范，強調研發(fā)人員的技術責任和社會責任，指導企業(yè)在人工智能產品設計和應用中遵循公平、透明和非歧視原則。

另一方面，要建立倫理審查機制。建立倫理審查機制是確保人工智能倫理規(guī)范落地見效的重要措施。要在高校、科研機構、企業(yè)中設立倫理審查機構，對人工智能項目進行全面審查。例如，成立由倫理學家、法律顧問和技術專家組成的審查小組，讓其對敏感項目進行評估；引入第三方評估機構，讓其對人工智能產品進行定期檢查和評估，確保人工智能產品符合倫理規(guī)范和法律要求；鼓勵企業(yè)設立倫理專員崗位，加強企業(yè)內部倫理事務的管理和培訓工作。

（四）加強國際合作與經驗借鑒

人工智能作為一項全球性技術，其安全監(jiān)管涉及多個國家和地區(qū)，需要國際社會共同努力。通過國際合作，可以更好維護各國國家利益，共同防范人工智能可能帶來的安全風險。

一方面，要對標國際標準。在國際競爭日益激烈的背景下，對標國際標準尤為重要。我國應積極參與制定關于人工智能技術的國際標準，借鑒和吸收國際先進經驗。例如，積極參與ISO、IEC等國際標準化組織的相關工作，推動我國在人工智能優(yōu)勢領域的標準成為國際標準；引進國際領先的人工智能安全檢測認證體系，從而提升我國人工智能產品的國際競爭力。

另一方面，要加強跨國協作與信息共享?？鐕鴧f作與信息共享是應對全球性人工智能風險挑戰(zhàn)的重要途徑。要通過簽訂雙邊或多邊合作協議，加強在技術研發(fā)、法規(guī)制定和執(zhí)法監(jiān)督等方面的協作；建立國際人工智能安全聯盟，定期召開會議，交流最新的研究成果和監(jiān)管經驗；聯合推進研究項目，共同攻克技術難題；設立信息共享平臺，及時通報風險事件和應對措施；舉辦人工智能領域的國際性論壇，促進全球范圍內的信息交流與合作。