7月8日至10日，2021世界人工智能大會在上海召開。在擁有比較成熟的產(chǎn)業(yè)技術(shù)和商業(yè)模式的基礎(chǔ)上，上海還應(yīng)致力于人工智能的安全漏洞風(fēng)險防范，全方位建設(shè)真正意義上的人工智能高地。

加緊制定通用安全標準

提案方? ? ?趙柏基? 上海市政協(xié)委員

背景情況? ? ? ? ? ? 從自動駕駛到智能安防，從語音助手到虛擬現(xiàn)實，人工智能技術(shù)正在迅速發(fā)展，潛力巨大。習(xí)近平總書記在十九屆中央政治局第九次集體學(xué)習(xí)時明確指出，要加強人工智能發(fā)展的潛在風(fēng)險研判和防范，維護人民利益和國家安全，確保人工智能安全、可靠、可控。

問題及分析? ? ? 眾多科技巨頭先后在上海設(shè)立功能型總部和研發(fā)中心，一大批國內(nèi)外人工智能頭部企業(yè)的落戶，匯聚了權(quán)威專家資源，為上海在人工智能安全治理方面的先行先試提供了良好的土壤。隨著人工智能落地場景的增多，使用范圍的擴大，一系列系統(tǒng)性風(fēng)險也逐漸浮出水面。

1.合規(guī)風(fēng)險。數(shù)據(jù)是人工智能的基礎(chǔ)，在應(yīng)用人工智能時，企業(yè)需要滿足包括數(shù)據(jù)收集、隱私保護在內(nèi)的各項合規(guī)要求。然而，目前針對人工智能的合規(guī)要求散見于數(shù)據(jù)安全和隱私保護等領(lǐng)域，不夠集中和清晰，存在很多“灰色地帶”，暗藏風(fēng)險。例如，2017年，谷歌旗下的人工智能子公司DeepMind所開發(fā)的移動應(yīng)用Streams，因收集患者醫(yī)療病歷被英國信息委員會裁定違反了英國數(shù)據(jù)保護法;2019年8月，瑞典北部的謝萊夫特奧市政府因允許該市某高中試用人臉識別技術(shù)進行考勤，被瑞典數(shù)據(jù)保護局以違反歐盟《通用數(shù)據(jù)保護條例》（GDPR）為由處以罰款。

2.道德、誠信風(fēng)險。人工智能算法在決策時可能產(chǎn)生的偏見和歧視，以及引起的更復(fù)雜的誠信問題，是目前人工智能應(yīng)用當中比較突出的道德和誠信風(fēng)險。例如，美國某些地區(qū)的司法部門使用人臉識別系統(tǒng)（COMPAS）來預(yù)測罪犯再次犯罪的概率，并以此決定是否批準保釋或假釋。但從預(yù)測結(jié)果來看，被錯誤標記為“高風(fēng)險”的黑人數(shù)量幾乎是白人的兩倍，而在真正實施再犯罪的人群中，被錯誤標記為“低風(fēng)險”的白人數(shù)量是黑人的兩倍。

3.安全風(fēng)險。人工智能應(yīng)用的功能雖然強大，但安全應(yīng)當始終被放在首要位置。尤其當人工智能被應(yīng)用于自動駕駛、醫(yī)療、工業(yè)控制等與人身安全直接相關(guān)的領(lǐng)域更是如此?，F(xiàn)階段，我國的安全標準大多在應(yīng)用安全領(lǐng)域，還缺乏人工智能自身的基礎(chǔ)性安全標準。

4.“黑箱”風(fēng)險。人工智能的決策過程就像“黑箱”，其決策的邏輯和依據(jù)的不可解釋性，直接影響人工智能模型的試錯成本和可信度。例如，對應(yīng)用在自動駕駛汽車中的神經(jīng)網(wǎng)絡(luò)來說，行人和路牌之間存在什么樣的差異？人工智能的哪個決策階段能夠發(fā)現(xiàn)兩者的區(qū)別？只有深入了解這一過程，才能有效避免錯誤。目前，多數(shù)的人工智能系統(tǒng)還缺乏有效的機制，讓人們完整理解其推理過程。

5.管控風(fēng)險。人工智能的應(yīng)用具備動態(tài)和自適應(yīng)的特征，一旦在某一領(lǐng)域落地，發(fā)展會很迅速。如果治理和管控不力，將令政府和企業(yè)在應(yīng)用人工智能時遇到各種想象不到的問題，甚至造成嚴重的社會危害。

? ? 建議? ? ? ? ? ??

1.盡快制定人工智能通用安全標準?？捎缮虾Ｊ薪?jīng)濟和信息化委員會牽頭，組織調(diào)研，邀請企業(yè)、審計機構(gòu)等共同參與標準的制定，形成可落地、可審計的人工智能通用安全標準，并針對各應(yīng)用場景的技術(shù)特點，分別提出安全要求，形成“通用+擴展”的安全標準體系。

2.針對關(guān)鍵人工智能系統(tǒng)和應(yīng)用開展安全評估，形成行業(yè)準入機制，保障國家安全、社會穩(wěn)定與公眾利益。上海在全國率先發(fā)布了人工智能應(yīng)用場景建設(shè)實施計劃。應(yīng)用場景的落地是人工智能相關(guān)行業(yè)大規(guī)模商用的前奏。建議針對人工智能試點應(yīng)用場景先行試用安全標準，通過獨立的、具有公信力的機構(gòu)進行安全評估，充分驗證相關(guān)標準的可落地性、可審計性，積累經(jīng)驗。待時機成熟，可將其作為具有一定強制力的安全標準向相關(guān)行業(yè)全面推廣，為政府部門及監(jiān)管機構(gòu)嚴把人工智能風(fēng)險關(guān)，也為企業(yè)落地人工智能應(yīng)用提供安全保障和準入依據(jù)。

3.積極參與制定國際人工智能安全與倫理道德標準，爭取話語權(quán)。目前，世界各國政府和監(jiān)管機構(gòu)都非常關(guān)注人工智能的安全風(fēng)險。德國政府與大型專業(yè)機構(gòu)合作，共同制定人工智能通用安全審計標準。英國信息專員辦公室（ICO）發(fā)布了制定人工智能審計框架的計劃，并公開征求建議，獲得多個國家監(jiān)管機構(gòu)和行業(yè)組織的積極響應(yīng)。諸如此類的國際協(xié)作和國際智慧，對于上海探索自身的人工智能安全標準具有很高的參考價值，應(yīng)積極參與，向世界展示人工智能風(fēng)險防范的“上海方案”。

大力推動人工智能產(chǎn)業(yè)發(fā)展

提案方? ? ?王俊? 沈永銘? ?上海市政協(xié)委員

背景情況? ? ? ? ? 上海作為新時代改革開放的排頭兵、創(chuàng)新發(fā)展的先行者，其人工智能科技和產(chǎn)業(yè)位列全國第一梯隊。但不可否認，與國際頂級城市相比，上海還存在不小的差距，需要加快整合資源，聚集力量，實現(xiàn)重點突破。

? ?問題及分析? ? ??

1.本地領(lǐng)軍企業(yè)缺乏。人工智能作為高科技產(chǎn)業(yè)，初期主要依靠領(lǐng)軍企業(yè)帶動。當前在上海開疆拓土的人工智能領(lǐng)軍企業(yè)幾乎都是外地企業(yè)和外國企業(yè)，其研發(fā)核心、成果和生態(tài)往往不在上海，只是更多地將應(yīng)用場景選在上海。

2.“硬科技”實力不足。目前，上海的人工智能企業(yè)大多集中在應(yīng)用場景的挖掘和融合層面，在技術(shù)研發(fā)和突破方面還有待改進。尤其在底層芯片技術(shù)、傳感器硬件、算法等“硬科技”層面，整體實力不足。

3.產(chǎn)業(yè)發(fā)展生態(tài)缺失。前沿科技創(chuàng)新大都依靠小微企業(yè)、市場化人才不斷地創(chuàng)新、創(chuàng)業(yè)。一味要求高大上、國際化、高科技、高起點，不利于鼓勵創(chuàng)新。

4.針對性支持政策缺位。一是上海的人才引進政策缺乏與人工智能領(lǐng)域人才的對應(yīng)性。二是上海現(xiàn)行金融扶持政策的對象以大型成熟企業(yè)為主，對于多是小微型、初創(chuàng)型的人工智能企業(yè)來說缺乏力度和精準度。

5.數(shù)據(jù)隱私保護政策欠缺。人工智能領(lǐng)域關(guān)于數(shù)據(jù)隱私保護的政策尚不明確，用戶常因大數(shù)據(jù)的安全擔(dān)憂，在一定程度上影響了人工智能行業(yè)快速發(fā)展。

? ? 建議? ? ? ? ? ??

1.聚焦重點區(qū)域，孵化、扶持一批潛力企業(yè)，培育一批頭部企業(yè)，積極搶占產(chǎn)業(yè)制高點。抓緊在上海自貿(mào)試驗區(qū)臨港新片區(qū)出臺人工智能產(chǎn)業(yè)發(fā)展配套支持政策，全產(chǎn)業(yè)鏈集聚、整合資源。

2.聚焦關(guān)鍵環(huán)節(jié)，發(fā)布鼓勵清單，力爭在核心技術(shù)上有所突破，在某些環(huán)節(jié)形成領(lǐng)先優(yōu)勢。政府部門應(yīng)加強與上海人工智能發(fā)展聯(lián)盟等行業(yè)組織的溝通，適時列出鼓勵清單，明確重點關(guān)注的關(guān)鍵環(huán)節(jié)，如人工智能芯片、傳感器、核心算法等方面，集中資金、資源、政策，加快推動實現(xiàn)突破性發(fā)展。

3.聚焦重點場景，發(fā)揮超大城市應(yīng)用需求廣泛的優(yōu)勢，著力產(chǎn)業(yè)發(fā)展，營造良好環(huán)境。充分利用上海的資源優(yōu)勢，抓住長三角一體化示范區(qū)建設(shè)的重大機遇，發(fā)揮超大城市和長三角的優(yōu)勢，在更大范圍內(nèi)大力推進人工智能應(yīng)用，替代傳統(tǒng)發(fā)展模式，為產(chǎn)業(yè)發(fā)展提供更廣闊的平臺和更優(yōu)化的營商環(huán)境。

4.聚焦重點人才，精準施策，形成有針對性的扶助人工智能科技和產(chǎn)業(yè)的人才支持政策。

5.聚焦產(chǎn)業(yè)生態(tài)，大膽“松綁”，營造環(huán)境。政府有關(guān)部門積極研究探索兼顧企業(yè)創(chuàng)新與隱私保護的引導(dǎo)性政策，使得人工智能產(chǎn)業(yè)能夠長期健康發(fā)展。

編輯：姚志剛 winter-yao@163.com