亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        數(shù)字經(jīng)濟背景下的人工智能國際法規(guī)制

        2023-01-03 20:14:47趙爾雅
        上海財經(jīng)大學學報 2022年5期
        關(guān)鍵詞:規(guī)則人工智能

        沈 偉, 趙爾雅

        (上海交通大學 凱原法學院, 上海 200030)

        一、 引 言

        數(shù)字經(jīng)濟是以數(shù)據(jù)要素為基礎(chǔ)的新興經(jīng)濟形態(tài),人工智能是數(shù)字經(jīng)濟的核心。聯(lián)合國貿(mào)易和發(fā)展會議(United Nations Conference on Trade and Development, UNCTAD)發(fā)布的《2021年數(shù)字經(jīng)濟報告》指出,數(shù)字數(shù)據(jù)(digital data)的指數(shù)增長構(gòu)成了包括人工智能在內(nèi)的新興數(shù)字技術(shù)的核心,并已成為一種基本的經(jīng)濟資源。①UNCTAD. Cross-border Data Flows and Development: For Whom the Data Flow, https://unctad.org/system/files/officialdocument/der2021_en.pdf, p. 3.在數(shù)字經(jīng)濟的三范圍模型(three-scope model)中,信息技術(shù)/信息與通訊技術(shù)(IT/ICT)部門是數(shù)字經(jīng)濟的核心,與數(shù)字服務和平臺經(jīng)濟共同構(gòu)成了數(shù)字經(jīng)濟,而電子商務、精準農(nóng)業(yè)和算法經(jīng)濟等則屬于更廣義上的數(shù)字化經(jīng)濟。②Rumana Bukht and Richard Heeks. Defining, Conceptualizing and Measuring the Digital Economy. International Organizations Research Journal, 13, 2018, pp. 143-172.本文討論的數(shù)字經(jīng)濟實質(zhì)上是廣義的“數(shù)字驅(qū)動的經(jīng)濟”。一方面,數(shù)字經(jīng)濟以數(shù)據(jù)作為一種經(jīng)濟資源,數(shù)字數(shù)據(jù)被加工利用而產(chǎn)生經(jīng)濟效益;同時通過對數(shù)據(jù)的處理生成產(chǎn)品,不僅利用數(shù)據(jù)亦創(chuàng)造數(shù)據(jù)作為新的價值。另一方面,數(shù)字經(jīng)濟處于全球語境之中,這是由其利益相關(guān)方的多元性和覆蓋范圍的廣泛性決定的,尤其和跨國互聯(lián)網(wǎng)巨頭業(yè)務的全球覆蓋有關(guān),正是數(shù)據(jù)的跨境流動使得這種全球語境成為現(xiàn)實可能。

        人工智能是數(shù)字經(jīng)濟的核心,作為一種計算統(tǒng)計技術(shù)有能力從海量數(shù)據(jù)中找出隱藏的模式和規(guī)律,①鄭戈:《數(shù)字社會的法治構(gòu)型》,《浙江社會科學》2022年第1期。根據(jù)現(xiàn)存數(shù)據(jù)創(chuàng)造更多的數(shù)據(jù)信息知識,而更廣泛的信息又可反作用于人工智能的研發(fā)與訓練。相應的結(jié)果是,從來沒有一個單一部門能像數(shù)字技術(shù)這樣對整個世界擁有如此大的權(quán)力,可以針對的不僅僅是個人,而是全部人口,監(jiān)控當前和預測未來的行為。②Renata Avila Pinto. Digital Sovereignty or Digital Colonialism. Sur - International Journal on Human Rights, 27, 2018,pp. 15-16.數(shù)字經(jīng)濟的領(lǐng)跑者正是通過控制數(shù)據(jù)和人工智能技術(shù)來獲取經(jīng)濟和戰(zhàn)略優(yōu)勢的。③UNCTAD. Cross-border Data Flows and Development: for Whom the Data Flow, https://unctad.org/system/files/officialdocument/der2021_en.pdf, p.xviii.例如,國際主流的AI框架由Google、Meta等科技巨頭主導,形成了以Google-TensorFlow和Meta-PyTorch為代表的雙寡頭格局。④中國信通院:《AI框架發(fā)展白皮書(2022年)》,第18頁,http://www.caict.ac.cn/kxyj/qwfb/bps/202202/P0202202263699086 06520.pdf。這類巨頭通過其服務平臺而掌握的全世界用戶的數(shù)據(jù)將加固其領(lǐng)先地位。

        人工智能的大規(guī)模涌現(xiàn)給國際法帶來至少兩個新議題:“人工智能中的國際法”與“國際法中的人工智能”,二者均已引發(fā)國際法和其他國際規(guī)則方面的討論。前者關(guān)注人工智能如何影響國際法的運行,后者則討論國際法如何適應人工智能運用愈發(fā)廣泛的現(xiàn)實,或者說國際法如何被用以治理人工智能。有關(guān)“人工智能中的國際法”之討論,如利用人工智能的有效算法在國際商事仲裁中協(xié)助任命仲裁員、一定程度上預測裁決結(jié)果等,⑤Young-Yik Rhim and KyungBae Park. The Applicability of Artificial Intelligence in International Law. Journal of East Asia and International Law, 12, 2019, p. 7.盡管這種技術(shù)性作用由于仲裁本質(zhì)上是由人類仲裁員賦予合的社會性和政治性過程而顯得十分有限。⑥Christine Sim. Will Artificial Intelligence Take over Arbitration? Asian International Arbitration Journal, 1, 2018, p. 14.而對于“國際法中的人工智能”,當前針對國際法下的人工智能治理之討論主要集中于對人工智能武器的規(guī)制。這些武器在21世紀初期的武裝沖突中已有使用,⑦2001年10月7日,美國及其盟國在阿富汗針對彼時塔利班領(lǐng)導人Mullah Omar進行的史上第一次無人機行動中發(fā)射導彈。而今在俄烏沖突中亦體現(xiàn)于雙方對于面部識別技術(shù)和無人機的應用。有關(guān)以無人機等“致命自主武器”為代表的人工智能應用在國際法中執(zhí)法、平時法與戰(zhàn)時法各個領(lǐng)域中的合法性與歸責方式均有討論,⑧Stuart Casey-Maslen. Legality of Use of Armed Unmanned Systems in Law Enforcement. Stuart Casey-Maslen. Armed Unmanned Weapons Systems under Jus ad Bellum. And Nathalie Weizmann. Armed Drones and the Law of Armed Conflict. In Stuart Casey-Maslen, Maziar Homayounnejad, Hilary Stauffer, and Nathalie Weizmanne (eds), Drones and Other Unmanned Weapons Systems under International Law. Leiden: Brill, 2018.其中,國際人道法面臨的挑戰(zhàn)最為顯著。具體而言,從人工智能自動化武器的合法性角度,主要觀點認為:其一,人工智能武器所使用算法的局限,使其在戰(zhàn)爭中能否遵循區(qū)分原則和比例原則這類難以量化的決定⑨Kjolv Egeland. Lethal Autonomous Weapon Systems under International Humanitarian Law. Nordic Journal of International Law, 85, 2016, p. 108.受到嚴重懷疑。其二,人工智能武器可能動搖人類主體可歸責性這一現(xiàn)代人道法的核心,⑩Chantal Grut. The Challenge to Autonomous Lethal Robotics to International Humanitarian Law. Journal of Conflict and Security Law, 18, 2013, pp. 5-24; 同上注。責任缺口的存在可能使得此類武器系統(tǒng)免于譴責和追責。?Tim McFarland & Tim McCormack. Mind the Gap: Can Developers of Autonomous Weapons Systems Be Liable for War Crimes? International Law Studies Series. US Naval War College, 90, 2014, pp. 361-385; U. C. JHA. Lethal Autonomous Weapon Systems and International Humanitarian Law. ISIL Year Book of International Humanitarian and Refugee Law, 16, 2016-2017, pp.112-139.從國際法對人工智能武器規(guī)制的角度,現(xiàn)有國際人道法的一般原則不足以規(guī)范這類破壞性軍事技術(shù),國際規(guī)范應當把人的生命價值放在首位并強調(diào)決策過程中的人類因素。①Kaja Kowalczewska. The Role of the Ethical Underpinnings of International Humanitarian Law in the Age of Lethal Autonomous Weapons Systems. Polish Political Science Yearbook, 48(3), 2019, pp. 464-475.各國應當推動起草和制定有關(guān)人工智能武器的國際條約,②張衛(wèi)華:《人工智能武器對國際人道法的新挑戰(zhàn)》,《政法論壇》2019年第4期。對致命性自主武器和非致命性自主武器應分別明確加以禁止和限制。③楊成銘、魏慶:《人工智能時代致命性自主武器的國際法規(guī)制》,《政法論壇》2020年第4期。此外,當前有關(guān)人工智能對其他國際法特定領(lǐng)域的討論亦逐漸涌現(xiàn),如國際海洋法④孫南翔:《人工智能技術(shù)對國際法的挑戰(zhàn)及應對原則——以國際海洋法為視角》,《遼寧師范大學學報(社會科學版)》,2020年第4期。和海商法⑤范曉波、陳怡潔:《船舶無人化趨勢下AI航行系統(tǒng)的責任探析》,《中國海商法研究》2021年第4期。領(lǐng)域,但對于人工智能有關(guān)的一般性國際法問題以及國際經(jīng)貿(mào)領(lǐng)域具體規(guī)制的討論相對不足,⑥趙駿、李婉貞:《人工智能對國際法的挑戰(zhàn)及其應對》,《浙江大學學報(人文社會科學版)》,2020年第2期。且并未注重數(shù)字經(jīng)濟背景下數(shù)據(jù)治理在人工智能治理中作為前置性問題出現(xiàn)這一事實。事實上,人工智能在國際經(jīng)濟法中面臨的規(guī)制空缺同樣深刻,有國外研究指出:對外國人工智能供應商的區(qū)別對待是否有違各國在國際貿(mào)易中的承諾?用以訓練人工智能的數(shù)據(jù)庫是否將被視為外國投資?人工智能的作品是否會在國際知識產(chǎn)權(quán)法中受到全球統(tǒng)一的保護?投資人工智能或利用其進行投資又需要怎樣的國際金融規(guī)則?這些都是國際經(jīng)濟法需要追問和解決的問題,⑦Anupam Chander and Noelle Wurst. Applying International Economic Law to Artificial Intelligence. Journal of International Economic Law, 24, 2021, pp. 804-805.并有研究就人工智能對WTO法的影響、作為數(shù)據(jù)治理的人工智能治理,及國際經(jīng)濟法的有限性等議題作出初步回應。⑧Shin-Yi Peng, Ching-Fu Lin, and Thomas Streinz (eds), Artificial Intelligence and International Economic Law: Disruption,Regulation, and Reconfiguration. London: Cambridge University Press, 2021.同時,國內(nèi)文獻在這些領(lǐng)域尚未提出明確問題或試圖給出回復。本文主要以數(shù)字經(jīng)濟為背景,考察當前人工智能國際法規(guī)制的現(xiàn)狀、討論人工智能對于當前國際法的核心挑戰(zhàn),并提出國際合作與我國參與的應對思路。

        二、 人工智能之國際法規(guī)制的必要性與可行性

        (一)人工智能之國際法規(guī)制的必要性

        在分析對人工智能治理方式時,有學者選擇采用“政策(policy)”一詞,并給出兩方面原因:一是其他治理思路的缺陷,如單純的倫理規(guī)范具有概念易變、缺乏強制力等局限性;二是“政策”治理思路的優(yōu)勢,如蘊含制定新法的空間、強調(diào)立法過程中的公共利益考量等。概言之,作者的討論不限于具有約束力的法律規(guī)則,但也認可法律的可能性和終局性。⑨Ryan Calo. Artificial Intelligence Policy: A Primer and Roadmap. U.C. Davis Law Review, 51(2), 2017, pp. 409-410.事實上,在現(xiàn)實中,國際法對于信息空間的規(guī)制一直在跟進。例如,聯(lián)合國2013年發(fā)布的《從國際安全的角度來看信息和電信領(lǐng)域發(fā)展的政府專家組的報告》明確指出,現(xiàn)行國際法尤其是《聯(lián)合國憲章》適用于各國使用通信技術(shù)。⑩聯(lián)合國大會:《從國際安全的角度來看信息和電信領(lǐng)域發(fā)展的政府專家組的報告》,A/68/98,2013年6月24日,第8頁,https://digitallibrary.un.org/record/753 055/files/A_68_98-ZH.pdf。

        國際法對人工智能進行治理的必要性首先在于這一技術(shù)本身的工具性,這意味著其應用必然是多領(lǐng)域和全球范圍內(nèi)的,而只有國際準則可以提供統(tǒng)一指引,國際層面的行業(yè)規(guī)則和軟法的靈活特點則可以發(fā)揮先導或補充作用。其次,人工智能技術(shù)的多層次性,已經(jīng)在數(shù)據(jù)層、算法層和應用層分別對現(xiàn)有有約束力的國際法規(guī)則造成沖擊。例如,僅是在商業(yè)領(lǐng)域的廣泛應用就足以放大人工智能的影響,將其全方位地投射到現(xiàn)有國際經(jīng)貿(mào)規(guī)則上。故而,在國內(nèi)法與道德準則發(fā)展的同時,人工智能對現(xiàn)有國際法的沖擊無法被忽視,需要對有約束力的國際規(guī)則有所塑造。數(shù)字經(jīng)濟治理的新問題亦是如何治理人工智能創(chuàng)造與發(fā)展數(shù)字經(jīng)濟的過程,人工智能由于與數(shù)字資源的必然聯(lián)系無法脫離數(shù)字經(jīng)濟的總體治理框架。

        (二)人工智能之國際法規(guī)制的可行性

        2022年1月,Meta宣布已經(jīng)設(shè)計并建造了AI Research SuperCluster—當今運行速度最快的AI超級計算機之一。①Meta. Introducing the AI Research SuperCluster — Meta’s Cutting-edge AI Supercomputer for AI Research, January 24, 2022,https://ai.facebook.com/blog/ai-rsc/,2022年8月8日訪問。2022年2月,Google的DeepMind宣布通過教授一種強化學習算法訓練了一個人工智能來控制核聚變。②Amit Katwala. DeepMind Has Trained an AI to Control Nuclear Fusion, February 16, 2022, https://www.wired.com/story/deepmind-ai-nuclear-fusion/,2022年8月8日訪問。自2018年首次公布自己的人工智能原則之后,Google每年更新其人工智能原則,包括就人工智能的標準與政策的全球?qū)υ捒偨Y(jié)成果并提出建議。③Google AI. Building Responsible AI for Everyone, https://ai.google/responsibilities/; Google 2021 AI Principles Progress Update, https://ai.google/static/documents/ai-principles-2021-progress-update.pdf.有學者警告,由于創(chuàng)新的速度已經(jīng)超過了監(jiān)管過程的慣性,政府在監(jiān)管競賽中正在輸給技術(shù)專家、數(shù)據(jù)科學家和機器算法。④Travis LeBlanc. Sovereignty Disrupted. Federal Communications Law Journal, 70, 2018, p. 314.

        在科技巨頭企業(yè)極力推動人工智能的研發(fā)與廣泛商業(yè)運用并試圖主導行業(yè)規(guī)則的今天,為什么我們?nèi)韵嘈艊H法在人工智能治理中的核心與根本作用?這是因為,人工智能可治理性的根本來源在于主權(quán)國家治理的有效性。一方面,人工智能本身可用于輔助政府公權(quán)力行使。人工智能不僅已經(jīng)讓使用自然語言進行準確和快速的法律研究成為可能,其預測封閉系統(tǒng)中行為的價值亦可被行政機構(gòu)合法用以確保發(fā)布政策和指導監(jiān)管的一致性。⑤Paul Armstrong. From Law Office to Administrative Proceedings. The Judges’ Journal, 59(1), 2020, pp. 20-25.不僅如此,人工智能還可能成為國際政治角力的工具。在2022年的俄烏沖突中,烏克蘭國家安全局聲稱已關(guān)閉了一個在社交媒體上散布恐慌和炸彈威脅的俄羅斯社交機器人農(nóng)場。⑥馬曉晨:“人工智能與社交網(wǎng)絡(luò)在俄烏沖突中的應用”,“藍海星智庫”公眾號,2022年2月26日,https://mp.weixin.qq.com/s/l1sfNn9Q687N19JLpumAMg,2022年8月8日訪問。另一方面,盡管大型私人公司具有豐厚的人工智能技術(shù)和社會資源,它們?nèi)愿臼苤朴谡芸?。哈佛大學國際關(guān)系教授Stephen Walt認為“科技巨頭不會重塑全球秩序”:數(shù)字空間比起必不可少的地緣政治的物理空間只是可選項,科技巨頭無法擁有類似主權(quán)的權(quán)力或忠誠度,它們在數(shù)字世界中的地位會隨著主權(quán)在數(shù)字世界中行使權(quán)力的擴散而削弱。⑦Stephen M. Walt. Big Tech Won’t Remake the Global Order, November 8, 2021, https://foreignpolicy.com/2021/11/08/bigtech-wont-remake-the-global-order,2022年8月8日訪問。

        三、 人工智能之國際法規(guī)制的現(xiàn)狀

        (一)人工智能之國際法規(guī)制總體不成熟

        當前,人工智能之國際法規(guī)制并不成熟。其一,從人工智能之國際治理的不同規(guī)制方式來看,目前的人工智能國際治理體系仍以倫理規(guī)則為主。在人工智能國際法規(guī)則確立之前,倫理準則和共同價值標準可以盡量確保價值導向強烈的技術(shù)運行之準確性和客觀性。⑧施偉東:《論市域社會治理數(shù)字化轉(zhuǎn)型的法治推進》,《政治與法律》2022年第3期。全世界在政府層面達成的最廣泛的人工智能共識—聯(lián)合國教科文組織大會于2021年11月通過的《人工智能倫理問題建議書》①UNESCO. UNESCO Member States Adopt the First Ever Global Agreement on the Ethics of Artificial Intelligence, November 25, 2021, https://www.unesco.org/en/articles/unesco-member-states-adopt-first-ever-global-agreement-ethics-artificial-intelligence,2022年8月8日訪問。即是一倫理共識。其二,從人工智能法律規(guī)則體系內(nèi)部的不同層級來看,部分國家或地區(qū)的域內(nèi)法及其他治理規(guī)則發(fā)展迅速。其中,歐盟作為一個特殊主體,其人工智能規(guī)則同時包含以人工智能為專題的立法與戰(zhàn)略政策及以數(shù)據(jù)為規(guī)制對象的配套規(guī)則,亦提供了一種區(qū)域國際法的典范。不過,歐盟法中的人工智能規(guī)則的目的更多是促進歐盟作為市場平臺對于投資者的吸引力,對于更廣泛國際范圍內(nèi)的人工智能規(guī)制作用有限。

        盡管現(xiàn)有國際法中尚不存在以人工智能為規(guī)制對象的多邊國際條約,但有關(guān)的雙邊條約與共識漸次出現(xiàn)。2020年10月,印度外交部表示,印度與日本已確定一項協(xié)議,將促進關(guān)鍵信息基礎(chǔ)設(shè)施、5G技術(shù)、物聯(lián)網(wǎng)、人工智能和網(wǎng)絡(luò)空間等關(guān)鍵領(lǐng)域在能力建設(shè)、研發(fā)、安全和彈性方面的合作;兩國外長還宣布日本同意成為由印度提出的印度-太平洋倡議的主要合作伙伴。②Dipanjan Roy Chaudhury. India, Japan Finalize Pact for Cooperation in 5G, AI, Critical Information Infrastructure, October 7,2020, https://economictimes.indiatimes.com/news/defence/india-japan-finalise-pact-for-cooperation-in-5g-ai-critical-information2020年8月,新加坡與澳大利亞簽署《雙邊數(shù)字經(jīng)濟協(xié)議》( SADEA),同時還簽署了一系列諒解備忘錄,其中就包括專門旨在發(fā)展和鼓勵人工智能最佳實踐以及倫理治理框架共享的諒解備忘錄。③Ministry of Trade and Industry of Singapore. The Singapore-Australia Digital Economy Agreement Enters into Force,https://www.mti.gov.sg/-/media/MTI/Newsroom/Press-Releases/2020/12/Press-Release-on-the-SADEA-Entry-Into-Force_9-Dec.pdf.此外,學界也已出現(xiàn)就人工智能治理的最高約束力與廣泛性的國際規(guī)則形式—國際條約—的設(shè)想,如Andrey Neznamov和Victor Naumov提出了《為機器人和人工智能的創(chuàng)建和使用的機器人和人工智能規(guī)則示范公約》,就發(fā)展人工智能過程中研發(fā)者應秉持的負責態(tài)度、合作發(fā)展統(tǒng)一國際規(guī)則和建立跨國組織等努力作出指導。④Andrey Neznamov and Victor Naumov. Model Convention on Robotics and Artificial Intelligence: Toward International Regulation. The Journal of Robotics, Artificial Intelligence and Law, 2, 2019, p. 205.

        (二)人工智能之國際法規(guī)制的具體特征

        1.形式上以國際軟法為主。當前國際法中的人工智能規(guī)制主要依托國際軟法,具體包括兩種主要形式。第一種是由傳統(tǒng)國際法主體參與制定的、不具有約束力的國際規(guī)則。2019年5月經(jīng)濟合作與發(fā)展組織(OECD)理事會通過的《人工智能建議書》是第一個政府間的人工智能標準,為負責任地管理可信賴的人工智能確定了五項原則:包容性增長、可持續(xù)發(fā)展和福祉;以人為本的價值觀和公平;透明度和可解釋性;穩(wěn)健性、安全性和安全性;問責制。⑤OECD. Recommendation of the Council on Artificial Intelligence, https://legalinstruments.oecd.org/en/instruments/OECDLEGAL-0449,2022年8月8日訪問。2019年6月,G20部長級會議表決通過《G20貿(mào)易和數(shù)字經(jīng)濟部長聲明》,⑥G20 Ministerial Statement on Trade and Digital Economy, http://www.g20.utoronto.ca/2019/2019-g20-trade.html,2022年8月8日訪問。其中附件部分提出了“G20人工智能原則”,強調(diào)發(fā)展以人為本的人工智能,并明確該原則不具有約束力。第二種是以歐盟法為代表的區(qū)域性國際法。其中,有些是直接規(guī)則,比如《關(guān)于人工智能的統(tǒng)一規(guī)則并修正某些聯(lián)合立法行為》的提案,⑦https://eur-lex.europa.eu/resource.html?uri=cellar:e0649735-a372-11eb-9 585-01aa75ed71a1.0001.02/DOC_1&format=PDF.提出了人工智能應用場景風險分級評定制度,以附件形式列舉出了屬于人工智能范圍內(nèi)的技術(shù)清單,以提供必要的法律確定性。有些是間接規(guī)則,比如《通用數(shù)據(jù)保護條例》(General Data Protection Regulation, GDPR),⑧https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=CELEX:32016R0679&from=EN.規(guī)定了個人數(shù)據(jù)自由流動的原則,引入了被遺忘權(quán)和數(shù)據(jù)可攜帶權(quán),從個人對數(shù)據(jù)的自決權(quán)出發(fā)建構(gòu)個人數(shù)據(jù)權(quán)利體系。①汪慶華:《人工智能的法律規(guī)制路徑:一個框架性討論》,《現(xiàn)代法學》2019年第2期。

        2.內(nèi)容上以間接規(guī)制為主。國際法中的人工智能規(guī)制規(guī)則并非都體現(xiàn)在直接規(guī)制規(guī)則上,盡管當前直接規(guī)制人工智能的有約束力的國際法規(guī)則相對缺失,但間接規(guī)制人工智能的國際法規(guī)則并不稀缺,其中典型的是以數(shù)據(jù)治理規(guī)則為代表的數(shù)字經(jīng)濟規(guī)則。

        國際法層面的數(shù)字經(jīng)濟規(guī)則主要有兩種形式:一是納入自由貿(mào)易協(xié)定中的數(shù)字貿(mào)易協(xié)議內(nèi)容,如《全面與進步跨太平洋伙伴關(guān)系協(xié)定》(CPTPP)中的第14章“電子商務”;二是專門的數(shù)字貿(mào)易協(xié)定,如東盟各國于2018年11月簽署的《東盟電子商務協(xié)定》等。此外,最重要的多邊貿(mào)易體制WTO框架下的電子商務談判于2019年啟動,目前仍在進行中,②WTO. E-commerce Negotiators Seek to Find Common Ground, Revisit Text Proposals, February 21, 2022, https://www.wto.org/english/news_e/news22_e/jsec_23feb22_e.htm,2022年8月8日訪問。各成員在跨境數(shù)據(jù)流動、數(shù)據(jù)本地化、源代碼保護、電子傳輸免關(guān)稅永久化等方面分歧較大。③李墨絲:《WTO電子商務規(guī)則談判:進展、分歧與進路》,《武大國際法評論》2020年第6期。在2022年6月舉辦的第十二屆部長級會議上,各方表示重振《電子商務工作計劃》相關(guān)工作,并同意將電子傳輸臨時免征關(guān)稅延續(xù)到下一屆部長級會議。④“商務部世貿(mào)司負責人介紹世貿(mào)組織第12屆部長級會議成果具體情況”,商務部世貿(mào)司:http://www.mofcom.gov.cn/article/bnjg/202206/20220603320845.shtml,2022年8月8日訪問。

        在經(jīng)貿(mào)協(xié)定和其他與數(shù)字經(jīng)濟有關(guān)的協(xié)定中出現(xiàn)了兩處有代表性的關(guān)于人工智能的共識:其一是《數(shù)字經(jīng)濟伙伴關(guān)系協(xié)定》(Digital Economy Partnership Agreement,DEPA)第8.2條“人工智能”,其二是SADEA第31條“人工智能”。二者的結(jié)構(gòu)與內(nèi)容頗為相似:首先,重申了人工智能在數(shù)字經(jīng)濟中日益廣泛的作用;其次,指出有助于實現(xiàn)人工智能的益處的倫理治理框架對于可信、安全和負責任地使用人工智能技術(shù)的重要性,并強調(diào)“鑒于數(shù)字經(jīng)濟的跨境性質(zhì),雙方進一步認可確保此類框架盡可能與國際接軌的好處”;最后,強調(diào)成員方的人工智能的合作和對國際共識的考量。以DEPA第8.2條為例,其重要性在于,此前國際貿(mào)易協(xié)定從未涉及與人工智能這類支撐數(shù)字經(jīng)濟之具體技術(shù)相關(guān)的問題。⑤Marta Soprana. The Digital Economy Partnership Agreement (DEPA): Assessing the Significance of the New Trade Agreement on the Block. Trade, Law and Development, 13(1), 2021, p. 161.不過,由于本條是以相當軟化的語言表達的,⑥例如,第8.2條之第3款表述為“締約方應努力(endeavor to)促進采用支持可信、安全和負責任使用人工智能技術(shù)的道德和治理框架(人工智能治理框架)?!彼⒉荒鼙灰暈閷﹂_發(fā)人工智能治理框架的約束性承諾,而是更接近一種宣示工具。

        四、 數(shù)字經(jīng)濟背景下人工智能對國際法的挑戰(zhàn)

        人工智能對于當前國際法的挑戰(zhàn)有兩個層面。從國際法內(nèi)部來看,直接規(guī)制人工智能的有約束力的國際規(guī)則缺位,反映出國際法體系在對人工智能規(guī)制上的滯后性,故人工智能帶來的一大挑戰(zhàn)是國際法體系如何規(guī)制新興的人工智能。從國際法外部來看,國際法對人工智能的規(guī)制作為國際治理的方式之一亦有局限性,故另一大挑戰(zhàn)是國際法體系如何與其他國際治理方式接軌。

        (一)內(nèi)部挑戰(zhàn):國際法原有規(guī)則本身的滯后性

        人工智能對于以主權(quán)為基礎(chǔ)的國際法體系是全新的規(guī)制對象,后者在規(guī)制過程中體現(xiàn)出明顯的滯后性,國際法中的國際經(jīng)貿(mào)規(guī)則是一個典例。

        1.根本原因。排他性主權(quán)與統(tǒng)一數(shù)字空間之間存在張力。如果說不均衡的人工智能發(fā)展水平是致使人工智能國際規(guī)則缺位的現(xiàn)實原因,那么人工智能技術(shù)背后數(shù)據(jù)的天然流動性特征同主權(quán)治理的排他性特征間的沖突,則決定了人工智能國際治理困境的根本悖論—有學者稱之為數(shù)據(jù)隱私的“巴爾干化/割據(jù)(balkanization)”現(xiàn)象。①Fernanda G. Nicola and Oreste Pollicino. The Balkanization of Data Privacy Regulation. West Virginia Law Review, 123,2020, p. 61.不平衡的人工智能發(fā)展加劇了數(shù)字割據(jù),而數(shù)字鴻溝的擴大又加劇了人工智能水平的差異,這和數(shù)字經(jīng)濟運行在開源基礎(chǔ)上的本質(zhì)要求②Hila Lifshitz-Assaf and Frank Nagle. The Digital Economy Runs on Open Source. Here’s How to Protect It., September 2,2021, https://hbr.org/2021/09/the-digital-economy-runs-on-open-source-heres-how-to-protect-it,2022年8月8日訪問。是相悖的。正如UNCTAD在2021年《數(shù)字經(jīng)濟報告》所指出的,目前世界范圍內(nèi)的技術(shù)競爭,尤其是人工智能技術(shù)的競爭,可能會導致數(shù)字空間的碎片化,出現(xiàn)一種各自為政的數(shù)字經(jīng)濟。③UNCTAD. Digital Economy Report 2021, p.3, https://unctad.org/system/files/official-document/der2021_en.pdf.數(shù)據(jù)巴爾干割據(jù)現(xiàn)象顯然與互聯(lián)網(wǎng)的開放屬性和去中心化特征之間存在張力,這使得人工智能的統(tǒng)一國際法規(guī)則難以實現(xiàn)。

        在這一背景下,甚至有學者警示數(shù)字殖民主義(digital colonialism)的來臨:信息通信技術(shù)、人工智能創(chuàng)新以及在新興市場快速部署系統(tǒng)和基礎(chǔ)設(shè)施的能力都集中在少數(shù)幾個國家,尤其是中國和美國;而技術(shù)相對落后國家很容易由于教育和科研水平的鴻溝陷入技術(shù)依賴和發(fā)展困頓。④Renata Avila Pinto. Digital Sovereignty or Digital Colonialism. Sur - International Journal on Human Rights, 27, 2018, pp. 16-17.我國在這一討論中也成為被抨擊對象,無中生有的觀點認為中國正通過技術(shù)施加經(jīng)濟和政治壓力,從而對非洲國家施行數(shù)字新殖民主義,其中的主要途徑即在整個非洲部署人工智能技術(shù)和數(shù)據(jù)挖掘技術(shù)。⑤Willem Gravett. Digital Neo-Colonialism: The Chinese Model of Internet Sovereignty in Africa. African Human Rights Law Journal, 20, 2020, pp. 127-128.

        2.具體表現(xiàn)。以國際經(jīng)貿(mào)規(guī)則為例,國際經(jīng)貿(mào)規(guī)則規(guī)制著全球價值流動的全過程,其本身是多環(huán)節(jié)與綜合性的;又因為人工智能本身也是多層次的,這使得國際經(jīng)貿(mào)規(guī)則成為人工智能規(guī)制面臨問題的顯著領(lǐng)域之一。人工智能在應用層、數(shù)據(jù)層和算法層均面臨著在國際經(jīng)貿(mào)規(guī)則中定位或規(guī)制路徑不明的問題。

        (1)人工智能在其應用層的產(chǎn)品屬性不明。人工智能在應用層的主要體現(xiàn)為人工智能產(chǎn)品,而就人工智能產(chǎn)品是貨物還是服務這一問題,現(xiàn)有國際貿(mào)易規(guī)則并沒有予以明確。CPTPP在數(shù)字產(chǎn)品的定義條款中就通過注釋直接回避了數(shù)字產(chǎn)品貿(mào)易歸屬于服務貿(mào)易還是貨物貿(mào)易的爭論。⑥Footnote 3 to Chapter 14 Electronic Commerce, CPTPP.而且,不僅是廣義的數(shù)字產(chǎn)品面臨這一困境,即使相對成熟領(lǐng)域的產(chǎn)品定位亦如此,其中一個重要原因是人工智能技術(shù)服務與產(chǎn)品通常聚合為一體而打包流通。以自動駕駛系統(tǒng)(Automated Driving Systems, ADSs)為例,它是人工智能應用相對成熟的領(lǐng)域之一,但供應鏈上的各個國家尚無法就這種貨物和服務的集成體究竟屬于二者中哪一類達成共識,而這將決定WTO法律體系中僅適用于貨物貿(mào)易的《技術(shù)性貿(mào)易壁壘協(xié)議》能否適用。⑦Shin-yi Peng. Autonomous Vehicle Standards under the Technical Barriers to Trade Agreement: Disrupting the Boundaries? In Shin-Yi Peng, Ching-Fu Lin, and Thomas Streinz (eds), Artificial Intelligence and International Economic Law: Disruption,Regulation, and Reconfiguration. London: Cambridge University Press, 2021, p. 127.此外,即使人工智能產(chǎn)品受到規(guī)則保護與規(guī)制,其所基于的數(shù)據(jù)并不一定能享有類似待遇。例如,在數(shù)據(jù)被用以訓練服務產(chǎn)品的情況下,僅有產(chǎn)品受保護而數(shù)據(jù)不受保護。只有當數(shù)據(jù)本身是終端服務產(chǎn)品且成員在減讓表中具體承諾的時候,《服務貿(mào)易總協(xié)定》規(guī)則方可適用。

        (2)人工智能在其數(shù)據(jù)層的數(shù)據(jù)法律性質(zhì)不明。數(shù)據(jù)可否作為一種投資在國際投資法上并不清晰,是人工智能在其數(shù)據(jù)層面臨的問題。其一,用以訓練人工智能的數(shù)據(jù)是人工智能在數(shù)據(jù)層的核心要素,但能否對將數(shù)據(jù)投入人工智能訓練的過程按照投資加以處理存在疑問。盡管大多數(shù)雙邊條約在定義“投資”時都采用例如“所有資產(chǎn)”的術(shù)語,且就投資定義存在當事人的意思自治空間,①Rudolf Dolzer and Christoph Schreuer. Principles of International Investment Law. London: Oxford University Press, 2012,p. 63.但數(shù)據(jù)的投入能否作為適格投資仍可能面臨與單次商業(yè)交易的區(qū)分問題,這一區(qū)分的重要性在于不同語境決定了數(shù)據(jù)流動的不同待遇。其二,數(shù)據(jù)流動規(guī)則由于需要在傳統(tǒng)投資實體待遇的框架下適用,可能受制于后者而遭克減。這一問題在規(guī)則上是由自由貿(mào)易協(xié)定中的電子商務與投資章節(jié)二分造成的。例如,CPTPP僅將跨境數(shù)據(jù)流動約束力條款納入電子商務章節(jié)中,而未納入投資章節(jié)中;而根據(jù)投資章節(jié)的第9.19條,投資者提出仲裁請求只能是基于東道國對該章A節(jié)下的義務、一項投資授權(quán)或一項投資協(xié)議這三類對象的違反。因此,投資者無法直接就投資過程中所遭受的數(shù)據(jù)流動限制向東道國主張權(quán)利。不過,由于電子商務章節(jié)的第14.2.5條亦規(guī)定了對第9章的合規(guī)要求,投資者可以對數(shù)據(jù)流動的限制構(gòu)成對投資義務的違反為由向東道國主張權(quán)利。②Andrew D. Mitchell and Jarrod Hepburn. Don’t Fence Me in: Reforming Trade and Investment Law to Better Facilitate Cross-Border Data Transfer. Yale Journal of Law and Technology, 19, 2017, pp. 229-230.

        (3)人工智能在其算法層:源代碼的規(guī)制路徑不明。人工智能之算法如何受到保護并適度開放,是人工智能在算法層面臨的問題。人工智能算法的源代碼開放本質(zhì)是一個透明度問題,③Grazia Cecere, Nicoletta Corrocher, and Clara Jean. Fair or Unbiased Algorithmic Decision-Making? A Review of the Literature on Digital Economics, October 15, 2021, https://ssrn.com/abstract=3943389.這種透明度在淺層上意味著人工智能在同人類的交互中對自身身份的披露,在深層次上則意味著源代碼的開放。目前,諸多經(jīng)貿(mào)協(xié)定章節(jié)對數(shù)字產(chǎn)品源代碼規(guī)制是謹慎限制源代碼的披露情形,將其限縮于商業(yè)合同約定或當事國監(jiān)管要求兩類情況。如,CPTPP第14章電子商務之第14.17條“源代碼”、《美墨加貿(mào)易協(xié)定》(USMCA)第19章數(shù)字貿(mào)易之第19.16條“源代碼”和《美日數(shù)字貿(mào)易協(xié)定》直接涉及對源代碼的強制技術(shù)轉(zhuǎn)讓之禁止,同時亦保留披露算法的空間。這一做法的問題在于,經(jīng)貿(mào)協(xié)定中的源代碼規(guī)則僅涉及單一的源代碼披露,而未區(qū)分對于不同類型人工智能的不同監(jiān)管方式:根據(jù)“是否以獲得人工智能的解釋為監(jiān)管標準”,存在兩類對于算法的監(jiān)管模式,一是審計源代碼的“白盒”方法,二是僅通過接口審計人工智能系統(tǒng)輸入和輸出的“黑盒”方法。④Irion, Kristina. AI Regulation in the European Union and Trade Law: How Can Accountability of AI and a High Level of Consumer Protection Prevail over a Trade Discipline on Source Code? January 26, 2021, https://ssrn.com/abstract=3 786 567 or http://dx.doi.org/10.2139/ssrn.3786567.當前的經(jīng)貿(mào)規(guī)則中并沒有區(qū)分兩種模式,僅有的嚴格的源代碼披露規(guī)制可能反而使得更需監(jiān)管的黑盒人工智能不受有效約束。不過,即使不采取強行代碼公開的法律要求,而是采取表面較為寬松的可解釋性合規(guī)要求,代碼的技術(shù)負責人也很難為外行提供自動化應用決策方式的準確解釋,而這種信息與技術(shù)的雙重優(yōu)勢地位很可能帶來監(jiān)管套利的空間。⑤唐林垚:《公共治理視域下自動化應用的法律規(guī)制》,《交大法學》2022年第2期。

        (二)外部挑戰(zhàn):國際法規(guī)制作為一種國際治理方式的局限性

        1.國際法規(guī)則形成的周期較長。國際法的兩種主要造法方式和法律淵源是國際條約和國際習慣,這決定了國際法規(guī)則達成所需時間較長,尤其在對人工智能等新興產(chǎn)業(yè)規(guī)制上的空缺明顯。一般來說,國際軟法是特定領(lǐng)域國際法規(guī)范不足的有效補充,如國際環(huán)境法領(lǐng)域中的1972年斯德哥爾摩《人類環(huán)境宣言》和1992年里約《環(huán)境與發(fā)展宣言》兩個軟法文件已成為國際環(huán)境法框架形成的兩個里程碑。不過,目前國際軟法在人工智能規(guī)制上亦處于初步階段,這體現(xiàn)為相關(guān)國際軟法不僅數(shù)量少,而且總體上并沒有提出新概念和新規(guī)則,也沒有提出規(guī)制路線圖,大部分是對倫理規(guī)則的整合重述,這方面的國際法規(guī)則明顯滯后。

        2.國際法立法過程的參與主體有限。首先,國際法規(guī)則的制定參與主體主要是國家,但在人工智能領(lǐng)域,行業(yè)巨頭盡管在行業(yè)內(nèi)具有充分的規(guī)范引領(lǐng)動機和資源以及相當?shù)脑捳Z權(quán),但其在國際法形成過程中的話語權(quán)與其行業(yè)地位并不匹配。其次,各國由于人工智能發(fā)展水平各異而利益訴求各不相同,在企圖引導規(guī)范制定的人工智能領(lǐng)先國家的對立面,是陷于數(shù)字殖民主義之虞的發(fā)展中國家。有學者警示,由于具有更強技術(shù)實力和更大數(shù)據(jù)掌控規(guī)模的國家很可能在人工智能時代占據(jù)主導權(quán),一種新的南北隔閡或?qū)⒂纱水a(chǎn)生。①Han-Wei Liu and Ching-Fu Lin. Artificial Intelligence and Global Trade Governance: A Pluralist Agenda. Harvard International Law Journal, 61(2), 2020, p. 407.“全球線下人口是科技帝國的爭議領(lǐng)土,因為誰讓他們陷入數(shù)字封建主義,誰就能掌握未來的鑰匙?!雹赗enata Avila Pinto. Digital Sovereignty or Digital Colonialism. Sur - International Journal on Human Rights, 27, 2018, pp. 16-17.

        五、 以國際法規(guī)制為核心的人工智能治理全球合作路徑

        國際法對人工智能的規(guī)制面臨上述內(nèi)外兩方面的挑戰(zhàn)。為了應對內(nèi)部挑戰(zhàn),國際法自身需要更新。為了應對外部挑戰(zhàn),國家亦應注重在發(fā)展初期運用國際法規(guī)制之外的方式協(xié)調(diào)治理。

        (一)國際法自身的更新

        國際法在人工智能規(guī)制中顯現(xiàn)的滯后性并不意味著國際法體系不具有更新的能力,人工智能之全球治理仍需以國際法為中心。

        1.傳統(tǒng)概念的演進:從威斯特伐利亞主權(quán)到人工智能主權(quán)。主權(quán)作為國際法的基礎(chǔ)概念一直處于演變之中,互聯(lián)網(wǎng)時代催生出諸多主權(quán)的衍生概念,這是國際法對于網(wǎng)絡(luò)空間規(guī)制的初步回應,如早在20世紀末就已出現(xiàn)“網(wǎng)絡(luò)空間主權(quán)”概念。③Tim Wu. Cyberspace Sovereignty? The Internet and the International System. Harvard Journal of Law and Technology, 10(3),1997, pp. 647-666.近年來,有文獻討論了作為傳統(tǒng)威斯特伐利亞主權(quán)概念續(xù)集的“信息主權(quán)”概念,認為這是“國家對信息保護、管理和共享的權(quán)力”,與傳統(tǒng)主權(quán)概念類似,亦包括對內(nèi)和對外兩個維度。④劉連泰:《信息技術(shù)與主權(quán)概念》,《中外法學》2015年第2期。有研究進一步將網(wǎng)絡(luò)主權(quán)分層解構(gòu)為物理層、邏輯層、內(nèi)容層三個層面的主權(quán)。⑤劉晗、葉開儒:《網(wǎng)絡(luò)主權(quán)的分層法律形態(tài)》,《華東政法大學學報》2020年第4期。隨著數(shù)據(jù)獲取方式的變革,數(shù)據(jù)在信息形成中的重要性不斷提升,數(shù)據(jù)主權(quán)也更多作為一個新概念被獨立提及,它為應對通訊與網(wǎng)絡(luò)技術(shù)發(fā)展而產(chǎn)生,更體現(xiàn)出數(shù)據(jù)及其云計算、物聯(lián)網(wǎng)等技術(shù)對傳統(tǒng)信息通訊工具的變革。⑥孫南翔、張曉君:《論數(shù)據(jù)主權(quán)——基于虛擬空間博弈與合作的考察》,《太平洋學報》2015年第2期。學界對于數(shù)據(jù)主權(quán)的定義大抵強調(diào)主權(quán)國家對于數(shù)據(jù)的控制,即根據(jù)所在民族國家的法律、慣例和習俗等進行信息管理。⑦C Matthew Snipp. What Does Data Sovereignty Imply: What Does It Look Like? In Tahu Kukutai and John Taylor (eds),Indigenous Data Sovereignty: Toward an Agenda. Canberra: Australian National University Press, 2016, p. 39.歐盟則采用了“數(shù)字主權(quán)”的提法,將之定義為“歐洲在數(shù)字世界中獨立行動的能力”,包括促進數(shù)字創(chuàng)新的保護機制和進攻工具兩方面,并重點關(guān)注人工智能問題。⑧https://www.europarl.europa.eu/RegData/etudes/BRIE/2020/651 992/EPRS_BRI(2020)651 992_EN.pdf.

        總體而言,初顯混沌的“網(wǎng)絡(luò)空間”被逐步分解并分別產(chǎn)生相應細化的主權(quán)概念,各類衍生的主權(quán)概念同傳統(tǒng)主權(quán)類似,均強調(diào)對國內(nèi)網(wǎng)絡(luò)空間和信息資源的獨立控制權(quán)。最新出現(xiàn)的“人工智能主權(quán)”概念,對內(nèi)意味著主權(quán)國家對人工智能技術(shù)與實體的立法、司法與行政管轄權(quán);對外指國家享有自主決定和保護本國人工智能產(chǎn)業(yè)發(fā)展與規(guī)劃而不受其他國家不能干擾之權(quán)利。①趙駿、李婉貞:《人工智能對國際法的挑戰(zhàn)及其應對》,《浙江大學學報(人文社會科學版)》,2020年第2期。人工智能主權(quán)概念的出現(xiàn)本身值得肯定,因為人工智能對于傳統(tǒng)主權(quán)概念的影響已經(jīng)達到相當程度—人工智能構(gòu)成了數(shù)字經(jīng)濟的基礎(chǔ),有關(guān)人工智能的主權(quán)問題不僅關(guān)涉以數(shù)據(jù)安全、規(guī)制權(quán)等為表現(xiàn)的傳統(tǒng)主權(quán),而且滲透到國際活動的各方面,如經(jīng)貿(mào)規(guī)則中,從而與作為國際法律機制基本價值的發(fā)展權(quán)發(fā)生關(guān)聯(lián)。②李蕾:《發(fā)展權(quán)與主權(quán)的互動是實現(xiàn)發(fā)展權(quán)的基本要求》,《政治與法律》2007年第4期。因此,在已有概念演進趨勢之啟發(fā)下可知,人工智能這一概念亦可繼續(xù)完善。根據(jù)人工智能本身的技術(shù)特點,人工智能主權(quán)也可以細化為三個層次:其一,應用層面的人工智能主權(quán),這包括對本國內(nèi)人工智能使用者的行為進行規(guī)制的主權(quán),由于人工智能本身已在諸多方面得到應用(如電子商務平臺、自動化武器等),故這一層面的主權(quán)亦可能涉及國際法的多個領(lǐng)域;其二,數(shù)據(jù)層面的人工智能主權(quán),這相當于目前已有的數(shù)據(jù)主權(quán)提法;其三,算法層面的人工智能主權(quán),這可以包括對本國人工智能算法進行透明度監(jiān)管以及對人工智能算法開發(fā)者的行為進行規(guī)制的主權(quán)。

        盡管主權(quán)概念的衍生與類型化彰顯了主權(quán)范式的演進,根據(jù)不同技術(shù)的性質(zhì)對主權(quán)概念進行無限細分本身并不是目的,這不僅無法窮盡更沒有必要。傳統(tǒng)概念之演進更為重要的意義在于探究主權(quán)的運行模式與人工智能發(fā)展模式間的差異與共通之處,尋求人工智能國際法規(guī)制之思路。由上述對主權(quán)概念的變遷考察可知,人工智能與傳統(tǒng)主權(quán)乃至后發(fā)的各類衍生主權(quán)概念間的差異在于,雖然人工智能主權(quán)概念是最新出現(xiàn)的,但人工智能的綜合性決定了人工智能主權(quán)概念在范疇上并非最狹窄的。事實上,它比數(shù)據(jù)主權(quán)內(nèi)涵更為復雜,因其涉及應用層、數(shù)據(jù)層和算法層三個層面的問題,而數(shù)據(jù)主權(quán)僅涉及人工智能在數(shù)據(jù)層面臨的問題。人工智能主權(quán)與其他新興主權(quán)概念的共通之處在于,其“對內(nèi)”和“對外”的界限愈發(fā)模糊。例如,僅在數(shù)據(jù)層面,在數(shù)據(jù)主權(quán)討論中數(shù)據(jù)本地化和數(shù)據(jù)流動兩類價值并駕齊驅(qū)的情況下,主權(quán)國家對于數(shù)據(jù)的管制權(quán)相比于傳統(tǒng)主權(quán)理念對應的規(guī)制權(quán)受到弱化。相比之下,人工智能的多層次屬性更會加劇這種復雜性,因其在應用層和算法層分別面臨類似的模糊性。故而,發(fā)展人工智能主權(quán)的新概念的意義就在于更新傳統(tǒng)的主權(quán)觀念,弱化主權(quán)意義上的國家邊界,以適應人工智能的無國界性,為具體國際法規(guī)制規(guī)則提供理論基礎(chǔ)。

        2.規(guī)則體系的融貫:從現(xiàn)有規(guī)則到依托數(shù)字經(jīng)濟規(guī)則的人工智能規(guī)制規(guī)則。人工智能的國際法規(guī)制和規(guī)則應當同數(shù)字經(jīng)濟規(guī)則密切關(guān)聯(lián),其根源在于人工智能治理與數(shù)據(jù)治理具有密切關(guān)聯(lián)。其一,數(shù)據(jù)的存在是人工智能發(fā)展的基礎(chǔ),人工智能開發(fā)主體需要借助數(shù)據(jù)完成其工作。《在英國發(fā)展人工智能產(chǎn)業(yè)》報告對于大數(shù)據(jù)和人工智能的關(guān)系用一句話對此進行概括:“數(shù)據(jù)是為了開發(fā)人工智能,人工智能是為了管理數(shù)據(jù)”。該報告指出,正是數(shù)據(jù)的快速增長催生了人工智能,獲取大量數(shù)據(jù)和特定數(shù)據(jù)是成功訓練機器學習算法的關(guān)鍵。③Growing the Artificial Intelligence Industry in the UK, p. 22, https://assets.publishing.service.gov.uk.在人工智能涉及三層空間—現(xiàn)實層、數(shù)據(jù)層和知識層中,數(shù)據(jù)層是人類復雜現(xiàn)實世界和經(jīng)過人工建?;驒C器學習得到的結(jié)構(gòu)化知識之間的連接層面。其二,人工智能的應用可能反過來干擾用戶的數(shù)據(jù)權(quán)利。例如,現(xiàn)行法律并未充分考慮人類和機器在記憶與遺忘中的異同,機器與人類不同的遺忘特性會導致被遺忘權(quán)在人工智能領(lǐng)域適用的困境,使得被遺忘權(quán)的實施面臨技術(shù)瓶頸和規(guī)制障礙。④翟凱:《論人工智能領(lǐng)域被遺忘權(quán)的保護:困局與破壁》,《法學論壇》2021年第5期。

        數(shù)字經(jīng)濟規(guī)則可從兩方面介入和輔助人工智能的國際法規(guī)制。一方面,對人工智能的規(guī)制可以部分直接適用現(xiàn)存的數(shù)字經(jīng)濟規(guī)則。人工智能在助力數(shù)字經(jīng)濟發(fā)展的同時,其產(chǎn)業(yè)亦有機會隨數(shù)字經(jīng)濟國際規(guī)則的完善而得到規(guī)范。雖然直接規(guī)制人工智能的國際規(guī)則十分有限,但國際社會已表現(xiàn)出對以人工智能為生產(chǎn)力來源之一的數(shù)字經(jīng)濟的高度關(guān)注(如本文第三部分之總結(jié)所示),這類規(guī)則至少為對人工智能在數(shù)據(jù)層的規(guī)制提供了可參照的規(guī)則。同時,日漸增加的國際條約中的人工智能專章或?qū)l預示著人工智能之規(guī)制將逐步成為專門領(lǐng)域。另一方面,數(shù)字經(jīng)濟規(guī)則對于人工智能規(guī)制不僅有規(guī)則供給的作用,而且還具有公共政策意義。盡管全球數(shù)據(jù)治理框架的可能性與路徑雖然抉擇未知,但大型私人公司主導的人工智能發(fā)展預示著私人治理時代的到來,為了維護人工智能領(lǐng)域的公共聲音,需要從治理數(shù)據(jù)之根本入手,而不只是治理算法輸出的結(jié)果。①Alicia Solow-Niederman. Administering Artificial Intelligence. Southern California Law Review, 93, 2020, p. 633.例如,就人工智能應用中飽受關(guān)注的算法歧視問題而言,人們企圖避免的算法偏差,其實很大程度上源自數(shù)據(jù)本身的偏差,即用于訓練算法的數(shù)據(jù)已經(jīng)“嵌入”了偏差。②Aylin Caliskan, Joanna J. Bryson, and Arvind Narayanan. A Semantics Derived Automatically from Language Corpora Contain Human-like Biases. Science, 356, 2017, pp. 183-186. abstract=3943389.因此,雖然對于源代碼的監(jiān)管是控制算法影響的直接途徑和人工智能規(guī)制的必然環(huán)節(jié),但它并不應替代對于數(shù)據(jù)本身的規(guī)制,因為是后者決定了“何種數(shù)據(jù)應被篩選用于訓練特定種類人工智能”等基本問題。

        因此,在具體的國際法層面,一個重要任務便是實現(xiàn)現(xiàn)存國際法規(guī)則、數(shù)字經(jīng)濟規(guī)則和人工智能規(guī)制規(guī)則的融合。以前述經(jīng)貿(mào)規(guī)則所面臨的挑戰(zhàn)為例,完成這項工作的一個重要載體是數(shù)字經(jīng)濟協(xié)定和自由貿(mào)易協(xié)定。其一,就應用層的人工智能產(chǎn)品的定性問題而言,在現(xiàn)存經(jīng)貿(mào)規(guī)則中對各類產(chǎn)品的定義是否以及如何可以擴張解釋不明確的情形下,可先依現(xiàn)存規(guī)則對于組合型人工智能產(chǎn)品之各部加以分別定性,再進一步探索對人工智能產(chǎn)品特有的規(guī)制標準,且應當確保人工智能產(chǎn)品及其生產(chǎn)所基于的數(shù)據(jù)受到分別保護。其二,就數(shù)據(jù)層的數(shù)據(jù)投資定性問題,在直接明確數(shù)據(jù)的投資性質(zhì)較為困難的情況下,可以通過擴大協(xié)調(diào)自由貿(mào)易協(xié)定內(nèi)部數(shù)據(jù)流動規(guī)則的適用范圍,明確其包含投資章節(jié),從而使得后發(fā)的數(shù)字經(jīng)濟規(guī)則對數(shù)據(jù)流動價值的保護發(fā)揮實效。其三,就算法層的源代碼路徑規(guī)制問題,則應著重選擇依托現(xiàn)存的責任機制對算法進行治理,回歸到對“人”的治理和法律主體的責任。例如,有學者指出,對于金融領(lǐng)域的算法治理,應當基于當前金融機構(gòu)內(nèi)部治理的管理者責任模式,亦將算法產(chǎn)生的問題歸于個人責任,從而消除人工智能的黑箱問題。③Ross P. Buckley, Dirk A. Zetzsche, Douglas W. Arner and Brian W. Tang. Regulating Artificial Intelligence in Finance:Putting the Human in the Loop. Sydney Law Review, 43, 2021, p. 43.

        (二)國際法與其他國際治理方式的協(xié)調(diào)

        面對人工智能國際法規(guī)制這一方式本身的缺陷,“超級軟法”的生成可以緩解當下人工智能治理規(guī)則缺失的問題,多元主體的治理參與則有助于緩解根本的不平衡發(fā)展,二者在發(fā)揮治理作用的同時也均將促進國際法規(guī)則的形成。

        1.借鑒與吸收“超級軟法”。人工智能治理所需要依托的軟法不僅限于國際法意義上的軟法,還包括其他主體主導和制定的規(guī)范,有學者把這類自律性行業(yè)規(guī)范文件稱為一種“超級軟法(supersoftlaw)”—它們不具有正式約束力,出現(xiàn)在國際法的空白領(lǐng)域,憑借自身的優(yōu)點產(chǎn)生強大的合規(guī)吸引力。④Thomas Burri. International Law and Artificial Intelligence. German Yearbook of International Law, 60, 2017, p. 106.當前,許多發(fā)生在傳統(tǒng)的國際立法場域之外的人工智能國際標準制定正在進行中。例如,電氣與電子工程師協(xié)會( IEEE)于2016年發(fā)起的“IEEE關(guān)于自治和智能系統(tǒng)倫理的全球倡議(AI/AS)”,是最全面的人工智能軟法倡議,旨在“確保參與自動化和智能系統(tǒng)設(shè)計和開發(fā)的每一個利益相關(guān)者都受到教育、培訓,并被授權(quán)在設(shè)計和使用中優(yōu)先考慮道德因素,從而使這些技術(shù)為人類的利益而進步”,屬于IEEE科技倫理項目的一部分。①The IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems, https://standards.ieee.org/industryconnections/ec/autonomous-systems.html,2022年8月8日訪問。由人工智能領(lǐng)域巨頭發(fā)起的人工智能合作伙伴組織(Partnership on AI, PAI),現(xiàn)在已經(jīng)擴展到包括各領(lǐng)域公司、智囊團、人工智能學術(shù)組織、專業(yè)協(xié)會和慈善團體等多類主體。②PAI. About Us: Advancing Positive Outcomes for People and Society, https://www.partnershiponai.org/about/#pillar-3,2022年8月8日訪問。

        此類“超級軟法”對于人工智能國際法規(guī)制的意義在于它們可以暫時填補國際法規(guī)則的缺位。首先,人工智能全球治理面臨的更大挑戰(zhàn)是避免進一步分散的治理措施,致力于實現(xiàn)全球普遍接受的法律環(huán)境。這需要一種新的思維方式—拋開傳統(tǒng)的主權(quán)考慮,轉(zhuǎn)向新的知識概念。③Rolf H. Weber. Global Law in the Face of Datafication and Artificial Intelligence. In Shin-Yi Peng, Ching-Fu Lin, and Thomas Streinz (eds), Artificial Intelligence and International Economic Law: Disruption, Regulation, and Reconfiguration. London:Cambridge University Press, 2021, p.69.此類“超級軟法”的優(yōu)勢首先在于其弱主權(quán)化的本質(zhì),上述軟法由于其本身適用的國際化(international in application)之特點將發(fā)揮關(guān)鍵作用。④Carlos Ignacio Gutierrez, Gary E Marchant, and Lucille Tournas. Lessons for Artificial Intelligence from Historical Uses of Soft Law Governance. Jurimetrics, 61(1), 2020, pp. 144-145.這些行業(yè)自治規(guī)則和政府規(guī)制相比具備更強的時效性、且形式更加靈活,可為強制性的行業(yè)規(guī)范確立起到先導作用。其次,此類“超級軟法”對于人工智能國際法規(guī)制的意義還在于其能為后者提供可援引的規(guī)則。例如,SADEA第31條“人工智能”就明確在開發(fā)人工智能治理框架時應考慮國際公認的原則或指導方針。

        2.包容多元主體的參與。多元主體的參與意味著主權(quán)國家之外的主體應參與人工智能的國際治理。人工智能的全球治理要求多極化主體的主導,這既意味著對人工智能技術(shù)霸權(quán)的防范,也意味著人工智能的國際治理中多方參與的治理模式:科技公司等非政府主體的積極參與將有助于彌合技術(shù)人員和政策制定者之間的信息不對稱。政策制定者應關(guān)注如何通過市場和規(guī)范等替代監(jiān)管模式來過濾公眾意見并灌輸公共價值觀,而不只是試圖通過法律直接控制人工智能的算法技術(shù)。⑤Alicia Solow-Niederman. Administering Artificial Intelligence. Southern California Law Review, 93, 2020, p. 695.以對算法的規(guī)則設(shè)計為例,在人工智能治理中,應注意避免將思路局限于以算法作為單一規(guī)制對象,而是需要在縱向上推動對數(shù)據(jù)來源篩選過程的源頭監(jiān)管、在橫向上聽取人工智能行業(yè)之外的社會公眾對于人工智能算法的意見。多元主體的參與還意味著在人工智能發(fā)展不平衡的情形下,政府和行業(yè)主導者應當有意識地強調(diào)人工智能的普惠性和包容性,營造全球普適的法律環(huán)境。仍以對算法的規(guī)則設(shè)計為例,創(chuàng)新企業(yè)需要仔細、主動地思考算法設(shè)計者可以在智能平臺中構(gòu)建的不同功能。盡管政策制定者和消費者權(quán)益倡導者均常常將透明度和問責制放在首位,但包容性也應是受到關(guān)注的設(shè)計特征。⑥Peter K. Yu. Beyond Transparency and Accountability: Three Additional Features Algorithm Designers Should Build into Intelligent Platforms. Northeastern University Law Review, 13, 2021, p. 263.

        多元主體參與的治理方式對于國際法規(guī)制的啟示在于,人工智能國際法規(guī)制體系的形成過程應當納入更多主體的考慮,以實現(xiàn)各方的協(xié)同共治。這一需求的背后是全球價值鏈的轉(zhuǎn)型:全球優(yōu)化的價值鏈—當前全球化階段的一個常見特征—將讓位于數(shù)字技術(shù)與舊的低成本技術(shù)相結(jié)合而形成的價值鏈,允許產(chǎn)品和服務之間的更大整合,并利用獨立全球平臺發(fā)展商品和服務的交換。⑦Daniel Wagner. AI & Global Governance: How AI is Changing the Global Economy, November 13, 2018, https://cpr.unu.edu/publications/articles/ai-global-governance-how-ai-is-changing-the-global-economy.html.這時,更多行業(yè)主體有資格參與進人工智能研發(fā)與應用的競爭,且相應的產(chǎn)品流動所受國家邊界的限制減少了。目前,除了政府主導的行業(yè)規(guī)范設(shè)計,國際行業(yè)協(xié)會和跨國數(shù)字巨頭公司也是行業(yè)規(guī)范生成的參與者甚至主導者,諸多主體已經(jīng)推出了人工智能倫理倡議。下一步,通常作為國際法造法機關(guān)的國際政府間組織應當注意到這類來自外部的聲音,積極吸引其他有影響力的個體也積極參與規(guī)則形成的過程。如人工智能企業(yè)商湯科技與上海交通大學清源研究院聯(lián)合發(fā)布的《AI可持續(xù)發(fā)展白皮書》入選聯(lián)合國“人工智能戰(zhàn)略資源指南”,①“商湯科技《AI可持續(xù)發(fā)展白皮書》入選聯(lián)合國“人工智能戰(zhàn)略資源指南”,2021年6月30日,商湯新聞中心:https://www.sensetime.com/cn/news-detail/56 526?categoryId=72,2022年8月8日訪問。即為一很好的例證。在非國際法治理方式向國際法體系融入的同時,人工智能的國際法規(guī)制亦有向國際軟法方向演化的趨勢,兩種趨勢相向而行,有助于形成以國際法規(guī)制為核心的、更為綜合的人工智能國際治理體系。

        六、 人工智能國際法規(guī)制的中國因應和參與

        (一)國內(nèi)層面:完善人工智能規(guī)制規(guī)則,提高制度確定性

        在國內(nèi)層面的人工智能規(guī)制議題中,當務之急是應對人工智能之應用已經(jīng)造成的問題。為此,應以完善國內(nèi)傳統(tǒng)部門法和相關(guān)制度作為現(xiàn)實突破口。以算法歧視問題為例,其作為算法權(quán)力擴張的副產(chǎn)品,隨著人工智能、大數(shù)據(jù)與自動化決策的發(fā)展應用而出現(xiàn)。②曹博:《算法歧視的類型界分與規(guī)制范式重構(gòu)》,《現(xiàn)代法學》2021年第4期,第115-126頁。為應對算法歧視問題,一方面,現(xiàn)存相關(guān)部門法仍是最重要的討論框架之一。例如,就消費者遭遇算法歧視的狀況,有學者建議可通過對我國現(xiàn)行《消費者權(quán)益保護法》所列舉的消費者安全權(quán)予以擴張解釋,以實現(xiàn)對日益強化的消費者數(shù)據(jù)權(quán)益之保護。③陳兵:《法治經(jīng)濟下規(guī)制算法運行面臨的挑戰(zhàn)與響應》,《學術(shù)論壇》2020年第1期,第20頁。另一方面,亦需要對于具有共性的算法歧視問題進行一般性規(guī)制,以彌補部門法經(jīng)驗的局限性。我國網(wǎng)信辦于2021年12月發(fā)布的《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》提出對算法推薦服務提供者實施分級分類管理、建立算法分級分類安全管理制度,就是以算法本身作為切入點進行統(tǒng)一規(guī)制,在算法規(guī)制語境下明確用戶權(quán)益和算法服務者義務,而不再局限于部門法語境。

        進一步地,面對人工智能規(guī)制的國際話語權(quán)競爭,我國國內(nèi)層面人工智能規(guī)制的長久之計在于建立完善的人工智能國內(nèi)規(guī)制體系。一國提升其在人工智能國際法規(guī)制路徑設(shè)計中的話語權(quán)有賴于該國自身擁有更多世界頂尖人工智能企業(yè),而穩(wěn)定的法律環(huán)境是促進人工智能產(chǎn)業(yè)發(fā)展的前提。歐盟的做法即是上述這一原理的體現(xiàn):歐盟的人工智能發(fā)展在全球范圍中并非領(lǐng)先—麥肯錫全球研究所2019年發(fā)布的《自人工智能前沿的說明》指出,歐洲在人工智能方面的早期投資上落后于美國和中國,僅擁有全球10%的數(shù)字獨角獸。④McKinsey Global institute. Notes from the AI Frontier: Tackling Europe’s Gap in Digital and AI, p. 2, https://www.mckinsey.com.但是,歐盟做法的可取之處在于其圍繞人工智能治理的規(guī)則體系深刻體現(xiàn)了規(guī)則本身的價值,即為市場中的投資者與潛在投資者提供制度的確定性以保障和促進產(chǎn)業(yè)發(fā)展。

        具體而言,在人工智能國內(nèi)規(guī)制體系的設(shè)計上,我國亦可以歐盟為范本,推動人工智能及與其相關(guān)的數(shù)字經(jīng)濟配套規(guī)則建設(shè)。歐盟的人工智能規(guī)制體系有兩大特點:一是人工智能直接規(guī)制規(guī)則具有倫理色彩。歐盟《關(guān)于人工智能的統(tǒng)一規(guī)則(人工智能)并修正某些聯(lián)合立法行為》正是把頗多倫理要求轉(zhuǎn)化為具有法律約束力的具體規(guī)范,從而實現(xiàn)對個人權(quán)益的強保護。二是在整體上以數(shù)據(jù)規(guī)制為基礎(chǔ),直接規(guī)則與間接規(guī)則相結(jié)合。除《關(guān)于人工智能的統(tǒng)一規(guī)則(人工智能)并修正某些聯(lián)合立法行為》提案外,歐盟還形成了以《通用數(shù)據(jù)保護條例》《數(shù)據(jù)治理法》《數(shù)字服務法》《數(shù)字市場法》為核心的數(shù)字經(jīng)濟法律體系。相應地,首先,我國應啟動以倫理為基礎(chǔ)的專門的人工智能規(guī)范構(gòu)建。我國的人工智能直接規(guī)制法律規(guī)則尚付闕如,在構(gòu)建這一體系的過程中應吸納基本倫理規(guī)范和共識,尤其需靠攏以倫理規(guī)范為主要內(nèi)容的現(xiàn)存專門的人工智能國際規(guī)范,聯(lián)合國教科文組織的《人工智能倫理問題建議書》即為一例。我國在政策層面已對人工智能中的倫理問題表示關(guān)注,如2021年國家新一代人工智能治理專業(yè)委員會發(fā)布的《新一代人工智能倫理規(guī)范》,確立了人工智能增進人類福祉、促進公平公正、保護隱私安全、確??煽乜尚?、強化責任擔當?shù)然緜惱硪?guī)范。①“《新一代人工智能倫理規(guī)范》發(fā)布”,2021年9月26日,中華人民共和國科學技術(shù)部:https://www.most.gov.cn/kjbgz/202 109/t20210926_177063.html,2022年8月8日訪問。這類政策規(guī)范可為人工智能的法律規(guī)制提供素材甚至被吸納為法律規(guī)范。其次,我國應同時完善數(shù)據(jù)規(guī)制規(guī)則體系,這是人工智能治理的基礎(chǔ)。我國于近年來通過的《網(wǎng)絡(luò)安全法》《數(shù)據(jù)安全法》《個人信息保護法》等法律初步勾勒出人工智能規(guī)制之配套規(guī)則體系的輪廓,但僅主要處理數(shù)據(jù)安全問題,在內(nèi)容和數(shù)量上與歐盟尚有差距,應對問題有限。例如,歐盟的《數(shù)字市場法》禁止大型平臺公司濫用市場支配地位打壓其他競爭企業(yè),而在我國尚無專門針對數(shù)字市場中“看門人”大型平臺不正當競爭行為的法律,這一問題只能通過反壟斷法律體系處理。此外,我國對于數(shù)字經(jīng)濟的專門支持措施在部分地區(qū)逐步開啟。例如,《廣州市數(shù)字經(jīng)濟促進條例》于2022年6月正式實施,鼓勵與支持人工智能等八大領(lǐng)域數(shù)字經(jīng)濟核心產(chǎn)業(yè)創(chuàng)新發(fā)展,并提出構(gòu)建數(shù)據(jù)、算法、算力協(xié)同發(fā)展的人工智能產(chǎn)業(yè)鏈。不過,鼓勵人工智能研發(fā)的政策只是人工智能的治理起點,更重要的是法律規(guī)則的落地,方可為投資者提供制度確定性與投資吸引力。

        (二)國際層面:依托國際協(xié)定參與治理,鼓勵多元主體參與國際對話

        首先,我國需密切關(guān)注并參與各類數(shù)字經(jīng)濟規(guī)則的形成。當前,人工智能國際法規(guī)制的突破口之一在國際經(jīng)貿(mào)規(guī)則領(lǐng)域,如CPTPP的各類區(qū)域經(jīng)貿(mào)協(xié)定為人工智能間接規(guī)制提供了討論空間,有專門的數(shù)字經(jīng)濟協(xié)定更明確地把人工智能確定為規(guī)制對象與合作領(lǐng)域。2021年,我國正式提出申請加入由新加坡、新西蘭和智利發(fā)起的全球第一個專門的數(shù)字經(jīng)濟制度安排DEPA,該協(xié)定的三個發(fā)起國并非傳統(tǒng)意義上的全球經(jīng)濟主導者,在協(xié)定中較多關(guān)注包括人工智能在內(nèi)的新興技術(shù)發(fā)展,敦促締約方采用支持可信、安全和負責任使用人工智能技術(shù)的道德和治理框架。加入這一協(xié)定正體現(xiàn)了我國在人工智能治理國際合作中的開放態(tài)度。我國在靠攏數(shù)字經(jīng)濟國際規(guī)則同時,亦須以該類國際規(guī)則為指導完善國內(nèi)層面的人工智能規(guī)制規(guī)則、在國內(nèi)作出相應的立法回應,尤其是在法律層面確立以現(xiàn)存?zhèn)惱砉沧R為基礎(chǔ)的人工智能治理框架,以確保國內(nèi)人工智能相關(guān)立法與規(guī)定在國際協(xié)定下的合法性與契合性。

        其次,我國包括政府在內(nèi)的各類主體應積極參與不具有法律約束力的人工智能治理規(guī)范之制定,如國際軟法、行業(yè)規(guī)范以及倫理共識等。人工智能國際統(tǒng)一技術(shù)標準的誕生無法僅依靠政府介入而形成,而是更依賴于行業(yè)標準的初步建立與行業(yè)自我監(jiān)管。因此,人工智能國際法規(guī)制體系建立的過程不僅需要政府在場,也需要非政府主體的廣泛參與。在政府層面,我國應當參與人工智能國際治理的其他指引性、合作性、協(xié)商性的規(guī)范討論和形成,積極表達與傳遞中國立場。例如,在數(shù)據(jù)安全議題上,我國繼在2020年“抓住數(shù)字機遇,共謀合作發(fā)展”國際研討會高級別會議上提出《全球數(shù)據(jù)安全倡議》后,又于2022年同中亞五國共同提出《“中國+中亞五國”數(shù)據(jù)安全合作倡議》,向國際社會展示了我國在數(shù)據(jù)安全議題上積極營造開放與公平、公正、非歧視之數(shù)字發(fā)展環(huán)境的一貫立場,與維護全球信息技術(shù)產(chǎn)品和服務供應鏈開放、安全、穩(wěn)定的積極態(tài)度,②《全球數(shù)據(jù)安全倡議(全文)》,中央政府官方網(wǎng)站:http://www.gov.cn/xinwen/2020-09/08/content_5541579.htm,《“中國+中亞五國”數(shù)據(jù)安全合作倡議》,2022年8月8日訪問。為營造安全穩(wěn)定的人工智能應用與治理之國際環(huán)境作出貢獻。而在非政府層面,我國則應支持國內(nèi)的企業(yè)與行業(yè)組織、科研機構(gòu)和人員等主體積極參與國際層面的討論,促進非政府層面交流機制的形成。

        猜你喜歡
        規(guī)則人工智能
        我校新增“人工智能”本科專業(yè)
        撐竿跳規(guī)則的制定
        數(shù)獨的規(guī)則和演變
        2019:人工智能
        商界(2019年12期)2019-01-03 06:59:05
        規(guī)則的正確打開方式
        幸福(2018年33期)2018-12-05 05:22:42
        人工智能與就業(yè)
        讓規(guī)則不規(guī)則
        Coco薇(2017年11期)2018-01-03 20:59:57
        數(shù)讀人工智能
        小康(2017年16期)2017-06-07 09:00:59
        TPP反腐敗規(guī)則對我國的啟示
        下一幕,人工智能!
        南風窗(2016年19期)2016-09-21 16:51:29
        久久亚洲国产中v天仙www| 久久久精品国产免大香伊| 国产精品免费av片在线观看| 无码人妻精品一区二区三18禁| 久久婷婷国产精品香蕉| 色综合久久精品中文字幕| 激情人妻另类人妻伦| 国产黄在线观看免费观看不卡| 亚洲 成人 无码 在线观看| 亚洲av色香蕉第一区二区三区| 国产精品妇女一区二区三区| 丰满少妇三级全黄| 国产一级毛片AV不卡尤物| 国产精品污一区二区三区在线观看| 国产视频一区二区三区在线免费| 国内露脸少妇精品视频| 538在线啪在线观看| 国产一区,二区,三区免费视频| 国产国语按摩对白av在线观看| 无码人妻人妻经典| 一本大道香蕉视频在线观看| 视频福利一区二区三区| 精品亚洲一区二区三区四| 麻豆精品传媒一二三区| 亚洲国产一区二区三区在线视频| 亚洲天堂av在线观看免费| 欧美成人www在线观看| 97影院在线午夜| 亚洲国产成人aⅴ毛片大全| 日本不卡一区二区三区在线视频 | 午夜蜜桃视频在线观看| 国产精品无码一区二区在线观一| 国产乱子伦精品无码码专区| 熟女人妻一区二区在线观看| 欲女在线一区二区三区| 中文成人无字幕乱码精品区| 日韩在线精品在线观看| 亚洲av午夜福利精品一区不卡 | 精品国产亚洲级一区二区| 国产精品无码午夜福利| 国产欧美曰韩一区二区三区|