亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        國(guó)際競(jìng)爭(zhēng)語(yǔ)境下智能化平臺(tái)的治理結(jié)構(gòu)

        2020-02-21 09:31:02鄭戈
        治理研究 2020年1期
        關(guān)鍵詞:平臺(tái)治理法治

        鄭戈

        摘要:對(duì)人工智能所涉及的法律問(wèn)題的理解要走出具象化、擬人化的誤區(qū)。遍布于操作系統(tǒng)、搜索引擎、交易平臺(tái)、社交平臺(tái)和訂制新聞平臺(tái)之中的機(jī)器學(xué)習(xí)算法才是對(duì)社會(huì)關(guān)系和相應(yīng)的法律關(guān)系沖擊最大的人工智能形態(tài)。智能化平臺(tái)的涌現(xiàn),一方面帶來(lái)了新的國(guó)家安全和主權(quán)問(wèn)題,另一方面也使公私關(guān)系以及防衛(wèi)國(guó)家權(quán)力的權(quán)利保障機(jī)制面臨著挑戰(zhàn)。本文從安全、發(fā)展、創(chuàng)新與個(gè)人權(quán)利三個(gè)維度及其相關(guān)關(guān)系的角度分析了智能化平臺(tái)的治理結(jié)構(gòu),為比較、理解和評(píng)價(jià)智能化平臺(tái)的法治化路徑提供了一種理論框架。

        關(guān)鍵詞:人工智能;平臺(tái);算法;治理;法治

        中圖分類號(hào):C34

        文獻(xiàn)標(biāo)志碼:A

        文章編號(hào):1007-9092(2020)01-0121-008

        一、智能化平臺(tái)的興起及其對(duì)現(xiàn)有規(guī)制體系的沖擊

        1955年8月底,數(shù)學(xué)家約翰·麥卡錫、計(jì)算機(jī)與認(rèn)知科學(xué)家馬文·明斯基、IBM系統(tǒng)設(shè)計(jì)師納薩尼爾·羅切斯特和信息論創(chuàng)始人克勞德·香農(nóng)在一起商議次年在達(dá)特茅斯學(xué)院舉辦一次為期兩月的暑期研討班。研討班的主旨在會(huì)議策劃書(shū)中得到明確表述:“我們提議1956年暑期在新罕布什爾州漢諾威城的達(dá)特茅斯學(xué)院舉辦一場(chǎng)為期兩月、十人參加的研討會(huì),本次研討會(huì)將以這樣一個(gè)猜想為基礎(chǔ)而展開(kāi):學(xué)習(xí)的每一環(huán)節(jié)以及智力的其他方面原則上都可以得到如此準(zhǔn)確的描述,以至于我們可以制造出一臺(tái)機(jī)器對(duì)其進(jìn)行模擬。我們將嘗試發(fā)現(xiàn)如何讓機(jī)器使用語(yǔ)言、提出抽象命題和概念、解決某些目前留給人類去解決的難題以及實(shí)現(xiàn)自我改進(jìn)。我們認(rèn)為,只要一群經(jīng)過(guò)精挑細(xì)選的科學(xué)家在一起工作一個(gè)夏天,我們?cè)谶@些方面就可以取得一項(xiàng)或多項(xiàng)重大進(jìn)展?!痹跁?huì)議邀請(qǐng)函中,“人工智能”(Artificial Intelligence)這一概念正式誕生。由此可見(jiàn),人工智能從一開(kāi)始就是一群志同道合的科學(xué)家和工程師有意追求的事業(yè),其目的是讓機(jī)器能夠?qū)W習(xí)并完成人類需要運(yùn)用智能來(lái)完成的任務(wù),它是對(duì)傳統(tǒng)編程模式的革新。人工智能的核心技術(shù)是機(jī)器學(xué)習(xí),其商業(yè)應(yīng)用被稱為預(yù)測(cè)性分析(predictive analytics)。但這一事業(yè)并非一帆風(fēng)順,中間經(jīng)歷了數(shù)次“寒冬”,直到最近幾年才開(kāi)始得到小圈子之外的普羅大眾的關(guān)注,并被認(rèn)為是“第四次工業(yè)革命”的核心技術(shù),具有徹底改變?nèi)祟惿嫣幘车臐撡|(zhì)。

        造成人工智能這座蟄伏已久的火山突然噴發(fā)的原因是經(jīng)濟(jì)形態(tài)和技術(shù)雙重變革的合力。一方面,互聯(lián)網(wǎng)平臺(tái)經(jīng)濟(jì)已經(jīng)成為當(dāng)代經(jīng)濟(jì)的主流,谷歌、百度、亞馬遜、阿里巴巴、臉書(shū)、騰訊已經(jīng)取代通用電氣等制造業(yè)巨頭成為新時(shí)代的商業(yè)霸主,大量的交易在網(wǎng)上而不是線下完成。從可穿戴設(shè)備到家用電器都已智能化和聯(lián)網(wǎng)化,使互聯(lián)網(wǎng)升格為物聯(lián)網(wǎng),人們的網(wǎng)上和線下生活日漸融為一體,越來(lái)越多的人成為傳感器測(cè)量和監(jiān)督下的“量化自我”,每時(shí)每刻都生成著大量可供分析和產(chǎn)品化的數(shù)據(jù),成為“遍布式計(jì)算”(pervasive computing或ubiquitous computing)的追蹤和分析對(duì)象。另一方面,英特爾創(chuàng)始人之一戈登·摩爾所提出的“集成電路上可容納的晶體管數(shù)量每18-24個(gè)月就會(huì)翻倍”這一定律不僅應(yīng)驗(yàn)了,而且在計(jì)算機(jī)算力和存儲(chǔ)能力方面都得到體現(xiàn),使得海量數(shù)據(jù)得以低成本存儲(chǔ)處理,為機(jī)器學(xué)習(xí)提供了豐富的資源。大數(shù)據(jù)是人工智能的燃料,應(yīng)用編程界面(API)是人工智能的引擎,再加上商業(yè)應(yīng)用的巨大獲利機(jī)會(huì),共同推動(dòng)著人工智能的蓬勃發(fā)展。但商業(yè)驅(qū)動(dòng)的人工智能發(fā)展在源頭上便存在許多令人擔(dān)憂的屬性,沖擊著現(xiàn)代法律秩序中的基礎(chǔ)性原理,尤其是沖擊著關(guān)于主權(quán)、安全和個(gè)人自由的法律安排以及公法與私法的邊界。我們需要對(duì)相關(guān)問(wèn)題進(jìn)行頂層設(shè)計(jì)層面的戰(zhàn)略性考量,以避免被不可控的力量牽著鼻子走,最終陷入馬斯克所警告的“人類文明的生存危機(jī)”。目前法學(xué)界對(duì)人工智能的討論大多基于想象而不是對(duì)人工智能實(shí)際應(yīng)用場(chǎng)景的了解,許多研究針對(duì)人工智能技術(shù)突破“奇點(diǎn)”后具有自我意識(shí)和自主行為能力的想象而談?wù)撈洹胺扇烁瘛被蜇?zé)任機(jī)制問(wèn)題。這種場(chǎng)景雖然并非毫無(wú)可能出現(xiàn),但卻存在于遙遠(yuǎn)的未來(lái),而且即使出現(xiàn)也無(wú)法通過(guò)將人工智能體作為新的法律主體的方法而得到控制。這種討論還使我們忽視了人工智能真實(shí)應(yīng)用場(chǎng)景已然對(duì)社會(huì)生活和法律關(guān)系造成的巨大沖擊。這種應(yīng)用場(chǎng)景就是智能算法驅(qū)動(dòng)的平臺(tái)經(jīng)濟(jì)。

        平臺(tái)首先是一套軟件/算法在其中得到執(zhí)行的環(huán)境,它可以是一套硬件(服務(wù)器、電腦、手機(jī)或其他智能終端)和操作系統(tǒng),也可以是一個(gè)瀏覽器及其相關(guān)的應(yīng)用編程界面。在這個(gè)意義上,平臺(tái)是計(jì)算機(jī)和網(wǎng)絡(luò)架構(gòu)的另一種說(shuō)法。隨著物聯(lián)網(wǎng)時(shí)代的到來(lái),平臺(tái)成為一種新的經(jīng)濟(jì)組織形式。它將數(shù)據(jù)化的資本、勞動(dòng)和產(chǎn)品關(guān)聯(lián)起來(lái),借助智能算法在各要素之間實(shí)現(xiàn)精準(zhǔn)匹配,從而極大地降低交易成本,提高生產(chǎn)效率,改進(jìn)效用函數(shù)。它也帶來(lái)了新的定價(jià)機(jī)制,許多看似免費(fèi)的服務(wù)都是以用戶交出自己的個(gè)人信息/數(shù)據(jù)為代價(jià)的,生產(chǎn)者和消費(fèi)者之間的界限變得十分模糊。普遍存在的是權(quán)益在現(xiàn)有法律框架中很難得到確認(rèn)和保護(hù)的生產(chǎn)—消費(fèi)者(prosumer)。從功能主義的角度看,平臺(tái)企業(yè)是一種網(wǎng)上交易中介,它借助云計(jì)算、算法匹配、普遍的無(wú)線網(wǎng)絡(luò)接入、規(guī)?;挠脩艟W(wǎng)絡(luò)以及近乎普遍的智能手機(jī)和平板電腦等智能化設(shè)備所有權(quán)所提供的現(xiàn)代能力而取代了傳統(tǒng)的交易中介。用美國(guó)學(xué)者朱莉·科恩的話來(lái)說(shuō):工業(yè)革命所帶來(lái)的商業(yè)模式變革將土地、勞動(dòng)和資本重新概念化為商品,將它們從其所嵌入其中的村社共同體、家庭和宗族紐帶中解脫出來(lái),在市場(chǎng)上自由流動(dòng)。而三種類似的轉(zhuǎn)變正在塑造著當(dāng)下的信息產(chǎn)業(yè)革命:無(wú)形資源的產(chǎn)權(quán)化、工業(yè)生產(chǎn)基本要素的去物質(zhì)化和數(shù)據(jù)化以及嵌入在信息平臺(tái)中的交易模式。就產(chǎn)業(yè)組織而言,平臺(tái)是關(guān)鍵:平臺(tái)并不進(jìn)入或擴(kuò)展市場(chǎng),它們?nèi)〈ú⒅厮埽┲袌?chǎng)。

        與基于開(kāi)源代碼、開(kāi)放架構(gòu)和網(wǎng)絡(luò)中立設(shè)計(jì)理念的互聯(lián)網(wǎng)本身相比,平臺(tái)的特點(diǎn)包括:具有明確的主權(quán)國(guó)家邊界;有明確的所有權(quán)歸屬;其設(shè)計(jì)是由商業(yè)模式和法律環(huán)境決定的;平臺(tái)所針對(duì)的不是人,而是微?;娜?,是點(diǎn)滴需求、瞬間愉悅、碎片工作;智能算法可以實(shí)現(xiàn)對(duì)交易單位的精準(zhǔn)剪切,能夠把無(wú)數(shù)人的同類片段匯集起來(lái),實(shí)現(xiàn)規(guī)模經(jīng)濟(jì);平臺(tái)企業(yè)本身雖然有其所有權(quán)人,但其所提供的服務(wù)強(qiáng)調(diào)接入,而不是擁有;平臺(tái)的進(jìn)入門檻低,人人皆可變成新聞、娛樂(lè)、服務(wù)和商品的提供者;與傳統(tǒng)市場(chǎng)不同,運(yùn)用智能算法的平臺(tái)可以實(shí)現(xiàn)精準(zhǔn)定價(jià),通過(guò)對(duì)海量供求數(shù)據(jù)的分析靈活調(diào)整定價(jià);平臺(tái)可以通過(guò)雙向互評(píng)、動(dòng)態(tài)積分和信息共享等方式解決信息不對(duì)稱問(wèn)題。

        盡管存在這些有利于民生福祉和經(jīng)濟(jì)效率的優(yōu)勢(shì),平臺(tái)經(jīng)濟(jì)也帶來(lái)了一系列需要通過(guò)主權(quán)國(guó)家的法律干預(yù)來(lái)加以應(yīng)對(duì)的風(fēng)險(xiǎn)。首先,平臺(tái)經(jīng)濟(jì)越來(lái)越依賴于能夠準(zhǔn)確預(yù)測(cè)用戶行為和匹配交易的智能算法,導(dǎo)致了“算力即權(quán)力”的格局,而最早進(jìn)入這個(gè)領(lǐng)域的“大數(shù)據(jù)掌控者”擁有了“贏家通吃”的壟斷性優(yōu)勢(shì)。這些大數(shù)據(jù)掌控者,無(wú)論是政府還是企業(yè),大多位于中國(guó)和美國(guó)。這便產(chǎn)生了國(guó)際競(jìng)爭(zhēng)環(huán)境中的國(guó)家安全問(wèn)題。應(yīng)對(duì)這一問(wèn)題的典型法律模式是數(shù)據(jù)本地化規(guī)則。其次,由于人的大部分線上活動(dòng)都不是在政府平臺(tái)上進(jìn)行的,而是通過(guò)搜索引擎、購(gòu)物平臺(tái)、社交網(wǎng)絡(luò)等由私人企業(yè)運(yùn)營(yíng)的商業(yè)平臺(tái)進(jìn)行。平臺(tái)企業(yè)正越來(lái)越多地行使著某種“準(zhǔn)公權(quán)力”,平臺(tái)治理也因此需要走出傳統(tǒng)的政府規(guī)制模式,邁向公私合作的治理模式。第三,在平臺(tái)經(jīng)濟(jì)環(huán)境中,個(gè)人意圖的邊界以及相應(yīng)的主觀過(guò)錯(cuò)概念變得模糊不清。個(gè)人披露私人信息顯然是為了獲得便利、享受服務(wù),在效用的引誘下,個(gè)人最終披露的信息將是海量的、全方位的。就事論事,在一次次具體的信息披露中辨別個(gè)人是否同意、是否明知個(gè)人信息會(huì)被用于某一特定用途變得越來(lái)越困難。個(gè)人數(shù)據(jù)在大數(shù)據(jù)分析中的最終使用情況已經(jīng)遠(yuǎn)遠(yuǎn)超出個(gè)人的意圖范圍,甚至超出個(gè)人的認(rèn)知范圍。因此,由侵權(quán)法、產(chǎn)品責(zé)任法、個(gè)人信息保護(hù)法等傳統(tǒng)私法來(lái)承擔(dān)保護(hù)個(gè)人數(shù)據(jù)權(quán)的任務(wù)也顯得捉襟見(jiàn)肘。

        二、主權(quán)與國(guó)家安全

        首先,人工智能的發(fā)展涉及到國(guó)際競(jìng)爭(zhēng)語(yǔ)境下的國(guó)家安全問(wèn)題。早在人工智能成為熱點(diǎn)話題之前,美國(guó)便將“信息戰(zhàn)”作為營(yíng)造對(duì)其有利的國(guó)際環(huán)境的重要戰(zhàn)略部署。比如,在2009年,古巴國(guó)營(yíng)企業(yè)古巴移動(dòng)(Cubacel)的一名員工偷偷摸摸地把50萬(wàn)個(gè)古巴手機(jī)用戶的號(hào)碼發(fā)給了一位在西班牙定居的古巴移民,這位海外古巴人隨后免費(fèi)把這些數(shù)據(jù)交給了美國(guó)國(guó)際開(kāi)發(fā)署(USAID),該機(jī)構(gòu)又把數(shù)據(jù)交給了自己的承包商Creative Associates International。這家營(yíng)利性公司隨后“創(chuàng)造性”地建立了一個(gè)自動(dòng)化的手機(jī)短信發(fā)送平臺(tái),先向古巴境內(nèi)的這些手機(jī)用戶免費(fèi)發(fā)送足球、娛樂(lè)和天氣信息。等到訂戶數(shù)量穩(wěn)定下來(lái)之后,再向他們發(fā)送政治信息。用美國(guó)國(guó)際開(kāi)發(fā)署官員的話來(lái)說(shuō),這樣做的目的是“重新調(diào)整國(guó)家與社會(huì)之間的權(quán)力平衡”。換句話說(shuō),這是為了在古巴境內(nèi)煽動(dòng)政治動(dòng)亂,促成“古巴之春”。這套被稱為ZunZuneo的古巴版Twitter系統(tǒng)應(yīng)用智能算法來(lái)分析用戶對(duì)不同類型信息的反應(yīng),將他們歸類為“支持革命的”、“不關(guān)心政治的”和“反對(duì)革命的”,并且針對(duì)不同類別的人發(fā)送不同的信息。它一直運(yùn)轉(zhuǎn)到2012年中期,因?yàn)榻?jīng)費(fèi)用完才終止。

        但這種操作回過(guò)頭來(lái)又被施加給美國(guó)。最近曝光的大數(shù)據(jù)分析公司“劍橋分析”利用Facebook泄露的5000萬(wàn)用戶的帳戶信息幫助特朗普競(jìng)選團(tuán)隊(duì)量身定制地投放政治廣告從而幫助特朗普在2016年美國(guó)總統(tǒng)大選獲勝的新聞,便是這方面一個(gè)現(xiàn)成例子。隨著對(duì)這起事件的調(diào)查工作的不斷深入,“劍橋分析”背后的俄羅斯背景已漸漸浮出水面。資本家沒(méi)有祖國(guó),只追逐利益,在大數(shù)據(jù)和人工智能的武裝下,私人企業(yè)影響主權(quán)國(guó)家的政治已經(jīng)成為一個(gè)普遍存在的事實(shí)。無(wú)論這背后有沒(méi)有外國(guó)政府的操作,這一現(xiàn)象本身都值得重視。

        最早進(jìn)入互聯(lián)網(wǎng)行業(yè)的巨頭企業(yè)由于累積了最多的用戶數(shù)據(jù)而取得了絕對(duì)的優(yōu)勢(shì),而這些企業(yè)主要集中在美國(guó)和中國(guó)。錯(cuò)過(guò)了第一次工業(yè)革命的亞、非諸國(guó)和“新大陸”如何淪為率先走上工業(yè)化道路的西歐國(guó)家的“殖民地”,這是一段大家都很熟悉的歷史,而今天的數(shù)字革命又正在造成新一輪的洗牌。為此,歐盟和法國(guó)都專門委派專家小組起草了相關(guān)報(bào)告,旨在謀劃歐洲在這一輪信息技術(shù)革命中的戰(zhàn)略布局。法國(guó)數(shù)學(xué)家、菲爾茲獎(jiǎng)得主和議員西德里克·維蘭尼在他領(lǐng)銜起草的報(bào)告中寫道:“對(duì)法國(guó)和歐盟來(lái)說(shuō),涉及人工智能的數(shù)據(jù)政策必須以主權(quán)獨(dú)立和戰(zhàn)略自主為目標(biāo)而加以設(shè)計(jì)。一開(kāi)始,其間的平衡必然是十分脆弱的,目標(biāo)的實(shí)現(xiàn)需要領(lǐng)導(dǎo)者的遠(yuǎn)見(jiàn)卓識(shí)。但這是法國(guó)和歐洲發(fā)展人工智能的前提條件,只有這樣我們才能避免變成中國(guó)和美國(guó)巨頭的‘?dāng)?shù)字殖民地。”維蘭尼報(bào)告所提到的“數(shù)字巨頭”包括美國(guó)的谷歌、亞馬遜、臉書(shū)、蘋果和微軟(GAFAM)以及中國(guó)BATX(百度、阿里巴巴、騰訊和小米)。該報(bào)告主張法國(guó)政府和歐盟應(yīng)當(dāng)在整合數(shù)據(jù)資源、資助人工智能研究、打造人工智能品牌產(chǎn)品方面發(fā)揮積極主動(dòng)的作用。“發(fā)展人工智能是主權(quán)國(guó)家的當(dāng)務(wù)之急,”這是維蘭尼反復(fù)強(qiáng)調(diào)的核心觀點(diǎn)。

        與此同時(shí),美國(guó)正采取各種措施鞏固和強(qiáng)化自己在大數(shù)據(jù)和人工智能方面的既有優(yōu)勢(shì),同時(shí)借此來(lái)擴(kuò)張性地捍衛(wèi)美國(guó)的國(guó)家安全和國(guó)家利益。哈佛大學(xué)肯尼迪政府學(xué)院貝爾??茖W(xué)與國(guó)際事務(wù)中心于2017年發(fā)布一份題為《人工智能與國(guó)家安全》的報(bào)告,其中就人工智能技術(shù)發(fā)展的全球分布對(duì)美國(guó)的軍事優(yōu)勢(shì)、信息優(yōu)勢(shì)和經(jīng)濟(jì)優(yōu)勢(shì)構(gòu)成的潛在威脅進(jìn)行了系統(tǒng)分析。整份報(bào)告將中國(guó)作為美國(guó)最大的競(jìng)爭(zhēng)對(duì)手而進(jìn)行重點(diǎn)討論,提出要借助知識(shí)產(chǎn)權(quán)保護(hù)、核心技術(shù)保密和人才流動(dòng)控制等措施來(lái)遏制中國(guó)在人工智能方面的發(fā)展??梢钥闯?,美國(guó)眼中的國(guó)家安全不是防衛(wèi)性的,而是先發(fā)制人的,任何可能影響美國(guó)優(yōu)勢(shì)地位的競(jìng)爭(zhēng)都被視為是對(duì)其國(guó)家安全的挑戰(zhàn)。報(bào)告中援引美國(guó)信息安全權(quán)威專家布魯斯·施奈爾的觀點(diǎn)指出:美國(guó)在信息安全技術(shù)方面仍然是毫無(wú)爭(zhēng)議的世界領(lǐng)先者,而且這種領(lǐng)先地位很難被撼動(dòng),因?yàn)椋?)政府的情報(bào)預(yù)算超過(guò)其他國(guó)家的同類預(yù)算總和;(2)由于互聯(lián)網(wǎng)起源于美國(guó),其基礎(chǔ)架構(gòu)使得全世界的數(shù)據(jù)流都會(huì)經(jīng)由美國(guó),即使是兩個(gè)其他國(guó)家之間的數(shù)據(jù)流動(dòng);(3)其他國(guó)家的智能產(chǎn)品都在使用美國(guó)制造的芯片、操作系統(tǒng)和網(wǎng)絡(luò)服務(wù),并因此受制于美國(guó)法律,“這就是霸權(quán)”。

        正是因?yàn)榍宄卣J(rèn)識(shí)到美國(guó)的這種優(yōu)勢(shì)以及它毫不克制地利用這種優(yōu)勢(shì)監(jiān)控別國(guó)數(shù)據(jù)并影響別國(guó)政治的做法,中國(guó)通過(guò)防火墻等技術(shù)手段阻隔了Google、Facebook和Twitter等搜索引擎和社交平臺(tái)在中國(guó)的蔓延,并借此為百度、微信和微博等中國(guó)產(chǎn)品的發(fā)展?fàn)I造了空間。憑借中國(guó)本身的人口和市場(chǎng)規(guī)模優(yōu)勢(shì)以及由此形成的數(shù)據(jù)優(yōu)勢(shì),中國(guó)如今在人工智能技術(shù)方面已經(jīng)成為僅次于美國(guó)的強(qiáng)國(guó)。但我們應(yīng)該清醒地看到,人工智能是一種前沿的應(yīng)用技術(shù),它的基礎(chǔ)是計(jì)算機(jī)和互聯(lián)網(wǎng),而在計(jì)算機(jī)的基礎(chǔ)物理構(gòu)件(芯片)和神經(jīng)系統(tǒng)(操作系統(tǒng))方面,中國(guó)還遠(yuǎn)遠(yuǎn)落后于美國(guó)。這次的中美貿(mào)易戰(zhàn)和中興事件使我們看到,要在大數(shù)據(jù)和人工智能的基礎(chǔ)設(shè)施方面不受制于人,還有很長(zhǎng)的路要走。

        對(duì)世界各國(guó)網(wǎng)絡(luò)安全和數(shù)據(jù)安全立法影響甚大的是2013年的斯諾登事件。2013年5月,一位29歲的美國(guó)國(guó)家安全局(NSA)合同工告訴他的雇主自己想休假幾周。他帶著幾個(gè)硬盤于5月20日來(lái)到香港。隨后,《衛(wèi)報(bào)》和《華盛頓郵報(bào)》從他那里獲得了大量NSA如何監(jiān)控美國(guó)公民的絕密信息。這個(gè)青年程序員就是斯諾登。他披露了美國(guó)政府采取的各種監(jiān)控措施,其中最重要的三種是:(1)批量電話元數(shù)據(jù)項(xiàng)目(Bulk Telephony Metadata Program),涉及到NSA向美國(guó)所有電話公司發(fā)出秘密命令,要求提供所有在美國(guó)境內(nèi)打出和接聽(tīng)的電話的號(hào)碼和通話時(shí)長(zhǎng)信息,總計(jì)獲得了數(shù)百億條、覆蓋五年時(shí)間的數(shù)據(jù),供NSA進(jìn)行分析;(2)棱鏡計(jì)劃(Prism),通過(guò)這個(gè)項(xiàng)目,NSA從美國(guó)主要網(wǎng)絡(luò)服務(wù)商(包括谷歌、雅虎等等)那里獲得了數(shù)百億計(jì)的美國(guó)用戶與海外用戶之間的電郵、視頻、網(wǎng)絡(luò)通話和其他數(shù)據(jù);(3)信號(hào)情報(bào)獲取計(jì)劃(SIGINT),要求美國(guó)智能產(chǎn)品制造商和平臺(tái)企業(yè)在設(shè)計(jì)產(chǎn)品與服務(wù)時(shí)植入隱藏技術(shù)漏洞,便利NSA進(jìn)行監(jiān)聽(tīng)、監(jiān)視和情報(bào)獲取。

        基于斯諾登所披露的信息,奧地利的隱私維權(quán)人士馬克西米利安·施樂(lè)姆提起訴訟,指稱按照歐盟標(biāo)準(zhǔn)美國(guó)的數(shù)據(jù)保護(hù)法無(wú)法達(dá)到歐盟數(shù)據(jù)保護(hù)標(biāo)準(zhǔn),因此歐盟應(yīng)限制美國(guó)企業(yè)從歐盟各成員國(guó)公民那里獲取數(shù)據(jù)并轉(zhuǎn)移到美國(guó)。歐洲司法法院采納了斯諾登披露的信息作為證據(jù),判定與美國(guó)之間關(guān)于數(shù)據(jù)跨境流動(dòng)的數(shù)據(jù)安全港協(xié)定無(wú)法充分保障歐盟成員國(guó)公民的隱私權(quán)。此后,歐盟與美國(guó)重新協(xié)商簽訂了標(biāo)準(zhǔn)更高的隱私盾(Privacy Shield)協(xié)定。

        后斯諾登時(shí)代各國(guó)數(shù)據(jù)安全立法的基礎(chǔ)認(rèn)識(shí)是安全與權(quán)利密不可分,保護(hù)本國(guó)公民的數(shù)據(jù)權(quán)免受外國(guó)(主要是美國(guó))監(jiān)控就是維護(hù)國(guó)家安全。由此出現(xiàn)了數(shù)據(jù)本地化的立法趨勢(shì),該趨勢(shì)被學(xué)者描述為數(shù)據(jù)民族主義:“全球互聯(lián)網(wǎng)的時(shí)代或許已成過(guò)去。世界各國(guó)都在打造阻止信息跨境流動(dòng)的屏障。出于隱私、安全、監(jiān)控和執(zhí)法方面的考量,各國(guó)政府都在網(wǎng)絡(luò)空間確立邊境線,將萬(wàn)維網(wǎng)弄得四分五裂。第一代的互聯(lián)網(wǎng)邊境控制致力于將納粹宣傳和侵犯著作權(quán)的內(nèi)容等有害信息屏蔽在國(guó)境之外。新一代的互聯(lián)網(wǎng)邊境控制則致力于把數(shù)據(jù)控制在國(guó)境之內(nèi)。第一代控制所屏蔽的信息范圍較窄,而新一代控制則試圖將所有的個(gè)人數(shù)據(jù)控制在一國(guó)之內(nèi)?!备鲊?guó)制定數(shù)據(jù)本地化規(guī)則的依據(jù)大致包括三種:(1)保護(hù)本國(guó)公民免受美國(guó)的監(jiān)控。(2)通過(guò)增強(qiáng)法律程序中本國(guó)用戶數(shù)據(jù)的可獲得性來(lái)便利本國(guó)的執(zhí)法活動(dòng)。(3)促進(jìn)本國(guó)信息產(chǎn)業(yè)的發(fā)展,并在此基礎(chǔ)上進(jìn)行雙邊談判,達(dá)成互利互惠的數(shù)據(jù)交換和數(shù)據(jù)交換協(xié)議。我國(guó)的數(shù)據(jù)本地化規(guī)則主要體現(xiàn)在《網(wǎng)絡(luò)安全法》第三十七條:“關(guān)鍵信息基礎(chǔ)設(shè)施的運(yùn)營(yíng)者在中華人民共和國(guó)境內(nèi)運(yùn)營(yíng)中收集和產(chǎn)生的個(gè)人信息和重要數(shù)據(jù)應(yīng)當(dāng)在境內(nèi)存儲(chǔ)。因業(yè)務(wù)需要,確需向境外提供的,應(yīng)當(dāng)按照國(guó)家網(wǎng)信部門會(huì)同國(guó)務(wù)院有關(guān)部門制定的辦法進(jìn)行安全評(píng)估;法律、行政法規(guī)另有規(guī)定的,依照其規(guī)定。”

        三、人工智能時(shí)代的公私合作治理

        由于人的大部分線上活動(dòng)都不是在政府平臺(tái)上進(jìn)行的,而是在搜索引擎、購(gòu)物平臺(tái)、社交網(wǎng)絡(luò)等由私人企業(yè)運(yùn)營(yíng)的商業(yè)平臺(tái)上進(jìn)行,這些平臺(tái)借助帳戶注冊(cè)、用戶協(xié)議和平臺(tái)管理而掌握了比政府更多的個(gè)人數(shù)據(jù),并且借助智能算法追蹤、匯集和分析個(gè)人行為的電子蹤跡,從而能夠?qū)€(gè)人進(jìn)行數(shù)字畫(huà)像,準(zhǔn)確預(yù)測(cè)個(gè)人行為,并根據(jù)歷史數(shù)據(jù)對(duì)賬戶進(jìn)行信用評(píng)級(jí)。從表面上看,政府收集著個(gè)人從出生、入學(xué)、就業(yè)、婚姻、生育到死亡的全流程信息,但這些信息是靜態(tài)的、孤立的和表面化的,在實(shí)時(shí)動(dòng)態(tài)性、連續(xù)性和完整性方面都遠(yuǎn)不如商業(yè)平臺(tái)所掌握的反映個(gè)人行為軌跡的信息。政府雖然可以在行政、司法和執(zhí)法的過(guò)程中要求企業(yè)提供特定的個(gè)人數(shù)據(jù),但這種要求只能在具體個(gè)案中針對(duì)特定人物提起,而不能成為可供機(jī)器學(xué)習(xí)的大數(shù)據(jù)。而且,即使是在這種場(chǎng)合,也可能遭到企業(yè)以保護(hù)商業(yè)秘密或合同關(guān)系為由的拒絕。

        比如,蘋果公司曾經(jīng)因拒絕政府要求披露用戶信息而獲得自由主義者們的普遍贊譽(yù)。2015年12月2日,美國(guó)加州圣貝納迪諾發(fā)生了美國(guó)本土自911之后最嚴(yán)重的恐怖襲擊,宣誓效忠“伊斯蘭國(guó)”的賽義德·法魯克(Syed Rizwan Farook)和塔什芬·馬利克(Tashfeen Malik)在開(kāi)槍射殺14人、射傷20多人后被警察擊斃。聯(lián)邦調(diào)查局查獲了法魯克的iphone手機(jī),為了獲得犯罪調(diào)查和反恐所需要的信息,它在獲得法院授權(quán)的情況下向蘋果公司發(fā)出了解鎖該手機(jī)的要求。但蘋果公司拒絕合作,公司總裁蒂姆·庫(kù)克還在公司網(wǎng)站上發(fā)布了一封公開(kāi)信,譴責(zé)聯(lián)邦調(diào)查局的要求“破壞了我們的政府旨在保護(hù)的那種權(quán)利和自由?!睂?duì)蘋果公司而言,這是一次成功的公眾形象宣傳。而對(duì)于美國(guó)的國(guó)家安全和公眾的生命安全而言,這顯然不是件好事。

        在我國(guó),平臺(tái)企業(yè)在犯罪偵查、反恐和國(guó)家安全事務(wù)上拒絕與政府合作是不大可能的事情。我國(guó)的《國(guó)家安全法》《反恐怖主義法》和《網(wǎng)絡(luò)安全法》等法律都規(guī)定了平臺(tái)企業(yè)向“國(guó)家安全機(jī)關(guān)、公安機(jī)關(guān)和有關(guān)軍事機(jī)關(guān)提供必要的支持和協(xié)助”的義務(wù)。在建設(shè)智慧政府、智慧城市、智慧法院、智慧檢務(wù)、智慧公安的過(guò)程中,政府成了人臉識(shí)別、智能安防系統(tǒng)、云服務(wù)、司法大數(shù)據(jù)、預(yù)測(cè)算法等智能化數(shù)據(jù)產(chǎn)品和服務(wù)的最大消費(fèi)者。但這種過(guò)于緊密的合作關(guān)系使得本來(lái)應(yīng)該在企業(yè)和消費(fèi)者之間充當(dāng)中立監(jiān)管者角色的政府失去了它的中立地位和公允品質(zhì),無(wú)法有效監(jiān)管企業(yè)濫用個(gè)人數(shù)據(jù)以及利用智能算法誤導(dǎo)和操控消費(fèi)者的行為,這是致力于建設(shè)法治社會(huì)的我國(guó)政府應(yīng)當(dāng)警惕的趨勢(shì)。

        處在極度保護(hù)私權(quán)(企業(yè)商業(yè)秘密和知識(shí)產(chǎn)權(quán))的美國(guó)模式與著力強(qiáng)化公權(quán)(國(guó)家維護(hù)安全與秩序的權(quán)力)的中國(guó)模式之間的是歐洲模式。比如,與我國(guó)全力建設(shè)智慧法院的政策取向不同,歐洲各國(guó)對(duì)于數(shù)字技術(shù)和人工智能在司法中的應(yīng)用持非常保守的態(tài)度。2019年3月23日,法國(guó)總統(tǒng)埃馬紐埃爾·馬克龍簽署頒布了《2018-2022年規(guī)劃與司法改革法》,其中第33條第1款第2項(xiàng)第4段規(guī)定:“法官和書(shū)記官的身份數(shù)據(jù)不能出于評(píng)估、分析、比較或預(yù)測(cè)其實(shí)際或據(jù)稱的職業(yè)活動(dòng)的目的而被利用。違反本禁制的行為依據(jù)刑法第226-18、226-24和226-31條處罰?!边@意味著在我國(guó)欣欣向榮的司法大數(shù)據(jù)產(chǎn)業(yè)在法國(guó)很可能意味著犯罪。這部法律通過(guò)之前經(jīng)過(guò)了法國(guó)憲法委員會(huì)的合憲性先決審查,針對(duì)申請(qǐng)人認(rèn)為該條款違反了憲法所保護(hù)的平等權(quán)和公正審判權(quán)的主張,憲法委員會(huì)認(rèn)為這一禁制是為了防止對(duì)司法人員個(gè)人進(jìn)行類型化畫(huà)像,防止的是對(duì)司法人員施加壓力或機(jī)會(huì)主義地利用司法管轄權(quán)規(guī)則,且并未侵犯公民個(gè)人的平等權(quán)以及受公正審判的權(quán)利。

        比較上述三種立法和公共政策模式,可以得出的初步結(jié)論是:信息技術(shù)的迅猛發(fā)展及其所帶來(lái)的商業(yè)模式和治理模式變革使公與私的關(guān)系呈現(xiàn)出了新的樣態(tài)。平臺(tái)企業(yè)越來(lái)越多地發(fā)揮著公共服務(wù)的職能,而政府則越來(lái)越依靠企業(yè)所提供的云服務(wù)、算法設(shè)計(jì)和人臉識(shí)別、語(yǔ)音識(shí)別技術(shù)來(lái)強(qiáng)化自己的治理能力。傳統(tǒng)的規(guī)制模式假定公、私界限分明,規(guī)制機(jī)構(gòu)應(yīng)該代表公共利益對(duì)私人企業(yè)進(jìn)行監(jiān)管,這種規(guī)制模式應(yīng)當(dāng)讓位給公私合作、私人企業(yè)作為監(jiān)管中介承擔(dān)一定公共責(zé)任的治理模式。

        四、權(quán)利保護(hù)

        國(guó)家安全的目的在于實(shí)現(xiàn)人民幸福,而權(quán)利保障是確保人民生活福祉的前提條件之一?;诖髷?shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)的人工智能產(chǎn)品具有侵犯?jìng)€(gè)人隱私、固化社會(huì)歧視、利用人性弱點(diǎn)的潛質(zhì),需要法律介入對(duì)個(gè)人權(quán)益加以保障。在這個(gè)方面,歐洲國(guó)家的立法走在前面。比如,法國(guó)于2016年通過(guò)了《數(shù)字共和國(guó)法》,強(qiáng)化了對(duì)個(gè)人數(shù)據(jù)權(quán)的保護(hù)。該法一方面要求數(shù)據(jù)企業(yè)在利用個(gè)人數(shù)據(jù)之前必須告知詳情、征得同意,另一方面賦予個(gè)人以全面控制涉及自身之?dāng)?shù)據(jù)的權(quán)利,包括知情權(quán)、要求刪除權(quán)(被遺忘權(quán))、攜帶權(quán)(將全部個(gè)人數(shù)據(jù)從一個(gè)平臺(tái)轉(zhuǎn)移到另一個(gè)平臺(tái)的權(quán)利)甚至死后隱私權(quán)(自主決定數(shù)據(jù)企業(yè)能否以及如何在數(shù)據(jù)主體死亡之后利用個(gè)人數(shù)據(jù)的權(quán)利)。為了創(chuàng)造企業(yè)尊重個(gè)人數(shù)據(jù)的激勵(lì)機(jī)制,該法提高了濫用個(gè)人數(shù)據(jù)的罰款額度,授權(quán)法國(guó)數(shù)據(jù)保護(hù)局(CNIL)對(duì)違法企業(yè)處以最高2000萬(wàn)歐元或4%的全球年收入。同時(shí),為了平衡個(gè)人權(quán)利保護(hù)與鼓勵(lì)人工智能技術(shù)創(chuàng)新之間的關(guān)系,該法引入了“公共利益數(shù)據(jù)”的概念,允許企業(yè)在確保個(gè)人身份信息安全的條件下,在醫(yī)療衛(wèi)生、交通和教育等領(lǐng)域?yàn)榱斯怖婧脱芯磕康目墒褂脗€(gè)人數(shù)據(jù)。

        2018年5月25日生效的歐盟《一般數(shù)據(jù)保護(hù)條例》更是一部必將產(chǎn)生深遠(yuǎn)影響的法律。這部法律的主要推動(dòng)者是來(lái)自德國(guó)的歐洲議會(huì)議員阿爾布萊希特(Jan Philipp Albrecht),他試圖將歐洲法律傳統(tǒng)中對(duì)個(gè)人尊嚴(yán)和隱私權(quán)的重視帶入到數(shù)字化時(shí)代的權(quán)利保護(hù)機(jī)制之中。這部法律一體適用于對(duì)個(gè)人數(shù)據(jù)的自動(dòng)化(即算法處理)和非自動(dòng)化處理(第二條),其目的在于保護(hù)數(shù)據(jù)流動(dòng)和數(shù)據(jù)處理過(guò)程中自然人所享有的數(shù)據(jù)權(quán)利(第一條)。而個(gè)人數(shù)據(jù)的定義十分寬泛,包括與已被識(shí)別出(identified)或可被識(shí)別出(identifiable)的自然人相關(guān)的任何信息。其中對(duì)“可被識(shí)別出的”個(gè)人數(shù)據(jù)的保護(hù)對(duì)算法設(shè)計(jì)者提出了很高的要求,包括采取匿名化等一系列使數(shù)據(jù)無(wú)法被關(guān)聯(lián)到具體個(gè)人的技術(shù)手段(第四條)。對(duì)個(gè)人數(shù)據(jù)的處理要符合合法、公平、透明、目的具體且有限、準(zhǔn)確、安全等原則(第五條)。除非是在法律明確規(guī)定的條件(比如數(shù)據(jù)主體明確同意)下,處理數(shù)據(jù)的方式不得顯示出個(gè)人的種族、民族、政治觀點(diǎn)、宗教或哲學(xué)信仰、工會(huì)成員身份等等,處理的對(duì)象不得包括基因數(shù)據(jù)、使某個(gè)人被識(shí)別出來(lái)的生物計(jì)量學(xué)數(shù)據(jù)、健康數(shù)據(jù)以及性生活或性取向數(shù)據(jù)(第九條)。該條例明確列舉了數(shù)據(jù)主體的若干具體權(quán)利,包括充分知情權(quán)、要求更正權(quán)、要求刪除權(quán)(被遺忘權(quán))和限制處理權(quán)(第15-18條),旨在強(qiáng)化數(shù)據(jù)主體對(duì)涉及自身的所有數(shù)據(jù)的控制能力。在鼓勵(lì)創(chuàng)新和保護(hù)權(quán)利之間,歐盟立法者選擇了后者,預(yù)先給智能算法的發(fā)展劃定了界限。違反該條例最高可被罰款全球年收入的2-4%,這將極大地改變?nèi)虻臄?shù)據(jù)生態(tài),尤其會(huì)對(duì)谷歌等美國(guó)公司的歐洲市場(chǎng)產(chǎn)生不利影響。

        我國(guó)在隱私權(quán)和個(gè)人數(shù)據(jù)保護(hù)法治化方面也已經(jīng)取得了顯著的成就。首先,《憲法》第三十七條至第四十條分別保障著公民的人身自由、人格尊嚴(yán)、住宅安全、通信自由與通信秘密,筑起了公民隱私權(quán)的圍墻。其次,在民法層面,《民法通則》中雖然沒(méi)有明確提到“隱私權(quán)”,但姓名權(quán)、肖像權(quán)、名譽(yù)權(quán)、榮譽(yù)權(quán)卻覆蓋了個(gè)人隱私的重要方面。2010年7月1日起施行的《侵權(quán)責(zé)任法》第二條明確將“隱私權(quán)”列入“本法所稱民事權(quán)益”之中。該法第36條針對(duì)網(wǎng)絡(luò)服務(wù)提供者侵權(quán)的特殊性做了專門規(guī)定,直接侵犯隱私權(quán)的要承擔(dān)侵權(quán)責(zé)任,明知網(wǎng)絡(luò)用戶利用網(wǎng)絡(luò)服務(wù)侵權(quán)的,必須采取刪除、屏蔽、斷開(kāi)連接等必要措施,否則要承擔(dān)連帶責(zé)任。2017年10月1日起施行的《中華人民共和國(guó)民法總則》第一百一十條規(guī)定了隱私權(quán),第一百一十一條則明確規(guī)定:“自然人的個(gè)人信息受法律保護(hù)。任何組織和個(gè)人需要獲取他人個(gè)人信息的,應(yīng)當(dāng)依法取得并確保信息安全,不得非法收集、使用、加工、傳輸他人個(gè)人信息,不得非法買賣、提供或者公開(kāi)他人個(gè)人信息?!钡谌?,在行政法層面,2017年6月1日起施行的《網(wǎng)絡(luò)安全法》第四十至第五十條規(guī)定了網(wǎng)絡(luò)運(yùn)營(yíng)者在收集和使用個(gè)人信息方面的保密義務(wù)、征得個(gè)人同意的義務(wù)、安全管理義務(wù)、告知義務(wù)等等,要求收集和使用個(gè)人信息的行為遵循合法、正當(dāng)、必要的原則,并授權(quán)國(guó)家網(wǎng)信部門和其他有關(guān)部門監(jiān)督和管理網(wǎng)絡(luò)運(yùn)營(yíng)者履行上述義務(wù)的情況。第五,在刑法層面,在刑法修正案七和九通過(guò)之前,我國(guó)刑法中已有的涉及侵犯隱私和個(gè)人信息方面的罪名便已經(jīng)包括:非法搜查罪,非法侵入他人住宅罪,侵犯通信自由罪,私自開(kāi)拆、隱匿、毀棄郵件、電報(bào)罪,非法使用竊聽(tīng)、竊照專用器材罪,破壞計(jì)算機(jī)信息系統(tǒng)罪,竊取、收買、非法提供信用卡信息罪和侮辱罪等等。刑七和刑九進(jìn)一步針對(duì)網(wǎng)絡(luò)時(shí)代侵犯?jìng)€(gè)人隱私行為的新特點(diǎn),對(duì)上述罪名進(jìn)行了補(bǔ)充和修改,例如,刑九對(duì)刑法第二百五十三條進(jìn)行了修改,規(guī)定:“違反國(guó)家有關(guān)規(guī)定,向他人出售或者提供公民個(gè)人信息,情節(jié)嚴(yán)重的,處三年以下有期徒刑或者拘役,并處或者單處罰金;情節(jié)特別嚴(yán)重的,處三年以上七年以下有期徒刑,并處罰金?!钡诹?,我國(guó)還制定了《個(gè)人信息安全規(guī)范》國(guó)家標(biāo)準(zhǔn)(2018年5月1日起生效),致力于將個(gè)人信息保護(hù)嵌入互聯(lián)網(wǎng)行業(yè)的產(chǎn)品和服務(wù)標(biāo)準(zhǔn)之中,使罔顧公民隱私的商業(yè)模式難以立足。不過(guò),迄今為止我國(guó)法律中對(duì)個(gè)人數(shù)據(jù)權(quán)的保護(hù)分散在諸多不同的法律之中,其中大多數(shù)并不以保護(hù)個(gè)人數(shù)據(jù)為側(cè)重點(diǎn),而且缺乏有效的實(shí)施機(jī)制??梢詤⒖?xì)W洲經(jīng)驗(yàn)制定一部統(tǒng)一的《個(gè)人數(shù)據(jù)保護(hù)法》,并建立個(gè)人數(shù)據(jù)保護(hù)機(jī)構(gòu)來(lái)實(shí)施這部法律。當(dāng)然,過(guò)于嚴(yán)格的個(gè)人數(shù)據(jù)保護(hù)可能會(huì)制約人工智能技術(shù)的發(fā)展,在立法過(guò)程中需要權(quán)衡鼓勵(lì)創(chuàng)新和保護(hù)個(gè)人權(quán)利兩方面的戰(zhàn)略考量。

        五、結(jié)語(yǔ)

        臉書(shū)泄漏5000萬(wàn)用戶個(gè)人數(shù)據(jù)事件曝光后,在長(zhǎng)達(dá)十小時(shí)的國(guó)會(huì)質(zhì)詢過(guò)程中,扎克伯格不下30次提到人工智能,強(qiáng)調(diào)“人工智能可以解決好這個(gè)問(wèn)題”,這顯然是把問(wèn)題本身當(dāng)解藥了。正如哥倫比亞大學(xué)法學(xué)院吳修銘教授所言:“臉書(shū)商業(yè)模式的關(guān)鍵創(chuàng)新或許不是社交網(wǎng)絡(luò),而是創(chuàng)造出了一種智能工具,用以說(shuō)服為數(shù)眾多的人為了很少的一點(diǎn)兒娛樂(lè)和便利而交出如此之多的個(gè)人數(shù)據(jù)?!彪S著我國(guó)建設(shè)創(chuàng)新國(guó)家的基本政策與借助信息技術(shù)加快實(shí)現(xiàn)國(guó)家治理現(xiàn)代化的基本政策的合流,我們對(duì)技術(shù)的依賴越來(lái)越強(qiáng),而忽略了其所帶來(lái)的法律層面的問(wèn)題。隨著人工智能技術(shù)從潮流變成席卷一切的漩渦,我們更應(yīng)保持清醒的頭腦,反思其中涉及的安全、治理和權(quán)利保護(hù)問(wèn)題,避免技術(shù)決定論的誤區(qū)。

        (責(zé)任編輯:胡曉慧)

        猜你喜歡
        平臺(tái)治理法治
        送法進(jìn)企“典”亮法治之路
        反家庭暴力必須厲行法治
        以德促法 以法治國(guó)
        網(wǎng)絡(luò)平臺(tái)支持《教育技術(shù)學(xué)》公共課實(shí)驗(yàn)教學(xué)模式構(gòu)建
        陜西科技大學(xué)鎬京學(xué)院應(yīng)用型人才培養(yǎng)模式探索
        以學(xué)霸講堂為依托的學(xué)生黨員學(xué)風(fēng)引領(lǐng)平臺(tái)建設(shè)研究
        諧波分析與治理措施探討
        治理背景下我國(guó)少數(shù)民族傳統(tǒng)體育運(yùn)動(dòng)會(huì)的發(fā)展
        淺析網(wǎng)絡(luò)輿情治理
        數(shù)據(jù)+輿情:南方報(bào)業(yè)創(chuàng)新轉(zhuǎn)型提高服務(wù)能力的探索
        久久精品国产精品青草| 小12萝8禁在线喷水观看| 久久这里只精品国产99热| 国产日韩亚洲中文字幕| 青青草小视频在线观看| 疯狂添女人下部视频免费| 欧美老妇人与禽交| jiZZ国产在线女人水多| 国产丝袜美腿在线播放| 国模吧无码一区二区三区| 狠狠人妻久久久久久综合| 不打码在线观看一区二区三区视频| 亚洲国产综合人成综合网站| 极品白嫩的小少妇| 免费人成毛片乱码| 久久精品国产亚洲av蜜桃av| 东北女人一级内射黄片| 精品淑女少妇av久久免费| 久久久亚洲经典视频| 人妖与人妖免费黄色片| 国产成人精品优优av| aaaaaa级特色特黄的毛片| 国产精品va在线观看一| 国产精品国产三级国产剧情 | 国产无套粉嫩白浆在线| 亚洲黄色电影| 日韩精品视频免费福利在线观看| 穿着白丝啪啪的av网站| 国产一极内射視颍一| 国产精品亚洲专区在线播放| 情头一男一女高冷男女| 国产公开免费人成视频| 熟妇与小伙子matur老熟妇e| 久久伊人网久久伊人网| 男女无遮挡高清性视频| 少妇高潮潮喷到猛进猛出小说| 国产精品久久久久免费a∨不卡 | 亚洲国产精品久久精品| 毛片在线播放a| 久久国产亚洲中文字幕| 91在线视频在线视频|