亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        隱私計算發(fā)展綜述

        2021-07-09 01:14:04閆樹呂艾臨
        信息通信技術(shù)與政策 2021年6期

        閆樹 呂艾臨

        (中國信息通信研究院云計算與大數(shù)據(jù)研究所,北京 100191)

        0 引言

        當(dāng)前,數(shù)據(jù)已成為比肩石油的基礎(chǔ)性關(guān)鍵戰(zhàn)略資源,正在顛覆全球社會的發(fā)展模式。2020年4月,中共中央、國務(wù)院發(fā)布《關(guān)于構(gòu)建更加完善的要素市場化配置體制機制的意見》,將數(shù)據(jù)同土地、勞動力、資本、技術(shù)等傳統(tǒng)生產(chǎn)要素并列,作為一種新型生產(chǎn)要素參與分配。作為釋放要素價值的關(guān)鍵環(huán)節(jié),數(shù)據(jù)資源的開放共享、交換流通成為重要趨勢,其需求日益強烈。

        隨著近年來數(shù)據(jù)安全事件頻發(fā),數(shù)據(jù)安全威脅日益嚴(yán)峻。既要應(yīng)用數(shù)據(jù),又要保護數(shù)據(jù)安全。如何兼顧發(fā)展和安全,平衡效率和風(fēng)險,在保障安全的前提下發(fā)揮數(shù)據(jù)價值,是當(dāng)前面臨的重要課題。以多方安全計算(Secure Multi-Party Computation,MPC)、可信執(zhí)行環(huán)境(Trusted Execution Environment,TEE)、聯(lián)邦學(xué)習(xí)(Federated Learning,F(xiàn)L)等為代表的隱私計算技術(shù)為流通過程中數(shù)據(jù)的“可用不可見”提供了解決方案,有助于破解數(shù)據(jù)保護與利用之間的矛盾,已在金融、醫(yī)療、政務(wù)等領(lǐng)域開始推廣應(yīng)用。

        權(quán)威機構(gòu)Gartner發(fā)布的2021年前沿科技戰(zhàn)略趨勢中[1],將隱私計算(Privacy Preserving Computing)——其稱為“隱私增強計算”列為未來幾年內(nèi)科技發(fā)展的九大趨勢之一。隨著各領(lǐng)域關(guān)注度的日益提升,隱私計算已成為發(fā)展火熱的新興技術(shù),成為商業(yè)和資本競爭的熱門賽道。本文將從技術(shù)原理、應(yīng)用場景、產(chǎn)業(yè)發(fā)展現(xiàn)狀和問題以及未來發(fā)展趨勢等對隱私計算進行系統(tǒng)的梳理和展望。

        1 隱私計算的技術(shù)原理

        隱私計算是指在保護數(shù)據(jù)本身不對外泄露的前提下實現(xiàn)數(shù)據(jù)分析計算的一類信息技術(shù),包含了數(shù)據(jù)科學(xué)、密碼學(xué)、人工智能等眾多技術(shù)體系的交叉融合。

        從技術(shù)實現(xiàn)原理上看,隱私計算主要分為密碼學(xué)和可信硬件兩大領(lǐng)域。密碼學(xué)技術(shù)目前以多方安全計算為代表;可信硬件領(lǐng)域則主要指可信執(zhí)行環(huán)境;此外,還有基于以上兩種技術(shù)路徑衍生出的聯(lián)邦學(xué)習(xí)等相關(guān)應(yīng)用技術(shù)。

        1.1 多方安全計算

        多方安全計算技術(shù)的核心思想是設(shè)計特殊的加密算法和協(xié)議,基于密碼學(xué)原理實現(xiàn)在無可信第三方的情況下,在多個參與方輸入的加密數(shù)據(jù)之上直接進行計算。

        伴隨著公鑰密碼技術(shù)的出現(xiàn),作為密碼學(xué)領(lǐng)域中的一個重要研究方向,多方安全計算由姚期智[2]等人于20世紀(jì)80年代提出,以交互不可逆的密文數(shù)據(jù)的方式實現(xiàn)了對數(shù)據(jù)的安全保護,每個參與方不能得到其他參與方的任何輸入信息,只能得到計算結(jié)果。由于密碼學(xué)原理的復(fù)雜性,多方安全計算的性能相對較低且技術(shù)開發(fā)難度較大,近幾年產(chǎn)業(yè)界的高度關(guān)注使得其性能得以迅速提升,技術(shù)可用性得到很大的提升。圖1為基于多方安全計算的數(shù)據(jù)流通產(chǎn)品技術(shù)架構(gòu)。

        圖1 基于多方安全計算的數(shù)據(jù)流通產(chǎn)品技術(shù)架構(gòu)

        多方安全計算的實現(xiàn)包含多個關(guān)鍵的底層密碼學(xué)協(xié)議或框架,主要包括不經(jīng)意傳輸(Oblivious Transfer)、混淆電路(Garbled Circuit)、秘密分享(Secret Sharing)、同態(tài)加密(Homomorphic Encryption)等。

        (1)不經(jīng)意傳輸,也稱茫然傳輸,提出了一種在數(shù)據(jù)傳輸與交互過程中保護隱私的思路。在不經(jīng)意傳輸協(xié)議中,數(shù)據(jù)發(fā)送方同時發(fā)送多個消息,而接收方僅獲取其中之一。發(fā)送方無法判斷接收方獲取了具體哪個消息,接收方也對其他消息的內(nèi)容一無所知。

        (2)混淆電路,是一種將計算任務(wù)轉(zhuǎn)化為布爾電路并對真值表進行加密打亂等混淆操作以保護輸入隱私的思路。利用計算機編程將目標(biāo)函數(shù)轉(zhuǎn)化為布爾電路后,對每一個門輸出的真值進行加密,參與方之間在互相不掌握對方私有數(shù)據(jù)的情況下共同完成計算。混淆電路是姚期智院士針對百萬富翁問題提出的解決方案,因此又稱姚氏電路。

        (3)秘密分享,也稱秘密分割或秘密共享,給出了一種分而治之的秘密信息管理方案。秘密分享的原理是將秘密拆分成多個分片(Share),每個分片交由不同的參與方管理。只有超過一定門限數(shù)量的若干個參與方共同協(xié)作才能還原秘密信息,僅通過單一分片無法破解秘密。

        (4)同態(tài)加密,是一類實現(xiàn)在基礎(chǔ)的加密操作之上直接完成密文數(shù)據(jù)間運算的加密算法。數(shù)據(jù)經(jīng)過同態(tài)加密后進行計算得到的結(jié)果與用同一方法在明文計算下得到的結(jié)果保持一致,即先計算后解密等價于先解密后計算。

        站在技術(shù)效果的角度,同態(tài)加密也是在無可信第三方的情況下,實現(xiàn)了“多個參與方共同完成一個約定函數(shù)的計算”,因此可以將同態(tài)加密歸為多方安全計算的實現(xiàn)方案之一。但在經(jīng)典的多方安全計算中,兩方計算主要采用不經(jīng)意傳輸與混淆電路結(jié)合的方案,三方及以上的計算則進一步結(jié)合了秘密分享,因此也有觀點將同態(tài)加密視作一套基于密碼學(xué)理論但獨立于多方安全計算的隱私計算技術(shù)。

        1.2 可信執(zhí)行環(huán)境

        可信執(zhí)行環(huán)境的核心思想是構(gòu)建一個獨立于操作系統(tǒng)而存在的可信的、隔離的機密空間,數(shù)據(jù)計算僅在該安全環(huán)境內(nèi)進行,通過依賴可信硬件來保障其安全。

        可信執(zhí)行環(huán)境的概念源于Open Mobile Terminal Platform(OMTP)于2006年提出的一種保護移動設(shè)備上敏感信息安全的雙系統(tǒng)解決方案[3],在傳統(tǒng)系統(tǒng)運行環(huán)境(Rich Execution Environment,REE)之外,提供一個隔離的安全系統(tǒng)用于處理敏感數(shù)據(jù)。2010年7月,Global Platform(致力于安全芯片的跨行業(yè)國際標(biāo)準(zhǔn)組織,簡稱GP)起草制定了一整套可信執(zhí)行環(huán)境系統(tǒng)的體系標(biāo)準(zhǔn)[4],成為當(dāng)前許多商業(yè)或開源產(chǎn)品定義其各種功能接口的規(guī)范參考。

        可信執(zhí)行環(huán)境的最本質(zhì)屬性是隔離,通過芯片等硬件技術(shù)并與上層軟件協(xié)同對數(shù)據(jù)進行保護,且同時保留與系統(tǒng)運行環(huán)境之間的算力共享。目前,可信執(zhí)行環(huán)境的代表性硬件產(chǎn)品主要有Intel的SGX、ARM的TrustZone等,由此也誕生了很多基于以上產(chǎn)品的商業(yè)化實現(xiàn)方案,如百度MesaTEE、華為iTrustee等。圖2為基于可信執(zhí)行環(huán)境的數(shù)據(jù)計算平臺技術(shù)架構(gòu)。

        圖2 基于可信執(zhí)行環(huán)境的數(shù)據(jù)計算平臺技術(shù)架構(gòu)

        嚴(yán)格來講,可信執(zhí)行環(huán)境并不屬于“數(shù)據(jù)可用不可見”,但其通用性高、開發(fā)難度低,在通用計算、復(fù)雜算法的實現(xiàn)上更為靈活,使得其在數(shù)據(jù)保護要求不是特別嚴(yán)苛的場景下仍有很多發(fā)揮價值的空間。

        1.3 聯(lián)邦學(xué)習(xí)

        除了前兩類隱私計算技術(shù)之外,國內(nèi)外還衍生出了聯(lián)邦學(xué)習(xí)、共享學(xué)習(xí)、知識聯(lián)邦、聯(lián)邦智能等一系列旨在解決多方數(shù)據(jù)聯(lián)合機器學(xué)習(xí)的“聯(lián)邦學(xué)習(xí)類”技術(shù)。

        聯(lián)邦學(xué)習(xí)的本質(zhì)是分布式的機器學(xué)習(xí),在保證數(shù)據(jù)隱私安全的基礎(chǔ)上,實現(xiàn)共同建模,提升模型的效果。對于基于數(shù)據(jù)隱私保護的分布式機器學(xué)習(xí),早在2012年即有學(xué)者發(fā)表了相關(guān)研究成果,直到2016年谷歌率先提出聯(lián)邦學(xué)習(xí)的概念,才逐步受到更廣泛的關(guān)注[5]。

        聯(lián)邦學(xué)習(xí)的目標(biāo)是在不聚合參與方原始數(shù)據(jù)的前提下,實現(xiàn)保護終端數(shù)據(jù)隱私的聯(lián)合建模。根據(jù)數(shù)據(jù)集的不同類型,聯(lián)邦學(xué)習(xí)分為橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)與聯(lián)邦遷移學(xué)習(xí)。圖3為基于聯(lián)邦學(xué)習(xí)的數(shù)據(jù)流通產(chǎn)品技術(shù)架構(gòu)。

        圖3 基于聯(lián)邦學(xué)習(xí)的數(shù)據(jù)流通產(chǎn)品技術(shù)架構(gòu)

        1.3.1 橫向聯(lián)邦學(xué)習(xí)

        橫向聯(lián)邦學(xué)習(xí)更適用于在特征重合較多,而樣本重合較少的數(shù)據(jù)集間進行聯(lián)合計算的場景。以樣本維度(即橫向)對數(shù)據(jù)集進行切分,以特征相同而樣本不完全相同的數(shù)據(jù)部分為對象進行訓(xùn)練。谷歌在2016年提出的安卓手機模型更新數(shù)據(jù)聯(lián)合建模方案就是利用單個用戶使用安卓手機時,不斷在本地更新模型參數(shù)并上傳到安卓云上,從而使特征維度相同的各數(shù)據(jù)擁有方聯(lián)合建模[5]。

        1.3.2 縱向聯(lián)邦學(xué)習(xí)

        縱向聯(lián)邦學(xué)習(xí)更適用于樣本重合較多,而特征重合較少的數(shù)據(jù)集間聯(lián)合計算的場景。以特征維度(即縱向)對數(shù)據(jù)集進行切分,以樣本相同而特征不完全相同的數(shù)據(jù)部分為對象進行訓(xùn)練。以同一地區(qū)的銀行和電商為例,由于兩機構(gòu)在特定地區(qū)的用戶群體交集較大,因此可以對兩機構(gòu)的不同維度的用戶特征進行聚合以增強模型能力。

        1.3.3 聯(lián)邦遷移學(xué)習(xí)

        聯(lián)邦遷移學(xué)習(xí)則適用于數(shù)據(jù)集間樣本和特征重合均較少的場景。在這樣的場景中,不再對數(shù)據(jù)進行切分,而是利用遷移學(xué)習(xí)來彌補數(shù)據(jù)或標(biāo)簽的不足。以不同地區(qū)、不同行業(yè)機構(gòu)之間進行聯(lián)合建模為例,用戶群體和特征維度的交集都很小,聯(lián)邦遷移學(xué)習(xí)即用來針對性解決單邊數(shù)據(jù)規(guī)模小、標(biāo)簽樣本少的問題。

        此外,許多企業(yè)推出的共享學(xué)習(xí)、知識聯(lián)邦、聯(lián)邦智能等一系列技術(shù)大多以聯(lián)邦學(xué)習(xí)為基礎(chǔ)進行改進,目的仍然是實現(xiàn)多方數(shù)據(jù)的機器學(xué)習(xí)。

        1.4 各類技術(shù)對比

        由于技術(shù)路徑的不同,各類隱私計算技術(shù)均有其更加適用的場景:多方安全計算技術(shù)不依賴硬件且具備較高的安全性,但是僅支持一些相對簡單的運算邏輯;可信執(zhí)行環(huán)境技術(shù)具備更好的性能和算法適用性,但是對硬件有一定依賴;聯(lián)邦學(xué)習(xí)技術(shù)則可以解決復(fù)雜的算法建模問題,但是性能存在一定瓶頸。相關(guān)技術(shù)的主要對比如表1所示。

        表1 隱私計算相關(guān)技術(shù)主要對比

        整體描述:開發(fā)難度大、關(guān)注度高,使得性能提升迅速;易開發(fā)、性能佳,但需信任芯片廠商(Intel、ARM等)綜合運用各類密碼學(xué)方法(主要針對機器學(xué)習(xí))。

        2 隱私計算的應(yīng)用場景

        近年來,隱私計算技術(shù)和應(yīng)用快速成熟?;仡欕[私計算的發(fā)展歷程,以MPC為代表的相關(guān)密碼學(xué)理論早在20世紀(jì)80年代就已經(jīng)被提出[1],但長期處在實驗室研究階段,并未得到實踐應(yīng)用,而以TEE為代表的可信硬件也主要應(yīng)用于個人(C端)移動用戶的數(shù)據(jù)安全保護中。隨著機構(gòu)間數(shù)據(jù)流通需求的日益旺盛,隱私計算的相關(guān)理論得到了產(chǎn)業(yè)界的更多關(guān)注,在算法協(xié)議不斷優(yōu)化、硬件性能逐步增強之下,隱私計算的可用性大大提升,以MPC為例,相比明文計算的耗時已經(jīng)從數(shù)十萬倍降至百倍之內(nèi)[8]。自2018年開始,隱私計算的技術(shù)和產(chǎn)品成熟度迅速提升,在我國加快培育發(fā)展數(shù)據(jù)要素市場、數(shù)據(jù)安全流通需求快速迸發(fā)的推動下,隱私計算技術(shù)的應(yīng)用場景越來越多。

        2.1 金融行業(yè)的應(yīng)用場景

        在金融科技深刻賦能業(yè)務(wù)的進程中,外部數(shù)據(jù)的共享應(yīng)用成為金融機構(gòu)的強烈需求,基于隱私計算的金融風(fēng)控和獲客成為目前國內(nèi)最主要的隱私計算落地場景。

        金融機構(gòu)與外部數(shù)據(jù)源的合作過程中存在的風(fēng)險主要來源于兩個方面:一是涉及大量個人用戶信息,受到的監(jiān)管要求嚴(yán)格;二是機構(gòu)自身業(yè)務(wù)積累的數(shù)據(jù)資產(chǎn)和商業(yè)秘密容易泄露。而利用隱私計算,金融機構(gòu)之間、金融機構(gòu)同運營商、互聯(lián)網(wǎng)、電商平臺之間等可以在不泄露原始信息的前提下對客戶進行聯(lián)合的精準(zhǔn)畫像,在信貸評估、產(chǎn)品推薦等場景下有效控制違約風(fēng)險,提高業(yè)務(wù)效率。

        以銀行個人信貸業(yè)務(wù)為例,首先需要對客戶進行三要素(姓名、身份證號和手機號)核驗查詢等以確認(rèn)用戶身份。為避免在面向外部機構(gòu)進行查詢調(diào)用過程中客戶的敏感信息被緩存,銀行可以利用隱私計算實現(xiàn)匿蹤查詢以保護數(shù)據(jù)安全。其次,銀行還需要引入客戶的行為數(shù)據(jù)和場景數(shù)據(jù)進行聯(lián)合建模以準(zhǔn)確判斷其償付能力和違約風(fēng)險。利用隱私計算,參與建模的金融機構(gòu)和外部數(shù)據(jù)合作方可以在不直接交互原始數(shù)據(jù)的前提下,實現(xiàn)多方數(shù)據(jù)的虛擬融合和樣本對齊,各自在本地進行算法訓(xùn)練,僅對任務(wù)的中間因子進行安全交互,在敏感數(shù)據(jù)不出門的同時完成對用戶的畫像。

        2.2 醫(yī)療行業(yè)的應(yīng)用場景

        醫(yī)療行業(yè)的數(shù)據(jù)共享與流通需求成為隱私計算的另一個關(guān)注重點。醫(yī)學(xué)研究、臨床診斷、醫(yī)療服務(wù)等對基于大數(shù)據(jù)的統(tǒng)計分析與應(yīng)用挖掘有著強烈的需求,但其依賴的是眾多病患的個人健康數(shù)據(jù),這些數(shù)據(jù)規(guī)模大、價值含量高,但共享流通卻十分困難。

        一方面是跨機構(gòu)的數(shù)據(jù)采集與整合難。相似疾病的不同病例、同一病患的不同病案等大量的診療數(shù)據(jù)往往分布在不同的醫(yī)療機構(gòu),各機構(gòu)數(shù)據(jù)開放共享的意愿本就有限,再加上各醫(yī)療機構(gòu)間的數(shù)據(jù)標(biāo)準(zhǔn)、編碼方式各不相同,跨機構(gòu)間的聯(lián)合研究與診斷就更加困難。另一方面是跨機構(gòu)的數(shù)據(jù)聯(lián)合應(yīng)用難。病患的個人醫(yī)療數(shù)據(jù)十分敏感,且復(fù)雜的診療數(shù)據(jù)在其使用過程中難以管控,面對個人隱私保護和數(shù)據(jù)安全要求,很多機構(gòu)難免望而卻步。

        隱私計算為以上難點提供了解決思路。利用隱私計算,在建立分散存儲的標(biāo)準(zhǔn)化數(shù)據(jù)庫的基礎(chǔ)上,可以實現(xiàn)分布式的聯(lián)合統(tǒng)計分析,從而獲得臨床科研的研究成果。在抗擊新冠肺炎疫情的過程中,隱私計算助力實現(xiàn)了全球范圍內(nèi)的疫情數(shù)據(jù)共享,基于多方安全計算等技術(shù)實現(xiàn)了允許用戶在不公布己方數(shù)據(jù)的前提下,聯(lián)合其他科研人員協(xié)同進行病例樣本基因組的聯(lián)合分析并共享結(jié)果,實現(xiàn)了對病毒流行病學(xué)情況的實時追蹤和對未來毒株演化的預(yù)測,成為助力抗疫情的一把利劍。

        2.3 政務(wù)行業(yè)的應(yīng)用場景

        作為跨機構(gòu)間數(shù)據(jù)流通的重要參與主體,政務(wù)行業(yè)有望成為隱私計算技術(shù)落地的下一個重要場景。政務(wù)數(shù)據(jù)的規(guī)模大、種類多、蘊含價值高,涉及公安、交通、稅務(wù)、環(huán)境等各類人民生產(chǎn)生活和社會運行的數(shù)據(jù),政務(wù)數(shù)據(jù)的流通與應(yīng)用將釋放巨大能量。

        近年來,各地政府積極推進政務(wù)數(shù)據(jù)的開放共享,但不同部門之間的數(shù)據(jù)孤島難以快速消除,且政務(wù)數(shù)據(jù)涉及社會民生,數(shù)據(jù)合規(guī)和安全管控要求更加嚴(yán)格。因此,政務(wù)部門之間、政府與企業(yè)之間的數(shù)據(jù)共享應(yīng)用十分困難。隱私計算為此提供了解決方案,在跨機構(gòu)之間的個人身份確認(rèn)、企業(yè)經(jīng)營監(jiān)管、智慧城市建設(shè)等眾多場景中均有廣闊的應(yīng)用前景。在部分地方政府的相關(guān)規(guī)劃里,已經(jīng)有所涉及。

        2.4 隱私計算應(yīng)用現(xiàn)狀

        信任機制是隱私計算廣泛應(yīng)用的關(guān)鍵,隱私計算技術(shù)自誕生以來的重要使命便是保證隱私數(shù)據(jù)在被利用的過程中不被泄露。作為一項新技術(shù),如何自證安全、持續(xù)強化安全、建立市場信任是其能否被廣泛應(yīng)用的關(guān)鍵。

        (1)自證安全是隱私計算應(yīng)用的瓶頸問題,當(dāng)前隱私計算應(yīng)用主要通過深入介紹產(chǎn)品保密算法機制、簽訂嚴(yán)格保密協(xié)議和引入第三方評測機構(gòu)評測產(chǎn)品來實現(xiàn)。

        (2)持續(xù)強化安全是隱私計算應(yīng)用的長效保障,目前主要通過不斷優(yōu)化算法來防范惡意攻擊,以更加嚴(yán)格地控制計算流程來封堵漏洞等方式實現(xiàn)。

        (3)建立市場信任是隱私計算應(yīng)用的關(guān)鍵問題,在隱私計算的過程中,通過嚴(yán)格的數(shù)據(jù)授權(quán)、身份驗證、狀態(tài)監(jiān)控預(yù)警等方式讓數(shù)據(jù)提供方始終清楚己方數(shù)據(jù)的用量、用法、用途均不超出事先約定,可以充分建立用戶信任乃至市場信任,但當(dāng)前的應(yīng)用在這一部分工作仍需加強。

        3 隱私計算的產(chǎn)業(yè)現(xiàn)狀

        3.1 產(chǎn)業(yè)政策環(huán)境不斷完善

        近年來,我國數(shù)據(jù)立法進程不斷加快,尤其強調(diào)數(shù)據(jù)應(yīng)用過程中的數(shù)據(jù)安全[5]。早在2016年11月的《中華人民共和國網(wǎng)絡(luò)安全法》中,即強調(diào)了數(shù)據(jù)隱私的重要性。2020年7月,《中華人民共和國數(shù)據(jù)安全法(草案)》公布,明確了開展數(shù)據(jù)活動的組織、個人的數(shù)據(jù)安全保護義務(wù),落實了數(shù)據(jù)安全保護責(zé)任規(guī)定支持促進的具體措施。2020年10月,《中華人民共和國個人信息保護法(草案)》公布,進一步強調(diào)了個人信息在數(shù)據(jù)流通過程中的安全合規(guī)。

        隱私計算是平衡數(shù)據(jù)利用與安全的重要路徑,工業(yè)和信息化部、中國人民銀行等各部委先后出臺相應(yīng)的政策支持技術(shù)發(fā)展。工業(yè)和信息化部先后在2016年發(fā)布的《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016—2020年)》[12]和2019年發(fā)布的《工業(yè)大數(shù)據(jù)發(fā)展指導(dǎo)意見(征求意見稿)》[13]中提出支持企業(yè)加強多方安全計算等數(shù)據(jù)流通關(guān)鍵技術(shù)攻關(guān)和測試驗證,并在工業(yè)領(lǐng)域積極推廣應(yīng)用,促進工業(yè)數(shù)據(jù)安全流通。中國人民銀行在2019年9月頒布《金融科技(FinTech)發(fā)展規(guī)劃(2019—2021年)》[14]也提出要利用多方安全計算技術(shù)提升金融服務(wù)安全性。政策的提前布局為我國搶占隱私計算關(guān)鍵領(lǐng)域的競爭優(yōu)勢奠定了重要基礎(chǔ)。

        3.2 技術(shù)產(chǎn)品市場發(fā)展迅速

        2019年,Gartner首次將隱私計算列為處于啟動期的關(guān)鍵技術(shù)[15]。2020年,Gartner又將隱私計算列為2021年企業(yè)機構(gòu)九大重要戰(zhàn)略科技之一,并預(yù)測隱私計算將迅速得到落地應(yīng)用,預(yù)計到2025年應(yīng)用范圍將覆蓋全球一半的大型企業(yè)機構(gòu)[2]。近兩年來,伴隨著技術(shù)的不斷成熟,國內(nèi)外隱私計算產(chǎn)業(yè)化的步伐明顯加快??梢灶A(yù)見,未來幾年將是技術(shù)產(chǎn)品加速迭代,應(yīng)用場景快速升級,產(chǎn)業(yè)生態(tài)逐步成熟的重要階段。

        3.2.1 國外隱私計算技術(shù)研究創(chuàng)新活躍,但商業(yè)化進展稍緩

        從技術(shù)發(fā)展的歷程來看,谷歌、Intel等國際領(lǐng)軍企業(yè)開創(chuàng)了隱私計算產(chǎn)業(yè)的時代潮流[6-8]。但從整體發(fā)展路徑來看,相比國內(nèi)企業(yè),國際科技企業(yè)在學(xué)術(shù)研究和開源生態(tài)的建設(shè)上更為活躍;相比之下,商業(yè)化的產(chǎn)品形態(tài)較為局限,產(chǎn)業(yè)生態(tài)也尚未形成火熱競爭或壟斷格局。

        微軟研究院自2011年開始大規(guī)模推進多方安全計算的研究,從兩方安全計算入手,逐漸拓展至三方計算和不存在交互行為的多方計算。但微軟前期的MPC研究存在兩個瓶頸,一是加密協(xié)議只針對一些簡單的分析功能有效,如聚類分析、線性回歸等;二是計算的執(zhí)行必須運行在低水平的與或門電路中,執(zhí)行過程麻煩而低效。2018年,微軟印度研究院推出了EzPC項目,希望克服上述兩個問題。作為一個高效、可擴展的MPC協(xié)議,EzPC是一個加密成本感知編譯器,使用算術(shù)和布爾電路的組合,通過高級語言執(zhí)行計算,支持神經(jīng)網(wǎng)絡(luò)訓(xùn)練和預(yù)測等復(fù)雜的算法。

        谷歌是聯(lián)邦學(xué)習(xí)的引路人,自2017年4月,谷歌便提出了聯(lián)邦學(xué)習(xí)的概念,并于2019年發(fā)布論文給出了可擴展大規(guī)模移動端聯(lián)邦系統(tǒng)的描述,用于改進谷歌輸入法的自動關(guān)聯(lián)與推薦。但與此同時,2019年8月,谷歌又開源了名為Private Join and Compute的新型多方安全計算開源庫,結(jié)合了隱私求交和同態(tài)加密兩種基本的加密技術(shù),幫助各組織和隱私數(shù)據(jù)集協(xié)同工作,針對個別項目還使用隨機密鑰進行高度加密,提高隱私性。

        Intel的SGX和ARM的TrustZone處于TEE硬件的壟斷地位[9,11]?;贏RM TrustZone實現(xiàn)的可信執(zhí)行環(huán)境是一種硬件隔離安全機制,以物理方式將系統(tǒng)劃分為安全和非安全組件,確保在正常操作下的軟件無法直接訪問安全區(qū)域的數(shù)據(jù);而基于Intel SGX實現(xiàn)的可信執(zhí)行環(huán)境是一種算力和內(nèi)存隔離的安全機制,使用特殊指令和軟件將應(yīng)用程序代碼放入一個Enclave中執(zhí)行,Enclave可在虛擬機監(jiān)控器、主操作系統(tǒng)和驅(qū)動程序均被惡意代碼攻陷的情況下,仍然對其內(nèi)的代碼和內(nèi)存數(shù)據(jù)提供安全保護。TrustZone在2008年推出,而SGX最早在2013年推出,二者都是隨著移動手機的大發(fā)展而繁榮起來,目前市場上可信執(zhí)行環(huán)境的商業(yè)化落地都是基于TrustZone或SGX的解決方案。

        除上述提到的科技巨頭外,國外互聯(lián)網(wǎng)、AI、區(qū)塊鏈領(lǐng)域的相關(guān)企業(yè)和機構(gòu)也快速布局了隱私計算,F(xiàn)acebook將基于PyToych的隱私計算機器學(xué)習(xí)框架CrypTen進行開源;AI公司Zama開源了基于全同態(tài)加密的軟件庫Concrete;麻省理工學(xué)院創(chuàng)辦的區(qū)塊鏈公司 Enigma推出了基于多方安全計算的新加密系統(tǒng),并與Intel合作研發(fā)基于SGX的可信執(zhí)行環(huán)境;創(chuàng)業(yè)公司Sharemind、Privitar致力于搭建自研的多方安全計算平臺。但從應(yīng)用場景來看,目前的主要應(yīng)用大多局限于將MPC技術(shù)應(yīng)用于分布式密鑰管理領(lǐng)域,如美國的Unbound Tech和丹麥的Sepior。

        從技術(shù)路徑上看,各國際企業(yè)相對更關(guān)注基于可信執(zhí)行環(huán)境的隱私計算。2019年成立的Linus基金會旗下的機密計算聯(lián)盟(Confidential Computing Consortium)便聚焦于此,關(guān)注基于可信硬件和云服務(wù)生態(tài)的數(shù)據(jù)安全。該聯(lián)盟的創(chuàng)始會員包括阿里、騰訊、ARM、谷歌、Intel、微軟、百度、華為等世界級企業(yè),2020年AMD、英偉達(dá)、埃森哲、R3等新一批知名企業(yè)也陸續(xù)加入。

        3.2.2 國內(nèi)隱私計算技術(shù)產(chǎn)品蓬勃發(fā)展,形成一定優(yōu)勢

        我國的隱私計算技術(shù)產(chǎn)業(yè)化在2018年后開始進入快速啟動階段,形成了互聯(lián)網(wǎng)大廠、大數(shù)據(jù)公司、運營商、金融機構(gòu)和金融科技企業(yè)、隱私計算初創(chuàng)企業(yè)為代表的五大類市場主要參與者。

        阿里巴巴、百度、騰訊、京東、螞蟻等各互聯(lián)網(wǎng)巨頭憑借自己在技術(shù)領(lǐng)域的積累,自2019年開始紛紛推出了各自的隱私計算產(chǎn)品,形成了跨業(yè)務(wù)、多團隊、強支撐的發(fā)展態(tài)勢,集團內(nèi)部不同業(yè)務(wù)根據(jù)自身的業(yè)務(wù)特點和需求,選擇一種或多種技術(shù)方案融合的方式進行開發(fā);作為大規(guī)模數(shù)據(jù)資源擁有者的電信運營商為拓展業(yè)務(wù)形態(tài),不僅三家運營商均在集團層面開始了隱私計算技術(shù)的選型與應(yīng)用,天翼支付、電信云等子公司還自建平臺服務(wù)于內(nèi)部或其他機構(gòu)的數(shù)據(jù)流通業(yè)務(wù);金融機構(gòu)是數(shù)據(jù)流通與安全應(yīng)用最主要的需求者,國有銀行的研究院或是事業(yè)部也均開始了隱私計算技術(shù)的研究工作,新心數(shù)科、神譜科技、平安科技、百融云創(chuàng)、度小滿等金融科技類企業(yè)也將傳統(tǒng)的數(shù)據(jù)建模、數(shù)據(jù)分析等業(yè)務(wù)拓展到基于聯(lián)邦學(xué)習(xí)平臺等的隱私計算服務(wù)中;同盾科技、星環(huán)科技、Talking Data、京信數(shù)科等代表性的大數(shù)據(jù)技術(shù)廠商也快速布局基于隱私計算的數(shù)據(jù)流通產(chǎn)品或平臺。

        以上企業(yè)的商業(yè)化路徑大多是既要服務(wù)于企業(yè)自身運營需求,也可作為服務(wù)方為政務(wù)、金融等領(lǐng)域提供技術(shù)支撐。區(qū)別于此,如富數(shù)科技、華控清交、矩陣元、翼方健數(shù)、數(shù)牘科技、锘崴科技、光之樹科技、零知識科技等一批專注于隱私計算產(chǎn)品化的初創(chuàng)企業(yè)也不斷涌現(xiàn)。作為促進數(shù)據(jù)流通的關(guān)鍵技術(shù),在國內(nèi)大數(shù)據(jù)產(chǎn)業(yè)穩(wěn)步發(fā)展、數(shù)據(jù)要素市場化配置加快推進的背景下,我國隱私計算技術(shù)產(chǎn)品日漸成熟,各領(lǐng)域應(yīng)用場景加速落地,產(chǎn)業(yè)快速發(fā)展。面對隱私計算技術(shù)領(lǐng)域的國際競爭,我國已初具競爭優(yōu)勢,有望占據(jù)有利地位。

        從技術(shù)路線上來看,多方安全計算的復(fù)雜度高、開發(fā)難度大,以華控清交、富數(shù)科技、矩陣元等為代表的隱私計算初創(chuàng)企業(yè)多致力于此,專注于打造以底層多方安全計算技術(shù)為基礎(chǔ)的數(shù)據(jù)流通基礎(chǔ)設(shè)施;可信執(zhí)行環(huán)境對于硬件的局限及國外芯片的強依賴,使得其在國內(nèi)的產(chǎn)品選型相對較少,較集中于百度、阿里巴巴等互聯(lián)網(wǎng)大廠和沖量在線、隔鏡科技等初創(chuàng)企業(yè),但目前已出現(xiàn)沖量在線與兆芯在國產(chǎn)化硬件研發(fā)上的合作探索;對于聯(lián)邦學(xué)習(xí),由于機器學(xué)習(xí)類應(yīng)用需求的突出,且有較成熟的開源社區(qū)為基礎(chǔ),開發(fā)難度相對輕松,因而運營商、金融科技公司等業(yè)務(wù)需求方大多專注在基于聯(lián)邦學(xué)習(xí)的隱私計算產(chǎn)品化中。

        2020年,為提升行業(yè)認(rèn)知,推進隱私計算技術(shù)與應(yīng)用的融合,在工業(yè)和信息化部相關(guān)司局的指導(dǎo)和支持下,中國信息通信研究院云計算與大數(shù)據(jù)研究所牽頭成立公益性合作平臺“隱私計算聯(lián)盟”(Privacy Preserving Computing Alliance)[16],目前聯(lián)盟已有包含技術(shù)廠商、政府單位、運營商和金融機構(gòu)等在內(nèi)的50余家成員單位。

        3.2.3 隱私計算的開源生態(tài)逐漸顯現(xiàn)

        開源社區(qū)的知識共享和多方協(xié)同有利于加快技術(shù)升級迭代和商業(yè)化項目落地的效率。對比傳統(tǒng)的大數(shù)據(jù)技術(shù)工具,開源已成為生態(tài)中的絕對主流。作為保障數(shù)據(jù)合作與安全的重要基礎(chǔ),隱私計算有望進一步擁抱開源。近兩年,很多大廠不斷提供開源資源,目前國內(nèi)外科技巨頭在隱私計算領(lǐng)域的開源項目情況如表2所示[16]。

        表2 代表性隱私計算開源項目

        從目前國內(nèi)外影響力較強的隱私計算開源項目來看,聯(lián)邦學(xué)習(xí)主要有PySyft、TF-Federated和FATE。

        PySyft和TF-Federated目前僅支持試驗環(huán)境。PySyft是開源社區(qū)OpenMined開源的隱私計算框架,主要針對實現(xiàn)基于隱私計算的深度學(xué)習(xí)。PySyft將聯(lián)邦學(xué)習(xí)、多方安全計算以及差分隱私、遠(yuǎn)程執(zhí)行等技術(shù)結(jié)合在一個編程模型中并集成到不同的深度學(xué)習(xí)框架中,如PyTorch、Keras或TensorFlow;谷歌基于TensorFlow開源的TF-Federated,則主要針對類似谷歌輸入法案例的橫向聯(lián)邦學(xué)習(xí)。

        FATE是國內(nèi)聯(lián)邦學(xué)習(xí)商業(yè)化產(chǎn)品的主要貢獻力量,由微眾銀行于2019年2月開源。FATE提供了一種基于數(shù)據(jù)隱私保護的分布式安全計算框架,為機器學(xué)習(xí)、深度學(xué)習(xí)和遷移學(xué)習(xí)算法提供高性能的安全計算支持,支持同態(tài)加密、SecretShare等多種多方安全計算協(xié)議,簡單易用。目前,社區(qū)內(nèi)已有超370家企業(yè)、164所高校合作[16]。

        3.3 配套標(biāo)準(zhǔn)體系日漸完善

        技術(shù)體系的發(fā)展壯大需要配套標(biāo)準(zhǔn)指引的支撐?!抖喾桨踩嬎慵夹g(shù)框架》和《基于TEE的安全計算》兩項國際標(biāo)準(zhǔn)分別于2019年4月和2020年9月在電氣電子工程師學(xué)會(IEEE)立項,但現(xiàn)有標(biāo)準(zhǔn)的內(nèi)容主要是給出了通用性的技術(shù)框架,尚沒有深入到應(yīng)用中的細(xì)節(jié)。

        中國信息通信研究院依托中國通信標(biāo)準(zhǔn)化協(xié)會大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進委員會于2018—2020年分別牽頭制定了《基于多方安全計算的數(shù)據(jù)流通產(chǎn)品》《基于聯(lián)邦學(xué)習(xí)的數(shù)據(jù)流通產(chǎn)品》《基于可信執(zhí)行環(huán)境的數(shù)據(jù)計算平臺》《區(qū)塊鏈輔助的隱私計算技術(shù)工具》4項隱私計算技術(shù)產(chǎn)品功能上的系列標(biāo)準(zhǔn)[16]。隨著技術(shù)的火熱發(fā)展,這些標(biāo)準(zhǔn)正在快速迭代、不斷完善,針對不同產(chǎn)品的性能和安全性標(biāo)準(zhǔn)也正在加速制定中。

        與此同時,中國信息通信研究院云計算與大數(shù)據(jù)研究所還依據(jù)已有標(biāo)準(zhǔn)積極開展技術(shù)產(chǎn)品的標(biāo)準(zhǔn)化評測,幫助市場建立起對于市場產(chǎn)品的客觀評價體系,助力行業(yè)行穩(wěn)致遠(yuǎn)。自2019年下半年開始啟動的隱私計算技術(shù)產(chǎn)品評測已完成3批共40余次的產(chǎn)品評測[16]。透過每一批評測中產(chǎn)品數(shù)量的快速增長,也可見證國內(nèi)隱私計算產(chǎn)業(yè)的火熱發(fā)展。

        4 隱私計算發(fā)展面臨的問題

        我國隱私計算發(fā)展具備一定優(yōu)勢、存在廣闊應(yīng)用空間,但由于技術(shù)發(fā)展仍不完善,因此也面臨著一些問題。

        4.1 市場對于隱私計算的認(rèn)知度、認(rèn)可度仍然不足

        隱私計算技術(shù)仍然在蓬勃發(fā)展的上升期,技術(shù)發(fā)展尚未成熟,市場培育也尚未完成。一方面由于隱私計算技術(shù)復(fù)雜且常常呈現(xiàn)“黑盒化”現(xiàn)象,大部分用戶對隱私技術(shù)難以理解和信任;另一方面,對技術(shù)理解的不夠全面,會導(dǎo)致用戶對技術(shù)應(yīng)用的效果產(chǎn)生過度預(yù)期。

        4.2 技術(shù)推廣所需的成熟商業(yè)模式尚未形成

        隱私計算的應(yīng)用必將重構(gòu)過去數(shù)據(jù)流通、融合等相關(guān)的業(yè)務(wù)流程,形成新的商業(yè)模式。但是,當(dāng)前市場正處于快速發(fā)展的早期階段,明確的激勵機制、利益分配機制和通用的平臺收費機制等商業(yè)化落地模式尚未形成,難以支撐技術(shù)的大規(guī)模推廣。特別是在政務(wù)、醫(yī)療等系統(tǒng)相對固化、開放動力不足的行業(yè),推廣隱私計算技術(shù)的難度很大,在近幾年內(nèi)難以看到大規(guī)模應(yīng)用的情況。

        4.3 現(xiàn)有法律法規(guī)未對隱私計算地位進行明確定位

        《中華人民共和國網(wǎng)絡(luò)安全法》中規(guī)定“未經(jīng)被收集者同意,網(wǎng)絡(luò)運營者不得向他人提供個人信息”,同時設(shè)置了“經(jīng)過處理無法識別特定個人且不能復(fù)原”的例外條款。隱私計算僅僅避免了原始數(shù)據(jù)轉(zhuǎn)移的過程,但完成了基于多方數(shù)據(jù)的計算,所以仍然涉及到個人信息的提供和使用。目前,將個人信息用于隱私計算,以及如何在符合個人信息保護的要求下使用隱私計算技術(shù),現(xiàn)有法律法規(guī)及相關(guān)標(biāo)準(zhǔn)等并無明確界定。這正在成為制約隱私計算發(fā)展的無法回避的問題。

        4.4 在滿足通用性功能的基礎(chǔ)之上,產(chǎn)品性能提升任重道遠(yuǎn)

        目前來看,大多數(shù)隱私計算產(chǎn)品已能滿足用戶的通用性需求,但實現(xiàn)技術(shù)大規(guī)模商用的瓶頸不在于理論體系的創(chuàng)新,而在于計算成本的控制與計算效率的支撐。無論是工程化實現(xiàn)的創(chuàng)新突破還是軟硬件之間的優(yōu)化適配,隱私計算的性能提升都任重道遠(yuǎn)。

        5 隱私計算未來的發(fā)展趨勢

        5.1 從技術(shù)角度來看,隱私計算仍在加速成熟

        (1)軟硬件協(xié)同優(yōu)化性能的提升、技術(shù)的可用性。硬件加速在隱私計算性能提升方面正在發(fā)揮越來越關(guān)鍵的作用,在算法不斷優(yōu)化的基礎(chǔ)上,一些專用芯片和控件的使用將進一步提升隱私計算的性能。

        (2)逐步向大規(guī)模分布式計算邁進。2020年以來,隱私計算逐漸成熟的一個表現(xiàn)就是分布式隱私計算的逐漸應(yīng)用,為解決隱私計算在計算量方面的瓶頸提供了優(yōu)秀實踐。

        (3)提供工具化、模塊化的服務(wù)能力。如何滿足用戶的個性化與定制化需求、提升用戶使用效率將成為產(chǎn)品形態(tài)趨同之下,技術(shù)提供者提升競爭力的關(guān)鍵。低代碼甚至零代碼開發(fā)、圖形化拉拖拽替代編碼和多版本輕量化部署等將成為產(chǎn)品升級優(yōu)化的關(guān)鍵之一。

        5.2 從應(yīng)用角度來看,隱私計算將加速與其他技術(shù)的協(xié)同以推進大規(guī)模落地應(yīng)用

        (1)增強與區(qū)塊鏈等其他技術(shù)的不斷協(xié)同。區(qū)塊鏈與隱私計算的功能是天然互補的,借助區(qū)塊鏈去中心化、不可篡改、公開透明的特性,將增強隱私計算任務(wù)的可驗證性、可審計性,目前已成為諸多廠商的技術(shù)融合方向。此外,隱私計算與云計算的協(xié)同,將在支持云端數(shù)據(jù)存儲、處理的同時加強任務(wù)過程中的安全與隱私控制;而隱私計算與人工智能的協(xié)同,將有力推進數(shù)據(jù)智能的應(yīng)用和發(fā)展。

        (2)促進跨技術(shù)平臺間的互聯(lián)互通。隱私計算的目標(biāo)在于促進多方數(shù)據(jù)之間的互聯(lián)互通,但從應(yīng)用現(xiàn)狀看,不同技術(shù)路徑之間的差異明顯,而同一路徑下不同產(chǎn)品的實現(xiàn)方案也相互獨立,數(shù)據(jù)資源的互聯(lián)互通只能基于不同的技術(shù)平臺分塊實現(xiàn),無疑增加了應(yīng)用側(cè)的使用成本。從長期發(fā)展來看,跨技術(shù)路徑、跨系統(tǒng)平臺之間的隱私計算技術(shù)工具的互聯(lián)互通將成為廣泛需求。

        5.3 從產(chǎn)業(yè)角度來看,隱私計算還需與數(shù)據(jù)治理相互配合,共同促進數(shù)據(jù)要素的共享利用和價值釋放

        (1)隱私計算有望成為數(shù)據(jù)流通的關(guān)鍵基礎(chǔ)設(shè)施。隨著近兩年國內(nèi)隱私計算的技術(shù)產(chǎn)品快速落地,越來越多的行業(yè)客戶開始在數(shù)據(jù)流通活動中實施部署相應(yīng)的技術(shù)解決方案,隱私計算逐步推動著傳統(tǒng)數(shù)據(jù)流通模式和流程的變革,當(dāng)技術(shù)能力和應(yīng)用模式越發(fā)成熟之時,隱私計算才有望成為全社會數(shù)據(jù)流通網(wǎng)絡(luò)的支撐型基礎(chǔ)設(shè)施。

        (2)技術(shù)發(fā)展將隨著數(shù)據(jù)合規(guī)要求的不斷變化而動態(tài)演變。在《數(shù)據(jù)安全法(二審草案)》《個人信息保護法(二審草案)》等法案逐步出臺后,金融、電信、互聯(lián)網(wǎng)等各個行業(yè)將陸續(xù)出臺數(shù)據(jù)流通相關(guān)的監(jiān)管規(guī)定,雖然監(jiān)管層面逐步認(rèn)可并鼓勵應(yīng)用隱私計算以促進數(shù)據(jù)流通與權(quán)益保護之間的平衡,但法律法規(guī)并不會明確給出技術(shù)應(yīng)用的具體路徑。隨著攻擊手段和破解技術(shù)的不斷發(fā)展,數(shù)據(jù)合規(guī)要求將不斷更新,技術(shù)的發(fā)展也將隨之動態(tài)演變。

        6 結(jié)束語

        隨著各領(lǐng)域關(guān)注度的日益提升,隱私計算已成為發(fā)展火熱的新興技術(shù),成為商業(yè)和資本競爭的熱門賽道。數(shù)據(jù)流通是釋放數(shù)據(jù)價值的關(guān)鍵環(huán)節(jié),隱私計算技術(shù)為數(shù)據(jù)流通提供了解決方案。本文對隱私計算的技術(shù)原理進行了闡述,列舉了隱私計算當(dāng)前的主要應(yīng)用場景,分析了國內(nèi)外隱私計算產(chǎn)業(yè)的發(fā)展情況。在此基礎(chǔ)上,總結(jié)了隱私計算發(fā)展面臨的問題,并從技術(shù)、產(chǎn)業(yè)、應(yīng)用等視角分析了隱私計算未來的發(fā)展趨勢。我國隱私計算發(fā)展具備一定優(yōu)勢、存在廣闊應(yīng)用空間,但由于技術(shù)發(fā)展仍不完善,因此也面臨著一些問題。無論是工程化實現(xiàn)的創(chuàng)新突破還是軟硬件之間的優(yōu)化適配,隱私計算的性能提升都任重道遠(yuǎn)。

        美女超薄透明丝袜美腿| 欧美黑人粗暴多交高潮水最多| 日本三级香港三级人妇99| 免费无遮挡无码永久在线观看视频 | 国产精品高清一区二区三区不卡| 中文字幕网伦射乱中文| 成人国内精品久久久久一区| 水蜜桃无码视频在线观看| 99久久综合狠狠综合久久| 亚洲国产麻豆综合一区| 亚洲国产高清美女在线观看| 熟女人妻中文字幕一区| 国产激情在线观看视频网址| 一区二区三区亚洲视频| 国产精品一区二区三区卡| 久久久中文久久久无码| 四虎影视免费观看高清视频| 野外三级国产在线观看| 91精品人妻一区二区三区蜜臀| 久久久精品国产老熟女| 中国老熟女露脸老女人| 中文字幕日韩精品有码视频| 日本又黄又爽gif动态图| 久久成年片色大黄全免费网站| 99re6久精品国产首页| 亚洲一区二区三区久久久| 亚洲精品一区二区成人精品网站| 97人妻精品一区二区三区男同| 国产激情久久久久影院老熟女| 国产精品亚洲专区无码web| 亚洲大胆视频在线观看| 久久伊人精品中文字幕有尤物| 蜜桃视频一区二区在线观看| 国产在线观看无码免费视频| 亚洲中文字幕无码久久2020| 亚洲欧美一区二区三区国产精| 久久精品日本美女视频| 三级国产自拍在线观看| 人人妻人人澡人人爽人人精品浪潮| 国产午夜福利在线播放| 草莓视频中文字幕人妻系列|