亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        算法歧視的民事責(zé)任形態(tài)

        2021-12-08 22:25:27潘芳芳
        華東政法大學(xué)學(xué)報 2021年5期
        關(guān)鍵詞:決策者行為人義務(wù)

        潘芳芳

        算法決策技術(shù)在人們?nèi)粘I钪械膹V泛使用,引發(fā)人們對算法歧視危害后果的普遍關(guān)注。不同領(lǐng)域的專家和學(xué)者從各自不同的視角出發(fā),提出了多元的解決方案。時間維度的規(guī)制方案劃分中,事前的預(yù)防和制止模式,既包括以算法決策根源——數(shù)據(jù)的合法、合規(guī)收集和使用為切入點(diǎn),來減少和避免算法歧視發(fā)生的風(fēng)險;〔1〕See Michele Wilson, “Algorithms (and the)Everyday”, 20 Information, Communication & Society 137-150 (2017).也包含設(shè)置專門機(jī)構(gòu)、組織和人員,對算法程序進(jìn)行技術(shù)性的審計、評估和測試,通過行政性質(zhì)的許可和準(zhǔn)入等限制措施和手段進(jìn)行監(jiān)督和管理,實現(xiàn)算法歧視的風(fēng)險預(yù)防和避免;〔2〕See K. A. Taipale, “Data Mining and Domestic Security: Connecting the Dots to Make Sense of Data”, 5 Columbia Science and Technology Law Review 3 (2003).亦有學(xué)者提議從技術(shù)和法律規(guī)制措施融合的角度,要求程序設(shè)計者將技術(shù)倫理和規(guī)范編入算法決策程序?!?〕See B. Custers, “Data Dilemmas in The Information Society: Introduction and Overview”, in B. Custers et al. eds.,Discrimination and Privacy in the Information Society, Springer, 2013, pp.3-26.與事前的風(fēng)險預(yù)防和規(guī)避措施相對應(yīng)的,是法規(guī)范領(lǐng)域傳統(tǒng)的事后追責(zé)與救濟(jì)模式,即在算法歧視風(fēng)險無法避免和消除時,通過法規(guī)范體系內(nèi)相關(guān)理念、制度和規(guī)則的解釋和適用,明確損害后果承擔(dān)的責(zé)任主體和依據(jù),為受害人的損失提供救濟(jì)的“矯正正義模式”?!?〕參見鄭戈:《算法的法律與法律的算法》,載《中國法律評論》2018年第2期,第66-85頁。盡管“事前的預(yù)防比事后的救濟(jì)更重要”〔5〕參見盧義杰、來揚(yáng):《事前預(yù)防比事后救濟(jì)更重要》,載《中國青年報》2012年11月2日,第7版。,但在欠缺統(tǒng)一的標(biāo)準(zhǔn)、規(guī)則和專業(yè)的人員與組織配備的情況下,事前預(yù)防模式下各種措施的功能發(fā)揮受到諸多限制,不具備基本的現(xiàn)實性和可操作基礎(chǔ)。所以,在傳統(tǒng)的權(quán)益保護(hù)制度和框架內(nèi),通過被動性作用和功能發(fā)揮的事后追責(zé)與救濟(jì)路徑的建構(gòu),為受害人提供基本的損害賠償和救濟(jì),是目前最具可行性和急迫性的路徑,這也是本文意欲探討的問題。本文的研究目標(biāo)在于,以《個人信息保護(hù)法》為依據(jù),在定型化的民事權(quán)益保護(hù)與救濟(jì)框架內(nèi),探討不同場景下算法歧視的責(zé)任形態(tài),為受害人尋求司法救濟(jì)提供理論基礎(chǔ)和規(guī)范支撐。

        一、無締約情形下的算法侵權(quán)責(zé)任

        明確行為人與受害人之間的法律關(guān)系,是確定彼此間權(quán)利義務(wù)關(guān)系的前提。民事規(guī)范體系中,存在合同責(zé)任和侵權(quán)責(zé)任兩種基本的責(zé)任形態(tài),而合同責(zé)任則根據(jù)責(zé)任形成階段的不同,又細(xì)分為發(fā)生于接觸和磋商階段的締約過失責(zé)任和發(fā)生于合同履行過程中的違約責(zé)任。在算法決策程序的行為人(后文統(tǒng)稱“行為人”)和被決策者之間不具有特殊的締約或合同關(guān)系,但被決策者卻因為行為人所實施的算法歧視行為而遭受損害時,可通過侵權(quán)責(zé)任機(jī)制作用的發(fā)揮,讓行為人承擔(dān)侵權(quán)責(zé)任,賠償受害人因遭受不合理的歧視性對待而受到的損失。

        (一)算法歧視的侵權(quán)行為樣態(tài)

        算法,也可以稱之為自動化決策,是指利用個人信息對個人的行為習(xí)慣、興趣愛好或者經(jīng)濟(jì)、健康、信用狀況等,通過計算機(jī)程序自動分析、評估并進(jìn)行決策的活動。以大數(shù)據(jù)和計算機(jī)程序設(shè)計為依托的算法決策程序的運(yùn)用,無論是數(shù)據(jù)的收集和挖掘,還是算法程序的設(shè)計和使用階段,都對應(yīng)產(chǎn)生不同類型的算法歧視:既包括因直接的敏感數(shù)據(jù)使用和數(shù)據(jù)挖掘中社會固有刻板印象的再現(xiàn)而導(dǎo)致的“特征選擇型”算法歧視,也包括對敏感數(shù)據(jù)相關(guān)聯(lián)的數(shù)據(jù)的聯(lián)合使用而導(dǎo)致的“偏見代理型”算法歧視,以及主要用于商業(yè)領(lǐng)域、以類型化和個性化推送為目標(biāo)的“大數(shù)據(jù)殺熟型”算法歧視等?!?〕參見鄭智航、徐昭曦:《大數(shù)據(jù)時代算法歧視的法律規(guī)制與司法審查——以美國法律實踐為例》,載《比較法研究》2019年第4期,第111-122頁。數(shù)據(jù)、算法程序和最終的算法決策結(jié)果之間,好比食材、食譜和菜肴之間的關(guān)系,菜肴是在按照食譜對食材類別、分量和添加程序等指導(dǎo)下做出來的?!?〕See Michele Wilson, “Algorithms (and the) Everyday”, 20 Information, Communication & Society 137-150 (2017).所以,當(dāng)算法決策結(jié)果存在歧視現(xiàn)象時,既有可能是作為食材的變量因素——所使用的“數(shù)據(jù)”有問題,也可能是算法程序的設(shè)計不合適或存在紕漏。

        適用廣泛的同時伴有極高的風(fēng)險系數(shù),算法決策技術(shù)可能引致的算法歧視危機(jī)在世界范圍內(nèi)引發(fā)了廣泛的關(guān)注和警惕。不同的國家和組織在技術(shù)與法律融合的基礎(chǔ)上,都專門針對算法歧視風(fēng)險的避免進(jìn)行了設(shè)定,〔8〕如2015年美國白宮發(fā)布的《大數(shù)據(jù):把握機(jī)遇,維護(hù)價值》(Big Data: Seizing Opportunities, Preserving Values)報告;2016年英國下議院科學(xué)和技術(shù)委員會發(fā)布的《機(jī)器人與人工智能》;2018年的《多倫多宣言》(The Toronto Declaration:Protecting the Rights to Equality and Non-discrimination in Machine Learning Systems),該宣言明確提出了“將偏見和歧視排除在機(jī)器學(xué)習(xí)算法之外”的指導(dǎo)方針;2018年《歐盟通用數(shù)據(jù)保護(hù)條例》(GDPR:General Data Protection Regulation)和《“可信賴人工智能”倫理指南》(Ethics Guidelines for Trustworthy AI)。內(nèi)容既涵蓋抽象的原則、倫理要求,也有具體的制度和規(guī)則建議;既包括事前的預(yù)防和制止措施,也有事后的追責(zé)與救濟(jì)機(jī)制;既強(qiáng)調(diào)內(nèi)在自律,也重視外在他律?!?〕參見鄭智航、徐昭曦:《大數(shù)據(jù)時代算法歧視的法律規(guī)制與司法審查——以美國法律實踐為例》,載《比較法研究》2019年第4期,第111-122頁。技術(shù)(風(fēng)險)不分國界。當(dāng)前,算法安全與算法歧視規(guī)制已經(jīng)成為世界性的難題與挑戰(zhàn)。上述不同國家、區(qū)域和組織所提出的各種安全標(biāo)準(zhǔn)和行為準(zhǔn)則等,已得到我國社會公眾、技術(shù)專家和規(guī)范制定者的廣泛吸收和認(rèn)可,無論是在交易習(xí)慣還是新出臺的《個人信息保護(hù)法》中都有所體現(xiàn)。算法歧視的侵權(quán)責(zé)任建構(gòu),即以上述規(guī)范和文件中所創(chuàng)設(shè)的交易習(xí)慣和法律理念、原則、規(guī)則為基礎(chǔ)和依據(jù)。具體而言,依據(jù)主體主觀狀態(tài)和行為樣態(tài)的不同,可將算法歧視行為劃分為通過積極的作為所實施的故意侵權(quán)行為和因過失違反作為義務(wù)而承擔(dān)的過失侵權(quán)責(zé)任。

        1.故意實施侵權(quán)行為:敏感數(shù)據(jù)使用

        計算機(jī)程序的運(yùn)行,遵循“GIGO”(Garbage In,Garbage Out)定律,轉(zhuǎn)接到算法歧視場景下則變?yōu)椤癇IBO”(Bias In, Bias Out),即偏見進(jìn),偏見出——如果輸入的數(shù)據(jù)是具有歧視性質(zhì)的,那么輸出的算法決策結(jié)果就必然帶有歧視色彩?!?0〕See A. Phalgune et al., “Garbage in, Garbage out? An Empirical Look at Oracle Mistakes by End-User Programmers”, IEEE Symposium on Visual Languages and Human-Centric Computing 40 (2005).將部分可能造成歧視后果的“敏感數(shù)據(jù)”排除算法決策體系的自變量范疇,即“技術(shù)性脫敏”,已經(jīng)成為規(guī)范領(lǐng)域反算法歧視的基本要求,是最容易操作和實現(xiàn)、操作過程可視化程度最高的一種途徑和手段。

        關(guān)于“敏感數(shù)據(jù)”的范圍界定和類型劃分,受不同國家、區(qū)域社會特定規(guī)范性文化的影響,在界定過程中存在很多差異。具體到算法歧視規(guī)制中的“敏感數(shù)據(jù)”的認(rèn)定,除了反歧視法規(guī)范中所列示的性別、年齡、種族、國籍、殘疾、心理的群體保護(hù)疾病或心靈能力、性取向、性別、性別認(rèn)同、性別特征、宗教信仰、信條或個人政治意見等類型之外,針對具體化的算法決策適用場景可能會有所延伸和擴(kuò)張。典型案例如“大數(shù)據(jù)殺熟”現(xiàn)象中,經(jīng)營者根據(jù)顧客的經(jīng)濟(jì)能力和消費(fèi)喜好而進(jìn)行差異化定價。在該場景下,客觀上與商品或者服務(wù)的價格設(shè)定沒有關(guān)聯(lián)性的當(dāng)事人的經(jīng)濟(jì)能力和消費(fèi)喜好,也可被視為與歧視相關(guān)的“敏感數(shù)據(jù)”?!秱€人信息保護(hù)法》中,將“敏感個人信息”界定為“一旦泄露或者非法使用,容易導(dǎo)致自然人的人格尊嚴(yán)受到侵害或者人身、財產(chǎn)安全受到危害的個人信息”,并且在“人格尊嚴(yán)”與“人身、財產(chǎn)安全”的雙重保護(hù)目標(biāo)與功能下,立法者將“生物識別、宗教信仰、特定身份、醫(yī)療健康、金融賬戶、行蹤軌跡等”以列舉的形式,明確納入個人敏感信息的范疇。〔11〕參見《個人信息保護(hù)法》第28條。保護(hù)當(dāng)事人免受歧視性待遇是保護(hù)當(dāng)事人“人格尊嚴(yán)”的重要內(nèi)容。是故,但凡非交往或者交易中所必需,但一旦在決策程序中使用就會招致歧視性待遇和后果的信息,均可經(jīng)擴(kuò)張解釋,納入法條中具有兜底性質(zhì)的“等”字范疇之內(nèi)。

        由此,行為人如若在算法程序運(yùn)行中使用了歧視性“敏感數(shù)據(jù)”或可能造成歧視性后果的數(shù)據(jù),便可推定其主觀上故意實施了算法歧視的侵權(quán)行為。除非行為人能夠?qū)λ褂谩懊舾袛?shù)據(jù)”與最終決策之間合理、正當(dāng)?shù)年P(guān)聯(lián)性和數(shù)據(jù)使用的必然性進(jìn)行解釋和說明,并能夠證明自身已經(jīng)采取適當(dāng)?shù)拇胧?,避免因敏感?shù)據(jù)使用而帶來的歧視性后果。否則,在被決策者權(quán)益因算法歧視行為而遭受侵害時,行為人要為之承擔(dān)相應(yīng)的侵權(quán)責(zé)任。

        2.過失違反作為義務(wù)

        侵權(quán)法最能夠反映特定社會和文化背景下社會關(guān)系、經(jīng)濟(jì)關(guān)系和倫理道德觀念。侵權(quán)責(zé)任機(jī)制中,司法者可通過行為人所負(fù)擔(dān)的“作為義務(wù)”內(nèi)容的適度擴(kuò)張和解釋適用,將特定社會背景下人們的現(xiàn)實需求、特定的道德倫理觀念、社會交往方式和交易習(xí)慣融入侵權(quán)責(zé)任規(guī)制機(jī)制中,彌補(bǔ)“規(guī)范滯后”的不足?!?2〕周友軍:《我國侵權(quán)法上作為義務(wù)的擴(kuò)張》,載《法學(xué)》2008年第2期,第92-101頁。按照德國判例與學(xué)說中的觀點(diǎn),“作為義務(wù)”的產(chǎn)生,源于法律規(guī)定、合同約定和先前危險行為;〔13〕周友軍:《我國侵權(quán)法上作為義務(wù)的擴(kuò)張》,載《法學(xué)》2008年第2期,第92-101頁?!白鳛榱x務(wù)”內(nèi)容的擴(kuò)張理由,則包括“風(fēng)險社會”下危險控制的需要〔14〕法律是社會的產(chǎn)物,社會生活的事實需要是導(dǎo)致法律制度和規(guī)則發(fā)生變遷的動力和原因。在技術(shù)發(fā)展與變革的背景下,社會風(fēng)險和危險也不斷增加,“風(fēng)險社會”中通過對人們作為義務(wù)的增加以要求人們“照顧好鄰居”,并通過不作為責(zé)任的承擔(dān)將作為義務(wù)規(guī)范化和法定化。參見邱聰智:《從侵權(quán)行為歸責(zé)原理之變動論危險責(zé)任之構(gòu)成》,中國人民大學(xué)出版社2005年版,第405頁。、法律理念由個人本位轉(zhuǎn)向社會本位的必然要求〔15〕自由主義思想觀念下,個人自由越多越好,承擔(dān)的義務(wù)越少越好,但在社會本位的法律思想下,為了社會的公共利益和安全,個人應(yīng)當(dāng)承擔(dān)的義務(wù)也有所增加。參見周友軍:《我國侵權(quán)法上作為義務(wù)的擴(kuò)張》,載《法學(xué)》2008年第2期,第92-101頁。和“道德法律化”理論的要求三種〔16〕社會的現(xiàn)實需求導(dǎo)致新的道德觀念和要求的產(chǎn)生,而法律要與社會的變遷和發(fā)展相適應(yīng),就得允許新的道德內(nèi)容的“入侵”,通過“道德內(nèi)容法律化”的路徑將社會生活現(xiàn)實的需求在法律體系中予以體現(xiàn)。參見周友軍:《我國侵權(quán)法上作為義務(wù)的擴(kuò)張》,載《法學(xué)》2008年第2期,第92-101頁。。其中,作為“作為義務(wù)”產(chǎn)生依據(jù)之一的“法律規(guī)定”,不僅指代民事基本法,還包括國家因保護(hù)特殊主體或者權(quán)益而制定和實施的、帶有公法性質(zhì)的特別法規(guī)范。在算法歧視的私法救濟(jì)和民事責(zé)任規(guī)制路徑建構(gòu)中,可由主體的“作為義務(wù)”(內(nèi)容的擴(kuò)張)發(fā)揮“導(dǎo)管”作用,將特別法規(guī)范中倡導(dǎo)和設(shè)定的價值理念、原則、規(guī)則和制度等引入私法救濟(jì)體系中,通過私主體間權(quán)利義務(wù)關(guān)系的構(gòu)建,來實現(xiàn)國家干預(yù)和調(diào)控的目的,維護(hù)和保障社會利益和公共秩序?!?7〕參見蘇永欽:《私法自治中的國家強(qiáng)制》,載《中外法學(xué)》2001年第1期,第92-109頁?!秱€人信息保護(hù)法》便是在數(shù)字化時代背景下,國家為了保護(hù)處于弱勢地位的信息主體的相關(guān)權(quán)益而制定和實施的,帶有公法性質(zhì)的特別法規(guī)范。

        數(shù)字化時代背景下,無論是數(shù)據(jù)和信息瑕疵,程序設(shè)計的結(jié)果導(dǎo)向,還是算法程序“黑箱”屬性下的透明度缺失,都容易引發(fā)算法歧視危機(jī),被決策者遭受歧視性待遇的風(fēng)險系數(shù)頗高。行為人引入算法決策系統(tǒng)輔助、部分或者全部地代替人類決策,開啟了被決策者可能遭受歧視性待遇的危險。“權(quán)責(zé)一致”的邏輯和理念下,即便沒有故意實施算法歧視的主觀意圖,作為招致風(fēng)險的源頭,行為人也理應(yīng)為自己這種“先前危險行為”負(fù)擔(dān)一定的作為義務(wù),采取合理必要的、具備期待可能性的保護(hù)和防范措施,預(yù)防和避免算法歧視現(xiàn)象的發(fā)生,并在風(fēng)險預(yù)防和制止義務(wù)履行存在瑕疵、被決策者遭受了歧視性待遇時,為被決策者的損失承擔(dān)侵權(quán)賠償責(zé)任。〔18〕林美惠:《侵權(quán)行為法上交易安全義務(wù)之研究》,臺灣大學(xué)2000年法律學(xué)研究所博士論文,2000年,第37頁;轉(zhuǎn)引自李昊:《德國新債法中附隨義務(wù)的構(gòu)造》,載《環(huán)球法律評論》2009年第5期,第113-123頁。

        (1)算法程序運(yùn)行的影響評估與合規(guī)審計義務(wù)

        《個人信息保護(hù)法》明確要求,個人信息處理者應(yīng)當(dāng)定期對個人信息處理活動是否遵守法律、行政法規(guī)的情況進(jìn)行合規(guī)審計。并且,在利用個人信息進(jìn)行自動化決策過程中,要對個人信息處理活動在事前進(jìn)行影響評估?!?9〕參見《個人信息保護(hù)法》第54、55條。算法以數(shù)據(jù)和決策程序為依托而運(yùn)行,所以,對算法程序運(yùn)行的影響評估與合規(guī)審計,意味著行為人要在信息安全與程序公平兩方面展開核查。

        自動化算法決策過程中,對信息的審查與評估,一方面,是為了保障個人信息的安全;另一方面,也是為了避免關(guān)聯(lián)數(shù)據(jù)聯(lián)合使用下“偏見代理型”算法歧視的發(fā)生。對于個人信息安全保護(hù)的影響評估,內(nèi)容主要包括信息的處理目的、處理方式等是否合法、正當(dāng)、必要,對個人的影響及風(fēng)險程度,以及所采取的安全保護(hù)措施是否合法、有效與風(fēng)險程度相適應(yīng)三個方面。此外,在有些算法決策過程中,行為人輸入和使用的雖然是經(jīng)過脫敏處理的客觀、中立數(shù)據(jù),但這些數(shù)據(jù)可能會與敏感數(shù)據(jù)存在一定的關(guān)聯(lián)。對這部分較為隱秘的敏感性“關(guān)聯(lián)數(shù)據(jù)”的采用,最終也可能會產(chǎn)生歧視性的決策結(jié)果,這種情況下所發(fā)生的算法歧視,被學(xué)者稱之為“關(guān)聯(lián)歧視”或“偏見代理型”算法歧視?!?0〕鄭智航、徐昭曦:《大數(shù)據(jù)時代算法歧視的法律規(guī)制與司法審查——以美國法律實踐為例》,載《比較法研究》2019年第4期,第111-122頁。典型案例,如看似中立、客觀的郵政編碼信息,卻可能會與某特殊種族人們的集中居住地之間存在一定的關(guān)聯(lián),依此類郵政編碼信息所進(jìn)行的算法決策,結(jié)果很可能就會帶有種族歧視色彩?!?1〕See Sandra G. Mayson, “Bias In, Bias Out”, 128 Yale Law Journal 2218 (2019).因此,在數(shù)據(jù)方面進(jìn)行評估與審計的另外一個重要內(nèi)容,即為敏感性“關(guān)聯(lián)數(shù)據(jù)”的檢測與排查。即除了明顯、可視的典型歧視類敏感數(shù)據(jù)外,還應(yīng)結(jié)合算法程序的原理和試運(yùn)行后果,發(fā)現(xiàn)并排除這類可能與歧視性敏感數(shù)據(jù)相關(guān)的“關(guān)聯(lián)數(shù)據(jù)”,確保輸入和使用的數(shù)據(jù)信息與決策結(jié)果之間具備合理關(guān)聯(lián)性,且不會對某一特定群體產(chǎn)生不合理的差別對待。此外,若決策程序所使用的數(shù)據(jù)信息存在不全、錯誤或者更新不及時等問題時,也會使被決策對象遭受不公平的歧視性待遇。為避免此類歧視發(fā)生的可能性,除了類別和范圍限制外,行為人還應(yīng)當(dāng)保證所使用數(shù)據(jù)和信息的質(zhì)量和準(zhǔn)確度,確保所使用的數(shù)據(jù)不存在錯誤、遺漏或更新不及時等問題。

        除數(shù)據(jù)和信息相關(guān)的義務(wù)外,算法決策程序自身也應(yīng)當(dāng)接受專業(yè)的評估、審查與檢驗,以確保程序的實施和運(yùn)行不會對某一特定群體產(chǎn)生不合理的差別待遇。算法的廣泛開發(fā)與利用與社會公共利益密切相關(guān),不合理、不公平的算法程序運(yùn)行可能會引發(fā)大范圍的社會風(fēng)險。所以,針對不同場景下的算法決策技術(shù)的使用,“審慎適用”和精細(xì)化的“分類監(jiān)管”已經(jīng)成為我國算法行業(yè)的基本模式和思路。2018年,在中國科學(xué)院軟件研究所的牽頭之下,電子技術(shù)標(biāo)準(zhǔn)化研究院發(fā)布了《人工智能深度學(xué)習(xí)算法評估規(guī)范》。作為國內(nèi)發(fā)布的首個算法評估標(biāo)準(zhǔn),該規(guī)范以算法技術(shù)使用的具體場景為劃分依據(jù),確定了不同層級、不同數(shù)目的指標(biāo),搭建了初步的算法評估指標(biāo)體系,成功地邁出了嘗試和探索場景化、精細(xì)化的算法治理的第一步。〔22〕參見張欣:《從算法危機(jī)到算法信任:算法治理的多元方案和本土化路徑》,載《華東政法大學(xué)學(xué)報》2019年第6期,第17-30頁。此外,其他新近出臺的一系列法律、規(guī)章、條例中,也都有專門的條款對不同場景中的算法應(yīng)用進(jìn)行治理和規(guī)制,如《數(shù)據(jù)安全管理辦法(征求意見稿)》中針對個性化的新聞和廣告推送、差異化的商品與服務(wù)定價的治理;《電子商務(wù)法》針對搜索類算法和商品、服務(wù)的競價排名的規(guī)范;《信息安全技術(shù)、個人信息安全規(guī)范(草案)》中針對個性化展示及退出相關(guān)的規(guī)制等。行為人在引入算法決策程序輔助或者代替人類進(jìn)行決策的過程中,應(yīng)當(dāng)以應(yīng)用場景為基礎(chǔ),對照不同的規(guī)范性文件的要求進(jìn)行風(fēng)險的評估與審計,并根據(jù)評估和審計的結(jié)果確定下一步的行為。

        以現(xiàn)行規(guī)范性文件為基礎(chǔ)和依據(jù)展開算法歧視影響的評估與審計,并非履行作為義務(wù)的唯一路徑,行為人還有其他多元的途徑和方式可供選擇。行為人既可以邀請領(lǐng)域內(nèi)的專家對程序的設(shè)計邏輯和原理進(jìn)行評估,也可以委托有資格和能力的組織和機(jī)構(gòu)進(jìn)行檢驗和認(rèn)證;在具備現(xiàn)實基礎(chǔ)的情況下,為確保評估與審查的效果,行為人還可以采取試運(yùn)行的方式,接受非領(lǐng)域?qū)<液拖嚓P(guān)利益群體的監(jiān)督、檢查與批評。但無論采取何種途徑和方式,行為人都需要謹(jǐn)慎進(jìn)行,只有在確保算法程序運(yùn)行的各個環(huán)節(jié)都不會產(chǎn)生歧視性后果的基礎(chǔ)上,才可正式引入算法決策程序,投入運(yùn)行和使用。

        總的而言,行為人在算法決策系統(tǒng)投入前,對數(shù)據(jù)和程序所展開的審查與評估,既可以有效避免歧視的發(fā)生,又能夠滿足算法決策審查與監(jiān)督機(jī)制的要求,為后期可能發(fā)生的糾紛和爭議的處理提供證明和依據(jù),〔23〕See Sonia K. Katyal, “Private Accountability in the Age of Artificial Intelligence”, 66 U.C.L.A. Law Review 54 (2019).是行為人理應(yīng)承擔(dān)的一項非常重要的義務(wù)。

        (2)算法程序的有限透明和可解釋性義務(wù)

        保證算法決策的透明度以及處理結(jié)果的公平、合理,是對行為人最基本的要求和其理應(yīng)遵守的基本原則。為了保障被決策者的權(quán)益不受算法決策的侵害,以歐盟為代表的相當(dāng)部分的國家和區(qū)域在相關(guān)規(guī)制中,都通過賦予被決策者新型權(quán)利的模式來化解雙方在信息或者權(quán)力上的不對稱局面。我國針對個人信息保護(hù)的規(guī)范制定中,立法者針對自動化算法決策技術(shù)的使用也明確規(guī)定,被決策者認(rèn)為算法技術(shù)的使用會對其權(quán)益造成重大影響的,有權(quán)拒絕行為人通過算法技術(shù)作出決定,或者要求行為人對其個人信息處理規(guī)則進(jìn)行解釋和說明。

        《個人信息保護(hù)法》中,立法者欲通過行為人解釋和說明義務(wù)的履行,保障算法決策實施的公正和透明,避免被決策者的權(quán)益遭受侵害,這與歐盟《通用數(shù)據(jù)保護(hù)條例》中賦予被決策者享有算法解釋權(quán)的路徑在本質(zhì)上的功能與意義相同,學(xué)界將其稱之為被決策者所享有的“算法解釋權(quán)”,或者行為人負(fù)擔(dān)的算法解釋義務(wù)。算法解釋權(quán)(義務(wù))的提出,在本質(zhì)上是為了抑制“算法權(quán)力”,矯正權(quán)利失衡的格局,保障在實質(zhì)上處于弱勢地位的被決策者合法權(quán)益不受侵害。但依據(jù)我國民事規(guī)范領(lǐng)域的傳統(tǒng),“權(quán)利類型”法定,新型權(quán)利的設(shè)定權(quán)只能歸立法者所有。所以,在當(dāng)前《民法典》和《個人信息保護(hù)法》中均沒有明確賦予信息主體享有“解釋權(quán)”的情況下,可通過行為人“可解釋性義務(wù)”負(fù)擔(dān)的路徑,使司法者在不突破權(quán)利體系與規(guī)范傳統(tǒng)的前提下,通過靈活、包容、開放的“作為義務(wù)”內(nèi)容的適度擴(kuò)張,實現(xiàn)或保障算法決策的公開與透明。

        如前文所述,行為人算法可解釋義務(wù)的負(fù)擔(dān),源于其對算法歧視危險的開啟和維持,即損害結(jié)果可能性的產(chǎn)生;目的在于打開算法的“黑箱”,幫助人們了解算法決策程序的運(yùn)行邏輯與機(jī)理,實現(xiàn)算法規(guī)制中最基本和樸素的追求:算法有限度的透明性和算法可追責(zé)性?!?4〕參見李婕:《人工智能中的算法與法治公正》,載《人民法院報》2018年5月23日,第2版。解釋義務(wù)的履行包括算法解釋和算法信息披露兩個方面;〔25〕參見鄭智航、徐昭曦:《大數(shù)據(jù)時代算法歧視的法律規(guī)制與司法審查——以美國法律實踐為例》,載《比較法研究》2019年第4期,第111-122頁。履行的方式和程度要求,則需要根據(jù)具體的使用場景予以確定,考慮因素包括但不限于歧視風(fēng)險的產(chǎn)生原因和大小、解釋對象的專業(yè)能力與理解水平、對商業(yè)秘密或知識產(chǎn)權(quán)的可能影響和“對歧視風(fēng)險控制的作用大小”等。〔26〕李昊:《交易安全義務(wù)論:德國侵權(quán)行為法結(jié)構(gòu)變遷的一種解讀》,北京大學(xué)出版社2008年版,第115-118頁。此外,不同的場合和適用場景下,解釋的內(nèi)容、側(cè)重點(diǎn)也會有所區(qū)別。如經(jīng)營者對消費(fèi)者個性化的廣告和服務(wù)推送算法的解釋集中于信息獲取來源和范圍,而被決策者對信用評價中的算法解釋則更看重數(shù)據(jù)的具體類型、特定類型數(shù)據(jù)所占的權(quán)重,以及算法程序運(yùn)行的規(guī)則和原理。為避免與商業(yè)秘密、知識產(chǎn)權(quán)等權(quán)益的沖突和矛盾,義務(wù)主體不需要太過細(xì)致地闡明程序的設(shè)計細(xì)節(jié)和運(yùn)行機(jī)理,但對于數(shù)據(jù)類型、使用數(shù)據(jù)與決策結(jié)果的關(guān)聯(lián)性和基本邏輯等問題需要作出解釋,并以被決策者可理解的語言和方式進(jìn)行解釋?!?7〕See Andrew. Selbst & Julia Powles, “Meaningful Information and The Right to Explanation”, 7 International Data Privacy Law 233–242 (2017).

        法官對行為人所負(fù)擔(dān)的作為義務(wù)的內(nèi)容設(shè)定,具備靈活性、延展性和流動性特征,能夠隨著社會的變革和發(fā)展而變化——“通過作為義務(wù)的擴(kuò)張,法律秩序可以借助損害賠償制裁有義務(wù)控制危險的人,來防止陷入物或者人的危險范圍的公眾的期望落空?!薄?8〕李昊:《交易安全義務(wù)論:德國侵權(quán)行為法結(jié)構(gòu)變遷的一種解讀》,北京大學(xué)出版社2008年版,第114頁。大數(shù)據(jù)、信息化社會背景下,行為人為了預(yù)防和避免算法歧視現(xiàn)象的發(fā)生而承擔(dān)的數(shù)據(jù)脫敏、算法程序的影響評估與合規(guī)審查、算法程序的解釋等義務(wù),不僅能夠有效避免和減少算法歧視現(xiàn)象的發(fā)生,也為算法歧視侵權(quán)規(guī)制機(jī)制的建構(gòu)提供了實現(xiàn)路徑,成為行為人侵權(quán)責(zé)任承擔(dān)和被決策者獲得私法救濟(jì)的規(guī)范基礎(chǔ)和依據(jù)。

        (二)算法歧視的行為認(rèn)定與損害后果

        “算法歧視”是對因算法決策技術(shù)的使用而遭受的不合理的差別待遇的統(tǒng)稱,具體到侵權(quán)救濟(jì)機(jī)制中遭受侵害的具體權(quán)益類型的確定,則需要根據(jù)算法決策技術(shù)使用的具體場景做出判斷。算法存在不同的功能和類型,有用于個人和群體特征分析和類型化的數(shù)字畫像(profiling)和分類(classification)算法;有針對個性化推送和服務(wù)的過濾(filter)和推薦(recommendation)算法;有對未來可能性進(jìn)行預(yù)測的數(shù)據(jù)挖掘(data mining)和機(jī)器學(xué)習(xí)(machine learning)算法。〔29〕See Mittelstadt, B. D., et al., “The Ethics of Algorithms: Mapping the Debate”, 2 Big Data & Society In press 1-21(2016).功能和類型多元的算法被廣泛用于信用評級或評分、職場能力評估、個人喜好預(yù)測、廣告推送和個性化定價等多場景化的生活中。〔30〕公共領(lǐng)域如司法系統(tǒng)中法官根據(jù)算法對再犯罪概率的預(yù)測進(jìn)行量刑、行政領(lǐng)域依據(jù)算法對人力和物力資源進(jìn)行配置,或依據(jù)算法對公共資源和服務(wù)進(jìn)行分配等也存在歧視風(fēng)險,但屬于公共主體的行為規(guī)制問題,因不在本文研究范圍內(nèi),所以不予涉及。算法程序獲得的歧視性決策結(jié)果,尤其是在結(jié)果對外公開和使用的情況下,會對個人的信譽(yù)度、交易能力和水平、就業(yè)和貸款資格、違法或者違約可能性以及商品和服務(wù)購買能力等產(chǎn)生負(fù)面影響,使主體的信用權(quán)益、勞動者平等(就業(yè))權(quán)以及消費(fèi)者的合法權(quán)益等產(chǎn)生侵害。

        在算法歧視案件的審理過程中,對于不公平的歧視待遇的認(rèn)定與審查,主要有區(qū)別待遇(disparate treatment)和差異影響(disparate impact)兩種模式。〔31〕See Solon Barocas & Andrew Selbst, “Big Data’s Disparate Impact”, 104 California Law Review 671 (2016).以“區(qū)別待遇”模式為基礎(chǔ)的歧視認(rèn)定規(guī)則,也被稱之為“主觀故意歧視”,主要包括兩個要素:同樣的情況遭受不同的對待;有主觀上的歧視意圖。而“差異影響”也可稱之為“無過錯的算法歧視審查模式”,是指所實施的行為或規(guī)則表面上看似中立,但對所保護(hù)的對象產(chǎn)生了不合比例的不利影響,這種情況下,歧視的認(rèn)定,無須考量主體實施行為或者規(guī)則的時候是否有歧視的故意,只需要審查行為或者規(guī)則實施以后,是否針對對方產(chǎn)生差異性的影響即可?!?2〕See Richard Primus, “The Future of Disparate Impact”, 108 Michigan Law Review 1341-1387 (2010).

        在行為人存在不同樣態(tài)的侵權(quán)行為模式下,針對前文所述的“主觀故意實施算法歧視”的行為的審查與認(rèn)定,法官可采“區(qū)別對待”模式。行為人在明顯可知、可察的情況下將歧視性質(zhì)的敏感數(shù)據(jù)納入決策的自變量范疇,導(dǎo)致被決策者因不公平的歧視性決策結(jié)果而遭受損失時,為之承擔(dān)侵權(quán)損害賠償責(zé)任。而對于大多數(shù)情況下,行為人是以消極性、帶有隱秘特性的不作為,違反應(yīng)當(dāng)履行的歧視風(fēng)險預(yù)防和制止義務(wù)時,法官則可采用“差異影響”的審查模式。在被決策者能夠證明算法決策給自己帶來了不利的差異性后果,且行為人不能夠證明自身沒有過錯時,認(rèn)定行為人違反了歧視風(fēng)險的預(yù)防和制止義務(wù),承擔(dān)損害賠償?shù)那謾?quán)責(zé)任?!安町愑绊憽钡乃惴ㄆ缫晫彶槟J剑軌虬l(fā)現(xiàn)隱藏的歧視意圖,有效規(guī)制在形式上非歧視但會造成歧視性后果的算法決策行為,〔33〕崔靖梓:《算法歧視挑戰(zhàn)下平等權(quán)保護(hù)的危機(jī)與應(yīng)對》,載《法律科學(xué)(西北政法大學(xué)學(xué)報)》2019年第3期,第29-42頁。有效平衡與彌合雙方因?qū)I(yè)能力、不對稱的信息和失衡的風(fēng)險預(yù)防和制止能力等導(dǎo)致的不平等的法律地位,適應(yīng)算法歧視案件的特殊性,〔34〕See Gorge Rutherglen, “Disparate Impact Under TitleⅦ: An Objective Theory of Discrimination”,73 Virginia Law Review 1297-1345 (1987).能夠更好地維護(hù)和保障受害者基本權(quán)益。

        二、磋商中的締約過失責(zé)任

        締約過失作為一種學(xué)說繼受的成果,已經(jīng)得到我國立法者的認(rèn)可,并在《民法典》予以全面采納?!耙种七`反誠實信用原則的過失行為”和“保護(hù)合理信賴”,是締約過失責(zé)任制度的思想根據(jù),也是民法典設(shè)立該責(zé)任制度的基本功能和目的?!?5〕孫維飛:《〈合同法〉第42條(締約過失責(zé)任)評注》,載《法學(xué)家》2018年第1期,第179-191,196頁。以誠實信用原則為價值基礎(chǔ),在算法決策的雙方當(dāng)事人為了合同的締結(jié)而進(jìn)行接觸和磋商,而對對方產(chǎn)生了合理信賴之時,彼此間就已互負(fù)以協(xié)作、照顧和保護(hù)等為內(nèi)容的先合同義務(wù)。并且,這種在“具有特別結(jié)合關(guān)系的當(dāng)事人之間”基于彼此的信賴關(guān)系而產(chǎn)生的注意義務(wù),通常要比侵權(quán)法中沒有特定關(guān)系的主體間的注意義務(wù)要求程度更高、更重,與侵權(quán)行為法中一般性的注意義務(wù)在本質(zhì)上具有一定的差別?!?6〕參見崔建遠(yuǎn)主編:《合同法》(第五版),法律出版社2010年版,第122頁。如果一方當(dāng)事人在接觸和磋商過程中引入了算法決策程序,但卻因沒有盡到必要的注意義務(wù)而使對方遭受歧視性待遇,并導(dǎo)致合同不成立、解除或被撤銷時,行為人的行為構(gòu)成先合同義務(wù)的違反,即“締約上過失”,應(yīng)為被決策者的信賴?yán)鎿p失承擔(dān)“締約過失責(zé)任”。

        (一)先合同義務(wù)的內(nèi)容

        行為人先合同義務(wù)的負(fù)擔(dān)是其承擔(dān)締約過失責(zé)任的前提。先合同義務(wù)的具體內(nèi)容,則需要根據(jù)具體的案件事實,如雙方地位的失衡程度、信息掌握量的差異以及彼此間信賴程度等,結(jié)合法政策的價值選擇和衡量、社會交易習(xí)慣和行業(yè)標(biāo)準(zhǔn)及規(guī)范等內(nèi)容進(jìn)行綜合確定。在合同法的相關(guān)規(guī)范框架內(nèi),結(jié)合不同專業(yè)與領(lǐng)域的技術(shù)規(guī)范和標(biāo)準(zhǔn)以及域內(nèi)外的相關(guān)規(guī)范、政策和文件可知,雙方當(dāng)事人磋商和接觸過程中,行為人因引入算法決策程序而承擔(dān)的先合同義務(wù)的具體內(nèi)容包含以下兩個方面。

        1.信息義務(wù)——算法程序使用的告知和披露義務(wù)

        信息,是人們意思形成和作出決策的前提和基礎(chǔ),保障私主體決策的作出要建立在充分了解和掌握信息基礎(chǔ)之上才能真正地維護(hù)當(dāng)事人意識自由、實現(xiàn)私法自治?!?7〕參見彭正穗:《民事法對市場信息不對稱的防范》,載《中南財經(jīng)政法大學(xué)學(xué)報》2000年第4期,第103-107,128頁。大數(shù)據(jù)時代背景下,合同締結(jié)的算法引入者與被決策者之間,無論在專業(yè)知識還是信息獲取能力和數(shù)量上都明顯失衡。嚴(yán)重的“信息不對稱”和“地位失衡”現(xiàn)象,突破了傳統(tǒng)私法行為理念中以“抽象理性人”為基礎(chǔ)所預(yù)設(shè)的民事主體之間法律地位平等的局面?!?8〕參見徐明月、林全玲:《信息不對稱、附隨義務(wù)與締約過失責(zé)任》,載《河北法學(xué)》2005年第10期,第36-38頁。因而,繼續(xù)將收集、分析和掌握與交易內(nèi)容相關(guān)的信息視為交易主體自身的“不真正義務(wù)”,并要求當(dāng)事人“買者自負(fù)”,自行承擔(dān)“怠于履行”下信息不全而導(dǎo)致的不利后果,必然無法實現(xiàn)真正的意思自治,也有違法律最基本的公平正義追求。鑒于協(xié)商和洽談中被決策者處于“結(jié)構(gòu)性劣勢”〔39〕張艷:《前契約信息義務(wù)的正當(dāng)性基礎(chǔ)及法律適用研究》,載《法學(xué)》2019年第7期,第67-76,84頁。“結(jié)構(gòu)性劣勢”是指,算法決策的使用者是以盈利為目的,而被決策者旨在滿足個人最基本的私生活的需求。地位,不利于交易公平和意思自治,有必要給予其特殊的、傾斜性的法律保護(hù),對行為人課以相應(yīng)的信息披露和告知義務(wù),矯正雙方失衡的地位和能力,實現(xiàn)實質(zhì)平等與正義。

        “理解算法運(yùn)作的機(jī)理是監(jiān)督并抵消處于優(yōu)勢地位的行為人‘算法權(quán)力’的重要前提,既能夠避免行為人的恣意和武斷,又可作為保證決策的可信、正當(dāng)和理性的重要約束機(jī)制?!薄?0〕張欣:《算法解釋權(quán)與算法治理路徑研究》,載《中外法學(xué)》2019年第6期,第1425-1445頁。算法程序運(yùn)作機(jī)理的解釋、說明和披露的內(nèi)容包括數(shù)據(jù)和程序兩個方面。數(shù)據(jù)信息層面,除了數(shù)據(jù)收集過程中所要求的“明示收集、使用信息的目的、方式和范圍,并經(jīng)被收集者同意”〔41〕該部分相關(guān)信息的告知和披露內(nèi)容,屬于數(shù)據(jù)收集和使用過程中“知情同意”原則的具體化,與個人信息安全保護(hù)相關(guān)的規(guī)范中都有所規(guī)定和體現(xiàn),典型示例見《歐盟通用數(shù)據(jù)保護(hù)條例》(GDPR)第4條第11款: “數(shù)據(jù)主體的同意是指,數(shù)據(jù)主體依照其意愿自由作出的、特定的、知情的、明確的指示。通過以聲明或清晰肯定的行為作出的該等指示,數(shù)據(jù)主體表明其同意處理與其相關(guān)的個人數(shù)據(jù)?!钡瘸鲇趥€人信息保護(hù)目的所要求的內(nèi)容外,行為人應(yīng)主動向被決策者告知和說明算法決策結(jié)果作出所依據(jù)的數(shù)據(jù)類別,具體來源、不同數(shù)據(jù)的權(quán)重以及所輸入數(shù)據(jù)與最終決策結(jié)果之間的關(guān)聯(lián)性等與算法程序運(yùn)行相關(guān)的數(shù)據(jù)信息?!?2〕See Margot E. Kaminski, “The Right to Explanation, Explained”, 34(1) Berkeley Technology Law Journal 189-218 (2019).此外,告知與披露過程中,針對被決策者對數(shù)據(jù)的相關(guān)信息所產(chǎn)生質(zhì)疑和反饋,行為人也有義務(wù)進(jìn)行進(jìn)一步的解釋和證明,并在發(fā)現(xiàn)問題與瑕疵時,作出修正和完善。與算法程序運(yùn)行邏輯相關(guān)的信息包括引入算法程序的功能和目的、算法決策結(jié)果在最終決策中的重要性(即是否會對合同最終締結(jié)與否產(chǎn)生實質(zhì)性影響),決策結(jié)果可能存在的風(fēng)險、會對被決策者產(chǎn)生的影響和后果等。〔43〕Sandra Wachter, Brent Mittelstadt & Luciano Floridi, “Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation”,7 International Data Privacy Law 78-79 (2017).同數(shù)據(jù)信息披露一樣,在被決策者針對程序運(yùn)行機(jī)理問題尚有疑問的情況下,行為人也需要對相關(guān)內(nèi)容進(jìn)一步地解釋和說明,在有必要的情況下修正和完善。被決策者在了解具體信息后,拒絕使用算法決策結(jié)果的,行為人理應(yīng)支持和尊重。

        鑒于專業(yè)知識的匱乏和“技術(shù)鴻溝”所導(dǎo)致的被決策者理解障礙,行為人信息告知和披露義務(wù)的履行方式也需要滿足一定的要求:告知需要通過“簡單透明、明晰且容易獲取的方式,清楚明確的語言,合適的方式”進(jìn)行;信息的提供需滿足“簡潔明了、清晰可見、曉暢易讀”的要求,〔44〕《歐盟通用數(shù)據(jù)保護(hù)條例》第12條第1款。以實現(xiàn)“相對人對告知的內(nèi)容有明確而清晰的認(rèn)知和了解”的目的?!?5〕《歐盟通用數(shù)據(jù)保護(hù)條例》第12條第6款。披露與告知的最終目的,在于被決策者的“知情且同意”。即,只有被決策者對合同締結(jié)中算法程序的功能、運(yùn)行機(jī)理和參與度等內(nèi)容均充分知情、理解并予以同意的情況下,行為人才能夠在磋商過程中引入算法決策系統(tǒng),并根據(jù)算法決策的結(jié)果決定合同締約與否。

        2.保護(hù)義務(wù)——歧視風(fēng)險的評估、審計與預(yù)防

        從算法程序運(yùn)行的自身特性出發(fā),無論是數(shù)據(jù)層面上,如使用了有偏見的、不具有代表性的訓(xùn)練數(shù)據(jù),或者數(shù)據(jù)的體量、精細(xì)度不夠,還是程序自身(融入了程序員的認(rèn)知偏見或程序設(shè)計目的中的偏見)存在偏見等,都可能導(dǎo)致歧視性后果的產(chǎn)生。所以行為人的評估與審計對象也應(yīng)當(dāng)既包括基礎(chǔ)數(shù)據(jù)和信息,又包括算法程序自身。為避免作為自變量的數(shù)據(jù)的種類、范圍和質(zhì)量的負(fù)面影響,行為人在運(yùn)用算法程序?qū)喖s對象進(jìn)行分類、評估或者數(shù)字畫像時,有必要進(jìn)行“脫敏”處理,避免帶有歧視色彩的數(shù)據(jù)和歧視數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)的使用,并保證輸入的數(shù)據(jù)和信息來源合法、內(nèi)容完整、準(zhǔn)確。

        此外,行為人有義務(wù)對所使用的算法程序的歧視風(fēng)險進(jìn)行影響評估和審計,避免被決策者因算法程序的使用而遭受歧視性評價和待遇,最終影響締約的結(jié)果?!?6〕參見張欣:《從算法危機(jī)到算法信任:算法治理的多元方案和本土化路徑》,載《華東政法大學(xué)學(xué)報》2019年第6期,第17-30頁。并非所有的算法程序使用者都具備相關(guān)的專業(yè)知識,所以程序的歧視風(fēng)險評估和審計包括“內(nèi)部分析”與引入“外部力量”兩種方式進(jìn)行?!皟?nèi)部分析”是指,行為人在運(yùn)用算法程序?qū)喖s對象的履約能力、業(yè)務(wù)水平和業(yè)務(wù)能力等進(jìn)行評估和預(yù)測之前,通過程序核檢和試運(yùn)行等方式,在其內(nèi)部對程序的歧視風(fēng)險進(jìn)行評估和審計。使用“外部力量”則主要是因為受專業(yè)能力的限制,并非所有行為人都有能力配備專業(yè)的人員和設(shè)施進(jìn)行風(fēng)險預(yù)估和審查。此時,行為人可引入或委托具備相應(yīng)資格的外部力量進(jìn)行歧視風(fēng)險分析,確保決策對象受到公平公正的評估和對待?!?7〕See AdamHarkens, “Fairness in Algorithmic Decision-making.”1(1) Amicus Curiae 84-96(2019).除了通過專業(yè)的人員和機(jī)構(gòu)進(jìn)行歧視風(fēng)險的評估與審計外,以“歧視感知數(shù)據(jù)挖掘技術(shù)”為代表的、通過“算法”識別算法程序的運(yùn)行對公平或者倫理所帶來的潛在威脅,也是行為人對算法決策程序進(jìn)行審計、評估與監(jiān)督,實現(xiàn)算法公平、透明與可問責(zé)時可供參考的方式和路徑之一?!?8〕See Reuben Binns, “Algorithmic Accountability and Public Reason”, 31 Philosophy & Technology 543-556(2018).

        保證算法程序的被決策對象不受歧視性待遇,保障被決策者的人身和財產(chǎn)的完整性利益是設(shè)定行為人保護(hù)義務(wù)的最終目的。所以,本文所探討的締約之“過失”的行為認(rèn)定應(yīng)采客觀標(biāo)準(zhǔn),〔49〕參見韓世遠(yuǎn):《合同法總論》,法律出版社2018年版,第170頁。在保護(hù)義務(wù)的最終目的未達(dá)成的情況下,無論行為人主觀意愿如何,都需要承擔(dān)締約過失責(zé)任,避免行為人以缺乏專業(yè)性知識和能力為由推卸責(zé)任。并且,對行為人課以嚴(yán)格的作為義務(wù),能夠提醒其謹(jǐn)慎地引入算法決策程序、謹(jǐn)慎地使用算法決策程序所得出來的結(jié)論,減少算法程序歧視現(xiàn)象的發(fā)生,降低被決策者遭受損失的可能性。

        (二)締約過失賠償責(zé)任

        當(dāng)事人因自己的過失致使契約不成立者,對信其契約能夠有效成立的相對人,應(yīng)賠償基于此項信賴而遭受的損失。以耶林該理論為基礎(chǔ),一方當(dāng)事人在合同的磋商和締約過程中引入算法程序輔助或替代人類決策,但卻未履行或未完整履行上述的信息義務(wù)和保護(hù)義務(wù),致使被決策者遭受算法的歧視性待遇,影響了合同的締結(jié),使合同不成立或成立后無效、被撤銷時,行為人應(yīng)承擔(dān)締約上過失之責(zé)任,賠償對方因信賴合同成立而遭受的信賴?yán)鎿p失和人身、財產(chǎn)權(quán)益遭受損害導(dǎo)致的完全性利益損失。其中,信賴?yán)鎿p失,包括所受的損害和所失的利益,如為了合同的簽訂而合理支出的費(fèi)用、喪失與第三人訂立合同的機(jī)會而產(chǎn)生的損失等。〔50〕參見孫維飛:《〈合同法〉第42條(締約過失責(zé)任)評注》,載《法學(xué)家》2018年第1期,第179-191,196頁。此外,若算法程序?qū)Ρ粵Q策者作出的帶有歧視性的評估和預(yù)測結(jié)果因?qū)ν庑孤逗凸际贡粵Q策者人身、財產(chǎn)等完全性利益遭受進(jìn)一步損害時,行為人還應(yīng)當(dāng)對擴(kuò)大的損害后果承擔(dān)相應(yīng)的責(zé)任,且這部分損害責(zé)任的承擔(dān)與原本的締約過失責(zé)任承擔(dān)之間產(chǎn)生責(zé)任競合,受害人既可以選擇基于侵權(quán)請求權(quán),也可以選擇基于締約過失請求權(quán)請求賠償損失?!?1〕參見韓世遠(yuǎn):《合同法總論》,法律出版社2018年版,第187頁。

        三、合同履行中的算法違約責(zé)任

        合同當(dāng)事人之間的權(quán)利義務(wù)關(guān)系由合同內(nèi)容確定,而合同的內(nèi)容,除了當(dāng)事人合意約定的之外,法律還會根據(jù)交易習(xí)慣和特殊原因等進(jìn)行補(bǔ)充和完善。當(dāng)事人因法律補(bǔ)充和完善而承擔(dān)的這部分義務(wù),被稱為“附隨義務(wù)”。作為合同履行的基本原則,“全面履行”的內(nèi)容既包括當(dāng)事人約定的義務(wù),也包括因誠實信用、合同性質(zhì)和目的以及交易習(xí)慣所確定的附隨義務(wù)。任何一種義務(wù)未履行或者未完滿履行,當(dāng)事人都需要為之承擔(dān)違約責(zé)任。〔52〕參見最高人民法院民法典貫徹實施工作領(lǐng)導(dǎo)小組主編:《中華人民共和國民法典合同編理解與適用(一)》,人民法院出版社2020年版,第340頁。

        某些算法決策程序使用場景中,行為人與被決策者之間具有合同關(guān)系,雙方以契約為基礎(chǔ)進(jìn)行商品或服務(wù)的交易行為,這種情況下的算法歧視責(zé)任承擔(dān)的規(guī)范基礎(chǔ)、依據(jù)和具體規(guī)則也具有自身的特殊性。在一方當(dāng)事人引入算法決策程序輔助或者代替其自身進(jìn)行決策時,對方因為信息不對稱和技術(shù)認(rèn)知能力不足等原因,在實質(zhì)上處于弱勢地位,需要法律在有限的范圍內(nèi)進(jìn)行“傾斜性”保護(hù)?!?3〕參見張艷:《現(xiàn)金貸消費(fèi)者保護(hù)的范式轉(zhuǎn)換及制度構(gòu)建》,載《法學(xué)》2019年第6期,第154-167頁。對行為人課以與算法決策程序使用關(guān)聯(lián)的附隨義務(wù),目的不僅在于維持交易活動公平與正義、預(yù)防和避免風(fēng)險的發(fā)生,還能夠于算法歧視發(fā)生后,為受害人的違約救濟(jì)提供請求權(quán)基礎(chǔ)和依據(jù)。〔54〕參見馬長山:《智慧社會背景下的“第四代人權(quán)”及其保障》,載《中國法學(xué)》2019年第5期,第5-24頁。

        (一)合同履行中的附隨義務(wù)

        算法歧視的后果一般是決策使用者違反附隨義務(wù)造成的。這里的“附隨義務(wù)”取狹義,專指合同關(guān)系存續(xù)期間和履行過程中的通知、協(xié)助和保密等義務(wù)。〔55〕參見韓世遠(yuǎn):《合同法總論》,法律出版社2018年版,第342頁。埃默里希教授認(rèn)為,具體附隨義務(wù)的內(nèi)容,需要結(jié)合合同的內(nèi)容和性質(zhì),當(dāng)事人受保護(hù)的必要性,風(fēng)險控制的成本和難易程度,一方對另一方當(dāng)事人的信任和依賴程度,合作的方式和規(guī)模等內(nèi)容綜合予以確定?!?6〕參見李昊:《德國新債法中附隨義務(wù)的構(gòu)造》,載《環(huán)球法律評論》2009年第5期,第113-123頁。一般情況下,合同關(guān)系中交易主體對彼此間信賴程度都比較高,一方的知識優(yōu)勢越大、控制風(fēng)險的成本越低,對對方可能造成損害的風(fēng)險就越大,行為人應(yīng)當(dāng)承擔(dān)的附隨義務(wù)的內(nèi)容和程度要求也就越高。

        以義務(wù)功能發(fā)揮的主體標(biāo)準(zhǔn)不同為依據(jù),可將附隨義務(wù)的內(nèi)容類型化為行為人積極主動承擔(dān)的“自律型”義務(wù)和增加透明度以推進(jìn)“他律”實施的義務(wù)。自律義務(wù)主要體現(xiàn)在算法歧視風(fēng)險預(yù)防和避免措施的實施,也可稱之為積極性的保護(hù)義務(wù)。如前文所述,歧視風(fēng)險的排除,既要保證所使用的數(shù)據(jù)和信息不包含歧視性的敏感信息(技術(shù)性“脫敏”),且數(shù)據(jù)和信息來源合規(guī)、內(nèi)容準(zhǔn)確和完整;又要保證算法程序自身無瑕疵,經(jīng)過專業(yè)人員的風(fēng)險評估、審查與認(rèn)可,不會對相對人作出歧視性的決策結(jié)果。對于部分歧視性敏感數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)的處理,原則上也應(yīng)當(dāng)禁止和排除,只有在特殊情況〔57〕參見《歐盟通用數(shù)據(jù)保護(hù)條例》第9條第1款,關(guān)于“特殊種類的個人數(shù)據(jù)的處理”中,第1款針對個人“種族或者民族出身,政治觀點(diǎn)、宗教或哲學(xué)信仰以及……數(shù)據(jù)的處理應(yīng)當(dāng)被禁止”?;蛘咝袨槿藢υ擃悢?shù)據(jù)使用的合理性、必要性、與決策結(jié)果之間的關(guān)聯(lián)性保證該類數(shù)字不會導(dǎo)致歧視后果進(jìn)行了擔(dān)保、必要說明和闡釋的情況下,才能夠例外使用?!?8〕See Solon Barocas & Andrew Selbst, “Big Data’s Disparate Impact”, 104 California Law Review 671-691 (2016).此外,行為人在合同履行的過程中,通過信息的收集、使用和算法程序的運(yùn)行輔助或者代替人類決策進(jìn)行交往和交易的,還應(yīng)當(dāng)承擔(dān)以下附隨義務(wù)。

        1. 實體:信息安全保障義務(wù)

        算法技術(shù)的展開和運(yùn)行,以收集、使用和處理個人信息為基礎(chǔ)。行為人的一系列數(shù)據(jù)相關(guān)行為,必須要符合個人信息保護(hù)相關(guān)的法律和法規(guī),履行相關(guān)的法律義務(wù)。首先,個人信息的收集、使用和處理必須要滿足最基本的“知情同意”原則。行為人在處理個人信息前,需要以顯著的方式、清晰易懂的語言告訴對方信息處理的目的、方式、種類以及保存期限等,保證對方是在充分知情且同意的前提下,自愿、明確地同意行為人的信息行為。另外,行為人在進(jìn)行信息處理時,應(yīng)當(dāng)采取合法、正當(dāng)?shù)姆绞?,遵循誠信原則的要求;信息的處理有明確、合理的目的,且符合公開、透明的原則。行為人對對方的信息安全負(fù)責(zé),并采取必要的措施保障個人信息的安全。以《個人信息保護(hù)法》中的規(guī)定為原型可知,行為人應(yīng)當(dāng)采取的必要措施包括但不限于以下方面:(1)制定內(nèi)部管理制度和操作規(guī)程;(2)對個人信息進(jìn)行分級分類管理;(3)采取相應(yīng)的加密、去標(biāo)志化等安全技術(shù)措施;(4)合理確定個人信息處理的操作權(quán)限,并定期對從業(yè)人員進(jìn)行安全教育和培訓(xùn);(5)制定并組織實施個人信息安全事件應(yīng)急預(yù)案;(6)法律、行政法規(guī)規(guī)定的其他措施。

        2.程序:提供程序性保障義務(wù)

        美國計算機(jī)學(xué)會公眾政策委員會針對算法的透明與歸責(zé)問題制定了算法治理的指導(dǎo)細(xì)則,提出了知情、質(zhì)詢和申訴、算法責(zé)任認(rèn)定、數(shù)據(jù)來源披露以及可審計原則等,算法的規(guī)制不僅重視實體權(quán)利的維護(hù),而且強(qiáng)調(diào)當(dāng)事人在不同階段應(yīng)當(dāng)享有的各種正當(dāng)程序?!?9〕See Council, ACM US Public Policy, “Statement on Algorithmic Transparency and Accountability”, https://www.acm.org/articles/bulletins/2017/january/usacm-statement-algorithmic-accountability, accessed October 20, 2019.《歐盟通用數(shù)據(jù)保護(hù)條例》(GDPR)雖然以“賦權(quán)”為數(shù)據(jù)保護(hù)和算法治理的基本模式和理念,但也對當(dāng)事人權(quán)利行使的程序性保障進(jìn)行了規(guī)定,如知情同意、數(shù)據(jù)訪問、不準(zhǔn)確信息的糾正、刪除與限制處理權(quán)等。我國與之相關(guān)的規(guī)范內(nèi)容自然也不例外。比如,《個人信息安全規(guī)范》第 7.10 條中,賦予了個人提出申請的程序性權(quán)利;《個人信息保護(hù)法》也要求信息處理者保障當(dāng)事人知情、決定、查閱、復(fù)制、更正、補(bǔ)充、拒絕和刪除等權(quán)益,并且建立了個人權(quán)利行使的申請受理和處理機(jī)制。

        具體而言,行為人程序性保障義務(wù)的履行主要體現(xiàn)為相關(guān)信息的告知和披露。首先,在合同義務(wù)的履行確有必要引入算法決策程序輔助或者替代人類決策時,主動引入算法決策程序的一方有義務(wù)告知對方將算法程序引入合同履行中的目的和功能,算法程序發(fā)揮作用的階段和范圍,可能會對相對人帶來的風(fēng)險和影響等信息,并在對方明確“知情且同意”的前提下,引入算法決策程序,輔助其履行合同義務(wù)。其次,在被決策對象需要了解時,行為人有義務(wù)對所引入的算法程序的運(yùn)行機(jī)理(使用的數(shù)據(jù)、信息和算法程序運(yùn)行邏輯)向被決策者解釋和說明,且內(nèi)容上“簡潔明了、清晰可見、曉暢易讀”,〔60〕《歐盟通用數(shù)據(jù)保護(hù)條例》第12條第1款。以“簡單透明、明晰且容易獲取的方式,清楚明確的語言,合適的方式”進(jìn)行;實現(xiàn)被決策者“對告知的內(nèi)容有明確而清晰的認(rèn)知和了解”的目的。〔61〕《歐盟通用數(shù)據(jù)保護(hù)條例》第12條第6款。再次,行為人應(yīng)積極、主動地告知和提醒相對人在算法程序運(yùn)行中所享有的知情、參與、查詢、更正(數(shù)據(jù)和信息)和選擇(參與或退出)的權(quán)利,〔62〕《歐盟通用數(shù)據(jù)保護(hù)條例》第7條數(shù)據(jù)主體的知情同意權(quán)、第15條數(shù)據(jù)訪問權(quán)、第16條的不準(zhǔn)確信息的糾正權(quán)、第17條的刪除權(quán)、第18條的限制處理權(quán)。確保相對人能夠隨時知曉、參與和控制與自己相關(guān)的決策過程,隨時享有對算法決策系統(tǒng)的使用提出拒絕和反對的權(quán)利?!?3〕參見張欣:《算法解釋權(quán)與算法治理路徑研究》,載《中外法學(xué)》2019年第6期,第1425-1445頁。最后,在被決策者對相關(guān)信息都有了清楚的認(rèn)知并明確表示同意引入后,行為人有義務(wù)嚴(yán)格按照所告知對方的使用目的和范圍內(nèi)以“合法、公正、透明的”〔64〕《歐盟通用數(shù)據(jù)保護(hù)條例》第5條“與個人數(shù)據(jù)處理相關(guān)的原則”。方式操作和使用。

        此外,行為人還應(yīng)賦予對方更多的選擇空間以及參與或者退出的自由。個人信息保護(hù)規(guī)范中立法者也明確要求,通過自動化決策進(jìn)行商業(yè)營銷、信息推送等行為的,應(yīng)當(dāng)同時提供不針對其個人特征的選項。并且,被決策者拒絕算法解決結(jié)果的,行為人應(yīng)允許拒絕并保障其享有全面的退出機(jī)制。

        (二)違約責(zé)任的認(rèn)定與承擔(dān)

        如前所述,合同履行過程中,一方因便捷、高效和節(jié)省履約成本等原因而引入算法決策程序輔助或代替其自身決策,使相對方處于遭受算法歧視的風(fēng)險之下的,使用算法程序的行為人就應(yīng)當(dāng)為自己的“先前危險行為”承擔(dān)相應(yīng)的附隨義務(wù),絕對地預(yù)防和避免算法歧視現(xiàn)象的發(fā)生。且按照合同義務(wù)“全面履行”原則的要求,行為人在未履行附隨義務(wù)或義務(wù)履行不充分的情況下,理應(yīng)為對方因此遭受的損失而承擔(dān)相應(yīng)的違約責(zé)任。并且,只有在行為人能夠證明自己履行了義務(wù)、沒有過錯的情況下,才可以減輕或者免除責(zé)任。

        上文所述的附隨義務(wù),屬于“以維持利益為指向的保護(hù)義務(wù)”,與“以給付利益為指向的給付義務(wù)”相對應(yīng),設(shè)立的初衷在于實現(xiàn)保護(hù)功能,即維護(hù)合同履行過程中,對方當(dāng)事人人身和財產(chǎn)上的維持利益和固有利益?!?5〕韓世遠(yuǎn):《合同法總論》,法律出版社2018年版,第348頁。因而,違反附隨義務(wù)而導(dǎo)致的違約責(zé)任的承擔(dān),應(yīng)以歧視后果發(fā)生、對方因遭受了歧視性待遇而使人身或財產(chǎn)遭受實害為前提。歧視性待遇的認(rèn)定,采無過錯的“差異影響”審查模式,即無須考量主體實施行為或者規(guī)則的時候是否有歧視的故意,只需要審查行為或者規(guī)則實施以后,是否針對對方產(chǎn)生差異性的影響即可?!?6〕See Richard Primus, “The Future of Disparate Impact”, 108 Michigan Law Review 1341-1387 (2010).關(guān)于責(zé)任承擔(dān)方式,原則上而言,違反附隨義務(wù)而導(dǎo)致的違約責(zé)任的承擔(dān),只能“就其所受損害,得依不完全履行規(guī)定,請求損害賠償”?!?7〕王澤鑒:《債法原理》(第1冊),中國政法大學(xué)出版社2001年版,第40頁。即,因合同附隨義務(wù)的不履行或不完滿履行而違約的,相對方不得要求解除合同,只能夠請求對方承擔(dān)違約責(zé)任,賠償所遭受的損失?!?8〕參見韓世遠(yuǎn):《合同法總論》,法律出版社2018年版,第343頁。實踐中亦有法官支持違反附隨義務(wù)可請求“合同解除”的案例,但韓世遠(yuǎn)教授認(rèn)為這個屬于“特例”,作為與主給付義務(wù)相區(qū)分的特征之一,附隨義務(wù)違反后原則上不能請求解除合同。

        四、結(jié)語

        作為民法的基本原則,誠實信用原則功能的發(fā)揮,使民法完成了主體地位從抽象平等到具體平等,法律價值從追求形式正義到實質(zhì)正義的變遷,現(xiàn)代民法從“概念法學(xué)”高度抽象的形式主義理性轉(zhuǎn)換到對“倫理性的人格主義”的關(guān)注上?!?9〕邱雪梅:《試論民法中的保護(hù)義務(wù) ——“兩分法”民事責(zé)任體系之反思》,載《環(huán)球法律評論》2007年第5期,第110-121頁。按照拉倫茨的觀點(diǎn),以締約和合同關(guān)系為基礎(chǔ)的契約法上的保護(hù)義務(wù)與侵權(quán)法中的交易安全義務(wù)在本質(zhì)上沒有區(qū)別,都是在“誠實信用”原則的基礎(chǔ)上,為了保障當(dāng)事人的完整利益(持續(xù)利益),而要求交往或者交易過程中“開啟或維持”某種危險狀態(tài)源頭的人適當(dāng)?shù)爻袚?dān)一些法定義務(wù),采取必要的、具備期待可能性的風(fēng)險預(yù)防與保護(hù)措施,并在法律義務(wù)未履行或未完滿履行的情況下承擔(dān)相應(yīng)的締約過失、違約或者侵權(quán)責(zé)任?!?0〕參見李昊:《交易安全義務(wù)論:德國侵權(quán)行為法結(jié)構(gòu)變遷的一種解讀》,北京大學(xué)出版社2008年版,第79-85頁。但二者也有一定的區(qū)別:交易安全義務(wù)具備侵權(quán)法的對世性,是針對“來自公眾任何一人”〔71〕林美惠:《侵權(quán)行為法上交易安全義務(wù)之研究》,臺灣大學(xué)2000年法律學(xué)研究所博士論文,第37頁;轉(zhuǎn)引自李昊:《德國新債法中附隨義務(wù)的構(gòu)造》,載《環(huán)球法律評論》2009年第5期,第113-123頁。的義務(wù);而保護(hù)義務(wù)則存在于特定的具有締約或者合同關(guān)系的相對人之間,義務(wù)的主體和內(nèi)容都要更加明確和具體。〔72〕參見王利明:《合同法新問題研究》,中國社會科學(xué)出版社2003年版,第152頁。算法歧視責(zé)任形態(tài)的變化,伴隨著侵權(quán)責(zé)任到締約過失責(zé)任再到合同違約責(zé)任的過度,遵循的是主體間法律關(guān)系親密度逐步加深、彼此間互負(fù)的保護(hù)義務(wù)內(nèi)容和履行程度的要求也逐級遞增的邏輯。在行為人的義務(wù)違反同時滿足保護(hù)義務(wù)與安全交易義務(wù)所要求的內(nèi)容時,必然會產(chǎn)生“責(zé)任競合”現(xiàn)象。為了能夠更好地實現(xiàn)對被決策者的權(quán)益保護(hù),應(yīng)當(dāng)允許其根據(jù)具體情況,在締約過失請求權(quán)和侵權(quán)請求權(quán)之間進(jìn)行自由地權(quán)衡和選擇。

        此外,“現(xiàn)階段的人工智能并不具備內(nèi)源性行為能力,沒有對主體間的權(quán)利義務(wù)關(guān)系造成顛覆性沖擊,故有些問題尚可以在現(xiàn)有法律框架內(nèi)通過條文的解釋加以解決”,〔73〕涂永前:《規(guī)制人工智能:一個原則性法律框架研究》,載《人工智能法學(xué)研究》2018年第1期,第119-132,231頁。因而,以人類行為特征和模式為基礎(chǔ)的法律邏輯和規(guī)制手段,在大數(shù)據(jù)和算法的時代背景下尚且還能夠繼續(xù)適用。但也不能忽視,部分在傳統(tǒng)認(rèn)知框架中仍被視為“私主體”的公司、組織和平臺,因在數(shù)據(jù)和信息獲取能力、專業(yè)技術(shù)能力和社會資源掌握層面具有絕對的優(yōu)勢,而形成一種“準(zhǔn)公權(quán)力”的效果,〔74〕鄭戈:《算法的法律與法律的算法》,載《中國法律評論》2018年第2期,第66-85頁。顛覆了以主體間法律地位平等為基礎(chǔ)而建構(gòu)的私法規(guī)范體系,使處于弱勢地位的一方主體的人身和財產(chǎn)權(quán)益時刻處在被侵犯的邊緣。面對這種因技術(shù)的變革和應(yīng)用所導(dǎo)致的“以權(quán)力配置為代表的社會關(guān)系的變化”,〔75〕沈偉偉:《算法透明原則的迷思——算法規(guī)制理論的批判》,載《環(huán)球法律評論》2019年第6期,第20-39頁。新出臺的《個人信息保護(hù)法》通過一系列原則、規(guī)則和相關(guān)主體權(quán)利義務(wù)內(nèi)容的設(shè)定,為弱勢的信息主體的權(quán)益保護(hù)提供了“傾斜性”的規(guī)范基礎(chǔ)和依據(jù),也為算法歧視發(fā)生后的事后追責(zé)與侵權(quán)救濟(jì)指明了方向和路徑。但事后的訴訟救濟(jì),不如事前的未雨綢繆。在條件成熟的前提下,算法歧視現(xiàn)象的規(guī)制,仍需要來自不同領(lǐng)域的專家和學(xué)者攜手,探索和建構(gòu)更加完善的事前性風(fēng)險防范機(jī)制。比如,將技術(shù)倫理和規(guī)范直接編入算法決策程序中等,使社會在享受科技進(jìn)步帶來的便捷與高效的同時,也能夠通過科技手段的運(yùn)用,減少和避免負(fù)面的影響和效應(yīng)。

        猜你喜歡
        決策者行為人義務(wù)
        什么是侵權(quán)責(zé)任中的過錯責(zé)任
        自殺案件如何定罪
        新傳奇(2022年23期)2022-06-18 17:55:47
        熱浪滾滾:新興市場決策者竭力應(yīng)對通脹升溫 精讀
        英語文摘(2021年12期)2021-12-31 03:26:20
        幸福的人,有一項獨(dú)特的義務(wù)
        海峽姐妹(2020年12期)2021-01-18 05:53:12
        論過失犯中注意義務(wù)的判斷標(biāo)準(zhǔn)
        法制博覽(2019年36期)2019-12-14 06:00:45
        “最關(guān)鍵”的施工力量——決策者、執(zhí)行者與實施者
        三十載義務(wù)普法情
        跟蹤導(dǎo)練(一)(4)
        論故意不法先前行為人的作為義務(wù)
        刑法論叢(2016年3期)2016-06-01 12:15:17
        “良知”的義務(wù)
        手机在线看片在线日韩av| 久久人人爽人人爽人人片av麻烦 | 国产精品一卡二卡三卡| 国产精品老女人亚洲av无| 制服丝袜一区二区三区| 国产综合久久久久| 9久久精品视香蕉蕉| 手机免费在线观看日韩av| 日韩性爱视频| 免费看泡妞视频app| 日本女优中文字幕看片| 免费视频一区二区三区美女| 人成午夜大片免费视频77777| 色一情一乱一伦一区二区三区| 国产综合第一夜| 日本免费精品免费视频| 亚洲夜夜性无码| 97影院在线午夜| 欧美亚洲另类 丝袜综合网| 国内偷拍国内精品多白86| 最新国产精品久久精品| 国产精品11p| 亚洲国产成人精品一区刚刚| 国产一区亚洲二区三区| 亚洲色欲久久久综合网| 香蕉视频免费在线| 日本免费影片一区二区| 亚洲中文字幕无码天然素人在线| 老太脱裤让老头玩ⅹxxxx| 亚洲伊人免费综合网站| 亚洲高清一区二区三区在线播放| 亚洲综合色区另类av| 亚洲男人的天堂精品一区二区| 亚洲中文字幕乱码免费看| 丰满熟妇乱又伦精品| 正在播放国产对白孕妇作爱| 无码天堂在线视频| 蜜桃一区二区三区视频| 永久免费av无码入口国语片| 国产精品久久久久久久专区| 国产av剧情精品麻豆|