寧 園
隨著算法應(yīng)用的普及,算法歧視早已成為不可忽視的社會(huì)問題。學(xué)界圍繞如何規(guī)制算法歧視,已經(jīng)形成豐富的治理方案。然而,作為算法歧視規(guī)制的前提問題,“何種算法決策構(gòu)成算法歧視”始終未被專門討論,不少論者似乎都默認(rèn),凡是個(gè)人在算法應(yīng)用中遭遇的不利對待均屬于算法歧視。算法技術(shù)是現(xiàn)今社會(huì)發(fā)展的重要驅(qū)動(dòng)力,嚴(yán)格規(guī)制算法歧視的同時(shí),也不應(yīng)任意擴(kuò)張算法歧視的范圍,過分苛責(zé)算法控制者。因此,為防止算法應(yīng)用遭到過度聲討,本文嘗試解決算法歧視的認(rèn)定問題,以填補(bǔ)算法歧視規(guī)制的邏輯前提,促進(jìn)算法規(guī)制方案的真正落地。
根據(jù)既有文獻(xiàn),學(xué)界對算法歧視的技術(shù)特點(diǎn)、產(chǎn)生原因、規(guī)制路徑已有諸多討論,并就以下四個(gè)方面基本達(dá)成共識(shí):一是算法歧視現(xiàn)象頻繁發(fā)生,已對社會(huì)平等正義造成巨大沖擊,規(guī)制算法歧視具有現(xiàn)實(shí)必要性。二是算法控制者憑借算法技術(shù)取得了對用戶的實(shí)際支配力,即算法權(quán)力;算法權(quán)力規(guī)制則是算法歧視規(guī)制的癥結(jié)所在。三是算法并非完全中立,算法歧視既可能源于算法設(shè)計(jì)者的偏見植入,也可能源于已被現(xiàn)實(shí)偏見污染的分析數(shù)據(jù)。四是主要的算法歧視規(guī)制措施包括限制算法權(quán)力、構(gòu)建算法透明機(jī)制、開展算法審查、賦予個(gè)人算法解釋請求權(quán)等[1](P39-40)[2](P1416)。
遺憾的是,學(xué)界有關(guān)算法歧視規(guī)制的研究似乎預(yù)設(shè)了算法歧視認(rèn)定的完成。在現(xiàn)有研究成果中,作為規(guī)制對象的算法歧視要么是一種抽象風(fēng)險(xiǎn),要么是幾種零星單薄的現(xiàn)象列舉,而何種算法決策構(gòu)成算法歧視這一基礎(chǔ)性問題遭到忽視。正是由于缺乏算法歧視的認(rèn)定這一邏輯前提,學(xué)界有關(guān)算法歧視規(guī)制的研究總體停留在風(fēng)險(xiǎn)控制層面,難以向具體規(guī)制層面推進(jìn)。盡管已有學(xué)者就算法歧視的具體民事責(zé)任展開論述,但其直接忽略了作為責(zé)任成立基礎(chǔ)的算法歧視認(rèn)定問題,實(shí)踐意義十分有限[3](P55-68)。
算法歧視認(rèn)定環(huán)節(jié)的缺失,還進(jìn)一步導(dǎo)致了算法歧視泛化的現(xiàn)象,突出表現(xiàn)在:一是將算法對社會(huì)歧視的單純呈現(xiàn)泛化為算法歧視,如將算法搜索結(jié)果顯示的歧視性語言,定性為算法控制者實(shí)施的算法歧視;二是將算法決策的一切差別對待泛化為算法歧視,如將合理的差別定價(jià)視為歧視性的“大數(shù)據(jù)殺熟”;三是將算法技術(shù)發(fā)展引發(fā)的社會(huì)不平等現(xiàn)象泛化為算法歧視,如將算法紅利分配失衡導(dǎo)致老年人群體被邊緣化定性為算法歧視。在算法歧視泛化趨勢下,合理的算法決策以及非由算法決策導(dǎo)致的不平等現(xiàn)象,均被歸咎于算法控制者①本文所稱的“算法”是指人機(jī)交互決策的一系列步驟,即算法控制者通過代碼設(shè)置、數(shù)據(jù)運(yùn)算和機(jī)器自動(dòng)化進(jìn)行決策的過程,既包括人工智能算法,又包括傳統(tǒng)計(jì)算機(jī)軟件算法。算法控制者即通過算法進(jìn)行決策的主體。[4](P29-30),這不僅會(huì)不當(dāng)加重算法控制者的責(zé)任,更會(huì)激化算法利用和算法安全的價(jià)值對立,限制算法技術(shù)的發(fā)展和算法應(yīng)用的普及。
當(dāng)前,反算法歧視應(yīng)從風(fēng)險(xiǎn)控制轉(zhuǎn)向具體規(guī)制。為遏制已經(jīng)出現(xiàn)的算法歧視泛化趨勢,有必要明確算法歧視的認(rèn)定規(guī)則。本文認(rèn)為,算法歧視是算法控制者利用算法技術(shù)實(shí)施的、以算法決策為實(shí)現(xiàn)形式的歧視行為。算法歧視仍然秉承傳統(tǒng)歧視的根本結(jié)構(gòu),認(rèn)定時(shí)不應(yīng)隨意擴(kuò)張算法歧視的范圍;同時(shí),算法歧視相比傳統(tǒng)歧視亦具有不可忽視的隱蔽性和復(fù)雜性,在具體要件判定上也應(yīng)作相應(yīng)調(diào)適。循此基本理念,下文將著重圍繞算法歧視的認(rèn)定這一主題,闡明算法歧視發(fā)生所需的橫向權(quán)力關(guān)系前提,算法歧視的行為要件和結(jié)果要件,以及算法歧視的構(gòu)成例外。
糾正算法歧視泛化,首先須明確反算法歧視以橫向權(quán)力關(guān)系存在為必要。盡管學(xué)界普遍認(rèn)可算法權(quán)力是算法歧視發(fā)生的重要原因,但并未將此提升至構(gòu)成要件的地位。多數(shù)學(xué)者要么對算法歧視僅發(fā)生于橫向權(quán)力關(guān)系中缺乏認(rèn)識(shí),要么傾向于將算法控制者與用戶之間的一切關(guān)系預(yù)設(shè)為權(quán)力關(guān)系。既然認(rèn)識(shí)到算法權(quán)力是算法歧視發(fā)生的原因,那么明確算法歧視發(fā)生以橫向權(quán)力關(guān)系存在為必要,還需進(jìn)一步闡釋以下兩個(gè)方面:一是算法歧視發(fā)生且僅發(fā)生于橫向權(quán)力關(guān)系中;二是算法控制者與用戶之間并不當(dāng)然存在權(quán)力關(guān)系,橫向權(quán)力關(guān)系有其特定的形成條件。
平等權(quán)作為一項(xiàng)基本權(quán)利,普遍為各國立法所確認(rèn)。反歧視則是平等權(quán)的規(guī)范性表達(dá),其禁止基于民族、種族、性別、宗教信仰、健康狀況等特征對特定群體或個(gè)人進(jìn)行不合理的差別不利對待②我國不少立法都有禁止歧視規(guī)則,具體可參見《就業(yè)促進(jìn)法》第三條、《勞動(dòng)保障部衛(wèi)生部關(guān)于維護(hù)乙肝表面抗原攜帶者就業(yè)權(quán)利的意見》《廣告法》第九條、《婦女權(quán)益保障法》第二條、《老年人權(quán)益保障法》第三條等。,進(jìn)而發(fā)揮限制公權(quán)力和保障社會(huì)弱勢群體的作用。從傳統(tǒng)實(shí)踐來看,反歧視集中于公法和社會(huì)法領(lǐng)域,鮮見于私法領(lǐng)域③我國有關(guān)歧視的司法案例主要為就業(yè)歧視,具體表現(xiàn)為用人單位因勞動(dòng)者的性別、地域、身高、患有乙肝或艾滋病等情形實(shí)施的就業(yè)歧視。除此之外,農(nóng)村集體經(jīng)濟(jì)組織對女性、外來戶、外嫁女在財(cái)產(chǎn)分配上的歧視在司法實(shí)踐中也較為常見。。其原因在于,歧視發(fā)生以權(quán)力關(guān)系的存在為必要,而私法關(guān)系具有平等性,通常與權(quán)力無涉。
首先,從歧視的發(fā)生機(jī)制來看,權(quán)力關(guān)系是歧視形成的必要前提。依照馬克斯·韋伯對權(quán)力的解釋,當(dāng)強(qiáng)勢一方可以貫徹自己的意志而無需顧及弱勢一方的反對時(shí),即存在權(quán)力關(guān)系[5](P264)。歧視是歧視主體在資源分配中對被歧視主體的利益限制和剝奪,其發(fā)生過程是歧視主體與被歧視主體之間的博弈過程,其實(shí)現(xiàn)以歧視主體可以強(qiáng)行貫徹自身意志為必要。在公法和社會(huì)法關(guān)系中,不乏掌握權(quán)力的強(qiáng)勢分配者,反歧視則是防止分配者濫用分配權(quán)力、維護(hù)分配正義的重要制度工具。相反,在私法關(guān)系中,各主體之間依意思自治進(jìn)行資源交換,歧視行為欠缺權(quán)力支撐,一方難以將其資源分配意志強(qiáng)加于另一方??梢姡捎谇啡逼缫暟l(fā)生所必須的權(quán)力關(guān)系,私法關(guān)系通常與歧視無涉。
其次,反歧視規(guī)制也應(yīng)以權(quán)力關(guān)系為限,在介入私法關(guān)系時(shí)保持謙抑,以避免侵蝕私法自治。理由在于,將“相同情況相同對待,不同情況不同對待”的誡命注入私法關(guān)系,無疑與私法自治背道而馳。在以意思自治為價(jià)值根基的私法領(lǐng)域,私主體間的關(guān)系由私主體自由安排,即使存在一定程度的偏見和差別對待,也多應(yīng)歸于當(dāng)事人的行為自由范疇,如在“劉某訴中信銀行股份有限公司信用卡糾紛案”(北京金融法院[2021]京74民終942號(hào)民事判決書)中,法院認(rèn)為被告中信銀行針對女性推出的信用卡申領(lǐng)專享服務(wù),是在金融消費(fèi)者需求多元化、差異化的基礎(chǔ)上所設(shè)定合理的信用卡申領(lǐng)條件,并不構(gòu)成歧視。況且,個(gè)人偏見源于生物本能、心理狀態(tài)、社會(huì)文化等因素,具有不可根除性。個(gè)人行為普遍受偏見影響,對帶有偏見的行為一概禁止是對行為自由的根本顛覆。
綜上所述,反歧視規(guī)制以權(quán)力關(guān)系存在為前提,私法關(guān)系具有平等性,通常不會(huì)發(fā)生歧視,也很少受反歧視制度的約束。然而,算法技術(shù)的出現(xiàn),尤其是算法區(qū)分決策的規(guī)?;瘧?yīng)用,使算法控制者取得了事實(shí)上的資源分配權(quán)力,算法控制者和用戶之間的平等關(guān)系也因此異化為橫向權(quán)力關(guān)系。此時(shí),歧視性分配的發(fā)生風(fēng)險(xiǎn)大大增加,算法歧視由此成為私法關(guān)系中亟待解決的新問題。
算法歧視集中爆發(fā)于算法控制者與用戶之間形成的橫向權(quán)力關(guān)系,此一結(jié)論已得到學(xué)界廣泛認(rèn)同。然而,權(quán)力關(guān)系如何形成,則多見于技術(shù)層面的宏觀描述,鮮見于要件層面的微觀分析[1](P34-36)。顯然,算法控制者掌握算法技術(shù)并不等于其就取得或?yàn)E用了算法權(quán)力,權(quán)力關(guān)系是否形成,還應(yīng)著重關(guān)注具體的技術(shù)應(yīng)用是否符合特定要件。
權(quán)力關(guān)系與平等關(guān)系之間的本質(zhì)區(qū)別在于,關(guān)系中的各方主體是否享有平等的意志自由。在權(quán)力關(guān)系中,分配僅體現(xiàn)分配者的意志,其他主體是受其意志支配的被分配者;在平等關(guān)系中,分配則是各方主體平等協(xié)商達(dá)成一致結(jié)果的過程。可以說,權(quán)力關(guān)系的形成,就是關(guān)系主體一方或多方意志自由被剝奪的過程。因此,在算法控制者與用戶之間,橫向權(quán)力的形成以算法控制者剝奪用戶的意志自由為核心要素。
從博弈視角來看,平等雙方在博弈中均享有意志自由,是否進(jìn)行博弈(如是否訂立合同)、博弈形成的規(guī)則(如具體的合同條款)以及由此產(chǎn)生的博弈結(jié)果不受任意一方操縱,即便一方最終承受客觀的不利結(jié)果(如一方依合同以高于市場價(jià)的價(jià)格購得標(biāo)的物),該方也始終享有博弈自由。相反,在算法應(yīng)用場景中,當(dāng)用戶既無決定是否進(jìn)行博弈之自由,亦不能參與博弈規(guī)則的制定和選取,只能被動(dòng)承受博弈結(jié)果時(shí),其處于完全喪失博弈自由的被支配地位,算法控制者和用戶之間的橫向權(quán)力關(guān)系由此形成。因此,本文認(rèn)為,剝奪用戶博弈自由是橫向權(quán)力形成的實(shí)質(zhì)標(biāo)準(zhǔn),其以博弈鎖定為具體的實(shí)現(xiàn)機(jī)制,須同時(shí)滿足博弈退出封鎖、博弈規(guī)則鎖定和區(qū)分事由鎖定三個(gè)條件。
1.博弈退出封鎖。博弈退出封鎖即用戶一旦進(jìn)入算法系統(tǒng),則喪失退出算法系統(tǒng)之自由。博弈退出封鎖以用戶進(jìn)入算法系統(tǒng)、參與博弈為前提。算法控制者通過獲取和分析個(gè)人信息開啟博弈并非難事:一方面,個(gè)人或?yàn)橄硎芩惴t利、或?yàn)閰⑴c社會(huì)生活,會(huì)主動(dòng)提供個(gè)人信息;另一方面,算法控制者為實(shí)現(xiàn)獲利目的,也會(huì)極力攫取個(gè)人信息。由此可見,算法控制者設(shè)下的博弈從不缺少或積極參與、或被動(dòng)入席的用戶。
顯然,若用戶享有退出博弈的自由,則可避免處于算法控制之下。因此,博弈鎖定首先以博弈退出封鎖為必要,即用戶處于算法控制之下而無退出權(quán)。判定用戶是否遭遇退出封鎖,主要以是否存在可替代的算法控制者為標(biāo)準(zhǔn)??商娲詣t具體包括需求可替代性和供給可替代性兩方面。需求可替代性,即是否存在可以提供相似產(chǎn)品或服務(wù)的其他算法控制者供用戶選擇;相似的算法控制者越少,用戶退出特定算法系統(tǒng)后越難以獲得相似產(chǎn)品或服務(wù),特定算法控制者的需求可替代性也就越低。供給可替代性,則是基于其他算法控制者的供給能力來描述特定算法控制者的可替代性,具體應(yīng)考量其他算法控制者提供相似產(chǎn)品或服務(wù)所需的投入成本和收益;成本越高、收益越小,參與競爭的算法控制者越少,特定算法控制者的供給可替代性也就越低。特定算法控制者的需求可替代性或供給可替代性越低,用戶退出算法系統(tǒng)后越難以獲得相似的產(chǎn)品或服務(wù),也就越易遭遇退出封鎖。
退出封鎖的典型情形,是算法控制者取得并濫用市場支配地位。正因如此,不少學(xué)者認(rèn)為,算法價(jià)格歧視的形成以企業(yè)具備市場支配地位為必要[6](P113)。然而,本文認(rèn)為,算法控制者具有市場支配地位只是適用反壟斷規(guī)制路徑的必要條件,并非算法歧視的構(gòu)成要件。當(dāng)算法控制者雖不具有市場支配地位,但有強(qiáng)大的用戶基礎(chǔ)時(shí),亦可形成退出封鎖。用戶基礎(chǔ)包括用戶數(shù)量、用戶黏性和用戶活躍度等。其原因在于,在網(wǎng)絡(luò)效應(yīng)影響下,用戶基礎(chǔ)往往決定算法控制者的需求可替代性和供給可替代性。一方面,算法控制者的用戶基礎(chǔ)越優(yōu),越能更好地滿足用戶需求,進(jìn)而難以被其他算法控制者替代。如微信應(yīng)用的用戶數(shù)量巨大、用戶黏性極高,極大程度地滿足了用戶的社交需求,已成為用戶維系社會(huì)關(guān)系的必要工具。另一方面,擁有良好用戶基礎(chǔ)的算法控制者更易持續(xù)吸引和鎖定更多用戶,實(shí)現(xiàn)“贏者通吃”,其他算法控制者也就很難超越和替代。至于用戶基礎(chǔ)何時(shí)足以形成退出封鎖效應(yīng),難以提出確切的量化標(biāo)準(zhǔn),還須法官在司法裁判中綜合考量用戶數(shù)量、用戶黏性、用戶活躍度等要素后,再作判斷。
2.博弈規(guī)則鎖定。算法權(quán)力的形成和實(shí)現(xiàn)還有賴于博弈規(guī)則鎖定,即適用于用戶的算法規(guī)則由算法控制者單方?jīng)Q定。一方面,算法決策依據(jù)的規(guī)則群(包括選取目標(biāo)變量、設(shè)置分類標(biāo)簽、具體決策規(guī)則等)由算法控制者單方制定,用戶無權(quán)參與;另一方面,算法控制者還掌握規(guī)則選取權(quán),即用戶適用于哪一類規(guī)則亦由其單方?jīng)Q定。對此,無法退出博弈的用戶只能概括接受①格式合同與算法歧視的效率實(shí)現(xiàn)機(jī)制亦有所區(qū)別,格式合同的效率體現(xiàn)在合同內(nèi)容的重復(fù)適用,但算法歧視的效率恰恰體現(xiàn)在區(qū)分用戶并實(shí)施差別對待上。。相比之下,算法的博弈鎖定遠(yuǎn)甚于格式合同對意思自由的限制。格式合同雖亦由規(guī)則提供者單方擬定,但相對人可概括接受也可概括拒絕,而遭遇博弈鎖定的用戶只能接受算法決策的結(jié)果,無權(quán)拒絕。
3.區(qū)分事由鎖定。區(qū)分事由鎖定是算法權(quán)力形成的最關(guān)鍵要素,當(dāng)用以區(qū)分用戶的事由為用戶固有的、難以改變的特性時(shí),算法規(guī)則即完全鎖定用戶,用戶不可避免地承受特定規(guī)則導(dǎo)向的決策結(jié)果。反之,若用戶可以自由塑造與區(qū)分事由相關(guān)的特點(diǎn),或區(qū)分事由乃用戶可平等獲得的特性時(shí),用戶可反向選取算法規(guī)則以脫離規(guī)則鎖定。
區(qū)分事由鎖定性的具體判定,須從區(qū)分事由是否具有人身依附性、是否具有可虛擬性兩個(gè)方面進(jìn)行考量。首先,就人身依附型區(qū)分事由而言,主要包含兩類,一是反映個(gè)人與生俱來的人格特征的事由,如性別、種族、基因信息、年齡等;二是個(gè)人在日常生活和社會(huì)交往中積累形成的穩(wěn)定特性,如資產(chǎn)狀況、信用狀況、社會(huì)地位等。這些區(qū)分事由依附于用戶的人格或身份,難以重塑或消除,以此為基礎(chǔ)進(jìn)行區(qū)分決策往往會(huì)將用戶鎖定在與其所屬分類相對應(yīng)的規(guī)則群中。相反,若區(qū)分事由僅涉及用戶偶然的行為、興趣、偏好等,用戶則可以通過獲得、更改相應(yīng)特性以加入或擺脫某一分類,避免不利決策。如算法控制者對新用戶實(shí)行價(jià)格優(yōu)惠時(shí),由于新用戶身份的獲得取決于用戶是否是首次實(shí)施購買行為,此種區(qū)分本質(zhì)上為動(dòng)態(tài)平等的區(qū)分而非固化的區(qū)分,老用戶也曾為新用戶,新用戶也會(huì)成為老用戶,通常不構(gòu)成算法歧視②當(dāng)然,對于在促銷策略實(shí)施前即已成為老用戶的主體而言,盡管其已被鎖定在不能享受優(yōu)惠的老用戶群體內(nèi),但只要新用戶之利益并非直接來源于對老用戶的殺熟,其所遭遇的差別對待屬于合理的差別對待,乃算法歧視構(gòu)成之例外。。其次,即使區(qū)分事由的內(nèi)容指向用戶的固有特性,但可虛擬化,用戶亦可通過虛構(gòu)特點(diǎn)逃脫規(guī)則鎖定(如女性用戶在網(wǎng)絡(luò)中使用虛擬的男性身份),故區(qū)分事由還須以不可虛擬化為必要。不可虛擬化通常存在于以下兩種情形中,一是用戶特性源于算法控制者自動(dòng)收集和分析的數(shù)據(jù),而非個(gè)人主動(dòng)提供的信息;二是用戶進(jìn)入算法控制系統(tǒng)時(shí)須提供真實(shí)信息。
博弈退出封鎖、博弈規(guī)則鎖定和區(qū)分事由鎖定最終導(dǎo)向博弈結(jié)果鎖定:一方面,博弈結(jié)果因博弈規(guī)則自動(dòng)執(zhí)行必然發(fā)生,用戶無力阻止;另一方面,用戶因博弈退出封鎖被迫承受既定的博弈結(jié)果,無論其是否受到平等對待。
綜上,算法歧視以橫向權(quán)力關(guān)系存在為前提,橫向權(quán)力關(guān)系的形成則由算法控制者實(shí)施博弈鎖定、剝奪用戶博弈自由塑造。算法控制者利用技術(shù)優(yōu)勢和信息鴻溝,將用戶鎖定于“必輸”的博弈中,名義上的平等博弈不復(fù)存在,異化的算法權(quán)力關(guān)系由此形成。
算法歧視盡管發(fā)生于新技術(shù)背景下,但仍保有傳統(tǒng)歧視的根本特性。一方面,算法歧視同樣需要權(quán)力支撐;另一方面,算法歧視本質(zhì)上仍是對個(gè)人或群體的差別不利對待。因此,算法歧視的構(gòu)成仍須具備傳統(tǒng)歧視所要求的區(qū)分對待要件和差別不利后果要件。
歧視皆因區(qū)分對待而起,如種族歧視是指“基于種族、膚色、世系、民族或人種的任何區(qū)別、排斥、限制或優(yōu)惠”(詳見《消除一切形式種族歧視國際公約》第一條);女性歧視是指“基于性別而作的任何區(qū)別、排斥或限制,其影響或其目的均足以妨礙或否認(rèn)婦女不論已婚未婚而在男女平等的基礎(chǔ)上認(rèn)識(shí)、享有或行使在政治、經(jīng)濟(jì)、文化和社會(huì)、公民或任何其他方面的人權(quán)和基本自由”(詳見《消除對婦女一切形式歧視公約》第一條)。算法歧視是依托于技術(shù)發(fā)生的歧視,同樣以區(qū)分對待為要件,區(qū)分對待要件具體應(yīng)從區(qū)分模式和區(qū)分事由兩個(gè)方面考量。
1.以“區(qū)分—決策”或者“決策—區(qū)分”為運(yùn)作模式。算法歧視首先以算法采取區(qū)分決策模式為要件,算法應(yīng)用中未涉及區(qū)分決策的,即使對用戶造成不利后果,也不構(gòu)成算法歧視,而應(yīng)交由其他法律制度調(diào)整。在算法歧視中,差別對待主要呈現(xiàn)為兩種具體模式。一是“區(qū)分—決策”模式,二是“決策—區(qū)分”模式。“區(qū)分—決策”型差別對待是先進(jìn)行用戶分類,再分別決策,區(qū)分性直接表現(xiàn)在決策依據(jù)上,是直接的差別對待,其造成的歧視為直接歧視?!皼Q策—區(qū)分”型差別對待是隱蔽的差別對待,算法規(guī)則表面上平等地適用于每個(gè)用戶,但其結(jié)果上造成了對不同群體之間的差別對待?!皼Q策—區(qū)分”型差別對待屬于間接差別對待,其所造成的歧視屬于間接歧視①間接歧視即一項(xiàng)法律、規(guī)則、標(biāo)準(zhǔn)盡管表面中立,但最終造成特定群體或個(gè)人遭遇差別性不利對待。間接歧視類似于差別性影響類歧視,前者是英國法中與直接歧視并列的歧視類型,后者是美國法中與差別性對待并列的歧視類型,二者的主要區(qū)別體現(xiàn)在是否以主觀故意為要件。。
個(gè)性化決策模式同樣屬于區(qū)分決策模式,所謂的“個(gè)性化”,只不過是在信息不對稱和算法隱蔽性的雙重作用下,用于“包裝”區(qū)分決策的粉飾之辭,其實(shí)際上仍是通過分類模型實(shí)施的精致差別對待。不同的是,在個(gè)性化模式下,算法區(qū)分事由及由此劃分出的群體類型復(fù)雜精細(xì)且保持動(dòng)態(tài),算法控制者將用戶劃入微分類中,具體決策也在對應(yīng)的微分類中靈活變動(dòng),由此營造出用戶被當(dāng)作獨(dú)特個(gè)體對待的假象。
此外,分類正確與否并不影響歧視的構(gòu)成。算法區(qū)分決策模式并不追求分類的真實(shí)性和準(zhǔn)確性,相反,其是以分類的高容錯(cuò)率為代價(jià),換取決策的高效簡化。錯(cuò)誤識(shí)別用戶特點(diǎn)并將其劃入錯(cuò)誤群體的情形,在算法決策中并不鮮見,如將居住于貧困地區(qū)的富人識(shí)別為窮人[7](P9)。區(qū)分的正確與否并不影響歧視的成立,用戶被錯(cuò)誤區(qū)分并因此遭受不合理的差別對待,亦構(gòu)成歧視。
2.突破“區(qū)分事由法定”。在傳統(tǒng)歧視中,區(qū)分事由主要包括性別、種族、民族、宗教信仰等。傳統(tǒng)反歧視規(guī)制要求區(qū)分事由必須是受法律保護(hù)的個(gè)人特征,個(gè)人因法定事由以外的特征受到差別對待的,則很難被認(rèn)定為歧視[8](P775)。然而,算法歧視的認(rèn)定應(yīng)當(dāng)摒棄“區(qū)分事由法定”的限制。原因在于,偽中立性的代理標(biāo)簽(如以身高、體重代替性別,以清真食品的消費(fèi)記錄代替宗教,以郵政編碼代替民族),以及算法自動(dòng)區(qū)分決策背后存在大量潛在、隱蔽且難以預(yù)知的區(qū)分事由,“區(qū)分事由法定”將導(dǎo)致諸多算法歧視現(xiàn)象游離于法律規(guī)制之外。因此,有必要突破“區(qū)分事由法定”的限制,保持區(qū)分事由范疇的靈活性和開放性①事實(shí)上,我國司法實(shí)踐基于維護(hù)分配正義之現(xiàn)實(shí)需要,早已突破傳統(tǒng)歧視事由的限制,地域歧視、基因歧視等均受到規(guī)制。具體案例可以參考浙江省杭州市中級人民法院(2020)浙01民終736號(hào)民事判決書;佛山市中級人民法院(2010)佛中法行終字第381號(hào)判決書。。
算法歧視的具體認(rèn)定,還以用戶遭受差別不利對待為結(jié)果要件:一方面,算法區(qū)分決策的結(jié)果須同時(shí)具有不利性和差別性;另一方面,此種差別不利后果無須達(dá)到社會(huì)排斥程度。
1.區(qū)分對待結(jié)果的不利性。區(qū)分對待結(jié)果的不利性即“利益的應(yīng)得而未得”,表現(xiàn)為用戶應(yīng)當(dāng)獲得的利益被剝奪或克減,前者如用戶應(yīng)當(dāng)取得信貸資格而未取得,后者如用戶獲批的信貸額度低于其應(yīng)當(dāng)取得的獲批額度。
值得注意的是,不利后果不限于現(xiàn)實(shí)利益分配的應(yīng)得而未得。在評分算法中,不利評分盡管不屬于直接的利益分配,但若以評分結(jié)果為資源配置的直接依據(jù),則評分的不利與利益分配的不利具有一致性,前者亦應(yīng)被納入不利后果的范疇。
2.區(qū)分對待結(jié)果的差別性。區(qū)分對待結(jié)果的差別性是指,不利后果必須是相對于用戶的“應(yīng)得”而言的,“不利”是“相對的不利”。差別性要件要求用戶主張受到算法歧視時(shí),證明不利后果的差別性。提供對照是最直接的證明方法,用戶提供滿足以下條件的對照即可證明其受到差別的不利對待:(1)在所涉區(qū)分事由上與他人有不同特征;(2)在其他與決策結(jié)果相關(guān)的事由上,與他人相似或者一致;(3)他人取得更有利的分配結(jié)果。然而,算法歧視中,由于個(gè)性化策略、復(fù)雜隱蔽的區(qū)分事由、用戶之間存在的信息阻隔等多種原因,用戶尋找對照的難度大,面臨舉證難題。因此,有必要擴(kuò)充對照范圍。一種可行的方案是,從橫向?qū)φ障蚩v向?qū)φ諗U(kuò)充,即可以用戶自身過往經(jīng)歷作為對照,證明其因某項(xiàng)事由發(fā)生改變,而遭受差別不利對待??v向?qū)φ赵谖覈鴤鹘y(tǒng)反歧視實(shí)踐中已有應(yīng)用,如在“盧某與深圳市兆新能源股份有限公司一般人格權(quán)糾紛案”(廣東省深圳市羅湖區(qū)人民法院[2020]粵0303民初26265號(hào)民事判決書)中,原告主張其本已通過入職面試,但被告在得知其攜帶某種病毒后又拒絕錄用,構(gòu)成歧視,法院對此予以支持。另一種方案則是承認(rèn)假想對照,即原告無須提供真實(shí)存在的對照,只須證明其一旦消除或取得與區(qū)分事由相關(guān)的某種特性,便有可能獲得更有利的對待即可。對于用戶主張的差別不利對待,算法控制者可通過證明不存在差別不利對待,或差別不利對待具有合理性,而免于算法歧視規(guī)制。
3.差別不利對待無須達(dá)到社會(huì)排斥程度。還有觀點(diǎn)認(rèn)為,算法歧視造成的不利后果以達(dá)到社會(huì)排斥程度為必要[9](P371)。本文對此持反對觀點(diǎn)。社會(huì)排斥是指弱勢群體被部分或全部排斥在充分的社會(huì)參與之外,難以獲得基本的生存發(fā)展資源。反歧視是保護(hù)弱勢群體不因某種難以改變的特征而喪失基本的生存發(fā)展權(quán)利。造成社會(huì)排斥的差別對待當(dāng)然構(gòu)成歧視,但歧視本身不應(yīng)以不利性達(dá)到社會(huì)排斥程度為要件。原因在于,社會(huì)排斥程度門檻過高,過度限縮了算法歧視的規(guī)制范疇。若引入此要件,則只有造成機(jī)會(huì)剝奪或嚴(yán)重利益克減的差別對待才能被認(rèn)定為歧視。然而,在算法區(qū)分決策應(yīng)用領(lǐng)域,最普遍的差別對待往往在結(jié)果上差異不大,算法控制者正是通過將結(jié)果差異維持在較低水平,悄然獲取巨大利潤??梢?,規(guī)模化的輕度差別對待才是算法正義的主要破壞力量,也是反算法歧視的主要規(guī)制對象。
此外,需要強(qiáng)調(diào)的是,算法歧視的不利后果與侵權(quán)責(zé)任中的損害后果存在區(qū)別。首先,歧視是利益分配中的應(yīng)得而未得,是“做加法”過程中利益的未獲得或未充分獲得,是對照下的相對的不利;而損害后果則是個(gè)人權(quán)利受到侵害,是對固有權(quán)益“做減法”,是絕對的不利。其次,反歧視本質(zhì)上是群體利益和社會(huì)利益的保護(hù)機(jī)制。反歧視所保護(hù)的個(gè)人總是具有某種群體性特征,反個(gè)體歧視最終是為了反群體歧視;而侵權(quán)責(zé)任具有更鮮明的個(gè)人主義,其關(guān)注的是個(gè)人權(quán)利是否受到侵害,個(gè)人是否具有某種群體特征不在其考量范圍內(nèi)[10](P1119-1120)。
在博弈鎖定形成后,算法控制者對用戶進(jìn)行區(qū)分對待,強(qiáng)迫其承受差別性的不利后果,即構(gòu)成算法歧視。然而,差別對待具有合理性的,例外地不構(gòu)成算法歧視。差別對待合理性的證明義務(wù)由算法控制者承擔(dān)。合理性證明主要涉及三方面:一是差別對待目的的合理性,二是差別對待目的與區(qū)分事由之間的合理關(guān)聯(lián)性,三是差別對待的合比例性。
1.差別對待的目的合理性。算法區(qū)分決策的目的可歸結(jié)為追求效率、實(shí)現(xiàn)獲利,有多種具體表現(xiàn)形式,如個(gè)性化廣告推送意在精準(zhǔn)吸引潛在消費(fèi)者,個(gè)性化定價(jià)意在擴(kuò)充消費(fèi)者群體、攫取消費(fèi)者剩余,貸款信用評分意在降低壞賬風(fēng)險(xiǎn)等。然而,追求效率并不當(dāng)然具有合理性,尤其是在用戶被剝奪博弈自由時(shí),算法控制者極可能為提升效率,將自身利益凌駕于用戶利益之上。因此,目的合理性要求決策目的實(shí)現(xiàn)并未侵害用戶利益,若算法控制者的決策目的實(shí)現(xiàn)以侵害用戶利益為前提,差別對待目的不具有合理性。
2.差別對待目的與區(qū)分事由間的合理關(guān)聯(lián)性。合理關(guān)聯(lián)是指具有正當(dāng)且必要的關(guān)聯(lián)。如信貸資格的分配與用戶的守約程度(如是否依約定償還貸款)之間具有合理關(guān)聯(lián),但與用戶的消費(fèi)習(xí)慣則無必要關(guān)聯(lián),盡管后者可能反映用戶的經(jīng)濟(jì)水平和消費(fèi)理性程度;又如差別定價(jià)與用戶特殊需求往往具有必要正當(dāng)關(guān)聯(lián),但與用戶的價(jià)格敏感度則無必要關(guān)聯(lián),后者并非實(shí)質(zhì)的交易條件,算法控制者以后者作為差別定價(jià)的依據(jù),不符合正當(dāng)?shù)慕灰琢?xí)慣。
合理關(guān)聯(lián)的證明首先要求算法控制者揭示真實(shí)的區(qū)分事由。在算法控制者使用代理標(biāo)簽進(jìn)行區(qū)分決策的情形下,由于代理標(biāo)簽與決策目的之間關(guān)聯(lián)較為疏遠(yuǎn),算法控制者須主動(dòng)揭示真實(shí)的區(qū)分事由,才能完成合理關(guān)聯(lián)的證明??梢?,合理關(guān)聯(lián)證明義務(wù)客觀上有利于解決真實(shí)區(qū)分事由的認(rèn)定問題。合理關(guān)聯(lián)性還要求算法控制者證明不存在其他可替代的、能夠防止或者緩解不利后果的區(qū)分事由。算法控制者主張區(qū)分事由不可替代時(shí),用戶可提出可替代性事由或其他相反證明。
3.差別對待的合比例性。差別對待合比例性證明具體包括兩個(gè)層面:一是差別對待的區(qū)分事由與不利后果之間具有合比例性;二是差別對待的不利后果與決策目的之間具有合比例性。
區(qū)分事由與不利后果之間的合比例性,要求算法控制者在復(fù)合的區(qū)分事由中,為各區(qū)分事由設(shè)置合理權(quán)重。區(qū)分事由在決策目的實(shí)現(xiàn)中的作用程度,應(yīng)與其所生后果的差別性和不利性程度相匹配,次要的區(qū)分事由不應(yīng)主導(dǎo)差別對待。此一證明義務(wù),要求算法控制者闡明特定區(qū)分事由在決策目的實(shí)現(xiàn)中的具體作用和所占權(quán)重,并證明二者具有合比例性。以某訊的征信評分算法為例,其以守約指數(shù)(如是否如期償還信用卡借款)、安全指數(shù)(如個(gè)人信息是否準(zhǔn)確、賬戶安全性是否足夠高)、財(cái)富指數(shù)(如個(gè)人資產(chǎn)狀況)、消費(fèi)指數(shù)(如消費(fèi)偏好、消費(fèi)頻率)以及社交指數(shù)(如用戶的人脈關(guān)系)作為評價(jià)指標(biāo),對用戶進(jìn)行信用評分[11]。算法控制者必須揭示各指數(shù)在征信評分中的作用及其權(quán)重分布,并說明權(quán)重分布的合比例性。顯然,守約指數(shù)與信用評分的關(guān)聯(lián)最為緊密,其在信用評估中應(yīng)占最高權(quán)重,而消費(fèi)指數(shù)、社交指數(shù)僅與信用存在間接的、不穩(wěn)定的關(guān)聯(lián),權(quán)重設(shè)置應(yīng)當(dāng)處于低位。若該評分算法將消費(fèi)指數(shù)和社交指數(shù)作為主要的評分指標(biāo),則存在區(qū)分事由與差別不利后果的比例失當(dāng),可能構(gòu)成對消費(fèi)頻率較低者或者社交偏保守者的歧視。
差別對待的合比例性還包括不利后果與決策目的之間的合比例性,此種合比例性旨在防止算法控制者過分規(guī)避商業(yè)風(fēng)險(xiǎn),損害用戶利益。為實(shí)現(xiàn)效益最大化,算法控制者可能傾向于利用信息優(yōu)勢,一邊摒棄風(fēng)險(xiǎn)用戶,一邊從“合格”用戶處極力攫取利益以作彌補(bǔ)。在此種利益補(bǔ)償機(jī)制中,雙邊用戶都淪為算法控制者的犧牲品。不利后果與決策目的間的合比例性,意在規(guī)制算法控制者恣意的趨利避害,要求算法控制者在實(shí)現(xiàn)商業(yè)目的時(shí),盡可能減輕針對用戶的不利對待。如在利用信用評分算法進(jìn)行貸款審批時(shí),算法控制者應(yīng)靈活配置貸款資格、貸款額度、增信措施、償還期限等要素,以適用于信用評分不同的用戶,而不能為了規(guī)避風(fēng)險(xiǎn),一概剝奪信用評分偏低群體的貸款資格。不利后果的合比例性還要求算法控制者采取措施緩解不利后果,如優(yōu)化算法模型、為用戶提供反饋渠道等。算法控制者主張不存在消除或緩解不利后果的措施的,用戶可以提出相反證明。
須明確的是,本文認(rèn)為,算法歧視不以算法控制者是否具有主觀過錯(cuò)為要件,原因主要有兩點(diǎn):一是算法決策的隱蔽性特征,導(dǎo)致過錯(cuò)認(rèn)定客觀上變得十分困難;二是算法控制者為算法歧視風(fēng)險(xiǎn)的制造者、控制者和獲益者,理應(yīng)分擔(dān)歧視風(fēng)險(xiǎn)。從域外立法來看,英國的反歧視規(guī)制不以主觀過錯(cuò)為要件[12](P619);而美國反歧視制度也明顯出現(xiàn)主觀要件式微的趨勢,一方面,受到規(guī)制的歧視類型從差別對待擴(kuò)張至差別性影響,后者不再以主觀故意為要件;另一方面,差別對待類型中,主觀故意要件的認(rèn)定也趨于客觀化[9](P372-373)。
至此,算法歧視以橫向權(quán)力關(guān)系存在為前提,并須同時(shí)滿足行為要件和結(jié)果要件。三個(gè)要件及其相互關(guān)系簡要總結(jié)于圖1。
圖1 算法歧視的認(rèn)定過程示意圖
結(jié)合圖1,筆者還須作兩點(diǎn)說明:一是,橫向權(quán)力關(guān)系為算法歧視發(fā)生的首要要件,若不存在橫向權(quán)力關(guān)系,即使用戶遭受差別不利對待,也不構(gòu)成算法歧視。二是,在橫向權(quán)力關(guān)系形成后,若不滿足區(qū)分決策要件抑或差別不利后果要件,亦不構(gòu)成算法歧視,但算法控制本身是否違法則未有定論,當(dāng)然,典型的違法情形除外,如濫用算法權(quán)力侵犯言論自由、實(shí)施欺詐等。
在有關(guān)算法歧視的討論中,常被列舉的算法決策類型包括:單純呈現(xiàn)歧視性內(nèi)容的搜索算法或人機(jī)對話、“大數(shù)據(jù)殺熟”、評分算法,下文將結(jié)合構(gòu)成要件對這幾種算法決策是否構(gòu)成算法歧視進(jìn)行分析。
有學(xué)者將搜索算法單純呈現(xiàn)已有偏見和歧視,以及人機(jī)對話過程中人工智能“說出”歧視性言辭等現(xiàn)象認(rèn)定為算法歧視。本文認(rèn)為,這是典型的算法歧視認(rèn)定泛化[13](P141)。應(yīng)當(dāng)認(rèn)為,上述兩種算法決策只是對已有歧視和偏見的鏡像呈現(xiàn)①“鏡像”通俗意義上是指“像照鏡子一樣”,本文所述的“鏡像呈現(xiàn)”是指算法僅單純展示和呈現(xiàn)社會(huì)中已經(jīng)存在的偏見和歧視,而并未通過決策制造新的歧視的情形。,其因欠缺區(qū)分決策的行為要件,不構(gòu)成算法歧視。從算法應(yīng)用模式來看,搜索結(jié)果的產(chǎn)生由爬蟲技術(shù)、索引技術(shù)和查詢展現(xiàn)技術(shù)完成,人機(jī)對話內(nèi)容則是通過用戶輸入、自然語言理解、對話管理和自然語言的生成與輸出產(chǎn)生,二者均未涉及區(qū)分模型的應(yīng)用,不存在對用戶的區(qū)分,更不存在區(qū)分后的差別對待。搜索結(jié)果、對話內(nèi)容中的歧視內(nèi)容源于污染數(shù)據(jù),而數(shù)據(jù)中的偏見又可追溯至社會(huì)現(xiàn)實(shí)中的已有偏見。例如,某國執(zhí)法機(jī)關(guān)受社會(huì)種族偏見的影響,更傾向于逮捕有色人種,算法基于上述社會(huì)現(xiàn)實(shí)得出“有色人種的犯罪風(fēng)險(xiǎn)更高”的分析結(jié)果,只是對該國社會(huì)種族偏見的鏡像呈現(xiàn),不構(gòu)成算法歧視。然而,算法在鏡像呈現(xiàn)社會(huì)偏見和歧視的基礎(chǔ)上作出新的歧視性決策,則另當(dāng)別論。例如,若該國法院依“有色人種的犯罪風(fēng)險(xiǎn)更高”這一算法分析結(jié)果,對犯罪嫌疑人中的有色人種判處更長刑期,就構(gòu)成算法歧視。
當(dāng)然,算法呈現(xiàn)歧視內(nèi)容時(shí)并非不受其他法律規(guī)制。依據(jù)我國《互聯(lián)網(wǎng)信息服務(wù)管理辦法》第15條的規(guī)定,互聯(lián)網(wǎng)信息服務(wù)提供者不得制作、復(fù)制、發(fā)布、傳播反對憲法所確定的基本原則的信息,煽動(dòng)民族歧視的信息,侮辱或者誹謗他人的信息,侵害他人合法權(quán)益的信息,以及含有法律、行政法規(guī)禁止的其他內(nèi)容的信息。若算法呈現(xiàn)的歧視內(nèi)容符合上述情形,則算法控制者須依《互聯(lián)網(wǎng)信息服務(wù)管理辦法》第20條承擔(dān)法律責(zé)任。此外,《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》(下文簡稱《算法推薦管理規(guī)定》)第六條規(guī)定算法推薦服務(wù)提供者“不得利用算法推薦服務(wù)傳播法律、行政法規(guī)禁止的信息,應(yīng)當(dāng)采取措施防范和抵制傳播不良信息”,第九條要求算法控制者承擔(dān)信息內(nèi)容管理義務(wù),對違法信息采取消除等處置措施。依此規(guī)定,算法控制者傳播歧視性信息或未依法履行信息審查義務(wù)的,亦可能面臨法律責(zé)任。
除上述兩種情形外,因算法決策之外的原因造成的算法紅利分配失衡,同樣也因不滿足區(qū)分決策要件,不構(gòu)成算法歧視。算法技術(shù)和應(yīng)用在地區(qū)之間(如經(jīng)濟(jì)發(fā)達(dá)地區(qū)和經(jīng)濟(jì)欠發(fā)達(dá)地區(qū))、群體之間(如不同學(xué)歷群體、不同年齡群體之間)普及不平衡導(dǎo)致的算法紅利分配失衡,通常應(yīng)歸因于社會(huì)經(jīng)濟(jì)發(fā)展水平差異、收入差異、群體使用智能設(shè)備的能力差異等客觀因素,其并非由算法決策導(dǎo)致,不應(yīng)由算法控制者擔(dān)責(zé)。解決算法紅利分配失衡,有賴于系統(tǒng)性的制度合力,以推動(dòng)經(jīng)濟(jì)平衡發(fā)展、加快技術(shù)普及、促進(jìn)教育發(fā)展、完善社會(huì)保障體系等為主要應(yīng)對策略。
“大數(shù)據(jù)殺熟”是目前最受爭議的算法決策類型,其最初是指對具有購買經(jīng)歷的消費(fèi)者(即“熟客”)采取更高定價(jià)的個(gè)性化定價(jià)策略。隨著個(gè)性化定價(jià)算法的進(jìn)步,殺熟的范圍從“熟客”擴(kuò)展到被算法精準(zhǔn)捕捉畫像的“熟人”,殺熟程度趨近于完全價(jià)格歧視。不少學(xué)者認(rèn)為,“大數(shù)據(jù)殺熟”攫取消費(fèi)者剩余、侵蝕社會(huì)公平正義[14](P27),應(yīng)對其進(jìn)行強(qiáng)力規(guī)制?!渡钲诮?jīng)濟(jì)特區(qū)數(shù)據(jù)條例》第69條禁止利用數(shù)據(jù)分析對交易條件相同的交易相對人實(shí)施不合理的差別待遇,正式對“大數(shù)據(jù)殺熟”亮劍。之后出臺(tái)的《個(gè)人信息保護(hù)法》第24條亦禁止自動(dòng)化決策中的不合理差別對待。也有學(xué)者對“大數(shù)據(jù)殺熟”持“一事一議”的謹(jǐn)慎態(tài)度,認(rèn)為“大數(shù)據(jù)殺熟”有增加社會(huì)福利、優(yōu)化資源配置、促進(jìn)商業(yè)競爭的積極效果,不能一概冠以歧視的污名[15](P85-98)。應(yīng)當(dāng)認(rèn)為,“大數(shù)據(jù)殺熟”是否構(gòu)成算法歧視不可一概而論,應(yīng)作個(gè)案分析。
1.是否存在博弈鎖定。傳統(tǒng)市場中的殺熟宰客并不鮮見,消費(fèi)者通?!白哉J(rèn)倒霉”,法律對此也有較高的容忍度。然而,一旦轉(zhuǎn)換到算法場景中,殺熟則迅速引發(fā)民眾擔(dān)憂和立法關(guān)注。此間態(tài)度截然的根本原因在于,算法中的殺熟是建立在剝奪消費(fèi)者博弈自由的基礎(chǔ)上的:傳統(tǒng)市場中,商家與消費(fèi)者基于各自掌握的有限信息,就是否開展交易以及交易價(jià)格進(jìn)行平等磋商,殺熟是自由博弈的結(jié)果,具有偶然性;算法場景下,自由博弈很可能遭到根本破壞,消費(fèi)者完全喪失議價(jià)空間和議價(jià)能力,難以逃脫被殺熟的宿命??梢?,“大數(shù)據(jù)殺熟”是否構(gòu)成算法歧視,首先須判定消費(fèi)者是否遭受博弈鎖定。為具化分析,本文以某寶和某滴兩種常用平臺(tái)為例展開論述。
在某寶平臺(tái)上,普通商家通常很難對消費(fèi)者實(shí)施退出封鎖。稍有網(wǎng)購經(jīng)驗(yàn)的消費(fèi)者即可通過簡單的消費(fèi)策略從平臺(tái)充分獲取有效的價(jià)格信息,進(jìn)而自主選取有利定價(jià)。即使部分消費(fèi)者因信任特定商家而遭遇殺熟,亦屬自由博弈之結(jié)果,產(chǎn)生的不利后果應(yīng)由當(dāng)事人和市場自行消化,不屬于反歧視的規(guī)制范疇。然而,當(dāng)商家存在價(jià)格合謀時(shí),則可能發(fā)生博弈鎖定。如同一行業(yè)所有商家采取同一定價(jià)算法,消費(fèi)者與任一商家交易,都遭遇同樣的定價(jià)策略;又如各商家借助算法實(shí)時(shí)追蹤并效仿其他競爭對手的價(jià)格策略,并達(dá)成提價(jià)默契,對消費(fèi)者實(shí)施默許共謀封鎖[16](P51)。某滴平臺(tái)對乘客用戶的博弈鎖定則十分明顯。一是某滴平臺(tái)擁有龐大的車主用戶,乘客用戶對平臺(tái)依賴程度高;二是某滴平臺(tái)掌握了派單權(quán)和定價(jià)權(quán),為乘客用戶選取交易對象,為每一筆交易定價(jià),甚至在訂單結(jié)束時(shí)自動(dòng)完成價(jià)款扣劃,乘客和司機(jī)均無議價(jià)權(quán),乘客只能被動(dòng)接受某滴平臺(tái)的價(jià)格策略。
此外,還須考量區(qū)分事由的鎖定性。定價(jià)算法模型用以區(qū)分消費(fèi)者的事由是否具有鎖定性,應(yīng)視情況而定。例如,用戶的支付能力取決于用戶的資產(chǎn)狀況、職業(yè)狀況,是個(gè)人難以改變的特性,具有明顯的鎖定效應(yīng),以支付能力作為差別定價(jià)的依據(jù),要求支付能力更強(qiáng)者支付更高價(jià)款,往往構(gòu)成算法歧視;又如,某滴平臺(tái)在出行早高峰、節(jié)假日等用車高峰期調(diào)高價(jià)格,是以市場供求變動(dòng)作為定價(jià)基礎(chǔ),既符合市場規(guī)律,又未形成博弈鎖定,乘客不能因其在早高峰支付更高車費(fèi)而主張其遭受歧視。
2.是否存在差別性不利后果?!按髷?shù)據(jù)殺熟”建立在消費(fèi)者分類基礎(chǔ)上,是典型的區(qū)分決策模型,其是否構(gòu)成歧視,還須進(jìn)一步判定區(qū)分結(jié)果是否存在差別性和不利性。最常見的殺熟為消費(fèi)者在交易中因“熟客”身份反遭更高要價(jià),此種差別對待顯然具有差別性(與“生客”相比)和不利性(出價(jià)更高)。如北京市消費(fèi)者協(xié)會(huì)兩名體驗(yàn)人員發(fā)現(xiàn)同一房間“熟客”需多支付9元[17];又如,在“‘大數(shù)據(jù)殺熟’第一案”中,原告作為平臺(tái)會(huì)員,在預(yù)訂房間時(shí)反被要求支付遠(yuǎn)高于掛牌價(jià)(1300元)的“會(huì)員價(jià)”(2889元)[18]。
3.差別定價(jià)是否具有合理性。若算法控制者證明其差別定價(jià)具有合理性,則不構(gòu)成算法歧視。差別定價(jià)的合理性證明中,差別定價(jià)的目的合理性、差別定價(jià)與區(qū)分事由之間的合理關(guān)聯(lián)性為最關(guān)鍵的兩項(xiàng)要素。目的合理性須判斷算法控制者的商業(yè)目的是否侵犯了消費(fèi)者的利益。通常而言,差別定價(jià)的商業(yè)目的在于增加利潤、吸引更多消費(fèi)者,其目的實(shí)現(xiàn)有利于對企業(yè)形成經(jīng)濟(jì)激勵(lì)、增加社會(huì)整體福利,因而具有一定的正當(dāng)性。然而,當(dāng)差別定價(jià)所增加的社會(huì)福利源于對特定消費(fèi)者群體(如價(jià)格敏感度低的消費(fèi)者群體、支付能力強(qiáng)的消費(fèi)者群體)的利益攫取時(shí),即使社會(huì)整體福利有所上升,差別定價(jià)也不具有合理性。反之,當(dāng)社會(huì)整體福利的增加來源于商家自身的利益讓渡時(shí),差別定價(jià)應(yīng)被視為正當(dāng)?shù)纳虡I(yè)策略,具有合理性。差別定價(jià)目的與區(qū)分事由之間的合理關(guān)聯(lián)性,即要求差別定價(jià)與區(qū)分事由之間具有直接、必要的關(guān)聯(lián)。應(yīng)當(dāng)認(rèn)為,當(dāng)用戶存在交易條件上的實(shí)質(zhì)性差別時(shí),差別定價(jià)具有合理性,實(shí)質(zhì)性差別包括用戶在交易安全、交易成本、信用狀況、交易環(huán)節(jié)、交易持續(xù)時(shí)間等方面的差別,以及在其他符合正當(dāng)交易習(xí)慣和行業(yè)慣例的交易條件上的差別,如交易相對人的特殊需求。
評分算法主要指算法控制者基于特定商業(yè)目的,對用戶的某種特性進(jìn)行量化評估的算法應(yīng)用。評分算法是典型的區(qū)分決策,其是否構(gòu)成歧視同樣需要進(jìn)行個(gè)案分析。下文以產(chǎn)品、服務(wù)質(zhì)量評分算法和信用評分算法為例,作簡要論述。
1.產(chǎn)品、服務(wù)質(zhì)量評分算法。實(shí)踐中,平臺(tái)會(huì)為消費(fèi)者設(shè)置評價(jià)渠道,供消費(fèi)者對產(chǎn)品、服務(wù)及產(chǎn)品銷售者、服務(wù)提供者進(jìn)行評分,評分結(jié)果則直接影響產(chǎn)品銷售者、服務(wù)提供者未來的交易機(jī)會(huì)。通常情況下,產(chǎn)品、服務(wù)質(zhì)量評分算法不會(huì)對平臺(tái)上的產(chǎn)品銷售者、服務(wù)提供者造成歧視,原因在于,此種算法的評分指標(biāo)是與產(chǎn)品或服務(wù)質(zhì)量直接相關(guān)的合理因素,平臺(tái)只確定評分指標(biāo),無權(quán)決定評分結(jié)果,因而不存在博弈鎖定和算法控制。如某滴平臺(tái)車主的評分指標(biāo)包括車內(nèi)環(huán)境、車主駕駛技術(shù)、路線熟悉度等,某寶賣家的評分指標(biāo)包括商品描述一致性、客服態(tài)度、商品運(yùn)輸速度等,車主和賣家可通過改善其服務(wù)或產(chǎn)品等方式增加評分。當(dāng)然,實(shí)踐中也存在例外情形。以打車軟件某步為例,某步的車主用戶因?qū)儆谟猩朔N而遭遇乘客用戶的不當(dāng)評分,工作機(jī)會(huì)和收益也因此減少。此時(shí),某步的車主評分機(jī)制已經(jīng)潛在包含了種族這一鎖定性區(qū)分事由,某步作為算法控制者應(yīng)采取措施予以消除,否則構(gòu)成算法種族歧視[19]。
2.信用評分算法。信用評分算法是信用評估機(jī)構(gòu)基于個(gè)人基本信息、銀行信用信息、消費(fèi)信息、資產(chǎn)信息等各項(xiàng)數(shù)據(jù)指標(biāo)對用戶信用進(jìn)行評分的技術(shù)應(yīng)用。信用評估機(jī)構(gòu)可能出于不同目的實(shí)施信用評分,如銀行的信用評分目的可能是分配信用貸款資格、確定貸款額度,芝麻信用、騰訊征信的信用評分目的則可能是確定和調(diào)整其服務(wù)內(nèi)容和服務(wù)質(zhì)量(如是否向用戶提供免押金租賃服務(wù)、先用后付服務(wù)等)。
信用評分算法多應(yīng)用在消費(fèi)、住房、教育等關(guān)鍵的社會(huì)參與領(lǐng)域,歧視風(fēng)險(xiǎn)較高。當(dāng)用戶遭遇偏低的信用評分時(shí),是否構(gòu)成算法歧視,還須具體分析,其中的關(guān)鍵要件主要涉及是否存在博弈鎖定、是否造成差別不利后果。首先,信用評分的具體結(jié)果通常由信用評估機(jī)構(gòu)依托已有數(shù)據(jù)和算法規(guī)則直接作出,且評分指標(biāo)是用戶難以改變的身份、行為特征、資產(chǎn)狀況、歷史信用狀況等,故信用評分的主導(dǎo)權(quán)由信用評估機(jī)構(gòu)掌握。但信用評估機(jī)構(gòu)是否構(gòu)成博弈鎖定,還取決于用戶能否拒絕信用評分服務(wù)。當(dāng)用戶必須接受信用評分時(shí),則發(fā)生博弈鎖定,如個(gè)人申請住房貸款必須有合格的信用評估;當(dāng)用戶可拒絕信用評分時(shí),則不存在博弈鎖定,如用戶有權(quán)拒絕芝麻信用評分,且拒絕后支付寶使用不受實(shí)質(zhì)影響。其次,信用評分不當(dāng)偏低是否會(huì)造成差別性不利后果,也須依場景而定:在某些場景中,信用評分未造成不利后果,如評分盡管不當(dāng)偏低但仍與用戶應(yīng)得的評分處于同一分?jǐn)?shù)區(qū)間,不影響決策結(jié)果;在另一些場景中,信用評分不當(dāng)偏低則會(huì)產(chǎn)生差別的不利后果,如銀行信用評分不當(dāng)偏低,導(dǎo)致個(gè)人不能取得住房貸款資格。當(dāng)然,無論是否構(gòu)成算法歧視,對于錯(cuò)誤的信用評分,用戶均可依據(jù)《個(gè)人信息保護(hù)法》第46條行使個(gè)人信息更正權(quán),要求算法控制者更正評分。
甄別私法關(guān)系中的算法歧視,僅僅是反算法歧視的第一步。在完成算法歧視認(rèn)定的基礎(chǔ)上,進(jìn)一步構(gòu)建算法歧視規(guī)制的體系化規(guī)則,同樣是立法和司法的重要課題。由于我國尚不存在完備的反歧視私法規(guī)則,宜將一般人格權(quán)侵權(quán)規(guī)制作為算法歧視規(guī)制的權(quán)宜之計(jì):算法控制者實(shí)施算法歧視的,可認(rèn)定為算法控制者侵害用戶的一般人格權(quán)(人格平等)。侵權(quán)的具體判定適用算法歧視的特殊構(gòu)成要件,損害賠償?shù)挠?jì)算則以“應(yīng)得而未得”部分為標(biāo)準(zhǔn),如用戶因遭遇歧視性定價(jià)而支付多余價(jià)款的,算法控制者應(yīng)返還用戶多支付的部分;算法歧視造成用戶嚴(yán)重精神損害的,算法控制者還應(yīng)承擔(dān)精神損害賠償責(zé)任。當(dāng)然,算法歧視規(guī)制還可通過反壟斷規(guī)制、個(gè)人信息保護(hù)、消費(fèi)者權(quán)益保護(hù)等路徑實(shí)現(xiàn)。除此之外,行政機(jī)關(guān)也應(yīng)強(qiáng)化算法監(jiān)管。一方面,應(yīng)加強(qiáng)對算法源代碼和算法分析數(shù)據(jù)的審查,以防止算法控制者在算法系統(tǒng)中植入偏見,及時(shí)排除分析數(shù)據(jù)中的污染數(shù)據(jù);另一方面,應(yīng)引導(dǎo)企業(yè)有序、適當(dāng)?shù)毓_其算法,以推動(dòng)算法透明,防范算法濫用風(fēng)險(xiǎn)。事實(shí)上,與其他算法不正義問題一樣,算法歧視的癥結(jié)在于算法權(quán)力。因此,反算法歧視的規(guī)制重點(diǎn)應(yīng)為防止算法權(quán)力的形成和濫用。對此,我國有關(guān)立法已有積極動(dòng)作,如《電子商務(wù)法》第18條規(guī)定電子商務(wù)經(jīng)營者向消費(fèi)者提供商品或服務(wù)的搜索結(jié)果時(shí),應(yīng)同時(shí)提供不針對消費(fèi)者個(gè)人特征的選項(xiàng);《算法推薦管理規(guī)定》第17條更是賦予用戶關(guān)閉算法推薦服務(wù)的權(quán)利和選擇、刪除用戶標(biāo)簽的權(quán)利。這些規(guī)定均有利于削弱算法權(quán)力、消除算法控制,從根源上減少算法歧視的發(fā)生。
武漢大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版)2022年6期