許曉慧

(揚(yáng)州大學(xué) 法學(xué)院，江蘇 揚(yáng)州 225000)

在算法系統(tǒng)中，每個(gè)個(gè)體都被轉(zhuǎn)化為可計(jì)算的數(shù)據(jù)，個(gè)體的數(shù)據(jù)是微不足道的；而在憲法面前，每個(gè)個(gè)體的權(quán)利保護(hù)又都是不可忽略的。算法歧視性后果的發(fā)生，提醒人們有必要認(rèn)真審視算法對(duì)憲法中平等價(jià)值的沖擊。[1]2014年，白宮發(fā)布了一份題為《大數(shù)據(jù)：抓住機(jī)遇，保護(hù)價(jià)值》的報(bào)告。該報(bào)告認(rèn)為，受數(shù)據(jù)來(lái)源的特定性和算法設(shè)計(jì)者主觀意圖的影響，[2]算法運(yùn)行本身以及算法所依賴的基礎(chǔ)內(nèi)容并不能做到公平公正。這些偏見(jiàn)由于是在算法一開(kāi)始時(shí)就已經(jīng)注定，并且在不公開(kāi)的情況下是難以發(fā)現(xiàn)其特征的，因此被該算法歧視的人往往不知道自己其實(shí)已被歧視，也便不認(rèn)為該算法有什么問(wèn)題。但其帶來(lái)的傷害是巨大的，因此有必要進(jìn)行深入研究。

一、偏見(jiàn)代理的算法歧視對(duì)憲法平等原則的挑戰(zhàn)

偏見(jiàn)代理的算法歧視(又稱“關(guān)聯(lián)歧視”)，[2]正是利用了個(gè)人識(shí)別數(shù)據(jù)擴(kuò)展的因素，通過(guò)相關(guān)性，利用各類特征之間的潛在關(guān)聯(lián)，最終達(dá)到了歧視的目的或者意外的使歧視性后果發(fā)生。在大部分情況下，這類歧視中歧視性后果的產(chǎn)生并不是因?yàn)樗惴Q策者使用了歧視性的運(yùn)算邏輯，反而是利用算法邏輯的漏洞，將客觀中立的數(shù)據(jù)組合產(chǎn)生歧視性后果。能夠?qū)е玛P(guān)聯(lián)歧視的往往有兩種情形：一是關(guān)聯(lián)的數(shù)據(jù)本身不真實(shí)；二是關(guān)聯(lián)的內(nèi)在邏輯不自洽，其中又分為選擇的關(guān)聯(lián)詞為非必要關(guān)聯(lián)詞，以及該關(guān)聯(lián)詞與篩選出的數(shù)據(jù)之間不存在必然性兩種情況。

算法決策和預(yù)測(cè)具有一定的合理性是基于判斷的基礎(chǔ)數(shù)據(jù)是客觀中立的。但現(xiàn)實(shí)中存在一定“張冠李戴”的現(xiàn)象，也即行為與主體之間不對(duì)應(yīng)，如身份信息被盜用形成的貸款逾期記錄。[3]在此基礎(chǔ)上進(jìn)行算法的運(yùn)算其實(shí)是一種不公正。對(duì)于數(shù)據(jù)不真實(shí)導(dǎo)致的算法歧視問(wèn)題，解決關(guān)鍵在于對(duì)數(shù)據(jù)進(jìn)行嚴(yán)格的審查。對(duì)于數(shù)量龐大的大數(shù)據(jù)而言，相應(yīng)的審查工作應(yīng)當(dāng)由使用算法進(jìn)行篩選的人承擔(dān)，因?yàn)樗麄冎浪褂脭?shù)據(jù)是否真實(shí)，更容易發(fā)現(xiàn)錯(cuò)誤，同時(shí)也不會(huì)將敗訴的風(fēng)險(xiǎn)加在被篩選的人身上。該種情況下最大的弊端就是，如果某些當(dāng)事人因維權(quán)成本高昂卻帶來(lái)收益較小的原因而放棄主張，那么算法決策者盡管知道違法也可能會(huì)去冒險(xiǎn)。因?yàn)樗麄儠?huì)賭少有人去維權(quán)或者就算會(huì)有小部分人維權(quán)，也可以利用大部分人的損失來(lái)填補(bǔ)?！秱€(gè)人信息保護(hù)法》第八條雖然規(guī)定了審查主體應(yīng)當(dāng)保障信息安全，但沒(méi)有規(guī)定是單一指利用算法進(jìn)行信息處理，還是既包括該情形又包括將信息進(jìn)行轉(zhuǎn)移時(shí)(如信息收集方將信息處理外包給第三方公司)，此時(shí)信息保障是雙方都有責(zé)任還是只有一方有責(zé)任。個(gè)人認(rèn)為，此處可以理解為既包括將信息以傳輸?shù)姆绞睫D(zhuǎn)移給他人，也包括真正意義上的信息處理者。信息處理者應(yīng)當(dāng)對(duì)接收到的信息進(jìn)行處理時(shí)負(fù)責(zé)。對(duì)信息所有者而言，二者應(yīng)當(dāng)承擔(dān)連帶責(zé)任。

偏見(jiàn)代理算法歧視出現(xiàn)的另一個(gè)原因是不同目標(biāo)變量之間的關(guān)聯(lián)關(guān)系，可能是有一定邏輯判斷的因果關(guān)系，也可能是毫無(wú)邏輯的碰巧。但是算法對(duì)此并不解釋和區(qū)分，只要算法認(rèn)為關(guān)聯(lián)性足夠強(qiáng)，雙方之間有一定的共通關(guān)系，哪怕這個(gè)關(guān)系對(duì)于篩選來(lái)說(shuō)是毫無(wú)意義，但仍會(huì)用來(lái)對(duì)分析對(duì)象進(jìn)行分類和預(yù)測(cè)。[3]在篩選時(shí)輸入的并不一定是特意帶有歧視性的關(guān)鍵詞，而是一般的關(guān)鍵詞，只是該關(guān)鍵詞可能會(huì)引起其他關(guān)聯(lián)性因素，從而致使出現(xiàn)算法歧視。算法決策者之所以會(huì)產(chǎn)生這種歧視，其原因主要在于他們的“冗余編碼”。[2]這種關(guān)聯(lián)性的篩選會(huì)使一些心懷不軌的人利用該原理，通過(guò)數(shù)據(jù)畫像技術(shù)從行為數(shù)據(jù)中識(shí)別出分析對(duì)象的某些類型特征，從而做出對(duì)其不利的評(píng)價(jià)，也即為了獲得該結(jié)果而反向推導(dǎo)出特征，再利用該特征進(jìn)行篩選，從而規(guī)避掉法律明文禁止的種族、民族、性別等歧視。[3]對(duì)于該種歧視，最直接的解決辦法就是公開(kāi)算法運(yùn)作的內(nèi)容。但需注意的是，公開(kāi)并不意味著不加區(qū)分的公開(kāi)，因?yàn)樗惴Q策的內(nèi)容往往與特定的某個(gè)人或某類人有關(guān)。即使是完全公正的算法決策的公開(kāi)，在未作出正確定論之前也會(huì)使無(wú)辜的某個(gè)人或某類人處于輿論的中心，受到傷害。因此，一般而言只需對(duì)涉及的相關(guān)人進(jìn)行公開(kāi)，特別嚴(yán)重時(shí)也需要在公開(kāi)時(shí)注意保護(hù)被算法決策相關(guān)人的個(gè)人信息。

在偏見(jiàn)代理的算法歧視中，算法決策人在大部分情況下主觀上并沒(méi)有歧視的目的，歧視的產(chǎn)生是因?yàn)榧夹g(shù)與數(shù)據(jù)審核上的一些問(wèn)題。因而算法決策若只是適用于社會(huì)經(jīng)濟(jì)權(quán)利，其手段與目的上具有合理性，屬于合理差別的范圍；但若運(yùn)用于如量刑或者與公民各項(xiàng)基本權(quán)利相關(guān)的情況時(shí)，則應(yīng)當(dāng)謹(jǐn)慎地適用，除非能有百分百把握可以避免產(chǎn)生偏見(jiàn)代理的算法歧視。如果無(wú)法排除算法決策人是否具有主觀歧視的因素時(shí)，此時(shí)偏見(jiàn)代理的算法歧視與下文特征選擇的算法歧視實(shí)際上只是明示歧視與隱性歧視的區(qū)別。

二、特征選擇的算法歧視對(duì)憲法平等原則的挑戰(zhàn)

算法決策主要是對(duì)大數(shù)據(jù)進(jìn)行的分析，而分析標(biāo)準(zhǔn)的選取、賦值以及分類方法實(shí)際上都是人為設(shè)定的，摻雜著人的主觀選擇，[4]由此便產(chǎn)生了特征選擇的算法歧視。特征選擇的歧視直接將帶有歧視含義的敏感屬性輸入系統(tǒng)，是傳統(tǒng)歧視模式在網(wǎng)絡(luò)社會(huì)中的一種反映，[2]即相較于傳統(tǒng)歧視模式而言只是介入了大數(shù)據(jù)、算法等因素。例如在“Google算法歧視案”中，人們搜索“非洲裔美國(guó)人”相關(guān)名稱時(shí)，往往會(huì)顯示更多的與犯罪相關(guān)的信息等。[2]

算法預(yù)測(cè)是通過(guò)過(guò)去來(lái)預(yù)測(cè)未來(lái)，也可以說(shuō)算法預(yù)測(cè)模型表面上是面向未來(lái)的，實(shí)質(zhì)上是面向過(guò)去的。[1]也因如此，特征選擇的算法歧視會(huì)加重統(tǒng)計(jì)性歧視，因?yàn)樵谶M(jìn)行特征選擇時(shí)會(huì)加重決策者對(duì)于被納入該范圍的人的調(diào)查與研究，將會(huì)獲得更多的負(fù)面信息，從而加重決策者的固有偏見(jiàn)。例如，Google案中的算法可能會(huì)增加對(duì)非洲裔申請(qǐng)者犯罪背景的調(diào)查次數(shù)，因?yàn)榉怖迷撍惴êY選的人會(huì)認(rèn)為非洲裔申請(qǐng)者曾犯罪以及今后犯罪的可能性會(huì)比普通人高，會(huì)加大對(duì)于非洲裔申請(qǐng)人的了解與驗(yàn)證，并隨著調(diào)查次數(shù)的增加，會(huì)挖掘出非洲裔人群更多的犯罪記錄，同樣也會(huì)減弱其他人群犯罪比率，加劇偏見(jiàn)的惡性循環(huán)。[2]在這種算法的作用下產(chǎn)生的歧視難以因?yàn)閮?yōu)秀的個(gè)體而改變，人們會(huì)認(rèn)為這個(gè)優(yōu)秀的個(gè)體是偶然存在的而不會(huì)去反思是否應(yīng)當(dāng)以這個(gè)特征劃分群體，畢竟對(duì)于偶然的歧視來(lái)說(shuō)，形成固板認(rèn)識(shí)是更為嚴(yán)重的，因而對(duì)于一個(gè)群體而言其損害后果更加嚴(yán)重。[3]

特征選擇的算法只有當(dāng)基于被特定人考慮而做的選擇時(shí)，才是符合合理差別待遇理念的，其他特征選擇的算法則是明顯不符合憲法所規(guī)定的平等內(nèi)涵。特征選擇的算法往往是最赤裸的歧視，對(duì)于該種歧視的應(yīng)對(duì)方案首先是對(duì)算法本身的屏蔽，即在技術(shù)允許的情況下，應(yīng)當(dāng)對(duì)算法程序加一道“防火墻”，對(duì)于算法決策者的決策進(jìn)行自檢；其次仍然是公開(kāi)，公開(kāi)算法決策者的選擇內(nèi)容與算法決策的運(yùn)算過(guò)程，算法決策者會(huì)因?yàn)閼峙鹿_(kāi)這一行為可能帶來(lái)的不利后果，而謹(jǐn)慎進(jìn)行特征選擇，放棄作出歧視行為。

三、大數(shù)據(jù)“殺熟”對(duì)憲法平等原則的挑戰(zhàn)

大數(shù)據(jù)信息分析是人工智能發(fā)展到一定程度的產(chǎn)物，除了專門的研究者外，普通人幾乎不了解第三方正在收集多少有關(guān)自己的信息以及何種情況下自己個(gè)人信息會(huì)被收集。[5]也正因如此，公眾對(duì)于數(shù)據(jù)收集者如何運(yùn)用數(shù)據(jù)進(jìn)行“殺熟”更是毫不知情。中國(guó)消費(fèi)者協(xié)會(huì)曾揭露了現(xiàn)實(shí)中部分?jǐn)?shù)據(jù)擁有者對(duì)數(shù)據(jù)的不當(dāng)利用，也點(diǎn)醒了大部分公眾，使其意識(shí)到自身權(quán)益正在被侵害，需要加大保護(hù)個(gè)人信息的力度。

大數(shù)據(jù)“殺熟”中的價(jià)格歧視往往是利用新老客戶、不同地區(qū)消費(fèi)、客戶瀏覽次數(shù)等條件，制造相同產(chǎn)品不同價(jià)格。例如，會(huì)員用戶反而比普通用戶價(jià)格更貴，高檔手機(jī)付費(fèi)更多，多次瀏覽頁(yè)面用戶的商品價(jià)格比第一次瀏覽用戶的商品價(jià)格貴等。[2]Ezrachi和Stucke的一項(xiàng)研究對(duì)歧視價(jià)格的形成做過(guò)一個(gè)表述：掌握大數(shù)據(jù)的企業(yè)可以利用數(shù)據(jù)庫(kù)建設(shè)輔助自主學(xué)習(xí)算法，實(shí)現(xiàn)優(yōu)化行為、定向廣告、制作個(gè)性化促銷信息以及定價(jià)工作，通過(guò)機(jī)器學(xué)習(xí)和跨設(shè)備進(jìn)行用戶定位追蹤，將“大數(shù)據(jù)”轉(zhuǎn)化為“智能數(shù)據(jù)”，其所掌握的顧客個(gè)人信息數(shù)據(jù)越多，越有利于定價(jià)算法更好地預(yù)測(cè)消費(fèi)者的行為和喜好，進(jìn)而實(shí)現(xiàn)價(jià)格歧視。[6](P113-169)

特定推送是指人們?cè)诰€上交易過(guò)程中往往會(huì)形成瀏覽、收藏、下單、評(píng)價(jià)等記錄，[2]甚至有些商家利用監(jiān)聽(tīng)的形式獲取信息?；ヂ?lián)網(wǎng)商家便利用這些大數(shù)據(jù)，尋找出自身用戶的喜好或者尋找適合自己所推送內(nèi)容的客源。例如，當(dāng)我們近段時(shí)間特別關(guān)注某些問(wèn)題，并通過(guò)搜索、聊天或談話等暴露出這些關(guān)注點(diǎn)時(shí)，手機(jī)上的應(yīng)用軟件反應(yīng)極其靈敏，即會(huì)彈出相關(guān)的廣告，吸引你的目光。

不論是價(jià)格歧視還是特定推送，其實(shí)都是將人們進(jìn)行分類，不同的人給定不同的內(nèi)容。這個(gè)看似合理的行為，實(shí)際上是對(duì)平等原則的挑戰(zhàn)。價(jià)格歧視毫無(wú)疑問(wèn)，讓某一特定的群體支付了原本無(wú)需如此高昂的價(jià)格，是不符合憲法規(guī)定的平等內(nèi)容的，其主要問(wèn)題是違反了同品同價(jià)、同質(zhì)同價(jià)的市場(chǎng)交易一般規(guī)則。[7]在“米龍與云南世博集團(tuán)有限公司、昆明世博園股份有限公司消費(fèi)索賠糾紛案”①中，法院在承認(rèn)世博園按照消費(fèi)者的不同地區(qū)來(lái)源確定不同的消費(fèi)價(jià)格是一種價(jià)格歧視，為不同的公民創(chuàng)造了不同的消費(fèi)條件和機(jī)會(huì)時(shí)，也指出該價(jià)格歧視因被告的告知行為而成為合法行為。因?yàn)楸桓嬉呀?jīng)充分履行了告知義務(wù)，并沒(méi)有侵犯消費(fèi)者自主選擇是否進(jìn)行消費(fèi)的權(quán)利。而原告在已知該票價(jià)存在差異的情況下仍然購(gòu)票的行為，足以表明其自愿接受差別票價(jià)的待遇。[8]那么這個(gè)案件是否能夠?yàn)樗惴▋r(jià)格歧視做開(kāi)脫理由呢？其實(shí)并不能如此。該案中有一個(gè)非常重要的區(qū)別點(diǎn)：被告聲稱充分履行了告知義務(wù)，其實(shí)際上并沒(méi)有剝奪原告自主選擇權(quán)，票價(jià)區(qū)分是為了促進(jìn)本地游客的消費(fèi)，是合理差別對(duì)待的范圍。但是算法價(jià)格歧視是隱性的，價(jià)高的購(gòu)買者并不知道還有價(jià)低的購(gòu)買者的存在。在這類購(gòu)買者眼中認(rèn)為該商品就是這個(gè)價(jià)格，實(shí)際上剝奪了其知情權(quán)與選擇權(quán)，并不是一種合理的差別對(duì)待，不符合憲法規(guī)定的平等內(nèi)容。同樣，雖然特定推送實(shí)際上是基于人們的搜索、聊天等自身行為而進(jìn)行的推送，但是無(wú)法排除算法決策者利用一些關(guān)聯(lián)來(lái)掩蓋自身的歧視。因此，如果特定推送只是提供定制化服務(wù)，那么應(yīng)當(dāng)設(shè)置提示讓消費(fèi)者知曉，這種特定推送才是正常的技術(shù)手段，并沒(méi)有挑戰(zhàn)平等原則。

想要控制價(jià)格歧視和特定推送，首先要控制大數(shù)據(jù)的收集。對(duì)于大數(shù)據(jù)的收集來(lái)說(shuō)，最嚴(yán)峻的問(wèn)題就是被收集者根本不知道自己的信息被收集，并且大多數(shù)人還存在一種消極態(tài)度，即對(duì)于信息的保護(hù)并不在意或有部分人認(rèn)為自己的信息已經(jīng)泄露，無(wú)需再費(fèi)力去保護(hù)。這些因素的累加，給大數(shù)據(jù)的收集提供了極大便利。因此，一是要提高公眾對(duì)于自己個(gè)人信息保護(hù)的意識(shí)，通過(guò)宣傳個(gè)人信息保護(hù)的重要性讓公眾能夠認(rèn)真對(duì)待個(gè)人信息，防止個(gè)人信息從自己處泄露，減少他人收集信息的渠道。二是要控制信息收集者對(duì)信息的收集，例如有些超市在設(shè)置存儲(chǔ)柜時(shí)，使消費(fèi)者不得不允許其收集人臉信息，這具有一定強(qiáng)制性但并不具有必需性，應(yīng)當(dāng)加以控制，減少個(gè)人信息丟失的途徑。三是構(gòu)建合理機(jī)制與完善相關(guān)法律規(guī)定。例如《在線旅游經(jīng)營(yíng)服務(wù)管理暫行規(guī)定》第十五條規(guī)定了在線旅游經(jīng)營(yíng)者不得濫用大數(shù)據(jù)分析等技術(shù)手段，侵犯旅游者合法權(quán)益；《個(gè)人信息保護(hù)法》第十三條到第十八條規(guī)定了信息處理者處理信息的核心內(nèi)容是要征求信息所有者的“同意”。其次是控制大數(shù)據(jù)的傳播?！秱€(gè)人信息保護(hù)法》中對(duì)信息轉(zhuǎn)移做了明確規(guī)定，因合并、分立而需要數(shù)據(jù)轉(zhuǎn)移的，需要告知信息所有者，并說(shuō)明使用該數(shù)據(jù)的目的以及處理方式是否變化；如果數(shù)據(jù)轉(zhuǎn)移牽涉到交易平臺(tái)的，應(yīng)要求交易平臺(tái)進(jìn)行基礎(chǔ)審核。最后是控制大數(shù)據(jù)的擁有者。對(duì)于不帶有強(qiáng)制性的信息數(shù)據(jù)，可以由私人進(jìn)行保管；但對(duì)于一些帶有強(qiáng)制性的、必須透露個(gè)人信息的數(shù)據(jù)，應(yīng)當(dāng)由國(guó)家進(jìn)行保管，而不是簡(jiǎn)單交由某個(gè)私人企業(yè)。

四、結(jié)語(yǔ)

算法的發(fā)展對(duì)人類有著極大的進(jìn)步作用，但也不能急功近利，在發(fā)展的同時(shí)要不斷關(guān)注其帶來(lái)的問(wèn)題，不能讓有利的發(fā)展反而侵犯了最基本的權(quán)利。偏見(jiàn)代理、特征選擇和大數(shù)據(jù)“殺熟”等三種基本形態(tài)的算法歧視不斷涌現(xiàn)，并不斷挑戰(zhàn)憲法中的平等原則。算法歧視是真實(shí)存在的，并且具有極強(qiáng)的隱蔽性，要通過(guò)明晰判斷標(biāo)準(zhǔn)，時(shí)刻注意算法歧視到底是在合理差別對(duì)待范圍內(nèi)，還是已經(jīng)挑戰(zhàn)平等的內(nèi)容。一是要判斷決策者的主觀意愿，是否存在歧視的主觀故意；二是防止有人利用算法的缺陷，通過(guò)一些其他方式掩蓋歧視的存在。因此，如果有侵害權(quán)利的現(xiàn)象出現(xiàn)，就必須根據(jù)算法決策的適用范圍、可能影響的合法權(quán)益去判斷使用該算法決策的手段與目的是否符合合理差別對(duì)待原則，以及該種歧視后果可否避免。

在算法歧視所帶來(lái)的平等挑戰(zhàn)的應(yīng)對(duì)上，一是需要使被收集者知情，可以在每次收集前通過(guò)提示的形式告知，并且該收集除非是為了公共利益，否則要有可以選擇是否告知信息的選項(xiàng)；二是數(shù)據(jù)收集時(shí)需具有合理性與必要性，是為了提高服務(wù)水平或是必須獲取該信息才可運(yùn)行時(shí)才能進(jìn)行數(shù)據(jù)收集；三是需要加大對(duì)數(shù)據(jù)的審查，在使用該數(shù)據(jù)時(shí)需要保證數(shù)據(jù)的正確性，至少是高度可能的情形；四是不能利用大數(shù)據(jù)進(jìn)行不公正或者違法的事情，數(shù)據(jù)的利用上必須合法合理；五是通過(guò)公開(kāi)算法、所選用的數(shù)據(jù)庫(kù)內(nèi)容和選擇理由，增加算法決策者的敬畏心，使被篩選者了解原因，應(yīng)對(duì)“算法黑箱”問(wèn)題；六是完善監(jiān)管體系，對(duì)于一些影響不大或者雖有影響但相較于訴訟成本而言還可忍受的違法收集行為，要有相對(duì)應(yīng)的維權(quán)途徑。

注釋：

①云南省昆明市中級(jí)人民法院(2007)昆民五終字第363號(hào)民事判決書。