劉鑫 王超群

【摘 ? ?要】算法歧視可以分為設(shè)計(jì)者偏見型、數(shù)據(jù)瑕疵型、技術(shù)缺陷型以及經(jīng)濟(jì)利益驅(qū)動(dòng)型四類。由于成因不同，治理路徑也相應(yīng)存在差異，主要有三條治理路徑：一是倫理治理，強(qiáng)調(diào)遵循“算法透明原則”和“以人為本”的設(shè)計(jì)理念;二是技術(shù)治理，積極開發(fā)各種在不降低預(yù)測(cè)結(jié)果準(zhǔn)確性的前提下減少人工智能偏見的工具;三是法律治理，出臺(tái)相關(guān)的法律條文進(jìn)行規(guī)范。

【關(guān)鍵詞】算法歧視;智能傳播;大數(shù)據(jù)

【基金項(xiàng)目】湖南省哲學(xué)社科基金項(xiàng)目“人工智能環(huán)境下的媒介倫理規(guī)范建設(shè)研究”（項(xiàng)目編號(hào)：18YBA157）。

隨著人工智能技術(shù)在就業(yè)、教育、市場(chǎng)消費(fèi)、商業(yè)營(yíng)銷等各領(lǐng)域的普及，價(jià)格歧視、種族歧視、性別歧視等算法歧視問題也日漸凸顯。算法歧視建立在人工智能技術(shù)的基礎(chǔ)上，相較于人類歧視存在較為明顯的自身特征。其一，算法歧視的依據(jù)來自于數(shù)據(jù)挖掘。通常人類歧視基于宗教信仰、經(jīng)濟(jì)狀況、種族性別、受教育程度等顯性特征，但算法歧視除此之外還會(huì)根據(jù)用戶網(wǎng)頁(yè)瀏覽記錄、行車路線等生活習(xí)慣、消費(fèi)行為等主要信息數(shù)據(jù)來挖掘用戶的隱性特征。其二，算法歧視表現(xiàn)得更為隱蔽。算法可以輕而易舉地規(guī)避法律所明文禁止的種族歧視、性別歧視等，在缺乏算法公開、知情權(quán)不被保障的情況下，用戶很難自主發(fā)現(xiàn)算法歧視的存在。

一、算法歧視的分類及成因分析

現(xiàn)有研究通常把算法歧視的原因歸結(jié)為數(shù)據(jù)自身存在缺陷和算法技術(shù)缺陷這兩方面，[1]但隨著算法歧視現(xiàn)象的多樣化和復(fù)雜化不斷增強(qiáng)，算法歧視的成因也更加多元。根據(jù)成因的不同，主要將算法歧視分為四類：

（一）設(shè)計(jì)者偏見型算法歧視

指算法設(shè)計(jì)中因嵌入設(shè)計(jì)者自身偏見而引發(fā)的算法歧視。搜索引擎與AI面部識(shí)別方面出現(xiàn)的算法歧視屬于這一類典型，如用谷歌搜索“白癡”時(shí)會(huì)出現(xiàn)特朗普的照片，搜索“black girl”彈出來的大部分都是色情圖;用百度搜索“胸膜”彈出來的竟然是穿著比基尼的模特胸部圖片。當(dāng)然這些在被發(fā)現(xiàn)后都一一修復(fù)了。又如2015年谷歌照片給黑人照片貼上“大猩猩”的標(biāo)簽，2018年亞馬遜開發(fā)了基于云圖像分析技術(shù)的Rekognition算法，結(jié)果在測(cè)試中發(fā)現(xiàn)它錯(cuò)誤地將其中 28 人識(shí)別成了罪犯，這28人中有38%的比例是有色人種。無(wú)獨(dú)有偶，據(jù)外媒gizmodo報(bào)道稱國(guó)外微信平臺(tái)將“black foreigner”（外國(guó)黑人） 自動(dòng)翻譯成“黑鬼”。另外，就業(yè)應(yīng)聘等領(lǐng)域也常常出現(xiàn)這一類的算法歧視。如據(jù)調(diào)查，人力資源公司Kronos在招聘時(shí)通過算法智能篩選把有心理疾病史的申請(qǐng)者拒之門外;施樂公司根據(jù)申請(qǐng)者提供的地址，如位于市內(nèi)某黑人聚居區(qū)，便會(huì)將其識(shí)別為有色人種并淘汰。

設(shè)計(jì)者偏見型算法歧視主要表現(xiàn)為設(shè)計(jì)者將自身偏見納入到了算法程序之中，從事算法編程的科研人員以男性、白種人居多，因此算法很容易沾染上程序員的主觀意識(shí)與思維慣性，也突出表現(xiàn)為傳統(tǒng)社會(huì)中的性別歧視、種族歧視、宗教信仰歧視等。所以說，這一類算法歧視是人類歧視在智能傳播領(lǐng)域的延續(xù)，本質(zhì)上反映的仍然是人類社會(huì)固有的偏見與刻板印象。

（二）數(shù)據(jù)瑕疵型算法歧視

指數(shù)據(jù)存在瑕疵所帶來的算法歧視。2014年亞馬遜公司開發(fā)了一套“算法篩選系統(tǒng)”來幫助亞馬遜在招聘的時(shí)候篩選簡(jiǎn)歷，結(jié)果發(fā)現(xiàn)算法對(duì)男性應(yīng)聘者有著明顯的偏好，當(dāng)算法識(shí)別出“女性”相關(guān)詞匯的時(shí)候，便會(huì)給簡(jiǎn)歷相對(duì)較低的分?jǐn)?shù);算法甚至?xí)苯咏o來自于兩所女校的學(xué)生降級(jí)。2016年舉行的首屆“AI國(guó)際選美比賽”，因?yàn)榻^大多數(shù)獲獎(jiǎng)?wù)叨际前兹诉x手而為人們所詬病。

究其原因，前者是因?yàn)楣こ處熢趯?duì)該算法進(jìn)行訓(xùn)練時(shí)，用的是過去已經(jīng)被亞馬遜錄用員工的簡(jiǎn)歷，而過去亞馬遜錄用了更多的男性員工;而后者是因?yàn)橛脕磉M(jìn)行算法訓(xùn)練的照片所包含的非白人面孔少之又少。這種情況與癥結(jié)歸于“帶有歧視的數(shù)據(jù)”。當(dāng)用于學(xué)習(xí)和訓(xùn)練的數(shù)據(jù)帶有偏見時(shí)，人工智能在前期深度機(jī)器學(xué)習(xí)過程中采用了大量帶偏見的數(shù)據(jù)，則其后期預(yù)測(cè)和判斷得出的結(jié)論便必然免不了帶有歧視的色彩。

（三）技術(shù)缺陷型算法歧視

指算法技術(shù)本身是中立的，但由于算法技術(shù)自身的設(shè)計(jì)缺陷而導(dǎo)致的算法歧視。如果說設(shè)計(jì)者偏見型算法歧視通常是“故意為之”的話，那么技術(shù)缺陷型算法歧視通常是“無(wú)意為之”。如2016年微軟聊天機(jī)器人Tay上線一天就被教會(huì)種族歧視，設(shè)計(jì)它的工程師本身并沒有種族、性別、年齡歧視等傾向，但是與Tay聊天的網(wǎng)友很大一部分是種族歧視者。Tay只是被設(shè)置向周圍環(huán)境學(xué)習(xí)，它并不能識(shí)別哪些言論是正確的，哪些言論是錯(cuò)誤的，它也不能決定保留或丟棄哪些數(shù)據(jù)，于是最終學(xué)會(huì)了種族歧視言論，上線僅一天就被迫下線。

（四）經(jīng)濟(jì)利益驅(qū)動(dòng)型算法歧視

指算法的使用者從經(jīng)濟(jì)利益最大化角度優(yōu)先選擇對(duì)自己有利的算法，而不在乎算法會(huì)帶來各種各樣的歧視。其中最典型的當(dāng)屬價(jià)格歧視，即電商根據(jù)用戶的消費(fèi)習(xí)慣和消費(fèi)能力，計(jì)算出用戶愿意為商品付出的最高價(jià)格，在定價(jià)方面因人而異，壓榨每個(gè)消費(fèi)者的全部消費(fèi)剩余，通常表現(xiàn)為向價(jià)格敏感度不高的老客戶收取更高的費(fèi)用，即俗稱的“大數(shù)據(jù)殺熟”。

比如約車軟件，針對(duì)同一出發(fā)點(diǎn)、同一目的地的顧客，對(duì)使用蘋果手機(jī)的顧客收費(fèi)要比使用安卓手機(jī)的顧客高出將近10%;又比如購(gòu)買同一張機(jī)票，攜程老用戶的購(gòu)買價(jià)格要比新用戶貴很多。

二、算法歧視的治理路徑

不同類型的算法歧視，其成因自然不同，故在治理路徑上應(yīng)當(dāng)對(duì)癥下藥，目前可行的治理路徑有三條。

（一）倫理治理路徑

目前支持這一治理路徑的研究者們提出的方案各有側(cè)重點(diǎn)。首先，普遍贊同“算法透明原則”作為一種職業(yè)準(zhǔn)則在算法設(shè)計(jì)與實(shí)施過程中的運(yùn)用。算法透明意味著算法設(shè)計(jì)者需要主動(dòng)公開算法的運(yùn)行機(jī)制與設(shè)計(jì)意圖，接受公眾監(jiān)督。其次，提出將“機(jī)會(huì)平等原則”（Equality of Opportunity）納入到算法系統(tǒng)的設(shè)計(jì)中去，比如設(shè)計(jì)一個(gè)機(jī)會(huì)平等的技術(shù)模型，提出滿足平等和效率平衡的算法技術(shù)約束，并開發(fā)了“歧視指數(shù)”，對(duì)算法技術(shù)的歧視行為提供了評(píng)判標(biāo)準(zhǔn)。[2]再次，要求算法管理者和設(shè)計(jì)者要有“人文主義精神”，算法管理者要堅(jiān)持“以人為本”，謹(jǐn)記模型訓(xùn)練的目標(biāo)不應(yīng)該是壓榨大眾而應(yīng)該是幫助大眾;算法設(shè)計(jì)者應(yīng)該加強(qiáng)自身的職業(yè)素養(yǎng)，在進(jìn)行算法編寫時(shí)必須要清楚地意識(shí)到自身可能存在偏見并盡量避免帶有偏見，以更加負(fù)責(zé)任的態(tài)度對(duì)待自身的工作。