李俊麒

（上海交通大學(xué)，上海 200240）

導(dǎo)語

2019年，聯(lián)合國(guó)教科文組織發(fā)布了一篇報(bào)告名為《I’d blush if I could》，揭示了人工智能研發(fā)和應(yīng)用中的性別差距和性別偏見問題。[1]AI語音助手包括亞馬遜的語音助手Alexa和蘋果語音助手Siri等幾乎所有語音助手都是女性的名字。[2]阿里、小米、百度AI語音助手默認(rèn)語音都是溫柔悅耳的女聲，她們幾乎都被設(shè)定為相同的、謙遜和順從的女性形象。2014年，亞馬遜將過去10年收到的簡(jiǎn)歷作為數(shù)據(jù)庫(kù)，開發(fā)了一款篩選簡(jiǎn)歷的AI工具，該工具將含有“女性”的所有簡(jiǎn)歷降級(jí)。2019年11月，蘋果和高盛共同打造的Apple Card因在設(shè)定配額算法時(shí)涉嫌性別歧視而被美國(guó)監(jiān)管機(jī)構(gòu)調(diào)查。

對(duì)于出現(xiàn)的這個(gè)現(xiàn)象，斯坦福大學(xué)教授Brian Arthur在《技術(shù)的本質(zhì)》一書中提到，“無論我們是否注意到它，在我們歷史的這個(gè)階段，科技已經(jīng)讓人們感到壓抑和困擾，算法技術(shù)和人工智能的高速發(fā)展正在威脅著性別平等的共識(shí)愿景。”[3]算法日益成為信息傳播的主力軍，然而其性別歧視潛力變得越來越明顯。算法開發(fā)的簡(jiǎn)化特性忽視了女性社會(huì)的多樣性，難以避免地產(chǎn)生了技術(shù)先存偏見和數(shù)據(jù)偏見。傳統(tǒng)媒體對(duì)女性的“男性凝視”（Male gaze）演變?yōu)樗惴▊鞑サ摹按a凝視”（Code gaze），數(shù)字歧視日益嚴(yán)重。由此可見，算法性別歧視的治理作為新時(shí)代的科技倫理問題亟待關(guān)注。

1.數(shù)字歧視

數(shù)字歧視（Digital discrimination）是指基于算法自動(dòng)決策形成的直接或間接的歧視行為。日常生活中，越來越多的決策被委托給算法，從申請(qǐng)的工作到購(gòu)買的產(chǎn)品、閱讀的新聞以及瀏覽的網(wǎng)頁，越來越多的重要決定默認(rèn)委托給算法系統(tǒng)進(jìn)行處理。有時(shí)候算法做出的自動(dòng)化決策，包括基于機(jī)器學(xué)習(xí)的決策，被認(rèn)為是完美無缺的，沒有人類的大部分缺點(diǎn)（例如疲勞或個(gè)人偏見）。并且與人類做出的決定相比，算法做出的決定較少經(jīng)過仔細(xì)審查。然而，自動(dòng)化決策，尤其是機(jī)器學(xué)習(xí)算法，很可能會(huì)繼承程序員以前的決策偏見、用戶偏見或社會(huì)偏見，這會(huì)導(dǎo)致歧視性結(jié)果。

目前國(guó)外學(xué)者對(duì)數(shù)字歧視的研究和證明主要集中在性別歧視、種族歧視、收入歧視、地域歧視等方面，而國(guó)內(nèi)在這個(gè)領(lǐng)域的研究還比較欠缺，因此文章將以性別歧視為例，以紅色藥丸論壇為案例研究對(duì)象，運(yùn)用語言偏見可視化工具探究詞匯嵌入模型能在多大程度上追蹤性別偏見，以揭露該論壇中的數(shù)字性別歧視程度，并對(duì)研究結(jié)果進(jìn)行分析和批判性思考。

2.紅色藥丸論壇

紅色藥丸是Reddit上的一個(gè)在線論壇，于2012年10月建立，超過30萬人訂閱了該頻道。該論壇的名稱來自一部名The Matrix的電影。故事的主角被要求在藍(lán)色藥丸和紅色藥丸之間做出選擇。如果他選擇藍(lán)丸，他將繼續(xù)舒適但虛假的生活；如果他選擇紅色藥丸，他將身處真實(shí)的但更黑暗的世界。最終，他吞下紅色藥丸，并承認(rèn)自己生活在一個(gè)有許多真相并奴役著他的世界。紅色藥丸論壇旨在揭示女權(quán)主義的“真實(shí)本質(zhì)”，即女權(quán)主義只是壓制男性的壓迫工具。它的訂閱者認(rèn)為該論壇是在男性缺乏積極認(rèn)同日益嚴(yán)重的文化中討論性別策略的場(chǎng)所，在一定程度上幫助男性在社會(huì)中重新獲得應(yīng)有的地位。[4]

論壇主要采用的是KARMA算法，用戶可以在紅色藥丸論壇中創(chuàng)建話題，且針對(duì)感興趣的各種主題發(fā)起話題討論。用戶通過發(fā)表評(píng)論并在一個(gè)帖子上投贊成票或反對(duì)票來增加或減少該帖子的分?jǐn)?shù)，具有更高分?jǐn)?shù)的帖子更容易被其他用戶看到，而算法極少推送分?jǐn)?shù)低的帖子。投票系統(tǒng)引導(dǎo)著熱門用戶主導(dǎo)對(duì)話，同時(shí)防止各種對(duì)論壇的負(fù)面想法。此外，話題的版主為論壇創(chuàng)建了行為準(zhǔn)則，對(duì)用戶在該話題下發(fā)表的觀點(diǎn)進(jìn)行獎(jiǎng)勵(lì)或制裁。對(duì)紅色藥丸論壇主流價(jià)值觀持積極態(tài)度的用戶將成為 “紅色藥丸精英”，版主通過賦予其特殊標(biāo)志向其他用戶展示該用戶的態(tài)度和立場(chǎng)；而對(duì)紅色藥丸論壇主流價(jià)值觀持反對(duì)意見的用戶將被阻止再次訪問論壇。因此，版主會(huì)盡可能選擇最適合討論紅色藥丸主題的合格用戶，通過給予獎(jiǎng)勵(lì)來激勵(lì)他們不斷輸出符合紅色藥丸主題的觀點(diǎn)。

男性權(quán)利是紅色藥丸論壇最受歡迎的話題。該話題鼓吹男性正面臨著諸多不平等的狀況。性別意識(shí)形態(tài)在于群體中的個(gè)體試圖獲得該群體其他成員的社會(huì)認(rèn)可。如果這些個(gè)體更極端，那么他們將獲得更多來自這個(gè)群體的認(rèn)可，導(dǎo)致群體接受越來越多的極端意見，從而激化性別偏見。近年來，紅丸論壇中存在大量對(duì)女性的極端看法，已成為滋生性別對(duì)立的溫床，因此論壇中可能存在著數(shù)字歧視。本文通過語言偏見可視化工具分析該論壇是否存在基于性別的數(shù)字歧視，以及歧視程度如何。

3.語言偏見可視化工具

3.1 概述

人工智能的發(fā)展讓機(jī)器深度學(xué)習(xí)成為發(fā)現(xiàn)語言偏見的重要手段，該領(lǐng)域最著名的工具之一就是DADD語言偏見可視化工具（Language Bias Visualiser Discovering and Attesting Digital Discrimination）。DADD通過文本嵌入模型（Words Embedding Model）從互聯(lián)網(wǎng)上捕獲數(shù)據(jù)集，以交互的方式處理龐大文本數(shù)據(jù)集中的男性和女性固有偏見，追蹤和匯總不同形式的數(shù)字歧視，從數(shù)據(jù)庫(kù)中的用戶數(shù)據(jù)中檢測(cè)含有潛在或隱含偏見的文本，將文本轉(zhuǎn)換為高維向量，捕捉文本之間的語義關(guān)系，然后通過聚類算法對(duì)數(shù)據(jù)集進(jìn)行分類，再通過語義分析系統(tǒng)標(biāo)記更多的概念偏見。[5]本文對(duì)紅色藥丸的文本數(shù)據(jù)集中的偏見進(jìn)行了偏見詞頻率、詞語的偏見程度、偏見詞的分布和文本偏見極性分析，深入了解該群體中存在的偏見。

3.2 偏見詞分析

3.2.1 最常見的偏見詞

下面的詞云圖片展示了紅色藥丸論壇中對(duì)男性和女性最常用的偏見詞匯。單詞越黑越大，說明該單詞出現(xiàn)的頻率越高。

圖1 最常見的男性（左）和女性（右）偏見概念詞對(duì)比

3.2.2 偏見程度最高的詞

下表對(duì)比了從300個(gè)最具有偏見的詞中選出的前10個(gè)男性偏見詞和女性偏見詞。Bias表示對(duì)每個(gè)性別的偏見程度，范圍從1（強(qiáng)偏見）到0（無偏見）。由下表可知對(duì)女性偏見度的平均值為0.849，高于男性的偏見度的0.764，這說明對(duì)女性的偏見程度要明顯大于男性。

表1 偏見程度最高的詞對(duì)比表（Top10）

3.2.3 文本嵌入模型

下面的散點(diǎn)圖顯示了單詞的嵌入表示。它們是由文本嵌入模型學(xué)習(xí)，訓(xùn)練紅色藥丸論壇中的所有文本以獲得結(jié)果，同時(shí)使用t-SNE將所有嵌入轉(zhuǎn)換為兩個(gè)主要維度。語義相關(guān)的詞在圖中挨得很近，語義無關(guān)的詞相距更遠(yuǎn)。每個(gè)單詞的大小與其在數(shù)據(jù)集中的頻率有關(guān)，出現(xiàn)頻率更高的詞周圍的圓圈更大，顯示出了嵌入空間中男性和女性偏向詞的分布。對(duì)男性來說，偏見詞更集中在第一和第四象限，相反對(duì)女性來說，在第二和第三象限中可以找到更多的偏見詞。

圖2 男（綠）女（橙）嵌入空間圖對(duì)比圖

3.2.4 文本偏見極性

文本見偏極性（Words Bias Polarity）表示文字的情感色彩，分為7個(gè)等級(jí)。數(shù)字從0.6到1表示非常正面；0.3到0.6表示正面；0.005到0.3表示輕微正面；-0.005到0.005表示中立；-0.3到-0.005表示輕微負(fù)面；-0.6到-0.3表示負(fù)面；-1到-0.6表示非常負(fù)面。下面兩個(gè)餅圖顯示了從紅色藥丸論壇中300個(gè)最有性別偏見的詞的語言偏見極性占比。

圖3 男（左）女（右）語言偏見極性占比

對(duì)于男性，89.16%的詞是中性的。非常正面、正面和輕微正面的詞分別占0.84%、4.27%和1.39%，而輕微負(fù)面、負(fù)面和強(qiáng)烈負(fù)面的詞分別為0.73%、3.61%和0.84%；對(duì)于女性，80.32%的詞是中性的，非常正面、正面詞和輕微正面的詞分別占0.9%、2.99%和2.13%，而輕微負(fù)面、負(fù)面和強(qiáng)烈負(fù)面分別為0.98%、3.68%和0.90%。由圖可見，男性的正面詞總占比要高于女性，女性受到更多負(fù)面偏見的影響。因此，紅色藥丸論壇中存在數(shù)字歧視，女性更容易受到負(fù)面偏見。

4.總結(jié)與討論

通過語言偏見可視化工具DADD，本研究發(fā)現(xiàn)了紅色藥丸論壇中存在的偏見概念，找出了最具象征意義的概念詞和學(xué)習(xí)了有偏見產(chǎn)生的過程。通過查找、追蹤和分析歧視詞，將其可視化之后從而準(zhǔn)確而清晰地對(duì)社會(huì)問題有更深入地理解和判斷。從橫向上看，本研究量化了性別偏見詞的數(shù)量和范圍，從而可以比較紅色藥丸論壇和其他論壇之間的歧視水平；從縱向來看，在不同的角度測(cè)試紅色藥丸論壇的性別偏見時(shí)會(huì)得到不同的結(jié)果，體現(xiàn)出性別偏見的發(fā)展趨勢(shì)如何。雨果曾說“俚語是語言中最多變但最重要的部分”。偏見詞可以反映一些社會(huì)問題，尤其是這些詞背后存在的各種歧視。本研究?jī)H以性別歧視為例進(jìn)行了分析，但社會(huì)上還存在其他如種族、收入、地域歧視等，這些歧視通常以不同的詞語呈現(xiàn)出來，這也將成為未來繼續(xù)探索的方向。

根據(jù)本研究，紅色藥丸論壇中男性存在著女性的偏見，背后的深層次原因值得反思。為什么網(wǎng)絡(luò)平臺(tái)的性別偏見如此之大？它的核心邏輯是什么？學(xué)者Amelita認(rèn)為大多數(shù)用戶只是孤獨(dú)、年輕或脆弱。[6]嚴(yán)格的監(jiān)管對(duì)局外人十分?jǐn)骋?，因此紅色藥丸論壇上的有毒信仰更容易引起一見鐘情的反感和仇恨。又因?yàn)樗麄兲贻p，還沒有形成自己的價(jià)值觀，很容易受極端言辭的影響。因此，相關(guān)主體該采取一些必要措施來減少用戶的數(shù)字性別歧視行為。

一是管理部門的監(jiān)管。相關(guān)管理部門應(yīng)該對(duì)網(wǎng)絡(luò)社區(qū)進(jìn)行合理的監(jiān)管，及時(shí)關(guān)閉宣揚(yáng)極端思想的社群，懲罰表達(dá)極端思想的用戶。同時(shí)還要加強(qiáng)性別教育，引導(dǎo)公民對(duì)性別有正確的認(rèn)識(shí)。[7]二是算法設(shè)計(jì)的優(yōu)化。一方面在算法設(shè)計(jì)過程中，算法工程師應(yīng)該全方位收集數(shù)據(jù)，增加數(shù)據(jù)的完整性，使其能夠充分體現(xiàn)男性和女性的社會(huì)生存狀況，避免大數(shù)據(jù)過度呈現(xiàn)造成的偏見。另一方面，可以在編碼過程中設(shè)計(jì)更具包容性的代碼，通過及時(shí)發(fā)現(xiàn)用戶在互動(dòng)中呈現(xiàn)的歧視行為，及時(shí)糾正已出現(xiàn)的歧視形式。[8]三是人工智能技術(shù)的透明化。通過明確用戶的算法機(jī)制有助于社會(huì)監(jiān)督確認(rèn)算法是否帶有偏見，以消除受眾對(duì)算法技術(shù)的過度信任或不信任；同時(shí)也有助于明晰責(zé)任范圍，追溯責(zé)任主體，提高算法工程師和相關(guān)平臺(tái)的責(zé)任感。[9]