(吉林大學 法學院，吉林 長春 130012)

我們正處于移動互聯(lián)網加速向智能互聯(lián)網時代轉型的關鍵期。Gartner公布的 2017 年重大科技發(fā)展趨勢也表明：“未來將是以智能為核心、通過數字化實現(xiàn)萬物互聯(lián)的時代”。[1]也就是說，借助人工方法進行智能操作的“互聯(lián)網 +”時代升級到一個將人工智能與互聯(lián)網結合更廣泛地連接萬物、更自主地捕捉信息、更智慧地分析信息、更精準地進行判斷、更主動地提供服務[2]的互聯(lián)網轉型升級新時代——智能互聯(lián)網時代。智能互聯(lián)網本質上是人工智能技術強化支撐的互聯(lián)網，自主算法將越來越左右著智能互聯(lián)網，而懸而未決的算法治理難題，將在互聯(lián)網的聯(lián)結網狀結構中迅速放大、無界擴展、問題歧生。

算法是人工智能決策的基礎，進入智能互聯(lián)網時代，算法將主宰著我們的生活并統(tǒng)治世界。在這種“算法時代”，在我們所能想象的任何領域，包括個人理財、醫(yī)療保健、招聘、住房、教育和政策等領域，算法都是人類決策的新權威，其影響力在互聯(lián)網聯(lián)結中將呈指數級增大，它決定著針對我們的新聞和產品的推薦、是否被雇傭或被解雇、貸款請求是否能得到批準，甚至幫助公共機構決定監(jiān)視和逮捕潛在威脅安全的犯罪人員。然而，在“互聯(lián)網 +”時代的針對目標廣告和其他在線服務的系統(tǒng)中已經暴露多年的算法歧視諸問題，在人工智能接管的智能互聯(lián)網時代，自動算法的不透明性、可解釋性差和無問責性，加上互聯(lián)網的萬物互聯(lián)功能的期待，算法歧視必然還是一個算法治理的重大問題。關鍵問題是很多國人對算法歧視還不甚了解，對算法還停留在算法是客觀的、公正的，算法可以重塑一個更加客觀的現(xiàn)實世界的觀念層面上，這可能與我國是一個歧視低敏感度的國家有關。學界對此問題研究也甚少[注]現(xiàn)今人工智能研究學術熱度高、熱量大、熱能擴散快，呈現(xiàn)出一哄而上、“土匪搶山頭”的學術研究態(tài)勢。而吊詭的是，學界對于現(xiàn)今人工智能領域面臨的最大問題的原因所在算法歧視，卻是炙熱中“內部受冷”，這種“逐末舍本、鉆天打洞”的學術悖反現(xiàn)象是值得深思的。學術期刊(包括人文社會科學期刊)應建立信息技術倫理和人權審查機制，堅持人性尊嚴本位原則，防止算法歧視。關于人工智能學術研究的“土匪搶山頭”說，參見楊學科《論人工智能時代的法學教育新挑戰(zhàn)、新機遇和新模式》，載《法學教育研究》，2018年第4期。，但這并不代表不是一個值得研究的學術問題，恰恰相反，在未來的智能互聯(lián)網時代，“知識極易擴散，科技倫理失靈尤為嚴重”[3]，這將是一個相當重要的問題。借用美國斯坦福大學人工智能專家杰瑞·卡普蘭(Jerry Kaplan)的比喻延伸一下：“機器學習對于互聯(lián)網而言，就像是魚和水的關系一樣，對魚來說就是要在汪洋大海當中游泳?！盵4]算法相當于魚兒最重要的呼吸器官魚鰓，魚鰓要通過過濾數據海水來呼吸，算法歧視相當于水不干凈了，魚鰓黑了，這樣魚兒也不可能健康了?！梆B(yǎng)魚先養(yǎng)水，治病先治鰓”，鑒此就可知道算法歧視治理的重要性了。

一、算法歧視產生的原因及其危害

算法是計算機科學領域的一個專業(yè)術語，指的是“有限、抽象、有效并且符合規(guī)律的復合控制結構，在一定的規(guī)則條件下完成特定的目的”[5]。在一定程度上，算法就是一組用來產生輸出的指令：用于決策的方法，用于尋找解決方案。在算法規(guī)則下，給定初始狀態(tài)或輸入數據，能夠得出所要求或期望的終止狀態(tài)或輸出數據。智能互聯(lián)網時代的算法更進一步，可以自主地根據統(tǒng)計模型或決策規(guī)則進行決策，而不需要明確的人工干預。這種智能算法的自主決策系統(tǒng)，被認為能夠為人類社會生活中的各種決策和事務提供徹底的客觀性、可靠性、公正性。但在理論和實踐上幾乎可以肯定的是，智能算法將會加速并放大現(xiàn)有的人類偏見、歧視觀念。

討論歧視的前提和研究共識是歧視在道德上是錯誤的，而且在廣泛的情況下，也應該是被法律禁止的，算法歧視亦然。對于算法歧視的定義，筆者所及資料范圍內尚未見到一個，為了后文討論的必要，筆者不揣淺陋，把算法歧視定義為算法在編碼、收集、選擇或使用數據訓練時，會出現(xiàn)直接或間接基于種族、膚色、性別、宗教、政治見解、民族、血統(tǒng)或社會出身等的區(qū)別、排斥或特惠的偏見現(xiàn)象。

世界范圍內，對算法歧視最早的討論應該始于1996年，美國學者巴蒂亞·弗里德曼(Batya Friedman)、海倫·尼森鮑姆(Helen Nissenbaum)基于實際案例探討了計算機系統(tǒng)中存在的三種類型的偏見：現(xiàn)有的、技術的和緊急的。偏見的根源在于社會制度、實踐和態(tài)度。技術偏見源于技術限制或考慮因素。緊急的偏見是在使用的環(huán)境中產生的。[6]2016年9月，國際權威學術刊物《自然》發(fā)表題為《大數據算法需要更多責任》的社論文章，文章指出，算法既帶來了信息和方便，也造成了很多隱性的不平等，甚至是偏見，對算法簡單過度的依賴存在嚴重缺陷。[7]2017年4月，美國《科學》雜志刊登的一項研究成果，通過詞向量事實聯(lián)想測驗(WEFAT)，從科學上證明計算機也可以產生偏見，尤其是當計算機向人類學習時。當智能算法通過分析處理人類書寫的文本來學習詞句的含義時，他們也會獲得類似于人類偏見那樣的刻板印象。[8]谷歌的照片應用程序曾將黑人的圖像標記為大猩猩。谷歌的在線廣告系統(tǒng)曾經更傾向于向男性展示高收入工作，且頻率遠高于女性。Facebook曾被指控其允許廣告商在其廣告中通過房屋進行種族歧視。哈佛大學的一項研究發(fā)現(xiàn)，網頁搜索中搜索那些聽起來很像黑人的名字比那些聽起來很像白人的名字更有可能觸發(fā)犯罪記錄內容。[9]2016年非盈利新聞機構ProPublica的一項調查發(fā)現(xiàn)，用來預測未來罪犯的軟件對黑人有偏見，白人被告比黑人被告更容易被貼上低風險的標簽。[10]當算法存在歧視，會產生有礙人性尊嚴的后果，算法歧視治理也要循序漸進，我們沒理由相信算法歧視會在智能互聯(lián)網時代突然消失。鑒此，往下的探討也就存有必要性和意義了。

(一)算法歧視產生的原因

上文已述算法事實上能夠做出可能歧視特定人群的決策，理論上算法公平問題廣受關注。對于產生算法歧視的原因，筆者認為主要包括內置性編碼凝視，有限、不相關或不正確的訓練數據，算法黑箱建模方法的歧視或三者的不同組合。按照引言部分的魚兒比喻，內置性編碼凝視，有限、不相關或不正確的訓練數據相當于水被污染了，而算法黑箱建模方法的歧視是魚鰓黑了。這種契喻盡管不甚完美，但有助于本文的科學術語理解。

1.內置性編碼凝視

算法是編程人員的主觀判斷和選擇，帶有很強的意識形態(tài)成分，“本質上存在價值負荷，不同價值判斷的人會設計出不同的算法來解決問題”[11]。算法的輸出結果將始終反映出構建它們的人的設計選擇。在算法中，數據的采集、標注和算法的設計往往負載著價值，可能會把設計者自己持有的偏見嵌入智能算法之中，所以，在某種程度上，算法是嵌入在代碼中的觀點，也內置性反映了人類的偏見。正如騰訊研究院曹建峰先生所言，在本質上，算法是“以數學方式或者計算機代碼表達意見，包括其設計、目的、成功標準、數據使用等都是設計者、開發(fā)者的主觀選擇，設計者和開發(fā)者可能將自己所懷抱的偏見嵌入算法系統(tǒng)”[12]。而智能互聯(lián)網時代的智能算法可能會固化或擴大歧視數據，即偏見進，偏見出，有偏見的數據可能又成為新的訓練數據樣本，污染的數據又產生了污染的結果，來回反復，形成“自我實現(xiàn)的歧視性反饋環(huán)”。這種將我們個人固有的偏見嵌入到代碼系統(tǒng)中的偏見，也被稱為編碼凝視(Coded Gaze)。

一個有偏見的世界會導致有偏見的數據集，反過來，也會產生偏見的智能算法決策結果。內置性編碼凝視可以是無意識的自我偏見添附，真正恐怖的是一種故意歧視、直接歧視，有意而明確地制定排除或偏好的算法，特別是個人的惡意歧視行為融入數據集，諸如對法律明文禁止歧視的“受保護的類別”(如性別、種族、宗教或年齡)進行歧視，還有就是掠奪性的借貸行為，住房供應的富人轉向，拒絕銀行或保險業(yè)務等。

2.有限、不相關或不正確的訓練數據

正如《數學毀滅武器》的作者凱茜·奧尼爾(Cathy O’neil)認為的那樣，“大數據過程將歷史編纂成書。”[13]算法并沒有發(fā)明未來，算法的大規(guī)模數據挖掘的一個關鍵假設是過去的趨勢會繼續(xù)下去，是基于識別模式和從已有的歷史數據“學習”，歷史數據用來告知未來的決策和預測。問題就恰恰在于這些歷史數據。算法本身是定量的，有限、不相關或不正確的內在使用的數據源都可以反映甚至放大歷史歧視。有限乃至缺乏的數據，代表著數據樣本代表性不足或存在偏差，例如用不代表整個種群的數據而輸出的算法結果，很容易將對歷史上被忽視的少數群體、窮人和老年人的偏見持續(xù)化，2014年白宮大數據報告中承認了這種歧視的可能性[14]。不相關的訓練數據，如在一些情況下，教育背景可能是“社會噪音”，因為申請人參加的學?？赡軣o法準確預測特定職位的適合度或技能。不正確的訓練數據，包括選擇不當，如農村老人手機使用率調查數據集，只觀察智能手機用戶，不觀察非智能手機用戶。還有就是保持和促進歷史偏見的訓練數據，如對女性與護士、男性與醫(yī)生、男性與建筑師、女性與室內設計師之間的刻板化等同，一些數據點我們認為是“中性”的，如住房狀況、教育水平、信用評分、甚至犯罪記錄等，實際上是假設忽略元素的種族不平等，這些歧視數據的輸出亦為歧視性數據，將歷史性的、持續(xù)的間接歧視固化或擴大。例如微軟的Cortana、谷歌Now、蘋果的Siri等智能語音助手幾乎都默認為女性聲音，這反映了一種危險的性別刻板印象：女性比男性更溫柔、順從和樂于助人。

基于有限、不相關或不正確的訓練數據的算法歧視主要表現(xiàn)為間接歧視，這通常不是一種直接的聲譽侵害災難，但它可能是嚴重的法律和道德上的錯誤?？梢越梃b的是，美國最高法院的格里格斯訴杜克能源案(1971年)產生的差異影響原則，仍然對此類算法歧視有重要甄別作用。

3.算法黑箱建模方法產生的歧視

當今的算法最難解的問題是算法的黑箱性質問題。迄今為止，學界沒有任何理論完美解釋算法黑箱問題，盡管不時有“信息瓶頸”[15]等有望打開算法黑箱的新理論出現(xiàn)，但智能互聯(lián)網時代，人工智能越來越依賴的深度學習(主要是神經網絡)的自主算法問題依然是復雜的、不可預測的、難以解釋的，甚至包括開發(fā)操作人員也不能完全理解自主算法輸出是如何產生的。像最熱的智能算法神經網絡學習算法，其非顯式編程，而是隱藏的自我學習、自我編程，可以輕松擬合萬維以上的函數，但超過了二十維函數人類就難理解了，所以，向我們解釋這種算法的困難，就如同哥倫比亞大學的機器人學家胡迪·利普森(Hod Lipson)所比喻的那樣，“在某種程度上，這就像是向一只狗解釋莎士比亞是誰?！盵16]

智能算法黑箱，中間過程不可描述，其通過關注不成比例的數據尋找相關性(哪怕是隱藏的)，因降維挖掘，一些令人不安的隱性歧視也容易被智能算法捕捉。如將女性與家庭、藝術、人文職業(yè)關聯(lián)，男性與數學、工程相連，歐美人與“禮物”等快樂詞匯勾連，非裔美國人與不愉快詞語相連。也就是說，智能算法黑箱可以從某些表面不敏感但存在某些敏感特性的數據中挖掘、勾連、建立相關性，如郵政編碼可能與種族、大學專業(yè)、性別、健康和社會經濟地位有很大關系。因為你的朋友和家人有犯罪記錄，所以你很可能會被智能算法黑箱推算為一個慣犯。智能算法黑箱的歧視很難控制，正如梭倫·巴洛克斯(Solon Barocas)和安得烈·什比特(Andrew D.Selbst)在《加州法律評論》中發(fā)表的文章《大數據的不同影響》中寫道:“即使在數據挖掘人員非常小心的情況下，他們仍然可以通過模型來影響歧視性結果，而這些模型在無意中會為受保護的類別挑選代理變量。[17]已誕生的微軟推特(Twitter)機器人“泰”(Tay)即為顯例，從與其溝通的人那里學習，在數小時內成為一名種族主義者?？梢?，即使指導算法的參數是完全合理的，算法歧視還會莫名其妙地產生，這是現(xiàn)階段我們期待的數字科學主義的無奈與暗傷。

(二)算法歧視的危害

早在1999年，哈佛大學的勞倫斯·萊斯格(Lawrence Lessig)就告訴我們，“代碼就是法律——系統(tǒng)的體系結構，以及運行它們的代碼和算法，都可以對自由產生強大的影響?！盵18]算法這種新技術，遠非一種現(xiàn)代科學中立工具，其以特殊的決策形式、新的認識論的化身、新的意識形態(tài)載體的方式體現(xiàn)、表達和融入特定的文化，并塑造我們如何按照這些文化的假設來進行優(yōu)先次序的生活。我們無時無刻都會感受到算法和以數據為中心的壓力，特別是“編碼凝視”或“數學毀滅武器”的力量正在暗里使勁——幫助決定誰被雇傭，能否獲得貸款，給老師和學生打分，排序簡歷，評估工人，監(jiān)控我們的健康，甚至決定某人在監(jiān)獄里呆多久，最終輸出結果會不公平地限制機會、限制服務，甚至產生算法紅線[注]在美國，紅線(Redlining)是指根據某些地區(qū)的種族或民族構成，直接或通過有選擇地提高價格向這些地區(qū)的居民拒絕提供服務的做法。最著名的紅線案例涉及拒絕銀行或保險等金融服務等。紅線的做法被美國國會定義為非法。算法紅線(Algorithmic Redlining)是一種數字歧視形式，與長期的“紅線”做法密切相關。它通常是在人們不知情的情況下通過數字化機制(算法、自動化和人工智能排序等)，定位或排除不喜歡的對象。它會產生、維持或加深種族、族裔和性別歧視等，也會影響與社會中的商品和服務分配密切相關的教育、住房和其他公民權利。例如2016年亞馬遜因未向許多社群提供Prime當日送達服務而受到指責，這些社群主要是非裔美國人，收入低于全國平均水平。。2018年“大赦國際”出臺的《關于保護機器學習系統(tǒng)中的平等和不歧視權利的多倫多宣言》詳細列數了算法(機器學習)系統(tǒng)歧視對人權的影響，認為其會影響廣泛的人權，例如平等權、隱私權、言論自由權、參與文化生活權、獲得救濟權和生命權等。

在道德倫理上，算法歧視也是錯誤有危害的，盡管其可用機器經驗主義的外表掩飾這種不公平，但結果會更糟糕。首先，算法越來越多地用于確定資源的分配，算法歧視惡化了分配不公。例如商業(yè)算法運作普遍推行“動態(tài)差異化定價”，表現(xiàn)在我們消費者身上就是算法殺熟，購買次數越多價格越貴，這是典型的消費歧視。還有我們?yōu)g覽一個網頁或商品后，算法會重復性推薦關聯(lián)內容的網頁，樂之者，以為天下如此甚好正合我意，實際上重復性內容已在信息繭房的基礎上生成算法賄賂；惡之者，低俗下賤居然如此羞辱我意，實際上這種騷擾性內容已在腌臜不堪基礎上歧視人格，兩種都是典型的信息歧視，后者容易造成被互聯(lián)網活動家伊萊·帕里澤(Eli Pariser)稱為“過濾泡沫”(Filter Bubbles)的危害。其次，算法正越來越多地被用來做那些會嚴重影響人們生活的政府決策，特別是公共安全算法(作為規(guī)則的算法)所產生的算法歧視會造成難以彌補的實際損害。公共安全算法決定你是否有恐怖嫌疑，其依據可能只是你與某恐怖大亨同名，不幸的是你可能會無辜的因疑似恐怖分子被羈留檢查，次數可能是屢次，此例美國已多次發(fā)生。這在預測性警務、累犯風險評估、刑事風險評估等公共領域表現(xiàn)尤為明顯。最后，偏離核心文化和社會準則的算法歧視會自我強化，會形成恢復舊社會隔離形式的“算法身份政治”[注]算法身份政治恢復舊形式的社會隔離。在數字世界中，身份政治是模式歧視，通過識別輸入數據中的模式，人工智能算法產生偏差并實踐種族排斥，從而將權力關系銘刻到媒體中。 CLEMENS APPRICH，WENDY CHUN H K,et al.Pattern discrimination[M].Minneapolis:University of Minnesota Press,2018:118.，形成“黑箱社會”。凱茜·奧尼爾在《數學毀滅武器：大數據增加不平等和威脅民主》中警告，算法存在著不透明、可擴展且不公平的特點，可能會把我們引入歧途：強化針對窮人的歧視、強化種族主義和擴大不平等。[19]我們知道偏見引起歧視，只有在某些帶有偏見的信念是正確的情況下，歧視行為才有可能被證明是正當的。問題的關鍵即在此，算法不會區(qū)別“無偏見的理由”，現(xiàn)階段不存在道德想象力，其會產生基于污染的數據持續(xù)地強化、增強偏離核心文化和社會準則的算法歧視。

二、算法歧視之治理與算法公正之立塑

算法不是完美的，所以簡單地服從于算法統(tǒng)治不能解決算法歧視問題。對于算法歧視的治理，域外已經從技術和制度兩個層面展開，有豐富的經驗可資借鑒。

域外技術治理層面上，通過算法反歧視、審計、監(jiān)管工具的設立來關注算法所帶來的潛在偏見和歧視風險。威斯康辛大學學者合作開發(fā)了用于測量和修復偏差的工具FairSquare[20]。卡內基梅隆大學的研究人員已經開發(fā)出一種用于檢測不透明的算法偏差的新系統(tǒng)“定量輸入影響”(QII)。[21]華盛頓大學計算機科學教授馬可·圖里奧·里貝羅(Marco Tulio Ribeiro)提出的“局部可理解的與模型無關的解釋技術”(Model-Agnostic Explanations；LIME)框架，有助于理解不透明算法生成的預測。[22]前述的凱茜·奧尼爾推出了一個名為ORCAA的算法審計咨詢公司。麻省理工學院媒體實驗室公民媒體小組的研究員喬伊·不萊梅溫妮(Joy Buolamwini)建立了算法正義聯(lián)盟，并采用技術手段監(jiān)測機器學習算法中的偏見。

在域外制度層面上，早在2014年5月，美國白宮就發(fā)布了《大數據：抓住機遇，保存價值》，呼吁重視自動化決策中的歧視問題。2016年1月26日，法國國民議會投票支持一項關于數字權利的新法案。該法案包括有關算法透明度和“忠誠”(或公平)、在線平臺和算法決策的義務。2017年12月18日，紐約市議會通過了美國第一個解決城市政府算法歧視的法案，該法案將指派一個特別工作組來研究城市政府機構使用算法的方式，研究使用算法決策如何影響紐約人的生活，是否系統(tǒng)地出現(xiàn)基于年齡、種族、宗教、性別、性取向或國籍等歧視現(xiàn)象。2018年5月25日生效的歐盟《統(tǒng)一數據保護條例》(GDPR)為解決算法歧視問題，提出數據無害化和算法透明性兩原則，并建立了算法解釋權，歐盟國家公民將有權要求“審查某項特定服務中如何做出特定算法決策”，要求算法決策的透明化。美國威斯康辛州和德克薩斯州的法院已經開始限制算法，強制要求對犯罪預測的準確性進行“警告標簽”，并允許教師挑戰(zhàn)他們的算法成績排名。2017年1月，在達沃斯世界經濟論壇上，IBM的CEO羅睿蘭(Ginni Rometty)宣布了認知時代的透明度和信任的基本原則。2017年5月25日，計算機協(xié)會(ACM)公布了算法透明度和問責原則。還有，像微軟和谷歌這樣的互聯(lián)網獨角獸都已經在道德委員會的形式下采取了反算法歧視和偏見的措施。

(一)算法歧視的糾偏：技術治理

技術的問題，技術解決。算法歧視的糾偏有賴于技術治理，特別是公平感的數據挖掘、識別和發(fā)現(xiàn)，以及在算法系統(tǒng)中測試和糾正偏差的歧視預防算法的開發(fā)。本文認為，多樣性加入、透明度、問責制是算法歧視技術治理的三個維度，將有助于盡量減少算法技術層面的歧視風險。

首先，多樣性加入。歧視本質上是對“異己”的排斥，如前所述，算法歧視原因中內置性編碼凝視，有限、不相關或不正確的訓練數據兩種原因中，如果能融入多樣性，可以在一定程度上減少歧視誘發(fā)因子。我們此處所說的多樣性，包括研發(fā)人員和數據多樣性兩種。多樣性加入，最好是算法的每個階段都融入多樣性。例如，只由年輕的白人男性設計和創(chuàng)造的算法，總是能讓年輕的白人男性被排除在所有其他人之外，而研發(fā)人員多樣性，多樣性的性別、種族或性取向等觀點都可以被慎重考量、平等對待地納入算法，特別是一系列關鍵算法利益攸關者(包括潛在的算法影響主體)的加入。在算法數據集里，少數群體通常是被低估的，這是一個普遍問題。數據多樣性的加入，或采取主動的方式調整算法以糾正偏差，是確保不同種族的人得到平等對待的技術措施之一。

其次，算法透明度。算法歧視是缺乏透明度的直接后果。計算機協(xié)會(ACM)發(fā)布算法透明和問責性七項原則，致力于解決算法歧視，開出的藥方是救濟和解釋：對算法決策提出質疑并獲得救濟。鼓勵使用算法決策的組織和機構對算法所遵循的程序和所做出的具體決策進行解釋。[23]IEEE提出，應將透明性和問責性作為首要目標，應向個體提供向人類申訴的救濟機制。歐盟的GDPR則賦予個人要求解釋的權利。算法的透明性，最簡單的實現(xiàn)途徑是仔細檢查算法學習的數據，防止這種潛在的基于敏感屬性的歧視或歧視結果。源代碼的開源，被證明對審查和分類大量數據非常有效，但對于智能算法而言，一般不能完美解釋算法過程的透明度問題，還涉及到商業(yè)秘密等問題，現(xiàn)實意義不大。但模型、算法、數據和決策應被記錄，以便在懷疑有損害的情況下對其進行審查。再有對偏見算法洞察、監(jiān)管透明性的途徑可使用第三方審計，算法決策的準確因果理由是可靠的審計線索。前述的FairSquare、QII和LIME都是識別發(fā)現(xiàn)歧視的技術工具，還有了諸如ORCAA這樣的算法審計公司。

最后，算法問責制。如前所述，算法透明度對于解決智能互聯(lián)網時代的智能算法的深層偏見問題，并不總是必要的或充分的，此外至今科學上都沒有完美解答算法黑箱歧視問題。所以，創(chuàng)建算法問責制，能使公民在遭受算法歧視的時候，知道自己遭受了歧視以及如何救濟?？梢哉f，現(xiàn)今算法創(chuàng)新與監(jiān)管不同步調，算法監(jiān)管遠遠落后于編程算法創(chuàng)新，并且對日益增長的(已經是歧視性的)數據集監(jiān)管寬松，從經驗主義看來，這是令人沮喪且需要做出行動的。

問責制意味著有義務報告和解釋算法決策，并減輕任何負面的社會影響或潛在危害。在計算機協(xié)會(ACM)的算法透明度和問責性七原則中，指出必須有監(jiān)管機制,以糾正對個人造成的損害和在算法中發(fā)現(xiàn)的偏見。還有，盡管他們無法解釋這些決定是如何作出的,但各機構對其算法所作出的決定負有責任。[23]所謂算法問責制，即必須有人處理算法所造成的危害，相關責任主體有解釋的義務和對算法決策負有責任。在技術治理層面，算法問責制的實現(xiàn)，相關監(jiān)管主體可通過現(xiàn)有數據挖掘來發(fā)現(xiàn)算法歧視歷史記錄來實現(xiàn)監(jiān)管。相關責任主體可通過開發(fā)在不需要透明度的情況下保證問責制的技術，利用算法監(jiān)督算法，各大互聯(lián)網公司正在朝此方向深入研究，有望開發(fā)出系統(tǒng)、科學、高效的監(jiān)控算法的算法。

(二)算法制度化立塑：算法公正

算法歧視治理的另一機制是制度化治理，算法制度化立塑集中在算法公正。算法公正的實現(xiàn)主要圍繞著算法公正價值觀、多元共治、算法素養(yǎng)三個方面來進行。

首先，算法時代的算法核心價值觀應確定為公正。如今的算法不甚聰明，但其已經占領了世界，未來智能互聯(lián)網時代的智能算法將會開啟一個全新的算法時代。在這個算法時代里，價值觀和美德的主宰者不能僅僅只有科技行業(yè)，更需要廣泛的社會參與、全面實用的算法系統(tǒng)影響分析。如凱特·克勞福德(Kate Crawford)和雷恩·卡羅(Ryan Calo)在《自然》發(fā)表評論文章批評的那樣，傳統(tǒng)上對人工智能系統(tǒng)的社會和倫理影響的關注有三種主要模式：依從性、設計價值和思想實驗。依從性主要是指行業(yè)在部署和執(zhí)行上，采取的基本步驟，堅持一套行業(yè)最佳做法或法律義務，但主要是被動的一己之力，缺乏社會公眾參與。在設計價值上主要是只停留在尚未實現(xiàn)的如價值敏感設計或“負責任的創(chuàng)新 ”這樣的框架內，以幫助他們識別可能的利益相關者及其價值。思想實驗上過多地關注了特殊情景下諸如電車問題的假設情況。[24]也就是說，算法時代的核心價值觀確立，需要社會各階層的全面參與，以便更全面、更綜合分析其對廣泛社會場域的影響，而非只是停留在計算機科學的試驗場域。

算法的原初價值觀是重視效率而不是正確性或公平性，在某種程度上，追求算法效用最大化目標，出現(xiàn)了算法歧視等不公平，尤其是對某些少數邊緣群體。而今，算法的價值觀開始轉向算法公平，希望設計出能夠在不同的人群中進行公平預測的算法。我們將算法的公平性重新定義為約束優(yōu)化，目標是最大化公共安全，同時滿足旨在減少種族差異等的公平約束。[25]在算法公平中，公平理念應納入算法完整鏈條中，算法結果公平和過程公平同樣重要。在生成算法前，預處理消除數據中任何不公平的來源。在處理過程中，將公平性調整作為算法構建過程的一部分，最好的是將公平的法律和倫理模型轉化為代碼融入。在算法應用后，它的性能通過后處理調整使它更公平。但現(xiàn)在問題就在于，計算機科學家和數學家對公平性還未形成一個良定義。

其次，多元共治算法歧視。治理已經成為一種社會領域重要的概念或思考方式，現(xiàn)代治理理論更是強調多元主體在治理過程中展開協(xié)同治理合作。對于算法歧視治理主體應該更多樣化，應由行業(yè)、政府、社會、算法本身協(xié)同共治。行業(yè)自律層面上，科技行業(yè)可以采取內部反算法歧視原則、措施，這是行業(yè)自我規(guī)制、自我監(jiān)管的反算法歧視的治理策略。比較典型的例子是谷歌，在企業(yè)文化中倡導“不作惡”，在算法學習中提出了機會平等的概念，還成立了道德委員會。算法日益在其覆蓋領域變成支配和控制權力的結構，這種算法權力結構需要強有力的政府干預手段(特別是硬性之治)，政府可以通過制度供給、公共服務供給、共同監(jiān)管、信息教育等措施規(guī)制算法歧視，教育人民算法歧視危害并支持適當的反算法歧視救濟措施。在政府層面，為了削弱或者避免算法歧視，前述的美國、法國、歐盟等都已在立法甚至司法層面先行一步。社會層面上，軟法之治是算法歧視治理的柔性之治，“軟法為互聯(lián)網時代的法治發(fā)展提供了絕佳的治理工具，而互聯(lián)網時代為軟法充分發(fā)展提供了廣闊空間”。[26]前述的USACM和EUACM共同發(fā)布的算法透明度和問責制七原則中關于算法歧視的規(guī)制原則，就是有效約束算法歧視的軟法。

盡管上文討論的算法歧視是狹義上算法中的歧視問題。在智能互聯(lián)網時代，人工智能成為自治主體、享有權利，是理論上可證的，實踐中已存在賦權，[注]理論上，從后人類主義的權利平權、擴權實踐，人機相容的立場，人工智能的法律權利造反能力來看，賦權人工智能權利是理論可證的。實踐上，2017年沙特阿拉伯搶占先機授予機器人索菲亞(Sophia)公民身份，隨后，在人工智能強國日本，“男孩”澀谷未來(Shibuya Mirai)成為第一個獲得居住權的機器人。參見楊學科《論人工智能機器人權利及其權利界限》，載《天府新論》，2019年第1期。這就必然還會出現(xiàn)人類歧視算法這一自治主體的問題。算法自治也是理解算法歧視的新角度，智能互聯(lián)網空間是由它的代碼來組成，最好也應由代碼來規(guī)范。這里存在著一個悖論：我們的生活世界被算法統(tǒng)治著，我們卻要去管理算法，似乎有一種我們“抵制、反對、歧視”它們的意思。算法自治，可以解決掉人類歧視算法的這種問題，通過前述技術手段算法自治道德(公正、不傷害他人等道德規(guī)范)代碼化介入，就不會出現(xiàn)人類自治的地位受到威脅的問題，監(jiān)測算法的算法開發(fā)來實現(xiàn)規(guī)避、規(guī)制算法歧視，算法治理算法，這也符合哲學家伊恩·金(Iain King)制定的“自治原則”：“讓人們自己選擇，除非我們比他們更了解他們的利益?！盵27]

最后，公民算法素養(yǎng)的培育。算法素養(yǎng)，一般是指算法的研究者、管理者和使用者所應具備的算法意識、算法能力和算法倫理等。理解有助于信任，算法的功能必須讓那些它們影響的人能夠理解，但智能互聯(lián)網時代智能算法的問題是對于算法怎樣運作，普通人不可能理解，也無能力理解，即便是吃了算法歧視的虧，可能也無從知曉，即便知道也可能不以為然，所以我們必須從公民的算法素養(yǎng)教育開始，公民不能充當“被算法賣了還替算法數錢”的算法文盲。公民算法素養(yǎng)的培育需要“革命性”的教育努力，包括美國在內的很多國家已經著手將算法教育作為基礎教育的一部分。例如2016年美國總統(tǒng)辦公室發(fā)布的重要報告《為人工智能的未來做好準備》建議全體公民準備接受人工智能教育，建議對AI 從業(yè)者進行道德教育和技術培訓。[28]政府應為公民提供可獲得的算法教育材料和教育資源，讓公民學習算法知識和了解算法歧視。公民也應該積極主動提升算法素養(yǎng)，縮小算法鴻溝，促進算法公正，提升算法獲得感和幸福感。值得關注的是，我國也開始重視算法素養(yǎng)的培育，《新一代人工智能發(fā)展規(guī)劃》鼓勵實施全民智能教育項目，中小學階段設置人工智能相關課程，逐步推廣編程教育，建設人工智能學科等。