uck Dormehl在《算法時(shí)代》一書中講了一個(gè)名為羅伯特·摩西的設(shè)計(jì)者，在二十世紀(jì)20至70年代，為紐約設(shè)計(jì)并修建了多處道路、公園和橋梁。在羅伯特·摩西的設(shè)計(jì)下，進(jìn)入公園前的橋梁特別矮，只有2.7米左右，這就使得那些買得起轎車的有錢富人才能進(jìn)入公園，而乘坐公共汽車的窮人（其中有很多是黑人）只能繞道而行。這在當(dāng)時(shí)是一種有代表性的觀念，現(xiàn)在來看，則是難以容忍的偏見——這種偏見并不是訴諸文字法律，而是嵌入在城市的設(shè)計(jì)中了。

在數(shù)據(jù)的時(shí)代，數(shù)據(jù)的采集者和算法的設(shè)計(jì)人員很可能存在一些他們自己都意識(shí)不到的偏見，這些偏見會(huì)影響他們對(duì)數(shù)據(jù)采集的重點(diǎn)，并隱蔽地藏在他們的代碼中，最終產(chǎn)生有偏見的結(jié)果。

舉個(gè)例子，我們?cè)谂c某銀行就企業(yè)貸款的貸后管理進(jìn)行合作時(shí)，注意到某個(gè)特定籍貫人員開設(shè)的企業(yè)存在大量貸款償還延期甚至惡意支付的現(xiàn)象。在我們把數(shù)據(jù)分析的結(jié)果反饋給銀行的同事后，他們針對(duì)主要自然人股東中有相應(yīng)籍貫或者法人股東注冊(cè)在該地區(qū)的企業(yè)，添加了新的需要提供的盡調(diào)內(nèi)容（更多的數(shù)據(jù)），并且人為收緊了放貸。這個(gè)結(jié)果是我們分析人員不可控的，也是一個(gè)典型的頭痛醫(yī)頭腳痛醫(yī)腳的方法，我個(gè)人認(rèn)為不會(huì)產(chǎn)生一個(gè)解決方案，而只是讓數(shù)據(jù)和模型變得復(fù)雜和丑陋。很可能這個(gè)地區(qū)之所以出現(xiàn)高風(fēng)險(xiǎn)，是該地區(qū)特定經(jīng)濟(jì)形勢(shì)造成的，例如鄂爾多斯等地曾因能源價(jià)格下降發(fā)生過系統(tǒng)性經(jīng)濟(jì)風(fēng)險(xiǎn)，溫州商人的現(xiàn)金流曾因非法集資遭受整體性的影響，等形勢(shì)過去后，問題就會(huì)緩解甚至自動(dòng)消失。但是等到那個(gè)時(shí)候，銀行的這一批技術(shù)人員很可能已經(jīng)離職或者升職，下一批同事也許都不能理解這些與眾不同的數(shù)據(jù)采集和風(fēng)控模型背后的邏輯了，所以這個(gè)針對(duì)特定地區(qū)的風(fēng)控偏見，可能會(huì)一直持續(xù)下去。

公共安全的管理也會(huì)存在類似問題。比如有豐富經(jīng)驗(yàn)的公安人員，對(duì)于什么樣的人會(huì)涉毒、什么樣的人有暴力犯罪的危險(xiǎn)，都有自己的一套判斷方法，這和他個(gè)人曾經(jīng)成功的經(jīng)歷以及他自身的性格特點(diǎn)有關(guān)。因此，一個(gè)用來管理高風(fēng)險(xiǎn)人群并進(jìn)行提前預(yù)警的系統(tǒng)，如果確認(rèn)第一批數(shù)據(jù)采集的方向和內(nèi)容，那么咨詢A專家和B專家，得到的結(jié)果一般是不同的。

讓我們不安的是，這種因?yàn)橄到y(tǒng)設(shè)計(jì)人員帶來的初始偏見，有可能隨著數(shù)據(jù)的積累和算法的運(yùn)轉(zhuǎn)慢慢強(qiáng)化放大。舉個(gè)例子，如果現(xiàn)在我們有一套抓小偷的工具，而能夠抓到的小偷只是真實(shí)小偷總數(shù)的一小部分。如果說中國的小偷主要來自于兩個(gè)地方：A地和B地，大約各占一半。設(shè)計(jì)這個(gè)系統(tǒng)的人以前抓過的小偷大部分來自A地，于是，算法一開始就會(huì)把是否是A地人作為一個(gè)重要的參考特征，從而更多提醒警察關(guān)注A地人——這當(dāng)然會(huì)讓更多A地小偷落網(wǎng)。于是，這就進(jìn)一步證明了把A地人作為重點(diǎn)監(jiān)控對(duì)象是正確的，因此這個(gè)特征的權(quán)重會(huì)越來越大，算法中A地小偷的樣本數(shù)占比也會(huì)越來越大。由于最早在這個(gè)系統(tǒng)做驗(yàn)證時(shí)，所有的數(shù)據(jù)都有一定偏差，于是偏見就積累并且被放大了。有的讀者會(huì)問：如果不是把“是否是A地人”作為特征，而是把戶籍作為一個(gè)特征，并且引入自適應(yīng)的機(jī)器學(xué)習(xí)機(jī)制，這個(gè)問題是否就會(huì)得到解決呢？但是，真實(shí)情況比設(shè)計(jì)要復(fù)雜很多，設(shè)計(jì)人員在選擇特征的時(shí)候，往往會(huì)自以為做出了顯著正確的選擇，而事實(shí)上是受限于初始數(shù)據(jù)和個(gè)人經(jīng)驗(yàn)的局限性，而賦予了一個(gè)有偏見系統(tǒng)的第一推動(dòng)力。

即便完全去掉個(gè)人經(jīng)驗(yàn)的影響，看起來中立的技術(shù)本身，也可能帶來偏見。比如在美國，面部識(shí)別技術(shù)對(duì)于男性的識(shí)別率高于女性，對(duì)于非白種人的識(shí)別率高于白種人，這就意味著一個(gè)犯罪現(xiàn)場(chǎng)出現(xiàn)過的白人女性，被識(shí)別出來的概率要小于非洲裔的男性。盡管算法不是有意為之，但是只要不是100%完美，總會(huì)存在自身的偏差，這些偏差投射在社會(huì)中，就可能成為算法導(dǎo)致的偏見。這種偏差甚至在一個(gè)人出生之前就可能遇到，因?yàn)殡S著B型超聲波技術(shù)的發(fā)展和普及，同樣嚴(yán)重等級(jí)的出生缺陷，凡是能從B超中檢查出來的，就很可能被人工流產(chǎn)，而不能被B超檢查出來的，“活著生出來”的概率就大得多——盡管這不一定是一件幸事。

我從2007年開始，就一直做個(gè)性化推薦方面的算法研究。個(gè)性化推薦系統(tǒng)的算法本身是沒有什么偏見可言的，無非是根據(jù)消費(fèi)者以前的購買記錄，來預(yù)測(cè)他最可能購買的東西，從而給他推薦。如果這位消費(fèi)者是一個(gè)窮人，以前買過的東西都是相應(yīng)品類中單價(jià)最低的，那么他在系統(tǒng)畫像中有一個(gè)名為“價(jià)格敏感程度”的維度，分?jǐn)?shù)會(huì)頂呱呱得高！于是乎，當(dāng)他搜索一個(gè)關(guān)鍵詞時(shí)，從前到后翻十頁，看到的都是為他這樣的窮人量身定做的便宜貨。如果說LV的店面上掛一個(gè)橫幅，寫著“窮人與狗不得入內(nèi)”，那肯定會(huì)被砸了——因?yàn)檫@是不得了的偏見和歧視，但是在互聯(lián)網(wǎng)上，數(shù)據(jù)和算法帶來的偏見卻很隱蔽，而且，從綜合的算法效果來說，還很正確！

當(dāng)我們積累了越來越多的數(shù)據(jù)，我們的喜好就會(huì)被刻畫得越來越清晰，于是乎算法會(huì)給出越來越精確符合我們需要的服務(wù)。逐漸地，我們會(huì)被計(jì)算機(jī)封鎖在一個(gè)狹窄的空間里面，因?yàn)槲覀兯x之書都符合以前的興趣，所試的衣服都符合以前的審美，所購買的商品都符合以前的經(jīng)濟(jì)水平。這很可能也是一種無形的偏見，而且人機(jī)互動(dòng)互為增益——不僅是偏見，還是個(gè)性化的偏見。（作者為電子科技大學(xué)互聯(lián)網(wǎng)科學(xué)中心主任，教授）