喻繼軍 熊明華

摘 ?要：隨著電子商務的快速發(fā)展，推薦系統(tǒng)作為大數(shù)據(jù)環(huán)境下解決“信息過載”問題的有效工具已廣為使用。受數(shù)據(jù)、算法、人為干預等因素的影響，推薦系統(tǒng)可能會為具有某些屬性的消費群體提供不公平的推薦結果從而導致各種問題。近年來，研究者們提出各種解決推薦系統(tǒng)公平性問題的方法。文章總結了近幾年的研究成果，從兩個方面總結歸納了造成電子商務推薦系統(tǒng)公平性問題的主要原因，并給出五種主要的解決方案；介紹了當前可供研究的數(shù)據(jù)集及工具，也對電子商務推薦系統(tǒng)公平性研究尚存的問題及未來的研究方向進行了探討，以期為該領域的研究人員提供參考。

關鍵詞：電子商務；推薦系統(tǒng)；算法公平性；數(shù)據(jù)偏差

中圖分類號：TP391；F274 文獻標識碼：A 文章編號：2096-4706（2023）14-0115-10

Research Progress on Fairness of E-commerce Recommendation System

YU Jijun1， XIONG Minghua2

（1.School of Information Engineering， Shanwei Institute of Technology， Shanwei ?516600;

2.Business School， Foshan University， Foshan ?528225， China）

Abstract： With the rapid development of E-commerce， recommendation systems have been widely used as an effective tool to solve the problem of “information overload” in the big data environment. Due to factors such as data， algorithms， and human intervention， recommendation systems may provide unfair recommendation results for consumer groups with certain attributes， leading to various problems. In recent years， researchers have proposed various methods to address the fairness issue of recommendation systems. This paper summarizes the research achievements in recent years， summarizes the main reasons for the fairness issues in E-commerce recommendation systems from two aspects， and provides five main solutions. It introduces the current available datasets and tools for research， and explores the remaining issues and future research directions in the fairness of E-commerce recommendation systems， with the aim of providing reference for researchers in this field.

Keywords： E-commerce; recommendation system; algorithm fairness; data bias

0 ?引 ?言

推薦系統(tǒng)作為大數(shù)據(jù)時代的一種信息檢索工具，經(jīng)過近三十年的發(fā)展和積累，已經(jīng)取得了非常豐富的研究成果。在電子商務領域，推薦系統(tǒng)作為消費者與商家之間的重要橋梁紐帶，提升了電商平臺與消費者之間的協(xié)作效率，也降低了消費者的搜尋成本。但是，近年來，隨著推薦系統(tǒng)的普遍使用，推薦結果質(zhì)量的好壞對消費者的影響日益凸顯。特別是“大數(shù)據(jù)殺熟”現(xiàn)象頻繁發(fā)生，推薦系統(tǒng)的可解釋性、公平性等問題開始受到關注[1，2]。一方面，由于訓練數(shù)據(jù)的樣本偏差、算法設計偏差等因素，推薦結果的準確率也因人而異，從而導致推薦系統(tǒng)對消費者產(chǎn)生不公平的推薦結果[3]。如：不同消費類型的消費者在獲得同一類型商品推薦時的價格、質(zhì)量等存在明顯差異[4]。有“偏見”的差異化推薦結果看上去帶來了個性化的體驗，實際上卻損害了不同消費者群體的利益[5]。另外，推薦系統(tǒng)對數(shù)據(jù)的迭代使用也產(chǎn)生商品銷售的長尾現(xiàn)象[6]，長尾現(xiàn)象的產(chǎn)生導致商品推薦的公平性問題，即不同商品得不到公平的推薦機會。同時，推薦系統(tǒng)的設計完全由電商平臺所主導，使其帶有天然的信息不對稱性。電商平臺以收益最大化為目的，熱門、高收益的商品仍然受到電商平臺推薦的青睞。隨著多目標優(yōu)化（如保證準確率的前提下提高推薦結果的多樣性、新穎性等）成為推薦領域常用的技術手段，多目標優(yōu)化后的推薦結果為消費者提供更加豐富的商品選擇的同時，也給電商平臺有意干預推薦結果提供了機會[7]，電商平臺受收益因素驅動所導致有“偏見”的推薦系統(tǒng)廣泛存在[5，8]。當前，現(xiàn)有文獻主要從機器學習的角度對算法公平性進行評價[9-12]，或者從利益相關者角度對公平性的定義進行綜述[13]，較少有文獻對電子商務領域的推薦系統(tǒng)公平性問題的產(chǎn)生原因及解決方案進行總結歸納。在電子商務領域，消費者與商品之間作為特殊的“用戶-項目”關系，既有機器學習領域用戶與項目之間分類預測的一般性，又有電子商務領域中電商平臺、消費者、商品三者交互的特殊性。為此，論文在現(xiàn)有文獻的基礎上，對造成不公平性推薦結果潛在的原因以及相應的解決方案進行總結歸納，然后列舉了現(xiàn)有供推薦系統(tǒng)公平性研究的數(shù)據(jù)集和檢測工具，最后對電子商務推薦系統(tǒng)公平性研究尚存在的不足及未來研究方向進行探討，為該領域研究人員提供參考。

1 ?電子商務推薦系統(tǒng)的公平性

公平理論最早來源于社會科學，常被應用于企業(yè)員工的激勵，是一種研究人類動機與知覺關系的激勵理論[14]。在電子商務領域，傳統(tǒng)基于公平理論的研究主要集中于消費者與企業(yè)之間在售前溝通、售中的商品屬性比較及售后支持等服務過程中所體現(xiàn)的服務公平性的差異[15，16]。近年來，隨著推薦系統(tǒng)的廣泛應用，推薦系統(tǒng)在商品銷售的售前和售中的服務作用日益凸顯，推薦服務的技術門檻以及缺乏相應的互動與可解釋性，加大了消費者感知公平性差異的風險。有研究表明，企業(yè)在為獲取利益最大化的情況下存在提供有“偏見”的推薦服務[5]，存在公平性差異的推薦結果更加影響消費者的購買行為[3，17，18]。同時，公平性差異不僅體現(xiàn)在消費者與消費者之間，也體現(xiàn)在物與物之間被選擇的機會中，推薦系統(tǒng)對數(shù)據(jù)的迭代使用也會產(chǎn)生商品推薦的長尾現(xiàn)象，即不同商品得不到公平的推薦機會[5]?；诖?，本小節(jié)從消費者和商品的角度梳理電子商務推薦系統(tǒng)中的公平性定義。

1.1 ?消費者公平性的定義

推薦系統(tǒng)的消費者公平性主要考慮如何避免推薦算法將部分敏感屬性（如性別、收入、職業(yè)等）納入分類依據(jù)，從而導致推薦系統(tǒng)對特定群體產(chǎn)生不公平的推薦結果，主要體現(xiàn)在：一是推薦結果的統(tǒng)計評價指標在不同群體間存在差異，二是推薦結果總是有利或不利于某一群體。目前，公平性的定義主要有統(tǒng)計公平[19，20]、因果公平[21，22]、反事實公平性[23]、群體公平[24，25]等，但被廣泛接受且易于表征上述兩個要求的公平性定義主要包括三個方面，即：差別性對待、差別性影響和差別性誤待[26-28]。

1.1.1 ?差別性對待

差別性對待也稱之為統(tǒng)計均等，是指在其他非敏感性特征相似的情況下，決策結果僅在敏感屬性特征不同的群體間有差異，差別性對待的數(shù)學表達為式（1）所示：

（1）

其中，x為消費者的特征，p為敏感屬性， 為預測值，y為真實值。差別性對待是歷史最悠久、也是最簡單的強制公平性指標。Corbett-Davies等[29]在論文中詳細闡釋了差別性對待的概念，差別性對待的計算公式輸出獨立于敏感屬性p，即p不會影響輸出概率。差別性對待還可使用式（2）計算差別性對待的距離，從而對數(shù)據(jù)集給出預測偏離差別性對待的程度：

（2）

滿足差別性對待的公平性主要存在兩個問題，其一，即使推薦結果滿足式（1），如果一個組預測為正的概率高于另一個組，那么兩個組在假正率和真正率上也可能存在差異。其二，盡管敏感屬性能夠給出一些對預測有用的信息，但受限于差別性對待的嚴格規(guī)則而不能得到利用，相應的準確率也會受影響。因此，單獨的差別性對待的公平性定義并不能完全反映預測的準確率[30]，還需要增加新的公平性要求。

1.1.2 ?差別性影響

差別性影響也被稱之為概率均等（Equal Odds），是指推薦結果總是對某種敏感性特征上取某個值的群體更有利（或更不利）。推薦結果不存在差別性影響，即敏感性特征不同的群體有同樣的概率被分到某一類，可表達為式（3）：

（3）

在實際應用中，由于預測結果的差別性影響難以達到完全相等，有研究認為，當兩者之比大于某閾值即可認為滿足不存在差別性影響的公平性要求[31]。特別地，在部分應用領域，預測結果僅在具有優(yōu)勢領域要求保證公平性，即只要求實際為正例時，預測也為正例的情況下保證其公平性，達到式（4）的要求即可，滿足式（4）的公平性也稱之為Equal Opportunity：

（4）

1.1.3 ?差別性誤待

差別性誤待是指推薦結果對某一個敏感性屬性上取不同值的群體的預測準確率存在差異，表1展示了幾種衡量準確率（分類錯誤率）的測量方式[32]。

分類結果不存在差別性誤待，即分類的（五種）錯誤率不受敏感性屬性的影響，按照錯誤率的計算方式，將這一條件進行形式化定義如式（5）至式（9）所示。

（5）

（6）

（7）

（8）

（9）

在實際應用中，若要實現(xiàn)公平，就要求推薦系統(tǒng)產(chǎn)生的結果能夠滿足上述三類公平性的定義?，F(xiàn)有研究主要從多目標優(yōu)化的角度對上述三種公平性進行優(yōu)化，主要應用于特定領域中用戶的種族差異，如銀行發(fā)放貸款的預測評分[32，33]。

除考慮單個消費者的公平性以外，組推薦也是一種在電子商務領域較為廣泛的應用，如拼單、組團購買等。組公平性是考慮向一組人公平性地推薦商品。Sacharidis等[24]將組推薦中的公平性定義為組員的最小滿意度，滿意度的定義可采用多種方式進行計算。如，先為每組員進行Top-N推薦，然后從各個組員的Top-N中進一步挑選出若干商品作為組成員的最終推薦結果，再將兩者之間的差異定義組員的滿意度。其中，差異的度量可選擇準確率、召回率、NDCG等指標。

1.2 ?商品的公平性定義

推薦系統(tǒng)中商品的公平性是指商品能否得到被公平推薦的機會，常采用基尼系數(shù)來描述[34]，其數(shù)學公式表達如式（10）所示：

（10）

其中，I為集合中商品個數(shù)，U為所有消費者的數(shù)量，rec（i）為被推薦商品i在推薦列表中的位置。基尼系數(shù)越大，表明數(shù)據(jù)集中商品被推薦的頻率越不公平。

推薦系統(tǒng)中商品推薦的不公平性，就消費者而言，使得越來越多的消費者被局限到一個相對狹窄的結果集中，“信息繭房”現(xiàn)象嚴重，缺乏高異質(zhì)和新商品的推薦使得消費者對推薦結果產(chǎn)生厭倦，帶來低質(zhì)量的推薦體驗，從而降低了消費者的滿意度[34]；對電商平臺而言，長尾現(xiàn)象日趨嚴重，所有的消費者看到內(nèi)容的一致性，使得大量的長尾商品得不到有效曝光，從而降低了商品的銷售機會收益。推薦系統(tǒng)的商品公平性問題已引起企業(yè)界和學術界的關注。當前已有較為豐富的研究，常采用重排名、多目標優(yōu)化的方法在保證準確率的情況下通過提高推薦結果多樣性、新穎性等方式解決商品的公平性問題[35]。

2 ?公平性問題產(chǎn)生的原因分析

電子商務推薦系統(tǒng)的傳統(tǒng)研究主要集中于推薦算法的設計，以及推薦系統(tǒng)如何影響消費者的購買決策和企業(yè)的營銷策略。近年來，推薦系統(tǒng)的公平性問題開始被引起關注[5]（圖1中黑色斜體字部分為綜述的內(nèi)容在推薦系統(tǒng)研究領域中的位置）。論文對產(chǎn)生推薦系統(tǒng)公平性的原因進行總結歸納，將其分為推薦算法中所采用的數(shù)據(jù)與模型偏差及受收益影響的人為干預兩個方面。

2.1 ?數(shù)據(jù)與模型偏差

推薦系統(tǒng)中所采用的算法本質(zhì)上屬于機器學習范疇，根據(jù)機器學習理論，用戶的行為數(shù)據(jù)會影響算法訓練的模型，模型的輸出結果也會影響用戶的決策和行為，從而形成一個從數(shù)據(jù)到模型再到數(shù)據(jù)的反饋循環(huán)。在沒有人工干預的情況下，基于機器學習算法的公平性問題主要來源于用戶的數(shù)據(jù)偏差和所采用的模型偏差。目前，機器學習算法公平性研究主要圍繞決策算法在政治廣告、就業(yè)歧視、風險貸款、就業(yè)推薦、種族差異等社會公共管理領域，由偏差所導致算法對不同特征用戶的公平性問題[12，32-39]，其主要研究內(nèi)容如圖2所示。

機器學習算法中的偏差主要有數(shù)據(jù)偏差、模型偏差和反饋循環(huán)所帶來的偏差。數(shù)據(jù)偏差可分為顯示數(shù)據(jù)中的選擇偏差和一致性偏差，以及隱式數(shù)據(jù)中的曝光偏差和位置偏差[13]。

2.1.1 ?數(shù)據(jù)偏差

1）位置偏差。消費者更傾向于和推薦列表中位置比較靠前的商品交互，因此在推薦列表中用戶和商品的交互不僅由商品的興趣決定，還在很大程度上由商品的排名決定。有研究表明[40]，用戶在垂直展示的列表中，更傾向于點擊排名靠前的商品，而忽略排名靠后的商品。

2）曝光偏差。帶標簽的數(shù)據(jù)都是曝光過的，未曝光的數(shù)據(jù)無法確定其用戶偏好的標簽，直接將未交互的商品當作負樣本也會引入偏差。

3）選擇偏差。用戶傾向于給自己喜歡或者不喜歡的商品進行打分。當用戶能夠自由地選擇給哪些商品打分的時候，則評分數(shù)據(jù)不具備隨機性，觀測到的交互數(shù)據(jù)的分布將不能代表整體數(shù)據(jù)的分布。

4）一致性偏差。即使群體的打分和消費者的判斷并不一致，但消費者的打分也會傾向于和群體一致，消費者的這種傾向將使得評分并不能準確反映消費者的偏好。當消費者從眾以后，推薦結果會最終導致對消費者自身不公平的推薦結果，從而帶來一致性偏差。

2.1.2 ?模型偏差

為了讓模型更好地適應數(shù)據(jù)，需要對模型做各種假設，以提升模型的泛化性能，這種假設可能帶來模型的歸納偏差。

2.1.3 ?反饋環(huán)路偏差

推薦系統(tǒng)構成動態(tài)的反饋環(huán)路也會增加偏差。如，流行的商品在推薦結果中有更高的出現(xiàn)頻率、展示給消費者后將出現(xiàn)更多流行商品的交互，使得模型更容易推薦流行的物品，從而導致商品推薦機會的公平性問題。

2.1.4 ?評價指標沖突

電商平臺采用推薦系統(tǒng)向消費者進行商品推薦，也面臨多方利益以及評價指標的沖突問題。有研究表明，對消費者和對商品的公平性也存在沖突。如，增加推薦的多樣性可提高商品推薦的機會從而緩解推薦的商品公平性問題[41]，卻降低了對消費者的公平性[18]。

2.2 ?人為干預

在電子商務領域，電商平臺采用推薦系統(tǒng)向消費者進行商品推薦，電商平臺不僅需要考慮消費者的偏好以便更好地為消費者提供個性化服務，同時也需要考慮如何使其自身的利益最大化。由于信息的不對稱性，電商平臺為獲取最大的利益，除了上述基于數(shù)據(jù)與模型中的偏差所導致公平性問題，也存在電商平臺受收益因素影響的人為干預原因。

在常規(guī)推薦算法中，當已預測出每個消費者對商品的未知評分后，即進入Top（N）的推薦產(chǎn)生階

段。系統(tǒng)可根據(jù)某種排序標準，選擇最相關的商品向消費者進行推薦。然而，隨著推薦列表長度的增加，由于選擇偏差的存在，消費者對于推薦列表中的商品的購買意愿會逐漸減弱，電商平臺受收益的驅動，也可以在合適位置使用高收益商品替換原本按預測評分排序的偏好商品。本質(zhì)上而言，電商平臺在選擇推薦策略的同時，消費者不能完全了解電商平臺為其提供怎樣的商品推薦，電商平臺與消費者之間的交互實際上是一種不完全信息博弈模型。在博弈模型中，電商平臺與消費者作為博弈雙方的參與人，電商平臺可根據(jù)不同類型的消費者進行差異化的推薦。在考慮收益的公平性研究中，D'amour等[42]采用博弈分析的方法在一項采用決策系統(tǒng)決定是否發(fā)放貸款的研究中發(fā)現(xiàn)，特定的群組差別性影響約束并不能使整體群組在總體上滿足差別性影響約束，需要采用更詳細的分析來確保決策系統(tǒng)能產(chǎn)生預期的公平性要求。

目前，對造成公平性問題的偏差因素的研究較為豐富，對有意識的人為干預造成公平性問題的研究相對較為缺乏。另外，現(xiàn)有研究多數(shù)針對短期公平性對各類群體產(chǎn)生的影響，而缺少基于長期結果視角對公平性進行討論。

3 ?推薦系統(tǒng)公平性問題的解決方案

推薦系統(tǒng)公平性問題的解決方案主要可總結歸納為五種：公平性表征、正則化學習、去偏機器學習處理方法、強化學習方法以及多目標優(yōu)化等。

3.1 ?公平性表征

公平性表征學習的任務是在盡可能地保證效用的同時，構建一種（近似地）滿足公平性要求的分類器，即學習公平的表征。這類工作主要是通過找到一種信息豐富的表征Z、一種輸入變量X的特征轉換方式，從而使Z（近似地）與敏感屬性p無關，同時Z仍然包含關于目標Y的豐富信息[43]，表征學習的形式化定義如式（11）所示：

（11）

其中，ξ＞0為預設的常數(shù)，M表示兩個隨機變量之間的互信息。除了這種較為樸素的公平性表征以外，近年來，隨著深度神經(jīng)網(wǎng)絡在表征學習方面的研究進展，有較多研究采用對抗訓練算法實現(xiàn)上面的表征問題，以及基于信息論、核模型、解耦學習的公平表征任務等[44-46]。其中，基于信息論的公平表征任務主要從信息論的角度量化公平表征任務；Gorwa等[47]針對在敏感屬性難以獲取的情況下通過對抗學習的方式進行公平表征，實驗結果顯示，采用少量樣本就可得到不錯的效果；Zhao等[48]通過對抗學習的表征方法實現(xiàn)了同時滿足近似的準確率均等和幾率均等的目的；Xu等[49]則利用深度對抗生成模型并結合因果公平，在表征學習的基礎上提高表征的可解釋性。此外，還有基于解耦學習的公平表征[50]、基于最優(yōu)傳輸理論，采用隨機方式改變原始觀察到的變量分布進行表征等[13，51]。

3.2 ?正則化學習

除了公平性表征方法以外，有學者嘗試提出了一種考慮公平性約束的正則化決策（分類）算法框架，該框架在分類模型的訓練過程中加入公平性約束[52]，如式（12）所示。正則化框架中主要包含兩個部分：損失函數(shù)和公平性約束。前者用于提高模型的預測準確性，后者保證模型的公平性。

（12）

在公平性正則化框架（12）的基礎上，Grgichlaca等學者提出一種新的決策邊界對不公平性進行測量，通過放寬式（12）中公平性的約束。即：當決策邊界不公平性小于某個閾值c時便認為模型滿足公平性要求?；诖丝蚣?，研究者在設計具體分類模型時只需將式（2）中的損失函數(shù)換成相應的分類模型（如邏輯回歸、線性或非線性SVM模型等）的損失函數(shù)，將公平性約束替換成具體的公平性限制函數(shù)[53]。

在公平性正則化的框架下，也有學者提出在式（2）的約束方程中加入L2-正則化項從而改進算法的過程公平性；Yao等[54]提出絕對公平性的概念并將其作為公平性約束條件加入到損失函數(shù)中，可獲得更好的滿足差別性對待的公平性結果；Du等[55]通過構建一個輸出對敏感屬性無依賴的預測器，然后在深度學習中反向回傳梯度，使得不能通過模型輸出去預測敏感屬性，從而提高推薦結果的公平性。特別值得強調(diào)的是，谷歌公司的Beutel等[56]提出一種更為簡單的考慮公平性的正則化方法，只是將原本全局模型中會導致公平性差異的數(shù)據(jù)集獨立出來，分為專注數(shù)據(jù)集和非專注數(shù)據(jù)集，然后通過參數(shù)調(diào)節(jié)兩種數(shù)據(jù)集在模型中的權重，加強模型對某些原來沒有充分學習到的類型的準確率，從而提高預測結果的公平性。

3.3 ?去偏處理方法

根據(jù)2.1小節(jié)所述，數(shù)據(jù)和算法偏差是影響推薦算法公平性的主要來源之一，文獻[13]總結了各種去除偏差的方法。公平性的去偏處理方法在流程上可分為前期預處理、中期預處理及后期預處理[57]。其中，前期預處理主要通過為每個組中的訓練樣例生成權重，并應用于訓練數(shù)據(jù)集中的不同元組，使訓練數(shù)據(jù)集在敏感屬性方面能夠避免被區(qū)分。中期處理則是采用學習分類器模型以最大化預測準確率，并增加帶有偏差意識的正則化項為約束條件來優(yōu)化預測分類器[58]。在后期處理中，采用算法優(yōu)化校準的分類器得分輸出，從而改變輸出標簽的概率[59]。

除了上述常用的去偏處理方法以外，也有學者通過自定義公平性進行去偏方法的設計，Singh等[60]針對用戶對排序結果的關注度嚴重受位置的影響，試圖實現(xiàn)均攤意義上的公平，提出了均攤公平性。國內(nèi)學者采用知識圖譜的方法解決推薦算法公平性[61]；Steck等[62]從曝光分配公平性的角度入手，通過一系列定義和推導將問題轉化為線性規(guī)劃，建立了一個在公平性限制下排序問題的分析和求解框架；國內(nèi)學者石鑫盛等[63]提出了一種基于分類間隔的加權方法用于處理二分類任務中的歧視現(xiàn)象，并在統(tǒng)計均等和機會均等的公平性判定準則上實現(xiàn)了分類公平。最近，Li等[64]將去偏處理方法與跨域推薦進行結合，組合更多領域信息去除數(shù)據(jù)中的偏差。

3.4 ?強化學習

強化學習適合仿真隨時間影響的應用場景，近年來，基于強化學習的推薦系統(tǒng)已經(jīng)成為一個新興的研究領域[65]。ICML2018會議論文[37]采用強化學習的方法研究了不同推薦策略對于決策系統(tǒng)中用戶的公平性影響，而谷歌公司最近發(fā)表的文章[42]則針對不同策略對于決策系統(tǒng)長期公平性影響進行了建模仿真?；趶娀瘜W習方法的長期公平性的仿真不止在金融，在社交，交通等其他領域也有討論[65]。盡管強化學習針對長期公平性的研究具有較好的效果，但在電子商務領域，采用該方法的研究目前相對較為缺乏。

3.5 ?多目標優(yōu)化

滿足公平性要求的推薦算法是確保相似屬性的群體應該得到相似的推薦結果，個性化推薦算法則強調(diào)不同個體或群體間實現(xiàn)差異化推薦?，F(xiàn)有的推薦技術，如協(xié)同過濾推薦、基于相似群體的推薦，都更強化了不同用戶群體間的差異。為了達到公平性和個性化的統(tǒng)一，有文獻提出近鄰平衡化的概念，使受保護群體與其他群體在近鄰中分布均衡從而達到多方的公平性[66]。同時，基于不同立場其主體公平性的定義也存在差異，這些差異化的定義本身也存在沖突。例如，增加推薦結果的多樣性可提升對被推薦商品的公平性，但降低了對消費者的公平性[23]。因此，現(xiàn)有推薦系統(tǒng)也往往需要采取多方面的評價指標以達到多個目標，多目標優(yōu)化也成為實現(xiàn)公平性目的的常用方法[67，68]。但優(yōu)化目標的設定和多目標優(yōu)化兩大問題難度都比較高。特別是在涉及多方利益的公平性問題的情況下，需要采用博弈方法進行策略分析和實現(xiàn)，目前這方面的研究也較為缺乏。

4 ?公平性數(shù)據(jù)集和檢測工具

本小節(jié)介紹公平性領域常用的數(shù)據(jù)集以及可使用的算法公平性檢測工具，此類數(shù)據(jù)集和工具部分雖然不直接來自電商領域，但可作為電商推薦算法的公平性測試使用，也具有較大的參考價值。

4.1 ?Adult數(shù)據(jù)集

Adult數(shù)據(jù)集（http：//archive.ics.uci.edu/ml/datasets/Adult）是較早（1996年）從美國的人口普查數(shù)據(jù)庫中提取的數(shù)據(jù)，該數(shù)據(jù)集提供近5萬條包括年齡、職業(yè)、受教育程度、種族、性別、婚姻狀況、出生地、每周工作時長等屬性。該數(shù)據(jù)集可用來研究性別或種族特征是對收入的預測是否存在公平性影響。

4.2 ?German Credit數(shù)據(jù)集

German Credit 數(shù)據(jù)集（https：//www.heywhale.com/mw/dataset/5d9d5a9a037db3002d3d4f50）主要包括年齡、職業(yè)、收入、客戶類型、借款記錄、是否逾期等20個屬性特征，是用來研究根據(jù)個人的銀行貸款信息和申請客戶貸款逾期發(fā)生情況來預測貸款違約傾向的數(shù)據(jù)集，

4.3 ?COMPAS數(shù)據(jù)集

COMPAS數(shù)據(jù)集（https：//github.com/propublica/compas-analysis.）包含來自美國的一份被告記錄，主要包括監(jiān)獄、服刑時間、人口統(tǒng)計數(shù)據(jù)、犯罪歷史和COMPAS風險評分等屬性特征，該數(shù)據(jù)集可研究種族和性別特征對累犯預判的公平性影響。

4.4 ?UCI Bank Marketing數(shù)據(jù)集

UCI Bank Marketing數(shù)據(jù)集（https：//github.com/propublica/compas-analysis.）包含年齡，工作類型、信用情況、房貸、個人貸款等50個屬性。該數(shù)據(jù)集可用來研究不平衡數(shù)據(jù)對預測客戶是否會認購定期存款的影響。

4.5 ?KDD CUP 2020 數(shù)據(jù)集

KDD CUP 2020 數(shù)據(jù)集（https：//tianchi.aliyun.com/competition/entrance/231785/information.）由阿里提供，主要包括商品編號、商品圖像特征、用戶編號、用戶性別、所在城市等屬性特征。該數(shù)據(jù)集可用來研究如何減少點擊偏差對推薦系統(tǒng)中的商品公平性影響以改善商品推薦的長尾現(xiàn)象。

除上述主要的數(shù)據(jù)集以外，也介紹常用的公平檢測或消除不公平的工具，如表2所示。

表2 ?公平性檢測工具

工具名稱 支持語言 主要用途及優(yōu)缺點

AI Fairness 360 Python，R 第一款檢查數(shù)據(jù)集和機器學習模型是否存在偏差的模型；需要安裝使用

What if tool Python 可視化的偏差檢測工具，可免寫代碼無需安裝的情況下在線免費使用，使用方便；主要面向谷歌的TensorFlow機器學習框架

Microsoft fairlearn Python 能夠評估機器學習模型的公平性，集成在Azure機器學習的云服務中

其中，AI Fairness 360由IBM研究院開發(fā)的可擴展開源工具包（https：//github.com/Trusted-AI/AIF360.），可用于幫助開發(fā)者在基于機器學習算法的應用程序中檢查、報告和減輕機器學習模型的歧視和偏見。

Google What-if工具（https：//github.com/PAIR-code/what-if-tool.）集成于谷歌公司的TensorBoard中，可使開發(fā)者通過交互式可視界面和反事實推理探究機器學習模型的特征重要性，從而找出誤分類原因、確定決策邊界及檢測算法公平性等。

Fairlearn（https：//www.microsoft.com/en-us/research/publication/fairlearn/.）工具允許系統(tǒng)開發(fā)人員評估其系統(tǒng)的公平性，并通過比較多個模型，及采用不同學習算法來生成模型從而緩解不公平問題。該工具由微軟公司所開發(fā)，在具有詳細的使用說明和案例，其使用較為方便。

特別值得強調(diào)的是，國內(nèi)學者清華大學張長水教授等也提出了一個算法公平性的解釋框架FACTS（https：//github.com/weishenpan15/FACTS.）。對于給定的公平性判據(jù)，該框架可利用數(shù)據(jù)以及數(shù)據(jù)生成滿足的因果圖，從圖中找到引起不公平性的因果路徑并把群體間差距分解成以上路徑的貢獻加總，選擇性地移除因果路徑對預測結果的作用來得到能夠符合公平性要求的預測算法[69]。

5 ?結 ?論

推薦系統(tǒng)的設計帶有天然的信息不對稱性。不公平的推薦結果嚴重影響著消費者的利益，如何通過技術手段或制度改善推薦算法的公平性，對提高消費者的滿意度及維護平臺和消費者利益都有著重要的現(xiàn)實意義?；谏鲜鰞?nèi)容的回顧，論文得出以下電子商務推薦系統(tǒng)公平性研究面臨的主要挑戰(zhàn)和研究方向：

1）傳統(tǒng)的電子商務推薦系統(tǒng)主要集中于如何提高推薦結果的準確率，現(xiàn)有研究已經(jīng)開始關注推薦結果的多樣性、新穎性等。隨著推薦技術的發(fā)展，如何依據(jù)現(xiàn)有推薦系統(tǒng)和機器學習領域的相關方法，設計既能滿足公平性要求又能提高常用評價指標的算法將是今后及未來發(fā)展的一個重要研究方向。

2）現(xiàn)有公平性問題的解決方案主要是從計算機技術的角度，但電商平臺以收益最大化為目的的原因使其具有干預推薦結果的動機。推薦結果的列表受空間限制，電商平臺需要在消費者的偏好商品與更多收益商品之間做出取舍，在考慮公平性的前提下，采用博弈分析方法研究推薦結果的收益與公平性的長期動態(tài)演化將成為解決電子商務推薦系統(tǒng)公平性的重要方法。

3）在公平性檢測工具方面，目前主流的公平性檢測工具多數(shù)由國外企業(yè)所開發(fā)，國內(nèi)的檢測工具除了FACTS框架以外，相對較為缺乏。國內(nèi)產(chǎn)業(yè)界也急需在保護個人隱私的前提下開放相應的數(shù)據(jù)集及推出公平檢測工具。

4）我國已于2022年3月1號正式實施《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》，該規(guī)定對電子商務推薦算法的公平性使用也提供了參考。除技術因素外，也需要政府監(jiān)管方與行業(yè)專家制定合理的公平性準則及相關法律，通過政府監(jiān)管、行業(yè)專家、科研開發(fā)者、用戶的共同努力來解決推薦算法的公平問題。

參考文獻：

[1] ASUDEH A，JAGADISH H V，STOYANOVICH J，et al. Designing fair ranking schemes [J].Management of Data，2019：1259-1276.

[2] CASTRO C，O'BRIEN D，SCHWAN B. Fairness and Machine Fairness [C]//Proceedings of the 2021 AAAI/ACM Conference on AI， Ethics， and Society.[S.I.]：Association for Computing Machinery，2021：446.

[3] WANG W Q，WANG M D. Effects of Sponsorship Disclosure on Perceived Integrity of Biased Recommendation Agents： Psychological Contract Violation and Knowledge-Based Trust Perspectives [J].Information Systems Research，2019，30（2）：507-522.

[4] EKSTRAND M D，BURKE R，DIAZ F，et al. Fairness and discrimination in recommendation and retrieval [C]//Proceedings of the 13th ACM Conference on Recommender Systems.Copenhagen：Association for Computing Machinery，2019：576-577.

[5] XIAO B，BENBASAT I. An Empirical Examination of The Influence of Biased Personalized Product Recommendations on Consumers' Decision-Making Outcomes [J].Decision Support Systems，2018，110：46-57.

[6] CHANEY A J.B，STEWART B M，ENGELHARDT B E. How Algorithmic Confounding In Recommendation Systems Increases Homogeneity and Decreases Utility [C]//Proceedings of the 12th ACM Conference on Recommender Systems.Vancouver：Association for Computing Machinery，2018：224-232.

[7] RIEMER K，LEHRKE C. Biased Listing in Electronic Marketplaces -Evidence from the Online Hotel Distribution [J].International Journal of Electronic Commerce，2009，14（1）：55–78.

[8] 孟昌，曲寒瑛.算法合謀及其規(guī)制研究進展 [J].經(jīng)濟學動態(tài)，2021（6）：128-143.

[9] 陳晉音，陳奕芃，陳一鳴，等.面向深度學習的公平性研究綜述 [J].計算機研究與發(fā)展，2021，58（2）：264-280.

[10] 劉文炎，沈楚云，王祥豐，等.可信機器學習的公平性綜述 [J].軟件學報，2021，32（5）：1404-1426.

[11] 古天龍，李龍，常亮，等.公平機器學習：概念、分析與設計 [J].計算機學報，2022，45（5）：1018-1051.

[12] 趙海燕，周萍，陳慶奎，等.推薦系統(tǒng)公平性評價方法：現(xiàn)狀與展望 [J].小型微型計算機系統(tǒng)，2022，43（3）：456-465.

[13] CHEN J W，DONG H D，WANG X，et al. Bias and Debias in Recommender System：A Survey and Future Directions [J/OL].arXiv：2010.03240 [cs.IR].[2023-01-10].2020，arXiv：2010.03240.https：//arxiv.org/abs/2010.03240v2.

[14] ADAMS J S.Toward an Understanding of Inequity [J].Journal of Abnormal Social Psychology，1963，67（5）：422-436.

[15] HUPPERTZ J W，ARENSON S J，EVANS R H. An application of equity theory to buyer-seller exchange situations [J].Journal of Marketing Research，1978，15（2）：250-260.

[16] 謝禮珊，申文果，梁曉丹.顧客感知的服務公平性與顧客公民行為關系研究——基于網(wǎng)絡服務環(huán)境的實證調(diào)研 [J].管理評論，2008（6）：17-24+63.

[17] XIAO B，BENBASAT I. Designing warning messages for detecting biased online product recommendations： an empirical investigation [J].Information Systems Research，2015，26（4）：793-811.

[18] LEONHARDT J，ANAND A，KHOSLA M. User Fairness in Recommender Systems [J/OL]. arXiv：1807.06349 [cs.CY].[2023-01-06].https：//arxiv.org/abs/1807.06349v1.

[19] ABDOLLAHPOURI H，BURKE R，MOBASHER B. Controlling Popularity Bias in Learning-to-Rank Recommendation [C]//Proceedings of the Eleventh ACM Conference on Recommender Systems.Como：Association for Computing Machinery，2019：42-46.

[20] VERMA S，RUBIN J. Fairness definitions explained [EB/OL].[2023-01-06].http：//aixpaper.com/view/fairness_definitions_explained.

[21] KILBERTUS N，ROJAS-CARULLA M，PARASCANDOLO G，et al. Avoiding Discrimination through Causal Reasoning [C]//NIPS'17： Proceedings of the 31st International Conference on Neural Information Processing Systems.Long Beach：Curran Associates Inc.，2017：656-666.

[22] PEARL J，GLYMOUR M，JEWELL P. Causal Inference in Statistics： A Primer [M].Chichester：Wiley，2016：193-196.

[23] WU Y K，ZHANG L，WU X T. Counterfactual Fairness： Unidentification， Bound and Algorithm [C]//Twenty-Eighth International Joint Conference on Artificial Intelligence.Macao：[s.n.].2019.

[24] SACHARIDIS D. Top-N group recommendations with fairness [C]//Proceedings of the 34th ACM/SIGAPP Symposium on Applied Computing.Limassol：Association for Computing Machinery，2019：1663-1670.

[25] KIM J S，CHEN J H，TALWALKAR A. FACT： A Diagnostic for Group Fairness Trade-offs [J/OL].arXiv：2004.03424 [cs.LG].[2023-01-03].https：//arxiv.org/abs/2004.03424v3.

[26] DWORK C，HARDT M，PITASSI T，et al. Fairness through awareness [C]//Proceedings of the 3rd Innovations in Theoretical Computer Science Conference.Cambridge：Association for Computing Machinery，2012：214-226.

[27] HARDT M，PRICE E，SREBRO N. Equality of opportunity in supervised learning [C]//Proceedings of the 30th International Conference on Neural Information Processing Systems.Barcelona：Curran Associates Inc，2016：3323–3331.

[28] ZAFAR M B，VALERA I，ROGRIGUEZ M G，et al. Fairness constraints： Mechanisms for fair classification [C]//Proceedings of the 20th International Conference on Artificial Intelligence and Statistics （AISTATS）.Lauderdale：JMLR，2017，54：962-970.

[29] CORBETT-DAVIES S，PIERSON E，F(xiàn)ELLER A，et al. Algorithmic Decision Making and the Cost of Fairness [C]//Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining，Halifax：Association for Computing Machinery，2017：797–806.

[30] 米婭撩科技.如何實現(xiàn)算法中的公平性 [EB/OL].（2020-09-12）[2022-09-06].https：//www.sohu.com/a/417894466_120775175.

[31] CHOULDECHOVA A. Fair prediction with disparate impact：A study of bias in recidivism prediction instruments [J].Big Data，2017，5（2）：153-163.

[32] ZAFAR M B，VALERA I，RODRIGUEZ M G，et al. Fairness Beyond Disparate Treatment & Disparate Impact： Learning Classification without Disparate Mistreatment [C]//Proceedings of the 26th International Conference on World Wide Web.Perth：International World Wide Web Conferences Steering Committee，2017：1171-1180.

[33] KLEINBERG J，MULLAINATHAN S，RAGHAVAN M. Inherent Trade-Offs in the Fair Determination of Risk Scores [J/OL].arXiv：1609.05807 [cs.LG].[2023-01-03].https：//arxiv.org/abs/1609.05807v2.

[34] KOWALD D，SCHEDL M，LEX E. The Unfairness of Popularity Bias in Music Recommendation： A Reproducibility Study [J/OL].arXiv：1912.04696 [cs.IR].[2023-01-03].https：//arxiv.org/abs/1912.04696v2.

[35] ZHAO N，HE X. Distributed Recommendation Considering Aggregation Diversity [J].International Journal of Distributed Systems and Technologies，2021，12（3）：83-97.

[36] BINNS R. Fairness in Machine Learning： Lessons from Political Philosophy [J/OL].arXiv：1712.03586 [cs.CY].[2023-01-03].https：//arxiv.org/abs/1712.03586.

[37]. LIU L T，DEAN S，ROLF E，et al. Delayed Impact of Fair Machine Learning [J/OL].arXiv：1803.04383 [cs.LG].[2023-01-02].https：//arxiv.org/abs/1803.04383.

[38] 劉璇，朝樂門.AI治理中的公平性及其評價方法研究 [J].情報資料工作，2022，43（5）：24-33.

[39] 劉總真，張瀟丹，郭濤，等.新聞推薦算法可信評價研究 [J].信息安全學報，2021，6（5）：156-168.

[40] KEANE M T，O'BRIEN M. Modeling result-list searching in the world wide web： The role of relevance topologies and trust bias [J].Proceedings of the Annual Meeting of the Cognitive Science Society，2006，28（28）：1881-1886.

[41] ADOMAVICIUS G，KWON Y. Improving Aggregate Recommendation Diversity Using Ranking-Based Techniques [J].IEEE Transactions on Knowledge and Data Engineering，2012，24（5）：896-911.

[42] D'AMOUR A，SRINIVASAN H，ATWOOD J，et al. Fairness is not static： deeper understanding of long-term fairness via simulation studies [C]//Proceedings of the 2020 Conference on Fairness， Accountability， and Transparency.Barcelona：Association for Computing Machinery，2020：525-534.

[43] ZEMEL R，WU Y，SWERSKY K，et al. learning fair representations [C]//Proceedings of the 30th International Conference on International Conference on Machine Learning.Atlanta：JMLR.org，2013：325-333.

[44] WU L，CHEN L，SHAO P Y，et al. Learning Fair Representations for Recommendation： A Graph-based Perspective [C]//Proceedings of the Web Conference 2021.Ljubljana：Association for Computing Machinery，2021：2198-2208.

[45] SONG J M，KALLURI P，GROVER A，et al. Learning Controllable Fair Representations [J/OL].arXiv：1812.04218 [cs.LG].[2022-12-06].https：//arxiv.org/abs/1812.04218v3.

[46] ZHAO H，GORDON G J. Inherent Tradeoffs in Learning Fair Representations [J/OL].arXiv：1906.08386 [cs.LG].[2022-12-06].https：//arxiv.org/abs/1906.08386v5.

[47] GORWA R.Towards fairness， accountability， and transparency in platform governance [C]//The 19thAnnual Conference of the Association of Internet Researchers.Montreal：[s.n.]，2018：1-3.

[48] ZHAO H，COSTON A，ADEL T，et al. Conditional Learning of Fair Representations [J/OL].arXiv：1910.07162 [cs.LG].[2022-12-06].https：//arxiv.org/abs/1910.07162v1.

[49] XU D P，YUAN S H，ZHANG L，et al. FairGAN+： Achieving Fair Data Generation and Classification through Generative Adversarial Nets [C]//2019 IEEE International Conference on Big Data（Big Data）.Los Angeles：IEEE，2019：1401-1406.

[50] KOCAOGLU M，SNYDER C，DIMAKIS A G，et al. Learning causal implicit generative models with adversarial training [J/OL].arXiv：1709.02023 [cs.LG].[2022-12-10].https：//arxiv.org/abs/1709.02023v2.

[51] BARRIO E，GAMBOA F，GORDALIZA P. Loubes JM. Obtaining fairness using optimal transport theory [J/OL].arXiv：1806.03195 [math.ST]].[2022-12-10].https：//arxiv.org/abs/1806.03195？context=stat.

[52] KAMISHIMA T，AKAHO S，SAKUMA J，et al. Fairness-aware Learning through Regularization Approach [C]//2011 IEEE 11th International Conference on Data Mining Workshops.Vancouver：IEEE，2011：643-650.

[53] GRGIC-HLACA N，ZAFAR M B，GUMMADI K P，et al. Beyond Distributive Fairness in Algorithmic Decision Making： Feature Selection for Procedurally Fair Learning [EB/OL].[2022-12-16].https：//mlg.eng.cam.ac.uk/adrian/AAAI18-BeyondDistributiveFairness.pdf.

[54] YAO S R，HUANG B. Beyond Parity： Fairness Objectives for Collaborative Filtering [C]//Proceedings of the 31st International Conference on Neural Information Processing Systems.Long Beach：Curran Associates Inc，2017：2925-2934.

[55] DU M N，YANG F，ZOU N，et al. Fairness in Deep Learning： A Computational Perspective [J].IEEE Intelligent Systems，2021，36（4）：25-34.

[56] BEUTEL A，CHI E H，CHENG Z Y，et al. Beyond Globally Optimal： Focused Learning for Improved Recommendations [C]//The 26th International Conference.International World Wide Web Conferences Steering Committee，Perth：International World Wide Web Conferences Steering Committee，2017：203-212.

[57] KAMIRAN F，CALDERS T. Data preprocessing techniques for classification without discrimination [J].Knowledge and Information Systems，2012，33（1）：1-33.

[58] LI P Z，LIU H F. Achieving Fairness at No Utility Cost via Data Reweighing with Influence [J/OL].arXiv：2202.00787 [cs.LG].[2023-01-06].https：//arxiv.org/abs/2202.00787.

[59] BIEGA A J，GUMMADI K P，WEIKUM G. Equity of Attention： Amortizing Individual Fairness in Rankings [C]//The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval.Ann Arbor：Association for Computing Machinery，2018：405–414.

[60] SINGH A，JOACHIMS T. Fairness of Exposure in Rankings [C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining.London：Association for Computing Machinery，2018：2219-2228.

[61] 徐冰珂.基于知識圖譜的推薦系統(tǒng)公平性研究[D].成都：電子科技大學，2022.

[62] STECK H. Calibrated Recommendations [C]//RecSys' 18：Proceedings of the 12th ACM Conference on Recommender Systems.Vancouver：Association for Computing Machinery，2018，154-162.

[63] 石鑫盛，李云.公平性機器學習中基于分類間隔的歧視樣本發(fā)現(xiàn)和消除算法 [J].中國科學：信息科學，2020，50（8）：1255-1266.

[64] LI S Q，YAO L Y，MU S L，et al. Debiasing Learning based Cross-domain Recommendation [C]//The 27th ACM SIGKDD Conference on Knowledge Discovery and Data Mining，[S.I.]：Association for Computing Machinery，2021：3190-3199.

[65] 余力，杜啟翰，岳博妍，等.基于強化學習的推薦研究綜述 [J].計算機科學，2021，48（10）：1-18.

[66] BURKE R，SONBOLI N，ORDONEZGAUGER A. Balanced Neighborhoods for Multi-sided Fairness in Recommendation [J/OL].arXiv：1707.00093 [cs.CY].[2022-12-20].https：//arxiv.org/abs/1707.00093.

[16] BURKE R，SONBOLI N，ORDONEZ-GAUGER A. Balanced Neighborhoods for Multi-sided Fairness in Recommendation [C]//Proceedings of the 1st Conference on Fairness， Accountability and Transparency.New York：[s.n.].2018，81：202-214.

[67] BURKE R. Multisided Fairness for Recommendation [J/OL].arXiv：1707.00093 [cs.CY].[2023-01-05].https：//arxiv.org/abs/1707.00093.

[68] 馬哲.多方參與者環(huán)境下的推薦算法與評價指標研究 [D].成都：電子科技大學，2022.

[69] PAN W S，CUI S，BIAN J，et al. Explaining Algorithmic Fairness Through Fairness-Aware Causal Path Decomposition [J/OL].arXiv：2108.05335 [cs.LG].[2023-01-05].https：//arxiv.org/abs/2108.05335v1.

作者簡介：喻繼軍（1984—），男，漢族，江西萍鄉(xiāng)人，講師，博士，研究方向：管理信息系統(tǒng)、數(shù)據(jù)科學、推薦系統(tǒng)；熊明華（1992—），男，漢族，湖南郴州人，講師，博士，主要研究方向：系統(tǒng)工程、供應鏈競合關系。