2022年4月,全球知名咨詢與研究機(jī)構(gòu)弗雷斯特(Forrester)發(fā)布《火山引擎A/B測(cè)試總體經(jīng)濟(jì)影響白皮書》,在研究字節(jié)跳動(dòng)旗下火山引擎的客戶經(jīng)營生產(chǎn)情況后發(fā)現(xiàn),企業(yè)采用A/B測(cè)試后綜合財(cái)務(wù)指標(biāo)方面的投資回報(bào)率可達(dá)到126%,可見A/B測(cè)試對(duì)企業(yè)的賦能作用顯著。在開放火山引擎A/B測(cè)試工具給更多外部企業(yè)之前,字節(jié)內(nèi)部使用A/B測(cè)試已經(jīng)有近十年的時(shí)間,“抖音”“西瓜視頻”等產(chǎn)品名稱的確定都離不開A/B測(cè)試的結(jié)果,正如字節(jié)內(nèi)部流行的一句話所言:“A/B測(cè)試是一種信仰?!睘榱舜蛟斐墒斓腁/B測(cè)試產(chǎn)品,字節(jié)跳動(dòng)成立了專門的數(shù)字實(shí)驗(yàn)平臺(tái)Libra提供企業(yè)內(nèi)部的A/B測(cè)試評(píng)估和智能優(yōu)化服務(wù),走出了一條獨(dú)特的平臺(tái)發(fā)展之路。
平臺(tái)治理是平臺(tái)創(chuàng)造價(jià)值的關(guān)鍵環(huán)節(jié),字節(jié)跳動(dòng)A/B測(cè)試產(chǎn)品的成功與Libra平臺(tái)的有效治理息息相關(guān)。本文圍繞Libra實(shí)驗(yàn)平臺(tái)的例子具體解讀數(shù)字平臺(tái)的治理問題。
A/B測(cè)試是一種在線實(shí)驗(yàn),指的是將線上流量隨機(jī)分給原策略A和新策略B,在排除干擾的情況下,結(jié)合相關(guān)統(tǒng)計(jì)方法對(duì)策略B進(jìn)行效果評(píng)估。換句話說,A/B測(cè)試可以比較同一目標(biāo)的A、B兩種方案哪種更加有效,是一種能夠驗(yàn)證因果關(guān)系的隨機(jī)對(duì)照實(shí)驗(yàn)。因?yàn)榻Y(jié)合了數(shù)字化技術(shù),A/B測(cè)試相較于傳統(tǒng)的“隨機(jī)雙盲試驗(yàn)”,具有低成本、大流量、傳播快等特點(diǎn)。國外大型互聯(lián)網(wǎng)公司從21世紀(jì)初開始陸續(xù)采用A/B測(cè)試,例如谷歌(Google)、微軟(Microsoft)、臉書(Facebook)、領(lǐng)英(LinkedIn)、亞馬遜(Amazon)等,這些公司每年都會(huì)針對(duì)數(shù)百萬用戶開展超過1萬次的在線對(duì)照實(shí)驗(yàn)。
借鑒國外開展A/B測(cè)試的經(jīng)驗(yàn),2012年字節(jié)跳動(dòng)在成立之初就引入這種實(shí)驗(yàn)方法進(jìn)行算法迭代。2014年2月,A/B測(cè)試成為公司內(nèi)的體系化工具,形態(tài)上類似于小程序,員工改變配置即可進(jìn)行實(shí)驗(yàn)。2016年,字節(jié)將A/B測(cè)試相關(guān)的工具進(jìn)行整合并創(chuàng)立名為Libra的平臺(tái),取意“天秤座”,用來10651adebc7b8aa2f1af91094a0a2bfe9b4f7cabfe96aade880c928d76e59c62比喻A、B兩種策略在天平兩端具有同等分量,充分體現(xiàn)了企業(yè)想要傳達(dá)的“客觀”理念。起初,Libra主要供今日頭條使用,支持推薦、廣告、推送等業(yè)務(wù)的迭代。從2015年到2018年,Libra不斷拓展服務(wù)邊界,公司的其他頭條系產(chǎn)品如西瓜視頻等也接入Libra平臺(tái)開展A/B測(cè)試。
2018年,在綜合考量了全公司各項(xiàng)業(yè)務(wù)產(chǎn)品對(duì)A/B測(cè)試的需求后,字節(jié)跳動(dòng)加大了對(duì)A/B測(cè)試產(chǎn)品化的投入,Libra團(tuán)隊(duì)成員也開始深入對(duì)接字節(jié)內(nèi)的各個(gè)業(yè)務(wù)部門,平臺(tái)影響力不斷擴(kuò)大。抖音等產(chǎn)品的快速發(fā)展使Libra真正成為字節(jié)舉足輕重的數(shù)字平臺(tái),甚至“抖音”這一名稱也是A/B測(cè)試得到的。公司內(nèi)部成員為“抖音”原型產(chǎn)品起成不同的名字、使用不同的Logo在應(yīng)用商店投放,綜合考量用戶關(guān)心度、用戶吸引力、下載轉(zhuǎn)化率等指標(biāo),“抖音”排名第二,因?yàn)楦袭a(chǎn)品形態(tài)而被采納。
近年來,字節(jié)內(nèi)部使用A/B測(cè)試的頻次呈指數(shù)級(jí)增長。截至2023年6月,Libra已經(jīng)為公司內(nèi)500多個(gè)業(yè)務(wù)提供A/B測(cè)試評(píng)估和智能優(yōu)化服務(wù),平臺(tái)累計(jì)做實(shí)驗(yàn)超240萬次,每日新增實(shí)驗(yàn)數(shù)量可超過4000次。作為國內(nèi)最大的以平臺(tái)形式對(duì)A/B測(cè)試產(chǎn)品進(jìn)行支持的數(shù)字實(shí)驗(yàn)平臺(tái),Libra整合了字節(jié)中與A/B測(cè)試相關(guān)的人才與數(shù)據(jù)資源,匯集了大量測(cè)試知識(shí)經(jīng)驗(yàn),為各業(yè)務(wù)部門提供數(shù)據(jù)支持服務(wù),從而幫助字節(jié)實(shí)現(xiàn)了全員參與低成本試錯(cuò)的目標(biāo),為企業(yè)的快速迭代和創(chuàng)新發(fā)展提供了堅(jiān)實(shí)的保障。在Libra實(shí)驗(yàn)平臺(tái)的支持下,字節(jié)A/B測(cè)試系列產(chǎn)品逐漸成熟,其功能與經(jīng)驗(yàn)也成功輸出到To B業(yè)務(wù)中,孵化出火山引擎A/B測(cè)試產(chǎn)品,賦能更多公司實(shí)現(xiàn)變革。
建立數(shù)字平臺(tái)不僅需要在硬件方面具備基礎(chǔ)的數(shù)字技術(shù)與底層架構(gòu),同時(shí)需要一套完善的平臺(tái)治理體系進(jìn)行用戶管理。Libra作為字節(jié)跳動(dòng)內(nèi)部的數(shù)字實(shí)驗(yàn)平臺(tái),需要與企業(yè)的其他業(yè)務(wù)部門保持緊密的合作關(guān)系,充分發(fā)揮平臺(tái)的支撐作用。為了確保平臺(tái)發(fā)揮對(duì)業(yè)務(wù)創(chuàng)新與試錯(cuò)的促進(jìn)作用,Libra團(tuán)隊(duì)逐漸探索出了一套多元化的數(shù)字實(shí)驗(yàn)平臺(tái)治理手段。
“重激勵(lì)-輕控制”的企業(yè)內(nèi)數(shù)字平臺(tái)治理
平臺(tái)是一種介于科層制和市場(chǎng)之間的組織形態(tài),其所有者和使用者之間存在著弱契約化的協(xié)同關(guān)系——平臺(tái)上的用戶對(duì)自身的資源具有所有權(quán),它的行為和目標(biāo)并不需要完全服從于平臺(tái)方,和平臺(tái)方屬于合作的關(guān)系。正因?yàn)槠脚_(tái)是既非科層制也非自由市場(chǎng)的中間特殊形態(tài),平臺(tái)所有者需要提供特定的治理手段協(xié)調(diào)自身與用戶、用戶與用戶之間的共同活動(dòng),從而確保整個(gè)平臺(tái)能夠創(chuàng)造出最大化的協(xié)同價(jià)值。常見的平臺(tái)包括交易平臺(tái)、知識(shí)共享平臺(tái)、社交平臺(tái)等。
組織治理通常被分為激勵(lì)和控制兩個(gè)方面。在平臺(tái)組織中,激勵(lì)指的是采取措施鼓勵(lì)更多使用者參與到平臺(tái)上正確地運(yùn)用平臺(tái)資源,控制指的是使用規(guī)則限制平臺(tái)使用者可能損害合作關(guān)系或者平臺(tái)利益的行為。常見的激勵(lì)措施包括為加入平臺(tái)的用戶提供現(xiàn)金獎(jiǎng)勵(lì)、熱銷產(chǎn)品排行榜等,常見的控制措施包括在用戶加入平臺(tái)之前開展背景調(diào)查、設(shè)置平臺(tái)準(zhǔn)入端口費(fèi)用等。
Libra作為企業(yè)內(nèi)的數(shù)字平臺(tái),與一般意義的平臺(tái)組織有所差異。平臺(tái)組織多指獨(dú)立的平臺(tái)型企業(yè),其用戶多是其他獨(dú)立公司或個(gè)體,平臺(tái)與用戶之間是商業(yè)合作的關(guān)系。Libra雖然同樣提供數(shù)據(jù)支持、信息傳遞等平臺(tái)性服務(wù),但是其用戶和Libra同屬于一家企業(yè),有著統(tǒng)一的公司整體目標(biāo)。因此在激勵(lì)上,Libra需要構(gòu)建共創(chuàng)協(xié)同的平臺(tái)文化氛圍,鼓勵(lì)所有員工積極加入平臺(tái)參與實(shí)驗(yàn),實(shí)現(xiàn)提高全公司決策科學(xué)性的平臺(tái)目標(biāo);在控制上,Libra需要采取措施限定和指導(dǎo)用戶行為的方向,避免不同用戶間產(chǎn)生利益沖突,發(fā)揮出用戶間“1+1>2”的協(xié)同作用。
本文提出Libra的激勵(lì)治理包括三個(gè)方面,分別為平臺(tái)功能完善、使用信息共享、外部關(guān)系打通,控制治理包括兩個(gè)方面,行為控制和結(jié)果控制。因?yàn)長ibra與其內(nèi)部用戶同屬于一個(gè)企業(yè),在企業(yè)內(nèi)統(tǒng)一的規(guī)章制度管控下Libra無需避免用戶的違規(guī)操作、處理所有權(quán)界定或收益分割等糾紛問題,而是重點(diǎn)鼓勵(lì)更多部門加入平臺(tái)開展實(shí)驗(yàn),所以Libra數(shù)字實(shí)驗(yàn)平臺(tái)整體呈現(xiàn)出“重激勵(lì)-輕控制”的治理模式(如圖1)。激勵(lì)與控制兩個(gè)維度各有側(cè)重又相輔相成,提高企業(yè)的運(yùn)營效率。接下來本文對(duì)Libra平臺(tái)治理的激勵(lì)與控制措施進(jìn)行具體介紹。
激勵(lì)一:平臺(tái)功能完善
平臺(tái)功能完善強(qiáng)調(diào)的是不斷優(yōu)化與更新平臺(tái)的功能,提高數(shù)字化工具的服務(wù)質(zhì)量,從而幫助用戶提高效率、創(chuàng)造收益。因?yàn)樘峁┓?wù)是平臺(tái)最基礎(chǔ)的屬性,所以平臺(tái)功能完善是吸引用戶加入平臺(tái)最重要的激勵(lì)方式。
Libra的主要產(chǎn)品是A/B測(cè)試。如果業(yè)務(wù)獨(dú)立開展A/B測(cè)試,員工需要學(xué)習(xí)統(tǒng)計(jì)模型、計(jì)算指標(biāo)、手動(dòng)配置實(shí)驗(yàn),極大地增加了單次實(shí)驗(yàn)的成本。Libra搭建了實(shí)驗(yàn)基礎(chǔ)架構(gòu),繪制出可視化界面,實(shí)驗(yàn)者只需要在平臺(tái)上填寫個(gè)性化信息即可輕松操作。在Libra上開展A/ B測(cè)試的流程如圖2所示。在平臺(tái)上創(chuàng)建實(shí)驗(yàn)之前,業(yè)務(wù)方需要明確此次實(shí)驗(yàn)希望解決的問題,設(shè)計(jì)出實(shí)驗(yàn)可供選擇的兩到多種策略(策略A、策略B……),明確在實(shí)驗(yàn)過程中需要觀測(cè)的指標(biāo)有哪些、預(yù)期這些指標(biāo)在實(shí)驗(yàn)中有怎樣的變化。然后,研發(fā)人員和產(chǎn)品經(jīng)理要在Libra實(shí)驗(yàn)平臺(tái)上按照標(biāo)準(zhǔn)的流程填寫實(shí)驗(yàn)的基本信息,例如實(shí)驗(yàn)流量大小、實(shí)驗(yàn)時(shí)長、實(shí)驗(yàn)對(duì)象過濾條件等,配置對(duì)照組(策略A)和實(shí)驗(yàn)組(策略B)參數(shù),開啟同伴評(píng)審保證實(shí)驗(yàn)的正確配置,隨后開啟實(shí)驗(yàn)。在實(shí)驗(yàn)結(jié)束后,數(shù)據(jù)分析師需要計(jì)算與分析各指標(biāo)變化情況,評(píng)估新策略是否達(dá)到了預(yù)期目標(biāo)、是否需要采取進(jìn)一步實(shí)驗(yàn)措施,如延長實(shí)驗(yàn)時(shí)長等,并撰寫分析報(bào)告以供后續(xù)使用。如果實(shí)驗(yàn)結(jié)果滿足預(yù)期,實(shí)驗(yàn)團(tuán)隊(duì)會(huì)開啟上線評(píng)審,由更多專業(yè)人士決定業(yè)務(wù)部門是否可以采納實(shí)驗(yàn)結(jié)果。此外,業(yè)務(wù)研發(fā)人員在實(shí)驗(yàn)結(jié)束后也可以進(jìn)一步開啟反轉(zhuǎn)實(shí)驗(yàn)、父子實(shí)驗(yàn)等,長期監(jiān)測(cè)和評(píng)估新策略的效果。
平臺(tái)功能也不是一成不變的,組織需要順應(yīng)數(shù)字技術(shù)的發(fā)展和市場(chǎng)需求的變化,快速更新平臺(tái)功能以提供更完善的服務(wù)。正如Libra研發(fā)工程師所闡述的:“Libra推出新功能的迭代速度非??欤總€(gè)月基本上都會(huì)有較大變化。這種功能迭代的來源有兩個(gè),其中以用戶業(yè)務(wù)的需求為主,平臺(tái)自我功能驅(qū)動(dòng)為輔。”在內(nèi)部保障機(jī)制方面,Libra團(tuán)隊(duì)堅(jiān)持每周一次個(gè)人書面匯報(bào)、每雙周一次團(tuán)隊(duì)例行會(huì)議、每雙月制定一版目標(biāo)規(guī)劃,打通團(tuán)隊(duì)成員之間的溝通渠道,保證所有人信息一致、目標(biāo)統(tǒng)一。在獲取外部信息方面,Libra產(chǎn)品經(jīng)理、研發(fā)人員、數(shù)據(jù)科學(xué)人員等多個(gè)角色成員均需要與用戶直接溝通,定期參與業(yè)務(wù)方會(huì)議,切實(shí)了解業(yè)務(wù)部門開展實(shí)驗(yàn)時(shí)遇到的難題、對(duì)數(shù)據(jù)服務(wù)的新需求等等。
自動(dòng)調(diào)參、配置發(fā)布、因果推斷是Libra近幾年推出的新功能。自動(dòng)調(diào)參是將實(shí)驗(yàn)和優(yōu)化算法結(jié)合的產(chǎn)品,主要針對(duì)參數(shù)較多的探索性實(shí)驗(yàn),通過為用戶提供完整的分析套件,幫助用戶以更低的成本探索實(shí)驗(yàn)配置的最優(yōu)參數(shù)。配置發(fā)布是Libra打造的服務(wù)端配置管理和灰度發(fā)布平臺(tái),支持用戶集中管理不同業(yè)務(wù)線、不同服務(wù)的配置參數(shù)和開關(guān),將A/B 測(cè)試結(jié)果參數(shù)一鍵上線。因果推斷是Libra團(tuán)隊(duì)近兩年新推出的功能合集,提供了一系列標(biāo)準(zhǔn)范式下的評(píng)估工具,以幫助用戶在各種復(fù)雜業(yè)務(wù)場(chǎng)景下開展準(zhǔn)實(shí)驗(yàn)(quasi-experiment)研究。
激勵(lì)二:使用經(jīng)驗(yàn)共享
使用經(jīng)驗(yàn)共享指的是平臺(tái)為用戶提供平臺(tái)的相關(guān)信息,從而幫助用戶便捷地使用平臺(tái)資源。如果平臺(tái)不能夠提供足夠的信息,平臺(tái)的使用門檻會(huì)被提高,降低使用者加入平臺(tái)的意愿。因此,信息的有效共享也是平臺(tái)治理的重要激勵(lì)方式。
為了鼓勵(lì)更多業(yè)務(wù)部門加入平臺(tái)開展實(shí)驗(yàn),Libra團(tuán)隊(duì)主要采取以下幾種措施提供平臺(tái)的使用經(jīng)驗(yàn):第一,編寫Libra產(chǎn)品的在線使用手冊(cè),其中包括A/B測(cè)試背后的統(tǒng)計(jì)學(xué)原理知識(shí)介紹、產(chǎn)品操作流程錄像、往期培訓(xùn)錄像、優(yōu)秀案例等,為新用戶提供自行了解平臺(tái)產(chǎn)品功能的渠道,確保員工在瀏覽使用手冊(cè)后掌握實(shí)施A/B測(cè)試的基本操作;第二,定期針對(duì)不同的人群,例如技術(shù)人員、特定業(yè)務(wù)人員、新用戶等,提供專場(chǎng)培訓(xùn)活動(dòng),在活動(dòng)中邀請(qǐng)過往優(yōu)秀實(shí)踐者進(jìn)行經(jīng)驗(yàn)分享,使不同角色的員工可以更精準(zhǔn)地了解平臺(tái)不同功能的使用方法和效果;第三,在Libra主頁設(shè)置“反饋與咨詢”版塊,自動(dòng)回復(fù)常見的共性問題,安排值班人員解答“人工反饋”問題,以天為單位確保每一個(gè)使用者問題都能被快速回復(fù);第四,按功能開設(shè)多個(gè)相關(guān)用戶群,在群中介紹產(chǎn)品的最新功能、通知平臺(tái)事故、收集需求建議等。這些措施保障了每一位用戶都能夠快速掌握平臺(tái)產(chǎn)品信息,降低了Libra的使用門檻,營造出“人人都可實(shí)驗(yàn)、人人都能實(shí)驗(yàn)”的氛圍,進(jìn)而激勵(lì)字節(jié)所有員工充分利用平臺(tái)資源。
激勵(lì)三:外部關(guān)系打通
外部關(guān)系指的是主體平臺(tái)與其他平臺(tái)之間的關(guān)系。因?yàn)椴煌脚_(tái)可以提供差異化的服務(wù),用戶可以選擇同時(shí)加入多個(gè)平臺(tái)以謀取更大的利益。如果平臺(tái)之間是互相競(jìng)爭(zhēng)的關(guān)系,用戶的多歸屬行為(multihoming)可能會(huì)降低用戶對(duì)主體平臺(tái)的忠誠度,從而使主體平臺(tái)利益受損,因此很多平臺(tái)會(huì)禁止用戶的多歸屬行為。然而在同一家企業(yè)中,不同數(shù)據(jù)平臺(tái)通過提供異質(zhì)性的服務(wù)呈現(xiàn)互補(bǔ)關(guān)系,平臺(tái)之間的數(shù)據(jù)打通有助于推動(dòng)數(shù)據(jù)流動(dòng),方便業(yè)務(wù)方管理和整合數(shù)據(jù)。因此,與其他平臺(tái)實(shí)現(xiàn)功能互通有助于提高員工對(duì)主體平臺(tái)的使用意愿。
為便捷用戶使用字節(jié)其他數(shù)據(jù)平臺(tái)的指標(biāo),Libra團(tuán)隊(duì)將打通公司已有的數(shù)據(jù)開發(fā)與分析平臺(tái)作為Libra建設(shè)的關(guān)鍵目標(biāo)之一,安排專門的團(tuán)隊(duì)成員持續(xù)跟進(jìn)完善與其他數(shù)據(jù)平臺(tái)內(nèi)部指標(biāo)管理的互通工作,優(yōu)化Libra的數(shù)據(jù)建設(shè)和實(shí)驗(yàn)分析能力。以Libra中的用戶行為指標(biāo)為例,TEA(對(duì)外產(chǎn)品名為火山引擎增長分析平臺(tái)DataFinder)是字節(jié)跳動(dòng)幫助業(yè)務(wù)開展行為分析的專業(yè)數(shù)據(jù)分析平臺(tái),Libra平臺(tái)選擇內(nèi)嵌了TEA的部分分析能力,使得Libra用戶在使用過程中只需要在行為指標(biāo)配置頁面上點(diǎn)擊選擇就可以生成一個(gè)用于A/B測(cè)試的指標(biāo)并保存在Libra報(bào)告頁面中,隨后運(yùn)用到該用戶所在產(chǎn)品線的全部實(shí)驗(yàn)中。
控制一:行為控制
行為控制指的是確保個(gè)體采取的行動(dòng)對(duì)組織有益、防止個(gè)體執(zhí)行對(duì)組織造成損害的行為(“行為控制”為特定科研術(shù)語,指確保個(gè)體采取的行為對(duì)組織有益、防止個(gè)體執(zhí)行對(duì)組織造成損害的行為)。行為控制的前提條件是組織清楚了解什么樣的行為是組織希望看到的。如果一些工作涉及復(fù)雜且具有高度不確定性的任務(wù),例如研發(fā)或高層決策的工作,期望的行為就難以被界定,組織就很難開展行為控制措施。在數(shù)字平臺(tái)中,行為控制更加容易執(zhí)行,因?yàn)槠脚_(tái)的用戶行為流程是由平臺(tái)團(tuán)隊(duì)自行設(shè)計(jì)的,并且用戶行為通常可以在平臺(tái)后臺(tái)監(jiān)控。在行為控制中,平臺(tái)不需要考慮行為所產(chǎn)生的結(jié)果是否是符合預(yù)期的,只需要考慮用戶活動(dòng)的過程是否合規(guī)。在實(shí)際治理工作中,行為控制和結(jié)果控制往往是結(jié)合開展的,以產(chǎn)生更好的控制效果。
在A/B測(cè)試的流程中,Libra團(tuán)隊(duì)共設(shè)計(jì)了三輪評(píng)審活動(dòng),其中前兩輪評(píng)審活動(dòng)都是典型的行為控制措施。第一輪評(píng)審安排在設(shè)計(jì)實(shí)驗(yàn)環(huán)節(jié),評(píng)審在實(shí)驗(yàn)小組的內(nèi)部開展,審核實(shí)驗(yàn)方案是否合理,例如需要觀測(cè)的指標(biāo)是否準(zhǔn)確、指標(biāo)的預(yù)期變化方向是否正確等。第二輪評(píng)審安排在創(chuàng)建實(shí)驗(yàn)階段、開啟實(shí)驗(yàn)之前,被稱為同伴評(píng)審,審核人員包括用戶和Libra雙方負(fù)責(zé)人員,檢查實(shí)驗(yàn)配置中是否有書寫錯(cuò)誤、命名不規(guī)范、配置沖突等情況,對(duì)代碼質(zhì)量、指標(biāo)預(yù)期波動(dòng)等進(jìn)行核查,防止這些錯(cuò)誤造成平臺(tái)的線上事故。第二輪評(píng)審也是保證實(shí)驗(yàn)順利開啟的重要前提。除評(píng)審之外,數(shù)字平臺(tái)通常還有一些數(shù)據(jù)隱私方面的行為控制措施,因?yàn)閿?shù)據(jù)隱私和合規(guī)是保障數(shù)字平臺(tái)安全的核心工作。字節(jié)通過制定專門的數(shù)據(jù)及信息安全準(zhǔn)則,設(shè)置公司的數(shù)據(jù)安全紅線,規(guī)范所有數(shù)據(jù)平臺(tái)中的客戶數(shù)據(jù)使用行為,以保障公司的數(shù)據(jù)安全。
控制二:結(jié)果控制
結(jié)果控制涉及到對(duì)個(gè)體活動(dòng)產(chǎn)生的結(jié)果進(jìn)行獎(jiǎng)勵(lì)或者懲罰,例如企業(yè)為員工發(fā)放優(yōu)秀績(jī)效獎(jiǎng)金等。結(jié)果控制雖然不限制個(gè)體的行為方式,但往往也會(huì)影響到個(gè)人的行為,因?yàn)椴扇∠鄳?yīng)的行為才能夠得到預(yù)期的結(jié)果。結(jié)果控制的前提是定義預(yù)期結(jié)果,即在數(shù)字平臺(tái)中,結(jié)果控制需要首先考慮平臺(tái)的目標(biāo)是什么,從而對(duì)用戶在平臺(tái)上活動(dòng)的結(jié)果進(jìn)行界定,判斷用戶行為的結(jié)果是否與平臺(tái)目標(biāo)一致。當(dāng)用戶的活動(dòng)結(jié)果與平臺(tái)的目標(biāo)一致時(shí),鼓勵(lì)并肯定用戶活動(dòng),當(dāng)活動(dòng)結(jié)果與平臺(tái)目標(biāo)不一致時(shí),禁止或者限制這種行為。
Libra的目標(biāo)是為字節(jié)跳動(dòng)全業(yè)務(wù)迭代提供A/B測(cè)試評(píng)估和智能優(yōu)化服務(wù),幫助業(yè)務(wù)科學(xué)有效地衡量收益。從開展實(shí)驗(yàn)的結(jié)果角度來看,業(yè)務(wù)方在平臺(tái)上的活動(dòng)一方面需要對(duì)業(yè)務(wù)產(chǎn)生真正的效益,即為業(yè)務(wù)創(chuàng)造收益或者提高業(yè)務(wù)運(yùn)行效率,另一方面不能損害字節(jié)的整體收益,即對(duì)其他業(yè)務(wù)不產(chǎn)生負(fù)面影響。Libra在這兩方面分別采取了結(jié)果控制。
在幫助業(yè)務(wù)迭代方面,Libra團(tuán)隊(duì)設(shè)置了流程中的第三輪評(píng)審——上線評(píng)審。當(dāng)實(shí)驗(yàn)出現(xiàn)滿足預(yù)期的結(jié)果時(shí),實(shí)驗(yàn)團(tuán)隊(duì)可以在系統(tǒng)中申請(qǐng)上線,隨后由更多專業(yè)人員對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)估,判斷該實(shí)驗(yàn)結(jié)果對(duì)業(yè)務(wù)是否有真正的價(jià)值。只有當(dāng)實(shí)驗(yàn)涉及的業(yè)務(wù)變動(dòng)被多方認(rèn)可是能夠幫助提升業(yè)務(wù)和公司運(yùn)行效果的,該變動(dòng)才會(huì)被允許正式上線,正如Libra產(chǎn)品經(jīng)理對(duì)平臺(tái)功能的描述:“平臺(tái)建立的初衷并不是希望業(yè)務(wù)部門只依賴數(shù)據(jù),而是借助工具來升級(jí)團(tuán)隊(duì)的經(jīng)驗(yàn),通過A/B實(shí)驗(yàn)加深對(duì)業(yè)務(wù)過程的理解、找到本質(zhì)原因,進(jìn)而作出更正確的決策?!?/p>
在保障公司整體利益方面,Libra團(tuán)隊(duì)對(duì)平臺(tái)默認(rèn)使用的指標(biāo)統(tǒng)計(jì)口徑、指標(biāo)類型等相關(guān)內(nèi)容進(jìn)行調(diào)整,以確保所有實(shí)驗(yàn)是有效的且對(duì)公司有利的。例如,鑒于同一個(gè)產(chǎn)品的不同業(yè)務(wù)團(tuán)隊(duì)之間存在相關(guān)性,在實(shí)驗(yàn)的過程中,數(shù)據(jù)報(bào)告頁中不僅展示該用戶自行選擇觀測(cè)的指標(biāo),還展示了字節(jié)其他重要業(yè)務(wù)團(tuán)隊(duì)的指標(biāo)。實(shí)驗(yàn)者不僅需要考慮一次實(shí)驗(yàn)中的功能變動(dòng)對(duì)自身業(yè)務(wù)的影響,也需要確保自身業(yè)務(wù)績(jī)效的提升不損害公司其他業(yè)務(wù)部門的利益。再如,隨著實(shí)驗(yàn)經(jīng)驗(yàn)的積累,Libra團(tuán)隊(duì)發(fā)現(xiàn)“多天累計(jì)指標(biāo)”相對(duì)于“天級(jí)平均指標(biāo)”具有更加科學(xué)的統(tǒng)計(jì)意義,更能夠避免實(shí)驗(yàn)產(chǎn)生假性顯著結(jié)果。因此,Libra團(tuán)隊(duì)在實(shí)驗(yàn)結(jié)論中默認(rèn)使用從實(shí)驗(yàn)第一天開始累計(jì)的數(shù)據(jù)來進(jìn)行評(píng)估,以規(guī)范業(yè)務(wù)部門實(shí)驗(yàn)評(píng)估時(shí)采用的數(shù)據(jù)口徑,避免出現(xiàn)投機(jī)取巧的行為,保障實(shí)驗(yàn)結(jié)果的科學(xué)準(zhǔn)確性。
以上,本文對(duì)數(shù)字平臺(tái)的治理問題進(jìn)行了梳理,分析了字節(jié)跳動(dòng)Libra平臺(tái)激勵(lì)與控制兩方面的治理方法。良好的治理體系有助于企業(yè)更合理地設(shè)計(jì)平臺(tái)功能、利用平臺(tái)組織創(chuàng)造更大的商業(yè)價(jià)值。平臺(tái)治理、平臺(tái)設(shè)計(jì)與平臺(tái)價(jià)值創(chuàng)造之間的相互影響關(guān)系值得學(xué)者和管理者們未來進(jìn)一步探索。