□

內(nèi)容提要 本文結(jié)合現(xiàn)階段互聯(lián)網(wǎng)平臺(tái)的內(nèi)容風(fēng)控實(shí)踐，分析了行業(yè)面臨的難點(diǎn)痛點(diǎn)，提出未來需政府、企業(yè)、高校等相關(guān)主體形成合力，共同優(yōu)化行業(yè)管理體系與運(yùn)行機(jī)制，強(qiáng)化信息共享，重視人才培養(yǎng)，促進(jìn)互聯(lián)網(wǎng)平臺(tái)企業(yè)在內(nèi)容建設(shè)方面優(yōu)化發(fā)展。

2019年12月，國家網(wǎng)信辦公布了《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》，通過八章四十二條，對(duì)網(wǎng)絡(luò)信息內(nèi)容生產(chǎn)者、網(wǎng)絡(luò)信息內(nèi)容服務(wù)平臺(tái)、網(wǎng)絡(luò)信息內(nèi)容服務(wù)使用者及網(wǎng)絡(luò)行業(yè)組織的主體責(zé)任進(jìn)行了非常明確、細(xì)致的界定，這標(biāo)志著國家對(duì)互聯(lián)網(wǎng)企業(yè)內(nèi)容風(fēng)險(xiǎn)防控責(zé)任擔(dān)當(dāng)?shù)囊筮_(dá)到了前所未有的高度。各互聯(lián)網(wǎng)平臺(tái)也意識(shí)到內(nèi)容安全在企業(yè)發(fā)展中的重要戰(zhàn)略地位，開始更新信息審核技術(shù)、搭建內(nèi)容質(zhì)量團(tuán)隊(duì)；無論是監(jiān)管層面還是平臺(tái)實(shí)踐層面，網(wǎng)絡(luò)生態(tài)建設(shè)已經(jīng)逐步探索出路徑。

一、現(xiàn)階段互聯(lián)網(wǎng)平臺(tái)的內(nèi)容風(fēng)控實(shí)踐

1.搭建“管理+執(zhí)行”風(fēng)控組織架構(gòu)

近年來，各大互聯(lián)網(wǎng)平臺(tái)均逐步開始搭建內(nèi)容安全團(tuán)隊(duì)。管理層面，內(nèi)容安全由總編室等內(nèi)容機(jī)構(gòu)負(fù)責(zé)，以產(chǎn)品為單位下設(shè)安全管理組織，層層把關(guān)。執(zhí)行層面，頭部平臺(tái)均自建審核團(tuán)隊(duì)，并不斷擴(kuò)充一線審核隊(duì)伍，部分平臺(tái)審核人員規(guī)模已達(dá)到數(shù)千人；中小型平臺(tái)主要使用第三方團(tuán)隊(duì)審核服務(wù)，與自建質(zhì)檢團(tuán)隊(duì)相配合，保障內(nèi)容安全。

除日常審核工作外，各平臺(tái)也配合主管部門不定期開展專項(xiàng)整治活動(dòng)，成立專項(xiàng)領(lǐng)導(dǎo)小組，小組成員由公司內(nèi)容安全中心、運(yùn)營中心、產(chǎn)品部、技術(shù)中心、公共事務(wù)部等部門主要負(fù)責(zé)人組成，協(xié)調(diào)各部門在專項(xiàng)執(zhí)行方面的工作，確保領(lǐng)導(dǎo)小組的要求和舉措能夠傳達(dá)到相關(guān)各部門并得到貫徹執(zhí)行。具體執(zhí)行層面，通過質(zhì)檢回查和專班團(tuán)隊(duì)為班底搭建“專項(xiàng)清查小組”，成員囊括舉報(bào)對(duì)接、客戶服務(wù)、產(chǎn)品支持等部門，支持專項(xiàng)工作開展。

2.從安全審查到生態(tài)建設(shè)

《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》實(shí)施以來，互聯(lián)網(wǎng)平臺(tái)的內(nèi)容安全治理重心從單一安全保障向整體生態(tài)營造轉(zhuǎn)移。拓寬內(nèi)容審核標(biāo)準(zhǔn)邊界、拓展審核操作維度、健全推薦算法機(jī)制、應(yīng)用青少年守護(hù)模式、全面巡查廣告內(nèi)容、明確用戶協(xié)議、逐步建立賬號(hào)信用管理制度、完善舉報(bào)流程，建立生態(tài)安全矩陣。

安全審核層面，為新增發(fā)布信息筑起兩道安全甄別防線。以內(nèi)容三審團(tuán)隊(duì)為主體，運(yùn)營團(tuán)隊(duì)為輔助，通過機(jī)器加人工的“人機(jī)結(jié)合”方式，建立起內(nèi)外部常規(guī)巡查、專項(xiàng)復(fù)查、機(jī)器篩查的自查模式，為內(nèi)容安全建設(shè)保駕護(hù)航。在此基礎(chǔ)上，著力通過敏感詞庫迭代補(bǔ)充，提升審核后臺(tái)的自我攔截能力；采取AI違規(guī)模型對(duì)樣本強(qiáng)化學(xué)習(xí)，增強(qiáng)對(duì)平臺(tái)內(nèi)容的技術(shù)排查能力，及時(shí)排查與處置高相似度的內(nèi)容；內(nèi)容安全所關(guān)注的對(duì)象也不再局限于內(nèi)容本身，細(xì)化到內(nèi)容標(biāo)題、封面、上傳者、價(jià)值導(dǎo)向、面向群體等各個(gè)環(huán)節(jié)。

生態(tài)建設(shè)層面，從傳統(tǒng)層面對(duì)黃、賭、毒等涉底線層面的關(guān)注擴(kuò)大到對(duì)泛化內(nèi)容的關(guān)注，如聚焦政治民生的“清風(fēng)行動(dòng)”專項(xiàng)清理，又如聚焦未成年人暑期網(wǎng)絡(luò)環(huán)境的“清朗行動(dòng)”專項(xiàng)清理，確保網(wǎng)絡(luò)環(huán)境綠色健康。同時(shí)，完善投訴渠道，鼓勵(lì)用戶舉報(bào)不良信息，并與客服、產(chǎn)品支持團(tuán)隊(duì)聯(lián)動(dòng)，做好用戶舉報(bào)、申訴的復(fù)核和處置工作。處置結(jié)果除有害內(nèi)容全面下架外，完善賬號(hào)封禁處置體系，規(guī)范和約束用戶行為。

此外，對(duì)重點(diǎn)內(nèi)容、重點(diǎn)領(lǐng)域的關(guān)注逐步加強(qiáng)。為確保頁面生態(tài)健康，互聯(lián)網(wǎng)平臺(tái)也著力提升推薦機(jī)制，加強(qiáng)對(duì)高曝光位內(nèi)容的管控。

在榜單、push區(qū)、搜索框推薦等重要位置上，采取審核+運(yùn)營雙重多道復(fù)驗(yàn)的管理模式，安排輿情團(tuán)隊(duì)針對(duì)站內(nèi)標(biāo)題進(jìn)行不斷監(jiān)測(cè)，保持7×24小時(shí)巡查。輿情團(tuán)隊(duì)與一線團(tuán)隊(duì)相互交叉，及時(shí)快速發(fā)現(xiàn)重點(diǎn)問題，緊盯重點(diǎn)平臺(tái)和高危賬號(hào)發(fā)布的內(nèi)容，及時(shí)跟進(jìn)本平臺(tái)情況，防止同樣的高危內(nèi)容在本平臺(tái)上繼續(xù)傳播。

傳統(tǒng)安全審查工作的手段和重心在于事后“滅火”，較為滯后、被動(dòng)。近年來，通過輿情監(jiān)測(cè)和輿情分析前置布控，提前預(yù)防成為內(nèi)容安全防控的重要手段之一。建立輿情團(tuán)隊(duì)，采取全天不間斷追蹤梳理分析網(wǎng)絡(luò)上關(guān)聯(lián)信息，對(duì)潛在風(fēng)險(xiǎn)內(nèi)容，加強(qiáng)相關(guān)信息輿情傳播、發(fā)酵特性研究，深挖細(xì)節(jié)、精準(zhǔn)分析、分析結(jié)果成為動(dòng)態(tài)調(diào)整審核策略與執(zhí)行方案的重要依據(jù)。

3.完善人員培訓(xùn)體系，維護(hù)人才活力

由于內(nèi)容風(fēng)控工作專業(yè)性強(qiáng)，對(duì)從業(yè)者知識(shí)儲(chǔ)備、意識(shí)形態(tài)敏感度等能力要求高；且需根據(jù)實(shí)時(shí)監(jiān)管動(dòng)向和輿情熱點(diǎn)更新研判尺度和研判策略，各平臺(tái)均不斷完善風(fēng)控人員培訓(xùn)體系和培訓(xùn)課程，將新員工上崗培訓(xùn)、常態(tài)化提升培訓(xùn)、重大事件時(shí)間節(jié)點(diǎn)培訓(xùn)結(jié)合，以平臺(tái)日常風(fēng)控工作積淀的豐富案例為基礎(chǔ)，提升培訓(xùn)內(nèi)容的針對(duì)性和實(shí)操性，做到活學(xué)活用，即學(xué)即用，通過持續(xù)的班前培訓(xùn)和專項(xiàng)輪訓(xùn)，不斷彌補(bǔ)短板，提升全員業(yè)務(wù)能力。

二、行業(yè)難點(diǎn)痛點(diǎn)突出，內(nèi)容生態(tài)建設(shè)任重道遠(yuǎn)

經(jīng)過多年的實(shí)踐，目前各平臺(tái)都已經(jīng)結(jié)合各自產(chǎn)品特點(diǎn)建立了一套較為行之有效的內(nèi)容安全保障機(jī)制和措施，但也面臨共性的難點(diǎn)。一方面，需審核的存量、增量內(nèi)容體量大，機(jī)器智能審核能力有限，需要投入大量人工成本、管理成本。另一方面，網(wǎng)絡(luò)語言形態(tài)和視聽文本表達(dá)日新月異，新問題、新情況層出不窮；國際宏觀環(huán)境錯(cuò)綜復(fù)雜，每天都面臨各式各樣文字、圖片、視頻形式有害信息的倒灌。平臺(tái)屢屢被動(dòng)，應(yīng)對(duì)不暇。

1.內(nèi)容形態(tài)變形復(fù)雜隱晦，識(shí)別難度及成本高

關(guān)鍵詞庫作為文本過濾、識(shí)別的主要手段，近年來遭遇越來越嚴(yán)重的變異對(duì)抗，尤其經(jīng)過多年經(jīng)驗(yàn)，用戶已經(jīng)普遍熟悉和了解企業(yè)關(guān)鍵詞過濾和審核邏輯，有意使用各種隱晦、暗諷等變體形式繞過風(fēng)控策略。出現(xiàn)各類文字變體，圖片也出現(xiàn)借動(dòng)漫、動(dòng)物、典故等各類隱秘圖片映射的有害信息，技術(shù)識(shí)別難度極大。為保證有害信息召回，平臺(tái)不得不投入持續(xù)擴(kuò)大審核人力投入，成本也逐年攀升。

2.行業(yè)黑灰產(chǎn)業(yè)鏈猖獗，為惡意用戶提供源源不斷的賬號(hào)供給

網(wǎng)絡(luò)實(shí)名制執(zhí)行以來，基于手機(jī)號(hào)、驗(yàn)證碼等注冊(cè)登錄成為許多網(wǎng)絡(luò)平臺(tái)的主要“通行證”，為了“迎合”市場(chǎng)的需求，一些基于所謂“打碼平臺(tái)”“貓池”“卡商”的黑色產(chǎn)品鏈日益猖獗，形成了龐大的賬號(hào)生產(chǎn)、盜取、交易等產(chǎn)業(yè)鏈路，為惡意用戶源源不斷提供成本低廉的垃圾賬號(hào)，持續(xù)輸出違法有害信息，而企業(yè)封禁賬號(hào)速度很難追趕上新增速度。同時(shí)，此類賬號(hào)也難以通過實(shí)名制定位，追查難度大，亟待監(jiān)管部門加大行業(yè)治理，尤其是針對(duì)電信服務(wù)的源頭治理。

3.人員流動(dòng)性大，培訓(xùn)成本高

業(yè)內(nèi)專家認(rèn)為，內(nèi)容風(fēng)控產(chǎn)業(yè)具有“人才密集型”特質(zhì)。目前，人工智能對(duì)內(nèi)容的辨別還停留在關(guān)鍵詞命中等較為淺層的程度，百分之八十以上的內(nèi)容風(fēng)險(xiǎn)依然依賴于人工研判，因此需要大量優(yōu)質(zhì)的風(fēng)控專業(yè)人員，要求他們必須站在有益于社會(huì)的高度去理解內(nèi)容生態(tài)，并擁有豐富、全面的歷史、文化、語言、經(jīng)濟(jì)、軍事等知識(shí)儲(chǔ)備，才能自如應(yīng)對(duì)各類違規(guī)內(nèi)容及其形態(tài)變形。而目前從業(yè)人員業(yè)務(wù)能力普遍不能滿足上述要求，尤其是初入行的從業(yè)者；市場(chǎng)人才儲(chǔ)備也無法滿足平臺(tái)大體量的人才需求。且由于內(nèi)容安全團(tuán)隊(duì)往往人員流動(dòng)性大，企業(yè)投入高成本培訓(xùn)成熟的員工流失率很高。

三、強(qiáng)化行業(yè)共享共建，優(yōu)化管理體系與人才儲(chǔ)備

面對(duì)亟需解決的難點(diǎn)、痛點(diǎn)，近日，中共中央辦公廳、國務(wù)院辦公廳印發(fā)《關(guān)于加快推進(jìn)媒體深度融合發(fā)展的意見》，明確堅(jiān)持正能量是總要求、管得住是硬道理、用得好是真本事。未來需政府、企業(yè)、高校等相關(guān)主體形成合力，共同優(yōu)化行業(yè)管理體系與運(yùn)行機(jī)制，強(qiáng)化信息共享，重視人才培養(yǎng)，促進(jìn)行業(yè)良性向好發(fā)展。

1.建立信息共享機(jī)制

目前，各平臺(tái)內(nèi)容安全工作還處于各自為戰(zhàn)的狀態(tài)，審核策略、審核機(jī)制、不良樣本、有害案例等均被列入企業(yè)機(jī)密，對(duì)行業(yè)同好諱莫如深。導(dǎo)致許多相似性、重復(fù)性的工作內(nèi)容占用了各平臺(tái)寶貴資源，也無法在交流和溝通中達(dá)成更多行業(yè)共識(shí)。因此，建議建立黑名單共享、不良樣本共享機(jī)制等，促進(jìn)全網(wǎng)管理統(tǒng)一尺度和標(biāo)準(zhǔn)的形成。例如，引導(dǎo)行業(yè)建立人工智能模型算法訓(xùn)練所需的公共數(shù)據(jù)集，在加強(qiáng)隱私保護(hù)等基礎(chǔ)上，通過免費(fèi)開放和數(shù)據(jù)交易等方式，為行業(yè)應(yīng)用提供關(guān)鍵數(shù)據(jù)資源。

2.實(shí)行內(nèi)容分級(jí)分類管理模式

有害內(nèi)容題量大、種類多樣，對(duì)平臺(tái)審核策略、審核邏輯、技術(shù)手段和審核員個(gè)人能力都是巨大挑戰(zhàn)。因此，可對(duì)內(nèi)容實(shí)行分級(jí)分類管理，不同等級(jí)、不同種類的內(nèi)容采取相對(duì)應(yīng)的審核方式，實(shí)現(xiàn)內(nèi)容審核精細(xì)化管理。如，建立白名單制度，對(duì)來源規(guī)范的PGC內(nèi)容采取不審或快速審核手段；對(duì)軍事類、歷史類、時(shí)政類等研判難度大的內(nèi)容，分別建立細(xì)分領(lǐng)域?qū)I(yè)審核團(tuán)隊(duì)，由系統(tǒng)分配給在相應(yīng)領(lǐng)域經(jīng)驗(yàn)豐富、知識(shí)儲(chǔ)備量大的審核員做研判處置。

3.加強(qiáng)從業(yè)人員職業(yè)資格培訓(xùn)

目前我們普遍看到，各平臺(tái)的一線審核人員學(xué)歷低、底子薄、工資低，從而影響整體風(fēng)控成效。市場(chǎng)對(duì)審核人員的需求與日俱增，對(duì)從業(yè)者專業(yè)能力的要求也不斷攀升。面對(duì)巨大人才缺口，政府、企業(yè)、高校應(yīng)當(dāng)共同統(tǒng)籌開展職業(yè)資格培訓(xùn)，培養(yǎng)從業(yè)者思想站位與格局、基礎(chǔ)審核技巧、政策轉(zhuǎn)化為實(shí)操尺度的能力，及運(yùn)營風(fēng)控、輿情風(fēng)控等多方面能力，提升從業(yè)者職業(yè)素養(yǎng)，幫助企業(yè)培養(yǎng)高質(zhì)量風(fēng)控人才。

4.加大技術(shù)投入力度，不斷完善算法及AI能力

目前，人工智能技術(shù)在內(nèi)容審核方面仍然力有不逮，尤其在一些復(fù)雜場(chǎng)景、模糊地帶，易出現(xiàn)漏判、錯(cuò)判或誤傷。未來應(yīng)當(dāng)加大對(duì)審核及監(jiān)測(cè)側(cè)的技術(shù)研發(fā)投入，不斷迭代強(qiáng)化自主內(nèi)容安全技術(shù)研發(fā)部署，進(jìn)一步強(qiáng)化網(wǎng)站內(nèi)容安全技術(shù)體系建設(shè)。設(shè)置典型文字、圖片樣本信息庫，通過提高機(jī)器審核環(huán)節(jié)內(nèi)容的召回率和命中率，持續(xù)增強(qiáng)人機(jī)協(xié)同策略，形成1+1>2的效果。