內(nèi)容摘要：標(biāo)題寫作是生成式人工智能應(yīng)用于內(nèi)容生產(chǎn)實(shí)踐的重要場(chǎng)景之一。大模型會(huì)產(chǎn)生“標(biāo)題黨”特征傾向嗎？圍繞這一核心問(wèn)題對(duì)國(guó)內(nèi)外兩個(gè)具有代表性的大語(yǔ)言模型運(yùn)用算法審計(jì)方法進(jìn)行實(shí)證分析?；谀Ｐ蛯?duì)973篇微信公眾號(hào)文章進(jìn)行標(biāo)題寫作的結(jié)果，研究發(fā)現(xiàn)，在不增加額外提示的情況下，大模型生成的標(biāo)題具有一定的“標(biāo)題黨”特征傾向，其中GPT-4的傾向比ChatGLM3更明顯，但與人類相比，兩個(gè)模型的“標(biāo)題黨”特征傾向均沒有人類明顯。相比嚴(yán)肅議題，在非嚴(yán)肅議題文章的標(biāo)題寫作中，模型表現(xiàn)的“標(biāo)題黨”特征傾向更明顯。提示（prompt）對(duì)大模型生成“標(biāo)題黨”特征傾向具有顯著影響：添加含有“標(biāo)題黨”傾向的角色、背景和風(fēng)格信息后，模型的“標(biāo)題黨”特征傾向均顯著增強(qiáng)；添加限制“標(biāo)題黨”風(fēng)格的提示后，“標(biāo)題黨”特征傾向會(huì)相應(yīng)減弱。

關(guān)鍵詞：生成式人工智能；大模型；標(biāo)題黨；算法審計(jì)；計(jì)算傳播；智能傳播

課題：國(guó)家社科基金人才項(xiàng)目（編號(hào)：22VRC186）；中國(guó)中文信息學(xué)會(huì)社會(huì)媒體處理專委會(huì)（SMP）-智譜 AI大模型交叉學(xué)科基金項(xiàng)目（2023）；教育部重點(diǎn)研究基地重大項(xiàng)目（編號(hào)：22JJD860004）；復(fù)旦大學(xué)新聞學(xué)院科研創(chuàng)新項(xiàng)目（編號(hào)：2023-2024）；上海數(shù)學(xué)與交叉學(xué)科研究院項(xiàng)目（編號(hào)：SIMIS-ID-2024-LZ）

DOI：10.3969/j.issn.2095-0330.2024.07.005

生成式人工智能及其技術(shù)基礎(chǔ)大語(yǔ)言模型正在快速發(fā)展。大語(yǔ)言模型（large language model，LLM）通常指的是在大規(guī)模文本數(shù)據(jù)上進(jìn)行訓(xùn)練且包含數(shù)百億甚至更多參數(shù)的語(yǔ)言模型。\"大語(yǔ)言模型通過(guò)生成文本的方式表現(xiàn)出強(qiáng)大的自然語(yǔ)言理解和生成能力，推動(dòng)了內(nèi)容生產(chǎn)領(lǐng)域的變革。大語(yǔ)言模型在提升內(nèi)容生產(chǎn)效率的同時(shí)，其可能帶來(lái)的問(wèn)題也開始受到關(guān)注。由于模型的訓(xùn)練數(shù)據(jù)來(lái)自互聯(lián)網(wǎng)，模型可能學(xué)習(xí)到了聳人聽聞（sensationalist）或點(diǎn)擊誘餌（clickbait，中文語(yǔ)境下通常稱為“標(biāo)題黨”）的內(nèi)容特點(diǎn)，導(dǎo)致模型在生成內(nèi)容時(shí)存在類似傾向。# 大模型被認(rèn)為非常適合用于在短時(shí)間內(nèi)制造大量低成本（low-cost）、低質(zhì)量（low-quality）、高點(diǎn)擊率（high-volume）的“點(diǎn)擊誘餌”。

不過(guò)，目前對(duì)大模型可能生成“標(biāo)題黨”的討論主要集中于思辨層面，實(shí)證研究還很少，尤其缺乏基于中國(guó)本土媒介內(nèi)容實(shí)踐的實(shí)證研究。在中文語(yǔ)境下，中外代表性大模型所生成的標(biāo)題是否以及在多大程度上存在“標(biāo)題黨”特征元素？如果存在“標(biāo)題黨”特征元素，那么這種傾向受到哪些因素影響？若在提示語(yǔ)中明確增加“標(biāo)題黨”要求，會(huì)否增強(qiáng)其生成“標(biāo)題黨”的特征傾向？反之，如果在提示語(yǔ)中增加去除“標(biāo)題黨”的明確要求，又是否會(huì)抑制其“標(biāo)題黨”傾向？本文采用“算法審計(jì)”（algorithm auditing）思路，對(duì)大模型的“標(biāo)題黨”生成傾向展開探索性研究，以推進(jìn)有關(guān)大模型的新聞傳播學(xué)實(shí)證研究，同時(shí)也為大模型在內(nèi)容生產(chǎn)領(lǐng)域的應(yīng)用提供參考。

一、“標(biāo)題黨”的概念、發(fā)展及特征元素

根據(jù)相關(guān)研究考證，中文語(yǔ)境下的“標(biāo)題黨”一詞最早發(fā)源于網(wǎng)絡(luò)論壇，指的是以?shī)蕵贩绞郊庸?biāo)題來(lái)吸引點(diǎn)擊量的網(wǎng)絡(luò)帖主群體以及與之相關(guān)的網(wǎng)絡(luò)現(xiàn)象。% 隨著社交媒體和內(nèi)容平臺(tái)的發(fā)展，這一概念逐漸擴(kuò)展到更廣泛的內(nèi)容生產(chǎn)領(lǐng)域，包括新聞媒體、博客、公眾號(hào)、視頻平臺(tái)等?！?00年漢語(yǔ)新詞新語(yǔ)大辭典》對(duì)“標(biāo)題黨”的定義為：“以標(biāo)題取得高點(diǎn)擊率的人或者行為?！盿mp; 比較全面的“標(biāo)題黨”含義既包括標(biāo)題未能如實(shí)反映正文內(nèi)容的“題文不符”問(wèn)題，也包括更為具體的用以誘導(dǎo)點(diǎn)擊的特征元素，后者與英文語(yǔ)境下的“點(diǎn)擊誘餌”（clickbait）概念更為接近。

所謂“點(diǎn)擊誘餌”，是指互聯(lián)網(wǎng)上能吸引網(wǎng)民注意力并鼓勵(lì)其點(diǎn)擊鏈接訪問(wèn)特定網(wǎng)頁(yè)內(nèi)容的實(shí)踐策略。' 廣義的“點(diǎn)擊誘餌”的形式包含帶鏈接的標(biāo)題、照片、圖標(biāo)等。也有的“點(diǎn)擊誘餌”定義聚焦于以標(biāo)題為中心誘發(fā)點(diǎn)擊的一種典型形式——即“標(biāo)題黨”（英文表達(dá)為clickbait headline），它指“作為誘餌的形式化和敘事性的手法，用來(lái)激發(fā)讀者的期待和好奇心，使他們點(diǎn)擊標(biāo)題并繼續(xù)閱讀”。

盡管“標(biāo)題黨”概念強(qiáng)調(diào)網(wǎng)絡(luò)時(shí)代的背景，但在報(bào)紙等傳統(tǒng)媒體時(shí)代，由于標(biāo)題兼具概括文章內(nèi)容和吸引讀者兩個(gè)功能，）在市場(chǎng)競(jìng)爭(zhēng)的壓力下，通過(guò)特定元素吸引閱讀的“標(biāo)題黨”現(xiàn)象也存在。隨著互聯(lián)網(wǎng)時(shí)代的來(lái)臨，閱讀環(huán)境從紙質(zhì)切換到網(wǎng)絡(luò)，標(biāo)題吸引力的重要性更加凸顯。從媒介角度看，網(wǎng)絡(luò)新聞的超鏈接模式使得標(biāo)題和正文處于兩個(gè)頁(yè)面空間中，相對(duì)獨(dú)立，標(biāo)題成為讀者選擇是否進(jìn)一步閱讀文章的關(guān)鍵影響因素。* 標(biāo)題的點(diǎn)擊率是影響文章閱讀，進(jìn)而影響經(jīng)濟(jì)收益和市場(chǎng)回報(bào)的關(guān)鍵指標(biāo)。+ 在媒介界面布局上，網(wǎng)絡(luò)媒體，特別是移動(dòng)互聯(lián)網(wǎng)環(huán)境下的文章發(fā)布以列表式標(biāo)題呈現(xiàn)為主，文章日漸與其所在媒體相分離，如果其標(biāo)題本身不能在海量標(biāo)題中脫穎而出，內(nèi)容就會(huì)被淹沒，無(wú)法被打開，更遑論產(chǎn)生影響。隨著數(shù)字技術(shù)的發(fā)展，原來(lái)數(shù)量有限的機(jī)構(gòu)媒體（PGC）和大量的自媒體（UGC）、機(jī)器媒體（AIGC）等均加入內(nèi)容生產(chǎn)行列，加劇了信息過(guò)載現(xiàn)象，帶來(lái)更激烈的注意力競(jìng)爭(zhēng)；加之?dāng)?shù)據(jù)技術(shù)（如流量實(shí)時(shí)監(jiān)測(cè)、A/B測(cè)試）和平臺(tái)算法（如搜索引擎、社交推薦）的崛起，只有獲得數(shù)據(jù)支持的標(biāo)題和內(nèi)容才能獲得算法和流量的進(jìn)一步扶持。可以說(shuō)，數(shù)字媒介的可供性導(dǎo)致“標(biāo)題黨”（“點(diǎn)擊誘餌”）傾向和“點(diǎn)擊文化”（culture of the click）的興起。， 在激烈的注意力與影響力競(jìng)爭(zhēng)下，“標(biāo)題黨”已經(jīng)成為數(shù)字新聞和數(shù)字內(nèi)容的普遍特征，在不同地區(qū)的新聞媒體和社交媒體中廣泛存在。- 就中國(guó)場(chǎng)景而言，“標(biāo)題黨”現(xiàn)象不僅存在于市場(chǎng)化媒體和自媒體，在官方主流媒體和政務(wù)新媒體的內(nèi)容中也相當(dāng)普遍。

“標(biāo)題黨”并不是一個(gè)簡(jiǎn)單的標(biāo)題制作業(yè)務(wù)問(wèn)題，而關(guān)乎新聞業(yè)的核心價(jià)值與倫理。因?yàn)椤皹?biāo)題黨”已被證實(shí)會(huì)吸引、調(diào)配與轉(zhuǎn)移公眾注意力，/在一個(gè)注意力競(jìng)爭(zhēng)的空間中，具有“標(biāo)題黨”特征傾向的內(nèi)容可能影響公眾對(duì)真正有價(jià)值（但并不采用“標(biāo)題黨”風(fēng)格）的公共新聞和內(nèi)容的關(guān)注，或者帶來(lái)“欲求新聞”（want journalism）壓倒“需求新聞”（need journalism）的風(fēng)險(xiǎn)。“標(biāo)題黨”特征的運(yùn)用也可能帶來(lái)新聞的真實(shí)性問(wèn)題，進(jìn)而影響新聞媒體的公信力。0 盡管有研究者指出，“標(biāo)題黨”在特定情境下也不乏正面意義（如支持和促進(jìn)地方社區(qū)、小眾新聞業(yè)的發(fā)展），1 但總體上，其問(wèn)題與風(fēng)險(xiǎn)更多得到研究者的關(guān)注與強(qiáng)調(diào)。

本研究聚焦于以誘發(fā)點(diǎn)擊為目標(biāo)的“標(biāo)題黨”特征元素?；谝延形墨I(xiàn)，常見的“標(biāo)題黨”特征元素可分為5大維度：列表、前向引用、夸張聳人表達(dá)、網(wǎng)絡(luò)用語(yǔ)和情緒化的標(biāo)點(diǎn)符號(hào)。一是列表式標(biāo)題（listicles）。它指圍繞一個(gè)基數(shù)（cardinalnumber）組織的標(biāo)題，其通過(guò)數(shù)字吸引讀者點(diǎn)擊以查看完整內(nèi)容，3 如“一夜暴富的10種方法”。二是前向引用（forward-reference）。發(fā)布者在標(biāo)題中暗示正文中將提及的內(nèi)容，但不提前透露關(guān)鍵信息，從而激發(fā)讀者好奇心，促使他們點(diǎn)擊并閱讀全文。常見的前向引用的表現(xiàn)形式包含代詞、一般名詞、省略、祈使語(yǔ)氣等。4例如，指代性的一般名詞如“原因”“真相”等指向文章中的關(guān)鍵信息，但發(fā)布者不在標(biāo)題中講明；省略（ellipsis）指發(fā)布者在標(biāo)題中省略某些語(yǔ)法上必要的成分，常使用省略號(hào)，如“網(wǎng)紅背后的賺錢套路，真相令人咋舌……”；5 祈使語(yǔ)氣指發(fā)布者通過(guò)祈使方式向讀者提出閱讀全文的行為建議，提示讀者只有在文章中才能找到特定信息。三是夸張聳人表達(dá)?？鋸埍磉_(dá)指對(duì)某個(gè)特征或行為的強(qiáng)化或強(qiáng)調(diào)，發(fā)布者通過(guò)使用夸張?jiān)~匯（hyperbolic word）提升文章的點(diǎn)擊量；6 聳人表達(dá)則指采用命令、警示或恐嚇等方式向用戶施加壓力。7 四是網(wǎng)絡(luò)用語(yǔ)（internet slang）。發(fā)布者在標(biāo)題中使用網(wǎng)絡(luò)俚語(yǔ)、流行語(yǔ)（梗）等吸引讀者點(diǎn)擊。8 五是情緒化的標(biāo)點(diǎn)符號(hào)。發(fā)布者使用問(wèn)號(hào)和感嘆號(hào)強(qiáng)化標(biāo)題表達(dá)的情緒。9 更具體的操作化說(shuō)明和示例見表3。

二、大模型生成“標(biāo)題黨”的特征傾向與影響因素

標(biāo)題制作是AIGC技術(shù)的應(yīng)用場(chǎng)景之一。在積極應(yīng)用的同時(shí)，大模型可能生成“標(biāo)題黨”特征元素的隱患也被提出。： 由于模型的訓(xùn)練數(shù)據(jù)來(lái)自互聯(lián)網(wǎng)，模型在訓(xùn)練過(guò)程中有可能學(xué)習(xí)了互聯(lián)網(wǎng)上與“標(biāo)題黨”相關(guān)的內(nèi)容特點(diǎn)，從而導(dǎo)致在輸出的內(nèi)容中存在“標(biāo)題黨”傾向。; 但目前的相關(guān)研究主要以思辨為主，實(shí)證研究尚不多見，且對(duì)中國(guó)場(chǎng)景的研究缺乏。另外，不同模型由于算法機(jī)制、語(yǔ)料庫(kù)的差異，在算法輸出結(jié)果上也不盡相同。此前關(guān)于大語(yǔ)言模型的新聞寫作風(fēng)格的研究發(fā)現(xiàn)，開源和閉源的大模型在介詞、形容詞、名詞和標(biāo)點(diǎn)符號(hào)的使用頻率上存在顯著差異。lt; 由此，本研究提出如下研究問(wèn)題：

Q1：大語(yǔ)言模型生成標(biāo)題是否存在“標(biāo)題黨”特征傾向？

Q2：不同大語(yǔ)言模型之間的“標(biāo)題黨”特征傾向是否存在顯著差異？

已有研究關(guān)注大模型與人類之間的比較，主要圍繞問(wèn)答、摘要寫作以及新聞寫作等進(jìn)行。關(guān)于大模型的跨領(lǐng)域問(wèn)答能力的研究發(fā)現(xiàn)，大模型的表達(dá)通常更客觀，語(yǔ)言風(fēng)格更正式，表達(dá)的情感較少。=相較而言，人類的表達(dá)更主觀，并且會(huì)使用一些情緒化的標(biāo)點(diǎn)符號(hào)（比如問(wèn)號(hào)和感嘆號(hào)）來(lái)表達(dá)個(gè)人情感。在新聞寫作和跨領(lǐng)域問(wèn)答兩個(gè)任務(wù)中，和人類作者相比，大模型的詞匯不夠豐富，人類作者的詞匯使用更具多樣性。gt; 由此，本文提出如下研究問(wèn)題：

Q3：大模型與人類在寫作標(biāo)題上，誰(shuí)更具有“標(biāo)題黨”特征傾向？

哪些因素影響大模型生成“標(biāo)題黨”特征元素的傾向程度？本研究聚焦于兩個(gè)邏輯：“源頭”邏輯與“提示”邏輯。前者的基本假設(shè)是：大模型的“標(biāo)題黨”特征傾向可能與其正文的文本內(nèi)容本身的特征有關(guān)。已有研究發(fā)現(xiàn)，“標(biāo)題黨”在不同主題的新聞中占比不同，集中在娛樂、體育等非嚴(yán)肅議題的“軟新聞”中。？ 大模型的訓(xùn)練數(shù)據(jù)來(lái)自互聯(lián)網(wǎng)，在各種新聞報(bào)道和社交媒體數(shù)據(jù)中，“標(biāo)題黨”在某些類別（如娛樂和體育）中更普遍，模型在訓(xùn)練過(guò)程中可能學(xué)習(xí)到類似模式，從而在生成標(biāo)題時(shí)，更有可能會(huì)模仿這些數(shù)據(jù)集中的常見模式，包括“標(biāo)題黨”特征。由此，本文提出如下研究假設(shè)：

H1：相較于嚴(yán)肅（硬性）議題文章，大模型在非嚴(yán)肅（軟性）議題文章的標(biāo)題寫作中表現(xiàn)的“標(biāo)題黨”特征傾向更強(qiáng)。

提示（prompt）是用戶與模型交互時(shí)提供給模型的輸入信息，旨在引導(dǎo)模型生成與用戶期望相符的回應(yīng)。由于提示內(nèi)容直接影響模型生成的內(nèi)容，提示的設(shè)計(jì)對(duì)用戶與大語(yǔ)言模型建立有效和有意義的交互至關(guān)重要。@ 目前應(yīng)用比較多的提示框架是奈伊（Nigh）于2023年提出的CRISPE框架，其被證明對(duì)ChatGPT回答質(zhì)量的提升有效。A CRISPE框架主要包括5個(gè)部分：能力與角色（capacity and role）、洞察（insight）、陳述（statement）、個(gè)性（personality）和實(shí)驗(yàn)（experiment）（見表1）。本文基于CRISPE提示框架，系統(tǒng)分析添加相應(yīng)提示對(duì)大模型生成“標(biāo)題黨”特征傾向的影響（與僅提出生成標(biāo)題的基本要求相比較）。

現(xiàn)有研究發(fā)現(xiàn)，在提示中被賦予帶有性別偏見的角色，ChatGPT在新聞寫作中表現(xiàn)出更高程度的性別偏見。B 相較于僅包含翻譯指令的提示（“請(qǐng)翻譯下面的句子”），在提示中添加“你是一個(gè)機(jī)器翻譯系統(tǒng)”的角色信息，提升了ChatGPT的機(jī)器翻譯性能。C 基于此，當(dāng)模型被賦予“標(biāo)題黨標(biāo)題寫作專家”的角色，它可能會(huì)模仿“標(biāo)題黨”常用的寫作策略，導(dǎo)致輸出的標(biāo)題具有更強(qiáng)的“標(biāo)題黨”特征傾向。由此，本文提出假設(shè)：

H2：在提示中添加要求扮演“標(biāo)題黨”標(biāo)題寫作專家的角色信息之后，大模型的“標(biāo)題黨”特征傾向增強(qiáng)。

洞察指模型提供所要執(zhí)行的任務(wù)的背景信息和上下文。在機(jī)器翻譯領(lǐng)域，向模型提供被翻譯文本所屬領(lǐng)域的信息，能夠顯著提高ChatGPT的翻譯性能。D 如前文所述，數(shù)字時(shí)代的“標(biāo)題黨”現(xiàn)象與追求在線流量和點(diǎn)擊量密切相關(guān)。當(dāng)模型在生成標(biāo)題時(shí)接收到對(duì)標(biāo)題吸引點(diǎn)擊量要求的背景信息，它可能會(huì)傾向于在標(biāo)題中采用“標(biāo)題黨”的手法。基于此，本文提出假設(shè)：

H3：在提示中添加對(duì)標(biāo)題點(diǎn)擊量要求的背景信息之后，大模型的“標(biāo)題黨”特征傾向增強(qiáng)。

在提示中明確提出對(duì)模型輸出內(nèi)容風(fēng)格的個(gè)性要求，可以引導(dǎo)模型生成符合預(yù)期風(fēng)格的文本。實(shí)驗(yàn)表明，當(dāng)提示中添加對(duì)摘要規(guī)范性（formality）的要求時(shí)，ChatGPT能夠生成風(fēng)格更加正式（formal）的摘要。E 可以預(yù)測(cè)，在標(biāo)題生成任務(wù)中，如果模型接收到“標(biāo)題黨”風(fēng)格要求，那么其最終生成的標(biāo)題可能具有更強(qiáng)的“標(biāo)題黨”特征傾向。基于此，本文提出假設(shè)：

H4：在提示中添加要求輸出“標(biāo)題黨”標(biāo)題的風(fēng)格信息之后，大模型的“標(biāo)題黨”特征傾向增強(qiáng)。

我們也希望進(jìn)一步探索，在提示中增加避免生成“標(biāo)題黨”風(fēng)格的要求，是否會(huì)抑制“標(biāo)題黨”特征傾向的產(chǎn)生，因此我們提出如下問(wèn)題：

Q4：在提示中添加限制輸出“標(biāo)題黨”標(biāo)題的風(fēng)格信息之后，大模型的“標(biāo)題黨”特征傾向是否會(huì)減弱？

三、研究設(shè)計(jì)與方法

本研究采用算法審計(jì)（algorithm auditing）的思路檢驗(yàn)大模型生成標(biāo)題的“標(biāo)題黨”特征傾向。算法審計(jì)是一種對(duì)算法結(jié)果偏向進(jìn)行系統(tǒng)性審查的方法。F 其中，抓取審計(jì)（scraping audit）是一種非侵入性的算法審計(jì)方式，研究者通過(guò)自動(dòng)化腳本向算法平臺(tái)發(fā)送請(qǐng)求，并通過(guò)算法的響應(yīng)數(shù)據(jù)評(píng)估算法行為。本研究借鑒這一思路，通過(guò)不同提示（prompt）要求大語(yǔ)言模型進(jìn)行文章標(biāo)題寫作，基于模型的輸入數(shù)據(jù)（文章原文）和輸出數(shù)據(jù)（標(biāo)題），對(duì)模型生成標(biāo)題的“標(biāo)題黨”特征傾向及其影響因素進(jìn)行實(shí)證分析?；凇爸形耐ㄓ么笳Z(yǔ)言模型綜合性測(cè)評(píng)基準(zhǔn)”（SuperCLUE）G結(jié)果中語(yǔ)言理解與生成能力維度的排名（2023年11月），我們選擇排名前二的兩個(gè)代表性大模型——國(guó)外OpenAI公司的GPT-4 Turbo（以下簡(jiǎn)稱“GPT-4”）和國(guó)內(nèi)智譜公司的ChatGLM3-Turbo（以下簡(jiǎn)稱“ChatGLM3”）作為研究對(duì)象。

（一）文章抽樣、采集與編碼

在輸入模型的文章數(shù)據(jù)上，本研究選擇當(dāng)前移動(dòng)互聯(lián)網(wǎng)時(shí)代公眾信息獲取的重要來(lái)源——微信公眾平臺(tái)進(jìn)行采集。首先，參考新媒體監(jiān)測(cè)機(jī)構(gòu)新榜2023年10月排名數(shù)據(jù)，綜合公眾號(hào)定位、影響和發(fā)布量等因素，本研究篩選出12個(gè)具有影響力的新聞性微信公眾號(hào)，覆蓋黨報(bào)黨臺(tái)（“人民日?qǐng)?bào)”“新華社”“央視新聞”）、都市類媒體（“澎湃新聞”“南方都市報(bào)”“新京報(bào)”）、自媒體（“胡錫進(jìn)觀察”“遠(yuǎn)方青木”“占豪”）和政務(wù)新媒體（“中央政法委長(zhǎng)安劍”“共青團(tuán)中央”“上海發(fā)布”）4個(gè)類別。

采集文章的發(fā)布時(shí)間范圍選擇在2023年5月1日至2023年10月31日。由于數(shù)據(jù)爬取以及新榜的排名統(tǒng)計(jì)時(shí)間為2023年11月，所以截止日期定為2023年10月31日。GPT-4和ChatGLM3兩個(gè)模型的訓(xùn)練數(shù)據(jù)的最新時(shí)間為2023年4月，為了避免數(shù)據(jù)污染（contamination）問(wèn)題，本研究將開始日期確定為2023年5月1日。大模型的訓(xùn)練數(shù)據(jù)中包含評(píng)估數(shù)據(jù)集中的數(shù)據(jù)會(huì)導(dǎo)致對(duì)模型表現(xiàn)的高估（performance overestimation），使得評(píng)估結(jié)果不準(zhǔn)確。H 由于12個(gè)公眾號(hào)在此期間共推送44，606篇文章，數(shù)據(jù)量較大，因此我們采用“構(gòu)造周”方式（constructed week）進(jìn)行抽樣，I 最終共抽取并抓取下載1，105篇文章樣本。

參考現(xiàn)有研究對(duì)主流媒體與政務(wù)新媒體的內(nèi)容主題分類，J 結(jié)合中文新聞信息標(biāo)準(zhǔn)化技術(shù)委員會(huì)制定的最新版國(guó)家標(biāo)準(zhǔn)《中文新聞信息分類與代碼》（GB/T 20093-2022），K 本研究將文章分為嚴(yán)肅議題和非嚴(yán)肅議題兩大類。嚴(yán)肅議題主要包含政治、經(jīng)濟(jì)、軍事、政務(wù)信息公開等，非嚴(yán)肅議題主要包含文體娛樂、健康養(yǎng)生、旅游攻略和心靈雞湯等。由兩位經(jīng)過(guò)訓(xùn)練的編碼員根據(jù)文章內(nèi)容進(jìn)行編碼，抽取15%共同編碼，獲得較好的編碼員間信度后（Kappa系數(shù)為0.921）分別進(jìn)行編碼。在1，105篇文章樣本中，嚴(yán)肅議題與非嚴(yán)肅議題分別占比47.8%和52.2%。

（二）實(shí)驗(yàn)設(shè)計(jì)與執(zhí)行

圍繞研究問(wèn)題和假設(shè)，本研究設(shè)置5種不同類型的提示，逐一輸入文章并要求模型生成標(biāo)題（見表2）?？紤]到大模型輸出結(jié)果的隨機(jī)性，參考已有研究，每個(gè)輸入執(zhí)行5次，即每個(gè)模型分別生成5個(gè)標(biāo)題。L 由于ChatGLM3模型對(duì)于部分政治內(nèi)容存在審核，最終我們對(duì)973篇通過(guò)審核的文章標(biāo)題進(jìn)行分析。在模型輸出數(shù)據(jù)層面，本研究使用Python語(yǔ)言設(shè)計(jì)數(shù)據(jù)收集程序，調(diào)用ChatGLM3和GPT-4的開放接口收集模型輸出的標(biāo)題數(shù)據(jù)，由于每個(gè)模型對(duì)每個(gè)輸入均執(zhí)行5次，實(shí)驗(yàn)共設(shè)計(jì)5組不同提示的輸入，因此共生成48，650個(gè)標(biāo)題。

（三）標(biāo)題黨特征傾向的測(cè)量

本研究根據(jù)生成的標(biāo)題中出現(xiàn)的“標(biāo)題黨”特征元素的數(shù)量測(cè)量其“標(biāo)題黨”特征傾向，確定0—12的取值范圍。由于在實(shí)驗(yàn)中每個(gè)大模型針對(duì)同一篇文章共輸出5個(gè)標(biāo)題，因此本研究將5個(gè)標(biāo)題的“標(biāo)題黨”特征傾向的平均值作為模型在該篇文章的標(biāo)題寫作中所表現(xiàn)出的“標(biāo)題黨”特征傾向。本研究從列表、前向引用、夸張聳人表達(dá)、網(wǎng)絡(luò)用語(yǔ)和情緒化標(biāo)點(diǎn)符號(hào)5大維度對(duì)標(biāo)題中出現(xiàn)的“標(biāo)題黨”特征元素進(jìn)行編碼，其定義及示例見表3。

對(duì)標(biāo)題進(jìn)行“標(biāo)題黨”特征編碼使用機(jī)器和人工結(jié)合的方法。在進(jìn)行編碼前，本研究構(gòu)建了一個(gè)“標(biāo)題黨”特征詞詞典，詞典數(shù)據(jù)主要來(lái)源于已有研究使用的數(shù)據(jù)集，M 我們也通過(guò)在線新華字典、微信公眾號(hào)創(chuàng)作者中心和今日頭條創(chuàng)作者中心等渠道搜集補(bǔ)充。在編碼過(guò)程中，首先，本研究基于詞典和標(biāo)點(diǎn)符號(hào)規(guī)則對(duì)標(biāo)題進(jìn)行12個(gè)“標(biāo)題黨”特征編碼。其次，本研究考慮到部分“標(biāo)題黨”特征僅憑特定詞語(yǔ)或標(biāo)點(diǎn)符號(hào)進(jìn)行編碼可能不準(zhǔn)確，故由人工對(duì)這部分特征（包括列表、一般名詞、代詞、省略號(hào)）的機(jī)器編碼結(jié)果進(jìn)行復(fù)核和修正。人工修正由兩位經(jīng)過(guò)訓(xùn)練的編碼員完成，經(jīng)過(guò)修正的“標(biāo)題黨”特征的人工編碼信度均達(dá)到較高水平（Kappa系數(shù)為0.903～0.958）。

四、研究發(fā)現(xiàn)

（一）大模型生成“標(biāo)題黨”的特征傾向：基本情況與模型比較

首先，針對(duì)研究問(wèn)題1，在默認(rèn)參數(shù)和默認(rèn)提示（不包含“標(biāo)題黨”傾向信息）的設(shè)定下，大模型生成的標(biāo)題表現(xiàn)出一定的“標(biāo)題黨”特征傾向，在9，730個(gè)生成的標(biāo)題中，含有“標(biāo)題黨”特征元素的有4，762個(gè)，占比48.94%。在4，762個(gè)標(biāo)題中，每個(gè)標(biāo)題平均含有“標(biāo)題黨”特征元素1.451個(gè)（標(biāo)準(zhǔn)差0.704）。含“標(biāo)題黨”特征元素最多的標(biāo)題是ChatGLM3根據(jù)文章《〈長(zhǎng)安三萬(wàn)里〉48首詩(shī)詞匯總》（央視新聞公眾號(hào)，2023年7月17日）生成的標(biāo)題“《長(zhǎng)安三萬(wàn)里》火了！涉及48首詩(shī)詞，你會(huì)背幾首？快來(lái)復(fù)（預(yù)）習(xí)！”它含有12個(gè)“標(biāo)題黨”特征元素中的6個(gè)，涉及感嘆號(hào)、問(wèn)號(hào)、列表、指示代詞、行為建議、網(wǎng)絡(luò)用語(yǔ)。

大模型生成的標(biāo)題的“標(biāo)題黨”特征主要體現(xiàn)在使用感嘆號(hào)（占全部9，73 0 個(gè)生成標(biāo)題的3 1 . 0 1 % ） 和夸張表達(dá)（ 1 3 . 9 5 % ） 。例如：“ 【揭秘】靈活就業(yè)V S 職工社保， 真相竟是這樣！別再信謠言！”（GPT-4生成）；“嘉興驚魂時(shí)刻： 警察破門怒懟騙子， 網(wǎng)友直呼解氣！”（C h a t G L M 3 生成）。占比超過(guò)5 %的還有問(wèn)號(hào)（8 . 9 2 %）、網(wǎng)絡(luò)用語(yǔ)（5 . 9 5 %）（見圖1）。

其次，針對(duì)研究問(wèn)題2，研究發(fā)現(xiàn)，不同模型生成的標(biāo)題的“標(biāo)題黨”特征傾向存在顯著差異。ChatGLM3生成的4，865個(gè)標(biāo)題中含有“標(biāo)題黨”特征元素的有2，101個(gè)，占比43.19%；GPT-4生成的4，865個(gè)標(biāo)題中含有“標(biāo)題黨”特征元素的有2，661個(gè)，占比54.70%，比例顯著高于ChatGLM3（卡方檢驗(yàn)x 2=128.979，p lt;0.001）?？紤]到每個(gè)模型分別對(duì)每篇文章生成了5個(gè)標(biāo)題，故本研究進(jìn)一步計(jì)算這些標(biāo)題含有的“標(biāo)題黨”特征元素的數(shù)量均值，用于代表模型生成的標(biāo)題的“標(biāo)題黨”特征傾向。由于兩個(gè)模型使用同一文章數(shù)據(jù)集（N =973）生成標(biāo)題，生成的標(biāo)題為配對(duì)樣本，且樣本不服從正態(tài)分布，因此本研究使用Wilcoxon符號(hào)秩檢驗(yàn)評(píng)估不同模型的“標(biāo)題黨”特征傾向差異。結(jié)果顯示，GPT-4的“標(biāo)題黨”特征傾向的中位數(shù)（0.600）顯著高于ChatGLM3（0.400）（z =7.568，p lt;0.001）。

（二）“標(biāo)題黨”特征傾向的人機(jī)比較

在973個(gè)人類寫作標(biāo)題中，含有“標(biāo)題黨”特征元素的標(biāo)題有661個(gè)，占比為67.93%。在本研究分析的4類公號(hào)中，“自媒體”（73.97%）、“ 黨報(bào)黨臺(tái)” （ 7 3 . 5 2 % ） 和“ 政務(wù)新媒體”（72.78%）含有“標(biāo)題黨”特征元素的標(biāo)題占比均在70%以上，只有“都市類媒體”公號(hào)的比例略低（62.87%）。相較于大模型整體（48.94%）、ChatGLM3（43.19%）以及GPT-4（54.70%），卡方檢驗(yàn)顯示，人類標(biāo)題中含有“標(biāo)題黨”特征元素的占比均顯著更高（x 2分別為127.654、199.222和57.937，p lt;0.001）。人類的“標(biāo)題黨”特征傾向的平均值為1.098（標(biāo)準(zhǔn)差0.997），中位數(shù)為1.000。Wilcoxon符號(hào)秩檢驗(yàn)結(jié)果表明，人類的“標(biāo)題黨”特征傾向顯著高于大模型（p lt;0.001）（見表4）。這一結(jié)果在對(duì)比不同大模型以及不同類型人類媒體時(shí)均保持一致。

圖1展示了不同的“標(biāo)題黨”特征在人類標(biāo)題和大模型生成標(biāo)題中的比例。人類標(biāo)題的“標(biāo)題黨”特征主要體現(xiàn)在使用感嘆號(hào)（43.88%）、問(wèn)號(hào)（12.85%）、指示代詞（11.20%）、網(wǎng)絡(luò)用語(yǔ)（9.35%）、夸張表達(dá)（9.25%）等方面。其分布排序與大模型并不完全一致。在12個(gè)特征中，10個(gè)特征的比例均為人類高于大模型，但在2個(gè)特征（夸張表達(dá)與強(qiáng)迫表達(dá)）上，大模型的比例反而顯著高于人類。

大模型總體上比人類更高頻使用夸張表達(dá)（卡方檢驗(yàn)，x 2=16.690，p lt;0.001），不過(guò)差異主要存在于人類與GPT-4之間——后者比人類更高頻使用夸張表達(dá)（x 2=50.524，p lt;0.001），人類與ChatGLM3并無(wú)顯著差異。例如，人類的標(biāo)題為“334寢室，全寢直博！秘笈是……”（新華社公眾號(hào)，2023年10月22日），GPT-4對(duì)該報(bào)道生成的標(biāo)題為“同濟(jì)學(xué)霸宿舍震驚！四人同寢全直博名校，揭秘成功秘笈”，標(biāo)題使用了“震驚”“揭秘”等典型的夸張表達(dá)。

相較于人類，ChatGLM3和GPT-4均更高頻使用含有強(qiáng)迫點(diǎn)擊意味的表達(dá)（x 2分別為13.530和15.555，p lt;0.001）。例如，人類的標(biāo)題為“用筋膜槍放松后，她突然看不清了！醫(yī)生提醒”（南方都市報(bào)公眾號(hào)，2023年7月17日），ChatGLM3對(duì)該報(bào)道生成的標(biāo)題為“警惕！筋膜槍用錯(cuò)地方，竟導(dǎo)致眼內(nèi)晶狀體脫位和白內(nèi)障！”GPT-4生成的標(biāo)題為“【警惕！】用筋膜槍按眼周引發(fā)白內(nèi)障，醫(yī)生這樣說(shuō)……”兩個(gè)大模型均使用了人類標(biāo)題中沒有使用的“警惕”這一增加點(diǎn)擊強(qiáng)制性和緊迫感的表達(dá)。

（三）不同主題的“標(biāo)題黨”特征傾向差異

為驗(yàn)證假設(shè)1，本研究在默認(rèn)參數(shù)且提示不包含“標(biāo)題黨”傾向信息的條件下，對(duì)973篇文章的大模型生成標(biāo)題進(jìn)行了主題比較。其中，嚴(yán)肅議題文章的生成標(biāo)題中，含有“標(biāo)題黨”特征元素的占39.66%；非嚴(yán)肅議題文章的生成標(biāo)題中，含有“標(biāo)題黨”特征元素的占56.76%，差異顯著（卡方檢驗(yàn)，x 2=282.520，p lt;0.001）。進(jìn)一步的Mann-Whitney U檢驗(yàn)結(jié)果顯示，無(wú)論是大模型整體，還是兩個(gè)具體模型，嚴(yán)肅議題和非嚴(yán)肅議題文章的“標(biāo)題黨”特征傾向均存在顯著差異（p lt;0.001）（見表5）。相較于嚴(yán)肅（硬性）議題文章，非嚴(yán)肅（軟性）議題文章的大模型生成標(biāo)題表現(xiàn)出的“標(biāo)題黨”特征傾向更強(qiáng)。H1成立。

（四）提示對(duì)“標(biāo)題黨”特征傾向的影響

研究發(fā)現(xiàn)，當(dāng)提示添加了含有“標(biāo)題黨”傾向的背景、角色和風(fēng)格要求后，大模型生成標(biāo)題中含有“標(biāo)題黨”特征元素的比例顯著增加。例如，當(dāng)在提示中添加關(guān)于點(diǎn)擊量的要求后，ChatGLM3生成標(biāo)題中含有“標(biāo)題黨”特征元素的比例一下子上升到68.92%，GPT-4的這一比例則高達(dá)90.75%；當(dāng)添加扮演“標(biāo)題黨”角色的要求后，兩個(gè)大模型生成的標(biāo)題含有“標(biāo)題黨”特征元素的比例分別上升到93.28%和99.24%；當(dāng)添加使用“標(biāo)題黨”風(fēng)格的要求后，二者更是分別上升到97.82%和99.92%（見表6）。進(jìn)一步的Wilcoxon符號(hào)秩檢驗(yàn)結(jié)果顯示，添加提示后，“標(biāo)題黨”特征傾向（以中位數(shù)衡量）均顯著增強(qiáng)（p lt;0.001）。H2、H3和H4均成立。若就3種不同提示之間的比較而言，Nemenyi檢驗(yàn)發(fā)現(xiàn)，相較于添加點(diǎn)擊量要求的背景信息，添加扮演“標(biāo)題黨”專家的角色信息和要求輸出“標(biāo)題黨”標(biāo)題的風(fēng)格信息，模型表現(xiàn)出的“標(biāo)題黨”特征傾向均顯著更強(qiáng)（p lt;0.001）。

相反，對(duì)于研究問(wèn)題4，當(dāng)提示中添加了限制輸出“標(biāo)題黨”風(fēng)格標(biāo)題的信息后，研究發(fā)現(xiàn)，含有“標(biāo)題黨”特征的標(biāo)題比例的確相應(yīng)減少（分別降至23.00%和23.91%），模型的“標(biāo)題黨”特征傾向（以中位數(shù)衡量）也相應(yīng)顯著減弱（p lt;0.001）（見表7）。上述研究結(jié)果在不同模型的不同主題、不同公眾號(hào)分類中均保持一致。

以文章《“滬惠?！北瓮蝗槐怀穯危拷忉寔?lái)了》（“澎湃新聞”公號(hào)，2023年10月22日）為例，表8展示了提示中添加信息前后大模型生成標(biāo)題的前后對(duì)比。

五、結(jié)論與討論

本研究首次對(duì)中文語(yǔ)境下國(guó)內(nèi)外兩個(gè)代表性的大語(yǔ)言模型（ChatGLM3和GPT-4）的“標(biāo)題黨”特征傾向進(jìn)行實(shí)證研究。研究模擬大模型在5種不同設(shè)定（提示）下進(jìn)行微信公眾號(hào)文章（N =973）的標(biāo)題寫作，針對(duì)模型生成的48，650條文章標(biāo)題，實(shí)證考察了大模型生成標(biāo)題的“標(biāo)題黨”特征傾向、模型比較、人機(jī)比較以及影響因素。本研究有如下發(fā)現(xiàn)：

第一，在默認(rèn)參數(shù)環(huán)境且提示中不添加標(biāo)題黨傾向信息的情況下，大模型存在一定的“標(biāo)題黨”特征傾向，所生成的標(biāo)題中近半（48.94%）包含至少一個(gè)“標(biāo)題黨”特征元素。

第二，不同模型的“標(biāo)題黨”特征傾向存在顯著差異，國(guó)內(nèi)模型ChatGLM3相較于國(guó)外模型GPT-4顯示出更弱的“標(biāo)題黨”特征傾向，這可能是因?yàn)樵O(shè)計(jì)者在模型設(shè)計(jì)過(guò)程中采取了減少“標(biāo)題黨”特征的特定策略，對(duì)模型進(jìn)行了更加適應(yīng)國(guó)內(nèi)場(chǎng)景的優(yōu)化。

第三，更值得重視的是，在無(wú)特別提示的情況下，大模型沒有表現(xiàn)出比人類更強(qiáng)的“標(biāo)題黨”特征傾向，反而顯著更弱（67.93%的人類標(biāo)題均含有“標(biāo)題黨”特征元素，并且該特征在4個(gè)類別的公眾號(hào)——包括“黨報(bào)黨臺(tái)”和“政務(wù)新媒體”——中均普遍存在）。這提醒我們兩點(diǎn)。其一，大模型可能語(yǔ)言相對(duì)客觀，同時(shí)，設(shè)計(jì)者可能在設(shè)計(jì)上對(duì)“標(biāo)題黨”特征傾向進(jìn)行了一定限制。事實(shí)上，當(dāng)我們向模型輸入提示問(wèn)題“你可以幫助生成標(biāo)題黨標(biāo)題嗎？”GPT-4和ChatGLM3的回答均強(qiáng)調(diào)了不主動(dòng)提供和不參與制作“標(biāo)題黨”的立場(chǎng)。其二，審計(jì)大模型可能恰恰為我們提供了寶貴的審視和反思人類自我的機(jī)會(huì)。當(dāng)我們對(duì)大模型可能帶來(lái)的價(jià)值觀問(wèn)題憂心忡忡時(shí)，我們不妨首先審視下自己。大模型基于對(duì)人類數(shù)據(jù)的預(yù)訓(xùn)練和學(xué)習(xí)，其本身是人類社會(huì)一面難得的“鏡像”。N人類的公共報(bào)道和社交內(nèi)容中已經(jīng)充斥著大量訴諸情緒、制造懸念、刺激點(diǎn)擊的“點(diǎn)擊誘餌”，其分布比例高于大模型在默認(rèn)設(shè)置下的生成結(jié)果，這對(duì)我們是一個(gè)重要警醒。

第四，人類與大模型在生成“標(biāo)題黨”特征元素方面既具有一定的相似性（如感嘆號(hào)、問(wèn)號(hào)與網(wǎng)絡(luò)用語(yǔ)的比例都較高），也存在明顯的差異，特別是大模型生成“標(biāo)題黨”特征元素中，夸張表達(dá)和強(qiáng)迫表達(dá)的比例相比人類均顯著更高。大模型會(huì)在標(biāo)題中添加夸張短語(yǔ)，但常常未能充分考慮上下文語(yǔ)境，可能帶來(lái)“題文不符”誘導(dǎo)點(diǎn)擊的信息真實(shí)性問(wèn)題，對(duì)新聞媒體的公信力造成潛在負(fù)面影響，人類在應(yīng)用大模型時(shí)應(yīng)注意這一點(diǎn)。

第五，本研究證實(shí)了文章主題和提示對(duì)大模型生成標(biāo)題的“標(biāo)題黨”特征傾向的重要影響。在文章主題方面，相較于嚴(yán)肅議題文章，大模型在非嚴(yán)肅議題文章的標(biāo)題寫作中表現(xiàn)出更強(qiáng)的“標(biāo)題黨”特征傾向，這可能源于模型對(duì)訓(xùn)練數(shù)據(jù)的分布特點(diǎn)的學(xué)習(xí)。大模型受到人類提示語(yǔ)的影響非常大，提示框架中的角色、洞察（背景）和個(gè)性（風(fēng)格）3個(gè)元素均能顯著影響大模型的“標(biāo)題黨”特征傾向。其中，哪怕是間接的提示（如流量要求）都能帶來(lái)較大的變化，直接的提示（角色和風(fēng)格）的增強(qiáng)效果則更加顯著。相應(yīng)地，我們也可以通過(guò)限制性的風(fēng)格提示來(lái)約束大模型生成“標(biāo)題黨”的特征傾向。

綜上，本文所做的主要貢獻(xiàn)在于：第一，本文首次在中文語(yǔ)境中，對(duì)大模型是否會(huì)生成“標(biāo)題黨”特征傾向這一事關(guān)公共傳播的重要問(wèn)題進(jìn)行了實(shí)證研究，即便放在全球視野，這也在最早的實(shí)證研究之列。第二，本文首次對(duì)大模型生成“標(biāo)題黨”的特征傾向進(jìn)行跨模型和跨人機(jī)的比較研究，尤其是揭示了中外大模型的不同表現(xiàn)，以及人類相對(duì)于大模型來(lái)說(shuō)（默認(rèn)狀態(tài)下）更強(qiáng)的“標(biāo)題黨”特征傾向。第三，本文首次從輸入數(shù)據(jù)和人機(jī)交互兩個(gè)角度，提出由“主題”和“提示”兩個(gè)因素構(gòu)成的大模型生成“標(biāo)題黨”特征傾向的解釋模型，特別是基于CRISPE提示框架，系統(tǒng)分析了角色、背景和風(fēng)格3個(gè)元素提示的影響。本研究因此不但可以推進(jìn)有關(guān)大模型新聞傳播學(xué)的實(shí)證研究，而且對(duì)大模型的應(yīng)用實(shí)踐具有啟示。本文的發(fā)現(xiàn)提醒我們，在將生成式人工智能和大模型積極應(yīng)用于內(nèi)容生產(chǎn)實(shí)踐時(shí)，應(yīng)當(dāng)高度關(guān)注其表現(xiàn)，大模型生成的標(biāo)題應(yīng)當(dāng)經(jīng)過(guò)人類的檢驗(yàn)與校正，特別要看其是否符合事實(shí)、表達(dá)嚴(yán)謹(jǐn)，不能放任助推“標(biāo)題黨”的泛濫。人類要認(rèn)識(shí)到過(guò)度依賴“標(biāo)題黨”對(duì)當(dāng)代新聞業(yè)的影響，通過(guò)行動(dòng)創(chuàng)造更利于高質(zhì)量?jī)?nèi)容可見性的機(jī)會(huì)，服務(wù)公共利益與社會(huì)福祉。

由于大模型的發(fā)展較快，未來(lái)研究可以關(guān)注大模型在生成“標(biāo)題黨”特征傾向方面的長(zhǎng)期表現(xiàn)，以及人類價(jià)值對(duì)齊與反饋等對(duì)大模型表現(xiàn)的影響。此外，雖然本文選擇了兩個(gè)代表性的大模型進(jìn)行分析，未來(lái)研究可以進(jìn)一步擴(kuò)大范圍，納入更多的模型，以深化對(duì)本研究提出的問(wèn)題的理解。

（作者周葆華系復(fù)旦大學(xué)信息與傳播研究中心研究員，新聞學(xué)院教授，全球傳播全媒體研究院、國(guó)家發(fā)展與智能治理綜合實(shí)驗(yàn)室研究員，計(jì)算與智能傳播研究中心負(fù)責(zé)人；張悅系復(fù)旦大學(xué)新聞學(xué)院2022 級(jí)碩士研究生）