摘" 要： 針對(duì)在硬件資源有限的情況下，難以有效提升低資源分類(lèi)任務(wù)性能這一難題，提出使用基于新一代大型語(yǔ)言模型Claude3 Haiku的數(shù)據(jù)增強(qiáng)，并設(shè)計(jì)了一種更小更快的文本分類(lèi)模型EQSBERT。首先基于Claude3 Haiku，使用分布式比例增強(qiáng)法和動(dòng)態(tài)均衡過(guò)采樣增強(qiáng)法來(lái)增強(qiáng)低資源文本分類(lèi)任務(wù)數(shù)據(jù)集。通過(guò)二次自蒸餾、多目標(biāo)知識(shí)蒸餾、多維剪枝，提出一種更小更快的BERT系列文本分類(lèi)模型EQSBERT，采用EQSBERT對(duì)增強(qiáng)后的數(shù)據(jù)集進(jìn)行分類(lèi)。結(jié)果表明：Claude3 Haiku具有較好的性能，且成本效益高于GPT?4；EQSBERT在參數(shù)大幅減少的情況下也能維持其高性能，顯著降低了運(yùn)行成本。兩者結(jié)合搭配使用，可以有效解決在硬件條件有限的情況下低資源分類(lèi)任務(wù)方面的問(wèn)題。該方案為資源受限情況下的自然語(yǔ)言處理任務(wù)提供了新的解決策略，在自動(dòng)化數(shù)據(jù)標(biāo)注、社交媒體監(jiān)控以及內(nèi)容審核系統(tǒng)應(yīng)用方面有巨大潛力。

關(guān)鍵詞： 自然語(yǔ)言處理； 低資源文本分類(lèi)； 大型語(yǔ)言模型Claude3 Haiku； 數(shù)據(jù)增強(qiáng)； GPT?4； 多目標(biāo)知識(shí)蒸餾

中圖分類(lèi)號(hào)： TN919.72?34； TP391.1" " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " " " 文章編號(hào)： 1004?373X（2025）08?0056?07

Low?resource text new strategy classification in hardware?limited environments

YIN Zhaoyu， SONG Wenai， LIU Honghao

（School of Software， North University of China， Taiyuan 030051， China）

Abstract： In allusion to the problem that it is difficult to effectively improve the performance of low?resource classification tasks under the condition of limited hardware resources， a data enhancement based on the new?generation large language model Claude3 Haiku is proposed， and a smaller and faster text classification model EQSBERT is designed. Based on Claude3 Haiku， the distributed scale enhancement method and dynamic equalization oversampling enhancement method are used to enhance the low?resource text classification task dataset. A smaller and faster BERT text classification model EQSBERT is proposed by means of secondary self?distillation， multi?objective knowledge distillation and multi?dimensional pruning， and EQSBERT is used to classify the enhanced dataset. The results show that Claude3 Haiku has better performance and higher cost?effectiveness than GPT?4; EQSBERT can maintain its high performance under the condition of greatly reduced parameters， which significantly reduces operating costs. The combined use of both approaches effectively addresses the issue of low?resource classification tasks under limited hardware conditions. This solution can provide a novel strategy for natural language processing tasks in resource?constrained environments， with significant potential applications in automated data annotation， social media monitoring， and content moderation systems.

Keywords： natural language processing; low?resource text classification; large language model Claude3 Haiku; data enhancement; GPT?4; multi?objective knowledge distillation

0" 引" 言

在自然語(yǔ)言處理（NLP）領(lǐng)域，數(shù)據(jù)的質(zhì)量和數(shù)量是影響模型性能的關(guān)鍵因素之一。在實(shí)際應(yīng)用中，獲取足夠多的高質(zhì)量標(biāo)注數(shù)據(jù)仍然面臨巨大挑戰(zhàn)，特別是在低資源語(yǔ)言任務(wù)方面。低資源文本數(shù)據(jù)往往因?yàn)檎Z(yǔ)言使用者少、數(shù)據(jù)獲取難度大，導(dǎo)致訓(xùn)練數(shù)據(jù)稀缺。為了解決這一問(wèn)題，數(shù)據(jù)增強(qiáng)（Data Augmentation）技術(shù)被提出并逐漸應(yīng)用于低資源文本數(shù)據(jù)的處理。

近年來(lái)，使用大型語(yǔ)言模型（Large Language Model， LLM）進(jìn)行數(shù)據(jù)增強(qiáng)已經(jīng)取得了顯著的效果。在低資源文本數(shù)據(jù)增強(qiáng)中，LLM能夠生成高質(zhì)量的偽樣本，并有效地?cái)U(kuò)展訓(xùn)練數(shù)據(jù)集的規(guī)模和多樣性，從而提升下游任務(wù)的性能。然而，這些大型語(yǔ)言模型通常擁有數(shù)十億甚至上千億的參數(shù)，導(dǎo)致其訓(xùn)練和推理過(guò)程需要大量的硬件資源和計(jì)算能力，對(duì)科研人員的研究以及技術(shù)發(fā)展有較大限制。在硬件資源受限的條件下，如何利用大型語(yǔ)言模型有效地進(jìn)行文本數(shù)據(jù)增強(qiáng)已成為一個(gè)關(guān)鍵問(wèn)題。Claude3 Haiku以其快速和經(jīng)濟(jì)的特性，為解決上述問(wèn)題提供了新的思路，本研究利用Claude3 Haiku對(duì)低資源分類(lèi)任務(wù)進(jìn)行數(shù)據(jù)增強(qiáng)。本文提出了兩種數(shù)據(jù)增強(qiáng)方法：分布式比例增強(qiáng)法和動(dòng)態(tài)均衡過(guò)采樣增強(qiáng)法；還將GPT?4作為對(duì)比對(duì)象，通過(guò)對(duì)比實(shí)驗(yàn)詳細(xì)分析了兩種模型在不同數(shù)據(jù)增強(qiáng)方法上的性能差異。為了進(jìn)一步解決硬件條件有限情況下的低資源文本分類(lèi)任務(wù)問(wèn)題，提出一種小型化分類(lèi)模型EQSBERT，該模型是基于自蒸餾、多目標(biāo)知識(shí)蒸餾以及多維剪枝技術(shù)來(lái)進(jìn)行壓縮小型化，在參數(shù)大幅減少的情況下，仍然具有出色的性能。Claude3 Haiku與EQSBERT模型結(jié)合使用，可為低資源文本分類(lèi)任務(wù)提供一種更加有效和實(shí)用的解決方案，有助于推動(dòng)這一領(lǐng)域的發(fā)展。本研究對(duì)于硬件資源有限的情況具有重要意義，它允許研究人員以更少的硬件資源獲取更高質(zhì)量的數(shù)據(jù)，并進(jìn)行有效的下游操作。

1" 相關(guān)工作

在2020年，文獻(xiàn)[1]的研究推動(dòng)了大型語(yǔ)言模型（LLM）的發(fā)展，這些模型的規(guī)模從小型的70億參數(shù)模型（例如Llama，由文獻(xiàn)[2]在2023年提出），擴(kuò)大到中等規(guī)模的InstructGPT/ChatGPT（由文獻(xiàn)[3]在2022年提出），再到包含1 750億參數(shù)的GPT?3（由文獻(xiàn)[4]在2020年提出）。ChatGPT的發(fā)展得益于一種關(guān)鍵技術(shù)——融合人類(lèi)反饋的強(qiáng)化學(xué)習(xí)（RLHF），該技術(shù)由文獻(xiàn)[3]和文獻(xiàn)[5]提出并進(jìn)一步發(fā)展。文獻(xiàn)[6]探討了如何使用GPT來(lái)擴(kuò)充現(xiàn)有的數(shù)據(jù)集。文獻(xiàn)[7]的研究重點(diǎn)是使用GPT生成用于訓(xùn)練機(jī)器學(xué)習(xí)模型的合成數(shù)據(jù)集。文獻(xiàn)[8]中調(diào)查并分析了基礎(chǔ)模型的潛力。文獻(xiàn)[9]研究討論了文本數(shù)據(jù)增強(qiáng)的高級(jí)技術(shù)。文獻(xiàn)[10]介紹了一種新的文本數(shù)據(jù)增強(qiáng)方法LAMBADA。文獻(xiàn)[11]提出了一種稱(chēng)為PREDATOR的文本數(shù)據(jù)增強(qiáng)方法。文獻(xiàn)[12]提出一種剪枝壓縮方法——Optimal Brain Damage。文獻(xiàn)[13]受到人類(lèi)學(xué)習(xí)方式的啟發(fā)后，提出“知識(shí)蒸餾”的概念。

2" 實(shí)驗(yàn)框架

2.1" 數(shù)據(jù)集

本研究采用低資源的仇恨言論數(shù)據(jù)集和社會(huì)維度數(shù)據(jù)集，評(píng)估所提出的EQSBERT模型和數(shù)據(jù)增強(qiáng)方法的有效性。

仇恨言論數(shù)據(jù)集：采用了由文獻(xiàn)[14]提出的 DKHATE數(shù)據(jù)集，該數(shù)據(jù)集專(zhuān)注于收集丹麥語(yǔ)中含有冒犯性言論的用戶(hù)生成內(nèi)容。丹麥語(yǔ)屬于低資源語(yǔ)言，相較于英語(yǔ)、中文等高資源語(yǔ)言，其高質(zhì)量標(biāo)注數(shù)據(jù)獲取難度大，數(shù)據(jù)量較少。DKHATE數(shù)據(jù)集包含2 960個(gè)訓(xùn)練樣本和329個(gè)測(cè)試樣本，由于樣本量較少，本次實(shí)驗(yàn)通過(guò)數(shù)據(jù)增強(qiáng)技術(shù)將訓(xùn)練樣本擴(kuò)充至10 000個(gè)。

社會(huì)維度數(shù)據(jù)集：收集了來(lái)自網(wǎng)絡(luò)社交媒體的7 855 篇文本[15]，這些文本由多個(gè)評(píng)注者標(biāo)注了多種復(fù)雜的社會(huì)互動(dòng)維度，形成了一個(gè)多標(biāo)簽和多類(lèi)別的分類(lèi)任務(wù)。類(lèi)似于仇恨言論數(shù)據(jù)集，社會(huì)維度數(shù)據(jù)集也通過(guò)數(shù)據(jù)增強(qiáng)技術(shù)將訓(xùn)練文本樣本擴(kuò)充至10 000個(gè)。

對(duì)于上述數(shù)據(jù)集，研究過(guò)程中隨機(jī)抽取20%的數(shù)據(jù)作為測(cè)試集。此外，最初抽取500個(gè)文本作為基礎(chǔ)數(shù)據(jù)集，并在訓(xùn)練階段從剩余的未標(biāo)注數(shù)據(jù)中隨機(jī)選擇750個(gè)文本用于驗(yàn)證。為了確保實(shí)驗(yàn)結(jié)果的可重復(fù)性，本文使用了固定隨機(jī)種子。

2.2" 數(shù)據(jù)增強(qiáng)

本研究使用OpenAI API和Anthropic API向GPT?4和Claude3 Haiku發(fā)送請(qǐng)求，并使用LangChain的LLM Wrapper來(lái)構(gòu)建提示的Python框架。另外，還創(chuàng)建了一種提示方式，利用單個(gè)示例及其相應(yīng)的標(biāo)簽指導(dǎo)LLM合成相同標(biāo)簽的類(lèi)似示例。

本文提出了兩種增強(qiáng)方法：分布式比例增強(qiáng)法（簡(jiǎn)稱(chēng)proportional）和動(dòng)態(tài)均衡過(guò)采樣增強(qiáng)法（簡(jiǎn)稱(chēng)balanced）。

1） 分布式比例增強(qiáng)法：根據(jù)基礎(chǔ)數(shù)據(jù)集中各類(lèi)別的分布比例來(lái)生成數(shù)據(jù)。生成這些數(shù)據(jù)時(shí)，本文采用了標(biāo)準(zhǔn)的超參數(shù)設(shè)置，唯一不同的是為了保證結(jié)果的可重復(fù)性，將某些超參數(shù)設(shè)定為0。

2） 動(dòng)態(tài)均衡過(guò)采樣增強(qiáng)法：通過(guò)調(diào)整增強(qiáng)過(guò)程中的類(lèi)別分布來(lái)實(shí)現(xiàn)平衡。面對(duì)某些類(lèi)別數(shù)據(jù)不足的情況，本文采取了對(duì)少數(shù)類(lèi)別的過(guò)采樣方法，目的是達(dá)到一個(gè)均衡的標(biāo)簽分布。接著通過(guò)設(shè)置超參數(shù)為1的生成流程，確保了從這些過(guò)采樣的類(lèi)別中生成的模擬數(shù)據(jù)具備明顯的多樣性。

本研究通過(guò)將兩種增強(qiáng)方法應(yīng)用于兩種模型，為每項(xiàng)任務(wù)生成了4個(gè)增強(qiáng)策略。具體來(lái)說(shuō)，Claude3 Haiku和GPT?4分別采用了分布式比例增強(qiáng)法和動(dòng)態(tài)均衡過(guò)采樣增強(qiáng)法，每種組合產(chǎn)生了一個(gè)獨(dú)特的策略。

2.3" EQSBERT模型的小型化與優(yōu)化策略

本文提出一種小型化分類(lèi)模型EQSBERT，該模型是基于自蒸餾、多目標(biāo)知識(shí)蒸餾以及多維剪枝技術(shù)來(lái)進(jìn)行壓縮小型化，最終用于文本分類(lèi)，實(shí)現(xiàn)了模型參數(shù)的高效壓縮和性能提升。

本研究使用MNLI（Multi?Genre Natural Language Inference）數(shù)據(jù)集對(duì)模型進(jìn)行自蒸餾以及多目標(biāo)知識(shí)蒸餾。MNLI數(shù)據(jù)集是GLUE基準(zhǔn)中的重要組成部分，憑借多樣性、高質(zhì)量和大規(guī)模的優(yōu)點(diǎn)，為小型模型的知識(shí)蒸餾提供了堅(jiān)實(shí)基礎(chǔ)，在文本分類(lèi)模型的小型化知識(shí)蒸餾任務(wù)中具有顯著應(yīng)用價(jià)值。

2.3.1" 自蒸餾

在自蒸餾階段，通過(guò)改變蒸餾概率的方法（即在兩次自蒸餾的過(guò)程中提高替換的概率）使得替換的可能性達(dá)到1，如公式（1）所示。也就是說(shuō)，所有的母模塊都會(huì)被相應(yīng)的子模塊取代，形成自蒸餾后的壓縮子模型，進(jìn)一步將深度壓縮至原來(lái)的[12]。

式中：k是斜率，控制著蒸餾概率增長(zhǎng)的速率；b是截距，用于調(diào)節(jié)蒸餾概率的基準(zhǔn)值；t表示訓(xùn)練步長(zhǎng)。

該階段二次自蒸餾過(guò)程在MNLI數(shù)據(jù)集中進(jìn)行，具體的參數(shù)設(shè)定如表1所示。

在兩次自蒸餾階段，分別將原始BERT模型蒸餾至6層、3層。在第一階段選擇了較低的初始替換率R和較低的概率增長(zhǎng)率K，因?yàn)榇藭r(shí)母模型參數(shù)量較大，這樣可以確保子模型在蒸餾過(guò)程中的學(xué)習(xí)曲線更加平穩(wěn)。在第二階段的蒸餾過(guò)程中，本文采用了較高的替換率和增長(zhǎng)率。

2.3.2" 基于多目標(biāo)訓(xùn)練的知識(shí)蒸餾

本文借鑒了DistilBERT的蒸餾方式，采用多目標(biāo)的蒸餾方法，可以更好地從多維度學(xué)習(xí)教師模型的知識(shí)。本文采用傳統(tǒng)的交叉熵?fù)p失函數(shù)Lce和掩碼語(yǔ)言模型損失函數(shù)Lmin作為損失函數(shù)，公式如下所示：

式中：m（x）表示輸入序列被掩蓋的字詞；[x＼m（x）]表示未被掩蓋的字詞；p（·）表示根據(jù)輸入序列中未被掩蓋的字詞推理出真實(shí)被掩蓋字詞的概率。

本文還將教師和學(xué)生模型隱層的余弦相似度Lcos作為知識(shí)蒸餾的目標(biāo)之一，從而更好地利用教師模型的隱層知識(shí)，公式如下：

式中：Weightteacher表示教師模型的隱層參數(shù)；Weightstudent表示學(xué)生模型的隱層參數(shù)。

本研究使用的多目標(biāo)知識(shí)蒸餾損失函數(shù)如下：

式中，α、β和γ均是人為設(shè)置的超參數(shù)，分別代表了Lce、Lmin和Lcos對(duì)Loss函數(shù)的貢獻(xiàn)程度。多目標(biāo)蒸餾階段依然在MNLI數(shù)據(jù)集上進(jìn)行，為實(shí)現(xiàn)加速蒸餾，采用了混合精度訓(xùn)練的方法，參數(shù)如表2所示。

2.3.3" 多維剪枝

在使用目標(biāo)數(shù)據(jù)集訓(xùn)練模型時(shí)，根據(jù)各模型參數(shù)對(duì)當(dāng)前任務(wù)的貢獻(xiàn)程度來(lái)決定被剪枝的優(yōu)先級(jí)大小，公式如下：

式中：top表示原模型參數(shù)；Topv表示絕對(duì)值大小排名前[v]（單位為%）的參數(shù)。

本研究進(jìn)行剪枝操作的過(guò)程中使用了哈工大訊飛實(shí)驗(yàn)室開(kāi)發(fā)的Text?Pruner工具包，具體來(lái)說(shuō)，將模型最初的3 072層隱層維度降低到2 048層，原先注意力頭的數(shù)量為12個(gè)，現(xiàn)減少到8個(gè)。

2.3.4" 文本分類(lèi)模型訓(xùn)練

本文對(duì)比分析EQSBERT、BERT?base、BERT?large和BERT?3四種模型在使用原始數(shù)據(jù)集和經(jīng)過(guò)4種增強(qiáng)策略進(jìn)行文本分類(lèi)時(shí)的表現(xiàn)。設(shè)置batch size為32，進(jìn)行了10輪的模型訓(xùn)練，使用AdamW[16]作為優(yōu)化器，學(xué)習(xí)率為0.000 02。本研究對(duì)每個(gè)Epoch迭代進(jìn)行評(píng)估，并選擇具有最低驗(yàn)證損失的檢查點(diǎn)GPU為評(píng)估測(cè)試集。測(cè)試集使用macro F1和準(zhǔn)確率進(jìn)行評(píng)估。計(jì)算機(jī)配置為Intel Xeon Gold 6330，擁有28核心和56線程，基礎(chǔ)頻率為2.0 GHz，最大Turbo頻率為3.1 GHz，GPU為NVIDIA Tesla V100 PCle 32 GB。

2.3.5" 評(píng)估標(biāo)準(zhǔn)

為了驗(yàn)證本文提出模型的性能，重點(diǎn)采用準(zhǔn)確率和macro F1作為評(píng)價(jià)指標(biāo)。準(zhǔn)確率是指正確分類(lèi)的觀測(cè)數(shù)量與所有觀測(cè)數(shù)量之間的比率；macro F1是多類(lèi)別分類(lèi)任務(wù)中的一種指標(biāo)，首先計(jì)算每個(gè)類(lèi)別的F1分?jǐn)?shù)，然后對(duì)這些F1分?jǐn)?shù)取平均值。F1分?jǐn)?shù)是召回率與精確度的調(diào)和平均值。

3" 實(shí)驗(yàn)及數(shù)據(jù)分析

本文從以下三個(gè)方面對(duì)Claude3 Haiku和GPT?4在數(shù)據(jù)集上的數(shù)據(jù)增強(qiáng)效果以及EQSBERT文本分類(lèi)模型的性能進(jìn)行了對(duì)比分析：

1） 在數(shù)據(jù)增強(qiáng)過(guò)程中的消耗時(shí)間和GPU使用率；

2） EQSBERT、BERT?base、BERT?large和BERT?3四種模型在使用原始數(shù)據(jù)集和4個(gè)策略上進(jìn)行文本分類(lèi)時(shí)的表現(xiàn)；

3） 四種分類(lèi)模型在使用Claude3 Haiku（balanced）增強(qiáng)方法進(jìn)行文本分類(lèi)時(shí)的平均推理時(shí)間。

3.1" 數(shù)據(jù)增強(qiáng)時(shí)間和GPU使用率對(duì)比

在此次實(shí)驗(yàn)中，針對(duì)仇恨言論數(shù)據(jù)集和社會(huì)維度數(shù)據(jù)集，分別使用了Claude3 Haiku和GPT?4兩種大模型，采用動(dòng)態(tài)均衡過(guò)采樣增強(qiáng)法和分布式比例增強(qiáng)法進(jìn)行數(shù)據(jù)增強(qiáng)，重點(diǎn)記錄各方法在消耗時(shí)間和GPU使用率方面的數(shù)據(jù)。仇恨言論數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)的相關(guān)數(shù)據(jù)如表3所示，社會(huì)維度數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)的相關(guān)數(shù)據(jù)如表4所示。

在消耗時(shí)間方面，Claude3 Haiku在兩種增強(qiáng)方法中的運(yùn)行時(shí)間明顯短于GPT?4，這表明Claude3 Haiku在處理數(shù)據(jù)增強(qiáng)任務(wù)時(shí)運(yùn)行速度更快；在GPU使用率方面，Claude3 Haiku系列也表現(xiàn)出色，其GPU使用率遠(yuǎn)低于GPT?4，這說(shuō)明在執(zhí)行相同任務(wù)時(shí)，Claude3 Haiku占用的計(jì)算資源更少。GPT?4雖然具有強(qiáng)大的數(shù)據(jù)處理能力，但從實(shí)驗(yàn)數(shù)據(jù)中可以得出，其時(shí)間和資源消耗都較高，表現(xiàn)不如Claude3 Haiku。

除此之外，Claude3 Haiku的使用成本顯著低于GPT?4，其輸入成本為0.25美元/百萬(wàn)tokens，輸出成本為1.25美元/百萬(wàn)tokens，相較之下，GPT?4的輸入成本為10美元/百萬(wàn)tokens，輸出成本為30美元/百萬(wàn)tokens。

3.2" 文本分類(lèi)模型性能及增強(qiáng)技術(shù)效果對(duì)比

為了重點(diǎn)對(duì)比EQSBERT文本分類(lèi)模型的性能以及兩種數(shù)據(jù)增強(qiáng)方法的效果，使用EQSBERT、BERT?base、BERT?large和BERT?3四種模型，分別在原始未增強(qiáng)的數(shù)據(jù)集和四種增強(qiáng)策略上進(jìn)行文本分類(lèi)實(shí)驗(yàn)，性能評(píng)價(jià)指標(biāo)為準(zhǔn)確率和F1分?jǐn)?shù)，仇恨言論數(shù)據(jù)集相關(guān)實(shí)驗(yàn)數(shù)據(jù)如表5所示，社會(huì)維度數(shù)據(jù)集相關(guān)實(shí)驗(yàn)數(shù)據(jù)如表6所示。

在仇恨言論數(shù)據(jù)集的實(shí)驗(yàn)中，EQSBERT模型在使用Claude3 Haiku（balanced）增強(qiáng)策略時(shí)，以0.38×108的參數(shù)量達(dá)到了0.893 6的準(zhǔn)確率和0.692 8的F1分?jǐn)?shù)，表現(xiàn)最佳；相較之下，BERT?base和BERT?large雖然參數(shù)量更大，分別為1.10×108和3.40×108，但其F1分?jǐn)?shù)僅為0.611 5和0.598 8。在使用Claude3 Haiku（proportional）增強(qiáng)策略時(shí)，EQSBERT的準(zhǔn)確率和F1分?jǐn)?shù)（分別為0.881 4和0.684 2）依然保持領(lǐng)先。這表明EQSBERT在處理仇恨言論數(shù)據(jù)時(shí)不僅在效率上具備優(yōu)勢(shì)，而且在硬件資源受限的情況下也能提供更高的分類(lèi)性能；同時(shí)也能明顯看出，本文提出的兩種數(shù)據(jù)增強(qiáng)方法可切實(shí)提升文本任務(wù)分類(lèi)的準(zhǔn)確率。

在社會(huì)維度數(shù)據(jù)集的實(shí)驗(yàn)中，EQSBERT同樣有出色表現(xiàn)。在Claude3 Haiku（balanced）增強(qiáng)策略下，其準(zhǔn)確率為0.450 4，F(xiàn)1分?jǐn)?shù)為0.266 3，依然領(lǐng)先于其他模型；BERT?base和BERT?large表現(xiàn)雖然不錯(cuò)，準(zhǔn)確率分別為0.374 1和0.386 7，F(xiàn)1分?jǐn)?shù)分別為0.204 8和0.217 2，但顯著低于EQSBERT。在Claude3 Haiku（proportional）增強(qiáng)策略下，EQSBERT的準(zhǔn)確率和F1分?jǐn)?shù)分別為0.424 7和0.250 8，繼續(xù)領(lǐng)先。這說(shuō)明EQSBERT在社會(huì)維度數(shù)據(jù)集的復(fù)雜分類(lèi)任務(wù)中，無(wú)論是均衡數(shù)據(jù)分布還是比例分布增強(qiáng)策略，都能提供更高效的分類(lèi)性能和較好的魯棒性，進(jìn)一步驗(yàn)證了其在低資源數(shù)據(jù)集中的適用性和優(yōu)勢(shì)。

從以上數(shù)據(jù)可以看出，四種增強(qiáng)策略均顯著提高了模型的分類(lèi)性能，尤其是對(duì)于EQSBERT模型。這些方法通過(guò)不同的增強(qiáng)策略（動(dòng)態(tài)均衡過(guò)采樣和分布式比例增強(qiáng)）有效地提高了模型的準(zhǔn)確率和F1分?jǐn)?shù)。EQSBERT作為一種小型化文本分類(lèi)模型，通過(guò)二次自蒸餾和多目標(biāo)訓(xùn)練等方法，在保證模型參數(shù)量較少的情況下，仍然展現(xiàn)出了卓越的性能。在所有增強(qiáng)策略下，EQSBERT均表現(xiàn)出色，甚至超過(guò)了BERT?base和BERT?large等大模型。

3.3" 平均推理時(shí)間對(duì)比

本文將EQSBERT與BERT?3、BERT?base、BERT?large在速度性能方面進(jìn)行對(duì)比，表7為仇恨言論數(shù)據(jù)集在Claude3 Haiku（balanced）增強(qiáng)策略上的推理時(shí)間以及標(biāo)準(zhǔn)差數(shù)據(jù)，表8為社會(huì)維度數(shù)據(jù)集在Claude3 Haiku（balanced）增強(qiáng)策略上的推理時(shí)間以及標(biāo)準(zhǔn)差數(shù)據(jù)。

從表7、表8實(shí)驗(yàn)數(shù)據(jù)可以看到：在仇恨言論數(shù)據(jù)集上EQSBERT的平均推理速度比BERT?large快了4.9倍；在社會(huì)維度數(shù)據(jù)集上，EQSBERT的平均推理速度比BERT?large快了2.9倍，并且在兩個(gè)數(shù)據(jù)集上測(cè)試推理時(shí)間的標(biāo)準(zhǔn)差較小，模型的推理時(shí)間序列較為平穩(wěn)。

4" 分析討論

本研究驗(yàn)證了利用大型語(yǔ)言模型（LLM）生成稀疏及低密度合成數(shù)據(jù)的潛力。在仇恨言論檢測(cè)與社會(huì)維度分類(lèi)任務(wù)中，與原始數(shù)據(jù)相比，合成數(shù)據(jù)能夠更加有效地支持模型訓(xùn)練。數(shù)據(jù)顯示，Claude3 Haiku在這些多語(yǔ)言任務(wù)中有杰出的性能，彰顯了Claude3系列模型在處理多語(yǔ)言任務(wù)時(shí)的優(yōu)勢(shì)。作為Claude3系列中最輕量化的模型，Claude3 Haiku在仇恨言論檢測(cè)及社會(huì)維度分類(lèi)任務(wù)方面的性能優(yōu)于GPT?4；并且Claude3 Haiku的使用成本顯著低于GPT?4。2024年3月4日，Anthropic公司發(fā)布了最新一代大型語(yǔ)言模型Claude3，報(bào)告稱(chēng)該模型在多模態(tài)和各項(xiàng)語(yǔ)言指標(biāo)上都能夠優(yōu)于GPT?4。Claude3系列模型按能力和體量分為Claude3 Opus、Claude3 Sonnet和Claude3 Haiku，Claude3 Haiku是Claude3系列中最快速和最經(jīng)濟(jì)的模型，盡管在規(guī)模上較小，但通過(guò)優(yōu)化其模型架構(gòu)和訓(xùn)練方法，在多語(yǔ)言處理和NLP任務(wù)上表現(xiàn)出了卓越的性能，特別是在部署成本、資源使用效率及成本效益方面，為開(kāi)發(fā)者提供了更為有效和經(jīng)濟(jì)的選擇。

針對(duì)分類(lèi)模型的性能及效率評(píng)估，本研究致力于對(duì)EQSBERT與BERT?3、BERT?large及BERT?base進(jìn)行詳細(xì)的比較分析，采用模型參數(shù)量、準(zhǔn)確率、F1分?jǐn)?shù)以及推理時(shí)間等關(guān)鍵性能指標(biāo)來(lái)評(píng)價(jià)。

從模型參數(shù)量來(lái)看，EQSBERT僅需0.38×108，而B(niǎo)ERT?3、BERT?base和BERT?large分別需要0.457×108、1.10×108和3.40×108。這表明EQSBERT在減少計(jì)算資源依賴(lài)、提升能源效率并增強(qiáng)模型部署的靈活性方面非常出色。盡管EQSBERT參數(shù)量大幅減少，但其性能并未顯著下降，可以與更大參數(shù)量模型相當(dāng)，甚至有更優(yōu)的性能。這凸顯了EQSBERT在模型架構(gòu)設(shè)計(jì)上的高效性及優(yōu)化策略的成功，證明了輕量化與高性能的兼顧是可行的。在運(yùn)行時(shí)間方面，由于參數(shù)量較少和采用優(yōu)化的模型結(jié)構(gòu)，EQSBERT的數(shù)據(jù)處理能力更快。

Claude3 Haiku和EQSBERT都是低資源自然語(yǔ)言處理的有效選擇，可以在不同的場(chǎng)景中展現(xiàn)出獨(dú)特優(yōu)勢(shì)，如Claude3 Haiku擅長(zhǎng)于生成任務(wù)，而EQSBERT在文本理解和分類(lèi)任務(wù)中表現(xiàn)出色。為了在低資源環(huán)境下實(shí)現(xiàn)最優(yōu)的自然語(yǔ)言處理效果，將這兩個(gè)模型結(jié)合使用，可以發(fā)揮它們各自的特長(zhǎng)，并彌補(bǔ)單一模型的不足。兩者搭配使用可以徹底解決基于大型語(yǔ)言模型的數(shù)據(jù)增強(qiáng)技術(shù)對(duì)于低資源分類(lèi)任務(wù)的難題。通過(guò)這種協(xié)同工作，Claude3 Haiku和EQSBERT不僅能夠在各自擅長(zhǎng)的任務(wù)中表現(xiàn)出色，還能通過(guò)相互配合提高整體系統(tǒng)的性能，并提供靈活的解決方案，充分發(fā)揮出兩者在低資源自然語(yǔ)言處理任務(wù)中的優(yōu)勢(shì)。

本文研究為計(jì)算資源受限的環(huán)境中文本分類(lèi)任務(wù)提供了一種高效的解決方案，同時(shí)有良好的性能表現(xiàn)，這對(duì)于希望在硬件資源有限的情況下部署先進(jìn)自然語(yǔ)言處理技術(shù)進(jìn)行文本分類(lèi)任務(wù)的研究者和開(kāi)發(fā)者具有重要意義。

5" 結(jié)" 語(yǔ)

本文初次采用Claude3 Haiku對(duì)低資源分類(lèi)任務(wù)進(jìn)行數(shù)據(jù)增強(qiáng)，并提出兩種不同情景下的數(shù)據(jù)增強(qiáng)辦法：分布式比例增強(qiáng)法和動(dòng)態(tài)均衡過(guò)采樣增強(qiáng)法。結(jié)合了自蒸餾、多目標(biāo)知識(shí)蒸餾和剪枝技術(shù)，提出了EQSBERT分類(lèi)模型。Claude3 Haiku相比GPT?4展示了更快的運(yùn)行速度和更低的GPU使用率，體現(xiàn)出較高的效率和資源利用率，而EQSBERT分類(lèi)模型在低資源文本分類(lèi)任務(wù)中性能提升顯著。Claude3 Haiku和EQSBERT的結(jié)合使用既解決了低資源數(shù)據(jù)的獲取難題，又具有了強(qiáng)大的文本分類(lèi)能力，為在硬件資源受限環(huán)境下的自然語(yǔ)言處理任務(wù)提供了高效的解決方案，這一研究具有重要的實(shí)際意義。未來(lái)的工作將進(jìn)一步優(yōu)化Claude3 Haiku在特定語(yǔ)言或方言上的表現(xiàn)，進(jìn)一步驗(yàn)證和提升其在多語(yǔ)言處理中的適用性和性能，發(fā)揮其在自動(dòng)化數(shù)據(jù)標(biāo)注、社交媒體監(jiān)控以及內(nèi)容審核系統(tǒng)方面的潛力，為自然語(yǔ)言處理技術(shù)的發(fā)展貢獻(xiàn)一份力量。

注：本文通訊作者為宋文愛(ài)。

參考文獻(xiàn)

[1] KAPLAN J， MCCANDLISH S， HENIGHAN T， et al. Scaling laws for neural language models [EB/OL].[2020?01?23].http：//arxiv.org/pdf/2001.08361.pdf.

[2] TOUVRON H， LAVRIL T， IZACARD G， et al. Llama： open and efficient foundation language models [EB/OL]. [2023?02?27]. http：//arxiv.org/pdf/2302.13971.pdf.

[3] OUYANG L， WU J， JIANG X， et al. Training language models to follow instructions with human feedback [J]. Advances in neural information processing systems， 2022， 35： 27730?27744.

[4] BROWN T， MANN B， RYDER N， et al. Language models are few?shot learners [J]. Advances in neural information processing systems， 2020， 33： 1877?1901.

[5] ZIEGLER D M， STIENNON N， WU J， et al. Fine?tuning language models from human preferences [EB/OL]. [2020?01?18]. http：//arxiv.org/pdf/1909.08593.pdf.

[6] JANSEN B J， JUNG S， SALMINEN J. Employing large language models in survey research [J]. Natural language processing journal， 2023， 4： 100020.

[7] ACHARYA A， SINGH B， ONOE N. Llm based generation of item?description for recommendation system [C]// Proceedings of the 17th ACM Conference on Recommender Systems. [S.l.]： ACM， 2023： 1204?1207.

[8] NARAYAN A， CHAMI I， ORR L， et al. Can foundation models wrangle your data？ [EB/OL]. [2022?12?24]. http：//arxiv.org/pdf/2205.09911.pdf.

[9] BAYER M， KAUFHOLD M A， BUCHHOLD B， et al. Data augmentation in natural language processing： a novel text generation approach for long and short text classifiers [J]. International journal of machine learning and cybernetics， 2023， 14（1）： 135?150.

[10] ANABY?TAVOR A， CARMELI B， GOLDBRAICH E， et al. Do not have enough data？ Deep learning to the rescue！ [J]. Proceedings of the AAAI conference on artificial intelligence，2020， 34（5）： 7383?7390.

[11] QUEIROZ A H， BARBON J S. Pre?trained data augmentation for text classification [C]// Brazilian Conference on Intelligent Systems. Cham： Springer， 2020： 551?565.

[12] BENGIO Y， LAMBLIN P， POPOVICI D， et al. Advances in neural information processing systems 22 [J]. Chinese medical ethics， 2008， 23（1）： 80?83.

[13] HINTON G， VINYALS O， DEAN J. Distilling the knowledge in a neural network [EB/OL]. [2015?03?09]. http：//arxiv.org/pdf/1503.02531.pdf.

[14] SIGURBERGSSON G I， DERCZYNSKI L. Offensive language and hate speech detection for Danish [EB/OL]. [2023?03?23]. http：//arxiv.org/pdf/1908.04531.pdf.

[15] CHOI M， AIELLO L M， VARGA K Z， et al. Ten social dimen?sions of conversations and relationships [C]// Proceedings of The Web Conference 2020. [S.l.]： ACM， 2020： 1514?1525.

[16] LOSHCHILOV I， HUTTER F. Decoupled weight decay regula?rization [EB/OL]. [2019?01?04]. http：//arxiv.org/pdf/1711.05101.pdf.

作者簡(jiǎn)介：尹照煜（1997—），男，山西汾陽(yáng)人，碩士研究生，主要研究方向?yàn)樽匀徽Z(yǔ)言處理。

宋文愛(ài)（1964—），女，山西臨汾人，博士后，教授，主要研究方向?yàn)樵朴?jì)算與大數(shù)據(jù)、自動(dòng)化技術(shù)。

劉宏昊（2000—），男，回族，山東濟(jì)南人，在讀碩士研究生，主要研究方向?yàn)槟繕?biāo)檢測(cè)與識(shí)別。

收稿日期：2024?06?26" " " " " "修回日期：2024?08?02

基金項(xiàng)目：山西省研究生實(shí)踐創(chuàng)新項(xiàng)目（2023SJ223）