姜莎,趙明峰,張高毅
(1.中國(guó)移動(dòng)通信集團(tuán)四川有限公司,四川 成都 610000;2.中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司四川分公司,四川 成都 610045)
生成式人工智能(AIGC,Artificial Intelligence Generated Content)是指基于生成對(duì)抗網(wǎng)絡(luò)、大型預(yù)訓(xùn)練模型等人工智能的技術(shù)方法,通過(guò)已有數(shù)據(jù)的學(xué)習(xí)和識(shí)別,以適當(dāng)?shù)姆夯芰ι上嚓P(guān)內(nèi)容的技術(shù)。AIGC技術(shù)的核心思想是利用人工智能算法生成具有一定創(chuàng)意和質(zhì)量的內(nèi)容。通過(guò)訓(xùn)練模型和大量數(shù)據(jù)的學(xué)習(xí),AIGC可以根據(jù)輸入的條件或指令,生成與之相關(guān)的內(nèi)容。AIGC的發(fā)展最早可追溯到1950年艾倫?圖靈(Alan Turing)在其論文《計(jì)算機(jī)器與智能(Computing Machinery and Intelligence)》中提出了著名的“圖靈測(cè)試”,給出了判定機(jī)器是否具有“智能”的試驗(yàn)方法,即機(jī)器是否能夠模仿人類的思維方式來(lái)“生成”內(nèi)容,1957年萊杰倫·希勒(Lejaren Hiller)和倫納德·艾薩克森(Leon-ard saacson)完成了人類歷史上第一支由計(jì)算機(jī)創(chuàng)作的音樂(lè)作品就可以看作是 AIGC的開(kāi)端。經(jīng)過(guò)半個(gè)多世紀(jì)的快速發(fā)展,隨著具有價(jià)值的有效數(shù)據(jù)大量積累、算力的大幅提升,以及深度學(xué)習(xí)算法的提出與應(yīng)用,今天的人工智能技術(shù)已經(jīng)普及到許多的行業(yè),并在相應(yīng)的場(chǎng)景中發(fā)揮著重要的作用,比如自然語(yǔ)言處理(NLP,Natural Language Processing)、計(jì)算機(jī)視覺(jué)、推薦系統(tǒng)、預(yù)測(cè)分析等,顛覆相應(yīng)場(chǎng)景下的生產(chǎn)與生活等方式,為人類社會(huì)帶來(lái)了極大的便捷中發(fā)揮著重要作用[1]。2022年11月30日,OpenAI公司發(fā)布了生成式預(yù)訓(xùn)練Transformer模型(ChatGPT,Chat Generative Pretrained Transformer),通過(guò)大規(guī)模預(yù)訓(xùn)練(GPT-3.5)和自然語(yǔ)言生成技術(shù)實(shí)現(xiàn)多輪對(duì)話問(wèn)答,將AIGC推向高潮,席卷全球,成為各行各業(yè)關(guān)注的焦點(diǎn)。ChatGPT是一種基于互聯(lián)網(wǎng)的、可用數(shù)據(jù)來(lái)訓(xùn)練的、文本生成的深度學(xué)習(xí)模型,它本身屬于NLP領(lǐng)域中的超大預(yù)訓(xùn)練模型(PTM,Pre-Trained Model,這類超大PTM也稱為大語(yǔ)言模型(LLM,Large Language Model)[2~6]。文獻(xiàn)[7~13]以ChatGPT為例詳細(xì)論述了AIGC技術(shù)原理,介紹了單模態(tài)和多模態(tài)兩種生成模型,對(duì)AIGC的定義、優(yōu)點(diǎn)、在邊緣云計(jì)算、Web3.0、元宇宙等中的應(yīng)用、挑戰(zhàn)以及面臨的安全、隱私和知識(shí)產(chǎn)權(quán)等威脅等方面進(jìn)行了詳細(xì)論述,并給出未來(lái)的方向。文獻(xiàn)[14~17]重點(diǎn)以ChatGPT為例從技術(shù)角度給出了人工智能、超大預(yù)訓(xùn)練模型的機(jī)遇和挑戰(zhàn)。文獻(xiàn)[18~22]從通信運(yùn)營(yíng)商的視角出發(fā),探討AIGC的機(jī)遇和挑戰(zhàn),并給出運(yùn)營(yíng)商AI能力建設(shè)策略和思路。
上述文獻(xiàn)重點(diǎn)從技術(shù)原理和技術(shù)演進(jìn)等角度出發(fā),探討AIGC相關(guān)技術(shù)以及面臨的機(jī)遇和挑戰(zhàn)。由于AIGC中所涉及的相應(yīng)深度學(xué)習(xí)、大語(yǔ)言模型、算法等專業(yè)技術(shù)較多,且AIGC應(yīng)用發(fā)展較為迅速?;诖?,本文以AIGC工程應(yīng)用的視角出發(fā)探討國(guó)內(nèi)外AIGC的發(fā)展現(xiàn)狀與趨勢(shì),在此基礎(chǔ)上對(duì)相應(yīng)當(dāng)前的AIGC國(guó)內(nèi)外應(yīng)用產(chǎn)品進(jìn)行歸類,并詳細(xì)介紹AIGC技術(shù)架構(gòu)體系,最后給出了AIGC面臨的機(jī)遇與挑戰(zhàn)。
隨著ChatGPT的熱潮持續(xù)升溫,根據(jù)51GPT網(wǎng)站的統(tǒng)計(jì),截至目前,全世界當(dāng)前已有2 722個(gè)AIGC類的應(yīng)用工具。這些工具的不斷涌現(xiàn),進(jìn)一步加速推動(dòng)了AIGC的商業(yè)化落地,使得產(chǎn)業(yè)生態(tài)鏈逐步走向完善。如圖1所示,當(dāng)前,AIGC產(chǎn)品主要模態(tài)包括音頻生成、視頻生成、文本生成、圖像生成,以及圖像、視頻、文本間的跨模態(tài)生成等幾種方式。
圖1 AIGC應(yīng)用模態(tài)分類
下面分別從國(guó)外、國(guó)內(nèi)兩方面來(lái)看AIGC的應(yīng)用發(fā)展現(xiàn)狀和趨勢(shì)。
結(jié)合相關(guān)文獻(xiàn)和調(diào)研報(bào)告,將國(guó)外主要AIGC頭部應(yīng)用產(chǎn)品按照文本、圖像、音頻、視頻進(jìn)行分類,相應(yīng)具有代表性的如表1所示。
表1 國(guó)外典型的AIGC類產(chǎn)品及其特點(diǎn)
從表1可知,國(guó)外AIGC應(yīng)用產(chǎn)品主要以美國(guó)為主,絕大部分產(chǎn)品均具有多模態(tài)能力,這也是當(dāng)前AIGC產(chǎn)品演進(jìn)和落地的重要方向。從技術(shù)上來(lái)看,生成算法、預(yù)訓(xùn)練模型、多模態(tài)等AI技術(shù)的累積與融合,才催生了AIGC的大爆發(fā),其中生成算法主要包括Transformer、基于流的生成模型(Flow-based models)、擴(kuò)散模型(Diffusion Model)等深度學(xué)習(xí)算法。按照基本類型分類,預(yù)訓(xùn)練模型主要包括:(1)NLP預(yù)訓(xùn)練模型,如谷歌的LaMDA和PaLM、Open AI的GPT系列;(2)計(jì)算機(jī)視覺(jué)(CV)預(yù)訓(xùn)練模型,如微軟的Florence;(3)多模態(tài)預(yù)訓(xùn)練模型,即融合文字、圖片、音視頻等多種內(nèi)容形式。預(yù)訓(xùn)練模型更具通用性,成為多才多藝、多面手的 Al模型,主要得益于多模型技術(shù)(Multimodal technology)的使用,即多模態(tài)表示圖像、聲音、語(yǔ)言等融合的機(jī)器學(xué)習(xí)。多模態(tài)技術(shù)推動(dòng)了AIGC的內(nèi)容多樣性,讓AIGC具有了更通用的能力。從市場(chǎng)應(yīng)用來(lái)看,OpenAI的ChatGPT4無(wú)疑處于絕對(duì)領(lǐng)先地位,從OpenAI發(fā)布會(huì)上透露信息來(lái)看,ChatGPT正式發(fā)布至今,周活躍用戶數(shù)超過(guò)1億人,目前有超過(guò)200萬(wàn)開(kāi)發(fā)者和客戶在該公司的API上進(jìn)行開(kāi)發(fā),世界財(cái)富500強(qiáng)公司中,有92%的企業(yè)在使用其產(chǎn)品,即將快速創(chuàng)建定制ChatGPT的GPTs,實(shí)現(xiàn)了人人都能擁有大模型,引入性能更強(qiáng)的GPT-4 Turbo模型,直接支持128k上下文,知識(shí)庫(kù)更新到今年4月,以及即將推出GPT Store應(yīng)用商店,和新用于AI智能體的Assistants API等。
國(guó)內(nèi)方面,隨著百度“文心一言”、阿里通義千問(wèn)、訊飛星火大模型、智譜AI的ChatGLM等紛紛發(fā)布,美團(tuán)、百川智能、云知聲、美圖、騰訊等紛紛加入大模型賽道,一場(chǎng)圍繞大模型的“軍備競(jìng)賽”已趨白熱化。5月底,科技部新一代人工智能發(fā)展研究中心發(fā)布《中國(guó)人工智能大模型地圖研究報(bào)告》,我國(guó)10億參數(shù)規(guī)模以上的大模型已發(fā)布79個(gè),幾乎進(jìn)入“百模大戰(zhàn)”。作為通信運(yùn)營(yíng)商來(lái)說(shuō),面對(duì)著AIGC廣泛的應(yīng)用前景,為避免被管道化,迫切需要提前做好布局和卡位?;诖耍瑖?guó)內(nèi)三大運(yùn)營(yíng)商紛紛發(fā)布AI大模型:6月28日,中國(guó)聯(lián)通在2023年上海世界移動(dòng)通信大會(huì)期間發(fā)布了“鴻湖圖文大模型1.0”的圖文生成模型,可實(shí)現(xiàn)以文生圖、視頻剪輯、以圖生圖等功能;7月6日,在世界人工智能大會(huì)“算網(wǎng)一體·融創(chuàng)未來(lái)”分論壇上,中國(guó)電信正式對(duì)外發(fā)布大語(yǔ)言模型TeleChat,并展示了大模型賦能數(shù)據(jù)中臺(tái)、智能客服和智慧政務(wù)三個(gè)方向的能力;7月8日,在2023年世界人工智能大會(huì)“大模型與深度行業(yè)智能”創(chuàng)新論壇上,中國(guó)移動(dòng)正式發(fā)布九天·海算政務(wù)大模型和九天·客服大模型。根據(jù)當(dāng)前最新AIGC應(yīng)用發(fā)布情況,國(guó)內(nèi)典型AIGC產(chǎn)品相應(yīng)主要技術(shù)特征如表2所示。
表2 國(guó)內(nèi)典型的AIGC類產(chǎn)品及其特點(diǎn)
從國(guó)內(nèi)AIGC產(chǎn)品應(yīng)用情況來(lái)看,相應(yīng)產(chǎn)品正處于加速迭代狀態(tài),與國(guó)外的AIGC產(chǎn)品類似,逐步向新聞媒體、智慧城市、生物科技、智慧辦公、影視制作、智能教育、智慧金融、智慧醫(yī)療、智慧工廠、生活服務(wù)等行業(yè)領(lǐng)域滲透[23~25],且逐步具備多模態(tài)能力,但受限于算力芯片封鎖、算法不公開(kāi)等因素影響,國(guó)內(nèi)AIGC產(chǎn)品在能力輸出上相較于國(guó)外類似產(chǎn)品還存在不小差距。根據(jù)量子位智庫(kù)預(yù)測(cè),2023-2025年中國(guó)AIGC產(chǎn)業(yè)處于培育摸索期,預(yù)計(jì)年均復(fù)合增速為25%,2026-2030年行業(yè)將迎來(lái)快速增長(zhǎng)階段,中國(guó)市場(chǎng)規(guī)模有望在2030年達(dá)到11 491億元。
在文獻(xiàn)[21]中現(xiàn)有生成式人工智能AIGC技術(shù)架構(gòu)等基礎(chǔ)上,但該架構(gòu)相對(duì)較為粗放,未能完整涵蓋AIGC技術(shù)核心要素,同時(shí)并未結(jié)合AIGC技術(shù)特征和應(yīng)用情況進(jìn)一步進(jìn)行細(xì)化分層,基于此,在此基礎(chǔ)上提出AIGC技術(shù)架構(gòu),以期能夠更清晰了解AIGC技術(shù)特征,如圖2所示,AIGC從技術(shù)架構(gòu)上看主要包含6層:數(shù)據(jù)層、算力基礎(chǔ)設(shè)施層、算法及大模型層、AIGC能力層、AIGC功能層和AIGC應(yīng)用層。
圖2 AIGC技術(shù)架構(gòu)
(1)數(shù)據(jù)層
數(shù)據(jù)作為AIGC三大核心要素之一,數(shù)據(jù)層數(shù)據(jù)的質(zhì)量、數(shù)量、多樣性決定大模型的訓(xùn)練效果。數(shù)據(jù)集的構(gòu)建主要通過(guò)數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)標(biāo)注、模型訓(xùn)練、模型測(cè)試和產(chǎn)品評(píng)估進(jìn)行產(chǎn)生。根據(jù)當(dāng)前AIGC應(yīng)用所涉及的大語(yǔ)言模型和多模態(tài)模型兩種類型,數(shù)據(jù)集可分為大語(yǔ)言模型數(shù)據(jù)集和多模態(tài)數(shù)據(jù)集,大語(yǔ)言模型數(shù)據(jù)集主要來(lái)源于維基百科、網(wǎng)絡(luò)百科全書(shū)、書(shū)籍、期刊、網(wǎng)頁(yè)數(shù)據(jù)、搜索數(shù)據(jù)、B端行業(yè)數(shù)據(jù)以及一些專業(yè)數(shù)據(jù)庫(kù)等;多模態(tài)數(shù)據(jù)集主要是基于兩個(gè)及以上的模態(tài)形式(文本、圖像、視頻、音頻等)組合形成的數(shù)據(jù)集。
(2)算力基礎(chǔ)設(shè)施層
算力基礎(chǔ)設(shè)施層主要為大模型層提供算力底座,大模型所需的訓(xùn)練算力和推理算力由算力基礎(chǔ)設(shè)施層提供。算力芯片主要包括圖形處理器(GPU,Graphics Processing Unit)、張量處理器(TPU,Tensor Processing Unit)、神經(jīng)網(wǎng)絡(luò)處理器(NPU,Neural Processing Unit)以及各類智算加速芯片等。由于大模型訓(xùn)練所需的算力巨大且對(duì)時(shí)延要求較高,算力芯片一般都位于同一數(shù)據(jù)中心,采用高性能AI集群方式以保障算力需求,同時(shí)為降低服務(wù)器之間的延遲和帶寬需求,需要采用專用InfiniBand 網(wǎng)絡(luò)或基于融合以太網(wǎng)的遠(yuǎn)程直接數(shù)據(jù)存?。≧oCE,Remote Direct Memory Access over Converged Ethernet)交換網(wǎng)絡(luò)連接,形成高性能智算集群。專用InfiniBand網(wǎng)絡(luò)架構(gòu)相對(duì)封閉、運(yùn)維復(fù)雜、價(jià)格昂貴,國(guó)外主要采用該技術(shù),而國(guó)內(nèi)主要以RoCE方式構(gòu)建統(tǒng)一融合的網(wǎng)絡(luò)架構(gòu),比如華為的超融合數(shù)據(jù)中心網(wǎng)絡(luò)方案,使用獨(dú)創(chuàng)的iLossLess智能無(wú)損算法,通過(guò)流量控制技術(shù)、擁塞控制技術(shù)和智能無(wú)損存儲(chǔ)網(wǎng)絡(luò)技術(shù)三大關(guān)鍵技術(shù)的相互配合,從而達(dá)到構(gòu)建無(wú)損以太網(wǎng)絡(luò),助力實(shí)現(xiàn)AI場(chǎng)景下的數(shù)據(jù)中心網(wǎng)絡(luò)“零丟包、低時(shí)延、高吞吐”目標(biāo)。進(jìn)一步地,考慮到各類算力芯片在不同行業(yè)應(yīng)用的差異性,迫切需要構(gòu)建異構(gòu)的算力池,通過(guò)高效的調(diào)度算法、負(fù)載均衡算法等,提升算力的有效利用率,從而實(shí)現(xiàn)算力原生。
(3)算法及大模型層
當(dāng)前,大模型采用的主要算法包括深度學(xué)習(xí)算法、強(qiáng)化學(xué)習(xí)算法和自然語(yǔ)言處理算法。深度學(xué)習(xí)算法主要包含卷積神經(jīng)網(wǎng)絡(luò)(CNN)和循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)兩類,卷積神經(jīng)網(wǎng)絡(luò)(CNN)是常用于圖像識(shí)別和計(jì)算機(jī)視覺(jué)任務(wù)的深度學(xué)習(xí)算法,循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)是常用于序列數(shù)據(jù)處理的深度學(xué)習(xí)算法。強(qiáng)化學(xué)習(xí)算法是大模型中用于決策和控制的重要算法,深度強(qiáng)化學(xué)習(xí)算法是結(jié)合深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的優(yōu)勢(shì),進(jìn)一步拓展強(qiáng)化學(xué)習(xí)應(yīng)用范圍,常見(jiàn)的有Deep Q-Networks(DQN)、Deep Deterministic Policy Gradient(DDPG)、Proximal Policy Optimization(PPO)、Trust Region Policy Optimization(TRPO)等。自然語(yǔ)言處理算法主要包括文本分類算法、分詞算法、命名實(shí)體識(shí)別算法、情感分析算法、機(jī)器翻譯算法、問(wèn)答系統(tǒng)算法、語(yǔ)音識(shí)別算法等。
大模型層主要基于算力基礎(chǔ)設(shè)施提供的算力,面向通用、行業(yè)等構(gòu)建大模型,通用大模型一般由技術(shù)實(shí)力較強(qiáng)的科技公司構(gòu)建,而致力于構(gòu)建專業(yè)或行業(yè)領(lǐng)域大模型的提供者,大多基于開(kāi)源算法框架,以較少的通用數(shù)據(jù)結(jié)合高質(zhì)量專業(yè)數(shù)據(jù),以更低的成本訓(xùn)練出專業(yè)領(lǐng)域的大模型,相應(yīng)大模型如第1節(jié)中相應(yīng)的模型。一般情況下,大模型主要包含通用(或原始)語(yǔ)言模型、指令調(diào)整模型和對(duì)話調(diào)整模型三種類型:通用(或原始)語(yǔ)言模型通常使用大量的未標(biāo)記文本進(jìn)行訓(xùn)練,學(xué)習(xí)語(yǔ)言的統(tǒng)計(jì)規(guī)律,但沒(méi)有特定的任務(wù)指向,模型經(jīng)過(guò)訓(xùn)練,根據(jù)訓(xùn)練數(shù)據(jù)中的語(yǔ)言預(yù)測(cè)下一個(gè)詞;指令調(diào)整模型是在通用語(yǔ)言模型的基礎(chǔ)上,通過(guò)對(duì)特定任務(wù)數(shù)據(jù)的訓(xùn)練,使其能夠?qū)o定的指令做出適當(dāng)?shù)捻憫?yīng),這類模型可以理解和執(zhí)行特定的語(yǔ)言任務(wù),如問(wèn)答、文本分類、總結(jié)、寫(xiě)作、關(guān)鍵詞提取等,模型經(jīng)過(guò)訓(xùn)練,以預(yù)測(cè)對(duì)輸入中給出的指令的響應(yīng);對(duì)話調(diào)整模型是在通用語(yǔ)言模型的基礎(chǔ)上,通過(guò)對(duì)對(duì)話數(shù)據(jù)的訓(xùn)練,使其能夠進(jìn)行對(duì)話。這類模型可以理解和生成對(duì)話,例如生成聊天機(jī)器人的回答,模型經(jīng)過(guò)訓(xùn)練,以通過(guò)預(yù)測(cè)下一個(gè)響應(yīng)進(jìn)行對(duì)話。
(4)AIGC能力層
AIGC能力層主要表現(xiàn)在四個(gè)方面:孿生能力、泛化能力、頓悟能力和涌現(xiàn)能力。數(shù)字孿生是指利用模型和數(shù)據(jù)模擬還原出物理世界事物全生命周期的動(dòng)態(tài)特征,并可雙向評(píng)估,它是數(shù)字化的高級(jí)表達(dá),數(shù)字孿生為AIGC核心能力,推動(dòng)全行業(yè)降本增效,可有效與當(dāng)前數(shù)字人結(jié)合為元宇宙創(chuàng)造有利條件。泛化能力是指AIGC大模型側(cè)重于對(duì)知識(shí)的整合和轉(zhuǎn)化,在不同內(nèi)容生成任務(wù)中展現(xiàn)其普適性和通用性,涌現(xiàn)能力是指在大模型領(lǐng)域當(dāng)模型突破某個(gè)規(guī)模時(shí),性能顯著提升,表現(xiàn)出讓人驚艷、意想不到的能力,而頓悟能力是指經(jīng)過(guò)多次的學(xué)習(xí)與訓(xùn)練突然爆發(fā)出的能力,一般情況下指降低原有參數(shù)規(guī)模和訓(xùn)練集基礎(chǔ)上達(dá)成涌現(xiàn)能力。泛化能力、頓悟能力和涌現(xiàn)能力相互作用,能夠有效提升AIGC的能力輸出,通過(guò)算法調(diào)優(yōu)等多重手段降低對(duì)參數(shù)量、訓(xùn)練數(shù)據(jù)集的要求,提升大模型在不同內(nèi)容生成任務(wù)中的普適性和通用性。
(5)AIGC功能層
AIGC功能層主要基于不同的大模型能力,呈現(xiàn)多樣性的技術(shù)場(chǎng)景,比如文生文、文生圖、圖生圖、圖文協(xié)同、視頻生成、聊天機(jī)器人、音頻生成、代碼生成等多模態(tài)方式,通過(guò)構(gòu)建這些技術(shù)場(chǎng)景以滿足AIGC+行業(yè)、AIGC+通用等差異化的應(yīng)用。
(6)AIGC應(yīng)用層
AIGC應(yīng)用層主要面向商業(yè)落地,根據(jù)各行各業(yè)的特點(diǎn)和需求,借助于AIGC功能層所提供的多樣性技術(shù)場(chǎng)景進(jìn)行適配,形成具有特色的AIGC應(yīng)用產(chǎn)業(yè),帶動(dòng)AIGC的發(fā)展與繁榮。一般來(lái)說(shuō),AIGC的應(yīng)用主要包括基于生成式AI技術(shù)的創(chuàng)新應(yīng)用和在現(xiàn)有基礎(chǔ)上采用集成方式利用AI能力的傳統(tǒng)應(yīng)用。隨著各類AIGC服務(wù)能力的逐步完善和開(kāi)放,各行各業(yè)的應(yīng)用開(kāi)發(fā)者都可以調(diào)用AIGC服務(wù)能力開(kāi)發(fā)各類領(lǐng)域的應(yīng)用,應(yīng)用生態(tài)將呈現(xiàn)百花齊放的局面。
從上述分析可知,大模型需要高昂的硬件成本、開(kāi)發(fā)成本投入以及模型訓(xùn)練成本投入等,這無(wú)疑提高其門檻。截至目前,雖然我國(guó)在AIGC方面奮起直追,但距離發(fā)達(dá)國(guó)家在該方面的投入、應(yīng)用能力、技術(shù)水平等多方面還存在較大差距。此外,大模型所需的GPU等算力芯片更新迭代較快,中美貿(mào)易戰(zhàn)導(dǎo)致的芯片禁售與斷供也對(duì)AIGC發(fā)展帶來(lái)較多不利。面對(duì)這些困難和大量人力物力投入,然而大模型相應(yīng)的商業(yè)盈利模式還未見(jiàn)清晰,機(jī)遇與風(fēng)險(xiǎn)并存,基于此,結(jié)合AIGC的技術(shù)架構(gòu)特點(diǎn),分別論述AIGC所面臨的機(jī)遇和挑戰(zhàn)。
AIGC所帶來(lái)的機(jī)遇主要包含以下幾個(gè)方面:
(1)AIGC為數(shù)字經(jīng)濟(jì)注入新引擎
當(dāng)前,全球經(jīng)濟(jì)越來(lái)越呈現(xiàn)數(shù)字化特征,人類社會(huì)正在進(jìn)入以數(shù)字化為主要標(biāo)志的新階段。數(shù)字經(jīng)濟(jì),已經(jīng)成為世界的主要經(jīng)濟(jì)形態(tài),也成為推動(dòng)我國(guó)經(jīng)濟(jì)社會(huì)發(fā)展的核心動(dòng)力。AIGC作為一種利用人工智能模型創(chuàng)建數(shù)字內(nèi)容的技術(shù),它的出現(xiàn)讓自動(dòng)化生成數(shù)據(jù)成為可能,它可以把隱性的知識(shí)轉(zhuǎn)變成顯性的知識(shí),這也意味著數(shù)據(jù)資產(chǎn)可以實(shí)現(xiàn)指數(shù)級(jí)的增長(zhǎng)、極大地改變企業(yè)數(shù)據(jù)資產(chǎn)的生成方式與構(gòu)成,進(jìn)而推動(dòng)IT跟業(yè)務(wù)的融合、提高工作效率、實(shí)現(xiàn)創(chuàng)新升級(jí),AIGC將成為數(shù)字內(nèi)容創(chuàng)新發(fā)展的新引擎。Gartner預(yù)計(jì),到2025年,生成式人工智能將占所有生成數(shù)據(jù)的10%,而目前由人工智能生成的數(shù)據(jù)占所有數(shù)據(jù)的比例不到1%,具有較大的潛力。根據(jù)麥肯錫最近發(fā)布的一份報(bào)告預(yù)估,AIGC能每年為全球經(jīng)濟(jì)增加4.4萬(wàn)億美元。此外,據(jù)艾媒咨詢數(shù)據(jù)顯示,預(yù)計(jì)2023年中國(guó)AIGC行業(yè)核心市場(chǎng)規(guī)模為79.3億元,2028年將達(dá)2 767.4億元。因此,一方面數(shù)字經(jīng)濟(jì)為AIGC提供了廣闊的發(fā)展空間,另一方面,AIGC為數(shù)字經(jīng)濟(jì)提供了技術(shù)支持,AIGC的廣泛應(yīng)用已經(jīng)成為數(shù)字經(jīng)濟(jì)的新趨勢(shì)。隨著硬件的升級(jí)和算法改進(jìn)優(yōu)化,AIGC的性能將越來(lái)越強(qiáng)大,AIGC模型體量/復(fù)雜度將極大提高,相應(yīng)內(nèi)容孿生、內(nèi)容編輯、內(nèi)容創(chuàng)作三大基礎(chǔ)能力將顯著增強(qiáng),產(chǎn)品類型將逐漸豐富,應(yīng)用領(lǐng)域?qū)⒏訌V泛。
(2)AIGC催生新的軟件服務(wù)模式
由于大模型需要大算力、電力能源消耗、高精技術(shù)人才投入等,門檻較高,一般企業(yè)難以構(gòu)建自己的大模型,因此,AIGC催生出新的軟件服務(wù)模式—模型即服務(wù)MaaS(Model as a Service),MaaS模式是以機(jī)器學(xué)習(xí)和人工智能模型為基礎(chǔ),通過(guò)API(應(yīng)用程序編程接口)提供這些模型的服務(wù),這意味著在云端,開(kāi)發(fā)者可以通過(guò)簡(jiǎn)單的API調(diào)用來(lái)使用這些模型的功能,而不需要自己構(gòu)建和訓(xùn)練模型。這樣一來(lái),企業(yè)開(kāi)發(fā)應(yīng)用程序的效率大大提高,大大節(jié)省了時(shí)間和資源。于此同時(shí),AIGC領(lǐng)域的發(fā)展也需要一個(gè)具有開(kāi)放性和可擴(kuò)展性的平臺(tái)支持。MaaS模式為AIGC領(lǐng)域提供了更加開(kāi)放和標(biāo)準(zhǔn)化的平臺(tái),使得更多的應(yīng)用程序可以接入和使用這些模型服務(wù)。這一模式的出現(xiàn),為行業(yè)內(nèi)的企業(yè)帶來(lái)了更加便捷、靈活和可擴(kuò)展的服務(wù)。通過(guò)利用MaaS模式,企業(yè)可以更加專注于應(yīng)用程序開(kāi)發(fā),無(wú)需過(guò)多關(guān)注模型的構(gòu)建和訓(xùn)練。這將使企業(yè)能夠更快地推出新的應(yīng)用程序,提供更好的產(chǎn)品和服務(wù)。MaaS模式將成為未來(lái)AIGC領(lǐng)域的重要接口,人工智能模型的開(kāi)發(fā)、部署和應(yīng)用將變得更加便捷、靈活和可擴(kuò)展。2023年9月8日,騰訊全球數(shù)字生態(tài)大會(huì)互聯(lián)網(wǎng)AIGC應(yīng)用專場(chǎng)上,騰訊云正式發(fā)布AIGC全棧解決方案,可為企業(yè)提供可信、可靠、可用的AIGC全鏈路內(nèi)容服務(wù),助力企業(yè)探索AGI之路,抓住AI 2.0時(shí)代發(fā)展新機(jī)遇。
(3)AIGC為通信行業(yè)帶來(lái)新的發(fā)展機(jī)遇
隨著AI大模型等人工智能技術(shù)的發(fā)展,對(duì)算力需求將顯著增長(zhǎng),尤其是智算算力的需求激增,因此,相應(yīng)智算網(wǎng)絡(luò)規(guī)劃、智算中心布局和數(shù)據(jù)處理能力顯得尤為重要。面對(duì)當(dāng)前日益嚴(yán)峻的國(guó)際形勢(shì)和逆全球化發(fā)展趨勢(shì)下,作為通信運(yùn)營(yíng)商來(lái)說(shuō),本身具有強(qiáng)大的基礎(chǔ)設(shè)施網(wǎng)絡(luò)和數(shù)據(jù)中心,無(wú)論是算力資源還是數(shù)據(jù)資源都較為豐富,同時(shí)具有良好的國(guó)家隊(duì)基因優(yōu)勢(shì)和資金優(yōu)勢(shì),可以站在國(guó)家利益高度角度出發(fā),在國(guó)家的頂層規(guī)劃和產(chǎn)業(yè)支持下,聯(lián)合科研院所、產(chǎn)業(yè)鏈等的力量,逐步建立并筑牢該產(chǎn)業(yè)鏈鏈長(zhǎng),加強(qiáng)在人工智能大模型基礎(chǔ)理論和應(yīng)用上的投入,集中技術(shù)和資金優(yōu)勢(shì)共同開(kāi)展關(guān)鍵問(wèn)題攻關(guān)并實(shí)現(xiàn)突破,跟上或是達(dá)到世界領(lǐng)先水平,在數(shù)字經(jīng)濟(jì)中擔(dān)負(fù)更大的使命。在AIGC產(chǎn)業(yè)中,運(yùn)營(yíng)商有望深度參與公共數(shù)據(jù)加工環(huán)節(jié),一種模式是借助隱私計(jì)算技術(shù)和模式創(chuàng)新,提供大模型訓(xùn)練、推理階段的數(shù)據(jù)產(chǎn)品;另一種模式是合成相應(yīng)數(shù)據(jù)以滿足未來(lái)大模型快速增長(zhǎng)的參數(shù)量,構(gòu)建大模型訓(xùn)練數(shù)據(jù)的監(jiān)督體系。最后,運(yùn)營(yíng)商還可圍繞行業(yè)智能的迭代升級(jí)需求,提供AI+泛行業(yè)解決方案,為企業(yè)創(chuàng)造新的增長(zhǎng)點(diǎn)。
AIGC所帶來(lái)的挑戰(zhàn)主要包括如下幾個(gè)方面:
(1)對(duì)版權(quán)保護(hù)、社會(huì)規(guī)范、倫理道德等帶來(lái)較大威脅
在版權(quán)保護(hù)方面,AIGC的飛速發(fā)展和商業(yè)化應(yīng)用,除了對(duì)創(chuàng)作者造成沖擊外,也對(duì)大量依靠版權(quán)為主要營(yíng)收的企業(yè)帶來(lái)較大沖擊。在倫理道德方面,部分開(kāi)源的AIGC項(xiàng)目對(duì)生成的圖像、文本、視頻、音頻等監(jiān)管程度較低,進(jìn)行AI訓(xùn)練的數(shù)據(jù)集存在侵權(quán)等潛在風(fēng)險(xiǎn),可利用AIGC生成虛假名人照片等違禁圖片,甚至?xí)谱鞒霰┝?、不雅等相?yīng)視頻和圖像,由于AI本身尚不具備價(jià)值判斷能力,相關(guān)法律法規(guī)仍處于真空。此外,如何進(jìn)行數(shù)據(jù)脫敏并有效利用,充分發(fā)揮數(shù)據(jù)資源的價(jià)值,都將面臨較大挑戰(zhàn)。針對(duì)上述問(wèn)題,2023年7月13日,國(guó)家網(wǎng)信辦等七部門聯(lián)合發(fā)布《生成式人工智能服務(wù)管理暫行辦法》,以堅(jiān)持發(fā)展和安全并重、促進(jìn)創(chuàng)新和依法治理相結(jié)合的原則,采取有效措施鼓勵(lì)A(yù)IGC創(chuàng)新發(fā)展,成為國(guó)家首次針對(duì)于當(dāng)下爆火的AIGC產(chǎn)業(yè)發(fā)布規(guī)范性政策,為上述問(wèn)題提供了相應(yīng)規(guī)范和要求,但相應(yīng)具體的手段和方法仍需進(jìn)一步挖掘和完善。
(2)算力資源增長(zhǎng)與能耗的帶來(lái)較大挑戰(zhàn)
根據(jù)OpenAI研究結(jié)果,AI訓(xùn)練所需算力指數(shù)增長(zhǎng)速率遠(yuǎn)超硬件的摩爾定律,在當(dāng)前大模型參數(shù)量和數(shù)據(jù)集急速增長(zhǎng)的情況下,所需的網(wǎng)絡(luò)帶寬和算力資源需求將呈指數(shù)級(jí)增長(zhǎng)。大模型一般包含訓(xùn)練和推理兩個(gè)部分。針對(duì)訓(xùn)練部分,根據(jù)OpenAI發(fā)表的論文中對(duì)訓(xùn)練算力計(jì)算,一般情況下,訓(xùn)練階段算力需求與模型參數(shù)量、訓(xùn)練數(shù)據(jù)集規(guī)模等相關(guān),且為二者乘積的6倍,以GPT為例,相應(yīng)參數(shù)規(guī)模如表3所示:
表3 GPT產(chǎn)品演進(jìn)各個(gè)版本的參數(shù)規(guī)模
根據(jù)表3所述,GPT-3參數(shù)約為1 750億,訓(xùn)練語(yǔ)料規(guī)模(訓(xùn)練數(shù)據(jù)集)為45 TB,折合成訓(xùn)練集約為3 000億tokens,則GPT-3訓(xùn)練階段算力需求=6*1.75*1011*3*1011=3.15*1023FL OPS=3.15*108PFLOS,折合成算力為3 646 PFLOS-day。在實(shí)際過(guò)程中,GPU算力除用于模型訓(xùn)練外,還需處理通信、數(shù)據(jù)存取等任務(wù),實(shí)際所需算力遠(yuǎn)大于理論計(jì)算值。根據(jù)文獻(xiàn)[19]給出的結(jié)論,OpenAI訓(xùn)練GPT-3采用英偉達(dá)1萬(wàn)塊V100 GPU,有效算力比率為21.3%,GPT-3的實(shí)際算力需求應(yīng)為1.48×109PFLOPS(17 117 PFLOPS-day)。假設(shè)以單機(jī)搭載16片V100 GPU的英偉達(dá)DGX2服務(wù)器承載GPT-3訓(xùn)練,該服務(wù)器AI算力性能為2 PFLOPS,最大功率為10 kW,則訓(xùn)練階段需要8 559臺(tái)服務(wù)器同時(shí)工作1日,在電源使用效率PUE(Power Usage Effectiveness)為1.2時(shí)總耗電量約為2 464 992 kWh,相當(dāng)于302.94噸標(biāo)準(zhǔn)煤,對(duì)應(yīng)二氧化碳排放量745.25噸。從訓(xùn)練成本來(lái)說(shuō),OpenAI訓(xùn)練GPT-4的FLOPS約為2.15*e25,在大約25 000個(gè)A100上訓(xùn)練了90到100天,GPU利用率預(yù)估在32%到36%之間,訓(xùn)練的成本大約是6 300萬(wàn)美元。
針對(duì)推理部分,按照OpenAI提供的計(jì)算方法,推理階段算力需求是模型參數(shù)量與訓(xùn)練數(shù)據(jù)集規(guī)模的2倍。根據(jù)表3所述,每輪對(duì)話最大產(chǎn)生2 048 tokens,則每輪對(duì)話產(chǎn)生的推理算力需求=2*1.75*1011*2048=7.168*1014=0.716 8 PFLOS,按照ChatGPT每日2 500萬(wàn)訪問(wèn)量,假設(shè)每賬號(hào)每次發(fā)生10論對(duì)話,則每日對(duì)話產(chǎn)生推理算力需求=0.7168*2.5*107*10=1.792*107PFLOS。同樣地,假定推理的有效算力比率為30%,則每日對(duì)話產(chǎn)生推理算力需求為5.973*107 PFLOS。按照上述方法測(cè)算,ChatGPT每日對(duì)話需要338臺(tái)服務(wù)器同時(shí)工作,每日耗電約為52 728 kWh。
從上述分析可知,在當(dāng)前“雙碳”背景下,如何突破技術(shù)和成本的雙重壓力滿足AIGC帶來(lái)的高算力需求,如何應(yīng)對(duì)AIGC構(gòu)建與應(yīng)用過(guò)程中所帶來(lái)的算力洪峰等問(wèn)題都需要深入思考和解決。
(3)構(gòu)建健壯性的智算網(wǎng)絡(luò)及調(diào)度平臺(tái)面臨較大挑戰(zhàn)
由于算力資源的異構(gòu)特性,針對(duì)智算集群,如何通過(guò)智算網(wǎng)絡(luò)實(shí)現(xiàn)高效連接、調(diào)度平臺(tái)進(jìn)行高效配置等將決定其有效算力比率。智算平臺(tái)要求節(jié)點(diǎn)之間以極低時(shí)延(微秒級(jí))、高帶寬(百GB以上)傳輸海量的數(shù)據(jù)信息,以保證多個(gè)節(jié)點(diǎn)按照統(tǒng)一的步調(diào)分工協(xié)作完成相應(yīng)任務(wù)。同時(shí),智算中心等算力提供方所處位置區(qū)域、算力成本、能夠提供的資源類型等存在差異,如何將適合的計(jì)算資源分配給需求方也顯得尤為關(guān)鍵,同時(shí)也對(duì)算力的統(tǒng)一調(diào)度提出較大挑戰(zhàn)。當(dāng)前,運(yùn)營(yíng)商提出算力網(wǎng)絡(luò)概念,并在相關(guān)技術(shù)上取得一系列突破,但在算力調(diào)度、算力路由、算網(wǎng)一體等方面還需深入研究,以更好適配和滿足AIGC技術(shù)架構(gòu),提升其有效算力比率和數(shù)據(jù)流通效率等,構(gòu)建面向國(guó)內(nèi)的智算網(wǎng)絡(luò)和調(diào)度平臺(tái)將是未來(lái)需要深入研究的課題之一。
ChatGPT的出現(xiàn),加速了AIGC技術(shù)和應(yīng)用的發(fā)展。AIGC作為是人工智能1.0時(shí)代進(jìn)入2.0時(shí)代的重要標(biāo)志,已經(jīng)為人類社會(huì)打開(kāi)了認(rèn)知智能的大門,它具有非常廣泛的應(yīng)用前景和市場(chǎng)潛力,可以為人類社會(huì)帶來(lái)更多的便利和創(chuàng)新,同時(shí),也要看到AIGC存在諸多挑戰(zhàn)和面臨的各類風(fēng)險(xiǎn)問(wèn)題。隨著深度學(xué)習(xí)、NLP等技術(shù)的不斷進(jìn)步和融合創(chuàng)新,相信AIGC技術(shù)將會(huì)在未來(lái)數(shù)字經(jīng)濟(jì)中扮演越來(lái)越重要的角色,成為人工智能技術(shù)應(yīng)用的重要組成部分。