薄一航

北京電影學(xué)院美術(shù)學(xué)院,北京 100088

1 ChatGPT的出現(xiàn): 人工智能的新高潮

縱觀人工智能 (Artificial Intelligence,AI)技術(shù)的發(fā)展歷程,大致經(jīng)歷了兩次低谷和三次繁榮,如圖1所示。20世紀50年代中期,計算機科學(xué)之父阿蘭·圖靈(Alan Mathison Turing)在英國哲學(xué)雜志《心智》上發(fā)表的文章《計算機器與智能》中首次提出“圖靈測試”,用以測試機器的智能性。具體來講,面對同樣的問題,如果我們無法區(qū)分人和機器給出的答案,則認為該機器是智能的。“圖靈測試”一直沿用至今,依舊是測試機器是否智能的主要辦法之一,同時也是人工智能誕生的標志性事件之一。近日,由美國Open AI公司所研發(fā)的ChatGPT[1](Chat Generative Pre-trained Transformer)對話系統(tǒng)之所以使很多人為之驚嘆也可歸因于此。該對話系統(tǒng)通過學(xué)習(xí)和理解人類語言,結(jié)合上下文語境,可以像真正的人類一樣與我們對話交流,以至于人們很難辨別出是機器在與我們交談。

圖1 人工智能的繁榮期與低谷期示意圖

說到ChatGPT,不得不提到它的“孿生兄弟”InstructGPT[2]。Instruct GPT 模型采用人工反饋的方式結(jié)合強化學(xué)習(xí)對模型進行微調(diào) (Fine-Tuning),進而生成更符合人類預(yù)期的回答。與Instruct GPT不同的是,Chat GPT 所采用的數(shù)據(jù)采集方式不同。在ChatGPT 模型中,采用有監(jiān)督的微調(diào)來訓(xùn)練初始模型,人在其中同時扮演著用戶與AI助手的雙重角色,為訓(xùn)練器提供對話,并幫助機器撰寫高質(zhì)量的回復(fù)。Chat GPT 其實就是將這個新的對話集與InstructGPT 數(shù)據(jù)集相混合,并將其轉(zhuǎn)換成對話的格式。具體來講,Chat GPT 模型的訓(xùn)練過程主要包括三個步驟,如圖2所示。首先,從問題數(shù)據(jù)集中隨機抽取問題,并由標記者 (人)對問題進行標注給出高質(zhì)量的回復(fù),利用這些標注好的回復(fù)對GPT-3.5模型進行微調(diào),進而形成有監(jiān)督的微調(diào)模型(Supervised Fine-Tuning,SFT)。接下來訓(xùn)練獎勵模型(Reward Model),即由標記者 (人)對模型給出的多個不同的回復(fù)進行打分排序,根據(jù)排序結(jié)果訓(xùn)練獎勵模型。最后,從數(shù)據(jù)集中采樣一個新的問題,在有監(jiān)督的策略中對近端策略優(yōu)化 (Proximal Policy Optimization,PPO)模型[3]進行初始化并生成一個輸出結(jié)果,由獎勵模型對所輸出的結(jié)果進行獎勵值計算,隨后根據(jù)該獎勵值與PPO 模型對策略進行更新。重復(fù)迭代第二步與第三步,直至輸出更高質(zhì)量的ChatGPT 模型。更進一步地講,ChatGPT 之所以引起眾人的關(guān)注和追捧,主要歸因于其所引進的具有人類反饋功能的強化學(xué)習(xí) (Reinforcement Learning with Human Feedback,RLHF)算法[4][5],較好地解決了如何讓機器在與人的交互過程中可以生成越來越符合人類認知和需求的結(jié)果。

圖2 Chat GPT 模型訓(xùn)練步驟示意圖

從“圖靈測試”到ChatGPT 對話系統(tǒng)的出現(xiàn),如果說會計算、能計算是傳統(tǒng)人工智能的核心,那么新一代人工智能的核心就是“會學(xué)習(xí)”,以認知為學(xué)習(xí)的條件,以知識為學(xué)習(xí)的客體,以交互為學(xué)習(xí)的形態(tài),以理解為學(xué)習(xí)的核心,以記憶為學(xué)習(xí)的結(jié)果,讓機器在學(xué)習(xí)的過程中不斷解決新問題。可以說,機器學(xué)習(xí)(Machine Learning,ML)算法的進步直接關(guān)系到新一代人工智能的發(fā)展。李德毅院士將深度學(xué)習(xí)(Deep Learning,DL)[6]的機器學(xué)習(xí)算法作為傳統(tǒng)人工智能與新一代人工智能的分界嶺。

其實,從人工智能的三次崛起以及每次有突破性進展的重要事件,很容易看出人工智能的每一次崛起都依賴于算法的進步,更深一步地講,是依賴于機器學(xué)習(xí)算法的進步。說到機器學(xué)習(xí),是讓機器具有像人一樣的學(xué)習(xí)能力,例如,計算機視覺(Computer Vision,CV)[7]是為了讓機器模擬人的視覺能力,能夠“看”得懂。自然語言處理 (Natural Language Processing,NLP)[8]是為了讓機器具有文字處理能力,會“閱讀”,能“翻譯”。同樣的,計算機聽覺是為了模擬人聽的能力。語音識別 (Speech Recognition,SR)[9]模仿的是說的能力,機器人[10]可以模仿人的行為能力,人工情感[11]技術(shù)可以讓機器擁有情感的能力,計算美學(xué)[12]則可以讓機器具有審美能力等。而學(xué)習(xí)能力,是其他各種能力的基礎(chǔ)和核心。換句話說,機器只有擁有了學(xué)習(xí)能力才可能學(xué)會和掌握其他技能。如果我們把計算機視覺比作人工智能的眼睛,計算機聽覺比作人工智能的耳朵,機器學(xué)習(xí)則可以說是人工智能的大腦。

將人工智能第一次推向高潮的人工神經(jīng)網(wǎng)絡(luò)模型是深度學(xué)習(xí)模型的前身,是對人腦神經(jīng)元網(wǎng)絡(luò)的抽象模擬,網(wǎng)絡(luò)中的每一個節(jié)點 (神經(jīng)元)代表一種輸出函數(shù),連接節(jié)點之間的連線代表所連接節(jié)點的權(quán)重,如圖3 (a)所示,對于實際輸出的結(jié)果,與理想的輸出結(jié)果相比較,所產(chǎn)生的誤差反向傳輸反饋回模型并重新調(diào)整其中的各個權(quán)重值,直到實際輸出結(jié)果與理想結(jié)果的誤差在可接受的范圍之內(nèi),運算結(jié)束。深度學(xué)習(xí)模型在人工神經(jīng)網(wǎng)絡(luò)模型中加入若干層中間隱藏單元層,如圖3 (b)所示。簡單地說,深度學(xué)習(xí)就是通過組合低層特征來形成更為抽象的高層特征,比如分類問題等。層數(shù)越多,學(xué)習(xí)過程也就越精細,結(jié)果自然也就越準確,當然,其所需的訓(xùn)練數(shù)據(jù)量也遠遠超過人工神經(jīng)網(wǎng)絡(luò)模型,即深度學(xué)習(xí)需要超大量的訓(xùn)練數(shù)據(jù)來對模型進行訓(xùn)練。

圖3 人工神經(jīng)網(wǎng)絡(luò)模型與深度學(xué)習(xí)網(wǎng)絡(luò)模型示意圖

在眾多深度學(xué)習(xí)模型當中,除了卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)[13]、深度置信網(wǎng)絡(luò)(Deep Belief Network,DBN)[14]、生成式對抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)[15]等幾種常見的模型之外,當下最受人工智能領(lǐng)域歡迎的非轉(zhuǎn)化(Transformer)模型[16]莫屬,其延伸模型生成式預(yù)訓(xùn)練模型(Generative Pre-Training,GPT)[17]和BERT (Bidirectional Encoder Representations from Transformers)模型[18]也已經(jīng)廣泛地應(yīng)用于多個不同的領(lǐng)域。比如,Transformer模型在機器翻譯中的應(yīng)用,極好地發(fā)揮了編碼器與解碼器模塊的作用,使機器翻譯的精度較以往有了跨越式的提升。另外,Transformer模型不僅對文字對象有成功的應(yīng)用,在Text-to-image[19]、Text-to-video[20]以 及Textto-3D[21]模型等方面都有較為出色的表現(xiàn)。除此以外,近幾年還出現(xiàn)了大模型、擴散模型 (Diffusion Models,DFs)等新的、先進的機器學(xué)習(xí)模型,其在圖像生成領(lǐng)域也取得了前所未有的成果。其中擴散模型將生成過程按順序進行分解,可以通過添加引導(dǎo)機制來控制圖像的生成過程而無需再訓(xùn)練。比如,相比于早期的GAN 或者CAN (Creative Adversarial Network,CAN)模型[23]生成的圖像,專門用于Text-to-image圖像生成的Stable Diffusion模型[23]無論從細節(jié)性還是分辨率方面都表現(xiàn)出了其極大的優(yōu)勢。

其中,GPT 模型[17]在文字生成方面體現(xiàn)出了巨大的優(yōu)勢,該模型以現(xiàn)有的文學(xué)著作、教材,甚至網(wǎng)絡(luò)上的貼吧論壇、開源代碼等為訓(xùn)練數(shù)據(jù)進行模型的無監(jiān)督訓(xùn)練。從GPT-1 到GPT-3.5,GPT模型采用Transformer模型中的解碼器模塊,參數(shù)規(guī)模大幅度提高,模塊結(jié)構(gòu)不斷增加和調(diào)整,直到剛剛闖入我們生活的ChatGPT[1]模型,人們在許多情況下已經(jīng)很難辨別出這是機器生成的文字,在理解性與認知性方面的確有了很大程度的提升。大家也因此開始期待新的模型,同時對人工智能也充滿了憧憬。

當然,對于上述各種機器學(xué)習(xí)模型,既有其不可替代的優(yōu)勢,也有其客觀存在的問題。比如,深度學(xué)習(xí)在擁有準確率高、易于更新的優(yōu)點的同時,還有訓(xùn)練速度慢,所需求的訓(xùn)練數(shù)據(jù)量龐大,且預(yù)測內(nèi)容與訓(xùn)練數(shù)據(jù)內(nèi)容直接相關(guān)等缺點,魯棒性較弱。目前的模型依舊處于“魚和熊掌不可兼得”的狀態(tài),即在保證結(jié)果精度的同時,仍要犧牲巨大的訓(xùn)練時間和訓(xùn)練成本,這也的確是我們所面臨的實際問題。再比如,備受關(guān)注的ChatGPT 模型也存在對于未經(jīng)訓(xùn)練的內(nèi)容會給出婉轉(zhuǎn)的或者不正確的回答,對算力要求極高、復(fù)雜冗長或者特別專業(yè)的問題無法處理以及很難解決的“黑盒子”等問題。盡管如此,諸多機器學(xué)習(xí)算法給我們帶來的驚喜和價值是不容小覷的,也正是這些機器學(xué)習(xí)算法突飛猛進的發(fā)展才使得人工智能又一次邁向了繁榮的高峰。

電影作為技術(shù)與藝術(shù)的特殊共同體,無論是對電影本體的研究,還是電影藝術(shù)創(chuàng)作與制作過程中的底層算法研究,人工智能技術(shù)在其中越來越彰顯出其重要的作用和地位。尤其是近期隨著ChatGPT 大模型的出現(xiàn),更是讓我們對人工智能技術(shù)將會給未來電影發(fā)展所帶來的影響和作用產(chǎn)生了新的期待。

2 新時代的計量電影學(xué): 人工智能技術(shù)助力電影本體研究

說到電影本體研究,計量電影學(xué)[24]可以說是較早將計算和量化思維應(yīng)用到電影本體研究當中的一門學(xué)科?？v觀計量電影學(xué)從萌芽到誕生,再到今天,先后經(jīng)歷了手工計算、半自動計算和自動智能計算三個階段,這三個階段的變遷與計算機技術(shù)的發(fā)展息息相關(guān)。

計量電影學(xué)雛形的出現(xiàn)可以追溯到電影的膠片時代,電影研究者以量化的方式對影片的某些特征展開研究,從而對影片做出一個更加客觀和理性的評價與分析結(jié)果。電影學(xué)者查爾斯·奧布萊恩(Charles O'Brien)這樣評價計量電影學(xué):“計量電影學(xué)可以改變?nèi)藗儗τ陔娪敖Y(jié)構(gòu)的理解,而這本身為人們重新認識一部電影或一系列電影提供了強有力的刺激?！痹缭?912 年間,瑞福恩·斯特克頓(Reverend Dr.Stockton)就通過手工測量的方式對剪輯率進行計算,并根據(jù)剪輯率計算結(jié)果去判斷影片的節(jié)奏與風格,其目的是比較和評估“長的電影場景與短的電影場景的價值?！盵25]“他攜帶了一只秒表、一只袖珍計數(shù)器、一只電子閃光燈以及一個筆記本”,在紐約的一家電影院花了310個小時之久反復(fù)觀看影片,手工計算得出了試驗數(shù)據(jù)。從實驗心理學(xué)的角度講,如果沒有一只手表的話,人們是無法建立對時間長短的認知的。雨果·明斯特伯格作為一名實驗心理學(xué)家在1915年也進行了電影鏡頭平均長度的試驗。隨后,一些電影人又陸續(xù)對影片的平均鏡頭長度、鏡頭數(shù)量、鏡頭時長等進行量化,以具體、客觀的數(shù)據(jù)作為評價與研究的依據(jù)。1974年,英國學(xué)者巴瑞·索特公開發(fā)表文章《統(tǒng)計方法與導(dǎo)演風格研究》,計量電影學(xué)由此誕生。2005年,芝加哥大學(xué)的電影史學(xué)家尤里·齊維安 (Yuri Tsivian)與統(tǒng)計學(xué)家、計算機專家戈內(nèi)斯·賽維揚(Gunars Civjans)聯(lián)合創(chuàng)建了一個共享式在線影片測量與統(tǒng)計數(shù)據(jù)庫CINEMETRICS[24],如圖4 所示,與大家共享數(shù)據(jù)與分析結(jié)果。

圖4 CINEMETRICS界面示例圖

在計算機技術(shù)剛剛起步,甚至還沒有出現(xiàn)計算機的情況下,對電影鏡頭的度量只能通過手工測量的方式,來計算和分析每個鏡頭的長度以及鏡頭的變化節(jié)奏。然而,這種手動的方式持續(xù)了若干年,直到數(shù)字電影代替了膠片電影,大家依舊喜歡和習(xí)慣用這種手動的方式去測量和計算鏡頭的長度與節(jié)奏。隨著計算機視覺技術(shù)的進步,計算機科學(xué)家通過量化分析每一幀鏡頭畫面中的顏色、紋理、光流等特征,設(shè)計出了自動檢測電影鏡頭邊界、鏡頭切換方式以及鏡頭時長等的檢測和識別算法。隨著這些算法準確率的不斷提升,人們對鏡頭的分析也從手動轉(zhuǎn)變?yōu)榘胱詣?即手動+自動的方式,甚至完全交給計算機自動完成這些分析工作。這種分析效率的提高也是顯而易見的。

當然,時至今日,對電影本體的研究也不再局限于計量電影學(xué)中對色彩、鏡頭等電影風格的研究,而是擴展到對鏡頭內(nèi)容的理解與分析、對鏡頭畫面的美學(xué)與情感分析等更高層次的研究。目前的計算機視覺算法也足以能夠幫助和實現(xiàn)這些高級視覺的自動分析工作。

當前學(xué)校內(nèi)部質(zhì)量保證體系文本編制工作尚有跡可循，但后續(xù)“診斷與改進”抓手難覓， 如何“診”？如何“改”？既不能隔靴搔癢，也不能徒增大量工作，增加師生工作學(xué)習(xí)的壓力和負擔。

考慮到電影本體巨大數(shù)據(jù)量的計算問題,我們會采用“分而治之”、從微觀到宏觀的分析方法。從某一幀鏡頭畫面中的某個區(qū)域或事物,到整幀畫面的分析,從一幀鏡頭畫面到某一個鏡頭的分析,從一個鏡頭到一個場景的分析,從一個場景到一段故事情節(jié)的分析,以及從某段故事情節(jié)到整部影片的分析。分析過程也很好理解,抽象、提取出研究對象的各種特征,設(shè)計相應(yīng)的算法并編程實現(xiàn),這種量化的、計算性的分析思路在極大程度上可以提高對電影分析的效率,保證分析結(jié)果的客觀性。

舉個例子來看,在計算機視覺和深度學(xué)習(xí)算法的支持下,Flueckiger等人開發(fā)了一套用于半自動和自動分析電影美學(xué)和敘事的VIAN 視覺分析軟件[26],如圖5所示,形成了一套強有力的電影色彩理論和分析理念,將人的理解與數(shù)字方法結(jié)合起來,對電影色彩的風格、表達和敘事展開分析,探究電影色彩的美學(xué)與技術(shù)之間的關(guān)系,允許人們執(zhí)行一般意義的注釋任務(wù)和電影本體的數(shù)字分析,還可以靈活地應(yīng)用于其它具有不同電影分析主題的研究項目上。從微觀 (比如單個屏幕截圖甚至畫面中的某個前景或背景目標)到中觀 (某個鏡頭或某個場景),再到宏觀(整部影片及影片庫)的層次性的分析方式,不僅對不同層級的色彩美學(xué)進行了深入地分析和可視化,還將三個層次的分析結(jié)合起來。該軟件將人的注釋與視覺表達相關(guān)聯(lián),并將分析結(jié)果映射到一系列可以即時訪問和交互的視覺表現(xiàn)當中,極大地拓展了電影研究既定的、傳統(tǒng)的方法,也使得電影的分析更加客觀、細致和全面。

圖5 VIAN 視覺分析系統(tǒng)示意圖[26]

在電影風格研究中,除了色彩分析,景別也是體現(xiàn)影片風格的重要元素之一。針對于此,我們專門設(shè)計了電影鏡頭景別的識別方法[27],自動識別出每個鏡頭的景別類型,并對每種景別在影片中出現(xiàn)的頻率、時長等進行自動統(tǒng)計分析。我們用多部影片進行了測試,圖6為我們識別的結(jié)果示例,識別準確率達到85.24%。

圖6 景別識別結(jié)果示例圖

再比如,以往的鏡頭計算基本都采用人工手動標注的方式,面對海量的電影數(shù)據(jù),計算效率是其最主要的問題。針對這一問題,計算機視覺領(lǐng)域提出了很多關(guān)于自動檢測視頻鏡頭邊界的算法[28]。盡管此類算法在準確率上,尤其是針對諸如漸進、漸出、融合等鏡頭剪切方式的準確率低于人工的識別率,但人機合作的識別方式會大大提升鏡頭的計算效率。如圖7所示,為僅通過顏色特征設(shè)計的鏡頭邊界檢測方法得到的結(jié)果。

圖7 電影《了不起的蓋茨比》鏡頭檢測示例圖

如何將新的、更有效的人工智能算法應(yīng)用到對電影視覺、聽覺、敘事、美學(xué)以及情感的分析研究當中,也是當下以及未來電影研究需要思考的內(nèi)容和方向。

3 算法意識的培養(yǎng): 人工智能技術(shù)助力電影創(chuàng)作與制作

當下,國內(nèi)電影的制作大多還依賴于各種較為成熟的工具軟件的使用,比如常用的Maya、Nuke、3ds MAX 等。很少有制作團隊或人員去深入挖掘軟件背后的事情,即其各種算法和程序的支撐,這也導(dǎo)致了具體創(chuàng)作和制作過程中所面臨的種種瓶頸和難以解決的問題。面對這些非開源的軟件,我們無法針對在電影拍攝或制作過程中所遇到的具體問題進行二次開發(fā),去解決所遇到的實際問題。而如果從算法設(shè)計而非軟件應(yīng)用的角度出發(fā),具體問題具體分析,實際問題實際設(shè)計,想必在實際創(chuàng)作過程中所遇到的瓶頸和難題便會迎刃而解。當然,這也與國內(nèi)影視制作團隊的人員結(jié)構(gòu)有一定的關(guān)系,我們需要的不僅僅是電影藝術(shù)的創(chuàng)作人員,還有進行底層算法設(shè)計和開發(fā)的計算機專業(yè)人員。試想,當電影制作人員懂得算法設(shè)計、程序設(shè)計,可以因地制宜地進行電影制作,那么我們將會擁有一套符合中國電影特點和需求的制作流程和方法,讓我們的電影制作從模仿、應(yīng)用朝著開發(fā)、設(shè)計的方向發(fā)展。此方向雖仍面臨諸多困難,但可行且亟待解決。

再比如,影片《阿凡達》《阿麗塔:戰(zhàn)斗天使》的拍攝和制作過程中,導(dǎo)演卡梅隆為了捕捉到更為逼真的表情,將動作捕捉技術(shù)移植到了表情的捕捉,設(shè)計開發(fā)了一套頭戴式表情捕捉系統(tǒng),針對具體情況改進了現(xiàn)有的表情捕捉算法,很好地解決了以往所遇到的演員表情高精度采集的問題,如圖8所示。

目前,在計算機視覺領(lǐng)域有許多成熟先進的動作捕捉、摳像、表情捕捉、3D 建模、調(diào)色等各種影視制作過程中所需要的算法。我們需要一種新的影視創(chuàng)作與影視制作開發(fā)相結(jié)合的工作模式。

在電影創(chuàng)作過程中,盡管完全依賴人工智能實現(xiàn)創(chuàng)作過程是不可能,也不現(xiàn)實的,但人工智能技術(shù)可以通過自己的方法給創(chuàng)作者提供靈感和幫助。無論任何一種類型的藝術(shù)創(chuàng)作都源自于創(chuàng)作者豐富的情感表達,是創(chuàng)作者所積累的生活體驗和人生感悟。因此,情感是貫穿藝術(shù)創(chuàng)作始終的靈魂所在。而這種從無到有的靈感呈現(xiàn)是目前人工智能技術(shù)所無法實現(xiàn)的。鑒于此,我們也曾提出過人機協(xié)同的創(chuàng)作模式[29][30],即以人為中心、人機合作的人工智能方法,該方法通過人機交互的方式將人的認知引入人工智能系統(tǒng)當中,讓人的認知不斷指導(dǎo)和調(diào)整深度學(xué)習(xí)模型的參數(shù),進而讓生成的結(jié)果越來越接近人們的期待。人機協(xié)同的創(chuàng)作模式不僅可以充分地利用機器強大的運算與存儲能力,還可以很好地發(fā)揮人在藝術(shù)創(chuàng)作中的靈魂主導(dǎo)作用,是未來藝術(shù)創(chuàng)作方式的發(fā)展方向之一。

近年來,基于GAN、CAN、Stable Diffusion等深度學(xué)習(xí)模型的AI生成藝術(shù)形式的出現(xiàn)給電影創(chuàng)作帶來了新的可能,比如AI剪輯已經(jīng)很廣泛地應(yīng)用于許多視頻編輯軟件中,只要把視頻或圖像素材導(dǎo)入其中,即使你不懂剪輯,這些軟件也可以自動幫助你將這些素材剪輯成一段完整的影像,實現(xiàn)了一鍵剪輯。甚至,還有許多影視公司用這種方法自動生成電影宣傳片。通過這種智能方式剪輯生成的視頻遵循各種剪輯規(guī)則,并不會存在不合常規(guī)的問題。這種自動的、智能的剪輯方式還可以幫助人們從海量的素材中挑選出優(yōu)質(zhì)的素材。當然,真正電影級的剪輯工作,僅有剪輯的規(guī)則是遠遠不夠的。著名的電影剪輯師、北京電影學(xué)院導(dǎo)演系教授周新霞講到,剪輯師或者導(dǎo)演從粗剪到細剪,這當中不僅會遵循應(yīng)有的規(guī)則,就像作詩一樣,很多即時的靈感和剪輯方法是在剪輯過程中自然產(chǎn)生的,這不僅與剪輯師所經(jīng)歷的生活閱歷有關(guān)系,還與剪輯師當時的心情、情感狀態(tài)直接相關(guān),這是一種無法言表的東西。如果說要將人工智能剪輯用于電影剪輯的話,或許機器可以幫助我們做一些粗剪工作,素材過濾挑選工作,但無法做到像人一樣的剪輯,所剪出來的片子感染力也可想而知。我們也可以做一個測試,同樣的素材分別給人和機器進行剪輯,對比一下剪輯的結(jié)果會有怎樣的不同。同樣的道理,對于電影美術(shù)的創(chuàng)作、電影聲音的創(chuàng)作、電影攝影的創(chuàng)作一樣受用。

ChatGPT 強大的文本對話與生成能力引起了我們的創(chuàng)作興趣。筆者與其研究團隊嘗試著將《梁?！返墓适伦鳛檩斎?讓ChatGPT 以該故事為背景生成一段劇本文字。經(jīng)過多次與ChatGPT 溝通,告知其我們的需求,ChatGPT 最終生成一個三幕的《梁?！穭”?圖9為其生成的第一幕劇本文字。從劇本的格式規(guī)范上來說,不存在太大的問題,并且每次溝通之后所生成的結(jié)果也不盡相同,未來如果在訓(xùn)練模型中可以加入情感因子的影響和計算,由人來主導(dǎo)編劇的方向和主基調(diào),ChatGPT 或許會是編劇的好助手,大大提升編劇的效率。

圖9 Chat GPT 生成的《梁祝》劇本示例

再比如,當下比較流行的Text-to-image算法未來也會給電影分鏡頭畫面的生成帶來更多可能性。

如圖10所示,為電影《老無所依》從故事板腳本文字到分鏡頭畫面的生成。圖10 (a)為分鏡師J.Todd Anderson所創(chuàng)作繪制的[31],而圖10 (b)為三種開源的文本到圖像轉(zhuǎn)換 (Text-to-image)方法 (分 別 為 VQGAN+CLIP[32]、Stable Diffusion[33]和ERNIE-ViLG[35]方法)自動生成。Stable Diffusion 模 型、VQGAN+CLIP 模 型 以 及ERNIE-ViLG 模型均為比較新的文本到圖像轉(zhuǎn)換的計算模型,且在電影制作領(lǐng)域有相當大的應(yīng)用潛力。輸入文本“side angle-inside the truck cab over one man-as he gets in driver is hit in head”,對于劇本內(nèi)容的表達,圖10 (b)中的三種方法所生成的分鏡頭畫面的確可以較為準確地表達出其中的內(nèi)容。然而,當機器生成的結(jié)果與人創(chuàng)作的結(jié)果放在一起時,很顯然,圖10 (a)中的分鏡師所創(chuàng)作的分鏡頭畫面更能吸引我們的眼球,盡管是黑白的,依舊能夠給我們帶來心靈上、情感上的震撼和波瀾。很顯然,對于藝術(shù)創(chuàng)作而言,技術(shù)只作為支撐,更多的是創(chuàng)作者情感的表達來賦予作品更豐富的感染力。盡管人工智能技術(shù)無法替代藝術(shù)家的創(chuàng)作過程,但機器通過其驚人的運算和存儲能力所生成的結(jié)果無疑會給藝術(shù)家更多的靈感和啟發(fā)。

圖10 Text-to-image方法生成分鏡頭畫面示例圖

4 結(jié)語

在經(jīng)歷了長達近70年之久的起起落落之后,伴隨著機器學(xué)習(xí)算法的迭代與革新,人工智能再次迎來了跨越式的發(fā)展,其應(yīng)用領(lǐng)域也隨之愈發(fā)廣泛。今天,在Chat GPT 掀起了文本領(lǐng)域的新熱潮之后,AI生成圖像內(nèi)容 (Artificial Intelligence Generated Content,AIGC)的技術(shù)[35]在圖像與視頻領(lǐng)域也引起了廣泛的關(guān)注,Open AI同時也在研發(fā)ImageGPT 模型[36],對像素序列進行訓(xùn)練以生成高質(zhì)量的圖像內(nèi)容,未來交互式強化學(xué)習(xí)的新一代GPT 模型是否也可以在與人的交流過程中不斷學(xué)習(xí)到人對圖像的需求來生成更符合人類認知的圖像或視頻,開辟圖像或視頻生成領(lǐng)域的新模式,成為我們下一個期待的目標。

回顧電影自誕生至今的發(fā)展歷程,其每一次里程碑式的進步都離不開技術(shù)的支撐與推動。在今天,正值人工智能技術(shù)再次繁榮發(fā)展的新時代,人工智能技術(shù)勢必會再次將電影藝術(shù)推向一個新的發(fā)展階段,給電影研究、電影制作與創(chuàng)作帶來更多的可能與生機。尤其是在追逐高效的電影虛擬攝制技術(shù)日益火熱的背景之下,在線預(yù)覽、智能燈光、實時動作捕捉等各種自動化、智能化技術(shù)的融入無疑是錦上添花,也是勢在必行。近年來,風格遷移[37]、換臉減齡、智能語音合成,以及AI繪畫、AI剪輯、AI作曲等新的人工智能技術(shù)也都給電影視效、聲效的制作等方面注入了新鮮的血液。

另外,隨著人工智能逐漸發(fā)展成一個較為完整的學(xué)科領(lǐng)域,不少大學(xué)成立了人工智能學(xué)院,很多研究所專門成立了人工智能、智能計算實驗室等,這也正是當今的電影學(xué)院、電影研究領(lǐng)域所亟需的。?