孫見昕

中影動畫產(chǎn)業(yè)有限公司，北京 101400

1 引言

電影是科技和藝術高度融合的產(chǎn)物。隨著計算機技術不斷革新，人工智能（AI）在電影行業(yè)的應用正逐漸深入到電影創(chuàng)作、后期制作、營銷推廣等各個領域。從節(jié)約時間和成本到提高工作效率和質量，再到深入分析受眾群體和市場趨勢，人工智能可以為電影制作提供全方位的支持和幫助。

2 人工智能在電影攝制中的應用

2.1 前期準備階段

電影的前期準備階段是奠定電影基礎的重要環(huán)節(jié)，是確定電影創(chuàng)作基調(diào)以及影片風格的決定性環(huán)節(jié)。人工智能在此環(huán)節(jié)的主要作用是輔助創(chuàng)作和方案生成。

2.2 前期開發(fā)階段

通過分析電影市場和觀眾偏好的數(shù)據(jù)進行計算，人工智能能夠預測哪些電影類型可能更受歡迎、票房收入會更高，并指導他制片方選擇更適合的電影概念和創(chuàng)意方向。美劇《紙牌屋》的成功并非偶然。2013 年奈飛（Netflix）利用AI 技術搜集并分析用戶的收視選擇、評論、瀏覽習慣后，發(fā)現(xiàn)喜歡關鍵詞為“大衛(wèi)·芬奇”和“凱文·史派西”的用戶存在交集，于是決定買下《紙牌屋》的版權，并選定大衛(wèi)·芬奇擔任導演，凱文·史派西擔當男主角?！都埮莆荨飞霞苤笱杆俪蔀槟物w有史以來觀看量最高的劇集之一。該平臺其他項目如《女子監(jiān)獄》《怪奇物語》等，都采用了類似的測算流程。

2.3 劇本編寫階段

在劇本編寫階段，AI 可以輔助編劇生成創(chuàng)意和故事概念，并根據(jù)電影風格提供一些指導性建議，以幫助他們快速生成高質量的劇本。AI 在劇本創(chuàng)作中的應用主要有兩種：自動劇本生成和劇本智能編輯。前者是通過大語言模型生成新劇本，以OpenAI 公司的ChatGPT、百度文心一言等多模態(tài)大語言模型為代表，而后者是通過自然語言處理（NLP）技術對已有劇本進行分析并進行多層級的智能編輯和修改（圖1），以谷歌Dramatron 語言模型系統(tǒng)[1]為代表。Dramatron系統(tǒng)根據(jù)編劇提供的劇本摘要進行分層，分為劇本標題層、角色層、情節(jié)層、場景層等，之后生成整個劇本。編劇可以在分層生成的任何階段利用提示詞（Prompt）對生成結果進行調(diào)節(jié)，以實現(xiàn)編劇和AI 共同編寫劇本。自動劇本生成是一種基于Transformer的多模態(tài)大模型技術，其核心在于多維度數(shù)據(jù)的深度學習算法。這種技術需要使用大量的數(shù)據(jù)作為輸入，并對數(shù)據(jù)進行清洗以及編碼，設定學習目標和模型結構、訓練模型，通過提示詞生成全新的劇本內(nèi)容。劇本智能編輯技術則是一種自然語言模型技術，它可以生成劇本，也可以對已有的劇本進行智能編輯和修改。通過自動檢測和修復劇本中的錯誤，優(yōu)化劇本結構和情節(jié)，接收編劇的指令與編劇共同完成劇本。類似的劇本編輯系統(tǒng)還有ScriptBook 公司開發(fā)的DeepStory 劇本創(chuàng)作系統(tǒng)。

2.4 角色設計和演員選擇階段

通過分析演員的表演能力、人氣、流量、粉絲活躍程度、市場價值等多個指標，AI 可以幫助電影公司更加準確地選擇演員。通過采集演員的表演歷史和作品，評估其表演能力和風格，從而找到最適合某個角色的演員。分析社交媒體和短視頻平臺上的演員熱度和關注度以及粉絲的活躍程度，幫助電影公司更好地把握市場需求，選擇更具市場潛力的演員。電影角色可以通過智能圖像技術提前進行虛擬試鏡，運用該技術還可對每個演員的表演進行分析和比較。根據(jù)虛擬試鏡的結果，綜合流量、人氣等數(shù)據(jù)，選擇最適合的演員（圖2）。

圖2 智能角色設計和演員選擇流程圖

Cinelytic 平臺的TalentScoresTM能夠基于電影人才（歐美市場）分析功能對演員的商業(yè)利潤標準進行分析并給出排名，以便電影公司根據(jù)排名選擇商業(yè)價值高的演員（圖3）。國內(nèi)貓眼平臺和燈塔平臺也陸續(xù)跟進這一功能。

圖3 Cinelytic 平臺TalentScoresTM電影人才分析排名頁面[2]

圖4 Stable Diffusion 通過提示詞生成圖片流程圖

2.5 美術設計階段

2014 年，人工智能生成式對抗網(wǎng)絡（GAN）技術產(chǎn)生，原理是通過兩個神經(jīng)網(wǎng)絡相互競爭來產(chǎn)生圖像。運用這項技術生成的藝術作品《埃德蒙·貝拉米的肖像》在2018 年佳士得拍賣會上以43.25 萬美元的價格售出。CompVis 和Runway 團隊于2021 年12月提出潛在擴散模型（Latent Diffusion Model，LDM），運用該模型生成的繪畫作品《太空歌劇院》,一舉獲得2022 年8 月美國科羅拉多州博覽會美術比賽第一名,這一事件在業(yè)內(nèi)外引起了廣泛關注和熱烈討論，進一步推動了AI繪畫的開發(fā)和應用熱潮。

訓練大模型需要大量的時間和金錢成本，對于電影劇組而言，以少量數(shù)據(jù)快速訓練成為一種迫切的需求。LoRA（Low-Rank Adaptation）模型是一種輕量化微調(diào)（Parameter-Efficient Fine-Tuning,PEFT）模型，可以通過低秩矩陣（Low-Rank Matrix）的方式完成短時間訓練成型，LoRA 模型參數(shù)不會破壞大模型的數(shù)據(jù)，通過參數(shù)注入的方式調(diào)整模型的生成風格從而生成圖片。簡單文本輸入無法滿足美術部門對構圖和畫面精準控制需求，PEFT 微調(diào)模型Control-Net[3]控制network block 的輸入條件，使得生成圖像更加可控，從而實現(xiàn)了線稿上色、風格遷移、局部重繪等諸多實用功能（圖5）。這類微調(diào)模型的出現(xiàn)使得可控圖像生成領域得到進一步發(fā)展。

圖5 基于ControlNet 微調(diào)技術，通過輸入線稿引導擴散模型生成不同風格的圖像

2.6 中期拍攝階段

電影拍攝是個復雜的過程，其中不乏重復且枯燥，但不得不做的環(huán)節(jié)。AI 技術已能從多方面輔助人員從這些事務中解脫出來，得以更專注于電影創(chuàng)作本身，進而提高電影的拍攝效率和質量。

(1)制定拍攝計劃及拍攝方案：根據(jù)劇本和美術設計生成拍攝計劃和拍攝方案，包括攝影機的擺放和移動位置、攝影師的拍攝角度和光線選擇、場面調(diào)度、演員走位等。

(2)攝影技術優(yōu)化：攝影優(yōu)化目前廣泛應用于智能手機、微單、短視頻創(chuàng)作等領域。在電影長片攝影中這些技術多用于輔助拍攝，如智能對焦、智能色彩校正和圖像穩(wěn)定等方面的技術?，F(xiàn)階段AI在此領域無法完全替代人工操作。

(3)攝制現(xiàn)場監(jiān)測：視頻監(jiān)測技術廣泛應用于安防監(jiān)控、流量監(jiān)控、自動駕駛等領域。但目前在電影攝制領域，這項技術仍處于探索階段。谷歌公司開發(fā)的MediaPipe Solutions 是基于預訓練的TensorFlow Lite（TFLite）模型，能夠實現(xiàn)攝像機感知、視頻目標監(jiān)測（圖6）等功能。

圖6 基于MediaPipe Solutions 的攝制現(xiàn)場目標監(jiān)測

(4)面部識別和跟蹤：使用MediaPipe Face Mesh結合OpenCV 進行人體面部實時計算生成面部的3D拓撲結構，其計算過程采用機器學習(ML)來推斷這個3D 結構表面點的空間位置（XYZ），從而形成動態(tài)幾何體動畫，輸出幾何體動畫數(shù)據(jù)得以驅動三維CG角色（圖7）。該方案在整個數(shù)據(jù)計算過程可以利用輕模型架構和GPU 加速，做到實時輸出有效數(shù)據(jù)。目前該項技術的精度和穩(wěn)定性不足以生成直接可用的電影級別數(shù)據(jù)，不過其意義在于可以在現(xiàn)場實時驅動用于電影預演（Previz)、預拍攝等環(huán)節(jié)的虛擬數(shù)字人角色。

圖7 通過MediaPipe Face Mesh 進行面部識別,并根據(jù)相應數(shù)據(jù)驅動三維CG 角色

(5)動作捕捉：傳統(tǒng)的動作捕捉技術是通過身體佩戴傳感器(慣性捕捉）或者身上粘貼反光點（光學捕捉）的方式，利用終端接收傳感器信號或者光點信號進行匹配三維角色以完成動作捕捉工作。傳統(tǒng)動作捕捉流程對場地和設備都有一定要求，而人體姿態(tài)估計技術可以只利用一個攝像頭或者一段視頻，通過一個輕量級的卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）架構實現(xiàn)身體姿態(tài)實時追蹤(圖8）。盡管目前通過這種方式獲得的動作捕捉精確度無法達到光學捕捉的程度，但在遮擋物體不多的情況下，其精度接近慣性動作捕捉。由于電影預演環(huán)節(jié)對動作的精準度和流暢度要求只需達到對后續(xù)現(xiàn)場拍攝有一定的動作參考作用即可，因此身體姿態(tài)實時追蹤技術可應用于電影預演環(huán)節(jié)。

圖8 基于MediaPipe BlazePose 動作捕捉數(shù)據(jù)生成不同風格的AIGC 角色

(6)素材歸檔分類：利用圖像分割模型(Segment Anything Model，SAM)識別技術實現(xiàn)拍攝素材自動分類和歸檔，提高后期制作效率（圖9）。

圖9 通過SAM 模型對畫面進行分割[4]

2.7 電影視效制作階段

(1)視覺效果合成:通過自動識別、分類、匹配等算法來進行自動合成和處理，實現(xiàn)智能摳像、擦除威亞、更換背景、物體追蹤、物體移除（圖10）等工作，有效提升后期合成效率。

圖10 后期調(diào)色軟件DaVinci Resolve 物體移除效果[5]

(2)生成特效:目前通過人工智能生成內(nèi)容（AIGC）獲得的特效精度和動態(tài)尚未達到電影級別，但可用于電影預演的部分工作，包括示意特效位置、大小、動態(tài)等信息。例如，根據(jù)提示詞或者提示畫面直接生成天氣變化、物理碎裂、爆炸（圖11）等特效視頻。

圖11 通過Runway 的Gen-2模型生成一段連貫的爆炸視頻[6]

(3)畫面修復和上色:人工智能可輔助修復視頻素材中的瑕疵問題，如面部修復、去壞點、去噪點等?；谏墒綄咕W(wǎng)絡（GAN）技術廣泛應用于老電影的修復工作（圖12），《紅日》《開國大典》《決勝時刻》《永不消逝的電波》等多部經(jīng)典老電影經(jīng)過AI修復后得以重映。

圖12 通過生成式對抗網(wǎng)絡對電影《紅日》黑白畫面進行上色測試截圖

(4)三維建模:通過提示詞或者提示畫面生成虛擬角色和場景，從而減少三維制作環(huán)節(jié)的工作量和時間成本。在一些歷史題材的電影中，AI 能夠通過分析歷史資料和文獻，自動生成符合歷史風貌的三維場景。目前基于AIGC 生成的場景模型大多面臨布線和精度的問題，還是需要人工重新進行拓撲并增加細節(jié)以滿足電影標準。

(5)換臉技術：使用深度學習算法在視頻中生成逼真的人臉交換。在影片《愛爾蘭人》《流浪地球2》中用于改變演員面部以達到改變年齡的效果。

2.8 聲音創(chuàng)作制作方面

1957 年，列哈倫·希勒用計算機寫出的弦樂四重奏《伊利亞克組曲》；20 世紀80 年代大衛(wèi)·庫佩開發(fā)了能模仿巴赫音樂風格的作曲程序音樂智能實驗（Experiments in Musical Intelligence，EMI）；到20 世紀90 年代，運用神經(jīng)網(wǎng)絡學習模式進行和聲生成的Musact 系統(tǒng)被開發(fā)出來[7]。受限于當時高昂的研發(fā)成本，加上當時商業(yè)上沒有成熟的運營模式，在之后很長一段時間內(nèi)各國對AI 技術的投入逐漸收緊，導致AI技術沒有取得重大突破。

互聯(lián)網(wǎng)時代的到來使得數(shù)據(jù)規(guī)模急速膨脹，通用圖形處理器（Graphics Processing Unit，GPU）、張量處理器（Tensor Processing Unit，TPU）等算力硬件設備的性能得到大大提升，為AIGC 的快速發(fā)展奠定了基礎。2014 年，深度學習算法的提出以及互聯(lián)網(wǎng)的海量可用數(shù)據(jù)，促使AIGC 快速發(fā)展時代的到來。音樂領域基于深度學習技術的AIGC 系統(tǒng)百花齊放，可以根據(jù)提示詞和圖片自動生成音樂和音效的AIVA、MusicLM、Jukebox，此外結合卷積神經(jīng)網(wǎng)絡（CNN）和長短期記憶網(wǎng)絡（LSTM）技術的AutoFoley，可以實現(xiàn)從無聲視頻生成擬音音效和音樂。除了對音樂和音效的直接生成，目前還有智能降噪、人聲提取、音色轉換（“AI孫燕姿”所使用的So-VITS-SVC 技術）等，被廣泛應用于聲音的創(chuàng)作生產(chǎn)中。

2.9 電影視頻剪輯方面

(1)視頻標注：使用圖像和文本分割技術來標注或分類視頻。例如，通過視頻識別出現(xiàn)的物體、場景和人物等元素，將視頻分類為不同的主題和類型并為它們添加標簽和描述，提高剪輯師對素材的搜索和瀏覽效率。

(2)智能剪輯：根據(jù)用戶輸入的提示詞或者文案腳本，自動抓取視頻素材并匹配相應的音樂，完成一段視頻的剪輯制作。目前抖音推出的剪映、Adobe 推出的Firefly 均提供智能剪輯服務。2016 年，科幻片《摩根》（Morgan）成為全球第一部由AI 剪輯完成的電影預告片。智能剪輯目前廣泛應用于短視頻、宣傳片等的創(chuàng)作，但現(xiàn)階段智能剪輯在電影長片的應用還處于探索階段。

3 人工智能在電影制片中的應用

現(xiàn)今電影拍攝逐漸成為新技術的高度融合體，電影工業(yè)化也是業(yè)內(nèi)外的熱點話題之一，拍攝現(xiàn)場利用運動控制系統(tǒng)（Motion Control System，MoCo）、無人機等設備進行拍攝，視效團隊也使用先進的技術制作令人驚嘆的視覺效果。人工智能生產(chǎn)管理[8]被廣泛應用于工業(yè)生產(chǎn)中并發(fā)揮著越來越重要的作用，但由于尚處于探索和嘗試階段，其在電影制片管理的應用并不多。

(1)預算分配優(yōu)化：通過分析數(shù)據(jù)[9]、預測模型，人工智能幫助制片公司更加準確地預測電影制作過程中的成本和時間，并根據(jù)各個部門的需求和工作量，優(yōu)化預算分配，確保每個環(huán)節(jié)獲得適當?shù)馁Y源。

(2)風險評估：通過對數(shù)據(jù)和相關因素分析，對可能出現(xiàn)的風險進行預測和評估，并提前制定相應的預算措施，降低制片風險。

(3)物料采購管理：電影制作需要大量的物料采購，人工智能可以幫助制片公司根據(jù)預算和需求，分析、優(yōu)化并跟進物料采購計劃，以確保如服裝、道具、特效材料等物料的質量和數(shù)量。

(4)進度跟進管理：通過智能化進度管理系統(tǒng)，實現(xiàn)電影制作項目的計劃、進度跟蹤、資源調(diào)度等方面的全流程自動化管理，以期更好地控制和協(xié)調(diào)制作進度。

(5)人員管理：優(yōu)化人員管理，包括招聘、考核、培訓等方面，提高人員效率，控制項目成本。

(6)在線審片：智能在線審片系統(tǒng)實現(xiàn)了自動化管理電影的審片流程和評審結果，確保審片過程的公正性。

目前如ScriptBook、Cinelytic、Merlin 等基于AI 的影視服務公司均提供智能制片服務。此外，華納兄弟（Warner Bros.）、20 世紀影業(yè)（20th Century Studios）、奈飛（Netflix）等影視公司也正在嘗試使用AI輔助制片工作。

4 人工智能在電影發(fā)行放映中的應用

移動設備逐漸成為大眾獲取信息的主要渠道，觀眾觀看電影的習慣隨之發(fā)生改變，更多的人選擇通過視頻平臺、流媒體等移動端觀影。觀看方式的改變致使電影制片公司和電影院不得不調(diào)整商業(yè)模式和宣發(fā)策略。在這個新的市場環(huán)境中，制片公司和發(fā)行商需要更好地了解受眾喜好，并制定相應的宣發(fā)策略。影片《八角籠中》宣發(fā)團隊利用AI模型分析并最終選擇將短視頻和社交媒體平臺作為宣發(fā)的“主戰(zhàn)場”，根據(jù)社交媒體和短視頻平臺的觀眾行為及數(shù)據(jù)進行有效分析，同時按照觀眾喜好制作宣發(fā)物料，并進行相應的精準投放[10]。根據(jù)物料投放的實際效果和有效數(shù)據(jù)，實時調(diào)整宣發(fā)策略，使得影片的宣傳視頻多次登上各平臺的熱門榜，圍繞影片的相關話題也持續(xù)發(fā)酵，進而吸引大批觀眾進入影院觀影，使得影片票房理想。

發(fā)行公司還可以通過人工智能所分析的數(shù)據(jù)，預測電影在不同地區(qū)的票房收入以及觀眾對電影的口碑反饋，從而助力制定匹配的市場策略，包括宣傳時間、放映周期、排片場次等。例如，AI 分析顯示某個地區(qū)的觀眾對恐怖電影的喜愛度很高，那么就可以將該地區(qū)的放映影片類型調(diào)整為恐怖類電影，從而提高影院相應時段的票房收入。

智能化影院票務和座位分配系統(tǒng)，是為確保觀眾能夠獲得最佳的觀影體驗，影院可以根據(jù)觀眾的偏好和歷史購票記錄，通過AI預測觀眾選座需求，從而制定最佳的座位分配方案。

5 面臨的挑戰(zhàn)和不確定性

人工智能為電影制作、發(fā)行、放映帶來了巨大的機遇。通過自動化、高效能的流程應用和數(shù)據(jù)分析技術，更快地生產(chǎn)出高質量影片，更好地滿足觀眾的需求，匹配投資者利益。但同時也會帶來一定的風險和挑戰(zhàn)。

（1）技術限制：雖然AI可以輔助電影制作中的許多流程，但這些大多應用于機械性、重復性的工作環(huán)節(jié)，而在關鍵創(chuàng)意環(huán)節(jié)，AI 仍無法完全替代人類。如導演、攝影師、演員、作曲家等創(chuàng)造性崗位，目前難以通過算法替代。

（2）成本限制：訓練和優(yōu)化大模型需要大量的計算資源，時間成本高昂。電影的制作周期及預算通常比較緊張，在有限的時間內(nèi)完成模型的訓練和優(yōu)化，也會給制作團隊帶來額外的壓力和成本。

（3）降低電影創(chuàng)作水平：智能技術的發(fā)展及廣泛應用可能會導致電影作品逐漸缺乏獨特性和藝術性，降低行業(yè)的創(chuàng)作水平和作品價值。AI 并不具備人類藝術家的思考能力和表現(xiàn)能力，目前的智能系統(tǒng)只能通過學習現(xiàn)有的數(shù)據(jù)和算法，從中提取規(guī)律和模式，進行推理和決策。過度依賴AI 可能會降低人類創(chuàng)作的參與度，進而影響行業(yè)創(chuàng)造力、想象力。智能分析和預測電影的時候，AI 往往只選擇那些有可能獲得高回報的電影進行制作，長久下去這可能會影響到電影制作的多樣性和藝術性。

（4）決策可信度：目前主流的AI大多基于深度學習算法，這種算法具有不可解釋性的特點（圖13），深度學習神經(jīng)網(wǎng)絡分為三層：輸入層、隱藏層、輸出層。隱藏層中的每一個節(jié)點就是一個神經(jīng)元，神經(jīng)元在學習過程中自主選擇對應參數(shù)的特征。這些參數(shù)的具體含義不是人為設計的，即使開發(fā)者了解智能神經(jīng)網(wǎng)絡的結構和訓練數(shù)據(jù)，也無法解釋為什么它會給出特定的結果或決策以致預測很可能不會被采納。

圖13 深度學習神經(jīng)網(wǎng)絡結構示意圖

（5)管理邊界：AI 的計算過程并非完全由人類控制，存在一定的自主決策能力。這些決策可能會產(chǎn)生不利影響，如何讓人工智能承擔決策的責任，以及如何劃分AI 的管理邊界是一個需要思考和解決的問題。

（6)數(shù)據(jù)隱私和信息安全風險：在電影行業(yè)中，AI涉及到的數(shù)據(jù)包括劇本、演職人員的個人信息、財務記錄、拍攝地點和安全措施等敏感信息。如果這些信息被泄露或遭到黑客攻擊，可能會給行業(yè)內(nèi)參與單位、人員等帶來巨大的損失。

（7)產(chǎn)生不公平和歧視：盡管當前的人工智能并不能理解歧視和偏見等概念，但基于數(shù)據(jù)收集的方式、數(shù)據(jù)樣本的不平衡，以及數(shù)據(jù)標注者的主觀觀點等因素，在現(xiàn)實世界應用AI 仍可能產(chǎn)生不公平的結果，也可能會對某些群體造成不利影響。

（8)著作權歸屬問題：雖然各國正在積極制定人工智能相關法律法規(guī)，但目前AIGC 作品著作權的歸屬問題仍存在一定爭議。

（9)對就業(yè)的影響：通過深度學習、機器學習等技術，AI 可以更快、更準確地完成簡單、重復性工作，一些傳統(tǒng)的勞動密集型工作可能會被自動化和機器人取代，進而對就業(yè)市場產(chǎn)生一定影響。美國編劇工會（WGA）自2023 年5 月開始罷工；2023 年7 月，美國演員工會（SAG-AFTRA）宣布罷工。AI 可能取代電影從業(yè)者的威脅成為本輪罷工的主要原因之一，這是自1960 年以來的好萊塢首次編劇和演員工會同時罷工。

6 結語

人工智能對電影行業(yè)的影響是一個復雜而多維的問題，需要從技術、商業(yè)、文化等多個角度進行思考和研究。2023 年7 月13 日，國家網(wǎng)信辦聯(lián)合國家發(fā)展改革委、教育部、科技部、工業(yè)和信息化部、公安部、廣電總局公布《生成式人工智能服務管理暫行辦法》[11]，該辦法的出臺是國家促進AI 產(chǎn)業(yè)在我國發(fā)展的清晰信號，可以預見未來AI 技術在中國影視行業(yè)將會取得長足的發(fā)展。當前，電影制作公司和從業(yè)者需要在技術發(fā)展和商業(yè)變革中保持冷靜客觀的思考和適應能力，在保持創(chuàng)意性、人性化的前提下充分利用AI 的優(yōu)勢輔助影片的創(chuàng)作和生產(chǎn)，電影本身仍然需要內(nèi)容、藝術以及觀眾的共鳴，這些關鍵因素是無法完全由算法和數(shù)據(jù)取代的。