細數那些在機房熬大夜的職業,后期剪輯一定榜上有名,有人甚至夸張的說,后期剪輯、程序員與設計是三大「禿頭」職業。

傳統剪輯工作確實是比較繁瑣又熬人的過程,前期素材的初篩、整理、成片粗剪素材的選擇、精簡時長……每一環節都耗時很久,可以說滿是痛點,如何縮減后期剪輯的制作時間,提高剪輯效率,降低剪輯工作的門檻,給了AI技術工作者們廣闊的研究空間。

2023年,IBM Watson在剪輯師的輔助下,制作了全球第一支「AI認知電影預告片」《Morgan》,歷經三年多的發展,AI在視頻剪輯領域的工作比重越來越大,它簡化了短視頻的制作過程,又縮減了長視頻的后期剪輯時間,這一大趨勢下,許多文章紛紛以「又一個職業將會被AI取代」等結論性標題介紹AI視頻剪輯,剪輯師真的會被取代嗎?AI目前都承擔著后期剪輯中的哪些工作?是被取代還是被AI拯救呢?

帶著這些疑問,筆者分別查閱了AI在短視頻與長視頻兩個不同維度內容產品中擔任的剪輯工作,在本文中梳理了其在后期剪輯領域的應用,并以此分析討論AI若想取代剪輯師,路有多遙遠。

 短視頻,玩轉套路,

 自動生成

短視頻蓬勃發展的背后功臣之一便是AI剪輯,無論是各類智能剪輯App還是線上剪輯程序,讓短視頻剪輯如做ppt和上網一樣便捷,將繁瑣過程簡單化,降低了視頻制作的技術要求,這一轉變大大提升了短視頻平臺的視頻內容分享數量。這一過程不禁讓筆者想到智能手機普及后社交網絡平臺的繁榮和自拍桿的全球風靡。

智能手機縮短了用戶從拍照到上傳SNS平臺分享照片的整體流程,回想一下自拍桿剛誕生的80年代,使用相機自拍后,將膠卷送去沖洗店沖印,再將照片放入照片集中,方才可以分享給朋友。這一繁瑣的過程如今由智能手機上的社交App便可一步完成。

同理短視頻制作,以前由Final Cut和Premiere Pro等專業軟件才可完成的剪輯工作,在AI入住后期剪輯后,已簡化為App或智能剪輯平臺可自動生成的內容,簡便的操作無疑是短視頻分享用戶急速竄升的功臣之一。

AI目前在短視頻領域的創作主要可分為兩大類,其一是制作固定模式的短視頻;其二為精彩集錦與預告片的剪輯制作。

在固定模式的短視頻制作中,繼2023年雙11「魯班制圖」AI 1分鐘內制作8000張海報后,2023年雙11,阿里巴巴又帶來了「黑科技」,「Alibaba Wood」商品展示短視頻制作AI,它在1分鐘內可制作200個商品展示短視頻。

它是由浙大與阿里團隊共同孵化,可自動獲取并分析淘寶、天貓等平臺已有的商品詳情,并根據商品風格、賣點等進行短視頻敘事鏡頭組合,梳理故事主線,還會推薦或生成匹配商品風格的背景音樂片段。

也同樣在去年年末,12月26日,新華社發布了中國第一個短視頻智能生產平臺「MAGIC媒體大腦」,平臺上設置了多個智能模板,覆蓋時政新聞、突發事件、體育賽事、時尚娛樂等多個場景和領域,它可在6秒鐘完成一條新聞短視頻的制作,完成后還會自行分發至不同的平臺。

由此可見,在模式較為固定和規整的短視頻制作領域,相較于剪輯,受眾對于該類短視頻內容更為關注,我們可稱為「模板式」短視頻,AI已可自主高效的制作用戶所喜歡的短視頻內容,大規模的釋放了原來該領域短視頻制作的人力。

在UCG領域,也有可自動編輯制作視頻的智能App與平臺,以「Magisto」為例,選擇編輯式樣、添加素材、選擇音樂三個步驟,該App即可在幾分鐘之內創建用戶視頻,還可根據視頻主題推薦配樂。

AI亦可以獨立根據文字內容創作短視頻,以「會上網就會剪輯」為口號的「智影」平臺,通過一篇文章、一個鏈接或一個關鍵詞,便可在平臺已有的圖片和視頻素材中進行自動匹配,快速合成短視頻。

從長視頻中選擇片段進行精彩集錦與預告片的制作,可以說是AI最早在后期剪輯中應用的。上文提到的《Morgan》預告片,IBM Watson「觀看」100部經典恐怖電影,分析學習了這些電影的場景、對話、轉折、視覺變化、音頻變化、人物反應等內容,掌握了這些片段對應的人類情感反應,在此基礎上從《Morgan》影片的成片中,自行選擇出讓觀眾屏息凝神、嘆為觀止的內容編輯成預告片。

2023年世界杯賽場,AI亦向我們展示了其制作精彩集錦的能力,如CCTV-5手機端的精彩錦集內容全部由「快影」生成,它可在每場比賽結束后3-5分鐘內生成10分鐘的全場視頻集錦,將剪輯效率提升了10倍。

今年7月Netflix宣布與加州洛斯加托斯公司合作,探索AI批量生產電影預告片,以形成預告片的規劃化與個性化制作模式。

長視頻,極佳助手,

 協同合作

與短視頻內容本身的重要性大于剪輯不同,長視頻內容產品對剪輯技巧要求較高,無論是綜藝節目還是影視劇,都不能歸類為「模式化」視頻或肢體動作可判斷內容優劣的視頻,不可是簡單的內容疊加,而是運用邏輯思維與創意思維編輯而生的作品,正因如此,長視頻的后期環節會直接影響作品的成敗,業界普遍認為節目與影視內容產品前期與后期的貢獻比是五五,甚至有人夸張的認為是三七,剪輯優秀才是作品成功的關鍵。

那AI可以自主生成綜藝節目與影視劇嗎?

答案在現階段是否定的。

就目前AI的發展水平而言,業界普遍認為,AI在制作視頻內容時并不能真的理解其中的情緒,它們大多是通過情感抽象標簽來識別,如在主角二人是否相愛的判斷中,AI不能真的理解愛情,僅是通過微笑、擁抱、接吻等標簽來識別,AI目前的情緒識別主要圍繞表情、聲音和臺詞的識別,對于那些無法抽象的情感或需結合上下環境才可理解其真正含義的情緒,AI的路還有很遠。

但縱觀整個綜藝和影視劇后期制作的過程,其中包括大量操作簡單、重復率高且繁重的基礎性、如合板、去除廢片、識別精彩鏡頭、配字幕等,往往占據著剪輯師相當多的時間,這對于適合模板式工作的AI來說,無疑有著巨大的發展空間。

從前期的素材處理上,AI可以自動過濾篩選出虛焦等「廢片」,還可通過攝影機時間碼識別素材,在1小時內完成不同機位素材內容的合版。用傳統的人工進行合板,大概需要6個人同時合板、用時1到1.5天才能完成。

而AI可在1小時內完成所有素材的合板,且精度達到95% 0幀差,5%有1-2幀偏差,節省1.5天的工作時間,合板人力成本節約100%。

在扒詞方面,運用聲紋識別、語音識別、語音分割技術,音頻可自動轉換為文字內容,后續只需人工負責校對,使得扒唱詞環節的工作效率提升了80%。 

此外,AI可幫助后期進行海量的視頻和音頻素材入庫、整理及標注,實現素材快速分類,建立內容標簽,以及實現素材的多維度復合檢索,在人臉識別、表情識別、手勢識別、動作識別技術的幫助下,剪輯師可以快速檢索人物、時間段、表情、手勢等信息,進而找到所需要的素材。AI還可自動選擇通過收視曲線峰值分析了解到易引起受眾關注的內容,識別高能內容。

據數據初步計算,相較于傳統視頻剪輯,AI工作成本僅為人工的千分之三,剪輯速度則是人類的四十倍。剪輯師在AI的助力下從機房熬夜的工作現狀中逃離不再是夢。

除此之外,對于粉絲最愛的明星向cut視頻,愛奇藝「Starworks」可在1分鐘內完成「只看TA」的cut生成,原來需如大海撈針般人工按幀搜索愛豆鏡頭才能完成的視頻,如今可由AI直接替代剪輯。

最后,綜合AI 在短視頻與長視頻領域的應用,我們不難發現,現階段AI剪輯工作的機器學習依靠的是大數據,正如復旦大學哲學系徐英瑾教授在「人工智能能像哲學家思考嗎?」的課程中提到,人工智能的能力很大程度上取決的它們吃數據的多少,很多時候他們更像是一個巨大的數據體,而且還是人類隱私的數據體。

AI無法與人類共情,這也可以說明為何AI在電影剪輯的表現差強人意,因為精彩的表演與優質的拍攝中「情」的占比極高,而AI對情緒的識別目前停留在較為表面的階段。所以目前我們不必擔心優質的視頻作品剪輯被AI取代,它更多承擔著輔助的工作,降低后期制作的時間成本,使人力得到解放,這也是AI 的核心價值。

1號結語

如新華社副社長劉思揚在「媒體大腦」的發布會上所說,「『媒體大腦』和『MGC新聞』的出現,不是要取代記者和編輯,而是在更高層面上,把人與物的延伸連接起來,更快、更準、更智能地獲得新聞線索和新聞素材,賦能記者和編輯,幫助媒體提高生產力。」

AI入住視頻剪輯,大多承擔著最耗時的模式化重復工作,它最大程度的釋放了媒體人的精力,使人類的智慧可以應用到更有價值的創意思維中。

若在未來的某一天AI在視覺化語義和多模態技術上有了突破性的進展,那它可取代的不僅是剪輯師這一個行業,或許,我們要為它們取個不同于人工智能的「新物種」的名字了。

如果您想了解、探討更多關于「AI剪輯」話題,歡迎加入「1號虛擬文娛共研營」,我們將在營中私享更多關于本文的拓展閱讀資料。日常,我們也將在營內組織更多「虛擬文娛」的主題活動——

舉辦線上論壇、日常群內活動、私享資料全集、寄送紙質合集……

期待您與1號一起,在「1號虛擬文娛共研營」中,互相學習、互相滋養,成為中國最懂虛擬文娛的那1%。

「閱讀原文」

直達「1號微店」