蕭簫 發自 凹非寺

量子位 報道 | 公眾號

說到短視頻特效，你或許第一時間會想到“抖音特效”。

沒錯，抖音的特效似乎總是火到出圈，像用一段視頻讓你“重返三歲”：

△視頻來源@賴美云

又或是1個動作就打破次元壁，PDD也變得眉清目秀：

事實上，與AI相關的特效技術，國內外也有不少APP在做什么抖音，但運行到手機上后，最出圈的往往還是抖音。

同類特效，背后所用的AI技術其實是接近的，但抖音做出的特效，渲染真實、運行流暢、爆款也更多。

抖音特效常青的秘訣，究竟是什么？

只要5M，效果堪比虛幻引擎

一款特效的創意無法預測，但渲染效果和運算時間卻能被打磨到極致。

其中，渲染效果依靠CV（計算機視覺）+CG（計算機圖形學）兩類算法的提升，而運算時間則依靠模型的優化。

對于計算機來說，CV算法能讓它精準地“看懂”一張照片中的內容。小到特效的貼合度、實時跟蹤的精度，大到整個圖像的分辨率提升、風格改變，都屬于CV算法的范疇。

像合成大菠蘿這種貼臉特效，或是高清修復老照片，又或是“重返三歲”、“漫畫臉”這類整體畫風的遷移，都屬于CV算法的“職責”所在。

抖音所用的CV算法，基本靠自研。僅CVPR 2023一場頂會，字節跳動合作入選的論文就有14篇，涵蓋NAS、圖像修復、行為識別等方向，同時在移動目標檢測、細粒度圖像識別、視頻分類等細分領域競賽中奪冠。

再說CG算法，它能讓計算機做出以假亂真的特效效果，結合CV算法貼合到圖片或視頻上。

像常見的PBR算法，只是渲染“基操”；電影中常用的粒子系統，抖音同樣也會用到手機特效上，此外還有透明材質、bloom效果……都更接近真實場景，而不僅僅是2D貼紙。

△3D渲染和2D程序火焰特效對比

然而，無論CV算法還是CG算法，往往都是模型越大，做出的渲染效果才會越好。

影視業界甚至流傳這樣一個說法：“一個1秒鐘的頂級特效，用專業渲染算法去實現的話，可能需要連續渲染上50天。”

這樣的特效模型，絕對無法符合用戶的實時拍攝需求，更別提流暢度。

但據火山引擎技術專家楊輝表示，抖音5MB的渲染特效，就能達到媲美虛幻引擎實現的效果。

沒錯，為了確保特效運行流暢，抖音的特效模型嚴格限制在5MB以內，便于用戶實時使用。

這5MB，包含模型、貼圖、動畫、特效和邏輯觸發機制……在內的所有文件。

壓縮到極致的運算時間背后，是自研渲染引擎+云渲染技術的結合。

渲染工具上，抖音沒有選擇采用Unity或是虛幻引擎進行特效制作，而是針對短視頻和AR，自行研發了輕量級的渲染引擎。

自研引擎著重對短視頻拍攝所需的特效算法進行了增強，舍去了部分游戲專屬、短視頻不需要的特效，保證渲染的效果。

同時，為了讓特效用上更好的渲染算法，抖音自研了云渲染技術，將原本要用手機硬件計算的特效，放到服務器端進行計算，再將效果實時傳輸給用戶。

這樣原本計算量在GPU級的渲染特效，現在也能在手機上實時完成，帶來的效果提升也顯而易見。

例如，渲染算法中的粒子系統，只有用GPU計算，才能發揮出更好的效果（煙花特效）；相比之下，CPU計算的粒子系統效果要更為單薄（控雨特效）：

△2023年的煙花特效年的控雨特效

但前沿的CV+CG算法和自研工具，只是抖音特效的一部分秘訣。之所以能爆款頻出，離不開其成熟的產出流程、覆蓋場景全面的工業化體系。

火山引擎：技術井噴

一項技術能否常青，取決于它帶來的產品能否批量化生產、適用場景是否全面，對于特效也是如此。抖音特效，已然符合這兩個條件：

一方面，據抖音與火山引擎聯合發布的《抖音特效數據報告》顯示，2023上半年，抖音平臺平均每天上線超過100個特效爆款，用戶平均每5個投稿里，就有1個使用特效。

這意味著，抖音已經具備了流水化生產特效的能力。同時，這些特效的質量，足以讓五分之一的投稿使用它們（抖音的日活用戶目前已達到6億）。

這也讓特效設計變得更加容易。在抖音將特效變成一個“創意生產線”之前，特效設計師并不是一個“低門檻”職業。據抖音爆款設計師游洋表示，自己原本是一名影視后期，但卻成功當上抖音特效師，身邊也有越來越多的同行，正在投身這個職業。

另一方面，抖音特效技術的應用場景，早已不止抖音APP，而已經觸及到各行各業。

汽車行業，用特效實現的AR看車；美妝行業，用特效進行AR試妝；傳統媒體行業，用數字人技術做出虛擬主持人、虛擬客服……

△AR試妝

可以預見的是，抖音特效已經不再是原本拍攝短視頻時所用的特效什么抖音，而正逐漸成為一種“創意數字內容”。

出圈的抖音特效，成為字節增長秘訣中，又一塊不可或缺的重要版圖。

現在，字節跳動將它們全部公開了——以火山引擎的方式。

沒錯，就像字節管理能力的“井噴”產物飛書一樣，字節技術能力的井噴，帶來了火山引擎。

作為字節內部曾經使用的技術平臺，火山引擎不止“存儲”著抖音所有特效背后的算法技術能力，也包含特效從制作、質量把關到落地的所有工程技術。

制作上，為了加快生產速度、降低技術門檻，字節將抖音特效背后的算法技術，變成了各種模塊化組件。

例如，抖音將常用CV、CG算法做成組件后，設計師只需要拖動讀條、或是按下按鍵，就能在特效中用上這一功能。

而包括從訓練到推理在內的算法生產過程，抖音全都采用自研推理框架和訓練平臺，確保最適合APP的運行速度。

質量審核上，特效設計會進行效果評級，資格足夠才能予以上線；同時字節內部也成立了專門的創新小組，保證算法的前沿和創新性，設計出更多滿足設計師需求的組件（頂會論文就有不少出自這里）。

落地上，抖音還會考慮用戶體驗度、不同場景下客戶的定制化需求。

例如，抖音采取了如不同手機性能的分級策略、運行速度優化等技術措施，將系統崩潰率降低至10萬分之一。

同時，采用資源下發等技術，確保用戶能在不更新軟件的情況下，使用新特效；面對不同場景時，抖音特效的也能適應不同分辨率、接口類型和機型。

這一切，和前沿的算法技術一起，共同構成了抖音特效成功的秘訣。

“字節技術沒有秘密”

7月28日，火山引擎和抖音聯合宣布，將上萬抖音同款特效開放給客戶。

這意味著字節正在將包括算法、道具資源在內的抖音特效的所有優勢，全部對外提供技術服務，讓更多人享受這一集大成的結果。

目前，像懂球帝、心心APP等一眾企業產品，已經在使用火山引擎作為自己的業務增長技術。

未來，火山引擎也計劃進一步引入最新的技術如端云協同和多人互動，來增強用戶和客戶的特效體驗。

可以想見，更精致的特效、互動性更強的技術，都將成為抖音未來的發展方向。

同時，特效技術的發展，也會進一步給各行業帶來更多的驚喜。

以影視和游戲行業為例，這兩項技術能極大地減輕視頻后期制作、降低游戲美術成本。例如在某個角色身上加個馬賽克、或是做個智能貼圖，都不需要再一幀幀去手動調整，算法自動就能完成這些步驟。

這樣公開自己所有的增長技術，字節害怕同行的競爭嗎？

楊輝表示，不害怕：

隨著時間推移，任何一項新技術的準入門檻，都會越來越低。我們能做的，不是去打價格戰，而是去拓展、更新技術，保證自身的競爭力。

這個角度來說，字節跳動的增長技術，確實沒有秘密。

— 完 —

本文系網易新聞?網易號特色內容激勵計劃簽約賬號【量子位】原創內容，未經賬號授權，禁止隨意轉載。

點這里關注我，記得標星哦～

一鍵三連「分享」、「點贊」和「在看」

科技前沿進展日日相見~