點擊上方藍色“程序猿DD”，選擇“設為星標”

回復“資源”獲取獨家整理的學習資料！

作者 | 小柴不餓

來源 |

前段時間，有人根據一篇字節跳動聯名的 AI 論文，做了個可將視頻、圖片一鍵卡通化的 Web 端應用 。

現在已經開源，使用非常簡單，只要上傳需要轉換的圖片、視頻即可。 轉換可以很好地還原原圖細節，下面是人像、風景、食物等實景的轉化圖。

還支持10秒以內的視頻轉換，上一段《復仇者聯盟》視頻轉化效果。

（官網轉換視頻截圖，實際視頻效果可進官網查看）

據其官網介紹，適合四種場景的轉換：快速制作動畫照片一鍵制作視頻，卡通和游戲的原型；由于它通?？扇峄娌刻卣骱托畔ⅲ虼丝捎糜谏勺钚挝坏乃囆g做品；無需使用動作捕捉，游戲可以很容易地導入短視頻；可以為圖形設計師或動畫師做建模助手。

對可轉換圖片視頻的大小格式， 做了一定限制，目前只支持轉換10秒及以內的視頻，視頻文件最大為30 MB，支持的格式包括 mp4、webm、avi、mkv。支持的圖像文件格式為 jpeg、png，不支持 GIG/TIFF 圖像。

算法：

使用 的 AI Layer 產品對視頻進行推理。

測試環境：

安裝：

使用 ：

運行 最簡單方法是使用 ：

cd到根目錄并構建映像

docker build -t cartoonize .

注意：.yaml在構建圖像之前，請設置適當的值。

2. 通過暴露適當的端口來運行容器

docker run -p 8080:8080 cartoonize

使用

使用并激活虛擬環境

virtualenv -p python3 cartoonize
source cartoonize/bin/activate

2. 安裝 依賴項

pip install -r requirements.txt

3. 運行網絡應用。.yaml在運行應用程序之前，請確保在文件中設置適當的值。

python app.py

項目官網：

White-box-：白盒圖像卡通化模型

如果想了解更多影像資料卡通化的訓練模型和過程，可以查看 背后的技術論文和項目。事實上， 是 White-box-的一個 Demo 。 核心技術來自 CVPR 2023的投稿論文《 to Using White-box 》，該論文作者系字節跳動、東京大學、 人員。

該論文提出了一種基于 GAN 的白盒可控的圖像卡通化模型。

論文指出，各種卡通風格和用處需要基于特定任務或者先驗知識才能開發可用的算法。例如有些卡通畫更關注全局色調，線條清晰度在次；有些強調稀疏和干凈的色塊，對主題強調少。然而這些變量因素給黑盒模型帶來了不小的挑戰，如當面對藝術家不同的需求時照片一鍵制作視頻，簡單地更改訓練數據集就于事無補了。使用黑盒模型直接擬合訓練數據會降低其通用性和風格化質量，在一些情況下導致較差效果。

通常來說，黑盒模型通常有很高的準確性，但是其內部工作難以理解和改動，并且它們不能估計每個特征對模型預測的重要性，也不容易理解不同特征之間如何相互作用。而白盒模型則可以更為自由地修改模型中的某些算法，使之更加靈活地適應不同需求場景。

論文作者指出，為了解決黑盒模型的一些問題，他們對人們的繪畫行為和不同風格的卡通形象進行了大量的觀察，并咨詢了幾位卡通藝術家，建議將圖像分解為幾種卡通表征方式：提取一個帶權重的低頻內容，表示圖片的輪廓表征；針對輸入圖像，提取分割圖，在每個分割區域使用一個自適應的色彩算法生成結構表征；保持繪畫細節和邊緣的紋理表征。

The the to be end-to-end a (GAN) , it and for use easy to meet with fine-.

單獨提取的卡通表征形式使卡通化問題可以在生成神經網絡（GAN）框架內進行端到端的優化，在實際使用場景中，使其可擴展和可控，易于滿足不同的技術需求，也可以根據需求進行微調。

基于該論文的 White-box- 現在已經部分開源。

安裝使用：

先決條件：

安裝：

預訓練模型推論：

訓練：

數據集：

相關鏈接

的詳細介紹：

的下載地址：

往期推薦