編輯推薦：
基于草圖和文本提示的生成框架，通過(guò)擴(kuò)散模型生成風(fēng)格化景觀圖像與對(duì)應(yīng)現(xiàn)實(shí)版本，利用目標(biāo)檢測(cè)模型獲取流體區(qū)域掩碼，提出Latent Motion Diffusion Model（LMDM）結(jié)合運(yùn)動(dòng)草圖和文本提示估計(jì)流體運(yùn)動(dòng)場(chǎng)，最終通過(guò)U-Net生成器實(shí)現(xiàn)像素級(jí)動(dòng)態(tài)扭曲，生成具有連續(xù)時(shí)空流暢的個(gè)性化 cinemagraph。
Hao Jin|Hengyuan Chang|Xiaoxuan Xie|Zhengyang Wang|Xusheng Du|Shaojun Hu|Haoran Xie
日本高級(jí)科學(xué)技術(shù)研究院（Japan Advanced Institute of Science and Technology）高級(jí)科學(xué)技術(shù)研究生院，石川縣能美市，923-1211，日本
摘要
設(shè)計(jì)風(fēng)格化的動(dòng)態(tài)圖片（cinemagraphs）具有挑戰(zhàn)性，因?yàn)殡y以定制復(fù)雜且富有表現(xiàn)力的流動(dòng)元素。為了實(shí)現(xiàn)對(duì)生成動(dòng)態(tài)圖片的直觀和詳細(xì)控制，草圖提供了一種可行的解決方案，可以超越文本輸入來(lái)傳達(dá)個(gè)性化的設(shè)計(jì)需求。在本文中，我們提出了Sketch2Cinemagraph，這是一個(gè)基于草圖的框架，能夠從自由手繪的草圖條件生成風(fēng)格化的動(dòng)態(tài)圖片。Sketch2Cinemagraph使用文本提示進(jìn)行初始景觀生成，并提供用于空間和運(yùn)動(dòng)提示的草圖控制。潛在擴(kuò)散模型首先生成目標(biāo)風(fēng)格化的景觀圖像及其真實(shí)版本。然后，預(yù)訓(xùn)練的對(duì)象檢測(cè)模型獲取流動(dòng)區(qū)域的掩碼。我們提出了一個(gè)潛在運(yùn)動(dòng)擴(kuò)散模型來(lái)估計(jì)生成景觀圖像中流動(dòng)區(qū)域內(nèi)的運(yùn)動(dòng)場(chǎng)。輸入的運(yùn)動(dòng)草圖作為條件，用于控制帶有提示的掩碼流動(dòng)區(qū)域內(nèi)的生成運(yùn)動(dòng)場(chǎng)。為了合成動(dòng)態(tài)圖片幀，使用基于U-Net的幀生成器將流動(dòng)區(qū)域內(nèi)的像素扭曲到目標(biāo)位置。結(jié)果驗(yàn)證表明，Sketch2Cinemagraph可以從草圖輸入生成具有連續(xù)時(shí)間流動(dòng)的美觀風(fēng)格化動(dòng)態(tài)圖片。我們通過(guò)定性和定量比較展示了Sketch2Cinemagraph相對(duì)于現(xiàn)有技術(shù)的優(yōu)勢(shì)。
引言
動(dòng)態(tài)圖片結(jié)合了靜態(tài)攝影和動(dòng)態(tài)視頻的優(yōu)點(diǎn)，通過(guò)將運(yùn)動(dòng)無(wú)縫集成到靜態(tài)圖像中實(shí)現(xiàn)了獨(dú)特的視覺(jué)效果[1]。作為一種廣泛采用的媒體格式，動(dòng)態(tài)圖片相比靜態(tài)圖像具有更生動(dòng)和動(dòng)態(tài)的質(zhì)量。此外，動(dòng)態(tài)圖片在靜態(tài)背景下強(qiáng)調(diào)運(yùn)動(dòng)，提供了比普通視頻更吸引人和明顯的視覺(jué)動(dòng)態(tài)。然而，生成高質(zhì)量的動(dòng)態(tài)圖片仍然是一項(xiàng)耗時(shí)且需要專(zhuān)業(yè)技能的任務(wù)。由于圖像編輯和動(dòng)畫(huà)設(shè)計(jì)所需的技能和經(jīng)驗(yàn)，業(yè)余愛(ài)好者很難創(chuàng)建動(dòng)態(tài)圖片。傳統(tǒng)的動(dòng)態(tài)圖片合成方法通常通過(guò)從幀中檢測(cè)和提取動(dòng)態(tài)區(qū)域來(lái)轉(zhuǎn)換視頻片段，同時(shí)保持其他部分靜止[2]、[3]、[4]、[5]。其他解決方案包括從靜態(tài)圖像中估計(jì)流動(dòng)元素的物理屬性以推斷運(yùn)動(dòng)場(chǎng)[6]、[7]、[8]。所有這些先前的工作都需要包含運(yùn)動(dòng)的參考視頻或物理模擬的動(dòng)作。它們?cè)谶\(yùn)動(dòng)多樣性方面受到限制，并且難以泛化到未見(jiàn)過(guò)的或多樣化的場(chǎng)景。
生成模型，包括生成對(duì)抗網(wǎng)絡(luò)（GANs）[9]和擴(kuò)散模型[10]，由于其在創(chuàng)建引人入勝的高質(zhì)量圖像和視頻方面的有效性而受到了廣泛關(guān)注[11]、[12]、[13]。GAN反轉(zhuǎn)和深度特征扭曲被用于動(dòng)態(tài)圖片生成[11]。Text2Cinemagraph[14]通過(guò)歐拉位移場(chǎng)扭曲來(lái)合成藝術(shù)風(fēng)格的動(dòng)態(tài)圖片，利用潛在擴(kuò)散模型生成的真實(shí)和藝術(shù)圖像來(lái)增強(qiáng)視覺(jué)表現(xiàn)力。Mahapatra和Kulkarni[15]通過(guò)近似用戶提供的流動(dòng)提示來(lái)動(dòng)畫(huà)化柵格化的流體元素。Li等人[16]在傅里葉域中對(duì)長(zhǎng)期運(yùn)動(dòng)進(jìn)行了建模，實(shí)現(xiàn)了與自然對(duì)象的交互。這些方法可以提高動(dòng)態(tài)圖片的可控性，提供了操縱視覺(jué)內(nèi)容的靈活性和精確性。然而，它們尚未探索更多自由形式和直觀的方法來(lái)創(chuàng)建動(dòng)態(tài)圖片。當(dāng)前的方法僅限于基本運(yùn)動(dòng)控制，如文本和箭頭，限制了用戶充分表達(dá)他們的創(chuàng)意意圖。對(duì)于內(nèi)容設(shè)計(jì)，草圖繪制易于訪問(wèn)且多用途，可以快速原型化想法和概念[17]。已經(jīng)開(kāi)發(fā)了各種基于草圖的圖像和視頻生成及編輯方法[18]、[19]、[20]。為此，本文提出了一個(gè)新框架，可以從用戶草圖生成流體元素及其運(yùn)動(dòng)，以創(chuàng)建個(gè)性化的動(dòng)態(tài)圖片。
在這項(xiàng)工作中，我們提出了Sketch2Cinemagraph，這是一個(gè)基于草圖的框架，可以從手繪草圖生成風(fēng)格化的景觀動(dòng)態(tài)圖片，如圖1所示。首先，該框架在結(jié)構(gòu)草圖和文本提示的指導(dǎo)下生成包含流體元素的風(fēng)格化景觀圖像，這些提示指定了流體動(dòng)力學(xué)和藝術(shù)風(fēng)格。然后，使用基于擴(kuò)散模型的運(yùn)動(dòng)預(yù)測(cè)網(wǎng)絡(luò)，根據(jù)運(yùn)動(dòng)草圖和帶有文本提示的流動(dòng)區(qū)域來(lái)估計(jì)流體的運(yùn)動(dòng)場(chǎng)。最后，根據(jù)運(yùn)動(dòng)場(chǎng)將風(fēng)格化景觀圖像中的像素扭曲到它們的未來(lái)位置，從而生成具有指定風(fēng)格的視覺(jué)上令人愉悅的動(dòng)態(tài)圖片。此外，我們的框架通過(guò)支持使用真實(shí)世界景觀照片作為直接輸入而表現(xiàn)出顯著的靈活性。它可以跳過(guò)初始圖像生成步驟，根據(jù)提供的運(yùn)動(dòng)草圖和真實(shí)世界景觀來(lái)估計(jì)運(yùn)動(dòng)場(chǎng)，允許用戶將現(xiàn)有照片動(dòng)畫(huà)化為真實(shí)的動(dòng)態(tài)圖片。
總結(jié)來(lái)說(shuō)，我們的主要貢獻(xiàn)如下：
-
•
一種新穎的景觀動(dòng)態(tài)圖片合成框架，使用基于草圖的方法直接從自由手繪草圖生成，結(jié)合了擴(kuò)散模型。
-
•
我們引入了潛在運(yùn)動(dòng)擴(kuò)散模型（LMDM），這是一個(gè)基于擴(kuò)散的網(wǎng)絡(luò)，可以根據(jù)輸入的運(yùn)動(dòng)草圖預(yù)測(cè)景觀圖像中流體元素的運(yùn)動(dòng)場(chǎng)。
-
•
通過(guò)將我們的Sketch2Cinemagraph與現(xiàn)有技術(shù)進(jìn)行比較，我們展示了我們的方法生成的動(dòng)態(tài)圖片具有更自然和靈活的運(yùn)動(dòng)。
部分摘錄
從靜態(tài)圖像生成動(dòng)畫(huà)
將靜態(tài)圖像動(dòng)畫(huà)化的挑戰(zhàn)相當(dāng)于模擬或再現(xiàn)柵格圖像中自然對(duì)象的物理準(zhǔn)確視覺(jué)特征。幾項(xiàng)研究探索了基于物理的自然對(duì)象模擬，包括樹(shù)木、河流、云朵和動(dòng)物群，以實(shí)現(xiàn)場(chǎng)景動(dòng)畫(huà)[7]、[21]、[22]、[23]、[24]。Walker等人[25]提出了一種條件變分自動(dòng)編碼器，用于預(yù)測(cè)未來(lái)幀的像素密集軌跡。
方法
在這項(xiàng)工作中，我們提出了Sketch2Cinemagraph，這是一個(gè)基于草圖的生成框架，用于從輸入草圖合成循環(huán)風(fēng)格化的景觀動(dòng)態(tài)圖片。圖2展示了所提出的基于草圖的動(dòng)態(tài)圖片合成框架的工作流程。對(duì)于手繪草圖輸入，我們觀察到可以在不同階段提供結(jié)構(gòu)草圖和運(yùn)動(dòng)草圖，從而獨(dú)立設(shè)計(jì)景觀和動(dòng)態(tài)圖片的運(yùn)動(dòng)。運(yùn)動(dòng)草圖可以使用黑白漸變線
實(shí)現(xiàn)細(xì)節(jié)
我們使用Intel i9-12900k 4.8 GHz CPU和GeForce RTX A6000 GPU進(jìn)行了所有實(shí)驗(yàn)。神經(jīng)網(wǎng)絡(luò)是使用Diffusers [57]實(shí)現(xiàn)的。LMDM是基于Stable Diffusion(SD) v1.5 [10]實(shí)現(xiàn)的。為了適應(yīng)運(yùn)動(dòng)場(chǎng)生成，我們用輕量級(jí)的運(yùn)動(dòng)自動(dòng)編碼器替換了AutoencoderKL。編碼器包含六個(gè)卷積層和ReLU激活函數(shù)，將運(yùn)動(dòng)場(chǎng)壓縮到
的大小，其中
表示
實(shí)驗(yàn)和結(jié)果
在本節(jié)中，我們通過(guò)一系列實(shí)驗(yàn)評(píng)估了Sketch2Cinemagraph的性能，從定性和定量?jī)蓚�(gè)方面進(jìn)行了評(píng)估。生成的動(dòng)態(tài)圖片結(jié)果的視覺(jué)比較在補(bǔ)充視頻中提供。
結(jié)論
本文提出了Sketch2Cinemagraph，這是一個(gè)基于草圖的生成框架，用于從自由手繪草圖生成風(fēng)格化的景觀動(dòng)態(tài)圖片。該方法可以根據(jù)用戶提供的結(jié)構(gòu)和運(yùn)動(dòng)草圖生成視覺(jué)上吸引人的動(dòng)態(tài)圖片，并具有直觀的控制能力。這種方法使沒(méi)有設(shè)計(jì)技能的業(yè)余用戶也能創(chuàng)建景觀動(dòng)態(tài)圖片，使更多人能夠創(chuàng)建動(dòng)態(tài)圖片。
CRediT作者貢獻(xiàn)聲明
Hao Jin：撰寫(xiě) – 審稿與編輯，撰寫(xiě) – 原稿，軟件，方法論，數(shù)據(jù)管理，概念化。Hengyuan Chang：可視化，調(diào)查。Xiaoxuan Xie：驗(yàn)證。Zhengyang Wang：調(diào)查。Xusheng Du：形式分析。Shaojun Hu：撰寫(xiě) – 審稿與編輯，監(jiān)督，資源管理。Haoran Xie：撰寫(xiě) – 審稿與編輯，監(jiān)督，項(xiàng)目管理，資金獲取。
利益沖突聲明
作者聲明他們沒(méi)有已知的競(jìng)爭(zhēng)財(cái)務(wù)利益或個(gè)人關(guān)系可能影響本文報(bào)告的工作。
致謝
本文基于從GENIAC（生成式AI加速器挑戰(zhàn)，一個(gè)旨在加強(qiáng)日本生成式AI開(kāi)發(fā)能力的項(xiàng)目）獲得的結(jié)果，該項(xiàng)目由經(jīng)濟(jì)產(chǎn)業(yè)�。∕ETI）和新能源產(chǎn)業(yè)技術(shù)發(fā)展組織（NEDO）實(shí)施。這項(xiàng)工作得到了JSPS KAKENHI資助，項(xiàng)目編號(hào)為23K18514和25K00154。
