隨著深度學習和人工神經網絡的快速發展，計算機視覺已經從識別和理解任務擴展到了能夠創建動態視覺內容的生成范式。人像生成（Talking Head Generation, THG）就是這一轉變的典型例子。通過學習音頻、圖像和文本輸入之間的相關性，THG系統能夠合成具有自然表情和準確唇部同步的動態面部視頻。該領域的進步顯著提高了數字人物的真實感和可控性，使得THG成為交互式數字人類系統的核心組成部分，并應用于電影級視頻配音、虛擬直播頭像和低比特率視頻通信等領域。然而，現有方法在稀疏驅動條件下的精細運動控制和表現力方面仍存在局限性。

現有的基于GAN的方法已經展示了利用面部關鍵點和動作單元（AUs）來生成可控姿態和表情的能力，實現了帶寬效率和視頻質量之間的平衡[1]。然而，GAN通常存在訓練不穩定、時間不一致以及難以捕捉精細面部細節的問題，這些限制了生成視頻的感知真實感和流暢性。

盡管擴散模型在圖像和視頻生成方面取得了顯著成功，但直接將其擴展到在稀疏驅動信號下的人像合成中并非易事。與基于GAN的方法不同，擴散模型依賴于迭代去噪過程，在此過程中，低維和稀疏的控制信號（如面部關鍵點和動作單元）可能會被噪聲逐漸削弱或覆蓋。因此，在整個采樣過程中保持強大的可控性變得更加具有挑戰性。此外，擴散模型對條件信息的注入方式和位置非常敏感，簡單的條件策略可能無法在每個去噪步驟中始終如一地指導生成過程。另外，基于擴散的人像生成通常是逐幀進行的，這在稀疏運動線索驅動下會加劇時間不穩定性。這些挑戰凸顯了需要為稀疏控制環境下的擴散模型設計結構化和健壯的條件機制的必要性。一些最近的方法報告了強大的音頻驅動人像生成結果：Diffused Heads [2] 使用擴散自回歸地為單幅肖像添加語音動畫，生成具有真實動作和穩定背景的人像視頻；Hallo [3] 通過分層模型處理唇部運動、表情和頭部姿態，以獲得更好的同步性和一致性；Zhu等人[4] 強調了擴散框架中的穩健語音到動作的對齊。然而，當音頻不可用、不可靠或涉及隱私問題時，音頻驅動的方法可能并不實用。

在本文中，我們提出了一種僅由稀疏面部關鍵點和動作單元驅動的基于擴散的人像生成框架，不依賴于任何音頻輸入。我們的方法采用了一種新穎的交叉注意力融合模塊，有效地將關鍵點和動作單元的特征融合成一個統一的條件嵌入，用于擴散模型，從而實現對面部姿態和表情動態的精細、可解釋的控制。此外，我們還引入了一種跨幀特征聚合策略，利用之前生成的幀的時空上下文，顯著提高了時間一致性和減少了閃爍偽影。

與現有的基于GAN的關鍵點和動作單元驅動方法[1]相比，我們的方法得益于擴散模型的穩定訓練和詳細重建能力，實現了更高的感知質量和時間平滑性。當前的音頻驅動擴散方法需要音頻輸入，但在許多現實世界場景中我們只能獲得稀疏的視覺信號。因此，我們提出了一種無音頻的方法，非常適合只有稀疏面部驅動信號的應用場景。廣泛的實驗表明，我們的框架在視覺真實性和時間穩定性方面優于現有的基于GAN和音頻驅動的擴散方法，驗證了其有效性和適用性。

我們的主要貢獻總結如下：