QS-FedNeRF：用于邊緣智能的量化傳輸與設備選擇聯合神經輻射場
《Digital Signal Processing》：QS-FedNeRF: Quantized Transmission and Device Selections Federated Neural Radiance Fields for Edge Intelligence
【字體：
大
中
小
】
時間：2026年02月27日
來源：Digital Signal Processing 3
編輯推薦：
聯邦神經網絡輻射場學習框架存在數據冗余和頻繁模型交換問題，本文提出量化傳輸與設備選擇的QS-FedNeRF方案，通過基于Bhattacharyya距離的數據相似性聚類選擇設備，并將模型參數量化為12位浮點數，在真實平臺驗證下訓練時間減少9%。
李新民|劉一陽|張旭豪|吳冠霖|方圓
中國成都，成都大學計算機科學學院，610100
摘要
聯邦神經輻射場學習（FedNeRF）框架被視為一種避免視圖合成數據泄露的新范式，在該框架中，邊緣設備僅將訓練網絡參數上傳到服務器。然而，由于冗余數據以及所有設備與中央服務器之間頻繁的NeRF模型交換，訓練時間和學習時間都在增加。因此，我們提出了一種新的量化傳輸和設備選擇NeRF方案，稱為QS-FedNeRF。服務器根據數據相似性和層次聚類方法選擇邊緣設備，以減少冗余數據訓練，同時每個設備的NeRF模型參數在比特級別上獨立進行量化。在包含多個分布式邊緣設備和中央服務器的真實世界FedNeRF平臺上驗證了QS-FedNeRF方案的有效性。使用不同的數據集（Counter、Bonsai和Kitchen）來評估所提方案的性能。與現有方法（NeRF、FedNeRF、FedNeRF-SVD）的性能比較表明，所提出的QS-FedNeRF方案至少將訓練時間減少了9%。與其他量化位數相比，12位量化的QS-FedNeRF在減少量化誤差和傳輸時間方面表現最佳。
引言
隨著人工智能（AI）技術的快速發展，傳統的視圖合成算法已轉向基于神經網絡的渲染技術，以生成逼真圖像，例如圖像重建和虛擬現實（VR）應用[1]。最近，作為強大渲染模型的神經輻射場（NeRF）在三維（3D）建模方面受到了廣泛關注[2]。NeRF在已知相機姿態的場景的有限圖像觀測集上進行訓練，可以從之前未見過的視角合成大量逼真圖像，從而促進了照片編輯[3]、3D人體頭像建模[4]和大規模3D表示的發展。
大多數現有的NeRF方法采用集中式學習范式，這要求在NeRF訓練之前計算所有訓練圖像[5]。然而，邊緣設備的計算資源和通信能力總是有限的。大量原始訓練圖像數據的傳輸會導致通信開銷增加，并引發分布式設備的隱私問題[6]。因此，設計跨邊緣設備的分布式和并行NeRF模型訓練對于減少通信開銷和能耗至關重要。
為了控制第六代（6G）網絡的邊緣設備的能耗并保證數據安全，邊緣AI可以收集、傳輸和利用數據以實現通信、計算、感知和智能[7]、[8]。無線聯邦學習（FL）框架已被提出，可以在不傳輸邊緣設備真實數據的情況下通過無線網絡訓練全局模型，從而解決隱私問題[9]。因此，部署邊緣設備進行分布式和并行NeRF模型訓練不僅可以處理分布式場景視圖合成，還可以提高用戶數據隱私和安全性，從而支持元宇宙、自動駕駛和智能機器人的各種應用[10]。通過傳輸NeRF模型參數來避免數據泄露的新型聯邦神經輻射場學習（FedNeRF）方法可以利用多個邊緣設備的NeRF模型訓練到基站（BS）[11]。在每次迭代中，邊緣設備首先使用觀測到的多視圖數據獨立訓練它們的本地模型，然后僅將模型參數傳輸到中央服務器。之后，服務器在收集來自設備的NeRF模型參數后聚合這些參數以獲得更新的全局模型。最后，將聚合的模型傳輸回邊緣設備。
由于冗余數據和頻繁的NeRF模型交換限制了渲染性能，因此壓縮NeRF模型和優化設備選擇以提高FedNeRF框架中的訓練和渲染效率至關重要。主要的壓縮方法包括參數剪枝[12]、低秩分解[11]和量化[13]。剪枝方法通過從網絡中移除不太重要的參數來減少模型的存儲需求。然而，剪枝方法會丟失重要特征，導致性能下降，并且需要在剪枝后重新訓練，從而增加復雜性和訓練時間[14]。
低秩分解算法通過用低秩矩陣替換高秩矩陣來減少數據通信開銷，從而減少NeRF模型中有效參數的數量[11]。同時，它也帶來了復雜的高維矩陣乘法運算，需要在FedNeRF訓練期間消耗更多計算資源。因此，我們提出了一種基于量化和設備選擇的高效聯邦輻射場學習算法（QS-FedNeRF），該算法在中央服務器和邊緣設備之間的傳輸過程中有效地對NeRF網絡參數進行比特級量化。
我們工作的主要貢獻總結如下：
1)我們提出了一種基于數據相似性的有效設備選擇方法，通過計算Bhattacharyya距離來減少模型聚合的冗余數據。
2)我們對NeRF模型參數進行量化和反量化，以便在比特級別獨立更新模型，將高精度浮點數轉換為低位數。
3)我們構建了一個包含中央服務器和多個邊緣設備的真實世界無線聯邦輻射場學習平臺，并在三個數據集上驗證了所提出的QS-FedNeRF方案的有效性。所提出的QS-FedNeRF方案在不同設置下的性能優于現有方案。
相關文獻片段
相關工作
NeRF[2]方法的出現為3D重建提供了一條創新路徑，標志著高質量視圖合成的范式轉變。這項技術在工業界和學術界都受到了廣泛關注。聯邦神經輻射場學習
我們利用聯邦學習框架構建了真實的無線聯邦學習NeRF實驗平臺，用于訓練分布式NeRF模型，如圖1所示。該平臺包括一個高性能的中央服務器和K個邊緣設備。服務器和邊緣設備分別通過有線和無線連接連接到無線路由器，形成一個聯邦學習訓練集群。該集群的主要目的是提供真實世界的訓練
FedNeRF框架中的設備選擇和量化傳輸
在本節中，我們詳細描述了所提出的聯邦輻射場學習方案的兩種算法：基于數據相似性的設備選擇算法和量化傳輸算法。
實驗
在本節中，我們在真實的無線設備上部署了帶有量化傳輸和設備選擇算法的QS-FedNeRF訓練，并在聯邦學習實驗平臺上進行了實驗。我們概述了實驗設置，并提供了關于數據集、評估指標和實現的詳細信息。
結論
在本文中，我們構建了一個包含多個分布式邊緣設備和中央服務器的真實世界無線聯邦學習平臺。提出了QS-FedNeRF方案，以減少訓練時間和學習時間，其中有效的設備選擇依賴于通過計算Bhattacharyya距離來確定數據相似性，NeRF模型參數在傳輸時量化為低位數以便獨立更新模型。實驗表明，所提出的
作者聲明
李新民、劉一陽和張旭豪提出了本文的思想并起草了手稿。劉一陽和吳冠霖進行了實驗。李新民、張旭豪和方圓修改了手稿并監督了這項工作。所有作者都閱讀并批準了最終的手稿。
利益沖突聲明
作者聲明他們沒有已知的可能會影響本文所述工作的競爭性財務利益或個人關系。
生物通微信公眾號
生物通新浪微博
今日動態 |
人才市場 |
新技術專欄 |
中國科學人 |
云展臺 |
BioHot |
云講堂直播 |
會展中心 |
特價專欄 |
技術快訊 |
免費試用
版權所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
聯系信箱：
粵ICP備09063491號
