編輯推薦：
隨機共振與Ising模型結合的圖學習框架RIM4G提出，通過spin動力學編碼節點表示，整合圖拓撲與輸入特征，在七個節點分類任務中表現與GNN/Transformer相當且更適用于神經形態硬件。
Maria Grazia Berni|Antonio Brau|Alessio Micheli|Domenico Tortorella
比薩大學計算機科學系，Largo Bruno Pontecorvo 3，比薩，56127，意大利
摘要
在引用網絡、社交媒體和電子商務等領域，圖結構數據的規模和復雜性不斷增加，這暴露了傳統圖學習模型（如圖神經網絡（GNNs）和圖變換器（GTs）的計算局限。水庫計算（RC）通過將訓練復雜性與模型表達能力解耦，提供了一種有前景的替代方案，圖回聲狀態網絡（GESNs）就證明了這一點。然而，基于馮·諾伊曼架構的傳統RC實現由于內存和數據處理的分離而面臨瓶頸。新興的神經形態平臺——如FPGA、自旋電子學和憶阻器——為可擴展的圖學習提供了低功耗、高吞吐量的解決方案。在這項工作中，我們介紹了基于隨機伊辛模型的圖表示方法（RIM4G），該方法通過由Lenz–Ising模型控制的自旋動態來編碼節點表示。RIM4G通過自旋耦合和外部磁場分別整合了圖拓撲結構和輸入特征，并使用Metropolis采樣進行模擬，具有理論上的收斂保證。在七個基準節點分類任務上的評估表明，RIM4G的準確性與GESNs以及完全訓練的GNNs和GTs相當。我們的分析強調了RIM4G對熱噪聲的魯棒性及其對稀疏水庫矩陣的偏好，表明其適用于未來在非傳統硬件上的部署。
引言
圖結構數據的快速增長和學習模型的復雜性增加揭示了現有圖表示方法的計算局限。涉及論文引用、網頁鏈接、社交媒體互動和購物平臺共同購買等的學習任務需要能夠處理大規模圖并提取有意義結構模式的方法[1]。基于迭代鄰域聚合的傳統圖神經網絡（GNNs）在節點分類任務上取得了顯著進展，它們學習了同時利用屬性和連接信息的表示[2]、[3]。圖變換器（GTs）超越了局部消息傳遞的限制，提高了表達能力并捕捉了長距離關系。然而，它們對全局注意力機制的依賴加劇了GNNs已存在的可擴展性和部署挑戰，包括大量的內存需求、高參數數量以及對超參數和訓練設置的敏感性。特別是GNNs和GTs，在節點數量增加時難以擴展，因為鄰域聚合和全局注意力會迅速增加計算和內存成本，使得在更大圖上的訓練和推理變得困難[4]。
隨著圖數據集和模型架構的擴大和復雜化，探索在計算成本和模型準確性之間提供更好權衡的替代范式變得至關重要。水庫計算（RC）是一種設計高效神經模型的范式。它利用了隨機初始化的遞歸神經網絡的動態豐富性，同時通過保持隨機水庫權重固定并僅訓練簡單的讀出層來最小化訓練復雜性[5]。基于水庫的圖模型，如圖回聲狀態網絡（GESN）[6]，已被證明可以在廣泛的學習任務中顯著降低訓練和推理的計算成本，而不影響準確性。這些任務包括圖分類[7]、節點分類[8]、網絡量化[9]以及時間圖[10]。
然而，將水庫實現限制在基于馮·諾伊曼架構的傳統計算硬件上會由于內存訪問和處理的分離而產生瓶頸[11]。神經形態計算旨在通過設計新型計算設備來克服這些限制，這些設備可以更快地處理越來越多的數據，并且功耗低[12]。最近出現了非傳統平臺，包括現場可編程門陣列（FPGAs）[13]、基于自旋電子學的系統[14]和基于憶阻器的系統[15]。這些架構減少了計算負擔，為在資源受限環境中高效運行的可擴展AI系統鋪平了道路。
在各種非傳統硬件設計中，Lenz–Ising模型被提出用于解決圖上的組合問題[16]、[17]。[18]、[19]。已經提出了物理實現方案，包括基于憶阻器的[20]和基于自旋電子學的[21]設備。
采用硬件和水庫模型的協同設計視角[22]，我們提出了基于隨機伊辛模型的圖表示方法（RIM4G），該方法使用Lenz–Ising模型的自旋動態來生成適合學習任務的節點表示。基于我們關于RIM4G利用拓撲信息的初步結果[23]，在這項工作中，我們擴展了該模型以處理輸入節點特征，使其能夠解決現實世界的節點分類任務。我們的實驗分析不僅限于特定的硬件實現，而是關注RIM4G作為一類通用模型的有效性。我們確定了其在節點分類上的準確性是否與之前的基于水庫的模型（GESNs）和完全訓練的圖學習模型（GNNs和GTs）相當，將RIM4G的物理實現探索留給未來的工作。
本文的其余部分結構如下。第2節我們簡要回顧了完全訓練的和基于水庫的節點分類模型。第3節介紹了伊辛模型的一般概念，第4節介紹了RIM4G，并證明了其節點表示收斂的條件。第5節我們在7個節點分類任務上評估了所提出的模型，第6節分析了水庫設計和熱噪聲的影響。最后，第7節討論了物理實現的觀點，第8節得出結論。
節選內容
節點分類的學習模型
設表示一個圖，其節點集為，邊集為，節點特征矩陣為，其中是節點特征的維度，標簽矩陣為，是類別的數量。設為鄰接矩陣。（半）監督節點分類任務的目標是從帶有已知標簽的標記節點子集中學習一個模型。該模型利用輸入特征和編碼在中的圖結構來推斷剩余未標記節點的未知標簽。用于
自旋相互作用的伊辛模型
Lenz–Ising模型[16]、[17]是統計物理學中描述鐵磁性的基礎模型。它考慮了稱為自旋的二元變量或，這些自旋代表磁偶極矩。自旋受到其他相互作用自旋的磁場和外部磁場的影響。在最簡單的設置中，自旋相互作用的底層圖是一個具有周期性局部結構的規則晶格，但該公式可以自然擴展到任意拓撲。
用于圖節點表示的隨機伊辛模型
我們提出使用伊辛模型的自旋配置來編碼圖中的節點表示。我們將一組自旋與每個圖節點關聯起來，作為其表示。我們使自旋組之間的相互作用依賴于輸入圖的拓撲結構，而每個組內的相互作用則由遵循水庫范式的隨機耦合決定。節點輸入特征通過外部磁場注入。為此，我們定義了
實驗評估與討論
為了評估RIM4G在其節點表示中編碼有用信息的能力，我們在幾個節點分類任務上評估了該模型的準確性。特別是，我們將它的準確性與其他圖學習模型（第5.1節）和其他拓撲編碼模型（第5.2節）進行了比較。所有以下實驗都是在零熱力學狀態下使用RIM4G進行的，因此處理的嵌入是系統的穩態配置
對熱噪聲的魯棒性
為了評估RIM4G適用于硬件實現的程度，我們分析了其在高于熱力學零點的溫度下的性能。為了不對伊辛模型的特定物理實現產生偏見，我們使用無量綱單位，通過設置玻爾茲曼常數，使得。這種選擇有效地將溫度重新縮放到與能量相同的單位，消除了不必要的常數，允許直接比較熱噪聲和相互作用能量。
RIM4G的物理實現
由于幾個NP難題可以通過尋找伊辛模型的能量最小值來重新表述[35]，文獻中探索了設計具有可編程自旋耦合的非傳統硬件的不同方法[56]。在本節中，我們回顧了一些可能適用于RIM4G實現的方法，這些方法根據自旋的實現方式有所不同。
結論
在這項工作中，我們介紹了基于隨機伊辛模型的圖表示方法（RIM4G），作為水庫計算領域的一種新型模型。圖節點被編碼為自旋配置的能量最小值狀態，其中伊辛自旋耦合由輸入圖拓撲和隨機水庫連接決定，輸入特征通過外部磁場注入。我們沒有專注于特定的物理實現，而是將RIM4G作為一個通用模型進行了分析
CRediT作者貢獻聲明
Maria Grazia Berni：撰寫 – 審稿與編輯，撰寫 – 原稿，軟件，研究，概念化。Antonio Brau：撰寫 – 原稿，軟件，方法論，研究，概念化。Alessio Micheli：撰寫 – 審稿與編輯，驗證，監督，項目管理，方法論，資金獲取，概念化。Domenico Tortorella：撰寫 – 審稿與編輯，撰寫 – 原稿，驗證，軟件，方法論，研究，
利益沖突聲明
作者聲明他們沒有已知的競爭性財務利益或個人關系可能會影響本文報告的工作。
致謝
研究部分得到了以下項目的支持：PNRR，PE00000013，“FAIR - 未來人工智能研究”，由歐盟委員會在NextGeneration EU計劃下資助；DEEP-GRAPH項目，由意大利大學和研究部資助，PRIN 2022（項目代碼：2022YLRBTT，CUP：I53C24002440006）；PAN-HUB項目，由意大利衛生部資助（POS 2014–2020，項目ID：T4-AN-07，CUP：I53C22001300001）。
