引言

圖神經(jīng)網(wǎng)絡(luò)（GNN）已成為分析非歐幾里得圖數(shù)據(jù)的強(qiáng)大工具。GNN通過(guò)消息傳遞機(jī)制捕捉復(fù)雜的圖結(jié)構(gòu)，其中節(jié)點(diǎn)與其鄰居交換信息。這種消息傳遞機(jī)制提供了對(duì)分析圖結(jié)構(gòu)數(shù)據(jù)有益的空間歸納偏差。然而，隨著圖規(guī)模的增大，這種消息傳遞方法會(huì)帶來(lái)顯著的計(jì)算開銷[1]。為了解決這一可擴(kuò)展性問(wèn)題，研究人員探索了用更輕量級(jí)的多層感知器（MLP）替換GNN。雖然MLP缺乏消息傳遞所提供的結(jié)構(gòu)偏差，但它們具有更高的可擴(kuò)展性。為了結(jié)合GNN和MLP的優(yōu)勢(shì)，研究人員越來(lái)越多地采用知識(shí)蒸餾[2]技術(shù)，這是一種將GNN的特定任務(wù)知識(shí)轉(zhuǎn)移到MLP中的有效方法。對(duì)于半監(jiān)督節(jié)點(diǎn)分類，圖輔助神經(jīng)網(wǎng)絡(luò)（GLNN）[3]最小化了GNN教師模型和MLP學(xué)生模型之間的Kullback–Leibler散度。全頻GNN到MLP蒸餾（FF-G2M）[4]將教師模型的知識(shí)分解為高頻和低頻信號(hào)，然后鼓勵(lì)學(xué)生模型模仿這兩種信號(hào)。對(duì)于鏈接預(yù)測(cè)，無(wú)鏈接鏈接預(yù)測(cè)（LLP）[5]將圍繞每個(gè)（錨點(diǎn)）節(jié)點(diǎn)的特定關(guān)系知識(shí)傳遞給學(xué)生MLP。這些GNN到MLP的蒸餾方法使MLP在目標(biāo)任務(wù)中能夠達(dá)到與GNN相當(dāng)?shù)男阅堋?/p>