知識圖譜（KGs）[1]、[2]、[3]、[4]、[5]通過三元組的形式對現實世界知識進行結構化表示——每個三元組包含一個頭部實體、一個關系和一個尾部實體，這些三元組通常是基于現有數據庫手動構建的。然而，KGs的固有不完整性[6]、[7]，加上標注事實三元組的高成本，催生了知識圖譜補全（KGC）任務，該任務旨在預測和推斷現有知識圖譜中缺失但合理的三元組。傳統的KGC方法[1]、[2]、[3]、[4]主要依賴于知識圖譜嵌入（KGE）技術，將實體和關系嵌入到連續向量空間中，以學習三元組的關系模式并評估其合理性。傳統的KGC方法通�？梢苑譃榛�于翻譯的[1]、[2]、[3]和基于語義匹配的方法[4]。此外，最近的研究探索了使用神經架構（包括卷積神經網絡（CNNs）和圖神經網絡（GNNs）[8]、[9]、[10]）來模擬實體和關系之間的復雜交互，從而自動提取結構和語義特征，從而增強學習到的表示的表達能力。盡管如此，傳統的KGC模型主要局限于利用KG中的關系信息，常常忽略了實體中嵌入的豐富多模態信息，如文本、視覺和數值屬性。

多模態知識圖譜（MMKGs）[11]、[12]、[13]、[14]、[15]作為傳統KGs的重要擴展，通過結合多樣化的特定模態屬性（例如視頻、音頻和數值數據）來豐富實體的語義表示。MMKGs已成為許多AI應用的基礎組件，特別是在推薦系統[16]和自然語言處理中。相應地，多模態知識圖譜補全（MMKGC）任務也受到了越來越多的關注。現有的MMKGC方法[11]、[12]、[14]、[17]、[18]通常將多模態信息作為輔助模態嵌入，將其整合到實體表示空間中以增強學習到的嵌入的表達能力。然而，在實際場景中仍然存在幾個挑戰。一個關鍵問題是不同模態在實體之間的分布不均，某些實體可能由于數據稀疏而缺乏必要的模態。為了解決這個問題，NATIVE框架[19]引入了一種基于關系的加權機制來優化多模態融合，并采用對抗性訓練策略來減輕模態之間的不平衡。此外，為了捕捉不同關系上下文中模態特征的多樣化作用，MoMoK[20]提出了“互補模態專家混合”機制，該機制設計了基于關系的專家網絡來學習每種模態的自適應多視圖表示。然而，傳統的融合策略（如簡單的串聯或基于注意力的機制[21]、[22]）往往無法捕捉到模內細粒度和模間依賴的互補性。這種限制在實際情況中尤為明顯，因為某些模態可能缺失、不完整或包含噪聲。在這種情況下，明確建模模態之間的協作和補償機制變得至關重要。最近的研究[23]表明，當一個或多個模態不可用或損壞時，有效利用模態互補性可以顯著減輕性能下降。這一發現進一步證明了模態互補性在增強多模態學習系統的魯棒性和融合效果方面的關鍵作用。此外，大多數基于負樣本的KGE方法在訓練期間傾向于假設所有負樣本的重要性相同。然而，這種假設沒有考慮到多模態環境中負樣本的固有異質性，其中語義豐富性、模態特征和與正樣本的相似性可能差異很大。將所有負樣本同等對待可能導致模型在瑣碎或語義無關的樣本上過擬合，從而削弱其區分關鍵語義關系的能力，最終降低學習到的嵌入的判別能力和泛化性能。

為了解決現有多模態知識圖譜補全（MMKGC）方法的局限性，包括對模態互補性建模不足、模態信息在實體之間的分布不平衡以及過于簡單的負樣本抽取策略，我們提出了一種名為“互補模態專家混合（MoCME）”的新統一框架。MoCME建立在專家混合（MoE）的基礎上，這是一種集成學習架構，它將復雜問題空間分解為由專門子網絡處理的子空間，旨在全面利用模態之間的協同性和互補性，從而實現更具表達力和魯棒性的實體表示。該框架包括兩個關鍵組成部分：1）對于每種模態，我們使用基于互補性的專家混合（CMoE），其中包含并行專家網絡來同時處理預訓練的特征。這些專家將特征投影到不同的語義子空間中，從而為特定模態生成多視圖表示。為了整合這些視圖，我們引入了一個共享的互信息神經估計器（MINE）來估計不同視圖特征之間的互信息，這量化了視圖之間的冗余性，并指導基于互補性的融合機制生成每種模態的精細多視圖嵌入。隨后，對于不同模態之間的融合，我們為每對模態組合實例化參數獨立的MINE網絡來評估它們的互信息。基于這些模間互補性分數，應用自適應融合策略來合成特定于模態的嵌入，從而為實體生成全面而魯棒的多模態表示，特別是在數據不完整或損壞的復雜場景中，有效增強模型的魯棒性。2）基于熵的負樣本抽取（EGNS）：為了模擬關系語義，我們采用了RotatE評分函數，該函數通過復雜的空間旋轉有效地捕獲實體-關系交互。此外，我們提出了一種基于熵的負樣本抽取策略，以解決均勻負樣本抽取的局限性，該策略動態地賦予更不確定和信息豐富的負樣本更大的重要性，鼓勵模型關注語義上具有挑戰性的案例，從而提高其判別能力。

我們提出了一種名為“互補模態專家混合”的新框架，該框架聯合建模每種模態內的多視圖語義和模態間的協同性，實現了全面而魯棒的多模態表示。

我們引入了一個基于互補性的模態知識融合模塊，該模塊結合了基于互補性的專家混合來捕獲多視圖語義，并使用共享的互信息神經估計器進行模內融合，同時使用參數獨立的MINE進行模間融合，從而實現自適應的、具有互補性意識的信息整合，有效處理不完整或噪聲較大的模態數據。

我們開發了一種基于熵的負樣本抽取策略，該策略根據負樣本的預測不確定性動態優先考慮更困難且更模糊的負樣本，促進了一種課程式訓練過程，從而增強模型的魯棒性和泛化能力。

在五個廣泛使用的基準數據集上的廣泛實驗表明，MoCME始終取得了最先進的性能，驗證了其在處理復雜多模態知識圖譜補全任務方面的優越性。

在本節中，我們全面介紹了我們提出的框架“互補模態專家混合（MoCME），該框架旨在通過兩個關鍵組件來解決多模態知識圖譜補全的挑戰：（1）基于互補性的模態知識融合（CMKF）模塊結合了基于互補性的專家混合（CMoE）來提取多視圖語義，并使用互信息神經估計器（MINE）來指導自適應融合

我們所有的實驗都在配備Ubuntu 20.04.1 LTS操作系統、Intel Xeon Gold 6226R CPU（2.90GHz）和單個NVIDIA RTX 4090 GPU（24GB內存）的Linux服務器上進行。所有方法都使用PyTorch 1.13、CUDA 11.7和Python 3.9實現。為了確保公平比較，MoCME框架的超參數配置和基線設置與NATIVE [19]中報告的配置基本一致。具體來說，我們使用Adam優化器[43]進行訓練

雖然我們提出的基于熵的負樣本抽取（EGNS）框架采用了經驗驗證的固定閾值（${\delta }_1=0.2,{\delta }_{}=0.8$），我們也嘗試探索一種自適應加權機制。然而，這種動態方法導致訓練不穩定和模型收斂受阻。我們將這種失敗歸因于閾值與模型瞬態狀態的緊密耦合所導致的不穩定反饋循環。特別是在初始訓練階段，

在本文中，我們介紹了用于多模態知識圖譜補全（MMKGC）任務的“互補模態專家混合（MoCME）”框架，旨在通過充分利用結構和多模態實體信息來揭示多模態知識圖譜中隱藏的世界知識。與依賴注意力或基于門的融合而忽略模態間固有互補性的現有MMKGC方法不同，我們的方法明確地對模內