《Neurocomputing》：Asymmetric cluster similarity joint learning for unsupervised cross-modal hashing
編輯推薦：
無監(jiān)督跨模態(tài)哈希方法，通過聚類生成偽標簽矩陣并分解為潛在語義特征，結(jié)合對稱性相似度學習與共識表示優(yōu)化，實現(xiàn)高效可擴展的跨模態(tài)檢索。
作者：詹陽（Zhan Yang）、胡世堅（Shijian Hu）、孫龍志（Longzhi Sun）、鄭云曉（Yunxiao Zheng）、尹卓英（Zhuoying Yin）、李一楠（Yinan Li）
中南大學大數(shù)據(jù)研究院，中國長沙，410083
摘要
跨模態(tài)哈希是一種有效的大規(guī)模多媒體檢索解決方案，其優(yōu)勢在于響應速度快且存儲成本低。盡管現(xiàn)有的監(jiān)督學習方法已經(jīng)取得了令人滿意的效果，但它們對標注數(shù)據(jù)的依賴性導致了過高的計算開銷，從而限制了實際應用。為了解決這一問題，我們提出了一種新穎的ACSCH（Asymmetric Cluster Similarity Joint Learning）架構，用于無監(jiān)督的跨模態(tài)哈希。該架構將聚類學習、融合表示分解和不對稱語義哈希整合到一個統(tǒng)一的框架中，無需依賴標簽監(jiān)督。首先，ACSCH通過典型相關分析（Canonical Correlation Analysis）學習不同模態(tài)之間的共同潛在表示，并通過聚類生成偽標簽。隨后對偽標簽矩陣進行分解，以獲取樣本的潛在語義特征，這些特征用于指導共識表示的學習。此外，通過構建一個不對稱哈希學習框架，將共同表示和偽標簽矩陣關聯(lián)起來，從而提高生成哈希碼的區(qū)分能力。在三個基準數(shù)據(jù)集上的廣泛實驗表明，ACSCH的性能與最先進的方法相比具有競爭力，分別在平均mAP上提高了6.85%、3.06%和7.44%，展現(xiàn)了高效且可擴展的跨模態(tài)檢索能力。
引言
多模態(tài)數(shù)據(jù)的普遍存在給傳統(tǒng)信息檢索方法帶來了重大挑戰(zhàn)。在這種背景下，跨模態(tài)檢索成為一項關鍵任務，它使模型能夠跨不同領域進行語義關聯(lián)[1]、[2]、[3]。然而，彌合異構模態(tài)之間的語義差距仍然是一個主要障礙，此外，存儲空間開銷和檢索時間成本也是需要考慮的問題。作為解決方案，跨模態(tài)哈希（CMH）[4]、[5]、[6]旨在將來自不同模態(tài)的數(shù)據(jù)映射到一個共同的漢明空間中，通過緊湊的二進制代碼實現(xiàn)高效檢索。
現(xiàn)有的CMH方法可以根據(jù)語義標簽分為監(jiān)督學習[7]、[8]、[9]和無監(jiān)督學習[10]、[11]、[12]。監(jiān)督學習方法通過利用標注信息來保持模態(tài)間的語義一致性，取得了顯著成果，但需要大量高質(zhì)量的標簽，而這些標簽通常難以獲取且成本高昂。另一方面，無監(jiān)督學習方法不依賴于標注數(shù)據(jù)，但存在語義理解有限的問題，導致區(qū)分能力不足和二進制代碼質(zhì)量不佳。然而，在現(xiàn)實世界中，大多數(shù)數(shù)據(jù)都是未標注的，因此無監(jiān)督方法在大規(guī)模場景中更為實用。
K均值聚類[13]、[14]、[15]因其簡單性和有效性而受到關注，它根據(jù)相似性指標將數(shù)據(jù)分組到K個預定義的簇中。通過迭代地將點分配到最近的質(zhì)心并更新質(zhì)心以最小化簇內(nèi)方差，K均值聚類能夠在沒有監(jiān)督信息的情況下識別潛在的組，不僅突顯了無監(jiān)督學習處理大量非結(jié)構化數(shù)據(jù)的能力，也為定量學習和集成方法提供了基礎，體現(xiàn)了其在現(xiàn)代數(shù)據(jù)驅(qū)動研究中的持久相關性。
因此，基于聚類的無監(jiān)督哈希提供了一種有效的方法，可以直接從未標注數(shù)據(jù)中揭示潛在模式和語義關系。與依賴手動標注樣本的監(jiān)督方法不同，無監(jiān)督方法使模型能夠自主推斷數(shù)據(jù)分布中的內(nèi)在相關性，支持語義發(fā)現(xiàn)和數(shù)據(jù)探索等廣泛應用。在跨模態(tài)檢索的背景下，這一特性尤為重要，因為無監(jiān)督CMH在標簽成本過高或不可行的實際場景中更具可擴展性和適應性。然而，盡管現(xiàn)有的無監(jiān)督CMH方法取得了令人鼓舞的進展，但仍存在幾個關鍵挑戰(zhàn)限制了檢索性能，尤其是未能充分利用本可以提供強大偽監(jiān)督信號的潛在語義結(jié)構。
為了解決監(jiān)督學習和無監(jiān)督學習方法的局限性，本文提出了一種新穎的ACSCH（Asymmetric Cluster Similarity Learning）策略，用于無監(jiān)督的跨模態(tài)哈希。其核心思想是通過聚類生成語義監(jiān)督，而不是依賴真實標簽。首先，多模態(tài)特征通過典型相關分析（CCA）[16]投影到一個共同的潛在空間中。
接著，利用聚類生成偽標簽矩陣，然后對其進行分解以提取實例的潛在語義信息。同時，將這些特征與原始特征對齊，從而學習能夠捕捉模態(tài)不變語義的共識表示。為了彌合連續(xù)表示和二進制代碼之間的差距，我們采用了量化感知的目標函數(shù)，并實施了信息論約束（如位平衡和獨立性），整個過程被構建為一個聯(lián)合優(yōu)化問題。與依賴固定偽標簽或硬聚類的現(xiàn)有基于聚類的哈希方法不同，我們提出了一個利用分解偽監(jiān)督的無監(jiān)督跨模態(tài)哈希框架。主要貢獻如下：
•我們提出了一種簇級相似性構建策略，以替代不穩(wěn)定的實例級估計，從而產(chǎn)生更可靠的偽監(jiān)督信號，抵抗噪聲和模態(tài)特定變化。
•我們將偽標簽矩陣分解為表示樣本隱藏語義的潛在因子矩陣，捕捉不同模態(tài)之間的豐富語義結(jié)構。
•我們開發(fā)了一個統(tǒng)一的學習框架，將聚類感知的語義結(jié)構整合到共識表示和哈希函數(shù)學習中，生成更具區(qū)分性和語義一致性的哈希碼。
本文的結(jié)構如下：第2節(jié)回顧哈希學習相關內(nèi)容；第3節(jié)詳細解釋每個模塊，進一步總結(jié)目標函數(shù)并優(yōu)化訓練過程；第4節(jié)將ACSCH與最先進方法進行對比，并通過消融研究評估其有效性；第5節(jié)總結(jié)結(jié)論。
相關工作
相關研究
為了在低存儲成本和快速響應的時間內(nèi)彌合大規(guī)模多模態(tài)數(shù)據(jù)之間的語義差距，跨模態(tài)哈希成為了一種有前景的解決方案，它旨在學習一種緊湊的二進制表示，以實現(xiàn)高效且可擴展的跨模態(tài)檢索。此外，CMH可以分為監(jiān)督學習方法和無監(jiān)督學習方法。
符號說明
數(shù)據(jù)集包含種模態(tài)，其中表示模態(tài)的維度，表示實例數(shù)量。假設實例最終被映射到漢明空間中的哈希碼，保留語義關聯(lián)，表示哈希碼的長度。此外，矩陣和向量分別用粗體和斜體字母表示。表示的轉(zhuǎn)置，tr()表示跡。主要符號列在表1中。
核化
采用RBF核函數(shù)進行映射
數(shù)據(jù)集
為了全面評估提出的ACSCH的性能，我們在三個基準數(shù)據(jù)集上進行了跨模態(tài)檢索任務實驗：IAPR-TC12[52]、MIRFlickr[53]和NUS-WIDE[54]。對于IAPR-TC12數(shù)據(jù)集，訓練集包含18,000對圖像-文本對；對于MIRFlickr數(shù)據(jù)集，隨機選擇了18,015對圖像-文本對作為訓練集；對于NUS-WIDE數(shù)據(jù)集，指定了10個公認的概念作為訓練集和測試集。
結(jié)論
本文提出了一種創(chuàng)新的跨模態(tài)哈希聚類相似性學習框架，該框架利用CCA將異構數(shù)據(jù)整合到一個統(tǒng)一空間中，進一步通過聚類生成偽標簽，并將相應的矩陣分解為潛在語義因子。為了提高模型的區(qū)分能力，基于偽標簽矩陣和共識表示建立了不對稱哈希學習架構，從而提高了模型的性能。
CRediT作者貢獻聲明
詹陽（Zhan Yang）：撰寫 – 審稿與編輯、撰寫 – 原始草稿、可視化、軟件、資源、方法論、研究調(diào)查、資金獲取、概念化。胡世堅（Shijian Hu）：撰寫 – 審稿與編輯、撰寫 – 原始草稿、監(jiān)督、軟件、方法論、研究調(diào)查、概念化。孫龍志（Longzhi Sun）：驗證、監(jiān)督、研究調(diào)查、形式分析。鄭云曉（Yunxiao Zheng）：撰寫 – 審稿與編輯、軟件。尹卓英（Zhuoying Yin）：監(jiān)督、資源、方法論、資金獲取。
利益沖突聲明
作者聲明他們沒有已知的財務利益或個人關系可能影響本文的研究工作。
致謝
本研究部分得到了湖南省自然科學基金（2025JJ40057）和中國國家自然科學基金（62202501）的支持。
詹陽于2020年在中國長沙的中南大學獲得計算機科學與技術博士學位。他目前是中南大學大數(shù)據(jù)研究院的副教授，研究興趣包括多媒體檢索、計算機視覺和模式識別。
