基于豪斯多夫(Hausdorff)權(quán)重的對(duì)比融合方法在多視圖聚類中的應(yīng)用
《Knowledge-Based Systems》:Hausdorff-weighted contrastive fusion for multi-view clustering
【字體:
大
中
小
】
時(shí)間:2026年03月03日
來源:Knowledge-Based Systems 7.6
編輯推薦:
多視圖聚類、對(duì)比學(xué)習(xí)、自適應(yīng)加權(quán)、Hausdorff距離、特征融合|
李子琦|廖俊杰|張永紅|孫軍|徐天陽(yáng)
中國(guó)江蘇省無錫市無錫大學(xué)自動(dòng)化學(xué)院,214105
摘要
近年來,多視圖聚類(MVC)已成為一個(gè)重要的研究方向,因?yàn)樗軌蛘蟻碜圆煌晥D的信息,并捕捉到共享和互補(bǔ)的特征。盡管取得了顯著進(jìn)展,但仍存在兩個(gè)關(guān)鍵挑戰(zhàn)尚未解決:如何在特征學(xué)習(xí)過程中減輕某些視圖的判別信息損失,以及如何在統(tǒng)一的聚類框架內(nèi)有效平衡異構(gòu)視圖的貢獻(xiàn)。為了解決這些問題,我們提出了一種名為Hausdorff加權(quán)對(duì)比融合的多視圖聚類方法(HCFMVC)。具體來說,我們構(gòu)建了一個(gè)多層次融合框架來捕獲多個(gè)語(yǔ)義層面的特征,從而減輕單個(gè)視圖中信息損失的不利影響。然后,我們通過最大化每個(gè)視圖與全局融合表示之間的一致性來提高表示質(zhì)量,使學(xué)習(xí)到的特征既具有視圖特異性又具有全局一致性。此外,與通常依賴固定或平均權(quán)重的傳統(tǒng)方法不同,我們引入了Hausdorff權(quán)重來衡量單個(gè)視圖特定特征和全局語(yǔ)義分布之間的結(jié)構(gòu)距離。這種策略在對(duì)比學(xué)習(xí)過程中動(dòng)態(tài)調(diào)整視圖貢獻(xiàn),有效處理視圖不可靠性問題,確保聚類過程的穩(wěn)健性。來自十一個(gè)廣泛使用的數(shù)據(jù)集的結(jié)果驗(yàn)證了所提出方法的有效性,其性能可與當(dāng)前領(lǐng)先的MVC技術(shù)相媲美甚至更好。源代碼可以在我的個(gè)人頁(yè)面上公開獲取:
https://github.com/li-zi-qi/HCFMVC。
引言
隨著數(shù)據(jù)收集技術(shù)的進(jìn)步,對(duì)多視圖數(shù)據(jù)的需求顯著增加。因此,多視圖數(shù)據(jù)的分析和應(yīng)用受到了越來越多的關(guān)注。與單視圖數(shù)據(jù)相比,多視圖設(shè)置中的每個(gè)單獨(dú)視圖提供的信息通常有限,不足以學(xué)習(xí)出具有判別力的特征。為了解決這一限制,多視圖特征學(xué)習(xí)專注于聯(lián)合利用不同視圖中的共同特征和視圖特定特征,從而生成比任何單個(gè)視圖都更具代表性和判別力的數(shù)據(jù)嵌入[1]。為此,設(shè)計(jì)了各種方法論框架來處理和利用多視圖的信息。特別是在無監(jiān)督設(shè)置中,多視圖聚類(MVC)作為一種關(guān)鍵挑戰(zhàn)出現(xiàn),它旨在將具有相似模式的樣本分組到多個(gè)視圖中,這在機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域都非常重要。
當(dāng)前關(guān)于MVC的研究主要遵循兩條不同的路線:傳統(tǒng)MVC方法和深度MVC方法。具體來說,傳統(tǒng)MVC方法包括基于核的方法[2]、[3]、[4]、基于圖的方法[5]、[6]、[7]以及基于子空間的方法[8]、[9]、[10]。基于核的MVC方法利用核融合將異構(gòu)視圖特征映射到一個(gè)統(tǒng)一的空間中,增強(qiáng)了它們的線性判別能力。基于圖的MVC方法利用視圖間的相似性線索來推斷共識(shí)圖結(jié)構(gòu),然后使用圖劃分技術(shù)得出聚類結(jié)果。另一方面,基于子空間的方法將數(shù)據(jù)嵌入到低維潛在空間中,并利用矩陣分解或表示學(xué)習(xí)等技術(shù)來捕捉不同視圖之間的共享子空間結(jié)構(gòu)。盡管傳統(tǒng)MVC方法展示了有希望的性能,并提供了相對(duì)清晰的學(xué)習(xí)模型,但它們的淺層架構(gòu)和有限的特征提取能力限制了它們有效建模復(fù)雜數(shù)據(jù)分布的能力。
基于深度神經(jīng)網(wǎng)絡(luò)捕捉復(fù)雜非線性模式的能力,基于深度學(xué)習(xí)的MVC(DMVC)方法[11]、[12]最近受到了越來越多的關(guān)注,其他類似方法[13]、[14]通常使用編碼器網(wǎng)絡(luò)從每個(gè)單獨(dú)視圖中提取判別特征。此外,通過整合跨視圖的學(xué)習(xí)表示,可以獲得更具信息量和判別力的全局特征。一般來說,DMVC方法可以分為兩種主要范式:非融合方法和基于融合的方法[15]、[16]。
非融合方法學(xué)習(xí)輸入數(shù)據(jù)多個(gè)視圖之間語(yǔ)義上共享的信息,從而有助于發(fā)現(xiàn)視圖不變的模式。相比之下,基于融合的方法明確地整合了跨視圖的信息,旨在學(xué)習(xí)捕捉互補(bǔ)特征的全局表示。由于它們?cè)诮?缫晥D交互方面的強(qiáng)大能力,基于融合的方法已成為近期研究的重點(diǎn)。
基于融合的深度MVC模型通常采用深度神經(jīng)架構(gòu)來學(xué)習(xí)多視圖數(shù)據(jù)的嵌入表示。這些嵌入通常通過加權(quán)求和或直接連接進(jìn)行融合。得到的全局表示本質(zhì)上包含了每個(gè)視圖的共同信息和私有信息。為了減輕每個(gè)視圖特有的私有信息對(duì)聚類性能的不利影響,提出了幾種方法來通過各種策略對(duì)齊視圖表示。例如,一些工作[18]、[19]使用對(duì)抗學(xué)習(xí)來對(duì)齊跨視圖的潛在特征分布;然而,這種方法可能導(dǎo)致過度對(duì)齊,從而失去視圖特定的優(yōu)先級(jí)并模糊了潛在的聚類結(jié)構(gòu)。另一方面,引入了對(duì)比學(xué)習(xí)(CL)來增強(qiáng)跨視圖的對(duì)齊。盡管在實(shí)證上取得了成功,但仍存在一些限制:(1)大多數(shù)現(xiàn)有的基于融合的方法依賴于加權(quán)融合或線性連接,這通常無法捕捉多個(gè)視圖之間的共同和獨(dú)特一致性信息。在訓(xùn)練過程中,一個(gè)或多個(gè)視圖的信息可能會(huì)丟失,導(dǎo)致全局表示不完整或有偏。 (2)在大多數(shù)MVC的CL框架中,所有視圖都被平等對(duì)待,而沒有考慮不同視圖的可信度和信息量的差異。傳統(tǒng)的權(quán)重策略通常使用固定權(quán)重或均勻平均,這無法捕捉不同視圖之間的復(fù)雜結(jié)構(gòu)差異。因此,當(dāng)存在噪聲或冗余信息時(shí),它們無法準(zhǔn)確反映不同視圖的重要性,從而導(dǎo)致次優(yōu)的對(duì)齊。
為了解決上述挑戰(zhàn),我們提出了一種名為Hausdorff加權(quán)對(duì)比融合的多視圖聚類新框架(HCFMVC),如圖1所示。具體來說,為了解決問題(1),我們?cè)O(shè)計(jì)了一個(gè)多層次融合框架,利用多層感知器(MLP)來捕捉低級(jí)特征和高級(jí)特征。此外,我們引入了一個(gè)專門的視圖融合網(wǎng)絡(luò)KANet,它由兩個(gè)KANLinear層[20]組成,旨在提取更豐富和更具信息量的全局特征。為了解決問題(2),我們提出了一種用于多視圖對(duì)比聚類的自適應(yīng)融合機(jī)制。與現(xiàn)有的權(quán)重策略相比,我們的Hausdorff權(quán)重捕捉了單個(gè)視圖特定特征和全局語(yǔ)義分布之間的結(jié)構(gòu)距離。具體來說,使用每個(gè)視圖的軟聚類分配來衡量這些視圖間的差異,使模型能夠在對(duì)比學(xué)習(xí)過程中動(dòng)態(tài)調(diào)節(jié)每個(gè)視圖的貢獻(xiàn)。這確保了更可靠的視圖得到強(qiáng)調(diào),同時(shí)抑制了噪聲或冗余視圖的影響,從而表現(xiàn)出比傳統(tǒng)固定或平均權(quán)重更好的區(qū)分性和穩(wěn)健性。總結(jié)來說,本工作的主要貢獻(xiàn)如下:
1.我們提出了一種新的多層次融合框架,可以捕捉跨視圖的多層次特征結(jié)構(gòu)。通過采用這種設(shè)計(jì),模型可以捕捉跨視圖的一致信息,并促進(jìn)全局判別特征的獲取。
2.我們引入了一種自適應(yīng)加權(quán)多視圖對(duì)比聚類策略,該策略在使用組合表示的對(duì)比學(xué)習(xí)中平衡了高級(jí)特征的貢獻(xiàn),從而獲得了更好的聚類結(jié)果。
3.在十個(gè)廣泛使用的數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證實(shí),所提出的方法比幾種現(xiàn)有的先進(jìn)技術(shù)具有更好的聚類準(zhǔn)確性。
本文的結(jié)構(gòu)如下。第2節(jié)回顧了相關(guān)文獻(xiàn)。第3節(jié)介紹了HCFMVC方法,第4節(jié)涵蓋了在公共數(shù)據(jù)集上的實(shí)驗(yàn)設(shè)置和性能評(píng)估。第5節(jié)總結(jié)了主要結(jié)果和貢獻(xiàn)。
部分摘錄
基于融合的多視圖聚類
通過利用多個(gè)視圖之間的一致性和互補(bǔ)性,基于融合的MVC方法將多視圖聚類任務(wù)轉(zhuǎn)化為單視圖表示問題,提供了一種有效且直接的方法。這種策略在淺層和深度學(xué)習(xí)模型中得到了廣泛探索[21]、[22]。早期的工作主要采用了線性連接和加權(quán)融合技術(shù)。例如,G. Ke[23]直接應(yīng)用線性連接來合并多視圖數(shù)據(jù)
方法論
給定一個(gè)數(shù)據(jù)集,其中V表示視圖的總數(shù),N表示樣本的數(shù)量,每個(gè)視圖特定的數(shù)據(jù)矩陣定義為。第v個(gè)視圖中的第i個(gè)樣本表示為,它對(duì)應(yīng)于Xv的第i行。MVC的最終目標(biāo)是根據(jù)所有V視圖的互補(bǔ)和共享信息將每個(gè)樣本分配到K個(gè)簇中的一個(gè)。為了清晰起見,主要符號(hào)列在表1中。
數(shù)據(jù)集
我們使用幾個(gè)公開可用的多視圖數(shù)據(jù)集來評(píng)估所提出的方法,它們的詳細(xì)信息總結(jié)在表2中。
- •
BDGP [45]:BDGP包含2,500個(gè)來自黑腹果蠅的基因表達(dá)樣本。每個(gè)樣本都提供了視覺和文本模態(tài)的特征,使其成為一個(gè)具有代表性的多模態(tài)數(shù)據(jù)集。
- •
Handwritten [46]:該數(shù)據(jù)集包含10個(gè)類別,代表數(shù)字0–9,每個(gè)類別有200個(gè)樣本。在我們的實(shí)驗(yàn)中,
結(jié)論
本研究提出了一種加權(quán)對(duì)比融合方法,該方法提取多層次特征以利用不同視圖之間的互補(bǔ)和一致信息。為了獲得更具判別力的全局特征,我們?cè)O(shè)計(jì)了一個(gè)專門的融合網(wǎng)絡(luò)。此外,我們引入了一種HW策略來指導(dǎo)CL,以減輕直接對(duì)齊造成的不利影響。我們?cè)诙鄠(gè)廣泛使用的基準(zhǔn)數(shù)據(jù)集上驗(yàn)證了所提出的方法,結(jié)果表明其效果顯著
CRediT作者貢獻(xiàn)聲明
李子琦:寫作——審稿與編輯、監(jiān)督、資源管理、項(xiàng)目管理、方法論、資金獲取、概念化。廖俊杰:寫作——原始草稿、可視化、驗(yàn)證、軟件開發(fā)、調(diào)查、形式分析、數(shù)據(jù)管理。張永紅:資源管理、項(xiàng)目管理、資金獲取。孫軍:監(jiān)督。徐天陽(yáng):監(jiān)督。
利益沖突聲明
作者聲明他們沒有已知的財(cái)務(wù)利益或個(gè)人關(guān)系可能影響本文報(bào)告的工作。
致謝
本研究部分得到了中國(guó)國(guó)家重點(diǎn)研發(fā)計(jì)劃(2021YFE0116900)、國(guó)家自然科學(xué)基金(42175157, 42475151)、江蘇省高等教育機(jī)構(gòu)自然科學(xué)研究一般項(xiàng)目(22KJB520037)、無錫市“太湖之光”科技項(xiàng)目(K20231003)以及無錫大學(xué)引進(jìn)人才研究啟動(dòng)基金(2021r032)的支持。
生物通微信公眾號(hào)
生物通新浪微博
- 搜索
- 國(guó)際
- 國(guó)內(nèi)
- 人物
- 產(chǎn)業(yè)
- 熱點(diǎn)
- 科普
今日動(dòng)態(tài) |
人才市場(chǎng) |
新技術(shù)專欄 |
中國(guó)科學(xué)人 |
云展臺(tái) |
BioHot |
云講堂直播 |
會(huì)展中心 |
特價(jià)專欄 |
技術(shù)快訊 |
免費(fèi)試用
版權(quán)所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
聯(lián)系信箱:
粵ICP備09063491號(hào)