《Neurocomputing》：MID: a new hierarchical decomposition method based on “Mental Images”
編輯推薦：
為解決傳統層次分解方法難以依據數據內在屬性優化分類結構的問題，研究人員提出了名為Mental Image Decomposition (MID) 的創新框架。該研究利用DRASiW模型的“心理意象”信息構建與數據對齊的優化層次樹，在26個標準數據集上驗證表明，MID在多種機器學習分類器上都顯著提升了F1分數和準確率，尤其能有效提升AdaBoost等集成分類器性能。這項工作為復雜多類分類問題提供了高性能、可解釋性強的新解決方案。
在人工智能領域，讓計算機學會區分貓、狗、汽車、飛機等不同事物是一個基礎而關鍵的任務，這被稱為多類分類。然而，隨著需要區分的類別數量增多，分類器的表現往往會大打折扣。這是因為類別越多，不同類別之間的特征邊界就越模糊，模型學習的難度就越大。此外，現實世界的數據常常是“不平衡”的——比如貓的圖片有1000張，而老虎的圖片只有10張，模型就很容易偏向于預測“貓”。這些挑戰，使得提升多類分類性能成為一個持續的研究熱點。
為了應對這些挑戰，研究人員探索了各種“分而治之”的策略，其中一類方法被稱為層次分解方法。其核心思想是將一個復雜的多類問題，分解成一系列更簡單的二分類子問題，并組織成一個樹狀結構（稱為嵌套二分法）。分類時，樣本從樹根開始，經過一系列“是非”判斷，最終到達代表某個具體類別的葉子節點。這種方法的關鍵在于如何構建這棵“決策樹”——樹的結構好壞，直接影響最終的分類效果。傳統的構建方法，或依賴于隨機劃分，或基于類別中心點等簡單度量，往往難以找到與數據內在結構最匹配的、最優的樹形。
那么，有沒有一種方法，能夠洞察數據的“本質”，從而構建出更優的分類層次呢？近期，Antonio Sorgente和Massimo De Gregorio在《Neurocomputing》上發表的研究，給出了一種新穎而巧妙的答案。他們的靈感來源于一種特殊的神經網絡——DRASiW模型所生成的“心理意象”。
研究人員開展這項研究，旨在解決現有層次分解方法缺乏基于數據內在屬性優化分類結構的機制這一核心問題。他們提出，可以利用DRASiW模型內部形成的、代表各類別本質特征的“心理意象”，來衡量類別間的相似性與差異性，從而指導最優層次樹的構建。他們的研究結果表明，這種基于心理意象的分解方法，能夠顯著提升多種機器學習模型的分類性能，并在與多種現有層次分解方法的對比中取得了領先的綜合排名。這項工作不僅為多類分類問題提供了更強大的工具，也為機器學習模型的可解釋性研究提供了新的視角。
為開展研究，研究人員主要應用了以下幾項關鍵技術方法：首先，核心是基于權重神經網絡的DRASiW模型及其產生的“心理意象”，該模型使用內存單元而非連接權重進行學習，并能生成可視化的類別原型。其次，提出了名為Mental Image Decomposition (MID) 的層次分解框架，該框架利用“心理意象”計算漢明距離和Jaccard指數，以評估和選擇最優的類別二分方案。再者，研究在包含阿爾茨海默病數據在內的26個公開基準數據集上，使用5折和10折交叉驗證進行了廣泛的實驗驗證。最后，通過與12種不同的機器學習分類器以及7種成熟的層次分解方法進行性能對比，并采用F1分數、準確率、增益等指標及Wilcoxon符號秩檢驗、Friedman檢驗進行統計評估。
研究結果
- •
實驗1 – 基線rDABrvs rDABr+ MID
本實驗驗證了MID方法對其基礎模型rDABr的有效性。結果表明，應用MID后，系統在F1分數和準確率上均獲得一致且顯著的提升。在5折交叉驗證中，F1分數平均增益達15.07%，準確率平均增益為14.65%；在10折交叉驗證中，增益分別為9.05%和8.58%。統計檢驗證實這些改進具有高度顯著性。這表明MID的層次分解有效簡化了rDABr的學習任務。
- •
實驗2 – 對MID增強的機器學習方法的評估
本實驗將MID框架應用于包括AdaBoost、K最近鄰、支持向量機等在內的12種不同機器學習分類器。結果顯示，MID能夠普遍提升多種分類器的性能，其中對AdaBoost和K最近鄰的提升效果最為顯著和穩定。統計分析表明，對于絕大多數方法，性能增益是統計顯著的。這表明MID作為一種預處理步驟，對于廣泛的算法族具有普遍的有效性，尤其適用于集成學習和基于距離的方法。
- •
實驗3 – MID與其他層次分解方法的對比
本實驗將MID與七種已有的層次分解方法在四種有代表性的機器學習模型上進行對比。結果表明，MID是性能最優越的方法之一。在10折交叉驗證的準確率指標上，MID在改善的數據集數量上排名第一。綜合所有性能指標和穩定性度量，MID在全局排名中位列第一。這確立了MID在當前層次分解技術中的領先地位。
- •
進一步有趣的結果
對三項實驗結果的整合分析進一步鞏固了MID的優越性。在平均增益、平均差值和排名等綜合指標上，MID在5折和10折交叉驗證協議下均獲得了全局排名第一。這證明MID不僅能帶來更大的性能提升，而且具有更優的穩定性。
研究結論與意義
該研究提出的心理意象分解框架，通過利用DRASiW模型“心理意象”所蘊含的類別本質信息，成功構建出與數據內在結構高度契合的優化層次樹，為解決復雜多類分類問題提供了一種新穎高效的解決方案。
其重要意義主要體現在三個方面：首先，在性能上，MID被證明是當前最有效的層次分解方法之一，能夠顯著且穩定地提升包括其自身基礎模型rDABr以及AdaBoost等多種主流分類器的性能。其次，在可解釋性方面，基于“心理意象”的分解過程本身提供了對類別關系的直觀洞察，增強了模型決策的透明度，與可解釋人工智能的理念相契合。最后，在實際應用上，研究指明了MID方法的最佳應用場景，即它特別適用于與樹狀集成方法、近鄰算法以及本身具有層次結構的數據，為研究者和從業者提供了清晰的選用指南。
總之，這項工作不僅證實了基于數據內部表示（心理意象）來指導層次分解的可行性，而且開發出了一個在實踐中表現卓越的框架。rDABr+ MID組合在性能、可解釋性和計算效率之間取得了良好的平衡，使其在需要高精度與高透明度的實際應用中具有重要價值。未來，該方法可向多叉分解或重疊分解擴展，以構建更淺或更魯棒的決策結構，展現出進一步的發展潛力。
