數據的數量和質量對于獲得健壯且具有代表性的機器學習模型至關重要。然而，盡管如今有大量的數據可用于模型訓練，但有時有用的信息卻被忽略了。例如，某些高質量的特征在訓練時可用，但在部署時卻無法使用。這類特征被稱為特權信息，屬于“利用特權信息進行學習”（LUPI）范式的范疇[1]。在臨床領域可以找到特權信息的一個應用實例[2]、[3]。假設我們的目標是根據提供的圖像自動分類活檢結果（癌癥與非癌癥）。幾天后，治療師會提供關于活檢結果的詳細報告。這些信息作為特權信息，可以用于模型訓練。然而，在部署時，患者的診斷僅基于活檢圖像來進行。與傳統的監督學習范式不同，后者處理的是成對的數據點${\{(x_i,y_i)i=1n}_{}^{}$，而LUPI則處理的是三元組${\{(x_i,x_i}_{}^{},y_i)i=1n$，其中包含常規特征$x_i\in R^l$、特權特征$x_i$和標簽y_i。

LUPI范式與“教師-學生”模型思想相關[1]。假設學生正在準備考試，所有理論內容構成了常規特征。然而，在課堂上，學生可以利用教師提供的特權信息，比如可能出現在最終考試中的重點內容或問題。因此，教師幫助學生專注于關鍵概念的學習，但這種幫助在最終考試中是不可用的。

一種廣泛用于解決LUPI范式的方法是從常規特征中預測特權信息，并利用這些預測結果進行訓練和部署。這種方法稱為知識轉移[2]、[3]、[4]，旨在將特權空間中的知識傳遞到常規空間。具體來說，這個過程分為兩個階段：首先從常規特征中預測特權信息（稱為特權預測任務）；然后利用預測到的特權特征和常規特征一起來預測標簽（稱為目標任務）。盡管現有方法分別學習這兩個任務（見圖1a），但我們建議將這兩個任務作為一個多任務學習問題來共同解決[5]、[6]（見圖1b）。這種方法通過并行學習任務來增強泛化能力，因為每個任務的學習成果可以幫助其他任務更好地學習[6]。通過同時訓練多個任務，模型傾向于學習更通用的表示，而不僅僅是記住單個任務的特性。此外，這還可以通過防止模型過度專業化來降低過擬合的風險[7]。這種效果還得益于共享通用表示，使模型能夠利用任務之間的關系[6]。多任務學習從相關的任務（如特權預測任務和目標任務）中受益。因此，我們在特權學習框架中考慮了多任務框架，以提高模型性能。

除了多任務學習在特權范式中提供的優勢外，我們還發現了其他有效的處理LUPI范式的方法。具體來說，我們采用了知識蒸餾[8]、[9]技術，它借鑒了“教師-學生”的概念。知識蒸餾的目標是將利用特權信息（無論是獨立學習[9]還是與常規特征一起學習[10]、[11]）獲得的知識，傳遞給僅使用常規特征學習的“學生”。由于知識蒸餾對特權學習的有益作用，我們將它嵌入到了多任務特權學習中。需要注意的是，這兩種技術是互補的，可以在同一個學習框架中使用。多任務學習可以從特權預測任務和目標任務中共同學習，而知識蒸餾則允許將高質量的信息從利用真實特權信息學習的“教師”那里傳遞過來。這種整合使得特權信息可以從兩個互補的角度被利用：知識蒸餾中使用的教師模型和多任務學習框架中的特權預測任務。值得注意的是，蒸餾過程會影響目標任務，但特權預測任務保持不變（見圖2）。此外，與現有的特權蒸餾方法[8]、[10]、[11]不同，學生不僅可以訪問常規特征，還可以依賴特權預測結果。因此，多任務特權學習通過兩種特權蒸餾方法來實現：傳統的特權特征蒸餾（PFD）[11]和教師特權蒸餾（TPD）[10]，后者專注于處理不完美的“教師”模型。

在這項工作中，我們結合了多任務學習和知識蒸餾的優勢來改進LUPI范式。多任務學習有助于更好的泛化[5]、[6]，而蒸餾有助于在教師和學生之間傳遞特定信息[8]、[9]。據我們所知，這種組合代表了一種新的方法，它將兩種方法的優勢整合到了一個模型中。因此，本文的主要貢獻如下：•

我們提出了一個多任務特權框架（MTP）：從多任務的角度出發，解決了帶有知識轉移的LUPI問題。與傳統方法將特權預測任務和目標任務視為順序過程不同，我們提出的MTP框架采用了聯合學習策略。這種同步優化促進了更豐富的交互和更有效的特權信息利用。

•

我們開發了一種改進的多任務特權（MTP）框架，并結合了知識蒸餾技術，以更有效地利用特權信息。具體來說，提出了結合PFD[11]（MTP-PFD）和TPD[10]（MTP-TPD）的多任務特權框架。

•

我們分析了評估實例中錯誤分類的原因：錯誤是由于特權特征的預測不準確，還是由于教師提供的信息有誤？此外，我們還提出了一些見解，以調整提出的多任務特權學習方法，試圖糾正錯誤分類的實例。

本文的其余部分組織如下：第1節介紹相關工作；第2節闡述了我們的多任務特權學習方法；第3節展示了某些表格數據和圖像數據的實驗結果；第4節進一步探討和理解了這些方法；最后，第5節總結了全文。