《Future Generation Computer Systems》：On the integration of Domain Adaptation and Causal Discovery in Digital Twins: A Case Study for Plastic Injection Molding
編輯推薦：
數字孿生技術面臨領域偏移與可解釋性挑戰，本文提出融合領域適應與因果發現的工程框架，通過注塑成型工業數據驗證，顯著提升預測性能與模型可信度。
Gian Marco Paldino | Olivier Caelen | Marouene Oueslati | Marc Ansay | Tojo Valisoa A. Johanesa | Gianluca Bontempi
布魯塞爾自由大學（ULB）機器學習小組，勝利大道 - CP 212，布魯塞爾，1050，比利時
摘要
數字孿生（DT）技術是工業4.0的基礎，但將其從單一資產的復制品轉變為互連的數字孿生生態系統面臨著重大的工程挑戰。在制造業中，這些生態系統由于原材料、環境條件和機器配置的變化而不斷面臨領域轉變，這會降低預測模型的性能和可靠性。此外，許多機器學習模型的黑箱性質阻礙了其在工廠中的信任度和采用。本文提出了一種新的工程框架，用于開發能夠抵御領域轉變的可擴展且可解釋的數字孿生生態系統。我們通過整合DT設計中的兩項關鍵技術來應對這些挑戰：（1）領域適應，以確保在面對新的、未見過的生產條件時，模型仍能保持準確性，且標記數據最少；（2）因果發現，以學習過程動態的可解釋模型，從而增強模型的魯棒性和操作員的信任度。我們使用塑料注塑行業的實際數據驗證了我們的框架。實驗結果表明，領域適應和因果特征選擇之間的協同作用顯著提高了預測性能，為在復雜制造環境中實現更靈活、更可靠的DT生態系統鋪平了道路。
引言
第四次工業革命是由物理世界和數字世界的融合推動的，數字孿生（DT）技術處于其中心[1]。DT是對物理資產、過程或系統的動態虛擬表示，通過實時數據不斷更新。最初是為單一資產設計的，這一愿景已經擴展到互連的數字孿生生態系統，其中多個DT——代表機器、物料流動和整個生產線——協同工作，提供操作的全面系統級視圖[2]。這樣的數字模型網絡有望實現前所未有的效率水平，從預測性維護到全球過程優化。
然而，為像塑料注塑這樣的復雜制造領域設計魯棒的DT面臨著在高層次架構提案中經常被忽視的重大障礙[3]。一個主要挑戰是領域轉變：由于原材料批次的變化、模具更改或環境條件的波動，傳感器數據的底層統計分布可能會發生巨大變化。在一個領域（例如“使用材料X的生產A”）上訓練的預測模型，在應用于另一個領域（例如“使用材料Y的生產B”）時可能會災難性地失敗，從而使DT變得不可靠[4]。這就需要魯棒的適應機制。
第二個同樣關鍵的挑戰是可解釋性和信任度。在許多工業環境中，收集了大量的數據，但控制過程的復雜因果關系仍然不透明。在DT中部署黑箱機器學習模型，而不提供預測原因的洞察，會削弱信任并阻礙有效的人工參與決策。正如[5]所論述的，基于因果關系的建模，而不僅僅是基于統計相關性，是實現真正泛化和魯棒性的關鍵。
為了解決這兩個挑戰，本文提出了一種用于構建自適應和可解釋DT的工程框架。雖然我們的案例研究關注的是單個DT，但該框架的設計考慮到了未來互連生態系統的更廣泛愿景。我們的方法將兩種強大的技術整合到了DT架構的核心：
1. 領域適應（DA）：我們使DT具備僅使用來自目標領域的小量未標記或稀疏標記數據來適應新的、未見過的領域的能力。這確保了DT在各種制造場景中仍然準確和相關。
2. 因果發現（CD）：我們使用因果發現算法從觀測數據中自動學習過程變量之間的因果關系模型。這提供了一個因果信息豐富的特征集，提高了模型的魯棒性，并為操作員提供了對過程動態的可解釋視圖[6]。
需要澄清的是，我們的方法側重于從觀測時間序列數據中進行時間因果發現，超出了靜態方法的范圍。在我們之前的工作[7]中，我們探索了靜態因果發現和靜態領域適應技術。然而，制造過程本質上是動態的，具有復雜的時間依賴性和反饋循環，靜態分析無法捕捉到這些。雖然理論上可以進行受控實驗來提取因果關系，但由于生產限制和經濟成本，這些方法往往不切實際。因此，從正常操作期間收集的觀測數據中學習因果結構提供了一種更可行和全面的方法。
據我們所知，將這兩種技術整合到一個統一的工業DT框架中是一個新穎的貢獻。我們通過塑料注塑行業的案例研究證明了我們框架的有效性，這是一個以其復雜性而聞名的過程。通過使用實際工業數據驗證我們的方法，我們展示了領域適應和因果特征選擇之間的協同作用帶來了顯著的性能提升。本文的主要貢獻包括：
•我們提出了一種用于構建魯棒數字孿生的新工程框架，其中內置了領域適應和因果發現的模塊。
•我們在工業時間序列數據上進行了嚴格的實驗驗證，證明了將領域適應與因果特征選擇相結合可以產生比基線和單獨方法更優越的預測性能。
•我們討論了我們框架的實際影響，包括其對系統可靠性、互操作性的影響，以及可解釋性在促進人工智能驅動的制造系統中的關鍵作用。
本文的結構如下：第2節回顧了相關文獻。第3節提出了問題表述和動機。第4節詳細介紹了我們提出的自適應和因果數字孿生的工程框架。第5節描述了我們在研究中使用的數據集。第6節概述了實驗設置。第7節展示了實驗結果，第8節進行了詳細討論。第9節討論了有效性的威脅。最后，第10節總結了本文并概述了未來的工作。
注塑中的數字孿生
已經探索了在注塑中應用DT來改進控制和質量。例如，[3]提出了一種使用領域特定語言的模型驅動方法來自動化DT開發。同樣，[8]開發了一個DT，使用非線性狀態空間模型從過程變量預測零件質量。其他工作，如[9]和[10]的研究，專注于實時監控和基于AI的控制來檢測故障。這些研究奠定了重要基礎，但主要是
問題表述和動機
數字孿生在工業4.0中的潛力在于它們能夠提供對物理過程的準確、實時的洞察。這通常是通過在歷史傳感器數據上訓練機器學習模型來預測關鍵性能指標或質量結果來實現的。然而，在實際制造中一個根本且經常被低估的挑戰是領域轉變現象，即數據的統計特性會隨時間變化。
自適應和因果數字孿生的框架
為了以結構化的方式應對領域轉變和模型可解釋性的挑戰，我們提出了一個自適應和因果數字孿生（AC-DT）的工程框架。該框架通過模塊化因果推理、實時適應和預測的關鍵功能，超越了單一模型的限制。該架構旨在具有魯棒性和透明度。
數據
在Siris設施進行的數據收集活動使用了田口計劃[21]和實驗設計（DoE）來捕獲分析塑料注塑過程所需的一系列控制輸入和過程變量。該數據集代表了五次不同生產運行的廣泛測量結果，每次生產運行對應一個獨特的產品，從而提供了操作動態和質量的詳細視圖
方法論
本節詳細介紹了我們框架的兩個核心方法論支柱：使用因果發現選擇魯棒特征的數據驅動方法，以及用于通過時間序列縮放將模型適應新領域的技術。
實驗設置
為了嚴格評估領域適應和因果特征選擇的有效性，我們設計了一個全面且計算密集型的實驗方案。該方案模擬了一個真實的部署場景，其中在歷史數據上訓練的預測模型必須適應一個新的、之前未見過的生產運行。本節詳細介紹了實驗設計、評估的配置和性能評估方法。實驗是并行進行的
結果
本節展示了我們全面實驗評估的實證結果，其中包括近100,000次單獨的模型訓練和評估運行。我們的分析采用敘述形式，從最高層次的發現開始，逐步深入到影響模型性能的具體因素。我們的分析利用了統計測試，包括用于總體比較的Friedman測試和用于成對比較的事后Wilcoxon測試
討論
我們廣泛的實證研究結果提供了關于領域適應在工業時間序列預測中作用的細致且有些反直覺的視角。雖然最初的假設是顯式適應是必要的，但我們的發現揭示了更復雜的現實。本節解釋了這些結果，探討了單個批次縮放的關鍵失敗、因果特征選擇的微妙作用，以及對
有效性的威脅
盡管我們的研究設計了一個全面的方案以確保魯棒性，但必須承認其潛在的局限性。對這些威脅的透明評估為我們的發現提供了背景，并指導未來的研究。我們根據標準研究實踐對這些威脅進行了分類。
結論
開發魯棒、智能和可靠的數字孿生是下一代智能制造的基石。然而，從概念架構到有效實際部署的過程中充滿了挑戰，其中最顯著的問題是普遍存在的領域轉變問題。本文提出了迄今為止關于領域適應、因果特征選擇和工業時間序列預測建模之間相互作用的最廣泛實證研究之一
數據和代碼的可用性
為了促進透明度并便于復制我們的研究，用于進行實驗、進行分析和生成本文中圖表的源代碼可根據請求提供。我們計劃在手稿被接受后發布數據集的匿名版本。
寫作過程中生成式AI和AI輔助技術的聲明
在準備這項工作時，作者使用了大型語言模型來提高語言表達和可讀性。使用這項服務后，作者根據需要審查和編輯了內容，并對出版物的內容負全責。
CRediT作者貢獻聲明
Gian Marco Paldino：寫作——審閱與編輯，寫作——原始草稿，可視化，軟件，方法論，概念化。
Olivier Caelen：監督，方法論，形式分析，概念化。
監督，項目管理，資金獲取，概念化。
數據管理。
概念化。
寫作——審閱與編輯，監督，項目管理，
利益沖突聲明
作者聲明他們沒有已知的可能會影響本文報告工作的競爭性財務利益或個人關系。
