《Applied Soft Computing》：Vibration smart language model: A study on intelligent operation and maintenance and decision support system based on multimodal data fusion
編輯推薦：
本研究提出智能振動分析系統VSLM，集成專業大語言模型、振動信號轉換器、深度診斷合成器和自主知識導航器，通過LLaMA3-8B模型微調實現振動信號的多模態處理與故障診斷，結合實時知識檢索提升工業場景適應性，實驗表明其診斷準確率超越ISO三級振動分析師，為智能運維提供新方案。
楊宇軒|景佳瑞|冉光勝|王天陽|張光耀|張宇晨|趙建成|馬一凡|李學義
東北林業大學機械與電氣工程學院，哈爾濱150040，中國
摘要
在智能運維領域，振動分析嚴重依賴于經驗豐富的分析師。然而，這種依賴專家的方法不僅診斷過程耗時，還容易受到主觀偏見的影響，增加了出錯的風險。為了解決這些問題，本文提出了一種創新的振動智能語言模型（VSLM），旨在解決智能運維中的核心問題。該模型整合了四個關鍵模塊：專業大型語言模型（PLLM）、振動文本轉換器（VTC）、深度振動診斷合成器（DVDS）和自主知識導航器（AKN）。本文對LLaMA3–8B模型進行了微調，構建了PLLM模塊，顯著提升了模型在故障診斷和決策支持方面的性能。該系統提供了兩種處理振動信號的方法：一種通過VTC模塊將振動信號轉換為數學特征并生成文本描述；另一種直接使用DVDS模塊生成診斷結果，并以提示的形式輸入PLLM模塊，從而實現對多模態信號的智能處理。為了增強系統的實時能力和可靠性，引入了AKN模塊，以支持領域特定知識的即時檢索和整合，確保系統能夠適應行業的動態需求。實驗結果表明，該系統在振動信號處理、故障診斷和運營決策準確性方面優于ISO 3級振動分析師，展示了廣泛的應用前景，并顯著推動了智能運維技術的發展。
引言
在工業轉型過程中，自動化、數字化和智能技術已成為推動產業創新和發展的核心力量。智能制造設備的應用正在逐漸普及，特別是在高風險、高強度或重復性工作環境中。在這些情況下，自動化設備替代傳統的手動操作已成為提高生產效率、確保安全和降低勞動強度的關鍵手段[1]，[2]。然而，設備故障仍然是生產過程中不可避免的問題，尤其是在長時間和高頻率運行的情況下，智能制造設備容易出現性能下降和故障[3]。因此，迫切需要一個能夠實時監控設備狀態、預測潛在故障風險并提供及時有效維護策略的智能運維（IoT）系統[4]，[5]，[6]。引入此類系統不僅有助于減少意外設備停機時間和降低生產成本，還能顯著提高整體生產安全性，確保操作順暢高效。
傳統的故障診斷方法主要依賴于專家知識，這使得診斷過程耗時且容易受到人為偏見的影響，從而增加了誤診的風險[7]。相比之下，基于大數據分析和機器學習的智能故障診斷方法可以從運行數據中自動推斷故障類型，顯著提高診斷的效率和準確性[8]。近年來，許多研究探索了機器學習和深度學習在故障診斷中的應用。深度神經網絡（DNN）、卷積神經網絡（CNN）和長短期記憶網絡（LSTM）等模型已廣泛應用于振動信號分析、時間序列預測和異常檢測等領域[9]，[10]。深度學習可以自動提取特征，無需手動特征工程，從而更精確地檢測設備故障的細微變化。此外，遷移學習和自我監督學習等技術增強了模型的診斷能力，尤其是在數據有限的場景中[11]。
盡管這些智能診斷方法具有顯著優勢，但大多數研究主要集中在故障類型識別上，而在后續維護決策方面的整合仍然有限[12]。故障診斷應結合設備的維護歷史和運行狀態來制定適當的維修策略。然而，現有系統仍然依賴專業的振動分析師進行診斷分析，這在資源有限的環境中帶來了挑戰[13]。因此，開發不依賴于專家分析師的智能診斷和維護決策系統已成為智能運維領域的一個關鍵挑戰[14]。
近年來，大型語言模型（LLMs）如GPT-4、ChatGPT和LLaMA在自然語言處理（NLP）領域取得了重大突破，特別是在多模態數據整合方面[15]，[16]。這些模型不僅能夠處理文本數據，還能整合圖像、聲音和視頻等多種形式的數據，展現出在多個領域的強大應用潛力[17]。例如，結合文本和圖像數據的LLM已被用于輔助醫學圖像診斷和自動駕駛系統的決策[18]，[19]。針對特定行業的LLM，如Bloomberg GPT、Law GPT和Bio GPT，已經出現，以滿足特定行業需求，提高了數據分析和決策效率[20]，[21]，[22]。此外，LLM在教育和客戶服務中也展示了良好的能力，通過個性化輔導和智能客戶支持改善了學習成果和用戶體驗[23]，[24]。這些進展凸顯了LLM如何推動AI在各個行業的應用，顯著擴展了AI的邊界并提供了廣闊的前景。在智能故障診斷和運維領域，LLM的應用逐漸受到廣泛關注。孫等人[25]提出了一種基于LLM的數字孿生架構，通過整合多模態數據有效提升了故障診斷能力。然而，在處理復雜數據時仍存在挑戰。鄭等人[26]引入了一種基于LLM的診斷方法，對鐵路實驗數據進行了微調以進行分類。然而，這種方法的推理機制仍有待進一步創新和改進。芮等人[27]，[28]，[29]利用工業信號進行特征提取，盡管他們的方法有助于分析，但在特定領域內的精度仍存在挑戰，可能會影響故障診斷和維護建議的有效性，從而影響系統的整體安全性。目前，LLM在專門故障診斷、振動信號處理和制定有效維護決策方面仍面臨限制[30]，[31]，[32]，[33]，[34]。
為了解決智能運維中的核心問題，本研究提出了一種創新的振動智能語言模型（VSLM）。首先，對LLaMA3–8B模型進行了領域特定數據的微調，開發了專業大型語言模型（PLLM）模塊，顯著提升了其在專門應用中的能力。對于振動信號分析，設計了兩個模塊：振動文本轉換器（VTC）和深度振動診斷合成器（DVDS）。VTC模塊從振動信號中提取數學特征并轉換為文本描述，具有較高的通用性和適應性。相比之下，DVDS模塊專注于特定的工業條件，使用判別分析生成精確的診斷文本，特別是對于齒輪和軸承等旋轉機械。生成的文本隨后傳遞給PLLM模塊。為了提高模型可靠性并減少不熟悉領域的錯誤，研究引入了自主知識導航器（AKN），支持實時查詢和與外部知識庫的整合。實驗結果表明，該系統有效解決了智能維護中的關鍵挑戰，性能優于現有的LLM方法，并實現了三層振動分析的人際水平診斷能力。本研究的主要貢獻如下：
1.本研究提出了一種創新的振動信號分析系統，包括VTC模塊和DVDS模塊。該系統可以將振動信號轉換為數學特征，通過信號到文本模塊生成文本描述，或直接使用DVDS模塊生成診斷報告。這些文本描述或診斷報告隨后以提示的形式輸入PLLM模塊。
2.為了解決LLM在處理未知領域時可能產生的潛在錯誤，本研究引入了AKN模塊。該模塊支持實時查詢和整合在線領域特定知識庫，迅速獲取最新領域信息，確保系統能夠適應不斷變化的行業需求。
3.本研究利用基于ChatGPT 3.5的技術框架，結合Python自動化腳本，使用專門的數據集生成了超過10,000對智能運維領域的問答對。然后對LLaMA3–8B模型進行了微調，使其能夠更準確地處理智能運維任務。
4.所提出的VSLM整合了四個核心模塊：PLLM模塊、VTC模塊、DVDS模塊和AKN模塊。通過無縫結合這些模塊，作者開發了一個能夠處理振動信號和文本數據模態的智能診斷和維護系統。
部分片段
信號描述
在機械設備的維護過程中，專家分析監測信號以支持故障診斷和決策。通過結合理論知識、實踐經驗以及統計學和信號處理方法，他們從數據中提取數學特征來評估設備狀態、預測故障并制定維護策略。這些特征對于故障檢測和維護決策至關重要，準確的描述有助于數據處理
數據集來源
本研究使用的微調語料庫系統地收集了來自多種高質量來源的資料，包括學術出版物、教科書和維護手冊、振動分析師培訓材料以及相關的國際標準。對于文獻部分，我們優先選擇了來自權威期刊和會議的代表性論文，如《機械工程雜志》、《振動與沖擊》以及PHM會議論文，通過IEEE Xplore和SpringerLink檢索實驗設置
本研究的開發環境是64位Windows 10操作系統，硬件包括NVIDIA A100 GPU和32 GB RAM，以確保深度學習模型的高效訓練和推理。開發使用Python 3.10進行。系統部署時，AKN、DVDS和VTC模塊托管在邊緣節點上，而大規模PLM的未量化推理實例部署在云端。實驗設計包括五個關鍵評估，以全面結論
總之，本研究提出了一種新穎的智能振動系統，該系統整合了PLLM、VTC和DVDS，以解決智能運維中的信號處理、故障診斷和維護決策挑戰。此外，系統還包含了AKN模塊，以實現實時知識檢索和整合。這一綜合框架有效彌合了傳統依賴專家的振動分析和現代智能運維系統之間的差距。
未來展望
未來的研究將專注于通過先進的領域適應技術提高系統的泛化能力，并結合額外的數據模態（如熱成像和聲學信號）來擴展其故障診斷能力。同時，我們將研究在工業邊緣環境中部署知識增強型診斷模型的有效策略：通過輕量級模型壓縮、設備上的量化和本地增量CRediT作者貢獻聲明
李學義：概念化。趙建成：可視化，項目管理。馬一凡：可視化。張宇晨：調查。王天陽：方法論。張光耀：監督，形式分析。景佳瑞：驗證，軟件。冉光勝：方法論，數據整理。楊宇軒：撰寫 – 審稿與編輯，撰寫 – 原稿，可視化。
利益沖突聲明
作者聲明他們沒有已知的財務利益或個人關系可能影響本文所述的工作。致謝
本工作部分得到了國家自然科學基金（52505091）和中國博士后科學基金（資助編號2025M781308）的支持。
