強化學習（RL）已成為現代最具前景的技術之一（Dogru等人，2024年；Shin等人，2019年）。自從首次展示將神經網絡（NNs）集成到RL算法中以實現類似人類的游戲控制能力以來，針對這一解決問題的策略的研究顯著增加（Mnih等人，2015年）。RL在許多領域顯示出了巨大潛力，包括游戲玩法（Silver等人，2017年；Silver等人，2016年）、機器人技術（Kaufmann等人，2023年）、生產調度（Wang和Zhao，2024年；Hubbs等人，2020年）、過程設計（Braniff等人，2025b；Reynoso-Donzelli和Ricardez-Sandoval，2025年）等。

由于起源于最優控制理論，RL也被應用于過程系統的直接控制。RL已被證明是生物處理（Petsagkourakis等人，2020年）、蒸餾塔（Spielberg等人，2019年）、化學反應器（Faria等人，2023年）、批量處理（Joshi等人，2021年）和多罐系統（Dogru等人，2021年）的有效控制算法。盡管取得了這些進展，RL在化學和能源系統的控制中仍未得到廣泛采用。主要障礙包括學習過程中的固有不信任以及整體缺乏可解釋性（Wang等人，2025年；Braniff等人，2025a；Nian等人，2020年）。在RL中，探索階段允許代理發現可能導致更優行為的新動作，但這可能是不安全的，因為它通常涉及嘗試隨機和未經測試的動作，可能導致不良或不安全的行為。這些問題阻礙了基于RL的控制算法的實際應用，特別是在需要對控制器保持安全和穩定操作的能力有信心的關鍵安全系統中（Faria等人，2022年；Yoo等人，2021年）。

為了解決這些挑戰，近年來做出了大量努力。一類策略是使用來自其他更受信任的控制方法（如模型預測控制（MPC）（Hassanpour等人，2024b；Hassanpour等人，2024a）生成的數據來預訓練RL策略網絡。然后RL代理基于此策略網絡直接計算控制動作。如果希望保持無模型RL的前提，可以采用線性MPC，因為可以通過多種技術（例如系統識別）輕松近似線性系統模型（Hassanpour等人，2025年）。如果有可靠的高保真系統模型，也可以使用基于模型的RL方法。許多基于模型的RL方法還可以提供關于安全性、穩定性或兩者的某種信心（Kim和Oh，2024年；Kim和Kim，2022年；Kim和Lee，2020年；Berkenkamp等人，2017年）。另一類策略是以更間接的方式將RL用作PID控制的監督角色（Bloor等人，2025年；Chowdhury等人，2023年；Dogru等人，2022年）。這是一種改進基于PID控制的有前景的方法，但由于每個子級控制器都受限于單輸入-單輸出（SISO）控制律而受到限制（Beahr等人，2024年；Lawrence等人，2022年）。RL還用于高級（經濟）MPC的調優（Gros和Zanon，2020年）。在這種情況下，RL代理再次以監督方式發揮作用，不直接計算控制動作，而是根據系統反饋數據指導控制器做出更好的決策（Alhazmi等人，2022年）。一個結合RL和MPC的有趣例子是AC4MPC算法，它利用基于RL的控制動作作為MPC問題的熱啟動，而基于RL的價值函數為問題提供了更好的終端成本估計（Reiter等人，2024年）。許多其他工作研究了同時利用MPC和RL優勢的各種方法（Hedrick等人，2022年；Kim等人，2021年）。

為了開發更安全的RL算法，基于李雅普諾夫的方法引起了極大的興趣。在這些算法中，在線學習一個近似的李雅普諾夫函數。RL代理確定的控制動作是為了滿足某些穩定性或安全條件而生成的，使用李雅普諾夫替代函數（Chang和Gao，2021年；Chow等人，2018年）。這也被擴展到控制李雅普諾夫屏障函數（CLBFs）和隨機CLBFs，它們可以同時提供安全性和穩定性屬性（Zhu等人，2025年；Wang和Wu，2024年）。其他形式的安全RL包括：線性系統的安全探索（Marvi和Kiumarsi，2022年）、離線訓練階段后恢復安全保證（Thananjeyan等人，2021年）、集成線性魯棒MPC的原則（Zanon和Gros，2021年）、控制不變集（CIS）（Wang等人，2024年；Bo等人，2023年）以及具有機會約束的高斯過程模型（Mowbray等人，2022年）。然而，這些方法通常需要對系統有大量的先驗知識、高保真系統模型和/或密集的計算能力。此外，這些方法在學習系統模型和/或訓練RL代理時必須經歷探索階段，這在實踐中可能本質上是不安全的（García和Fernández，2015年）。為此，需要一種基于RL的控制算法，它可以提高可解釋性、穩定性和計算效率，同時避免在不安全的關鍵系統中實施不安全的探索階段。

在這項工作中，我們提出了一種基于Y向仿射神經網絡（YANNs）的RL算法，如圖1所示。在我們之前的工作中（Braniff和Tian，2026年）開發的YANNs是一種專門的神經網絡，能夠精確表示在任意數量的多面體子域上定義的任意輸入和輸出維度的已知分段仿射函數。多參數模型預測控制（mp-MPC）是YANNs的一個重要應用，它理論上可以將最優控制律計算為系統狀態、輸出、設定點和擾動的分段仿射函數（Pistikopoulos等人，2020年）。鑒于此，演員網絡和評論家網絡可以通過mp-MPC初始化，以表示最優控制問題的顯式解和目標。因此，YANNs可以作為提供可解釋、高效和有信心的RL算法的起點。這使得算法可以從線性最優控制的完整理論和嚴格保證開始，從而完全跳過RL的探索階段。這些演員和評論家網絡可以以這樣的方式創建，它們可以使用本工作中開發的技術來近似任意復雜度的一般非線性函數。我們進一步討論了如何持續改進算法，從而保證參數化的控制策略永遠不會比通過解決線性最優控制問題（OCP）找到的線性多參數控制策略更差。在關鍵安全系統的控制中，安全約束的遵守至關重要，這一點在一個化學反應過程的案例研究中得到了突出展示。

本文的其余部分組織如下：第2節簡要概述了必要的數學基礎，并為本工作制定了術語。第3節回顧了YANNs對分段仿射函數的精確表示，并擴展了網絡公式以引入非線性。第4節介紹了基于YANN的RL原理，包括YANN-演員、YANN-評論家以及整個RL算法。第5節通過兩個案例研究展示了YANN-RL的優勢：（i）剪切擺；（ii）關鍵安全性的化學反應器。第6節給出了結論性意見，并討論了未來的研究方向。

奧斯汀·布蘭尼夫：撰寫——原始草稿，驗證，軟件，方法論，概念化。天宇赫：撰寫——審閱與編輯，驗證，監督，方法論，概念化。

作者感謝NSF RETRO項目CBET-2312457、NSF GRFP（2024370240）以及西弗吉尼亞大學化學與生物醫學工程系的財政支持。