《Neurocomputing》：Fourier neural operators as data-driven surrogates for two- and three-dimensional Rayleigh–bénard convection
編輯推薦：
本文提出基于Fourier Neural Operator（FNO）的模型，用于近似二維和三維Rayleigh-Bénard對(duì)流系統(tǒng)的離散時(shí)間流圖。實(shí)驗(yàn)表明FNO在預(yù)測(cè)準(zhǔn)確性和穩(wěn)定性上優(yōu)于LRAN，并與U-Net表現(xiàn)相當(dāng)，同時(shí)具備零樣本超分辨率能力，物理預(yù)測(cè)結(jié)果更接近真實(shí)數(shù)據(jù)。
Thorben Markmann | Michiel Straat | Sebastian Peitz | Barbara Hammer
CITEC - 認(rèn)知交互技術(shù)中心，Inspiration 1，比勒費(fèi)爾德，33615，北萊茵-威斯特法倫州，德國(guó)
摘要
數(shù)據(jù)驅(qū)動(dòng)的替代模型能夠快速且完全可微地近似復(fù)雜動(dòng)態(tài)系統(tǒng)。在這項(xiàng)工作中，我們?yōu)槿鹄?貝納德對(duì)流（RBC）開發(fā)了這樣的替代模型，該模型用于描述自然和工業(yè)環(huán)境中的熱驅(qū)動(dòng)流動(dòng)。具體來說，所提出的模型近似了RBC系統(tǒng)的離散時(shí)間流圖，通過固定的時(shí)間步長(zhǎng)推進(jìn)整個(gè)系統(tǒng)狀態(tài)。我們訓(xùn)練基于傅里葉神經(jīng)算子（FNO）的模型來學(xué)習(xí)二維和三維RBC的動(dòng)態(tài)，并將其與卷積U-Net基線和基于Koopman的線性循環(huán)自動(dòng)編碼器網(wǎng)絡(luò)（LRAN）進(jìn)行比較。二維系統(tǒng)作為更具挑戰(zhàn)性的三維情況的基準(zhǔn)，后者表現(xiàn)出更高的空間復(fù)雜性和湍流動(dòng)力學(xué)。在所有設(shè)置中，基于FNO的模型始終優(yōu)于LRAN，在某些情況下其性能可與U-Net相媲美。通過FNO結(jié)合時(shí)空輸入可以提高長(zhǎng)期預(yù)測(cè)的準(zhǔn)確性，尤其是對(duì)于湍流。預(yù)測(cè)的物理真實(shí)性通過對(duì)流熱通量統(tǒng)計(jì)、剖面和波動(dòng)進(jìn)行評(píng)估，結(jié)果顯示FNO最接近真實(shí)流動(dòng)統(tǒng)計(jì)。此外，我們還證明了FNO能夠在未見過的空間離散化情況下實(shí)現(xiàn)零樣本超分辨率，這是卷積基線所不具備的能力。這些結(jié)果突顯了基于神經(jīng)算子的模型作為精確、物理一致且與分辨率無關(guān)的替代模型的潛力，適用于流動(dòng)控制等下游任務(wù)。
引言
瑞利-貝納德對(duì)流描述了由溫度（從而密度）差異引起的流體和氣體的浮力驅(qū)動(dòng)流動(dòng)[1]。這些對(duì)流現(xiàn)象存在于地球地幔、大氣（例如云的形成）以及核聚變反應(yīng)堆或空調(diào)設(shè)備等工業(yè)應(yīng)用中。根據(jù)參數(shù)的不同，系統(tǒng)會(huì)表現(xiàn)出各種有趣的現(xiàn)象，如混沌動(dòng)力學(xué)和湍流，使其成為研究非線性動(dòng)力學(xué)的理想系統(tǒng)，也是數(shù)據(jù)驅(qū)動(dòng)方法測(cè)試動(dòng)力系統(tǒng)的良好平臺(tái)。
隨著計(jì)算能力和傳感器技術(shù)的迅速發(fā)展，人們對(duì)數(shù)據(jù)驅(qū)動(dòng)方法（如用于動(dòng)態(tài)系統(tǒng)近似的替代建模）的興趣激增[2]。替代模型基于系統(tǒng)測(cè)量數(shù)據(jù)（來自實(shí)驗(yàn)或計(jì)算機(jī)模擬）進(jìn)行訓(xùn)練，能夠快速預(yù)測(cè)系統(tǒng)狀態(tài)，同時(shí)通常具有完全的可微性[3]。
近年來，神經(jīng)算子模型已成為替代建模的流行方法，它在兩個(gè)函數(shù)空間之間學(xué)習(xí)非線性映射[4]，[5]。例如，在這項(xiàng)工作中，我們使用神經(jīng)算子模型從數(shù)據(jù)中學(xué)習(xí)動(dòng)態(tài)系統(tǒng)的離散時(shí)間流圖（或時(shí)間推進(jìn)算子）。一個(gè)特別吸引人的特點(diǎn)是神經(jīng)算子可以在任意分辨率的數(shù)據(jù)上進(jìn)行訓(xùn)練并泛化[5]，[6]等。模型還具備零樣本超分辨率的能力，這意味著可以在分辨率較低的數(shù)據(jù)上訓(xùn)練神經(jīng)算子模型，并用它來預(yù)測(cè)更高分辨率的數(shù)據(jù)，而無需微調(diào)。
傅里葉神經(jīng)算子（FNO）在[5]中被提出作為一種高效的神經(jīng)算子替代模型，它利用離散傅里葉變換并通過與傅里葉空間中的濾波器系數(shù)相乘來計(jì)算全局卷積。卷積濾波器通過反向傳播梯度直接在傅里葉空間中學(xué)習(xí)得到。
本工作的目標(biāo)和主要貢獻(xiàn)如下：
•盡管神經(jīng)算子架構(gòu)已在許多應(yīng)用中成功使用，但它們?cè)趯W(xué)習(xí)混沌對(duì)流動(dòng)力學(xué)方面的性能，尤其是在三維領(lǐng)域，仍需進(jìn)一步探索。據(jù)我們所知，我們的工作是首次系統(tǒng)地研究傅里葉神經(jīng)算子在三維瑞利-貝納德對(duì)流中的性能。
•為了提高對(duì)神經(jīng)算子學(xué)習(xí)物理一致解能力的理解，我們使用統(tǒng)計(jì)和物理指標(biāo)來評(píng)估解的物理真實(shí)性。
•我們進(jìn)行超參數(shù)調(diào)整和消融研究，以探索模型參數(shù)數(shù)量和訓(xùn)練數(shù)據(jù)量的作用。
部分工作已作為我們對(duì)ESANN 2025的貢獻(xiàn)發(fā)表[6]，在其中我們研究了FNO作為二維矩形域中瑞利-貝納德對(duì)流的替代模型，這取決于系統(tǒng)動(dòng)力學(xué)的復(fù)雜性（由瑞利數(shù)確定湍流程度）。除了主要的擴(kuò)展——三維瑞利-貝納德對(duì)流外，我們還包括了對(duì)二維瑞利-貝納德對(duì)流的實(shí)驗(yàn)擴(kuò)展。特別是，我們?cè)诟L(zhǎng)的時(shí)間范圍內(nèi)和更高的湍流程度上評(píng)估了模型。
小節(jié)片段
替代模型：背景和應(yīng)用
控制系統(tǒng)動(dòng)力學(xué)的運(yùn)動(dòng)方程往往只是部分已知，或者系統(tǒng)只能在少數(shù)位置進(jìn)行測(cè)量。在這種情況下，可以使用數(shù)據(jù)驅(qū)動(dòng)模型根據(jù)這些測(cè)量數(shù)據(jù)來近似系統(tǒng)的動(dòng)態(tài)。即使在控制方程已知的情況下（對(duì)于以偏微分方程（PDE）形式存在的分布式系統(tǒng)），學(xué)習(xí)替代模型仍然有益，因?yàn)榭梢燥@著加速預(yù)測(cè)過程
方法論
在本節(jié)中，我們描述了控制瑞利-貝納德對(duì)流的PDE并討論了其主要參數(shù)。我們還詳細(xì)介紹了我們的數(shù)值模擬，并詳細(xì)闡述了神經(jīng)算子框架。最后，我們討論了線性循環(huán)自動(dòng)編碼器網(wǎng)絡(luò)（LRAN）[36]和U-Net [37]，我們將它們作為與傅里葉神經(jīng)算子進(jìn)行比較的基準(zhǔn)。
實(shí)驗(yàn)和結(jié)果
我們進(jìn)行了一系列實(shí)驗(yàn)來評(píng)估FNO在瑞利-貝納德對(duì)流上的預(yù)測(cè)性能。第4.1節(jié)描述了實(shí)驗(yàn)設(shè)置和數(shù)據(jù)生成。第4.2節(jié)首先回顧了二維瑞利-貝納德系統(tǒng)，遵循我們之前工作[6]中介紹的設(shè)置和分析。這些結(jié)果為第4.3節(jié)中對(duì)三維系統(tǒng)的擴(kuò)展評(píng)估奠定了基礎(chǔ)。第4.4節(jié)通過分析統(tǒng)計(jì)數(shù)據(jù)和
結(jié)論
在這項(xiàng)工作中，我們研究了二維和三維瑞利-貝納德對(duì)流的數(shù)據(jù)驅(qū)動(dòng)替代模型，比較了傅里葉神經(jīng)算子（FNO）、卷積U-Net基線和基于Koopman的線性循環(huán)自動(dòng)編碼器網(wǎng)絡(luò)（LRAN）。在兩個(gè)系統(tǒng)中，基于FNO的模型在預(yù)測(cè)準(zhǔn)確性和穩(wěn)定性方面始終優(yōu)于LRAN。比較FNO和U-Net，我們發(fā)現(xiàn)它們?cè)诙鄠�(gè)方面表現(xiàn)出相似的性能，特別是在高湍流情況下
CRediT作者貢獻(xiàn)聲明
Thorben Markmann：寫作——審稿與編輯，撰寫初稿，可視化，軟件，方法論，數(shù)據(jù)管理，概念化。Michiel Straat：寫作——審稿與編輯，撰寫初稿，軟件，方法論，概念化。Sebastian Peitz：寫作——審稿與編輯，監(jiān)督，資金獲取。Barbara Hammer：寫作——審稿與編輯，監(jiān)督，資金獲取。
利益沖突聲明
作者聲明他們沒有已知的可能會(huì)影響本文所述工作的競(jìng)爭(zhēng)性財(cái)務(wù)利益或個(gè)人關(guān)系。
致謝
作者感謝“SAIL: 智能社會(huì)技術(shù)系統(tǒng)的可持續(xù)生命周期”項(xiàng)目（項(xiàng)目編號(hào)NW21-059A）的財(cái)務(wù)支持，該項(xiàng)目由北萊茵-威斯特法倫州文化和科學(xué)部“Netzwerke 2021”計(jì)劃資助。SP還獲得了歐盟ERC啟動(dòng)基金“KoOpeRaDE”（項(xiàng)目編號(hào)101161457）的支持。
寫作過程中使用生成式AI和AI輔助技術(shù)的聲明
在準(zhǔn)備這項(xiàng)工作時(shí)，作者使用了Grammarly和ChatGPT來提高文本的可讀性
Thorben Markmann獲得了智能系統(tǒng)碩士學(xué)位，專攻機(jī)器人技術(shù)和機(jī)器學(xué)習(xí)。他目前是比勒費(fèi)爾德大學(xué)的博士生，致力于物理系統(tǒng)的建模和控制的數(shù)據(jù)驅(qū)動(dòng)方法研究。他的研究興趣包括替代建模、流體動(dòng)力學(xué)和基于模型的強(qiáng)化學(xué)習(xí)。
