《Optics and Lasers in Engineering》：Physics-informed hybrid U-Net architecture for phase-to-height reconstruction in dual divergent structured-light systems
編輯推薦：
針對(duì)雙投影發(fā)散光系統(tǒng)中非線性相位-高度映射的挑戰(zhàn)，提出PIHUNN v4.2架構(gòu)，結(jié)合多尺度特征提取、殘差前激活塊和SE注意力機(jī)制，設(shè)計(jì)混合損失函數(shù)（MSE+SSIM+梯度保真度+多尺度梯度+TV正則化+高度L2懲罰），有效約束物理限制，實(shí)驗(yàn)表明其RMSE=0.0565±0.0243、SSIM=0.996±0.004、PSNR=25.6±3.1 dB優(yōu)于傳統(tǒng)方法和深度學(xué)習(xí)基線。
Jorge R. Parra-Michel | Emmanuel Ovalle-Magallanes | Enrique Aguilar-Vargas
墨西哥萊昂市La Salle Bajío大學(xué)工程與技術(shù)學(xué)院
摘要
在雙投影發(fā)散系統(tǒng)中，基于結(jié)構(gòu)光相位測(cè)量的三維表面重建面臨諸多挑戰(zhàn)，這些挑戰(zhàn)源于非線性的相位-高度關(guān)系、空間變化的靈敏度以及深度依賴(lài)的幾何失真。本文介紹了PIHUNN v4.2，這是一種基于物理知識(shí)的混合U-Net架構(gòu)，旨在學(xué)習(xí)從包裹相位?_w到表面高度h的逆映射過(guò)程，同時(shí)遵循發(fā)散照明幾何條件所施加的物理約束。該方法通過(guò)具有不同尺度的特征描述器（FDDS）模塊實(shí)現(xiàn)多尺度特征提取，采用殘差預(yù)激活塊來(lái)穩(wěn)定梯度傳播，并利用擠壓-激勵(lì)（SE）注意力機(jī)制進(jìn)行通道重新校準(zhǔn)。混合損失函數(shù)結(jié)合了均方誤差、結(jié)構(gòu)相似性、梯度保真度、多尺度梯度一致性、總變分正則化和高度幅度懲罰，以確保光度和幾何的一致性。梯度項(xiàng)通過(guò)從最小有效波長(zhǎng)導(dǎo)出的物理界限2π/λ_min進(jìn)行歸一化，從而確保預(yù)測(cè)的表面不會(huì)違反光學(xué)約束。在包含4000對(duì)合成相位-高度數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證表明，PIHUNN v4.2的均方根誤差（RMSE）為0.0565 ± 0.0243，結(jié)構(gòu)相似性指數(shù)（SSIM）為0.996 ± 0.004，峰值信噪比（PSNR）為25.6 ± 3.1 dB，其性能優(yōu)于多項(xiàng)式校準(zhǔn)、立體三角測(cè)量以及包括U-Net和U-Net++在內(nèi)的先進(jìn)深度學(xué)習(xí)基線方法。在真實(shí)立體莫爾紋測(cè)量上的定性驗(yàn)證也證實(shí)了該網(wǎng)絡(luò)對(duì)實(shí)際條件的泛化能力。
引言
基于結(jié)構(gòu)光相位測(cè)量的三維（3D）表面重建是光學(xué)計(jì)量學(xué)中的基本任務(wù)，特別是在干涉測(cè)量、輪廓測(cè)量和立體莫爾紋系統(tǒng)中[1]、[2]、[3]。傳統(tǒng)的相位-高度校準(zhǔn)依賴(lài)于假設(shè)遠(yuǎn)心投影、線性相位-高度響應(yīng)和對(duì)稱(chēng)極坐標(biāo)幾何的幾何模型[4]。然而，在采用發(fā)散照明或雙投影配置的實(shí)際系統(tǒng)中，這些假設(shè)不再成立，這會(huì)導(dǎo)致包裹相位?_w出現(xiàn)非線性失真，并降低重建高度圖h的幾何一致性[5]。
在發(fā)散結(jié)構(gòu)光系統(tǒng)中，由于靈敏度不均勻、投影光線不對(duì)稱(chēng)以及深度依賴(lài)的尺度因子[6]，相位到高度的映射會(huì)變得空間變化[5]、[6]。此外，雙投影配置加劇了這些非線性現(xiàn)象：每個(gè)投影儀都貢獻(xiàn)了不同的相位-幾何關(guān)系，使得分析校準(zhǔn)變得不穩(wěn)定或容易受到噪聲影響[7]。因此，傳統(tǒng)的多項(xiàng)式回歸、立體三角測(cè)量公式和最小二乘擬合方法通常無(wú)法在狹窄的校準(zhǔn)體積之外保持準(zhǔn)確性[7]，而這正是本研究所采用的雙發(fā)散投影配置的實(shí)驗(yàn)和幾何基礎(chǔ)。
深度學(xué)習(xí)的最新進(jìn)展顯著影響了光學(xué)計(jì)量學(xué)[8]，包括相位解包[9]、[10]和在幾何約束下的結(jié)構(gòu)光重建[11]。然而，大多數(shù)架構(gòu)僅依賴(lài)于統(tǒng)計(jì)特征提取（例如U-Net、ResNet、MA-Net），缺乏明確的物理先驗(yàn)。這些網(wǎng)絡(luò)傾向于過(guò)度平滑高梯度區(qū)域，在照明變化或靈敏度變化時(shí)失去拓?fù)湟恢滦裕⑶以谙辔?高度關(guān)系非單調(diào)時(shí)泛化能力較差。基于物理知識(shí)的神經(jīng)網(wǎng)絡(luò)（PINNs）通過(guò)將物理約束嵌入損失函數(shù)部分解決了這些問(wèn)題[12]、[13]、[14]，但單獨(dú)使用PINNs在處理高維圖像到圖像的回歸時(shí)仍面臨挑戰(zhàn)。
為了克服這些限制，我們提出了一種專(zhuān)為雙投影發(fā)散結(jié)構(gòu)光系統(tǒng)設(shè)計(jì)的基于物理知識(shí)的混合U-Net（PIHUNN v4.2）。與純粹的數(shù)據(jù)驅(qū)動(dòng)方法（如PhaseNet[15]、[16]）不同，該方法整合了：（i）通過(guò)具有不同尺度的特征描述器（FDDS）模塊實(shí)現(xiàn)的多尺度特征提取；（ii）用于穩(wěn)定深度表示的殘差預(yù)激活塊；（iii）用于通道重新校準(zhǔn)的擠壓-激勵(lì)（SE）注意力機(jī)制；以及（iv）一種結(jié)合光度保真度、幾何一致性、梯度連貫性和總變分正則化的混合損失函數(shù)。第3節(jié)中推導(dǎo)出的物理梯度界限確保預(yù)測(cè)的表面h^遵循由最小有效波長(zhǎng)確定的最大允許相位梯度。
本工作的貢獻(xiàn)有三個(gè)方面：
- 我們提出了一種針對(duì)雙投影發(fā)散系統(tǒng)的基于物理知識(shí)的架構(gòu)，將幾何約束納入學(xué)習(xí)過(guò)程。
- 我們開(kāi)發(fā)了一種混合感知-物理?yè)p失函數(shù)（MSE + SSIM + 梯度保真度 + 多尺度梯度 + TV + L_2高度懲罰），該函數(shù)在噪聲和配置變化下保持細(xì)節(jié)的同時(shí)確保穩(wěn)定性。
- 我們證明了PIHUNN v4.2在所有評(píng)估數(shù)據(jù)集上的性能均優(yōu)于傳統(tǒng)校準(zhǔn)模型和深度學(xué)習(xí)基線方法，提高了RMSE、SSIM和PSNR。這些結(jié)果更新并擴(kuò)展了表2中的比較分析。
- 我們還進(jìn)行了魯棒性研究，證明即使條紋周期變化三倍，物理歸一化的梯度項(xiàng)也能穩(wěn)定重建結(jié)果，而無(wú)需重新訓(xùn)練網(wǎng)絡(luò)。
與主要關(guān)注相位解包或去噪的先前基于學(xué)習(xí)的方法不同，所提出的PIHUNN框架針對(duì)的是在強(qiáng)發(fā)散投影下的逆相位到高度映射問(wèn)題，其中分析校準(zhǔn)變得高度非線性且空間變化顯著。通過(guò)將物理驅(qū)動(dòng)的梯度約束嵌入學(xué)習(xí)目標(biāo)，PIHUNN有效地用一種數(shù)據(jù)高效、符合物理規(guī)律的校準(zhǔn)策略替代了傳統(tǒng)的相位到高度校準(zhǔn)方法。這使得在不同深度和幾何條件下實(shí)現(xiàn)穩(wěn)健的表面重建，而無(wú)需每次設(shè)置時(shí)都進(jìn)行重新校準(zhǔn)。
本文的其余部分安排如下：第2節(jié)回顧了基于相位的計(jì)量學(xué)和基于學(xué)習(xí)的重建的相關(guān)工作；第3節(jié)闡述了雙投影系統(tǒng)中非線性相位-高度關(guān)系；第4節(jié)描述了所提出的PIHUNN架構(gòu)和基于物理知識(shí)的混合損失函數(shù)；第5節(jié)詳細(xì)介紹了數(shù)據(jù)集和訓(xùn)練協(xié)議；第6節(jié)展示了定量和定性結(jié)果；第7節(jié)討論了應(yīng)用場(chǎng)景和實(shí)際考慮因素；最后第8節(jié)總結(jié)了本文。相關(guān)工作
基于相位的3D重建研究主要分為兩個(gè)方向：從光學(xué)幾何學(xué)派生的分析校準(zhǔn)方法和旨在近似包裹相位?_w到高度h的非線性映射的學(xué)習(xí)基線方法[1]、[2]、[3]。早期的結(jié)構(gòu)光和干涉測(cè)量模型[5]、[6]假設(shè)遠(yuǎn)心投影、均勻靈敏度和對(duì)稱(chēng)的射線幾何，這些條件簡(jiǎn)化了三角測(cè)量方程，產(chǎn)生了相位和表面之間的準(zhǔn)線性映射
雙發(fā)散投影的物理模型
基于結(jié)構(gòu)光干涉測(cè)量的三維重建依賴(lài)于表面高度h(x, y)與觀測(cè)到的包裹相位?_w(x, y)之間的正向映射。在采用發(fā)散照明的雙投影系統(tǒng)中，這種映射變得非線性、空間變化且對(duì)幾何擾動(dòng)敏感[5]。與遠(yuǎn)心或準(zhǔn)直配置不同，每個(gè)投影儀發(fā)出的光線具有不同的發(fā)散角和基線距離，從而導(dǎo)致深度依賴(lài)的條紋
提出的方法
物理知識(shí)混合U-Net（PIHUNN v4.2）旨在近似雙發(fā)散結(jié)構(gòu)光系統(tǒng)中由于深度依賴(lài)的靈敏度、非線性射線幾何以及第3節(jié)中描述的物理約束而產(chǎn)生的相位到高度的非線性映射
實(shí)驗(yàn)
本節(jié)描述了用于驗(yàn)證PIHUNN v4.2的數(shù)據(jù)集、訓(xùn)練協(xié)議、參考方法和評(píng)估指標(biāo)。所有實(shí)驗(yàn)均使用第3節(jié)中介紹的幾何模型生成的雙投影發(fā)散結(jié)構(gòu)光模擬數(shù)據(jù)集進(jìn)行。
在網(wǎng)絡(luò)推理之前，包裹相位?_w使用傳統(tǒng)的空間相位解包算法轉(zhuǎn)換為絕對(duì)相位圖?_abs
結(jié)果
本節(jié)展示了在雙投影模型下生成的4000對(duì)合成相位-高度數(shù)據(jù)集上對(duì)PIHUNN v4.2的實(shí)驗(yàn)驗(yàn)證結(jié)果。所有指標(biāo)均在歸一化的高度范圍[0,1]內(nèi)計(jì)算，以便在不同深度范圍的樣本之間進(jìn)行公平比較。首先，第6.1節(jié)報(bào)告了與基線方法的定量比較；第6.2節(jié)分析了訓(xùn)練動(dòng)態(tài)；第6.3節(jié)提供了消融研究
應(yīng)用場(chǎng)景討論
所提出的PIHUNN框架的適用性取決于光學(xué)配置和測(cè)量表面的特性。就表面地形而言，該方法本質(zhì)上對(duì)平滑和中等不連續(xù)的幾何形狀具有魯棒性，因?yàn)榛谖锢碇R(shí)的損失函數(shù)明確約束了相位梯度并抑制了非物理的高度過(guò)渡
結(jié)論
本文提出了PIHUNN v4.2，這是一種用于雙投影發(fā)散結(jié)構(gòu)光系統(tǒng)中相位到高度重建的基于物理知識(shí)的混合U-Net架構(gòu)。該方法通過(guò)將物理約束直接集成到網(wǎng)絡(luò)架構(gòu)和損失函數(shù)中，解決了分析校準(zhǔn)方法和純粹數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)模型的根本局限性。
從更廣泛的角度來(lái)看，PIHUNN證明了基于物理知識(shí)的正則化方法的有效性
人工智能輔助工具聲明
作者聲明，在手稿準(zhǔn)備過(guò)程中僅使用了人工智能工具作為輔助工具。具體來(lái)說(shuō)，基于AI的系統(tǒng)被用于協(xié)助LaTeX代碼格式化、將手稿翻譯成英文、糾正拼寫(xiě)和語(yǔ)法錯(cuò)誤，以及在起草和修訂階段組織思路。
作者聲明
作者聲明他們沒(méi)有已知的競(jìng)爭(zhēng)性財(cái)務(wù)利益或個(gè)人關(guān)系可能影響本文報(bào)告的工作。該研究是獨(dú)立進(jìn)行的，沒(méi)有外部商業(yè)機(jī)構(gòu)的參與。本研究未從公共、商業(yè)或非營(yíng)利部門(mén)的資助機(jī)構(gòu)獲得任何特定資助。所有實(shí)驗(yàn)設(shè)備、實(shí)驗(yàn)室設(shè)施和計(jì)算資源均由作者所在機(jī)構(gòu)提供
CRediT作者貢獻(xiàn)聲明
Jorge R. Parra-Michel：撰寫(xiě)——原始草稿、可視化、驗(yàn)證、監(jiān)督、軟件、項(xiàng)目管理、方法論、資金獲取、形式分析、數(shù)據(jù)管理、概念化。
Emmanuel Ovalle-Magallanes：撰寫(xiě)——審閱與編輯、可視化、驗(yàn)證、軟件。
Enrique Aguilar-Vargas：撰寫(xiě)——審閱與編輯、可視化、驗(yàn)證、軟件、形式分析。
利益沖突聲明
作者聲明他們沒(méi)有已知的競(jìng)爭(zhēng)性財(cái)務(wù)利益或個(gè)人關(guān)系可能影響本文報(bào)告的工作。
本研究未從公共、商業(yè)或非營(yíng)利部門(mén)的資助機(jī)構(gòu)獲得任何特定資助。所有實(shí)驗(yàn)設(shè)備和計(jì)算資源均由作者所在機(jī)構(gòu)提供。
致謝
作者感謝La Salle Bajío大學(xué)在工程與技術(shù)學(xué)院提供的機(jī)構(gòu)支持和光學(xué)計(jì)量實(shí)驗(yàn)室設(shè)施的使用權(quán)。大學(xué)提供的計(jì)算資源和實(shí)驗(yàn)設(shè)備對(duì)于所提出方法的發(fā)展和驗(yàn)證至關(guān)重要。
本研究得到了Santander-FIMPES研究資助計(jì)劃的財(cái)務(wù)支持，該計(jì)劃由Federación de Instituciones管理
