《Journal of Building Engineering》：Combining confocal microscopy and deep learning for concrete microstructure analysis
編輯推薦：
自動評估混凝土凍融抗性氣孔參數的CLSM-U-Net方法研究
Viktor Kostic | Jithender J. Timothy | Thomas Kr?nkel | Christoph Gehlen
慕尼黑工業大學（TUM）工程與設計學院，材料工程系，材料科學與測試主任，建筑材料中心（cbm），德國慕尼黑，81245
摘要
目前用于表征混凝土微觀結構及其抗凍融性能的標準化方法耗時較長，并且由于需要手動評估空氣孔隙的參數（如大小、分布、含量和間距）而存在不確定性。本研究提出了一種先進的方法，將共聚焦激光掃描顯微鏡（CLSM）數據與深度學習技術相結合。使用不同的數據組合訓練U-net分割模型，以精確檢測拋光混凝土試樣表面的水泥漿、骨料和空氣孔隙的位置。通過利用開發的語義分割模型，實現了一種自動化評估空氣孔隙參數的圖像處理工作流程，并將其與之前進行的循環測試中的人類評估結果進行了直接比較。雖然所有模型類型得出的空氣孔隙參數結果都與人類評估結果一致，但研究表明，利用CLSM獲得的高度數據可以提高空氣孔隙預測的準確性。本研究的發現為混凝土微觀結構評估的自動化提供了有希望的進展，并為進一步的方法開發和混凝土性能研究奠定了基礎。
引言
硬化混凝土的微觀結構是其耐久性的決定性因素。更準確地說，硬化水泥漿的多孔系統決定了混凝土基體中的物質傳輸性能和抗侵入性能。深入理解混凝土微觀結構中的性質和機制，可以有針對性地改變混合物的組成，從而在特定氣候條件下延長其使用壽命。例如，添加空氣孔隙引入劑可以向水泥基體中引入人工空氣孔隙，為凍結水的膨脹提供額外的空間，并中斷毛細效應，從而減少內部應力并提高混凝土的抗凍融性能[1]，[2]。硬化水泥漿中空氣孔隙系統的大小、分布、含量和間距被認為是影響混凝土抗凍融破壞性能的關鍵參數[1]，[2]，[3]，[4]。為了表征空氣孔隙參數，DIN EN 480-11中規定的方法使用Rosiwal線性掃描法：通常通過手動顯微鏡檢查切割、研磨和拋光的試樣表面，計算并測量試樣表面上繪制的評估線上的交叉空氣孔隙弦長。然而，這種標準化方法非常耗時且成本高昂，因為需要持續數小時的評估過程。此外，正如最近的一項循環測試所示，DIN EN 480-11中的手動方法結果存在較高的不確定性[6]。雖然這不僅歸因于人為因素，也源于測試方法本身，但其自動化有望減少結果的偏差[7]。
自動化空氣孔隙參數評估的方法通常依賴于增強混凝土試樣表面的對比度以突出空氣孔隙的位置[8]，[9]。這通常是通過將拋光的試樣表面涂黑并用白色粉末（如白色鋅粉）填充空氣孔隙來完成的。然而，評估混凝土的抗凍融性能時僅需要考慮水泥漿中的空氣孔隙，排除制備過程中產生的裂縫或其他損傷[2]，[5]，[10]，[11]。由于粉末也會填充粗骨料中的裂縫或空洞，因此需要對試樣進行廣泛而細致的預處理。因此，需要手動修復與抗凍融性能無關的裂縫或空氣孔隙[8]，[9]。因此，此類制備的質量取決于操作人員的感知和經驗。此外，這些方法無法區分水泥漿和骨料成分[7]，因為只有兩個相（空氣孔隙和背景）。新型方法（如PPV-Factor [12]）依賴于試樣表面的二維評估，能夠區分水泥漿、空氣孔隙和骨料相。雖然這些方法相對于Rosiwal線性掃描法[13]具有優勢，因為可以從二維表面分析中獲取更多信息，但它們通常需要更復雜和繁瑣的試樣預處理才能準確分割水泥漿、骨料和空氣孔隙。為了自動分離這些組分，已經建立了使用pH指示劑來增強水泥漿和骨料對比度的預處理方法[14]，[15]，但這增加了試樣制備的成本和時間投入。
基于神經網絡的分割方法在避免繁瑣的試樣表面預處理方面顯示出巨大潛力[16]，[17]，[18]，[19]，[20]。然而，這些模型的訓練數據（從而其性能[21]，[22]）通常僅依賴于手動標記的RGB圖像數據，其中空氣孔隙位置是基于人類對圖像數據的感知重建的[16]，[19]，[20]，可能會遺漏一些空氣孔隙的位置。
更可靠但越來越復雜的方法，如在對比度增強前后對試樣進行重疊平板掃描[17]，或對圖像進行三維重建[18]，已被開發出來以生成更準確的空氣孔隙系統表示。然而，這些方法通常具有較低的放大倍率和分辨率（每像素
共聚焦激光掃描顯微鏡（CLSM）在避免繁瑣的試樣預處理的同時，具有巨大的潛力。通過捕獲表面高度圖譜以及高放大率和分辨率的RGB圖像，可以識別和區分混凝土試樣拋光表面內的高度差異，類似于基于對比度的方法[24]，[25]，[26]，[27]。在[25]中，使用CLSM的高度圖譜和基本的圖像分割算法成功評估了符合DIN EN 480-11 [5]要求的水泥漿試樣的空氣孔隙參數。然而，該評估僅基于表面高度圖譜進行，沒有考慮砂漿和混凝土混合物中存在的骨料。
在[26]中，CLSM被用來自動標記拋光混凝土試樣表面的空氣孔隙位置，使用基于閾值的二值分割操作，但作者沒有報告對與抗凍融性能無關的骨料內空氣孔隙的任何修正。
在[27]中，建立了一個由CLSM圖像數據引導的標記工作流程。通過結合RGB圖像和高度圖譜，提取了拋光混凝土試樣表面中空氣孔隙、骨料和水泥漿像素的準確位置，從而創建了一個可用于神經網絡應用的標記圖像數據集。本文旨在在此初步工作的基礎上，研究使用CLSM數據通過深度學習方法自動分割硬化混凝土微觀結構的潛力。將使用[27]中的數據集，并擴展它來訓練U-net分割模型[28]，使用不同的CLSM輸入數據組合。因此，U-net架構被調整為多類分割，以區分CLSM圖像數據中的空氣孔隙、骨料和水泥漿像素。隨后實現了一個圖像處理工作流程，以在定量實際應用分析中跟蹤性能。因此，根據DIN EN 480-11 [5]中描述的標準方法，完全自動化地評估了三種混凝土混合物的空氣孔隙參數。所有實驗都是在之前循環測試[6]中已經手動評估過的三種未知混凝土混合物的試樣上進行的。這包括：(a) 在從試樣表面隨機捕獲的測試集上評估原始模型的性能；(b) 將完全自動化的工作流程的結果與[6]中的人類測量結果進行比較。
章節片段
材料
DIN EN 480-11 [5]描述了一種標準化的定量方法，用于評估混凝土的微觀結構，重點是其抗凍融性能。為了根據DIN EN 480-11 [5]評估空氣孔隙參數，從兩個混凝土立方體的核心切割出薄片以暴露空氣孔隙（見圖1a）。隨后通過研磨和拋光進一步細化混凝土試樣表面，以提高后續手動顯微鏡檢查時空氣孔隙的可見性。
討論
所有模型都在未見過的混凝土試樣上進行了測試，得到的空氣孔隙、骨料和水泥漿類別的Dice系數值與其他研究[16]，[17]，[18]報告的結果相當。表4和表5中不同測試集M1 - M3之間的模型性能波動（Dice系數、精確度和召回率）可歸因于它們各自的像素頻率變化（見表3），導致（a）更嚴格的懲罰
結論
在本文中，研究了共聚焦激光掃描顯微鏡（CLSM）在混凝土微觀結構分析中的應用。訓練了幾種U-net模型，這些模型要么僅使用RGB圖像數據，要么使用RGB圖像數據與表面高度數據相結合，以分割拋光混凝土試樣表面CLSM圖像數據中的空氣孔隙、水泥漿和骨料區域。雖然所有模型在各自的測試集上都能取得良好的結果，但使用高度數據的模型
CRediT作者貢獻聲明
Viktor Kostic：撰寫 – 審稿與編輯，撰寫 – 原始草稿，軟件，方法論，調查，形式分析，概念化。Jithender J. Timothy：撰寫 – 審稿與編輯。Thomas Kr?nkel：撰寫 – 審稿與編輯。Christoph Gehlen：資金獲取。
利益沖突聲明
作者聲明他們沒有已知的競爭性財務利益或個人關系可能會影響本文所述的工作。
致謝
這項研究工作得到了“TUM Georg Nemetschek建筑世界人工智能研究所”的資助，是“水泥和混凝土智能設計與測試的人工智能”項目的一部分。作者感謝Qadeer Khan和Viktor Kotsev的有益討論。作者還要感謝卡爾斯魯厄理工學院提供循環測試的試樣。
