編輯推薦：
位錯分析在TEM圖像中采用深度學習方法，包括全監督和半監督策略（邊界損失+未標注數據增強），合成圖像輔助的域適應有效提升困難條件下的分割精度，并實現自動密度測量。
阿西亞·布格拉拉（Assya Boughrara）|克里斯汀·維亞拉（Christine Viala）|洛朗·杜普伊（Laurent Dupuy）|弗雷德里克·蒙皮烏（Frédéric Mompiou）
圖盧茲大學（Université de Toulouse）、法國國家科學研究中心（CNRS）、CEMES，圖盧茲，法國
摘要
位錯是具有根本重要性的缺陷，因為它們的動態行為會影響到合金的機械性能。在透射電子顯微鏡（TEM）尺度上，位錯動態分析需要豐富的圖像對比度知識和耗時的測量技術。本文介紹了幾種基于深度學習的方法，這些方法旨在通過在不同材料和TEM成像條件下進行位錯分割來促進進一步的分析。我們提出了全監督學習（FSL）和半監督學習（SSL）兩種方法，采用編碼器-解碼器神經網絡架構和邊界型損失函數。在全監督學習中，訓練是在標記圖像上進行的；而在半監督學習中，還使用了未標記的圖像來豐富由內部大型未標記數據集提供的特征描述。實驗表明，半監督學習能夠提高評估指標，并且幾乎可以達到人類專家的水平。最后，我們探討了使用合成圖像進行無監督學習（領域適應）的可能性。我們基于物理原理構建了一個數據集，通過圖像模擬和位錯動態模擬來生成這些合成圖像。盡管合成圖像與真實圖像在視覺上有較好的一致性，但特征知識很難從合成圖像轉移到真實圖像上，從而導致性能下降。然而，在更復雜的成像條件下，合成圖像可以提高預測的準確性。文中還提供了一個自動密度測量的應用示例作為展望。
引言
位錯是晶體材料中塑性變形的主要載體。因此，研究位錯在適當的時空尺度上的行為對于理解其機械性能至關重要。這要求我們能夠在晶粒尺度上（通常是亞微米范圍）沿著位錯的所有線段（無論是投影還是三維）觀察它們，并且在通常的變形條件下，時間尺度為幾十毫秒。出于這些原因，傳統的原位TEM（CTEM）變形實驗在常規明場或暗場（BF/DF）成像模式下已被證明對于研究移動位錯非常有用[1]。通過記錄的動態數據，結合實時觀察和電子衍射確定晶體取向，可以進行定性和定量分析。在所有情況下，評估諸如位錯遷移率（速度與應力和溫度的依賴性）、位錯跳躍長度（變形的間歇性）以及位錯錨點距離等參數都是至關重要的。這通常不僅需要測量位錯位移，還需要測量它們的曲率。已有研究表明，獲取定量數據非常有用。例如，卡亞爾（Caillard）通過測量純鐵中的位錯動力學來提取單個位錯級別的激活體積[2]；德魯埃（Drouet）等人利用位錯曲率測量來提取鋯（Zr）的遷移率，并用它來實現一個真實的位錯動態模擬[3]；蒙皮烏（Mompiou）等人從視頻序列中提取位錯錨點距離，以評估TiNbZr合金的硬化規律[4]。所有這些分析目前都是通過手動檢查圖像序列來完成的，依賴于對圖像差異的觀察。這些分析不僅耗時，而且所依賴的測量數量有限，可能會影響其代表性。除了原位實驗之外，自動化圖像分析還可以用于CTEM和STEM中的衍射對比成像，例如用于位錯密度測量。然而，自動位錯分析的進展似乎受到分割問題的限制。盡管這個問題在計算機視覺中很經典，但在這里卻因多種原因而具有挑戰性。首先，在BF/DF模式下觀察到的位錯即使在兩種束條件下也表現出多種對比度，因為它們會隨著樣品厚度、異常系數、布拉格角偏差、消光距離、束方向和衍射矢量的變化而變化。雖然在大多數情況下，成像條件是通過用戶經驗來調整的，但位錯的觀察通常會導致從細而連續的線條（布拉格角大偏差）到振蕩的、粗的、消失的或不連續的對比度等多種對比度。此外，由于表面和其他微觀結構成分（沉淀物、晶界、樣品制備偽影等），背景通常很復雜且重疊。特別是對于原位實驗，位錯在氧化表面留下的痕跡可能會與位錯本身混淆。因此，基于閾值的分割方法往往會產生較差的結果。
方法概述
方法
在過去的5年里，基于深度學習的圖像分割技術在TEM領域取得了許多改進。在位錯研究領域，人們投入了大量精力來分割輻照引起的位錯環。這些方法依賴于標記的輻照微觀結構圖像，無論是單次拍攝還是分兩步進行[5]、[6]、[7]、[8]。這樣做的目的是為了獲得統計數據以便計數。
真實數據
圖像來自一個由7位用戶構建的大型數據庫。這些圖像主要來自在20多種材料（主要是合金，如Ti基合金、高溫合金、純BCC結構等）中進行的原位應變視頻序列。圖像通常在50到200 kX的放大倍數下使用MEGAVIEW III相機和mp4視頻編碼器在常規TEM下獲取，其中大部分采用明場（BF）模式，少數采用暗場（DF）模式。數據庫中的圖像格式為png。
人類專家的表現
為了評估人類專家的表現，圖2中展示了三個不同難度的圖像，由4位經驗豐富的用戶進行了標記。為了提高準確性，原始圖像被處理成224 × 224像素的大小以便比較。圖6顯示了人類專家之間成對比較的IoU（Intersection Over Union）和CAL（Average Confidence Loss）指標。。正如預期的那樣，IoU分數低于CAL分數，并且差異較大。例如，即使對于同一位錯，不同專家之間的評估結果也可能存在差異。
結論
通過探索不同的深度學習方法，并利用主要來自原位實驗的大量明場和暗場圖像數據庫，實現了TEM圖像中的位錯分割。測試了多種方法和模型。
- •
使用有限數量的標記圖像，全監督學習（FSL）方法可以獲得接近人類專家的分割結果，而且速度更快。網絡架構對結果影響不大，但使用基于邊界的損失函數
CRediT作者貢獻聲明
阿西亞·布格拉拉（Assya Boughrara）： 數據管理、軟件開發、可視化、撰寫——審稿與編輯、概念化。克里斯汀·維亞拉（Christine Viala）： 數據管理、撰寫——審稿與編輯。洛朗·杜普伊（Laurent Dupuy）： 概念化、軟件開發、撰寫——審稿與編輯。弗雷德里克·蒙皮烏（Frédéric Mompiou）： 概念化、數據管理、資金獲取、軟件開發、監督、初稿撰寫、審稿與編輯。
利益沖突聲明
作者聲明他們沒有已知的財務利益沖突或個人關系可能影響本文的研究工作。
致謝
作者感謝CEMES的PPM小組提供的TEM圖像，感謝J. Douin、J.-P. Monchoux和M. Legros對測試圖像的標記，以及A. Tolley和M. Brunet提供的用于密度測量的STEM圖像。我們非常感謝A. Estana、S. Mohammad和N. Renon將NUMODIS代碼移植到CALMIP的Turpan計算機上。本研究得到了EUR項目NanoX（編號ANR-17-EURE-0009）的支持，該項目屬于投資計劃的一部分。
