《Computers & Mathematics with Applications》:Fractional spatio-temporal modeling for enhanced MRI super-resolution from multi-frame data
編輯推薦:
這篇論文綜述了基于分?jǐn)?shù)階微積分(Caputo 和 Riemann–Liouville 導(dǎo)數(shù))的時(shí)空拋物框架,用于增強(qiáng)傳統(tǒng)超分辨率(SR)方法。核心在于提出一個(gè)結(jié)合空間正則化分?jǐn)?shù)階張量擴(kuò)散機(jī)制的新模型,該模型能在圖像域內(nèi)局部調(diào)控?cái)U(kuò)散的幅度和方向。通過(guò)理論分析證實(shí)了模型的適定性,并利用數(shù)值實(shí)驗(yàn)展示了該方法在圖像去噪和超分辨率方面的優(yōu)勢(shì),尤其在MRI圖像處理中表現(xiàn)出優(yōu)越的視覺(jué)質(zhì)量和細(xì)節(jié)保留能力。
亮點(diǎn)
- •
我們的工作引入了首個(gè)時(shí)空雙分?jǐn)?shù)階非線性拋物型框架,用于從多幀低分辨率(LR)觀測(cè)中重建高分辨率(HR)圖像。
- •
所提出的模型結(jié)合了Caputo時(shí)間分?jǐn)?shù)階導(dǎo)數(shù)(用于記憶效應(yīng)和精細(xì)的時(shí)間演化控制)和Riemann–Liouville空間分?jǐn)?shù)階導(dǎo)數(shù)(嵌入到Weickert型各向異性擴(kuò)散張量中),以增強(qiáng)空間擴(kuò)散特性。
- •
我們從數(shù)學(xué)上證明了該模型的適定性(解的存在性和唯一性),為該框架的可靠性提供了堅(jiān)實(shí)的理論基礎(chǔ)。
- •
在提出的模型中,擴(kuò)散張量被構(gòu)造成適應(yīng)圖像局部幾何結(jié)構(gòu),從而在均勻區(qū)域?qū)崿F(xiàn)各向同性平滑,并在邊緣和角點(diǎn)附近實(shí)現(xiàn)保護(hù)細(xì)節(jié)的各向異性擴(kuò)散。
- •
我們開(kāi)發(fā)了一種穩(wěn)健的數(shù)值方案來(lái)求解所得的分?jǐn)?shù)階偏微分方程(PDE),并進(jìn)行了廣泛的數(shù)值實(shí)驗(yàn),以證明我們的模型在視覺(jué)質(zhì)量、定量指標(biāo)(如PSNR、SSIM)和計(jì)算效率方面的優(yōu)越性。
- •
對(duì)真實(shí)視頻序列的測(cè)試證實(shí)了該模型在盲重建場(chǎng)景中的魯棒性和性能,突顯了其超越靜態(tài)圖像處理的適用性。
1. 引言
圖像恢復(fù)涉及應(yīng)用數(shù)學(xué)工具和算法,通過(guò)恢復(fù)被噪聲、失真或信息丟失所掩蓋的真實(shí)內(nèi)容來(lái)提高圖像質(zhì)量。這個(gè)增強(qiáng)過(guò)程側(cè)重于強(qiáng)調(diào)對(duì)進(jìn)一步處理或分析至關(guān)重要的特定圖像結(jié)構(gòu)或細(xì)節(jié)。圖像恢復(fù)中的技術(shù)有助于生成對(duì)原始場(chǎng)景更清晰、更忠實(shí)的表示。特別是,圖像去噪作為一個(gè)重要的預(yù)處理階段,通過(guò)抑制噪聲偽影來(lái)提高圖像清晰度。更廣泛地說(shuō),恢復(fù)包括圖像超分辨率、去噪、修復(fù)和配準(zhǔn)等任務(wù),并在醫(yī)學(xué)(例如MRI和X射線)、衛(wèi)星遙感、軍事成像和工業(yè)應(yīng)用等一系列領(lǐng)域中得到應(yīng)用。
非線性偏微分方程在圖像分析中的應(yīng)用顯示出巨大潛力。早期發(fā)展可追溯到1984年,當(dāng)時(shí)引入了基于線性熱擴(kuò)散的噪聲減少方法。盡管這種方法允許與高斯核進(jìn)行直接卷積,但結(jié)果通常是過(guò)度平滑的圖像,導(dǎo)致細(xì)節(jié)丟失。為了克服這一限制,Perona和Malik開(kāi)發(fā)了一個(gè)非線性各向異性擴(kuò)散模型。盡管有其創(chuàng)新性,但該模型存在不適定問(wèn)題,并且在某些情況下會(huì)放大噪聲。Catté等人通過(guò)引入梯度經(jīng)高斯核平滑的正則化變體解決了這個(gè)問(wèn)題,這一改進(jìn)提高了穩(wěn)定性,確保了適定性,并減少了階梯效應(yīng)和模糊效應(yīng)。
在此基礎(chǔ)上,Weickert提出了一個(gè)更先進(jìn)的各向異性擴(kuò)散框架,用擴(kuò)散張量代替了標(biāo)量擴(kuò)散函數(shù)。該模型提供了改進(jìn)的邊緣保持和方向性平滑,盡管其依賴(lài)與高斯核的卷積仍然可能模糊尖銳的角點(diǎn),并且在強(qiáng)噪聲條件下失效。
最近,分?jǐn)?shù)階微積分已被證明是圖像處理領(lǐng)域的一種有效方法,它提供了具有記憶效應(yīng)和增強(qiáng)擴(kuò)散動(dòng)力學(xué)控制的非局部算子。應(yīng)用范圍從圖像增強(qiáng)到生物現(xiàn)象建模、混沌系統(tǒng)和異常傳輸。
分?jǐn)?shù)階模型與人類(lèi)視覺(jué)系統(tǒng)的生物學(xué)觀察結(jié)果一致,該系統(tǒng)天生對(duì)非局部模式和邊緣感知的整合敏感。這些特性證明了使用分?jǐn)?shù)階變分框架進(jìn)行去噪和超分辨率等任務(wù)的合理性。分?jǐn)?shù)階導(dǎo)數(shù)能夠?qū)U(kuò)散進(jìn)行微調(diào)控制,在減少噪聲的同時(shí)保留邊緣。
為了超越經(jīng)典的Weickert模型提高魯棒性,Charkaoui等人引入了一個(gè)結(jié)合Caputo導(dǎo)數(shù)的時(shí)間分?jǐn)?shù)階模型。然而,該模型在處理重度噪聲時(shí)仍然面臨限制。
為了進(jìn)一步改進(jìn)這種方法,Ben-loghfyry等人通過(guò)結(jié)合矩陣擴(kuò)散結(jié)構(gòu)引入Caputo時(shí)間分?jǐn)?shù)階算子,開(kāi)發(fā)了Weickert模型的改進(jìn)版本。該模型通過(guò)利用記憶保持動(dòng)力學(xué)和各向異性擴(kuò)散提高了去噪性能。分?jǐn)?shù)階導(dǎo)數(shù)將圖像隨時(shí)間處理為過(guò)去圖像狀態(tài)的加權(quán)貢獻(xiàn),迭代地細(xì)化輸出直至其穩(wěn)定在視覺(jué)一致的重建上。然而,諸如虛假邊緣和階梯效應(yīng)等問(wèn)題仍然存在。
在我們的研究中,我們開(kāi)發(fā)了一個(gè)新的多幀超分辨率分?jǐn)?shù)階PDE框架,它建立于并解決了上述模型的局限性。我們的公式利用分?jǐn)?shù)階導(dǎo)數(shù)和各向異性擴(kuò)散的優(yōu)勢(shì),即使在嚴(yán)重退化的情況下也能產(chǎn)生高質(zhì)量的重建。盡管上述模型帶來(lái)了進(jìn)步,但它們?cè)谔幚肀辉肼晣?yán)重破壞的圖像時(shí)表現(xiàn)出局限性。在這些情況下,這些模型通常難以保持精細(xì)的結(jié)構(gòu)和重要的特征,表明缺乏魯棒性。這些基礎(chǔ)的基于PDE的框架為圖像處理領(lǐng)域做出了重大貢獻(xiàn),并為將類(lèi)似技術(shù)擴(kuò)展到更復(fù)雜的任務(wù)奠定了基礎(chǔ)。
超分辨率從一個(gè)或多個(gè)低分辨率觀測(cè)中重建高分辨率圖像,增強(qiáng)醫(yī)學(xué)成像、衛(wèi)星遙感和監(jiān)視等應(yīng)用中的精細(xì)細(xì)節(jié)。超分辨率克服了硬件限制,無(wú)需昂貴的升級(jí)即可實(shí)現(xiàn)高質(zhì)量重建,并支持需要高精度的任務(wù),如面部識(shí)別和物體檢測(cè)。在MRI中,超分辨率可在不延長(zhǎng)掃描時(shí)間的情況下提高空間分辨率,減少運(yùn)動(dòng)偽影并提高患者舒適度。超分辨率在歷史圖像增強(qiáng)和遙感中也很有用。多幀超分辨率結(jié)合了多個(gè)低分辨率幀的信息,通過(guò)運(yùn)動(dòng)估計(jì)、圖像配準(zhǔn)和融合來(lái)利用空間和時(shí)間冗余,以恢復(fù)具有更清晰度的高分辨率圖像。
在數(shù)學(xué)上,由于觀測(cè)到的低分辨率圖像中存在信息不足,超分辨率公式化問(wèn)題本質(zhì)上是不適定的。為了應(yīng)對(duì)超分辨率的不適定性,采用了正則化策略。這些策略涉及將先驗(yàn)知識(shí)納入重建框架,以引導(dǎo)解決方案朝向合理的結(jié)果。超分辨率廣泛使用的變分公式是:minUE(U) = R(U) + (λ/2) * (1/p) Σk=1p||Vk- MkU||L2(Ω)2,其中λ > 0是平衡數(shù)據(jù)保真度和正則化先驗(yàn)R(U)的正則化權(quán)重。R(U)的經(jīng)典選擇是Tikhonov正則化,它強(qiáng)加于解的平滑性并有效減少噪聲。然而,這種正則化往往會(huì)導(dǎo)致圖像過(guò)度平滑,特別是在邊緣處,從而降低結(jié)構(gòu)保真度。為了克服這個(gè)缺點(diǎn),已經(jīng)開(kāi)發(fā)了替代的先驗(yàn),包括:全變分正則化、Huber-Markov隨機(jī)場(chǎng)、稀疏方向先驗(yàn)和邊緣自適應(yīng)RMF模型。
這些先進(jìn)的正則化器在同時(shí)抑制噪聲和保留基本圖像特征方面顯示出巨大前景,使其特別適用于高質(zhì)量的超分辨率重建。在圖像恢復(fù)中使用的各種正則化策略中,上述的全變分先驗(yàn)由于其有效保留邊緣同時(shí)減少噪聲而獲得了極大的普及。然而,基于經(jīng)典全變分的方法經(jīng)常引入不希望的偽影,特別是階梯效應(yīng),這種效應(yīng)表現(xiàn)為重建的高分辨率圖像中的虛假邊緣和分段恒定區(qū)域。為了克服這些限制,已經(jīng)提出了全變分正則化器的幾種變體。其中最值得注意的是雙邊全變分方法,它提供了全變分范數(shù)的離散擴(kuò)展,適用于處理局部圖像結(jié)構(gòu)。盡管雙邊全變分改善了邊緣保持,但已觀察到它在均勻區(qū)域和物體邊界附近引入人工細(xì)節(jié)。雙邊全變分的一種自適應(yīng)改進(jìn)被引入,其中采用可變范數(shù)來(lái)限制平滑區(qū)域的擴(kuò)散。盡管有這些增強(qiáng),該模型在保留精細(xì)紋理信息方面仍然存在困難。進(jìn)一步的發(fā)展,例如討論的局部自適應(yīng)雙邊全變分正則化器,側(cè)重于增強(qiáng)低分辨率輸入和重建的高分辨率圖像之間圖像梯度的一致性。在另一個(gè)方向上,Marquina和Osher提出了一個(gè)結(jié)合約束全變分正則化的卷積框架,使用Bregman迭代算法有效解決超分辨率最小化問(wèn)題。最近,出現(xiàn)了一種基于分?jǐn)?shù)階全變分正則化的穩(wěn)健建模策略。在這兩項(xiàng)工作中,作者引入了受物理現(xiàn)象和改進(jìn)紋理保留需求驅(qū)動(dòng)的變階分?jǐn)?shù)階導(dǎo)數(shù)。由此產(chǎn)生的模型顯示出逼真且視覺(jué)上引人注目的重建。另一個(gè)值得注意的貢獻(xiàn)是來(lái)自的自適應(yīng)全變分驅(qū)動(dòng)的超分辨率方法,它在各種噪聲和退化場(chǎng)景下優(yōu)于標(biāo)準(zhǔn)全變分模型。盡管有這些進(jìn)步,基于全變分的模型仍然存在對(duì)比度衰減和虛擬偽影等限制,強(qiáng)調(diào)了對(duì)更魯棒的數(shù)學(xué)框架的需求。在此背景下,近期的興趣轉(zhuǎn)向了具有分?jǐn)?shù)階算子的非線性偏微分方程,它提供了改進(jìn)的靈活性和建模能力。
特別是,中提出的工作提出了一個(gè)具有Caputo分?jǐn)?shù)階時(shí)間導(dǎo)數(shù)并通過(guò)正則化Perona–Malik擴(kuò)散過(guò)程耦合的超分辨率模型。然而,該模型仍然受到高分辨率輸出中虛擬角點(diǎn)和階梯效應(yīng)的影響。為了克服這些缺點(diǎn),同時(shí)保留先前方法的優(yōu)勢(shì),我們?cè)谶@項(xiàng)工作中提出了一種基于雙分?jǐn)?shù)階公式的新多幀超分辨率模型。具體來(lái)說(shuō),我們通過(guò)在空間和時(shí)間上引入分?jǐn)?shù)階導(dǎo)數(shù)來(lái)推廣Weickert各向異性擴(kuò)散模型。據(jù)我們所知,這種方法在現(xiàn)有文獻(xiàn)中尚未被探索或研究。該模型結(jié)合了階數(shù)δ ∈ (0, 1)的Caputo時(shí)間分?jǐn)?shù)階導(dǎo)數(shù)來(lái)控制記憶效應(yīng)和時(shí)間擴(kuò)散,以及階數(shù)β ∈ (1, 2)的Riemann–Liouville空間分?jǐn)?shù)階導(dǎo)數(shù)以增強(qiáng)空間擴(kuò)散特性。空間分?jǐn)?shù)階算子嵌入在Weickert模型的擴(kuò)散張量中,導(dǎo)致形式為:?·(D(Jρ(?βUσ))?U)的擴(kuò)散項(xiàng)。這種新穎的公式旨在更有效地捕捉復(fù)雜的紋理和結(jié)構(gòu)特征,解決先前模型中觀察到的偽影和魯棒性限制。空間分?jǐn)?shù)階導(dǎo)數(shù)的引入允許更好地模擬長(zhǎng)程依賴(lài)和異常擴(kuò)散行為,這在醫(yī)學(xué)成像、遙感和視頻恢復(fù)等應(yīng)用中特別有價(jià)值。分?jǐn)?shù)階算子在成像中的功效已在邊緣檢測(cè)、紋理增強(qiáng)和噪聲減少等多項(xiàng)任務(wù)中得到證明。我們的方法旨在將這些優(yōu)勢(shì)整合到一個(gè)統(tǒng)一的超分辨率框架中,該框架平衡了噪聲抑制、細(xì)節(jié)保留和計(jì)算可處理性。
結(jié)論
在圖像恢復(fù)中使用的各種正則化策略中,全變分先驗(yàn)由于其有效保留圖像特征和元素,同時(shí)減少噪聲而獲得了極大的普及。然而,基于經(jīng)典全變分的方法經(jīng)常引入不希望的偽影,特別是階梯效應(yīng),這種效應(yīng)表現(xiàn)為重建的高分辨率圖像中的虛假邊緣和分段恒定區(qū)域。為了克服這些限制,已經(jīng)提出了全變分正則化器的幾種變體。其中最值得注意的是雙邊全變分方法,它提供了全變分范數(shù)的離散擴(kuò)展,適用于處理局部圖像結(jié)構(gòu)。盡管雙邊全變分改善了邊緣保持,但已觀察到它在均勻區(qū)域和物體邊界附近引入人工細(xì)節(jié)。雙邊全變分的一種自適應(yīng)改進(jìn)被引入,其中采用可變范數(shù)來(lái)限制平滑區(qū)域的擴(kuò)散。盡管有這些增強(qiáng),該模型在保留精細(xì)紋理信息方面仍然存在困難。進(jìn)一步的發(fā)展,例如討論的局部自適應(yīng)雙邊全變分正則化器,側(cè)重于增強(qiáng)低分辨率輸入和重建的高分辨率圖像之間圖像梯度的一致性。在另一個(gè)方向上,Marquina和Osher提出了一個(gè)結(jié)合約束全變分正則化的卷積框架,使用Bregman迭代算法有效解決超分辨率最小化問(wèn)題。最近,出現(xiàn)了一種基于分?jǐn)?shù)階全變分正則化的穩(wěn)健建模策略。在這兩項(xiàng)工作中,作者引入了受物理現(xiàn)象和改進(jìn)紋理保留需求驅(qū)動(dòng)的變階分?jǐn)?shù)階導(dǎo)數(shù)。由此產(chǎn)生的模型顯示出逼真且視覺(jué)上引人注目的重建。另一個(gè)值得注意的貢獻(xiàn)是來(lái)自的自適應(yīng)全變分驅(qū)動(dòng)的超分辨率方法,它在各種噪聲和退化場(chǎng)景下優(yōu)于標(biāo)準(zhǔn)全變分模型。盡管有這些進(jìn)步,基于全變分的模型仍然存在對(duì)比度衰減和虛擬偽影等限制,強(qiáng)調(diào)了對(duì)更魯棒的數(shù)學(xué)框架的需求。在此背景下,近期的興趣轉(zhuǎn)向了具有分?jǐn)?shù)階算子的非線性偏微分方程,它提供了改進(jìn)的靈活性和建模能力。