▍撰稿：陳欣，席鵬

▍說明：本文來自論文作者（課題組）投稿

SIM 最初是作為準(zhǔn)共聚焦的方法用于去除厚樣本中不同垂直圖像平面貢獻(xiàn)的散焦信息，又被稱為光學(xué)切片SIM技術(shù)（OS-SIM）。隨后，為了滿足對(duì)亞細(xì)胞器的精細(xì)結(jié)構(gòu)和細(xì)胞器之間的相互作用研究日益增長的需求，人們開發(fā)了能夠超出光學(xué)衍射極限限制的超分辨SIM技術(shù)（SR-SIM）。

如圖1所示，隨著硬件和軟件的不斷發(fā)展， SR-SIM技術(shù)已經(jīng)稱為下一代寬場顯微成像技術(shù)的新標(biāo)準(zhǔn)，主要是因?yàn)樗邆涑叱上袼俣龋?gt;500幀/秒），超分辨率（<100納米），大視場（>200 微米）和長時(shí)程成像（>1 小時(shí)）等出色的能力。值得注意的是，要充分發(fā)揮SIM系統(tǒng)硬件的潛力，需要開發(fā)先進(jìn)的重建算法。

圖1：超分辨SIM技術(shù)發(fā)展的重要?dú)v程。

在最近發(fā)表在Light: Science & Applications期刊，題為“Superresolution structured illumination microscopy reconstruction algorithms: a review”的一篇綜述論文中，由中國北京大學(xué)未來技術(shù)學(xué)院生物醫(yī)學(xué)工程系、北京大學(xué)國家生物醫(yī)學(xué)成像中心的席鵬教授領(lǐng)導(dǎo)的科研團(tuán)隊(duì)，對(duì)SIM技術(shù)的進(jìn)展，尤其是SR-SIM 重建算法進(jìn)行了全面的綜述。這篇論文總結(jié)并對(duì)比了各種典型的SIM算法，給出了詳細(xì)的分析結(jié)果，便于用戶能夠在選擇適用于特定場景中的合適算法時(shí)做出明智的選擇。此外，研究人員還提供了對(duì)SIM技術(shù)未來發(fā)展?jié)摿Φ恼雇?，希望能夠促進(jìn)該領(lǐng)域的進(jìn)一步發(fā)展。

SIM 技術(shù)基于莫爾條紋原理，利用一系列正弦激發(fā)照明模式對(duì)未知樣本進(jìn)行照明。發(fā)射光包含了在衍射受限圖像中觀察不到的樣本的精細(xì)結(jié)構(gòu)信息并被物鏡采集。隨后，通過采用一系列SIM重建過程來提取這些未知的樣本信息。根據(jù)激發(fā)照明模式中的諧波級(jí)數(shù)，SIM可以分為線性SIM和非線性SIM。

▍SIM 實(shí)施方式：以線性SIM為例

■ OS-SIM: 為寬場顯微鏡添加光學(xué)切片功能

（1）照明模式：單頻格點(diǎn)圖案、規(guī)則點(diǎn)陣、方形和六角形，及動(dòng)態(tài)散斑照明

（2）采集原始圖像數(shù)量：多幀、兩幀和單幀

圖2：OS-SIM執(zhí)行模態(tài)原理圖。a：混合散斑和均勻照明顯微鏡（HiLo），b：線照明調(diào)制顯微鏡（LiMo），c：偏振照明編碼結(jié)構(gòu)光照明顯微鏡（picoSIM）

■ SR-SIM: 實(shí)現(xiàn)單方向或雙方向的超分辨顯微成像

（1）二維 SIM（2D-SIM, 也稱為雙光束 SIM）：

利用帶有橫向或者軸向調(diào)制的結(jié)構(gòu)化照明模式，分別提高系統(tǒng)相應(yīng)的橫向或軸向分辨率。

（2）三維 SIM（3D-SIM, 也稱為三光束 SIM）：

三束相干光載樣本中干涉，形成橫向和軸向變化的照明模式，從而同時(shí)提高系統(tǒng)的橫向和軸向分辨率。

（3）四光束干涉（3D-SIM 家族）：

通過直接在樣本對(duì)面放置反射鏡，實(shí)現(xiàn)四光束干涉。這進(jìn)一步提高了3D-SIM本身在軸向上的分辨率。

（4）六光束干涉（3D-SIM 家族）：

將3D-SIM照明系統(tǒng)與兩個(gè)相對(duì)物鏡幾何結(jié)構(gòu)相結(jié)合，實(shí)現(xiàn)六光束干涉。這進(jìn)一步提高了3D-SIM本身在軸向上的分辨率。

圖3：SR-SIM執(zhí)行模態(tài)示意圖。a：SR-SIM系統(tǒng)原理圖，b：2D-SIM，c：3D-SIM，d：四光束干涉，e 六光束干涉

▍SR-SIM 重建算法的發(fā)展

SR-SIM的重建過程如圖4所示。首先，對(duì)原始圖像進(jìn)行圖像處理，以提高信噪比(SNR)。接下來，如果不需要參數(shù)估計(jì)，則可以采用盲SIM重建算法。然而，如果需要參數(shù)估計(jì)，則可以在傅里葉域和空域中進(jìn)行重建。此外，還可以利用基于正則化的迭代優(yōu)化方法來增強(qiáng)重建結(jié)果對(duì)噪聲的魯棒性。以下是每個(gè)部分的發(fā)展趨勢總結(jié)：

圖4：SR-SIM重構(gòu)過程示意圖。

■ 參數(shù)估計(jì)

精確估計(jì)周期性照明模式信息，包括照明頻率矢量、相位和調(diào)制深度。

（1）迭代搜索 ：

● 交叉相關(guān)（COR）：具有魯棒性和高精度，但計(jì)算時(shí)間較長。

（2）非迭代搜索：

● 自相關(guān)（ACR）、相位峰值（POP）、圖像重組變換（IRT）：在原始圖像具有低SNR或調(diào)制深度較弱時(shí)無法保證估計(jì)的精度。

● 主成分分析SIM（PCA-SIM）：在低SNR情況下能夠快速且魯棒地估計(jì)，其精度與COR相當(dāng)。

■ 傅里葉域重建(FDR)算法：簡單且快速

最初的FDR算法基于廣義維納濾波提出的。隨后，提出了各種改進(jìn)的FDR算法，包括：

● 光學(xué)像差抑制：基于RL的去卷積、高保真SIM、塊重建等。

● 對(duì)低SNR情況具有魯棒性：海森SIM、二階最優(yōu)正則化SIM、稀疏SIM、多分辨率分析(MRA)去卷積等。

● 提高重建速度：減少原始圖像幀數(shù)、滾動(dòng)重建、GPU加速等。

■ 空域重建 (SDR) 算法：比FDR算法速度更快

最近提出了SDR重建算法。它與FDR算法需要相同數(shù)量的原始圖像，但不需要進(jìn)行傅里葉變換操作。

■ 盲SIM重建算法：對(duì)畸變的照明模式具有魯棒性

該方法的重建速度比FDR和SDR重建方法慢了幾個(gè)數(shù)量級(jí)。

此外，該論文還總結(jié)了現(xiàn)有的開源SR-SIM重建算法，并討論了它們的特點(diǎn)和應(yīng)用范圍，旨在幫助讀者選擇適用于其需求的相關(guān)重建工具。

▍結(jié)合深度學(xué)習(xí)技術(shù)

近年來，研究人員開始探索利用深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）提升SR-SIM在空間/時(shí)間分辨率、圖像深度和成像速度方面的潛力。其中一些技術(shù)包括：

■ 對(duì)噪聲魯棒性的增強(qiáng)

● 生成對(duì)抗網(wǎng)絡(luò)（GNA）模型

● 基于U-Net的框架（例如U-Net-SIM15）

● 殘差編碼-解碼卷積神經(jīng)網(wǎng)絡(luò)（RED-Net）

● 理性化深度學(xué)習(xí)（rDL）

■ 提高重建速度

● 基于U-Net的框架（例如U-Net-SIM3）

● 深度傅里葉通道注意力網(wǎng)絡(luò)（DFCAN）及其衍生物DFGAN

● 循環(huán)一致生成對(duì)抗網(wǎng)絡(luò)（cycleGAN）

● 通道注意力生成對(duì)抗網(wǎng)絡(luò)（caGAN）

▍總結(jié)

■ 商業(yè)SIM系統(tǒng)的比較

該論文還從系統(tǒng)分辨率、成像速度、成像視場和多色成像能力等因素對(duì)幾種代表性的商業(yè)SIM系統(tǒng)進(jìn)行了總結(jié)和比較，比如，德國Zeiss Elyra7、日本Nikon N-SIM S和中國Airy Polar SIM。這些信息將幫助用戶根據(jù)其特定應(yīng)用選擇合適的系統(tǒng)。

■ 結(jié)論和展望

（1）結(jié)論

● 概述了OS-SIM和SR-SIM的實(shí)現(xiàn)方式。

● 深入探討了SR-SIM重建算法的發(fā)展，并對(duì)各類別中具有代表性的方法進(jìn)行了比較。

● 總結(jié)了SIM與其他技術(shù)的各種組合，以優(yōu)化成像策略來獲得更好的重建質(zhì)量。

（2）展望

● 與2D-SIM相比，3D-SIM重建需要更復(fù)雜的硬件設(shè)置和更多的原始圖像。需要開發(fā)新的系統(tǒng)和重建算法來簡化3D-SIM的實(shí)驗(yàn)約束并加快重建速度。

● 較快的成像速度意味著信號(hào)累積時(shí)間更短、獲得的圖像信噪比更低?；谡齽t化的迭代優(yōu)化方法可能更適合，但需要進(jìn)一步優(yōu)化，以減少在不同樣本上進(jìn)行參數(shù)調(diào)整的需要，使其對(duì)初學(xué)者更加方便。

● 雖然SDR算法可以通過GPU加速實(shí)現(xiàn)動(dòng)態(tài)測量，但其重建質(zhì)量目前還不如FDR結(jié)果。探索SDR算法的潛力并開發(fā)新的算法有助于填補(bǔ)差距并提高成像速度。

● 深度學(xué)習(xí)超分辨率圖像所傳達(dá)的信息能在何種程度上用于定量分析，以及在何種條件下這些方法優(yōu)于傳統(tǒng)超分辨率顯微鏡，目前還不清楚。結(jié)合物理模型可以減少不確定性并提供物理上可行的推斷，從而彌合基于深度學(xué)習(xí)和基于物理模型的模型之間的差距。

| 論文信息 |

Chen, X., Zhong, S., Hou, Y. et al. Superresolution structured illumination microscopy reconstruction algorithms: a review. Light Sci Appl 12, 172 (2023).

https://doi.org/10.1038/s41377-023-01204-4

閱讀原文