在生物醫(yī)學研究中,高分辨率組織成像技術(shù)常因樣本引起的光學像差而受限,導致圖像分辨率和對比度下降。傳統(tǒng)基于波前傳感器的自適應光學技術(shù)雖能測量這些像差,但其硬件復雜、成本高昂,且在測繪大視場中空間變化的像差時速度緩慢。為此,研究團隊提出了一種名為AOVIFT(自適應光學視覺傅里葉變換器)的新型機器學習框架,該框架基于三維多階段視覺Transformer,直接在傅里葉域中對像差進行建模與校正。AOVIFT通過分析樣本中由亞衍射尺寸熒光斑點(如網(wǎng)格蛋白包被小坑)產(chǎn)生的傅里葉嵌入特征,快速推斷像差并恢復衍射極限性能,顯著降低了計算成本、訓練時間及內(nèi)存占用。該方法在活體基因編輯斑馬魚胚胎和培養(yǎng)細胞中得到了驗證,能夠通過可變形鏡或后處理解卷積有效校正空間變化的像差,為多種生物樣本的高分辨率體積顯微鏡成像降低了技術(shù)門檻。
本研究的核心貢獻者為Thayer Alshaabi、Daniel E. Milkie、Gaoxiang Liu等作者,其合作論文《Fourier-based three-dimensional multistage transformer for aberration correction in multicellular specimens》于2025年10月在《Nature Methods》期刊上在線發(fā)表。
重要發(fā)現(xiàn)
01研究背景與技術(shù)需求
在活體多細胞樣本成像中,樣本內(nèi)部折射率的不均勻性會導致復雜的光學像差,嚴重影響成像質(zhì)量。傳統(tǒng)的自適應光學技術(shù)依賴波前傳感器和導引星,硬件要求高且操作繁瑣。盡管已有多種基于機器學習的像差校正方法被提出,但在處理大體積、低信噪比、多斑點的活體樣本時,仍難以同時滿足速度、魯棒性、準確性和非侵入性等嚴格要求。特別是在自適應光學格子光片顯微鏡中,需要對秒級時間內(nèi)采集的體積數(shù)據(jù)完成像差推斷,且能應對高達5λ峰谷值的復雜像差模式。
模型采用雙階段三維視覺Transformer架構(gòu),每個階段使用不同的塊大小(32和16像素)對傅里葉平面進行分塊處理,并引入徑向編碼的位置嵌入以契合Zernike多項式的徑向?qū)ΨQ特性。通過多層自注意力機制和殘差連接,模型能夠從傅里葉嵌入中提取多尺度特征,最終輸出前15個Zernike模式(排除活塞、傾斜、散焦等平移相關(guān)模式)的系數(shù),用于驅(qū)動可變形鏡或生成用于解卷積的像差點擴散函數(shù)。
03性能驗證與實驗結(jié)果在活體SUM159細胞成像中,AOVIFT成功校正了由可變形鏡引入的混合像差(如水平彗差與傾斜三葉像差),使網(wǎng)格蛋白包被小坑的信號強度提升2-4倍,快速傅里葉變換顯示空間頻率成分顯著恢復。在斑馬魚胚胎實驗中,AOVIFT校正了約2λ峰谷值的樣本固有像差,其效果與基于導引星的Shack-Hartmann傳感器校正結(jié)果相當,并實現(xiàn)了對細胞膜和線粒體的清晰成像。
針對大視場內(nèi)像差的空間變化性,AOVIFT能夠在1.5分鐘內(nèi)基于四塊A100 GPU并行推斷出204個等暈區(qū)域的像差分布圖。盡管無法通過單一可變形鏡同時校正所有區(qū)域,但通過基于像差圖的空變解卷積處理,有效抑制了像差引起的偽影,提升了樣本結(jié)構(gòu)的還原度。
創(chuàng)新與亮點
01突破傳統(tǒng)硬件限制的軟傳感范式
AOVIFT的核心突破在于徹底擺脫了對波前傳感器和導引星等專用硬件的依賴,將像差傳感轉(zhuǎn)化為純計算問題。這一轉(zhuǎn)變不僅大幅降低了系統(tǒng)復雜性與成本,更使得像差校正可廣泛應用于不具備自適應光學硬件的普通顯微鏡平臺。通過利用樣本內(nèi)天然存在的亞衍射結(jié)構(gòu)(如網(wǎng)格蛋白包被小坑)作為信號源,AOVIFT實現(xiàn)了“無創(chuàng)”像差感知,避免了對熒光光子預算的過度消耗,保障了活體樣本的生理活性。
總結(jié)與展望
AOVIFT作為一項融合傅里葉光學與深度學習的前沿技術(shù),成功演示了基于機器學習的自適應光學在活體多細胞成像中的巨大潛力。其通過傅里葉嵌入與三維視覺Transformer的有效結(jié)合,實現(xiàn)了對復雜像差的快速、精準校正,為高分辨率體積顯微鏡在生命科學中的普及應用提供了更易實現(xiàn)的解決方案。當前模型雖針對特定光片類型優(yōu)化,但其框架具備向其他成像模式拓展的靈活性。
DOI:10.1038/s41592-025-02844-7.