南科大李依明團(tuán)隊(duì)提出基于輕量化深度學(xué)習(xí)的高效可擴(kuò)展單分子定位分析框架

　　【儀表網(wǎng) 研發(fā)快訊】近日，南方科技大學(xué)生物醫(yī)學(xué)工程系副教授李依明課題組在高效單分子定位方法研究領(lǐng)域取得重要進(jìn)展，相關(guān)成果以“Scalable and lightweight deep learning for efficient high accuracy single-molecule localization microscopy”為題發(fā)表于國際權(quán)威期刊Nature Communications。
 

　　單分子定位顯微鏡(single-molecule localization microscopy，SMLM)是目前主流三大超分辨顯微鏡之一，因其兼具超高的空間分辨率和分子特異性，在眾多顯微成像技術(shù)中擁有獨(dú)特的優(yōu)勢。近年來，深度學(xué)習(xí)方法的引入顯著提升了SMLM在低信噪比與高密度樣本下的定位精度。目前，以高內(nèi)涵篩選(high-content screening)為目標(biāo)的高通量超分辨成像技術(shù)已成為SMLM發(fā)展的主要方向。現(xiàn)有深度學(xué)習(xí)網(wǎng)絡(luò)因其模型復(fù)雜度高，在高通量成像場景中普遍存在處理延時(shí)長、資源消耗大等問題，嚴(yán)重制約了其在實(shí)際應(yīng)用中的部署。雖然已有一些模型壓縮技術(shù)可降低網(wǎng)絡(luò)復(fù)雜度，但往往以犧牲定位精度為代價(jià)，難以滿足SMLM對高精度定位的需求。
 

　　為解決上述問題，研究團(tuán)隊(duì)提出了一種名為LiteLoc的基于輕量化深度學(xué)習(xí)網(wǎng)絡(luò)的可擴(kuò)展分析框架。該框架結(jié)合了由粗、細(xì)特征提取器構(gòu)成的輕量化深度學(xué)習(xí)網(wǎng)絡(luò)與一套可擴(kuò)展的競爭式并行數(shù)據(jù)分析策略。在8張RTX 4090顯卡上，LiteLoc實(shí)現(xiàn)了超過560 MB/s的吞吐量，能夠?qū)崟r(shí)分析由現(xiàn)代sCMOS相機(jī)采集的高通量超分辨成像數(shù)據(jù)。本研究為基于深度學(xué)習(xí)的SMLM設(shè)立了一個(gè)兼顧定位精度與計(jì)算效率的新基準(zhǔn)，為生命科學(xué)領(lǐng)域的高效、可擴(kuò)展成像工作流程提供了高效的解決方案。
 

　　通常傳統(tǒng)圖像中的目標(biāo)特征分布在整張圖像的不同區(qū)域，相比之下，單分子定位數(shù)據(jù)可被分解為大量時(shí)空分離的模塊，每個(gè)模塊僅包含局部熒光分子的相關(guān)信息，彼此之間相互獨(dú)立(如圖1a所示)。然而，現(xiàn)有基于深度學(xué)習(xí)的單分子數(shù)據(jù)分析軟件多采用串行處理模式，數(shù)據(jù)分析流程中CPU和GPU資源未被充分利用。LiteLoc提出的并行分析框架可以最大限度地利用硬件計(jì)算資源，將整個(gè)數(shù)據(jù)分析流程模塊化為數(shù)據(jù)讀取/預(yù)處理、網(wǎng)絡(luò)推理、后處理/寫入三個(gè)階段，并通過優(yōu)化不同階段的并行處理機(jī)制，允許多張顯卡以競爭方式同時(shí)讀取與分析處理數(shù)據(jù)。最終數(shù)據(jù)分析總耗時(shí)與子進(jìn)程推理幾乎一致(如圖1b所示)。
 

圖1  LiteLoc的可擴(kuò)展并行框架和輕量化深度學(xué)習(xí)網(wǎng)絡(luò)示意圖
 

　　傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)通常通過堆疊多個(gè)卷積層來提取多尺度特征。為實(shí)現(xiàn)更高效率，空洞卷積因其在維持參數(shù)與計(jì)算量不變的同時(shí)能擴(kuò)展感受野而受到關(guān)注。LiteLoc的輕量化深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)由兩部分組成：一是由空洞系數(shù)遞增的空洞卷積組構(gòu)成的粗特征提取器，二是由簡化版U-Net構(gòu)成的細(xì)特征提取器(如圖1c所示)。該結(jié)構(gòu)通過增大感受野、增強(qiáng)特征復(fù)用效率與融合多尺度信息，有效地將模型復(fù)雜度降低了一個(gè)數(shù)量級(如圖2a所示)。與此同時(shí)，LiteLoc在定位精度上與當(dāng)前最優(yōu)算法DECODE相當(dāng)甚至更優(yōu)(如圖2c-f所示)。結(jié)合GPU集群并行分析框架，LiteLoc實(shí)現(xiàn)了567.6 MB/s的總分析速度，超過常規(guī)SATA SSD的讀取上限(500 MB/s)。
 

圖 2  LiteLoc的分析速度及定位表現(xiàn)
 

　　為驗(yàn)證LiteLoc的定位性能，研究團(tuán)隊(duì)分別對基于散光點(diǎn)擴(kuò)散函數(shù)(point spread function，PSF)和6 µm DMO-Tetrapod PSF對標(biāo)準(zhǔn)結(jié)構(gòu)U2OS細(xì)胞中的核孔蛋白Nup96成像數(shù)據(jù)進(jìn)行分析和重建(如圖3所示)。已有研究指出，Nup96雙層環(huán)結(jié)構(gòu)平均直徑約為107 nm，雙層環(huán)間的平均距離約為50 nm。在使用散光PSF的成像實(shí)驗(yàn)中，LiteLoc與主流定位算法DeepSTORM3D、DECODE均可在x-y平面中重構(gòu)出核孔的環(huán)狀結(jié)構(gòu)(圖3b)，并在x-z平面準(zhǔn)確解析出靠近蓋玻片的雙層環(huán)結(jié)構(gòu)(圖3c)。在6 µm DMO-Tetrapod PSF實(shí)驗(yàn)中，三種算法均可大致重構(gòu)細(xì)胞上下表面的核孔蛋白分布(圖3e)。
 

　　然而，由于單個(gè)分子的光子分布范圍更大、原始顯微圖像信噪比較低，DeepSTORM3D預(yù)測的定位點(diǎn)較為分散，數(shù)量也相對較少(圖3d)；而DECODE重構(gòu)的超分辨圖像中出現(xiàn)了明顯的網(wǎng)格狀偽影。相比之下，LiteLoc重構(gòu)圖像未出現(xiàn)此類偽影(圖3i)，顯示出LiteLoc具有更高的定位準(zhǔn)確度。在分析速度方面，在相同硬件條件下，LiteLoc的分析耗時(shí)僅為DECODE的28.8%、DeepSTORM3D的1.5%，顯著提升了單分子數(shù)據(jù)的處理效率。
 

　　圖3  LiteLoc在基于散光PSF和6 µm DMO-Tetrapod PSF對核孔蛋白Nup96的重構(gòu)結(jié)果

 

　　常規(guī)的深度學(xué)習(xí)SMLM軟件支持的PSF建模方式有限，而在實(shí)際成像中研究者往往需根據(jù)具體成像需求選擇不同建模方式。樣條插值PSF較為簡單，適用于空間不變PSF建模；而矢量PSF考慮多種光學(xué)參數(shù)，如波長、折射率與數(shù)值孔徑，更適合用于包含深度與視場依賴像差的場景。LiteLoc同時(shí)支持兩種PSF建模方式用于訓(xùn)練。圖4展示了結(jié)合原位PSF估計(jì)與矢量PSF模型訓(xùn)練的LiteLoc的重構(gòu)結(jié)果，同時(shí)將樣條插值PSF訓(xùn)練的LiteLoc結(jié)果作為對比。可以看到基于原位矢量PSF訓(xùn)練的LiteLoc預(yù)測結(jié)果與實(shí)際NPC結(jié)構(gòu)更加吻合，表明其更適合用于補(bǔ)償深度依賴的像差。
 

　　圖4  分別基于矢量PSF和C-spline插值PSF訓(xùn)練的LiteLoc重建結(jié)果
 

　　綜上所述，研究團(tuán)隊(duì)提出了一套面向高通量SMLM的輕量化深度學(xué)習(xí)可擴(kuò)展并行分析框架。該方法在保證高定位精度的前提下，將網(wǎng)絡(luò)推理速度提升三倍以上，顯著緩解了PSF復(fù)雜性、結(jié)構(gòu)化數(shù)據(jù)偽影和成像條件多樣性帶來的挑戰(zhàn)，適用于不同生物樣本的超分辨成像任務(wù)。其在8張RTX 4090 GPU上的總處理速度超過560 MB/s，具備實(shí)時(shí)處理能力，未來有望應(yīng)用于閉環(huán)成像系統(tǒng)與在線質(zhì)量控制。此外，LiteLoc對計(jì)算資源的需求較低，便于集成至標(biāo)準(zhǔn)SMLM分析流程，并與聚類、追蹤或結(jié)構(gòu)重建等下游模塊結(jié)合，實(shí)現(xiàn)高效一體化的超分辨數(shù)據(jù)處理流程。
 

　　南科大2025屆碩士生費(fèi)悅、博士后傅爽以及石偉為論文共同第一作者，李依明為該論文通訊作者，南方科技大學(xué)為第一通訊單位。該項(xiàng)目得到了國家重點(diǎn)研發(fā)計(jì)劃、深圳市醫(yī)學(xué)研究專項(xiàng)資金、國家自然科學(xué)基金委員會(huì)和南方科技大學(xué)校長卓越博士后資金等科研項(xiàng)目的支持。