【儀表網 研發快訊】近期，中國科學院合肥物質院智能所謝成軍與張潔團隊將 Mamba 模型引入遙感圖像全色銳化領域，提出了一種名為Pan-Mamba的網絡框架。相關研究成果發表在計算機科學和人工智能領域國際頂尖權威刊物、中科院1區Top期刊Information Fusion上。
全色銳化是一項關鍵的遙感圖像處理技術，旨在通過融合低分辨率的多光譜圖像和高分辨率的全色圖像，生成高分辨率的多光譜圖像。近年來，Mamba模型在長程依賴建模方面取得了突破性進展，它能夠以線性復雜度實現對長距離關系的建模，并且在眾多領域展現出的效果與計算復雜度更高的 Transformer 架構相近。受此啟發，研究團隊將 Mamba 模型引入全色銳化領域，期望挖掘其在該領域的潛在價值。
Pan-Mamba的核心創新點在于定制了兩個關鍵組件：通道交換Mamba和跨模態Mamba。具體而言，通道交換Mamba在網絡的早期階段引入了部分全色和多光譜特征通道的交互，使得模型能夠在早期就捕捉到不同模態間的相關性，從而提高了信息傳遞的效率。跨模態Mamba在網絡的后期階段進一步加強了多光譜和全色圖像特征之間的信息融合，通過多層的跨模態交互，確保了模型能夠充分利用兩種模態的信息，生成高質量的融合圖像。這種設計不僅促進了不同模態間的信息交流與融合，還保證了模型的計算效率，使其在處理大尺度遙感圖像時仍能保持高性能。
為了驗證Pan-Mamba的有效性，研究團隊進行了廣泛的實驗，涵蓋多種不同的數據集，包括WorldView-III、WorldView-II和GaoFen-2等。實驗結果顯示，Pan-Mamba在全色銳化任務中顯著超越了現有最先進方法，無論是在定量指標還是定性視覺效果上都表現出色。在WorldView-II和WorldView-III數據集上，相比次優方法在峰值信噪比指標上取得了0.38dB和0.31dB的提升。
目前，Pan-Mamba的源代碼已對外公開，可供相關領域的研究者和開發者使用，訪問網址為：https://github.com/alexhe101/Pan-Mamba。
碩士生何炫華為論文第一作者，張潔副研究員為論文通訊作者。該項工作得到了安徽省自然科學基金項目的支持。
圖 1Pan-Mamba 網絡結構圖
表 1Pan-Mamba模型在不同數據集下的實驗結果
圖 2 不同全色銳化模型在全分辨率WorldView-II數據集下可視化結果比較
所有評論僅代表網友意見，與本站立場無關。