【儀表網(wǎng) 研發(fā)快訊】近期，中國科學(xué)院上海光學(xué)精密機(jī)械研究所信息光學(xué)與光電技術(shù)實(shí)驗(yàn)室司徒國海研究員團(tuán)隊(duì)在基于深度學(xué)習(xí)的頻譜欠采樣及復(fù)原方面取得新進(jìn)展。研究團(tuán)隊(duì)通過聯(lián)合優(yōu)化頻譜采樣和頻譜重建，在7.5%的極限采樣率下成功實(shí)現(xiàn)復(fù)雜場景的高質(zhì)量彩色重建。相關(guān)研究成果以“Learning-based adaptive under-sampling for Fourier single-pixel imaging”為題發(fā)表于Optics Letters上。
自然場景圖像往往在頻域較空域更具稀疏性。傳統(tǒng)成像在空域采樣，而傅里葉單像素成像(FSI)通過投影不同頻率的正弦條紋對場景編碼，可直接使用單像素探測器對場景頻譜采樣。利用頻譜稀疏性，F(xiàn)SI可在不顯著犧牲圖像質(zhì)量的條件下減少采樣次數(shù)，提升信息獲取效率。但這種有損壓縮方法，難以在極低采樣率下應(yīng)用。通過引入深度學(xué)習(xí)可對降質(zhì)的欠采樣圖像進(jìn)行增強(qiáng)，但其性能受到手動(dòng)設(shè)計(jì)頻譜采樣方案的限制。
研究人員基于自編碼架構(gòu)(圖1a)，在編碼層引入一個(gè)可學(xué)習(xí)的頻域欠采樣二值掩膜，并在解碼層實(shí)現(xiàn)對欠采樣重建結(jié)果的增強(qiáng)，通過計(jì)算網(wǎng)絡(luò)輸出結(jié)果和標(biāo)簽值之間的差異，指導(dǎo)欠采樣掩膜和解碼網(wǎng)絡(luò)參數(shù)協(xié)同優(yōu)化。研究人員還引入一個(gè)色彩濾波陣列(圖1b)，獲取Bayer格式圖像，經(jīng)Demosaic算法處理得到彩色圖像。仿真和實(shí)驗(yàn)結(jié)果表明，所提基于人工智能的端到端聯(lián)合優(yōu)化方法有望為FSI提供最優(yōu)編解碼策略(圖2)，從而有望促進(jìn)其在遙感、顯微、特殊波段成像、三維成像等領(lǐng)域的應(yīng)用。此外，這種引入二值采樣掩膜的智能欠采樣策略可應(yīng)用于眾多需要按重要性降采樣的任務(wù)中，如傅里葉疊層成像，計(jì)算層析等。
圖1. 所提方案示意圖。(a)利用自編碼器協(xié)同設(shè)計(jì)欠采樣掩膜和重建網(wǎng)絡(luò)。(b)使用習(xí)得的掩膜來生成照明模式。(c)使用照明模式調(diào)制目標(biāo)，得到的桶信號可以通過預(yù)訓(xùn)練的解碼網(wǎng)絡(luò)來重建目標(biāo)。
圖2. 實(shí)驗(yàn)結(jié)果。FSI-learned：使用所提方法的頻譜采樣策略的傅里葉單像素成像(FSI)結(jié)果；FSI-circle：使用均勻圓形欠采樣；FSI-DL：均勻圓形欠采樣+深度學(xué)習(xí)；Ours：所提頻譜采樣與圖像重建聯(lián)合優(yōu)化。
所有評論僅代表網(wǎng)友意見，與本站立場無關(guān)。