【儀表網(wǎng) 研發(fā)快訊】近日，南京理工大學(xué)電子工程與光電技術(shù)學(xué)院陳錢、左超教授課題組提出一種基于深度學(xué)習(xí)的單幀結(jié)構(gòu)光三維超快成像技術(shù)。該工作以“Single-shot super-resolved fringe projection profilometry (SSSR-FPP): 100,000 frames-per-second 3D imaging with deep learning”為題發(fā)表在國(guó)際頂尖光學(xué)期刊Light: Science & Applications，并當(dāng)被選為封底文章。電光學(xué)院博士生王博文和陳文武為本文共同第一作者，南京理工大學(xué)為第一完成單位和通訊單位。
為了揭示力學(xué)、物理學(xué)和生物學(xué)中的瞬態(tài)事件，研究者們長(zhǎng)期致力于探索具有高時(shí)空分辨能力的三維成像技術(shù)。條紋投影輪廓術(shù)憑借其非接觸、高速、高精度和全場(chǎng)測(cè)量等優(yōu)勢(shì)，已成為當(dāng)前最熱門的技術(shù)之一。隨著數(shù)字光投影器、高速光探測(cè)器等光電器件的跨越式發(fā)展，結(jié)構(gòu)光三維成像技術(shù)也面臨著更高的期望——既要“高精度”，又要“高速度”。因此，如何在單幅投影圖案下實(shí)現(xiàn)高精度的三維重建始終是該領(lǐng)域的研究目標(biāo)。
為提升條紋投影輪廓術(shù)的成像速度，我校陳錢、左超教授團(tuán)隊(duì)于2018年提出了微頻移傅里葉法(μFTP)，有效降低三維重建所需的圖像幀數(shù)/編碼數(shù)量，首次實(shí)現(xiàn)速度為10,000 fps的超快結(jié)構(gòu)光三維成像。然而，進(jìn)一步提高成像幀率則會(huì)面臨像素分辨率下降(受限于讀出帶寬)及信噪比急劇降低(曝光時(shí)間縮短)的雙重挑戰(zhàn)。因此，如何實(shí)現(xiàn)“高分辨、快幀頻、高信噪比”的三維成像探測(cè)仍是亟待突破的難題。
隨著深度學(xué)習(xí)技術(shù)的迅猛發(fā)展，光學(xué)計(jì)量學(xué)也迎來(lái)了范式轉(zhuǎn)變。為突破傳統(tǒng)結(jié)構(gòu)光成像系統(tǒng)有限空間帶寬積的制約，近日我校陳錢、左超教授課題組結(jié)合人工智能相位解碼與超分辨重建技術(shù)，提出基于深度學(xué)習(xí)的超時(shí)空分辨單幀結(jié)構(gòu)光三維成像方法(Single-shot super-resolved fringe projection profilometry, SSSR-FPP)，并使用與微頻移傅里葉法“同樣的硬件”系統(tǒng)，即可實(shí)現(xiàn)高分辨率絕對(duì)相位的精確解耦并將成像速度提升一個(gè)量級(jí)以上——首次實(shí)現(xiàn)了100,000 fps下的超時(shí)空分辨單幀結(jié)構(gòu)光三維成像。研究團(tuán)隊(duì)通過對(duì)不同類型瞬態(tài)場(chǎng)景進(jìn)行實(shí)驗(yàn)演示，包括旋轉(zhuǎn)的渦輪風(fēng)扇葉片，玩具槍發(fā)射的子彈，蒸汽機(jī)的往復(fù)運(yùn)動(dòng)等，展示提出方法在100,000 Hz下的超快三維成像能力，為瞬態(tài)物理過程的研究提供了強(qiáng)有力的技術(shù)支持。
圖1 SSSR-FPP系統(tǒng)示意圖
圖源：Light: Science & Applications
如圖2所示，SSSR-FPP僅使用一對(duì)低信噪比、低分辨率(160×160)的條紋圖像作為輸入，并通過部分讀出成像窗口來(lái)實(shí)現(xiàn)成像幀頻的顯著提升，結(jié)合建立的物理域調(diào)控信息與后端統(tǒng)計(jì)模型的關(guān)聯(lián)信息即可實(shí)現(xiàn)高分辨率(480×480)絕對(duì)相位的精確解耦。SSSR-FPP采用了兩個(gè)結(jié)構(gòu)相似但功能不同的卷積神經(jīng)網(wǎng)絡(luò)，它們獨(dú)立且順序地進(jìn)行訓(xùn)練以實(shí)現(xiàn)高分辨的相位復(fù)原及相位展開。其中，SSSR-FPP方法通過將鏡頭焦距增加三倍的方式(從24 mm電控調(diào)焦到72 mm)以實(shí)現(xiàn)高低分辨數(shù)據(jù)之間的映射學(xué)習(xí)。這一策略使得SSSR-FPP的成像框架能夠結(jié)合具有“物理意義”的圖像形成先驗(yàn)知識(shí)，更加可靠地學(xué)習(xí)潛在信息，并“重建”丟失的空間分辨率(三倍像素分辨率的提升)。
圖2 SSSR-FPP方法流程圖
圖源：Light: Science & Applications
研究團(tuán)隊(duì)通過對(duì)兩個(gè)獨(dú)立的被測(cè)物體(高速旋轉(zhuǎn)的風(fēng)扇葉片和靜態(tài)石膏模型)進(jìn)行動(dòng)態(tài)測(cè)量實(shí)驗(yàn)以驗(yàn)證SSSR-FPP的時(shí)空分辨能力。盡管原始條紋圖像中存在嚴(yán)重的背景噪聲及圖像像素化成像問題，SSSR-FPP仍能清晰重建風(fēng)扇的幾何結(jié)構(gòu)及石膏模型表面細(xì)節(jié)。為驗(yàn)證測(cè)量結(jié)果的可重復(fù)性，在風(fēng)扇葉片上選取A、B、C三點(diǎn)，并繪制15 ms內(nèi)的深度變化，結(jié)果表明SSSR-FPP在高速測(cè)量過程中展現(xiàn)出優(yōu)異的穩(wěn)定性及可重復(fù)性。
圖3 SSSR-FPP方法對(duì)旋轉(zhuǎn)葉片及靜態(tài)石膏模型的三維測(cè)量結(jié)果
圖源：Light: Science & Applications
此外，研究團(tuán)隊(duì)使用這項(xiàng)技術(shù)對(duì)每分鐘約9771轉(zhuǎn)的渦扇發(fā)動(dòng)機(jī)模型實(shí)現(xiàn)了動(dòng)態(tài)測(cè)量，如圖4所示，從兩個(gè)不同的角度展示了對(duì)渦扇發(fā)動(dòng)機(jī)模型的三維渲染結(jié)果。借助于SSSR-FFP的高時(shí)空分辨能力，研究團(tuán)隊(duì)提供了以0.01 ms為時(shí)間間隔的連續(xù)三維測(cè)量結(jié)果，可清晰捕捉到運(yùn)轉(zhuǎn)齒輪在不同時(shí)刻的紋理細(xì)節(jié)。相關(guān)實(shí)驗(yàn)結(jié)果進(jìn)一步表明SSSR-FPP方法可有效克服傳統(tǒng)成像技術(shù)在超快瞬態(tài)現(xiàn)象捕捉中的速度瓶頸，同時(shí)在確保高精度三維成像的基礎(chǔ)上提供了足夠的空間分辨率，彌補(bǔ)了成像速度與分辨率之間的鴻溝，使三維成像速率提升至100,000 fps以上，刷新了超快瞬態(tài)結(jié)構(gòu)光三維成像速度的紀(jì)錄。
圖4 SSSR-FPP方法對(duì)渦扇發(fā)動(dòng)機(jī)模型的三維測(cè)量結(jié)果
圖源：Light: Science & Applications
上述工作得到了國(guó)家重點(diǎn)研發(fā)計(jì)劃、基金委國(guó)家重大科研儀器研制項(xiàng)目、基金委聯(lián)合基金重點(diǎn)項(xiàng)目、中央高?；A(chǔ)科研業(yè)務(wù)費(fèi)專項(xiàng)資金等項(xiàng)目的支持。
所有評(píng)論僅代表網(wǎng)友意見，與本站立場(chǎng)無(wú)關(guān)。