深圳國(guó)際研究生院李星輝團(tuán)隊(duì)在數(shù)字光柵深度學(xué)習(xí)三維感知領(lǐng)域取得進(jìn)展

　　【儀表網(wǎng) 研發(fā)快訊】近日，清華大學(xué)深圳國(guó)際研究生院李星輝副教授團(tuán)隊(duì)在數(shù)字光柵結(jié)構(gòu)光三維(Structured light 3D reconstruction technology，SL3D)重建領(lǐng)域?qū)崿F(xiàn)進(jìn)展。針對(duì)高質(zhì)量三維重建所依賴(lài)的真實(shí)數(shù)據(jù)資源少，構(gòu)建策略效率低和前沿?cái)?shù)據(jù)缺乏問(wèn)題提出了創(chuàng)新性的解決方案。團(tuán)隊(duì)深入研究了場(chǎng)景背景穩(wěn)定性對(duì)網(wǎng)絡(luò)前景預(yù)測(cè)精度的影響，并首次系統(tǒng)性探討了樣本空間分布頻率與模型性能之間的關(guān)系，從根本上提升了數(shù)據(jù)集構(gòu)建的科學(xué)性與效率。在此策略指導(dǎo)下，團(tuán)隊(duì)開(kāi)發(fā)了SL3D-BF(Structuredlight 3D dataset with background-to-foreground enhancement)，一個(gè)面向開(kāi)放工業(yè)環(huán)境的結(jié)構(gòu)光三維點(diǎn)云數(shù)據(jù)集。數(shù)據(jù)集涵蓋超過(guò)2000多個(gè)復(fù)雜工業(yè)場(chǎng)景，包含10萬(wàn)多幀高精度光柵圖像，支持對(duì)真實(shí)物體如雕塑、法蘭、輪轂、電池板、電機(jī)、齒輪和不銹鋼管等物體的高精度重建，全面展現(xiàn)了材質(zhì)多樣性和工業(yè)實(shí)際挑戰(zhàn)。該成果為深度學(xué)習(xí)驅(qū)動(dòng)的結(jié)構(gòu)光三維重建技術(shù)提供了全流程的數(shù)據(jù)支撐和構(gòu)建范式，有望顯著推動(dòng)智能制造、精密檢測(cè)等關(guān)鍵領(lǐng)域的三維感知能力。
 

圖1.數(shù)據(jù)集組成，特征數(shù)據(jù)和其在現(xiàn)代工業(yè)中的應(yīng)用場(chǎng)景示意
 

　　SL3D-BF不僅是一個(gè)大規(guī)模數(shù)據(jù)集，更是一項(xiàng)具備系統(tǒng)設(shè)計(jì)理念的數(shù)據(jù)工程創(chuàng)新。李星輝團(tuán)隊(duì)自研的高精度結(jié)構(gòu)光點(diǎn)云采集系統(tǒng)，其標(biāo)準(zhǔn)球半徑測(cè)量誤差控制在十幾微米級(jí)別，為數(shù)據(jù)集的精度基準(zhǔn)提供了強(qiáng)有力保障。團(tuán)隊(duì)提出的背景增強(qiáng)與空間頻率分布優(yōu)化策略，有效降低了數(shù)據(jù)構(gòu)建成本，同時(shí)顯著提升了網(wǎng)絡(luò)的預(yù)測(cè)性能。實(shí)驗(yàn)證明，在統(tǒng)一網(wǎng)絡(luò)架構(gòu)下，白板背景下的前景物體預(yù)測(cè)誤差相比黑色背景下降了高達(dá)82%(從0.45rad降至0.08rad)，凸顯背景穩(wěn)定性在三維重建中的關(guān)鍵作用。SL3D-BF是國(guó)內(nèi)外為數(shù)不多的覆蓋全過(guò)程數(shù)據(jù)鏈條的高精度數(shù)據(jù)集，提供從光柵到高密度3D點(diǎn)云的完整閉環(huán)信息，支持陰影抑制、前景顯著性增強(qiáng)等高級(jí)研究。數(shù)據(jù)集中還包含標(biāo)準(zhǔn)球子集，為3D點(diǎn)云重建精度的定量評(píng)估提供了客觀基準(zhǔn)。
 

　　圖2.數(shù)據(jù)集場(chǎng)景背景對(duì)目標(biāo)前景預(yù)測(cè)精度的影響。SF-AP代表端到端技術(shù)路線，SF-4ND代表分子分母技術(shù)路線
 

　　SL3D-BF已在多個(gè)新系統(tǒng)上完成遷移學(xué)習(xí)驗(yàn)證，顯示出良好的泛化能力與廣泛適用性。該研究作為為計(jì)算機(jī)視覺(jué)與智能制造領(lǐng)域的重要公共資源，將推動(dòng)結(jié)構(gòu)光三維重建技術(shù)在缺陷檢測(cè)、深度估計(jì)、語(yǔ)義分割等領(lǐng)域的跨界融合，并為深度學(xué)習(xí)模型在真實(shí)場(chǎng)景中的穩(wěn)健泛化提供堅(jiān)實(shí)的實(shí)驗(yàn)平臺(tái)。該數(shù)據(jù)集為結(jié)構(gòu)光三維技術(shù)的標(biāo)準(zhǔn)化與應(yīng)用奠定了基礎(chǔ)，助力我國(guó)在高端制造與智能感知領(lǐng)域走在國(guó)際前沿。
 

　　同時(shí)，盡管基于深度學(xué)習(xí)的SL3D技術(shù)近幾年來(lái)飛速發(fā)展，通過(guò)單幀輸入端到端預(yù)測(cè)的方式獲得高精度的3D點(diǎn)云仍然是一個(gè)尚未解決的挑戰(zhàn)。團(tuán)隊(duì)提出了多路物理監(jiān)督輔助的單幀端到端絕對(duì)相位預(yù)測(cè)網(wǎng)絡(luò)(Multi-path branch auxiliary supervision network, MPS_XNet)。具體來(lái)說(shuō)，MPS_XNet基于絕對(duì)相位時(shí)間展開(kāi)物理模型的三個(gè)關(guān)鍵階段，分子、分母和包裹相位，作為輔助分支來(lái)幫助絕對(duì)相位主路進(jìn)行長(zhǎng)距離非線性預(yù)測(cè)。此外，基于此模型設(shè)計(jì)了專(zhuān)屬多路損失函數(shù)，促使網(wǎng)絡(luò)沿著模型定義的方向?qū)W習(xí)最優(yōu)路徑。MPS_XNet不僅彌補(bǔ)了單幀輸入信息的不足，而且通過(guò)將單個(gè)長(zhǎng)距離預(yù)測(cè)難題轉(zhuǎn)換為多個(gè)短距離子任務(wù)，以可解釋的方式指導(dǎo)網(wǎng)絡(luò)訓(xùn)練，大幅提升了網(wǎng)絡(luò)預(yù)測(cè)精度。
 

圖3.MPS_XNet網(wǎng)絡(luò)模型
 

　　實(shí)驗(yàn)表明，MPS_XNet在五個(gè)數(shù)據(jù)集(金屬工件和復(fù)雜輪廓)和研究提出的測(cè)量系統(tǒng)上均優(yōu)于現(xiàn)有的先進(jìn)回歸網(wǎng)絡(luò)范式，此策略通過(guò)物理模型設(shè)計(jì)和20毫秒內(nèi)的任務(wù)分解消耗，在相位計(jì)算中平均誤差突破性的降低了90%。此策略可以用在通用的回歸網(wǎng)絡(luò)中，以加強(qiáng)單分支網(wǎng)絡(luò)的魯棒性和可解釋性，可以在工業(yè)和科學(xué)應(yīng)用中實(shí)現(xiàn)實(shí)時(shí)、高精度的3D測(cè)量。
 

圖4.MPS_XNet網(wǎng)絡(luò)在泛化數(shù)據(jù)集上的單幀輸入點(diǎn)云輸出
 

　　數(shù)據(jù)集相關(guān)研究成果以“SL3D-BF：一個(gè)具有背景到前景增強(qiáng)的真實(shí)世界結(jié)構(gòu)光3D數(shù)據(jù)集”(SL3D-BF: A Real-World Structured Light 3D Dataset with Background-to-Foreground Enhancement)為題，于5月19日發(fā)表于《IEEE電路與系統(tǒng)視頻技術(shù)匯刊》(IEEE Transactions on Circuits and Systems for VideoTechnology, TCSVT)。
 

　　物理監(jiān)督模型機(jī)制研究成果以“可靠的三維重建與單次數(shù)字光柵和物理模型監(jiān)督機(jī)器學(xué)習(xí)”(Reliable 3D Reconstruction with Single-Shot Digital Grating and Physical Model-Supervised Machine Learning)為題，于6月5日發(fā)表于《IEEE儀器與測(cè)量匯刊》(IEEE Transactions on Instrument and Measurement)。
 

　　兩篇的論文第一作者為清華大學(xué)深圳國(guó)際研究生院2021級(jí)博士生李一鳴，通訊作者為清華大學(xué)深圳國(guó)際研究生院副教授李星輝和鵬城實(shí)驗(yàn)室副研究員梁驍俊。其他合作者包括清華大學(xué)深圳國(guó)際研究生院2023級(jí)碩士生陳偉康、李梓楠，2023級(jí)博士生王浩；鵬城實(shí)驗(yàn)室高文院士、桂衛(wèi)華院士，助理研究員張超波；清華大學(xué)深圳國(guó)際研究生院研究員王曉浩。研究得到深圳市穩(wěn)定支持計(jì)劃項(xiàng)目、鵬城實(shí)驗(yàn)室重大攻關(guān)項(xiàng)目的資助。