近年來(lái),人工智能的迅猛發(fā)展正在深刻變革三維光學(xué)成像與計(jì)量領(lǐng)域,使得從單張條紋投影圖像中實(shí)現(xiàn)高分辨率、高精度的三維表面幾何測(cè)量成為可能。然而,受限于投影與采集設(shè)備之間“一對(duì)一”的同步機(jī)制,傳統(tǒng)條紋投影輪廓術(shù)(FPP)的成像速度始終難以突破傳感器刷新率的硬件瓶頸。為此,一項(xiàng)名為“雙頻角度復(fù)用條紋投影輪廓術(shù)(DFAMFPP)”的新技術(shù)應(yīng)運(yùn)而生,該技術(shù)融合深度學(xué)習(xí)與光學(xué) multiplexing 策略,成功將三維成像速度提升至相機(jī)原生幀率的16倍,實(shí)現(xiàn)了在復(fù)雜動(dòng)態(tài)場(chǎng)景下高速、高精度、大深度范圍的三維形貌測(cè)量。
本研究由 Wenwu Chen、Yifan Liu、Shijie Feng、Wei Yin、Jiaming Qian、Yixuan Li、Hang Zhang、Maciej Trusiak、Malgorzata Kujawinska、Qian Chen 和 Chao Zuo 共同完成,研究成果以題為“Dual-frequency angular-multiplexed fringe projection profilometry with deep learning: breaking hardware limits for ultra-high-speed 3D imaging”的論文形式,于2025年8月在《Opto-Electronic Advances》上正式發(fā)表。
重要發(fā)現(xiàn)
01核心貢獻(xiàn)
DFAMFPP 技術(shù)的核心突破在于其成功將多幀三維信息編碼至單張復(fù)用圖像中,通過(guò)結(jié)合雙頻條紋投影結(jié)構(gòu)與深度學(xué)習(xí)重建算法,實(shí)現(xiàn)了無(wú)需高速硬件支持的超高速三維成像。該系統(tǒng)在僅使用625 Hz相機(jī)的情況下,成功對(duì)轉(zhuǎn)速高達(dá)9,500 RPM的渦輪風(fēng)扇發(fā)動(dòng)機(jī)原型進(jìn)行了10,000 Hz 的三維動(dòng)態(tài)捕獲,顯著超越了傳統(tǒng)FPP系統(tǒng)的性能極限。
02光學(xué)設(shè)計(jì)與成像原理
DFAMFPP 系統(tǒng)基于數(shù)字微鏡器件(DMD)投影系統(tǒng)與科學(xué)CMOS相機(jī)搭建。其光學(xué)投影部分采用多組雙頻條紋對(duì),每組包含高、低兩種空間頻率的條紋,并沿不同角度投射。高頻率條紋用于捕捉細(xì)節(jié)信息,低頻率條紋則提供全局相位展開的約束。投影序列以超過(guò)相機(jī)幀率的速度運(yùn)行,通過(guò)長(zhǎng)時(shí)間曝光將多幀條紋信息整合至單張圖像中,形成光譜域中特有的同心圓對(duì)分布結(jié)構(gòu),從而在頻率域?qū)崿F(xiàn)多時(shí)刻信息的有效分離。
03深度學(xué)習(xí)重建流程
圖像重建過(guò)程包含三個(gè)關(guān)鍵步驟:零階分量濾除(ZORNet)、相位分解網(wǎng)絡(luò)與數(shù)論相位展開網(wǎng)絡(luò)。首先,ZORNet 作為一種學(xué)習(xí)增強(qiáng)型高通濾波器,有效去除復(fù)用圖像中的零頻背景,保留高頻信號(hào)成分。隨后,設(shè)計(jì)了一種空頻混合雙分支神經(jīng)網(wǎng)絡(luò)(空間分支與頻率分支),對(duì)濾除零階后的復(fù)用圖像進(jìn)行分解,提取出各時(shí)刻對(duì)應(yīng)的條紋成分。最后,借助物理信息嵌入的相位分析模塊(PI-AFPA)與數(shù)論相位展開模塊(NT-TPU),結(jié)合可靠性引導(dǎo)補(bǔ)償(RGC)算法,成功恢復(fù)出高精度的絕對(duì)相位圖,并通過(guò)標(biāo)定參數(shù)和增強(qiáng)型三維重建算法(A3DR)最終輸出三維點(diǎn)云。
04實(shí)驗(yàn)驗(yàn)證與精度分析
研究團(tuán)隊(duì)通過(guò)多個(gè)動(dòng)態(tài)場(chǎng)景驗(yàn)證了DFAMFPP 的有效性。例如,在對(duì)轉(zhuǎn)速約4,800 RPM的四葉片風(fēng)扇進(jìn)行拍攝時(shí),系統(tǒng)成功從單張復(fù)用圖像中解析出16個(gè)連續(xù)時(shí)刻的高精度三維模型,清晰呈現(xiàn)出葉片旋轉(zhuǎn)中的形變與位移。在對(duì)標(biāo)準(zhǔn)陶瓷球體的定量評(píng)估中,該系統(tǒng)在最佳條件下實(shí)現(xiàn)了優(yōu)于100微米的測(cè)量精度,半徑重建的均方根誤差保持在90–98微米之間,證明其具備高精度的絕對(duì)三維測(cè)量能力。
創(chuàng)新與亮點(diǎn)
01突破硬件瓶頸的傳統(tǒng)難題
DFAMFPP 最大亮點(diǎn)在于其徹底擺脫了對(duì)高刷新率傳感器的依賴,通過(guò)計(jì)算成像的方法實(shí)現(xiàn)了“傳感器幀率之外”的超高速三維成像。傳統(tǒng)FPP系統(tǒng)因受限于硬件同步機(jī)制,難以在成本可控的情況下進(jìn)一步提升采樣率。而DFAMFPP 利用投影器高速切換特性與深度學(xué)習(xí)算法的協(xié)同,僅用普通相機(jī)即實(shí)現(xiàn) kHz 級(jí)別三維成像,為解決高速動(dòng)態(tài)測(cè)量中的硬件限制提供了全新思路。
02多頻與角度復(fù)用技術(shù)
在光學(xué)編碼方面,本研究創(chuàng)新性地將雙頻條紋與角度復(fù)用策略相結(jié)合。每一組雙頻條紋不僅提供了局部細(xì)節(jié)與全局約束,還通過(guò)改變投影角度進(jìn)一步提高了信息承載容量。其頻譜分布具備良好的分離特性,使得后續(xù)神經(jīng)網(wǎng)絡(luò)能夠更精準(zhǔn)地分解各時(shí)刻信號(hào),抑制了頻譜混疊問(wèn)題,增強(qiáng)了對(duì)復(fù)雜物體及高動(dòng)態(tài)場(chǎng)景的適應(yīng)性。
03物理機(jī)制與深度學(xué)習(xí)融合
DFAMFPP 的另一大創(chuàng)新體現(xiàn)在將傳統(tǒng)物理模型與數(shù)據(jù)驅(qū)動(dòng)方法深度融合。例如,PI-AFPA 模塊融合了傅里葉變換輪廓術(shù)(FTP)與相位偏移法的物理先驗(yàn),NT-TPU 則引入數(shù)論約束作為 unwrapping 的強(qiáng)引導(dǎo),使得整個(gè)系統(tǒng)在保持高精度的同時(shí),也具備良好的泛化能力與抗干擾性。
總結(jié)與展望
DFAMFPP 作為一項(xiàng)融合光學(xué)工程、計(jì)算成像與深度學(xué)習(xí)的前沿技術(shù),成功實(shí)現(xiàn)了在無(wú)需高速相機(jī)條件下的萬(wàn)幀級(jí)三維成像,顯著推動(dòng)了高速乃至超高速光學(xué)測(cè)量領(lǐng)域的發(fā)展。其不僅具備高精度、大景深的測(cè)量特性,還在系統(tǒng)復(fù)雜度和成本控制方面表現(xiàn)出廣泛的應(yīng)用潛力。盡管目前該方法仍受投影器刷新率上限的制約,且在超高幀率下精度與幀數(shù)間需進(jìn)一步權(quán)衡,但其基本框架已為未來(lái)高速視覺(jué)感知系統(tǒng)的設(shè)計(jì)提供了重要借鑒。展望未來(lái),隨著神經(jīng)網(wǎng)絡(luò)輕量化、專用硬件加速技術(shù)的持續(xù)發(fā)展,DFAMFPP 有望在工業(yè)檢測(cè)、生物力學(xué)研究、航空航天監(jiān)測(cè)等需高時(shí)空分辨率三維數(shù)據(jù)的領(lǐng)域發(fā)揮更重要的作用,成為連接科學(xué)研究與工程應(yīng)用的關(guān)鍵橋梁。
論文信息
聲明:本文僅用作學(xué)術(shù)目的。
Wenwu Chen、Yifan Liu、Shijie Feng、Wei Yin、Jiaming Qian、Yixuan Li、Hang Zhang、Maciej Trusiak、Malgorzata Kujawinska、Qian Chen、Chao Zuo
DOI:10.29026/oea.2025.250021.