一、引言
不可否認(rèn)的是,當(dāng)前主流的端到端光學(xué)算法聯(lián)合設(shè)計(jì)多出自國(guó)外研究團(tuán)隊(duì),國(guó)內(nèi)在相關(guān)領(lǐng)域仍需加強(qiáng)。但國(guó)內(nèi)相關(guān)成像產(chǎn)業(yè)發(fā)達(dá),尤其是手機(jī)、工業(yè)、車載等領(lǐng)域,新技術(shù)的發(fā)展往往容易得到快速的產(chǎn)業(yè)化應(yīng)用,并反向推進(jìn)學(xué)術(shù)進(jìn)展,形成良性循環(huán)。
基于此,奕目科技聯(lián)合點(diǎn)昀技術(shù)、Google、Snap、同濟(jì)大學(xué)、阿卜杜勒國(guó)王科技大學(xué)和香港中文大學(xué)研究團(tuán)隊(duì)在最新論文著作《最新綜述:計(jì)算成像前沿進(jìn)展》中,以計(jì)算成像的新設(shè)計(jì)方法、新算法和應(yīng)用場(chǎng)景為主線,通過綜合國(guó)內(nèi)外文獻(xiàn)和相關(guān)報(bào)道來梳理該領(lǐng)域的主要進(jìn)展,從端到端光學(xué)算法聯(lián)合設(shè)計(jì)、高動(dòng)態(tài)范圍成像、光場(chǎng)成像、光譜成像、無透鏡成像、低照度成像、三維成像、計(jì)算攝影等研究方向,重點(diǎn)論述計(jì)算成像領(lǐng)域的發(fā)展現(xiàn)狀、前沿動(dòng)態(tài)、熱點(diǎn)問題和趨勢(shì)。
二、內(nèi)容介紹
本文圍繞端到端光學(xué)算法聯(lián)合設(shè)計(jì)、高動(dòng)態(tài)范圍成像、光場(chǎng)成像、光譜成像、無透鏡成像、偏振成像、低照度成像、主動(dòng)三維成像、計(jì)算攝影等具體實(shí)例全面闡述當(dāng)前計(jì)算成像發(fā)展現(xiàn)狀、前沿動(dòng)態(tài),熱點(diǎn)問題、發(fā)展趨勢(shì)和應(yīng)用指導(dǎo)。
1.高動(dòng)態(tài)范圍成像
高動(dòng)態(tài)范圍成像(high dynamic range imaging,HDR)在計(jì)算圖形學(xué)與攝影中,是用來實(shí)現(xiàn)比普通數(shù)位圖像技術(shù)更大曝光動(dòng)態(tài)范圍(最亮和最暗細(xì)節(jié)的比率)的技術(shù)。高動(dòng)態(tài)范圍成像旨在獲取更亮和更暗處細(xì)節(jié),從而帶來更豐富的信息,更震撼的視覺沖擊力,不僅是目前手機(jī)相機(jī)核心競(jìng)爭(zhēng)力之一,也是工業(yè)、車載相機(jī)的基本要求。
2.光場(chǎng)成像
光場(chǎng)成像(light field imaging,LFI)能夠同時(shí)記錄光線的空間位置和角度信息,是三維測(cè)量的一種新方法。經(jīng)過近些年的發(fā)展,逐漸成為一種新興的非接觸式測(cè)量技術(shù),自從攝影被發(fā)明以來,圖像捕捉就涉及在場(chǎng)景的二維投影中獲取信息。然而,光場(chǎng)不僅提供二維投影,還增加了另一個(gè)維度,即到達(dá)該投影的光線的角度。光場(chǎng)擁有關(guān)于光陣列方向和場(chǎng)景二維投影的信息,并且可以實(shí)現(xiàn)不同的功能。例如,可以將投影移動(dòng)到不同的焦距,這使用戶能夠在采集后自由地重新聚焦圖像。此外,還可以更改捕獲場(chǎng)景的視角。目前已逐漸應(yīng)用于工業(yè)、虛擬現(xiàn)實(shí)、生命科學(xué)和三維流動(dòng)測(cè)試等領(lǐng)域,幫助快速獲得真實(shí)的光場(chǎng)信息和復(fù)雜三維空間信息。
3.光譜成像
光譜成像(spectrum imaging)。光譜成像通常分為掃描式和快照式,其中快照式因其只需單次曝光就可以獲取整個(gè)數(shù)據(jù)立方體信息,在應(yīng)用上更具潛力和前景,因此當(dāng)前計(jì)算機(jī)視覺和圖形學(xué)關(guān)于光譜成像的研究也主要集中在快照式光譜成像技術(shù)上。快照式光譜成像按照實(shí)現(xiàn)方式不同,可以分為分孔徑光譜成像,分像面光譜成像,孔徑/像面編碼光譜成像等。光譜成像可作為科學(xué)研究、工程應(yīng)用的強(qiáng)有力工具,已經(jīng)廣泛應(yīng)用于軍事、工業(yè)、民用等諸多領(lǐng)域,對(duì)促進(jìn)社會(huì)經(jīng)濟(jì)發(fā)展和保障國(guó)家安全具有重要作用。例如,光譜成像對(duì)河流、沙土、植被、巖礦等地物都具有很好的識(shí)別效果,因此在精準(zhǔn)農(nóng)業(yè)、環(huán)境監(jiān)控、資源勘查、食品安全等諸多方面都具有重要應(yīng)用。特別地,光譜成像還有望用于手機(jī)、自動(dòng)駕駛汽車等終端。當(dāng)前,光譜成像已成為計(jì)算機(jī)視覺和圖形學(xué)研究的熱點(diǎn)方向之一。
4.無透鏡成像
無透鏡成像(lensless imaging)技術(shù)為進(jìn)一步壓縮成像系統(tǒng)的尺寸提供了一種全新的思路(Boominathan等,2022)。無透鏡成像摒棄了傳統(tǒng)透鏡中點(diǎn)對(duì)點(diǎn)的映射模式,而是將物空間的點(diǎn)投影為像空間的一種特殊的點(diǎn)擴(kuò)散函數(shù),不同物點(diǎn)在像面疊加,形成了一種人眼無法識(shí)別,但計(jì)算算法可以復(fù)原的原始數(shù)據(jù)。這種無透鏡成像方式在光學(xué)硬件上對(duì)圖像信息進(jìn)行編碼,并在計(jì)算算法中解碼,因此形成了光學(xué)和算法的聯(lián)合設(shè)計(jì)。因此,在可穿戴相機(jī)、便攜式顯微鏡、內(nèi)窺鏡、物聯(lián)網(wǎng)等應(yīng)用領(lǐng)域極具發(fā)展?jié)摿Α?/span>另外,其獨(dú)特的光學(xué)加密功能,能夠?qū)δ繕?biāo)中敏感的生物識(shí)別特征進(jìn)行有效保護(hù),在隱私保護(hù)的人工智能成像方面也具有重要意義。
5.低光照成像
低光照成像(low light imaging)也是計(jì)算攝影里的研究熱點(diǎn)一。手機(jī)攝影已經(jīng)成為了人們用來記錄生活的最常用的方式之一,手機(jī)的攝像功能也是每次發(fā)布會(huì)的看點(diǎn),夜景模式也成了各大手機(jī)廠商爭(zhēng)奪的技術(shù)制高點(diǎn)。不同手機(jī)的相機(jī)在白天的強(qiáng)光環(huán)境下拍照差異并不明顯,然而在夜晚弱光情況下則差距明顯。其原因是,成像依賴于鏡頭收集物體發(fā)出的光子,且傳感器由光電轉(zhuǎn)換、增益、模數(shù)轉(zhuǎn)換一系列過程會(huì)有不可避免的噪聲;白天光線充足,信號(hào)的信噪比高,成像質(zhì)量很高;晚上光線微弱,信號(hào)的信噪比下降數(shù)個(gè)數(shù)量級(jí),成像質(zhì)量低;部分手機(jī)搭載使用計(jì)算攝影算法的夜景模式,比如基于單幀、多幀、RYYB陣列等的去噪,有效地提高了照片的質(zhì)量。但目前依舊有很大的提升空間。低光照成像按照輸入分類可以分為單幀輸入、多幀輸入( burst imaging)、 閃光燈輔助拍攝和傳感器技術(shù)。
6.主動(dòng)三維成像
主動(dòng)三維成像(active 3D imaging)以獲取物體或場(chǎng)景的點(diǎn)云為目的,被動(dòng)方法以雙目立體匹配為代表,但難以解決無紋理區(qū)域和有重復(fù)紋理區(qū)域的深度。主動(dòng)光方法一般更為魯棒,能夠在暗處工作,且能夠得到稠密的、精確的點(diǎn)云。主動(dòng)光方法根據(jù)使用的光的性質(zhì)可分為基于光的直線傳播如結(jié)構(gòu)光,基于光速如Time-of-fligt(TOF),包括連續(xù)波TOF(iTOF)和直接TOF(dTOF),和基于光的波的性質(zhì)如干涉儀,其中前兩種方法的主動(dòng)三維成像已廣泛使用在人們的日常生活中。
三、總結(jié)
端到端光學(xué)算法聯(lián)合設(shè)計(jì)旨在打破傳統(tǒng)的成像系統(tǒng)中,光學(xué)、傳感器、圖像后處理算法以及顯示處理等環(huán)節(jié)之間的壁壘,降低每個(gè)環(huán)節(jié)對(duì)人經(jīng)驗(yàn)的依賴,為諸多場(chǎng)景提供傻瓜化的全新解決方案。
展望未來,雖然端到端成像技術(shù)仍處于早期階段,但已成為各大相關(guān)產(chǎn)業(yè)競(jìng)爭(zhēng)焦點(diǎn),短期看來,未來三年便可得到相關(guān)產(chǎn)業(yè)應(yīng)用。長(zhǎng)期看來,整體的趨勢(shì)不僅是光學(xué)、傳感器、算法和處理器的聯(lián)合設(shè)計(jì)優(yōu)化,而且朝著集成化發(fā)展,尤其是傳感器自身對(duì)ISP的集成和光學(xué)配合,會(huì)大幅降低整個(gè)光學(xué)、攝像模組行業(yè)的生產(chǎn)成本和降低下游廠商對(duì)高性能處理器的依賴和提高自由度,有望對(duì)整體成像產(chǎn)業(yè)鏈進(jìn)行重新洗牌,突破成本、功能瓶頸。
關(guān)于論文更多細(xì)節(jié),點(diǎn)擊:最新綜述:計(jì)算成像前沿進(jìn)展
關(guān)于奕目科技
奕目(上海)科技有限公司成立于2019年,通過長(zhǎng)期研發(fā)積累,發(fā)展了全新一代光場(chǎng)三維檢測(cè)技術(shù)。通過仿生昆蟲復(fù)眼成像,將幾萬至幾千萬個(gè)微小復(fù)眼傳感器精密封裝成一臺(tái)相機(jī),實(shí)現(xiàn)了“單相機(jī)、單次拍攝,三維成像”,解決了“透、薄、微”三維尺寸、缺陷快速精密檢測(cè)的難題。
奕目科技是國(guó)內(nèi)率先全面掌握光場(chǎng)相機(jī)光學(xué)設(shè)計(jì)、微納加工、封裝制造、算法軟件等全鏈路核心技術(shù)的高新技術(shù)企業(yè),具備工業(yè)級(jí)光場(chǎng)相機(jī)規(guī)?;?、標(biāo)準(zhǔn)化量產(chǎn)能力,并且光場(chǎng)系統(tǒng)精度、速度位于國(guó)際前列。主要產(chǎn)品用于泛半導(dǎo)體、鋰電、智能穿戴、3C、微納三維檢測(cè),是國(guó)際領(lǐng)先的光場(chǎng)相機(jī)供應(yīng)商。