訪談背景:在工業(yè)制造領(lǐng)域,機(jī)器視覺主要面向半導(dǎo)體及電子制造、汽車制造、食品與包裝、生物制藥等行業(yè),實(shí)現(xiàn)缺陷檢測、尺寸測量、模式識別、導(dǎo)航定位等功能,從而大幅度提高產(chǎn)品質(zhì)量和生產(chǎn)效率,并確保工業(yè)現(xiàn)場環(huán)境的安全性。3D機(jī)器視覺的出現(xiàn)不僅有效解決了傳統(tǒng)2D時代的復(fù)雜物體識別和深度測量難題,還能實(shí)現(xiàn)更加復(fù)雜的人機(jī)交互功能,成為提升產(chǎn)業(yè)自動化和智能化水平的重要推手。
當(dāng)前,3D機(jī)器視覺技術(shù)主要包括雙目視覺法、結(jié)構(gòu)光法和激光三角法等。今天,我們將為大家?guī)硪环N全新的3D視覺技術(shù)——光場成像法。成立于2019年的奕目(上海)科技有限公司(以下簡稱:“奕目科技”)已成為全球極少數(shù)全面掌握光場采集芯片光學(xué)設(shè)計(jì)、制造、封測、光場圖像三維渲染和三維精密快速檢測全部核心技術(shù)的光場3D成像科技先驅(qū),光場3D測量精度和效率處于國際領(lǐng)先水平。今年9月16日,奕目科技也將在『第三十一屆“微言大義”研討會:3D視覺技術(shù)及應(yīng)用』上發(fā)表主題演講,為了提前了解3D光場相機(jī)技術(shù)及應(yīng)用,麥姆斯咨詢特意采訪了奕目科技總經(jīng)理、聯(lián)合創(chuàng)始人李浩天。
奕目科技總經(jīng)理、聯(lián)合創(chuàng)始人李浩天
麥姆斯咨詢:感謝您接受麥姆斯咨詢的采訪。奕目科技是一家非常年輕的公司,但已經(jīng)取得了不俗的成績。請您向大家介紹下公司的發(fā)展歷程,謝謝!
李浩天:奕目科技成立于2019年7月,雖然非常年輕,但是我在上海交通大學(xué)求學(xué)期間就已經(jīng)積極開展了前期的技術(shù)攻關(guān)和積累,并在交大資深科研團(tuán)隊(duì)的全力協(xié)助下,一步一個腳印將光場相機(jī)這種全新的三維成像技術(shù)應(yīng)用于工業(yè)檢測。2015年第一套科研級光場三維成像系統(tǒng)研發(fā)成功,次年光場成像技術(shù)在三維流動測試領(lǐng)域中實(shí)現(xiàn)了微米級測量精度,2018年采集芯片封裝和測試設(shè)備自主研發(fā)成功,2019年全部核心部件實(shí)現(xiàn)國產(chǎn)化,2020年工業(yè)級顯微光場相機(jī)研發(fā)成功,并獲央視報(bào)道,2021年光場相機(jī)在MEMS硅芯片產(chǎn)線檢測上實(shí)現(xiàn)大規(guī)模應(yīng)用,這也是全球首例。
奕目科技誕生于“零號灣“全球創(chuàng)新創(chuàng)業(yè)集聚區(qū),背靠上海交通大學(xué),與新加坡南洋理工大學(xué)的深度合作,快速實(shí)現(xiàn)技術(shù)更新與產(chǎn)品迭代;同時“零號灣“也在”政策支持、融資服務(wù)、法律咨詢“等多個方面給團(tuán)隊(duì)源源不斷地輸送”養(yǎng)分“。年輕的奕目科技已成為全球第二家、國內(nèi)獨(dú)家全面掌握工業(yè)級光場相機(jī)在光學(xué)設(shè)計(jì)、仿真、微納加工、封裝測試、三維精密快速檢測和光場圖像三維渲染等各個領(lǐng)域全部核心技術(shù)的高科技公司。
通過與上下游領(lǐng)先企業(yè)長光辰芯(Gpixel)和華興源創(chuàng)(688001.SH)的深度合作,奕目科技的光場三維檢測系統(tǒng)已經(jīng)成功應(yīng)用于多種工業(yè)檢測領(lǐng)域:半導(dǎo)體鍵合金線三維檢測、屏幕缺陷三維分層檢測、偏振片模組缺陷三維分層檢測、光柵片模組三維分層檢測、新能源汽車電池模組三維缺陷檢測。
奕目科技成長軌跡
麥姆斯咨詢:談及3D視覺技術(shù),耳熟能詳?shù)募夹g(shù)應(yīng)該是雙目視覺法、結(jié)構(gòu)光法和激光三角法(線激光)。而對于光場成像法,大家可能還不夠了解。您能先為大家做一下科普嗎?
李浩天:許多昆蟲比如蜻蜓都具有一種我們稱之為“復(fù)眼”的視覺器官。單顆復(fù)眼有上萬個獨(dú)立感光的小眼,這些小眼呈六邊形密集排布,為昆蟲提供了良好的視野和強(qiáng)大的三維感知能力。受到昆蟲復(fù)眼的啟發(fā),科學(xué)家們提出了利用由許多微小透鏡組成的陣列去模擬昆蟲復(fù)眼的成像方式。這種獨(dú)特的成像方式不僅可以記錄物體的顏色信息,還能精確捕獲光線的三維軌跡,通過單次拍攝,就能將空間中的多維光場信息完整地記錄下來,因此被稱作“光場相機(jī)”。進(jìn)一步通過光機(jī)電耦合的光場三維渲染算法,光場相機(jī)能夠以極快的速度還原所拍攝的三維場景,實(shí)現(xiàn)實(shí)時的三維重建和三維測量。
奕目科技推出的基于復(fù)眼仿生的光場相機(jī)
麥姆斯咨詢:奕目科技的3D光場視覺技術(shù)主要面向工業(yè)檢測應(yīng)用,相比結(jié)構(gòu)光、線激光等,貴司技術(shù)有何優(yōu)勢?
李浩天:機(jī)器視覺現(xiàn)有成熟的三維檢測方案主要是結(jié)構(gòu)光和線激光。
結(jié)構(gòu)光檢測系統(tǒng)由投影儀和普通工業(yè)相機(jī)組成,通過投射特定的編碼圖案,利用采集到的物體表面紋理來計(jì)算三維信息。線激光系統(tǒng)由激光發(fā)射器和普通工業(yè)相機(jī)組成,根據(jù)激光三角法來測量物體的三維尺寸。這兩種技術(shù)已經(jīng)非常成熟,測量精度和效率都較高。無論是結(jié)構(gòu)光投影模塊、激光發(fā)射器還是工業(yè)相機(jī),都已經(jīng)有多種成熟產(chǎn)品可供選擇,加之其核心算法均已開源,降低了結(jié)構(gòu)光和線激光檢測系統(tǒng)的準(zhǔn)入門檻,推進(jìn)了這兩種技術(shù)在工業(yè)檢測領(lǐng)域的應(yīng)用。
無論是結(jié)構(gòu)光還是線激光,都需要主動投射特定光源,且結(jié)構(gòu)光投影儀和相機(jī)或者激光發(fā)射器和相機(jī)均需嚴(yán)格按一定夾角布置,測量復(fù)雜物體時容易產(chǎn)生遮擋現(xiàn)象;同時主動投射的結(jié)構(gòu)光源或線激光很難在透明介質(zhì)上成像,難以檢測透明介質(zhì)的內(nèi)部缺陷。相比之下,光場相機(jī)對透明和高反光材料的三維測量/檢測具有獨(dú)特優(yōu)勢,僅需環(huán)境光源,單相機(jī)單次拍攝,即可完成三維測量/檢測,同時也不存在遮擋的問題。
光場相機(jī)與結(jié)構(gòu)光相機(jī)、線激光相機(jī)的區(qū)別
麥姆斯咨詢:奕目科技掌握了3D光場相機(jī)的哪些核心技術(shù)?其中,哪項(xiàng)核心技術(shù)的行業(yè)壁壘最高?另外,你們在知識產(chǎn)權(quán)方面做了哪些布局?
李浩天:光場相機(jī)涵蓋了微納光學(xué)設(shè)計(jì)、仿真、制造、檢測、芯片級封裝、測試、快速高精度計(jì)算成像等多種關(guān)鍵技術(shù),每項(xiàng)單項(xiàng)核心技術(shù)都具有相當(dāng)高的行業(yè)壁壘。而如何將光學(xué)設(shè)計(jì)、微納制造、封測與光場算法有機(jī)融合為一個整體,實(shí)現(xiàn)工業(yè)產(chǎn)線對高速、高精度檢測的苛刻需求,則是難度最高的挑戰(zhàn)。奕目科技已經(jīng)掌握了從光場相機(jī)設(shè)計(jì)、微納制造、封裝測試、光場三維精密快速檢測算法到產(chǎn)線大規(guī)模應(yīng)用的全鏈條核心技術(shù),達(dá)成了毫秒級測量速度、亞微米級測量精度的穩(wěn)定工業(yè)應(yīng)用。
奕目科技高度重視核心技術(shù)和知識產(chǎn)權(quán)的保護(hù),不斷強(qiáng)化知識產(chǎn)權(quán)管理。公司內(nèi)部所有技術(shù)文件均經(jīng)過保密處理,有嚴(yán)格的審批解密管理流程。同時,公司及時對研發(fā)形成的硬件技術(shù)、核心算法和軟件申請專利權(quán)和著作權(quán)。通過技術(shù)保密和知識產(chǎn)權(quán)申請等手段相結(jié)合,對公司核心技術(shù)進(jìn)行保護(hù)。截止目前,奕目科技正在申請和已授權(quán)的PCT專利、發(fā)明專利和軟件著作權(quán)達(dá)50余項(xiàng)。
麥姆斯咨詢:算法也決定著3D光場相機(jī)的最終成像質(zhì)量。奕目科技在這方面有哪些“獨(dú)門秘籍”?
李浩天:奕目科技的光場算法根源于上海交大多年科研成果,同時不斷吸收產(chǎn)線應(yīng)用經(jīng)驗(yàn),通過多個工業(yè)檢測項(xiàng)目的反復(fù)打磨和優(yōu)化迭代,形成了適用于工業(yè)產(chǎn)線檢測的高效、高精度、穩(wěn)定可靠的三維光場算法。基于大量產(chǎn)線數(shù)據(jù),融合深度學(xué)習(xí),奕目科技的人工智能光場三維重建算法曾在全球權(quán)威的光場算法排行榜上排名第一,在準(zhǔn)確性和計(jì)算效率等方面均為世界前列。不僅如此,奕目科技研發(fā)人員潛心下沉至產(chǎn)線前端,傾心聆聽客戶反饋,積極開發(fā)通用型光場工業(yè)檢測平臺,大幅提升了用戶交互性能和產(chǎn)品廣適性。
麥姆斯咨詢:奕目科技的3D光場相機(jī)已經(jīng)用于MEMS麥克風(fēng)的引線鍵合金線缺陷檢測,可以介紹一下該應(yīng)用案例的情況嗎?半導(dǎo)體產(chǎn)業(yè)對檢測設(shè)備的精度要求相對較高,目前貴司的相機(jī)精度可達(dá)到多少?
李浩天:由于MEMS麥克風(fēng)芯片體積小、結(jié)構(gòu)緊湊、空間結(jié)構(gòu)復(fù)雜,芯片上鍵合金線直徑小、形狀復(fù)雜、材料易反光,現(xiàn)有三維檢測設(shè)備無法滿足客戶需求。光場相機(jī)由于其被動式成像,可以同時采集多個視角的圖像,避免因結(jié)構(gòu)復(fù)雜、特定角度反光造成的干擾。僅僅需要50ms~100ms即可獲得3D信息,因此特別適合MEMS的精度高、速度快的檢測需求。光場相機(jī)的另一個顯著優(yōu)勢在于可以通過搭配不同的光學(xué)鏡頭來達(dá)到不同的精度。目前奕目科技工業(yè)級光場相機(jī)最高景深方向精度為2微米,重復(fù)精度0.5微米。
麥姆斯咨詢:據(jù)我們了解,奕目科技已經(jīng)切入了國際3C巨頭產(chǎn)業(yè)鏈,用于無線藍(lán)牙耳機(jī)、手機(jī)攝像頭和手機(jī)屏幕的分層檢測??梢哉?wù)勀壳暗倪M(jìn)展情況嗎?
李浩天:我們的光場檢測系統(tǒng)已應(yīng)用于某國際3C頭部企業(yè)TWS芯片產(chǎn)線上,解決了現(xiàn)有2D檢測平臺無法在線檢測芯片三維缺陷的難題。我們的光場工業(yè)檢測平臺軟件,可適配幾十種芯片的多個檢測項(xiàng)目,目前檢測UPH(每小時產(chǎn)能)達(dá)到10000多顆,景深精度最高可達(dá)6微米,平面精度最高可達(dá)1微米。該系統(tǒng)也將很快應(yīng)用于另一國際3C頭部企業(yè)芯片產(chǎn)線。
針對顯示模組缺陷的三維光場分層檢測系統(tǒng)也已經(jīng)在某頭部企業(yè)產(chǎn)線上運(yùn)行,該視覺方案可以準(zhǔn)確定位顯示屏模組的貼合臟污、貼合異物、氣泡等多種缺陷的三維位置。同時,該系統(tǒng)也可以適用于偏振片模組檢測,幫助客戶定位缺陷,提高出貨良率,追溯缺陷發(fā)生的環(huán)節(jié),優(yōu)化生產(chǎn)工藝,降低人力成本。
攝像頭模組三維缺陷檢測方案不僅可以檢測完整模組,還能用于檢測單層鏡片。對鏡片模組中的臟污、氣泡、白點(diǎn)、線傷、模印等缺陷和單層鏡片鍍膜上的破損、氣泡、臟污等缺陷進(jìn)行識別并定位三維位置。
除此之外,奕目科技光場檢測系統(tǒng)也在CIS(CMOS圖像傳感器)保護(hù)玻璃缺陷檢測、手機(jī)CGS(連續(xù)粒狀結(jié)晶硅)模組檢測、新能源汽車電池三維缺陷檢測等領(lǐng)域獲得了良好的產(chǎn)線測試效果。
奕目科技3D光場相機(jī)半導(dǎo)體、顯示模組缺陷檢測示例
麥姆斯咨詢:貴司的3D光場相機(jī)對標(biāo)哪些國內(nèi)外企業(yè)?你們的優(yōu)勢又體現(xiàn)在哪些方面?
李浩天:放眼全球,將光場技術(shù)應(yīng)用于工業(yè)領(lǐng)域的企業(yè)還有德國Raytrix。相比于Raytrix光場相機(jī)而言,奕目科技光場相機(jī)采用完全不同的光場成像原理,本質(zhì)上在景深方向的測量精度更高。除此以外,奕目科技掌握了光場相機(jī)全部“軟、硬”核心技術(shù),且核心部件全部實(shí)現(xiàn)國產(chǎn)化。所以在整體系統(tǒng)價(jià)格、交付周期、技術(shù)快速支持和定制化服務(wù)等方面具有顯著優(yōu)勢。
奕目科技工業(yè)級顯微光場成像系統(tǒng)
麥姆斯咨詢:新冠病毒疫情加快了工業(yè)自動化步伐,促進(jìn)了視覺傳感器的應(yīng)用,請您談?wù)勣饶靠萍嫉漠a(chǎn)品銷售進(jìn)展情況吧。
李浩天:奕目光場檢測系統(tǒng)已經(jīng)獲得韓國、新加坡、德國、中國臺灣及內(nèi)地多個行業(yè)代表性客戶的認(rèn)可,并成功應(yīng)用于多種工業(yè)檢測領(lǐng)域,逐漸形成了多種典型的視覺解決方案(見下表)。同時將進(jìn)一步拓展應(yīng)用市場,通過直銷和代理銷售雙管齊下的方式,提高銷售收入,并力爭成為國際3D視覺方案領(lǐng)跑者。
麥姆斯咨詢:展望未來,3D光場相機(jī)還有哪些令人興奮的應(yīng)用方向?
李浩天:光場相機(jī)因其獨(dú)特的光場特性,未來可以應(yīng)用于很多方向。其中包括:
(1)與自動化檢測平臺結(jié)合,應(yīng)用于常規(guī)工業(yè)領(lǐng)域的三維視覺檢測項(xiàng)目,比如MEMS芯片、顯示器件、攝像頭模組、新能源電池模組等;
(2)搭配高倍顯微物鏡的光場相機(jī)可用于生物醫(yī)療領(lǐng)域,特別是在細(xì)胞活體三維檢測方面具有獨(dú)特的優(yōu)勢;
(3)光場相機(jī)還可以應(yīng)用于虛擬現(xiàn)實(shí)領(lǐng)域,比如為光場真3D顯示、AR、VR提供三維圖像輸入;
(4)作為安防、車載的三維感知模塊。
麥姆斯咨詢:請談?wù)勣饶靠萍嘉磥砣甑陌l(fā)展規(guī)劃,謝謝!
李浩天:奕目科技未來三年發(fā)展主要聚焦在工業(yè)3D機(jī)器視覺領(lǐng)域。2021年度目標(biāo)是實(shí)現(xiàn)光場技術(shù)在多個領(lǐng)域龍頭企業(yè)的產(chǎn)線批量應(yīng)用;2022年微納加工中心成功建立并投產(chǎn),在華東和華南建立多個銷售和技術(shù)支持中心,并且實(shí)現(xiàn)光場技術(shù)在多種工業(yè)場景的規(guī)?;瘧?yīng)用;2023年逐步拓展光場技術(shù)在生物醫(yī)療、無人駕駛、安防、車載、VR等領(lǐng)域的應(yīng)用。
麥姆斯咨詢:你們近期是否有融資計(jì)劃?如果有,可以闡明資金需求及用途嗎?
李浩天:公司近期將啟動A輪融資,本輪融資會在數(shù)千萬級別,資金主要用于關(guān)鍵技術(shù)的研發(fā)、市場鋪設(shè)、產(chǎn)能提高,以及團(tuán)隊(duì)建設(shè)。截止目前正在與國內(nèi)多家一線投資機(jī)構(gòu)進(jìn)行積極溝通,意向投資方均看好機(jī)器視覺行業(yè)未來廣闊的市場紅利。
麥姆斯咨詢:非常歡迎奕目科技在2021年9月16~17日舉辦的『第三十一屆“微言大義”研討會:3D視覺技術(shù)及應(yīng)用』上發(fā)表演講,可以提前透露下你們想和觀眾分享的內(nèi)容嗎?
李浩天:光場相機(jī)作為一種全新的三維成像技術(shù)未被大眾熟知。隨著技術(shù)的成熟,產(chǎn)品的迭代升級,光場成像技術(shù)已經(jīng)可以在諸多工業(yè)場景中解決一些難點(diǎn)痛點(diǎn)。本次演講會聚焦于光場成像原理、奕目科技光場相機(jī)特點(diǎn)的介紹,以及成功應(yīng)用場景的分享,尤其是芯片金線檢測及屏幕缺陷分層檢測這兩個領(lǐng)域的應(yīng)用,希望可以幫助廣大工業(yè)機(jī)器視覺相關(guān)從業(yè)者及相關(guān)需求方拓寬視野,增加對光場的認(rèn)知。