被動(dòng)式視覺效仿生物的雙眼視覺(binocular vision)原理,由至少2枚圖像傳感器(image sensor)構(gòu)成,運(yùn)用其觀測(cè)對(duì)象在每個(gè)圖像傳感器單獨(dú)成像的位置,結(jié)合2枚圖像傳感器的相對(duì)物理位置,根據(jù)幾何關(guān)系測(cè)量原理,可以計(jì)算出景深(depth)。請(qǐng)注意,景深和距離是不同的概念。
雙目視覺系統(tǒng)的核心在于關(guān)聯(lián)同一觀測(cè)點(diǎn)在各自圖像傳感 器中的坐標(biāo)位置,如上圖1的左圖所示。然而,在實(shí)際使用中,由于受到外部環(huán)境和拍攝對(duì)象表面紋理屬性等客觀因素影響,特征點(diǎn)自動(dòng)匹配在算法上較為復(fù)雜,匹配精度也直接影響到景深計(jì)算精度,影響系統(tǒng)整體效果。
主動(dòng)式視覺系統(tǒng)則由于其工作原理的不同,有效解決了這一問題。主動(dòng)式視覺系統(tǒng)利用獨(dú)立的人工光源,主動(dòng)投射到觀測(cè)對(duì)象來測(cè)量景深。主動(dòng)式視覺根據(jù)投射光源和景深技術(shù)原理的不同,又分為三小類:三角測(cè)距法、結(jié)構(gòu)光法、飛行時(shí)間法。
(1)三角測(cè)距法(triangular)
三角測(cè)距法是利用投射光源、觀測(cè)對(duì)象和接收?qǐng)D像傳感器的空間位置,利用三角幾何學(xué)計(jì)算景深的方法。此方法是眾多主動(dòng)式3D景深視覺系統(tǒng)的底層基礎(chǔ)算法。
(2)結(jié)構(gòu)光法(structured light)
結(jié)構(gòu)光法可以認(rèn)為是針對(duì)在被動(dòng)式視覺系統(tǒng)中特征點(diǎn)匹配問題的對(duì)策性方案。結(jié)構(gòu)光的含義是主動(dòng)光源通過特定圖案編碼投射到被測(cè)物體,例如將分布較密集的均勻光柵投影到被測(cè)物體上面,由于被測(cè)物體表面的不規(guī)則性具有的不同深度,反射到圖像傳感器的光柵條紋會(huì)有所變形,這個(gè)過程可以看作是由物體表面的深度信息對(duì)光柵的條紋進(jìn)行了調(diào)制。通過對(duì)比圖像傳感器接收到的發(fā)生畸變的光柵圖案和原生圖案,就可以解析出每個(gè)觀測(cè)點(diǎn)的深度信息,形成深度點(diǎn)云(point cloud),即深度幀(depth frame)。需要說明的是,結(jié)構(gòu)光法按投射方式還可分為點(diǎn)、線、面三種方式。按照?qǐng)D案編碼方式亦可分為時(shí)間編碼、空間編碼和直接編碼(如灰度編碼)。這些技術(shù)皆為提高編碼圖案的解調(diào)抗干擾性,以及更快獲取深度點(diǎn)云而采取的不同技術(shù)手段,目前,在移動(dòng)終端領(lǐng)域,結(jié)構(gòu)光編碼以靜態(tài)編碼為主。
(3)飛行時(shí)間法(time of flight)
飛行時(shí)間又稱TOF,簡(jiǎn)要來說,是基于測(cè)量投射的光源信號(hào)發(fā)射與接收之間的時(shí)間差,計(jì)算出景深或距離的一種景深計(jì)算方法。TOF根據(jù)如何測(cè)量時(shí)間差又可細(xì)分為脈沖波測(cè)距和連續(xù)波測(cè)距。脈沖波測(cè)距原理是直接測(cè)量脈沖信號(hào)發(fā)射和接收的時(shí)間差;連續(xù)波測(cè)距則是通過連續(xù)發(fā)射整數(shù)波長(zhǎng),通過計(jì)算接收波與發(fā)射波之間的相位差,間接計(jì)算時(shí)間差。具體來說,脈沖波測(cè)距多用于工業(yè)測(cè)繪領(lǐng)域等大范圍遠(yuǎn)距離場(chǎng)景,其使用的光源也以激光為主。對(duì)于手機(jī)終端設(shè)備而言,由于使用場(chǎng)景和功耗,意味著目標(biāo)對(duì)象與鏡頭的距離在十米、百米以內(nèi),所以手機(jī)終端上使用的TOF預(yù)計(jì)將以連續(xù)波相位測(cè)距技術(shù)為主。就目前而言,結(jié)構(gòu)光與TOF是主動(dòng)景深視覺系統(tǒng)的主流技術(shù)實(shí)現(xiàn)方案。結(jié)構(gòu)光技術(shù)較為成熟,組件集成度高,目前蘋果iPhone X已采用結(jié)構(gòu)光技術(shù);TOF由于直接測(cè)量景深/距離,在響應(yīng)速度和量程兩方面具有先天技術(shù)優(yōu)勢(shì),加上Google、Microsoft等國(guó)際一流企業(yè)的站臺(tái)背書,技術(shù)前景光明。需要說明的是,主動(dòng)式3D景深視覺系統(tǒng)在持續(xù)發(fā)展中開始借鑒被動(dòng)雙目視覺系統(tǒng)的優(yōu)點(diǎn),即通過引入2枚圖像傳感器(active stereo vision),利用圖像傳感器之間空間位置關(guān)系,以及雙路光源發(fā)射器到圖像傳感器的光源運(yùn)動(dòng)軌跡,達(dá)到更高精度的景深信息。例如,Intel最新發(fā)布的D400 Series景深攝像模塊就是采用該技術(shù)的代表。
3D成像和傳感市場(chǎng)概況:前文介紹了3D景深成像系統(tǒng)的工作原理。
那么,3D成像技術(shù)是否存在市場(chǎng)需求?3D成像技術(shù)距離全面普及還有多久呢?我們可以從以下幾個(gè)維度來尋找答案。
(1)VCSEL市場(chǎng)增長(zhǎng)情況
VCSEL激光器作為3D景深成像系統(tǒng)的核心部件,在消費(fèi)電子領(lǐng)域的市場(chǎng)趨勢(shì)可以間接反映其3D景深市場(chǎng)需求和未來發(fā)展情況。如下圖5所示,根據(jù)Yole預(yù)計(jì),隨著2017年iPhone X首次引入結(jié)構(gòu)光主動(dòng)式3D成像系統(tǒng),VCSEL整體市場(chǎng)將以CAGR 48%的增速飛速增長(zhǎng),在消費(fèi)電子領(lǐng)域,VCSEL市場(chǎng)大小從2017年的1.65億美元攀升至2023年的31億美元,增長(zhǎng)幅度接近30倍。
(2)3D成像市場(chǎng)增長(zhǎng)情況
據(jù)Yole預(yù)測(cè),3D成像和傳感市場(chǎng)整體增長(zhǎng)速度為CAGR 44%,在消費(fèi)電子領(lǐng)域?qū)?huì)以CAGR 82%的速度高速增長(zhǎng),到2023年達(dá)到138億美元。
(3)3D景深在終端手機(jī)的占有率情況
主動(dòng)式視覺系統(tǒng)由于其技術(shù)先進(jìn)性,將會(huì)逐漸替代被動(dòng)式雙目視覺系統(tǒng),逐漸被手機(jī)終端廠商采用。目前在3D成像領(lǐng)域,根據(jù)其結(jié)構(gòu)光和TOF技術(shù)的特性,一個(gè)較為共識(shí)的預(yù)測(cè)是基于結(jié)構(gòu)光技術(shù)的3D成像將作為手機(jī)前置攝像頭被采用,而TOF技術(shù)則將會(huì)在后置攝像頭更有前景。
目前蘋果作為手機(jī)終端高新技術(shù)的引領(lǐng)者,同時(shí)占據(jù)3D成像產(chǎn)業(yè)鏈內(nèi)一級(jí)供應(yīng)商的供貨渠道,預(yù)計(jì)將繼續(xù)領(lǐng)先安卓手機(jī)廠商1-2年時(shí)間率先部署3D景深攝像頭。根據(jù)拓墣產(chǎn)業(yè)研究院分析,全球智能手機(jī)3D感測(cè)滲透率今年將從2017年的2.1%上揚(yáng)至13.1%,蘋果仍將是主要采用者。另?yè)?jù)其估計(jì),2018年全球搭載3D感測(cè)模組的智能手機(jī)生產(chǎn)總量將達(dá)1.97億支,其中iPhone占據(jù)1.65億支。此外,2018年的3D感測(cè)模組市場(chǎng)產(chǎn)值預(yù)估約為51.2億美元,其中由iPhone貢獻(xiàn)的比重高達(dá)84.5%。預(yù)計(jì)至2020年,整體產(chǎn)值將達(dá)108.5億美元,而2018-2020年間的復(fù)合年均增長(zhǎng)率將達(dá)到45.6%。