在華為Mate 30 Pro、vivo NEX等十幾款智慧型手機的加持下,2018年才逐漸被應用到手機攝影鏡頭中的飛行時間(Time of Flight;ToF)技術,從略顯小眾的「黑科技」一躍成為2019年廠商展示技術實力當仁不讓的籌碼,甚至一直堅持採用結構光(Structured light)技術的蘋果(Apple)也被傳出預計將在2020年推出的兩款iPhone手機上首試ToF技術。

一飛沖天的ToF

ToF與結構光、雙目視覺技術(Stereo Vision)一起,共同組成了當前3D攝影鏡頭的三條主流技術路線。其基本原理與3D雷射感測器類似,只不過3D雷射感測器是逐點掃描,而ToF相機則是同時得到整幅影像的深度資訊。這就好比是ToF鏡頭發射出了一整面平整的「光牆」,這面光牆打到物體表面發生了形變並帶著3D資訊反射回來,根據雷射往返的時間長短和其固定的飛行速度,就能計算出物體表面上的點與手機之間的距離。當發射的雷射足夠多時,就可以觸達物體表面的每一個點,當所有的點連成一個3D立體面時,就能獲得物體的形狀資訊。

2019年3D感測手機大多集中在旗艦機型,結構光以蘋果為代表,自iPhone X後的機型都已經搭載結構光功能,而華為搭載ToF的機型數量最多。根據諮詢機構Yole Développement的預測,受益於消費性電子市場可預見的爆發式增長,全球3D成像與感測的市場規模將從2016年的13億美元增長至2022年的90億美元,年複合成長率(CAGR)達到38%。其中,用於消費性電子的3D成像與感測市場將從2016年的2000萬美元增長至2022年的60.58億美元,複合年均增長率達到158%。

20200110NT61P1 2011~2022年全球3D成像與感測市場收入預測。

國盛證券的報告則顯示,從出貨量上來看,智慧型手機3D感測需求將從2017年的4,000萬支增加至2019年的2億支以上,其中2019年的ToF機型還主要集中在幾款高階旗艦機,但從2020年開始,ToF手機的出貨量將進一步爆發,在整體3D感測中佔比可望達到40%。預計2019/2020年ToF手機的出貨量為7,760萬支,同比大幅增長747%。

成本方面,預計ToF和結構光的BOM成本大約為12~15美元和20美元,相比之下ToF更具有成本優勢。以iPhone X為例,結構光技術的解決方案包括三個子模組(點投影儀、近紅外攝影機和泛光照明器+接近感測器),而ToF解決方案則將三個整合到一個模組中,晶片的成本大約佔到整體BOM的28~30%。

Android陣營更合理的選擇

不過,「人紅是非多」,關於ToF技術的討論和爭執一刻也沒有停歇過。小米副總裁盧偉冰曾在2019年2月發微博說,「ToF小米技術預研早就ready,認為是個噱頭,沒啥用,騙用戶瞎花錢。」而榮耀副總裁熊軍民則反擊稱,榮耀認為3D ToF將是未來手機最重要的發展方向之一,透過深感鏡頭的深度測量、掃描建模、骨骼辨識、運動捕捉,已實現3D視訊瘦身、3D體感遊戲等多種酷炫功能,未來能夠突破性的將現實世界物體、人像、空間虛擬化,是AR/VR應用場景的必備能力,這也必將是5G行動網際網路最重要的應用場景之一。

20200110NT61P2 ADI系統應用工程經理李佳

除了索尼(Sony),ADI是中國被選擇最多的ToF晶片商之一。ADI系統應用工程經理李佳認為,得益於較高的深度解析度(VGA)和強光下出色的抗干擾性能,ToF方案在實際應用中的優勢體現在以下三方面:其一,在畫面拍攝後運算景深時不需要進行大量的後處理,既可避免延遲又可節省採用強大後處理系統帶來的相關成本;其二,ToF測距規模彈性大,大多數情況下只需改變光源強度、光學視場角,以及發射器脈衝頻率即可完成;其三,由於具有不易受外界光干擾、體積小巧、回應速度快,以及辨識精準度高等多重優勢,使得ToF無論是在行動還是車載等應用領域日漸成為3D視覺的首選技術方案。

20200110NT61P3 ams資深現場應用工程師張良

「ToF和結構光之間的競爭可以說是個偽命題。」艾邁斯半導體(ams)資深現場應用工程師張良的看法是,目前業界只有蘋果在堅持使用結構光技術,其餘廠商都在使用ToF,究其原因,是因為相比較結構光,ToF的優勢在於演算法簡易、訊框率高、成本低。比如散斑結構光現有的雷射發射模組中會使用準直透鏡來搭配DOE,而ToF的發射模組只需要雷射器和漫射透鏡(Diffuse lens)或者直接採用LED作為發射模組,且ToF發射模組和接收模組的基線(baseline)更小,因此3D ToF模組的整體尺寸相比3D結構光也大幅縮小。

不可否認的是,和ToF相比,結構光在短距離(< 80cm)範圍內具有高精準度和強抗干擾能力的優勢,所以在前置3D應用中,結構光性能優勢比較明顯。但另一方面,結構光結構複雜、產業鏈長、成本高,並且發射和接收之前必須要有一定距離(25mm左右)作為基線,這對於蘋果以外的廠商來說都是比較致命的問題。不過,近年來ToF技術進步明顯,其在近距離精準度方面已經可以滿足支付級的應用,補足了最大短處,對蘋果以外的手機廠商來說,ToF技術是更加合理的選擇。

而在後置3D應用中,由於ToF工作距離比結構光更遠,因此它的應用範圍可以變得更廣。反觀結構光,如果要做長距離(比如4m)應用,就需要非常長的基線,這等於宣判了結構光技術在手機後置3D應用上的死刑,手機廠商目前唯一的選擇只能是ToF。

這意味著從應用層面對比而言,結構光技術功耗更小、技術更成熟,但由於應用距離受限,所以更適合解鎖,以及安全支付等靜態場景;而ToF方案擁有更高的訊框率,在遠距離下雜訊較低,更適合智慧機後置攝影、AR/VR(包括3D拍照、體感遊戲)等動態場景。

20200110NT61P4 主流3D視覺方案對比。

飛入尋常百姓家

綜觀智慧型手機發展的歷史,新技術大規模應用的切入點基本只有三個:增強手機的通訊功能、降低手機的功耗或者提高續航,以及娛樂和遊戲。隨著AR內容市場的蓬勃發展,內容廠商不斷推動AR/VR開發平台的發展,ToF可望接力結構光,從生物感知到虛擬實境,從人臉辨識到3D建模,帶來產業端升級和用戶體驗最佳化,前置人臉辨識+後置VR功能可能成為手機的下一個形態,ToF可望成為智慧型手機攝影鏡頭的下一個風口。

「採用ToF 3D攝影鏡頭是目前各大手機廠商都認可的方向。但是,他們也都在為尋找一個殺手級的應用而絞盡腦汁。」張良自己的觀點是,儘管目前ToF的應用方向是為主攝影鏡頭提供對焦輔助,但最契合ToF 3D技術發展方向的,是包括3D體感遊戲、電商虛擬試用和美顏功能在內的AR應用。

例如透過ToF技術的3D深感鏡頭,可以即時捕捉使用者的骨架資訊,再將其投影到電視、顯示器等輸出設備上用於構建遊戲中的虛擬人物,實現更加完善的遊戲體驗。也就是說,利用搭載ToF技術的智慧型手機,消費者可以體驗到如同使用VR機器般的體感遊戲體驗,這與未來智慧型手機遊戲的發展趨勢不謀而合,並同時加速了AR、VR、MR時代的到來。

而為AI美顏相關功能提供更加精緻的美顏效果,也是當前ToF 3D技術的一大用武之地。在為用戶頭部進行3D建模後,可透過AI美顏演算法提供更為精細的美顏和背景虛化效果。在ToF的加持下,調整人像光效、加入背景虛化甚至在全身美體方面,都能變得更加精準好用。

vivo與ADI合作開發的ToF 3D超感應技術vivo NEX系列手機是一個很好的代表,ToF 3D立體攝影鏡頭的加入大大提升了手機支付的安全性,更豐富的美顏功能,以及其他便利功能。透過ToF紅外景深鏡頭,能更準確地辨識用戶面部巨大數量的立體特徵,不僅可以實現解鎖,更能實現「刷臉」支付;利用 3D 面部建模的方式,實現3D級別的捏臉效果,能細緻的調整臉型;ToF相機支援3D測量儀功能,該功能可以測量物體尺寸,為使用者日常使用提供更多便利。

20200110NT61P5 英飛凌(Infineon)科技全球副總裁兼電源管理及多元化事業部射頻及感測器業務負責人Philipp von Schierstädt

「我們熱衷於開創會‘思考’的設備的新時代。」英飛凌(Infineon)科技全球副總裁兼電源管理及多元化事業部射頻及感測器業務負責人Philipp von Schierstädt說,過去幾年裡,很多設備正變得越來越個人化,智慧型手機開始瞭解我們的排程、習慣,透過多攝影鏡頭,它們正變得越來越瞭解我們的世界。而ToF攝影鏡頭則通過提供高解析度3D影像,將這些功能推向一個新階段——一個無需密碼、無需收銀員、只需用臉就能實現安全支付和購物的世界,以及無處不在的智慧家用電器,比如可巧妙地清潔房屋的智慧吸塵器。

而在5G的助力下,我們將能夠更多、更好地進行連網,可望與大量用戶和應用進行更快的互動。特別是即時資料傳輸、快速的視訊流、大資料交換和儲存所帶來的機會,將能使個人或家用電子設備的3D影像感測功能大大受益。舉例而言,現在如果消費者將攝影鏡頭對準一朵花,由人工智慧所驅動的App就會告訴使用者這朵花的名字。而ToF和5G結合後,3D資訊可以提供尺寸資訊,從而使App更加準確。

對ToF的追捧有噱頭、有剛需

在李佳看來,消費性電子(AR、人臉辨識、體感互動)等應用在技術層面上面臨的性能挑戰難度通常要更小一些,關注重點主要集中在低成本、低功耗和小尺寸等方面,對於測量速度、壽命和解析度等方面的要求並不強烈。但對於汽車(輔助駕駛、人臉辨識、手勢辨識)、工業級自動化(自動避障、測量測距、感知定位)、醫療電子(AR、遠端互動)、新零售(手勢辨識、客流統計、行為辨識)、智慧安防(人臉辨識、行為分析)等專業級應用來說,ToF感測系統的設計不僅需要在精確度、範圍、回應時間、解析度、成本、功耗、封裝之間取得平衡,還需要針對不同情況中出現的各種不可控因素、感測系統的靈活性與抗干擾性等方面進行定制化的冗餘設計,比如添加一些高可靠性的濾波和抗干擾元件/模組,並載入相關的軟體演算法,從而保證系統有足夠的能力去應對不同類型的突發狀況。

以汽車應用為例,目前市場上的倒車雷達只能感應是否有障礙物,但一些「身材」矮小的障礙物就達不到感應範圍的要求。如果採用ToF技術,倒車系統就可以同時偵測多個不同距離的行人或障礙物,當有行人或者障礙物靠近時,就算是視線死角車頂的樹枝,透過軟體處理後,也能以影像或聲音警示距離,以幫助駕駛瞭解車後相關路況。

在智慧建築領域,以具備人臉辨識的ToF 3D立體影像自動門解決方案為例,傳統自動門採用紅外線反射原理,只能檢測到是否有物體出現在感測範圍,導致動物也能自由進出商場,造成了管理上的困擾。基於ToF的方案則可辨識空間中的人類特徵,以及人與物體相對位置距離,避免非人類進入商場。此外,商業空間的3D人流自動統計過去有成熟方案,但如何有效利用影像技術,以最低的成本精準分辨進出者的身高、體重、出入時間和低於1%的高度誤差,就有相當的技術門檻了。

除了完成物體的3D深度拍照外,ToF技術在工業領域還能為機器人帶來視覺效應,使之能像人類一樣具有方向感。

「在人類與機器人的合作問題上,安全性永遠是要考慮的首要問題,尤其是當機器人身處較為擁擠的工作環境中,它們必須能辨認人與機械的動作,並做出迅速的反應以避免受傷。」李佳說,如果用光達來解決機器人自主避障問題,成本需要增加數萬元;用雙攝影鏡頭方案,需要大量的運算和雙攝影鏡頭精準位置的調校。相比之下,ToF則成為解決上述難題的極具性價比的最佳選擇。

張良把ToF 3D成像和感測的下一個風口投給了多功能和智慧化。理由在於目前的成像和感測技術仍在存在兩大缺憾:一是各自為戰。每個感測器模組目前只能做好自己的事情,儘管不少廠商在感測器融合方面做了大量工作,但收效甚微,還只能停留在比較簡單的應用層面上。二是功能機械化,缺少適應性。隨著智慧型手機AI技術的發展,要求感測器提供更加「人性化」的資料正成為趨勢。

再從趨勢回到應用端,除了智慧型手機領域,ToF技術在IoT、自動駕駛領域迎來一次爆發將成為大概率事件。與雙目立體測量透過左右立體像對匹配後,再經過三角測量法來進行立體探測不同,ToF相機具有完全不同的3D成像機理,它利用入、反射光探測來獲取目標距離,包括在AR/VR眼鏡中用於深度和範圍資訊辨識。

因此在智慧家居、智慧安防、智慧零售等IoT領域,ToF 3D感測技術都有著很大發展前景。例如掃地機器人將從傳統的單線機械掃描式光達轉向ToF光達測距,用於辨識跟蹤人體,讓人類生活各方面變得更加智慧;在自動駕駛/車內感知監控/AGV領域,ToF 3D感測技術可以應用於車載光達、車內人體辨識、車內手勢辨識等相關技術的實現。

看見未來

儘管目前ToF技術得到了非常廣泛的應用,但反射率、多徑干擾(MPI)、精準度等問題仍然是該技術面臨的主要挑戰。張良稱,ToF未來的發展主要是提高精確度的訊噪比、降低功耗、覆蓋範圍、穩定性,以及抗干擾能力方面。隨著更多智慧技術與動態感知技術的加入,未來ToF技術的感知能力甚至可望從3D拓展到4D。

而要提高ToF的訊噪比,ams的主要思路是通過收緊接收端的能光頻率頻寬來降低環境光干擾,低反射物體的辨識可以透過應用上的辨識演算法來進行處理。另外,可變解析度和可變發射點陣技術也有助於解決低反射場景下的辨識。但限於技術本身,目前3D ToF仍以iToF(indirect ToF)為主,多徑干擾問題處理起來會比較頭痛,演算法上面也很難根除,只有高解析度dToF (direct ToF)技術的出現,才有可能從根本上解決多徑干擾的問題。

李佳表示,作為一種新型的視覺感測技術,無論是針對消費級還是專業級應用領域,當前仍需解決的基礎性問題還很多,未來如何透過技術手段去真正實現成本、功耗、體積、速度、壽命、穩定性,以及抗干擾能力等多方面的平衡,達到一個相對目前來說更為優化的水準,進而實現ToF視覺感測技術實際應用中可靠性的成倍提升,是諸如ADI之類的技術方案供應商應當考慮的重點,也是ToF技術普及乃至整個市場健康發展的前提。

Schierstädt預測在5年內,大多數智慧型手機都將配備一到兩個3D攝影鏡頭,3D人臉認證將成為安全行動支付的事實標準,逼真的AR技術將把手機遊戲推向新階段。不僅如此,ToF技術還將在智慧工廠和智慧家居中得到應用,比如需要用到清晰障礙物影像的掃地機器人,或者是私人住宅的門禁系統。

「ToF系統通常由光源、感測器和影像處理三個模組組成,為了實現這三個要素的相互作用,方案商必須要學會從系統層面展開思考並進行佈局。」Schierstädt說多年來,英飛凌與3D攝影鏡頭生態系統領域的成熟合作夥伴展開了密切合作,從參考設計公司、模組製造商到軟體公司和OEM等不一而足。不但透過對客戶的環境、應用挑戰和需求進行深入瞭解,從而在相關系統設計層級對REAL3 ToF產品進行最佳化,還為用戶提供了大量的專用參考設計和定制化機會。

結語

3D影像技術確實已經成為諸多手機廠商的技術發展重點方向,其重要性在未來可能不亞於5G和AI。但因為技術應用規模化的問題,目前除瞭解鎖和支付,確實還沒有出現全新的殺手級應用。

廠商們曾普遍認為成本高、良率等問題會導致3D感測攝影鏡頭在2018年只適用於售價高於人民幣3,000元的旗艦機型中,但從2019年初開始,與指紋、雙攝影鏡頭等技術一樣,3D感測攝影鏡頭成為了2,000元以上智慧型手機的標配,而到2020年,覆蓋面將進一步擴大,千元機型配備3D感測攝影鏡頭將不是一件令人驚訝的事。

20200110NT61P6 3D感測攝影鏡頭市場滲透預估。

本文原刊於《國際電子商情》2020年1月號雜誌