3D深度感測解鎖新應用場景

作者 : EDN Taiwan編輯部

透過深度感測技術,裝置和機器等數位系統得以感知並理解其周遭環境,讓需要人為觀察的過程自動化;特別是3D ToF,正成為解鎖遊戲、機器視覺、自動駕駛以及工業環境等先進功能的關鍵…

自從2018年蘋果(Apple)在其新款iPhone手機中導入Face ID,正式引爆3D感測(3D Sensing)行動應用風潮後,個人生活、消費市場到汽車與製造業等領域逐漸從2D向3D靠攏,不僅開啟各種嶄新應用,並進一步創造巨大的成長機會。

根據市場研究機構Yole Développement統計,2021年全球3D/深度感測市場市值為68億美元,並將以15%的複合年成長率(CAGR)成長,預計將在2026年達到150億美元的市場規模。其中,車用3D感測技術市場規模將在未來五年內成長4倍。

透過「深度感測」(depth sensing)技術,裝置和機器等數位系統得以感知並理解其周遭環境,進而使需要人為觀察的過程實現自動化。尤其是近年來,深度測量和3D感知(3D perception)在許多產業和應用中變得越來越重要,包括手機等消費應用、與流程最佳化和自動化有關的工業環境、機器人技術和自動駕駛等。

立體視覺(stereo vision)、結構光(structured light)和飛時測距(Time of Flight;ToF)是目前主要的深度感測技術,特別是ToF感測技術,正成為解鎖AR/VR遊戲、機器視覺、自動駕駛以及工業、智慧製造環境等更先進功能的關鍵,催生並驅動更多高階新應用蓬勃發展。

3D ToF瞄準工業/汽車新應用

ToF攝影機由於具備元件尺寸小、較大感測動態範圍以及能在各種環境中運作等特性而備受瞩目。儘管這一技術目前主要應用圍繞在智慧型手機、消費裝置以及遊戲機等產品,隨著技術逐漸成熟以及進一步採用主流製程,如今開始部署於消費市場以外的領域,為製造業以及貨物運輸等領域提升效率。

包括物流、品質檢測、機器人、人臉辨識、門禁、監視、保全維安、醫療以及駕駛監測等使用情境都可運用3D ToF深度感測技術解決2D技術無法克服的許多問題,並結合高解析度深度資料、強效的分類演算法以及人工智慧(AI)等技術而發掘更多嶄新應用。

ADI和微軟(Microsoft)就ToF 3D成像的開發和製造展開合作,為各種應用場景提供更高精度的3D感測技術。ADI採用微軟的Azure Kinect 3D ToF技術,結合其百萬畫素的高解析度ToF感測器ADSD3100,能以最低功耗產生極精準深度影像,建構更易於應用的3D成像方案,鎖定工業4.0、汽車、遊戲、AR、計算攝影和視訊攝影等應用。

3D ToF感測器能以低功耗產生極精準的深度影像為工業、汽車、製造業和貨物運輸等應用提升效率(圖片來源:ADI)

為實現車內駕駛及座艙監測,ADI並結合ToF技術和Jungo的CoDriver軟體,開發基於ToF和2D IR技術的攝影機方案,用於觀察駕駛的頭部、身體位置以及眼睛注視情況,監測其睡意和注意力分散程度,並可提供個性化資訊娛樂服務以及共乘支付等功能。

相較於電腦視覺演算法,ToF感測器能利用深度資訊大幅降低人體追蹤演算法的複雜程度和運算難度,從建築自動化到人流統計,透過最佳化音訊和氣候控制等提供更好的體驗。此外,它還能遠端監測人員的健康情況,例如Tempo工作室使用其ToF捕捉使用者的3D移動,透過內建演算法追蹤動作狀況並提供即時個人反饋,協助用戶改善功能並保障人身安全。

ADI最近並與Lumentum Operations合作推出用於3D景深測量和視覺系統的工業級間接飛時測距(iToF)模組,採用Lumentum先進的三結垂直共振腔面射型雷射(VCSEL)技術,讓攝影機和感測器能以百萬畫素解析度感知3D空間,提供精度高達+/-3mm的iToF技術,廣泛用於工業自動化、物流、醫療健康和AR等機器視覺等領域。

3D臉部認證確保安全行動支付

3D臉部辨識由於更安全、準確、易用且無接觸等特性,在要求更為嚴苛的金融支付市場受到追捧。例如艾邁斯歐司朗(ams OSRAM)和trinamiX聯手為智慧手型機製造商提供高度安全和方便的使用者認證系統,可在OLED螢幕後方實現人臉認證,並提供行動支付所需的超高安全效能。該系統將於今年內推出。

ams OSRAM資深行銷經理CK Chuaq介紹,新型3D臉部辨識解決方案的核心採用trinamiX經認證的人臉驗證軟體,以及ams OSRAM的紅外點陣投影器和泛光照明器,這一創新組合即使整合到智慧型手機的OLED螢幕後方,也能實現高度安全和方便的效能,並推動小尺寸和高性價比的產品設計成為可能。

3D臉部辨識系統可在手機OLED螢幕下實現人臉認證,實現行動支付所需的超高安全效能。(圖片來源:trinamiX

此外,ams OSRAM並針對駕駛狀態監測系統(DMS)發佈ICARUS概念驗證系統,由ams OSRAM的汽車VCSEL近紅外(NIR)泛光和點陣投影器實現,可對安裝在儀表板或A柱上的先進DMS進行概念驗證。

ams OSRAM的3D感測系統採用結構光方案,提供高解析度深度圖(在45-70cm範圍內,深度精度<±0.5%),同時透過深度提取演算法,為支援客製化產品開發的客戶提供提高效能的空間。

客戶可以利用DMS軟體結合駕駛臉部的精確深度圖,以確定駕駛眼睛和頭部姿態的3D位置,在此基礎上實現AR-HuD、駕駛身份驗證等狀態監測功能。此外,ICARUS系統對駕駛頭部3D位置的精確測量支援軟體建置,可偵測對道路安全造成危險的「瞌睡」及其他疲勞先兆。

3D AI臉部辨識門禁系統提升安全層級

3D ToF感測技術由於能夠取得辨識人臉的深度資訊,比單鏡頭攝影機更安全,應用於智慧門鎖和車門時,還能避免環境光源變化帶來的干擾。

耐能智慧(Kneron)攜手漢芝電子(iMQ Technology)共同開發輕量級3D AI臉部辨識門禁系統,採用3D臉部辨識和Silicon-to-System技術以加速邊緣AI運算應用,並達到BCTC金融支付標準以及FIPS Level3的更高安全強度,進一步提升安全標準層級。

基於ToF感測器的3D AI門禁系統大幅提升安全層級。(圖片來源:Kneron)

該3D AI臉部辨識門禁系統搭載耐能KL520 AI晶片,結合其可重配置AI模型以及自研NPU,從而支援多種機器學習架構與網路模型。此外,RGB+紅外鏡頭實現尺寸緊湊且靈活的攝影機,搭配漢芝電子創新的安全加密晶片組,實現高精準度且更高安全層級的臉部辨識方案。

據耐能介紹,透過採用ToF 3D感測技術,由感測器發出調變的近紅外光遇物體後反射,並計算光線發射和反射時間差或相位差,可在耐能晶片上計算目標的距離以產生深度資訊。其技術特點在於採用單一鏡頭結合AI演算法,降低成本,同時大幅減低錯變率,以提高安全性和使用的方便性。

耐能並與全球多家知名廠商合作,針對深度感測設計開發整合的邊緣AI硬體和軟體解決方案,致力於智慧駕駛、安全監控和更廣泛的物聯網應用。例如在Mobility in Harmony (MIH)聯盟的合作夥伴展會上展示其車輛解決方案——搭載耐能自研晶片OT 8600+KL 520的開發板,用於車輛鏡頭感測器部署以及人員、車輛和物體檢測。

為推動智慧城市和智慧建築管理,耐能並與IP攝影機廠商韓華(Hanwha)合作,搭載KL720晶片的韓華X系列AI感知攝影機能有效應用於車輛、虛擬圍欄和人臉偵測等應用。

打造無縫連接實體和數位世界AR裝置

著眼於AR應用將徹底改變日常生活和工作方式,Magic Leap預計在今年下半年推出專為企業用途而設計的最新AR裝置:Magic Leap 2。該裝置的特點之一就在於採用了3D間接飛時測距(iToF)深度感測技術。

這項技術是由英飛凌科技(Infineon Technologies)和pmdtechnologies (pmd)共同開發的,能夠即時建立準確的環境3D成像,以及人臉、手部細節或物體的3D成像,讓Magic Leap 2能精準地與環境互動。此外,該感測器還可強化Magic Leap 2的手勢控制,並將其耗電量降至最低、減少散熱以及延長電池壽命。

這讓Magic Leap 2具備先進的光學技術和強大的運算能力,提升操作人員的工作效率、協助企業最佳化複雜程序,並使員工間能無縫順暢合作Magic Leap 2以展現REAL3 3D影像感測器的潛力。經改良的新款IRS2877C ToF影像感測器捕捉使用者周圍的實體環境,協助裝置瞭解該環境並與之互動。

隨著這些技術的進展,預計未來將有越來越多AR應用出現在工業和醫療環境中。例如,慕尼黑數位醫療技術公司Brainlab將其以AI技術建構的特定病患解剖區段可視化軟體結合Magic Leap的空間運算,讓外科醫生對病患的解剖結構有多的了解。

採用3D iToF開發的Magic Leap 2專為企業用途而設計,打造最具沉浸式體驗的企業用AR頭戴式裝置。(圖片來源:Infineon Technologies

3D感測攝影機實現沉浸式元宇宙用戶體驗

市場對元宇宙基礎架構的投資持續蓬勃發展,同時驅動感測器需求的成長。為協助用戶實現更為逼真和身歷其境的虛擬體驗,光學材料和半導體製造商II-VI與光學感測器業者光程研創(Artilux)聯手打造新一代3D感測攝影機,提供更寬廣的偵測範圍和更高成像解析度,提升感測效能並最佳化元宇宙生態圈的使用體驗。

該微型3D感測攝影機結合II-VI的磷化銦(InP)半導體雷射技術,以及光程研創的鍺矽(GeSi)感測器陣列技術,能夠運作於短波紅外光(SWIR)——1380nm波段,較目前市場上大多運作於940nm波段的3D感測攝影機擁有更優越的效能。

新世代3D感測攝影機開發更細膩沉浸的元宇宙用戶體驗。(圖片來源:Artilux)

II-VI光電元件與模組事業處資深副總裁Julie Sheridan Eng表示,「相較於NIR波長,SWIR的波長較長有助於揭露更多的物質材料細節,以及提供更佳的對比度,特別是在戶外環境。」相較於940nm波段,運作於1380nm波段的攝影機能實現更強的明亮度照射同時維護人眼安全。此外,大氣在1380nm波段吸收更多的太陽光,可減少背景光的雜訊干擾,讓攝影機提供更長的偵測距離和更高的成像解析度。

II-VI高度整合的SWIR發光模組內含InP邊緣發射雷射,可提供最高2W的輸出功率和光學擴散器,表面貼裝技術(SMT)製程則帶來低成本和高品質的組裝。光程研創的攝影機搭載高頻寬和高量子效率的鍺矽SWIR感測器陣列,並建立於具高度擴展性的CMOS技術平台上。此款結合雙方先進技術實力的產品預計將在消費與車用市場實現更廣泛多元的深度感測應用。

本文同步刊登於EDN Taiwan 2022年8月號雜誌

活動簡介

目前寬能隙(WBG)半導體的發展仍相當火熱,是由於經過近幾年市場證明,寬能隙半導體能確實提升各應用系統的能源轉換效率,尤其是應用系統走向高壓此一趨勢,更是需要寬能隙元件才能進一步提升能效,對實現節能環保,有相當大的助益。因此,各家業者也紛紛精進自身技術,並加大投資力道,提升寬能隙元件的產能,以因應市場所需。

本研討會將邀請寬能隙半導體元件關鍵供應商與供應鏈上下游廠商,一同探討寬能隙半導體最新技術與應用市場進展,以及業者佈局市場的策略。

贊助廠商

加入LINE@,最新消息一手掌握!

發表評論