飛時測距系統設計—系統概述

作者 : Paul O'Sullivan & Nicolas Le Dortz

本篇飛時測距(ToF)技術專文概述連續波(CW) CMOS ToF相機系統技術,以及該技術在機器視覺應用中相對於傳統3D成像解決方案的優勢。

現在,許多機器視覺應用需要高解析度的3D深度影像取代或增強標準的2D影像。這類解決方案依靠3D相機來提供可靠的深度資訊以確保安全性,尤其是當機器在非常靠近工作人員操作時。在具有挑戰性的環境中工作時,例如在具有高反射性表面的大空間中和有其他移動物體的環境中工作時,相機還需要提供可靠的深度資訊。目前的許多產品使用低解析度測距儀類型解決方案來提供深度資訊,以增強2D成像。

但是,這種方法有很多限制。對於可從更高解析度3D深度資訊獲益的應用,連續波(CW) CMOS飛時測距(ToF)相機提供了市場上最高性能的解決方案。1詳細地說明由高解析度CW ToF感測器技術實現的一些系統特性。這些系統特性還能運用於消費者使用場景,如影像背景虛化、臉部身份驗證和測量應用,以及汽車使用場景,如駕駛狀態監控和自動化艙內配置。

1連續波飛時測距系統特性。

連續波CMOS飛時測距相機概述

深度相機是指每個畫素都會輸出相機與場景之間距離的相機。一種測量深度的技術是計算光從相機光源行進到反射表面再返回相機所需的時間。此行程時間通常被稱為飛時測距(ToF)。

Figure 1. Overview of continuous wave time of flight sensor technology.

1:連續波飛時測距感測器技術概要。

 ToF相機由多個元件組成(參見1),包括:

  • 光源,例如垂直共振腔面射型雷射(VCSEL)或邊緣發射雷射二極體,其發射近紅外域的光。最常用的波長為850nm和940nm。光源通常是漫射源(泛光照明),其發出具有一定散度的光束(即照明區或FOI),以照射相機前方的場景。
  • 雷射驅動器,其調變光源發射的光的強度。
  • 具有畫素陣列的感測器,其從場景中收集返回光線並輸出每個畫素的值。
  • 鏡頭,其將返回光線聚焦到感測器陣列上。
  • 帶通濾波器,其與鏡頭共置,用於濾除以光源波長為中心的窄頻寬之外的光線。
  • 處理演算法,其將感測器輸出的原始影格(frame)轉換為深度影像或點雲。

人們可以使用多種方法來調變ToF相機中的光線。一種簡單辦法是使用連續波調變,例如50%操作週期的方波調變。在實務中,雷射波形很少是完美的方波,看起來可能更靠近正弦波。對於給定光功率,方形雷射波形可產生更好的訊號雜訊比(SNR),但高頻諧波的存在也會導致深度非線性誤差。

CW ToF相機透過估算發射訊號與返回訊號基波之間的相移 ϕ = 2πftd 來測量這兩個訊號之間的時間差td。深度可以利用相移(ϕ)和光速(c)來估算,公式如下:

Equation 1

其中fmod為調變頻率。

感測器中的時脈產生電路控制互補畫素時脈,而互補畫素時脈分別控制兩個電荷儲存元件(Tap A和Tap B)中的光電荷的累積,以及雷射驅動器的雷射調變訊號。返回調變光的相位可以相對於畫素時脈的相位來測量(參見1右側)。畫素中的Tap A和Tap B之間的差分電荷與返回調變光的強度和返回調變光相對於畫素時脈的相位成比例。

利用零中頻檢測原理,使用畫素時脈和雷射調變訊號之間的多個相對相位進行測量。組合這些測量結果即可確定返回調變光訊號中的基波相位。知道該相位即可計算光從光源行進到被觀察的物體再返回到感測器畫素所花的時間

高調變頻率的優點

在實務中,光子散粒雜訊、讀出電路雜訊、多路徑干擾等非理想因素會導致相位測量誤差。高調變頻率可降低這些誤差對深度估算的影響。

透過一個簡單例子就能輕鬆理解這一點。假設相位誤差為 ϵϕ,那麼感測器測得的相位為。深度誤差即為:

Equation 2

因此,深度誤差與調變頻率fmod成反比。2以圖形方式顯示了這一點。

這個簡單公式在很大程度上解釋了為什麼高調變頻率的ToF相機與低調制頻率的ToF相機相比深度雜訊更低且深度誤差更小。

Figure 2. The effect of phase error on distance estimation.

2:相位誤差對距離估計的影響。

 使用高調變頻率的一個缺點是相位環繞速度更快,表示可以準確測量的距離更短。解決此限制的常見辦法是使用多個以不同速率環繞的調變頻率。最低調變頻率支援準確測量較長距離,但深度誤差(雜訊、多路徑干擾等)也較大,串聯使用較高調變頻率可降低深度誤差。3顯示一個使用三種不同調變頻率的示例方案。最終深度透過不同調變頻率的展開相位估計值加權來估算,為較高調變頻率分配較大的權重。

Figure 3. Multi-frequency phase unwrapping.

3:多頻相位展開。

如果為每個頻率的權重選擇最優值,則深度雜訊與系統中選擇的調變頻率的均方根(rms)成反比。對於恆定深度雜訊預算,提高調變頻率可以減少積分時間或照明功率。

對性能非常重要的其他系統方面

開發高性能ToF相機時,有許多系統特徵需要考慮,這裡簡要介紹其中的一些特性。

像感測器

影像感測器是ToF相機的關鍵元件。當系統的平均調變頻率提高時,大多數與深度估計相關的非理想因素(如偏置、深度雜訊和多路徑偽像)的影響會減小。因此,感測器在高調變頻率(數百MHz)時須具有高解調對比度(區分Tap A和Tap B之間光電子的能力)。感測器在近紅外波長(如850nm和940nm)還需要具有高量子效率(QE),從而降低在畫素中產生光電子所需的光功率。最後,低讀數雜訊支援檢測較低返回訊號(遠處或低反射率物體),從而有助於提高相機的動態範圍。

光照度

雷射驅動器以高調變頻率調變光源(例如VCSEL)。對於給定光功率,為使畫素處的有用訊號量最大化,光學波形需要具有快速上升和下降時間及乾淨的邊緣。照明子系統中雷射、雷射驅動器和PCB佈局的組合對於實現這一點非常重要。還需要進行一些標定工作以找到最佳光功率和操作周期設定,從而使調變波形的傅立葉轉換中的基波幅度最大化。最後,光功率還需要以安全方式傳輸,雷射驅動器和系統層面應內建一些安全機制以確保始終符合第1類眼部安全限值。

光學元件

光學元件在ToF相機中發揮著關鍵作用。ToF相機有一些獨特的特性,因此在光學方面有一些特殊要求。首先,光源的照明區域應與鏡頭的視角匹配以獲得最佳效率。鏡頭本身應具有高孔徑(低f/#),以獲得更好的光收集效率,這一點也很重要。大孔徑可能導致需要權衡其他因素,如暗角、淺景深和鏡頭設計複雜度等。低主射線角的鏡頭設計也有助於減少帶通濾波器頻寬,從而改善環境光抑制,提高戶外性能。光學子系統還應針對所需工作波長進行最佳化(如防反射塗層、帶通濾波器設計、鏡頭設計),以使吞吐效率最大而雜散光最小。還有許多機械要求,以確保光學對準在最終應用的期望容差範圍內。

電源管理

電源管理在高性能3D ToF相機模組設計中同樣非常重要。雷射調變和畫素調變產生短的高峰值電流突發脈衝,這為電源管理解決方案帶來了一些約束。感測器IC的一些特性可協助降低成像器的峰值功耗。在系統層面還可以應用電源管理技術協助降低對電源的要求(例如電池或USB)。ToF成像器的主要類比電源通常需要一個具有良好瞬態響應和低雜訊的穩壓器。

Figure 4. Optical system architecture.

4:光學系統架構。

深度處理演算法

最後,系統級設計的另一重大部份是深度處理演算法。ToF影像感測器輸出原始畫素資料,需要從這些資料中提取相位資訊。該操作需要多個步驟,包括雜訊濾波和相位展開。相位展開模組的輸出是雷射器發出的光行進到場景再返回到畫素的距離測量結果,常被稱為範圍或徑向距離。

徑向距離一般被轉換為點雲資訊,代表特定畫素的實際座標(X、Y、Z)資訊。通常,最終應用僅使用Z影像對應(景深映射),而不是全部點雲。將徑向距離轉換為點雲需要瞭解鏡頭內在特性和失真參數。這些參數是在相機模組的幾何校準期間估算。深度處理演算法還能輸出其他資訊,例如主動亮度影像(返回雷射訊號的幅度)、被動2D IR影像和置信度,這些資訊都可以在最終應用中使用。深度處理可以在相機模組本身中進行,或系統中其他地方的主機處理器中進行。

本文涉及的不同系統級元件概覽如2所示。

23D飛時測距相機的系統級元件。

結論

連續波飛時測距相機是一種強大的解決方案,可為需要高品質3D資訊的應用提供高深度精度。為確保實現最佳性能水準,有許多因素需要考慮。調變頻率、解調對比度、量子效率和讀數雜訊等因素決定了影像感測器的性能。其他因素是系統級考慮因素,包括照明子系統、光學設計、電源管理和深度處理演算法。所有這些系統級元件對於實現最高精度3D ToF相機系統非常重要。

本文作者:

Paul O’SullivanADI系統工程師
Nicolas Le DortzADI系統工程經理

活動簡介

人工智慧(AI)無所不在。這一波AI浪潮正重塑並徹底改變科技產業甚至整個世界的未來。如何有效利用AI協助設計與開發?如何透過AI從設計、製造到生產創造增強的體驗?如何以AI作為轉型與變革的力量?打造綠色永續未來?AI面對的風險和影響又是什麼?

AI⁺ 技術論壇聚焦人工智慧/機器學習(AI/ML)技術,涵蓋從雲端到邊緣、從硬體到軟體、從演算法到架構的AI/ML技術相關基礎設施之設計、應用與部署,協助您全面掌握AI最新技術趨勢與創新,接軌AI生態系佈局,讓機器學習更快速、更經濟、更聰明也更有效率。

贊助廠商

加入LINE@,最新消息一手掌握!

發表評論