工業/汽車應用ToF深度感測技術解析

作者: Colm Slattery、Yuzo Shida,依序為ADI行銷經理、產品行銷經理

飛行測距(ToF)攝影機廣獲各界關注。深度感測會成為各界首選,主要是因為其具備元件尺寸小、較大的感測動態範圍,以及能在各式各樣的環境中運作等特性。在科學與軍事領域中,很早之前就開始運用ToF技術,但一直到了公元2000年初期,隨著影像感測技術的演進其版圖才開始拓展…

飛行測距(ToF)攝影機廣獲各界關注。深度感測會成為各界首選,主要是因為其具備元件尺寸小、較大的感測動態範圍,以及能在各式各樣的環境中運作等特性。在科學與軍事領域中,很早之前就開始運用ToF技術,但一直到了公元2000年初期,隨著影像感測技術的演進其版圖才開始拓展。效能方面的進步意謂著包括如ADI旗下ToF技術未來將被部署在消費市場以外的領域,目前主要設計應用圍繞在智慧型手機、消費性裝置,以及遊戲機等產品。隨著技術逐漸成熟,業界未來將進一步採用主流製程,針對包括設計、製造,以及貨物運輸等領域的系統提高產品的效率。

圖1 ToF是用來偵測物體距離的技術。

包括物流、品質檢測、導向、機器人、人臉辨識、門禁、監視、保全維安、醫療,以及駕駛監視等使用情境都會運用3D深度感測ToF技術,以解決傳統2D技術目前無法克服的許多問題。另外,結合高解析深度資料、強效的分類演算法,以及人工智慧(AI)等技術,都使各界未來能發掘出許多嶄新應用。

本文將探討ToF深度感測的基本原理及兩種主流方法,並比較ToF和其他較常用深度感測技術。之後,將會介紹ADI的3D深度感測ToF技術——運用ADDI9036 類比前端,包含一個完整的ToF訊號處理元件,其內部整合深度處理器,負責把VGA CCD感測器的原始影像資料處理成深度/畫素資料。最後本文將討論ADI如何藉由硬體夥伴廠商的產業體系,聯手將這項技術擴展到廣大市場客群。

運作的基本理論

ToF攝影機量測距離的方法,是用一個經過調變的光源(像是雷射或LED光)主動照向物體,接著再用一個對雷射光波長敏感的感測器擷取反射回來的光線(圖2)。感測器量測到光源射出後一直到攝影機收到反射光之間的時間延遲ΔT。這個時間延遲會和攝影機與物體(往返)距離的兩倍成正比,因此推估的深度是:

圖2 ToF量測的簡圖。

其中c是光速,ToF攝影機的目標是估算發射訊號一直到訊號回傳之間的時間延遲。量測ΔT有多種不同方法,其中有兩種最常用:連續波(CW)法及脈衝法。

連續波法

在連續波法中,會用一個週期性調變訊號進行主動照明(圖3),之後再透過接收訊號的零差(homodyne)解調程序量測出反射光線的相位移。

圖3 連續波ToF系統示意圖。

舉例來說,利用正弦調變的照射訊號為:

s(t) = Ascos(2πfmodt ) + Bs       (2)

其中:

As是訊號的波幅;

Bs是訊號的偏移;

fmod是調變頻率fmod-1/Tmod

接收訊號r(t)則是發送訊號經過延遲與衰減後的版本:

r(t) = αs(t -ΔT)        (3)

其中,Tmod是調變週期。而0≤α < 1 是一個衰減係數,其大小取決於距離及表面反射率,而ΔT則是回傳訊號的延遲。

連續波ToF感測器會透過採樣量測每個畫素的距離,其標的是接收訊號r(t),以及解調訊號g(t)之間的相關函數,兩個訊號的頻率皆為s(t)。在理想狀況下,解調訊號也會是正弦波:

g(t) = Ag cos(2πfmodt ) + Bg        (4)

畫素進行的運算是關聯(correlation)運算:

當發射訊號與解調訊號都是正弦波時,關聯值為套用到解調訊號上延遲τ的函數,其計算公式為:

c(τ) = A cos(2πfmodt (ΔT-τ)) + B      (6)

其中A=AgAsα而B=αBgBs

關聯函數c(τ)在一個週期內的四個均分步進點進行採樣(以步進90度的幅度改變照明相位移),如公式(3)所示。相位偏移Φ= 2πfmodΔT發射訊號與解調訊號的延遲可利用公式(7)估算:

而深度則會和相位偏移成比例:

圖4 校正函式的採樣流程。

脈衝式方法

在脈衝方法中,發光源射出一連串共N個短光脈衝,之後會反射回到感測器,感測器上配置一個電子快門,在短暫的暫時性窗口內擷取一連串的反射光。如圖5所示,共有三個快門窗口或脈衝用來擷取反射的光脈衝。其中BG窗口負責擷取環境光,其他量測數據則會減去這個測得的環境光才能得到較真實的數值。

圖5 用來擷取反射光的快門窗口示意圖。

ToF ΔT的估算是根據以下公式,使用不同快門窗口對應的量測值 :

計算距離時,則是用公式(1)的ΔT取代公式(9)裡的值,於是得到公式(10):

這裡要注意的是,這些公式根據的假設是脈衝為完美的矩型脈衝,但考量到硬體的種種限制根本不可能出現這種脈衝。此外,在實際狀況中,需要累積數百到數千個照明脈衝才能達到量測所需的訊噪比(SNR)。

連續波與脈衝ToF技術系統的優缺點

兩種ToF方法相對於不同應用的使用情境都各有優缺點。當前面臨的問題包括量測的距離、系統使用環境、精準度要求、散熱/功率消耗的限制、尺寸規格,以及必須考量的電源問題。該注意到現今市面上大多數連續波ToF系統都採用CMOS感測器,而脈衝式ToF系統則採用非CMOS感測器(主要為CCD)。基於這個理由,以下列出根據這些假設引申的優點/缺點:

連續波系統的優點

1.對於不需要高精準度的應用,連續波系統會比脈衝式系統更容易實作,脈衝式系統的光源不必要求極短,可以有快速的上升/下降邊緣,然而實務上很難重製出完美的正弦波。不過如果要求的精準度更高,就必須採用更高頻率的調變訊號,但在實務上很難辦到。

2.由於照明訊號的週期性,從連續波系統量測得到的相位值每2π就會返轉,量測到的數值會是一個混疊(aliasing)的距離值。對於只有一個調變頻率的系統,混疊距離也是最大量測距離。為了抵銷這項限制,可以使用多個調變頻率來執行相位展開(unwrapping),倘若兩個(或更多)不同調變頻率的相位量測在推估距離上出現一致,即可判斷物體的真正距離。這種多重調變頻率法還可用來降低多重路徑誤差,這種誤差出現在從物體折回的反射光照到另一個物體(或在多個透鏡內部反射),之後再照到感測器以致產生量測誤差。

3.在所有CMOS成像器系統中,會採用標準供電軌(+5V、+3.3V,以及+1.2V),不像CCD需要用到較高的負電(-9V)與正電(+14V)供電軌。

4.根據它們的組態,CMOS ToF成像器通常具有較高的彈性,以及更快的讀出(readout)速度,因此可以實現像是感興趣區域(RoI)輸出等功能。

5.對連續波ToF系統進行溫度校正會比校正脈衝式ToF系統來得簡單。隨著系統溫度升高,解調訊號,以及照明光會隨著溫度波動出現偏移,但這樣的偏移只會影響量測距離,在整個範圍上偏移誤差會維持固定,基本上深度的線性度會保持穩定。

連續波系統的缺點

1.儘管CMOS感測器具備比其他感測器更高的輸出資料率,但連續波感測器在多重調變頻率中需要4個校正函式樣本,以及執行多影格(multifram)處理,才能計算深度。曝光時間越長,可能會限制系統的整體畫面更新率,或是造成動態模糊,進而對某些用途形成限制。另外較高的處理複雜度,使得系統必須採用外部應用處理器,而這類元件有可能超出應用本身的需求。

2.在高環境光照的環境中進行長距離量測時,就需要更高的持續照射功率(相較於脈衝式ToF);然而以雷射光源進行持續照射則會衍生高溫,以及可靠性方面的問題。

脈衝式ToF技術系統的優點

1.脈衝式ToF技術系統通常採用高能光脈衝,在極短瞬間發射脈衝,而且整合窗口相當短,這種方法提供以下優點:

  • 更容易設計出理想系統,能應付環境光照狀況,因此適合在各種戶外應用中工作;
  • 較短的曝光時間,使動態模糊的問題減至最低。

2.在脈衝式ToF系統中,照射的工作週期通常遠低於連續波系統,因此提供以下優點:

  • 在較長距離的應用中,能降低系統整體功率消耗;
  • 能避免其他脈衝式ToF系統的干擾,將影格中不同位置的脈衝猝發(burst)和其他系統的脈衝猝發隔離開。作法是運用外部光偵測器(photodetector)決定其他系統脈衝猝發的位置,藉此協調影格中不同系統脈衝猝發在影格中的位置。另一種方法是持續隨機配置脈衝猝發的位置,不需協調各系統之間的時序,但這種方法不能完全消除干擾。

3.由於脈衝時序,以及寬度並不需要統一,因此可以建置不同的時序機制,藉以執行像是寬動態範圍及自動曝光等功能。

脈衝式ToF技術系統的缺點

1.由於發送光脈衝的脈衝寬度無須和快門一致,時間系統的時序控制必須高度精準,依據實際應用種類,有可能必須達到皮秒等級。

2.為達到最高效率,照射脈衝寬度不僅要很短,還須達到極高功率。為此,雷射驅動器的曲線必須要有高速的上升/下降邊緣(小於1奈秒)。

3.和連續波系統相比,溫度校正流程更加複雜,這是因為溫度的波動會影響個別脈衝寬度,這不僅會牽連到偏置與增益,還會影響到線性度。

4.如先前所述,大多數脈衝式系統並不是採用CMOS感測器,因此:

  • 脈衝式ToF系統一定需要外部類比前端元件,該元件不僅能執行數位化,還能輸出深度資料(連續波系統可能還需要一個外部處理器,實際狀況端視後端處理作業的複雜度而定);
  • 系統組態,尤其是ToF感測器的供電需求,會需要更多元件,以及供電軌。

其他深度感測技術

我們有必要認識其他深度測繪(mapping)技術以瞭解利弊得失;如先前所述,所有深度偵測系統依據使用情境,以及應用需求都各有其不同的優缺點。

立體視覺

深度感測的立體視覺其原理是使用超過一部攝影機,彼此之間會相互間隔一定距離(圖6)。類似人類眼睛,分開的每個攝影機會設定一個參考點,若兩個攝影機的參考點能夠對應,系統就能計算出該點在空間的位置。然而,要判斷這樣的對應狀態,過程涉及到密集的運算,以及許多複雜演算法。

圖6 使用立體視覺執行3D深度感測。

優點包括不需要主動照明;且成本較低廉,因為只須用兩個攝影機擷取資料(但仍需要精密的應用處理器來搜尋對應點,以及繪製3D影像)。

缺點則為若影像缺乏對比性讓系統在兩個攝影機之間設定對應點,就無法計算距離。在白色牆壁環境尤其常見,此時兩個攝影機看到的影像沒有對比性,還有環境中沒有足夠的環境光照。若是量測更長的距離,兩個攝影機必須隔得更遠才能讓兩個攝影機把對應點設在不同位置,這對於必須量測更長距離的應用,問題會更加顯著。

結構光(structured light)

結構光方法的原理是把一個已知的參考點圖案投射到物體上。這個參考圖案在會在物體表面產生3D變型,之後2D攝影機會擷取到變型結果。接著再把變型影像對比投射的參考圖案,然後根據變型程度推算出深度圖(depth map)。

圖7 使用結構光方法執行深度圖測繪。

優點是能達到極高的空間解析度,以及在短距離(低於2公尺)達到高精準度。缺點則包括需多次投射才能擷取到一個資訊影格,導致較慢的畫面更新率,故難以從移動中物體擷取到距離資訊。且在較長的深度範圍,攝影機的照明光源必須遠離鏡頭,倘若光源離鏡頭太近,就無法分辨圖型畸變。但在要求小尺寸的應用中,根本無法辦到。因此結構化光源系統不常用到超過2公尺的深度量測。另外,戶外環境光線可能與畸變圖型相互干擾,因此這種方法較適合室內應用。

ADI ToF技術

ADI的ToF技術是一種脈衝式ToF CCD系統(圖8),採用高效能ToF CCD元件,以及ADDI9036,這款完整的ToF訊號處理裝置整合一個12位元ADC轉換器、深度處理器(將CCD的原始影像資料轉換成深度/畫素資料),以及高精準度時脈產生器,負責為CCD與雷射元件產生時序訊號。時脈產生器的精準時序核心讓系統能調整時脈與LD輸出,在45MHz的時脈頻率下能達到約174ps的解析度。

圖8 ADI ToF系統的方塊圖。

ADI的ToF系統相較其他廠商的解決方案的差異化特色包括:

1.採用解析度達640×480的ToF感測器,這樣的解析度比市面上大多數其他ToF解決方案高出4倍;

2.採用的感測器對波長940奈米光線具有高靈敏度。如先前所述,環境光會大幅降低反射訊號的訊噪比,尤其是在環境光線較強的環境。940奈米雷射越來越風行,因為其波長佔據陽光的一部分頻譜,而其光子通量(photon flux)相對偏低(圖9)。ADI的ToF系統採用一個對940奈米波長光線敏感的ToF CCD元件,讓它能在戶外環境或環境光線強照的環境中擷取更多資料。

圖9 光子通量對比陽光的波長。

偽隨機(pseudo-randomization)演算法加上整合在深度處理器中的空間影像功能,讓系統能消除干擾(如先前所述),如此多個ToF系統就能在相同環境中運作。圖10的例子顯示三種不同深度量測系統在戶外環境量測距離。請注意,CMOS ToF系統採用850奈米波長的光源,很難辨識出人體和三角架,而ToF CCD系統則能更清楚地分辨兩者。

圖10 戶外影像的深度圖比較。

哪些應用採用ToF技術?

在介紹中提到,在2D影像中加入深度資訊,讓我們能擷取出更有用的資訊,藉此大幅改進情境資訊的品質。舉例來說,2D感測無法分辨真人或是照片。擷取深度資訊讓系統能更有效對人員進行分類,以及追蹤其臉部與身體的特徵。ToF深度感測能針對門禁驗證提供高品質且可靠的臉部辨識功能,解析度和深度的準確度越高,分類演算法的效果就越好。這方面的技術在許多簡單功能特別實用,像是允許存取行動裝置/進入個人住家空間,另外還能支援許多高階使用情境,像是商業機密場所的門禁。

圖11 數位臉部辨識。

隨著深度感測技術達到更高的解析度,以及深度準確度,人員的分類與追蹤就會更加容易。運用人工智慧除了提高分類的信心度,還能進一步開拓嶄新及即將浮現的應用。其中一種使用情境就是商業建築的自動開門功能,特別是在陽光強烈的環境。這類系統必須只為人員開門,其他一切物體都不能放行,其效益除了增進建築管理的效率,還能協助對外維安與內控保全。

圖12 自動開門系統的人員分類。

隨著各種3D演算法發展越趨成熟,各界開始運用資料分析來取得有意義的資訊,以進一步瞭解人們的行為。第一波出現的很可能是建築物控制應用,像是門禁入口/出口系統的人數計算。在垂直架設感測器加入深度資訊,意謂著計算人數功能可以達到極高的準確度。另一個使用情境則是智慧型自動開門(圖13),系統對人員進行分類後,只會為偵測到的真人開門,ADI正針對人員計算與分類領域開發多種軟體演算法。

圖13 採用深度感測技術的人員追蹤演算法。

深度資訊能在許多具挑戰性的狀況中在人員分類方面達到高準確率,像是低光照或是沒有環境光線的狀況、人員密集的區域,以及人員穿戴遮蔽衣物的狀況(像是帽子、圍巾等)。最重要的是,人員計算的誤觸發狀況幾乎完全消除。目前立體攝影機已開始運用在入口/出口偵測,但由於機械尺寸的限制(兩台攝影機),以及需要高階處理器,立體系統通常較為昂貴且體積較大。由於ADI的ToF技術能直接輸出深度圖,而且只用到一個感測器,因此尺寸及處理需求都獲得大幅的精簡。

深度感測的重要應用將出現在工業、製造及營建等方面。想要在生產流程中即時精準量測物體尺寸並加以分類,過程絕非易事。精準的深度感測能判斷倉庫貨架上的空間使用狀況,系統必須能快速量測從生產線送出產品的3D尺寸才能進行後續的運輸。高精準的深度感測讓系統能即時量測物體的邊緣與輪廓,並快速計算體積,許多業者已經採用類神經網路技術來判斷體積。

圖14 3D尺寸標注(dimensioning)。

越來越多工廠採用自主機具來運送貨物。例如無人搬運車這類自主運行的機具必須在工廠,以及倉庫環境,以更快速度自主行駛。高精準度的深度感測技術讓感測器能即時測繪出所處環境地圖,並找到自己在地圖中所在位置,然後規劃出最有效率的行進路線。在工廠自動化環境中部署這類技術,面臨其中一項最大挑戰,就是可能和在相同區域中運作的其他感測器相互干擾。ADI的干擾消除IP方案讓多個這類感測器在其他裝置視線無阻礙的狀況下直接運行,而且不會影響工作效能。

圖15 製造業採用深度感測的使用情境。

如何運用ToF技術進行評估、開發原型及研發設計?

ADI已開發出一款光學感測器機板(AD-96TOF1-EBZ),其能相容於Arrow 96應用處理器平台。表1所列為該款 96TOF1機板的光學規格。

圖16  ADI的96TOF光學深度感測機板。

表1 ADI的96TOF光學機板規格。

這塊機板能直接連結Arrow旗下的96Boards系列產品。96Boards系列成員包含多個硬體處理器平台,讓開發業者用戶能以合理成本採用最新Arm架構處理器。採用96Boards規格的機板適合用在快速原型開發,而包括Qualcomm Snapdragon、NXP,以及Nvidia等處理器全都在96Boards平台的支援範圍內。

ToF深度感測是一種複雜技術,必須擁有深厚的光學專業技術才能讓VGA感測器發揮最高效能。光學校正、高速脈衝時序模式、溫度漂移,以及補償等因素都會影響到深度的準確度。有可能要歷經冗長的設計週期才能達到想要的效能。ADI雖然已經支援許多精簡晶片數量的設計來因應客戶拓展商機的需求,但許多客戶仍舊在尋求更容易、更快速、更有效率的商品化途徑。

許多客戶感興趣的標的是簡單的展示模組,讓他們能先評測技術的效能,滿意之後再展開實際專案。ADI和許多領域的硬體夥伴合作,聯手提供不同層級的硬體方案。其中一家硬體夥伴廠商(Pico)推出的DCAM710展示模組,能透過USB介面將深度影像直接串流傳輸到PC。

圖17 DCAM710 VGA 深度感測與RGB三原色攝影機。

Pico SDK軟體平台除了支援Windows與Linux作業系統,還支援許多軟體功能。運用點雲掃瞄法,在物體週圍空間產生整片的資料點,這種方法經常用來產生3D模型,我們也可透過SDK輕易產生這種模型。

圖18 深度感測技術測繪出的點雲。

由於這個展示平台能透過USB介面將原始資料傳送到電腦,因此很容易開發簡單的軟體程式演算法,協助客戶迅速編寫程式。

圖19 VGA深度感測元件透過USB介面將資料串流傳送到PC。

ADI 提供以Python語言撰寫的簡單範例程式協助客戶進行評測。以下範例展示的截圖,是一段以Python語言撰寫的即時處理程式碼,其用來偵測與分類人員,之後再套用深度量測程序來判斷人員處在感測器的相對位置。現有的其他演算法包括邊緣偵測、物體追蹤及3D消防安全幕。

圖20 人員分類與距離偵測。

如何運用ToF技術開發實際產品?

ADI的96TOF參考設計方案相當實用,以協助客戶開發晶片數量精簡的設計,而DCAM710展示平台也提供低成本的技術評測途徑,在許多情況中,客戶可能需要不同或更加客製化的解決方案以展開生產。舉例來說,在AGV系統中,通常不會透過GigE或乙太網路從邊緣節點輸出資料,這種強固方法適合傳送高速原始深度資料,從邊緣節點傳送到感測器模組及中央樞紐CPU/GPU控制器。

在其他應用中,客戶可能希望建置某些邊緣節點處理機制,以及僅把元資料傳回到控制器。在這類情況中,小尺寸深度節點模組結合內建式邊緣節點處理器,支援包括Arm與FPGA等元件,會是更具吸引力的方案。ADI已經發展出第三方廠商產業體系,這些業者的產品將能滿足所有客戶的各種需求。

這些第三方廠商提供各式各樣的功能,從完整攝影機產品,一直到沒有外殼且能輕易裝入較大系統的小型光學模組。若有需要,還可選用ADI的夥伴廠商網路提供的客製化硬體、光學元件及應用處理器。此外,ADI本身,以及硬體夥伴廠商還與外部軟體夥伴合作,聯手將深度處理演算法方面的專才發揮至軟體層面。

圖21 工業自動導引車採用深度感測技術(導向/碰撞規避)。

總結

高解析深度成像技術的優點,包括能在許多嶄新,以及即將浮現的應用領域中解決各種困難且複雜的任務,而這樣的狀況,也促使客戶必須加快採用的腳步。當前最迅速、風險最小、成本最低的產品上市途徑就是透過平價、小尺寸、高精準度,以及能整合到更大系統的模組。ADI的96TOF參考設計平台提供完整的嵌入式評估平台,讓客戶能立即評估技術,以及著手開發程式碼。

本文同步刊登於EDN Taiwan 2020年4月號雜誌

發表評論