自動駕駛車也需要能「耳聽八方」?

作者 : Anne-Françoise Pelé,EE Times Europe主編

如果駕駛人能夠聽到遠處傳來的警鈴聲,為什麼自動駕駛車不能也這樣做呢?

在嚴重交通事故等緊急情況下,需要分秒必爭,而且充份寬敞的救援車道還可能決定生死。如果駕駛人能夠聽到遠處傳來的警鈴聲,為什麼自動駕駛車不能也這樣做呢?

總部位於埃及開羅的車用嵌入式解決方案與服務供應商Avelabs開發了一種感測器解決方案,能夠賦予車輛聽覺,以補強視覺並改善自動駕駛系統。

「當我們在評估環境時,視覺對我們來說是最重要的。」Avelabs產品管理總監Amr Abdelsabour在日前於AutoSens Brussels全球自動駕駛峰會中舉行的一場圓桌會議上說,「然而,人類駕駛不僅僅依賴視覺。當我們開車時,也依賴於聽覺。我們可以聽到很多資訊,但從後方傳來的警笛聲是看不到的。或者,當我們開車進入十字路口的盲點時,如果還有另一輛車駛來,還真的看不到它,但卻可以聽到車行的聲音。」

Avelabs在AutoSens會議上推出了AutoHears,這是一種聲學感測系統,可用以偵測、分類和定位聲音,有助於瞭解車輛的複雜環境。AutoHears包括硬體、機械外殼和執行感測功能的軟體,其目的是執行緊急車輛、模糊區域、自然災害(例如岩石滑坡)、安全事件(例如附近的碰撞、槍擊、爆炸)的偵測,以及車輛的自我診斷和語音辨識。

在接受採訪期間,Abdelsabour解釋了如何賦予車輛聽覺、軟體和硬體如何相互依賴、資料融合過程的執行所在和方法,以及我們何時能看到AutoHears上路。

Amr Abdelsabour,Avelabs產品管理總監

請描述AutoHears能夠偵測以及無法偵測到哪些聲音類型?

Amr Abdelsabour我們從行駛中的車輛聲音(如輪胎、引擎、刹車和空氣動力的聲音),以及全球不同標準的喇叭和警笛聲音開始,到目前為止,這些類別都已經過測試和展示了。目前我們正致力於添加新的分類,例如自然災害和碰撞偵測,而這些現在還處於功能開發階段。我們目前也正在建構功能開發的藍圖。

AutoHears能從各個角度偵測聲音。但是否存在物理限制?

AbdelsabourAutoHears不僅偵測來自各個角度的聲音,甚至是來自牆後方和其他障礙物的聲音。這當然有物理限制。聲音測量是一個相對的感測過程,其中的聲音是相對於其環境進行感測的。這意味著,如果環境安靜,AutoHears能夠偵測到模糊和微弱的聲音,例如自行車甚至腳步聲。但是,如果環境嘈雜,AutoHears只能偵測到最顯著的聲音。

因此,如果附近有響亮的警笛聲,我們將無法偵測到其他車輛的馬達聲,因為過於響亮的聲音會掩蓋掉安靜的聲音。儘管如此,我們正在努力尋找實際在物理限制上的客觀資料,以便為客戶提供可靠的侷限所在。

聲音如何分類?

Abdelsabour聲音的分類是一個複雜的過程,尤其是涉及非標準化的聲音。我們在談論標準化聲音時,如警笛聲,那麼分類過程就會變得簡單而直接,而且能採用基於模型的演算法來完成。然而,行駛中的車輛偵測是一種更複雜的過程,因為我們的耳朵或感測器所聽到的最終聲音是由不同物理成份組成的非標準組合聲音。

這就是各種人工智慧(AI)方法得以發揮作用之處——以所收集的資料為基礎,透過機器學習對聲音進行歸類,並根據其所學習的內容來偵測和分類聲音。我們可以很自豪地說,AutoHears結合了基於模型的演算法和機器學習來對聲音進行歸類,當然這取決於所要偵測的目標聲音。

音訊資料如何與來自嵌入汽車的攝影機或其他感測器影像資料相融合?

Abdelsabour就像人類駕駛一樣,聲音與視覺相輔相成。這就是我們對AutoHears的看法,也相應地以此進行開發。因為我們主要關注聲學感測部份,所以提供的原始聲學感測資訊能與攝影機和雷達感測器等相結合,以便對物體進行分類和定位,從而發揮每個單獨感測器的優勢並克服其弱點。

舉個例子,將雷達、攝影機和AutoHears結合起來,可以在盲點中偵測到以下車輛:雷達能偵測到障礙物並準確估計其距離(因為雷達在這方面非常可靠),攝影機可以對該物體進行分類(如果有一個攝影機用來觀察目標車輛所在的方向),AutoHears則將透過自己對該車輛的分類和定位來確認偵測,並在該車輛發出任何聲音(如按喇叭或發出警笛聲)時添加資訊。將所有感測器組合在一起就得到了感測器融合,這樣就能以最佳方式對周圍環境進行最大程度的還原。

Avelabs為什麼決定自行建造完整的系統,以及解決軟體和硬體方面的所有問題?

AbdelsabourAutoHears可說是其同類偵測系統——即聲學偵測系統中的首套感測系統。由於Avelabs是一家軟體公司,我們最初希望主要關注點僅僅是從軟體的角度開發感知功能,而非硬體部份。然而,如果沒有感測硬體,就無法實現感測功能。感測功能主要是由感測硬體所實現的,因為感測器並不像在車輛中放置麥克風來實現偵測那麼簡單,而是必須仔細設計硬體來實現對周圍環境的準確定位。

為了定位物件,定位演算法依賴於物理因素,例如聲音到達的時間差,只有當硬體按照這方面進行設計時才能偵測到。這涉及多個硬體因素,例如麥克風的數量、其間的距離以及將其裝載於車輛的位置。所有的這些硬體需求迫使我們自行設計和建構硬體,從而實現所提供的聲學感知功能。簡單來說,沒有一家公司可為車輛提供外部聲學偵測硬體,這就是我們必須自行開發的原因。

請分享一些關於聲學感測器本身的細節。演算法執行於CPU上嗎?

Abdelsabour在感測器和處理器系統方面,我們決定採用集中式架構。這一決定是為了順應目前所有汽車公司的趨勢,即依靠偵測原始資料的感測器(相機、雷達等等)。然後將原始資料發送到集中式網域控制器,並在其中進行感測器融合。

這就是為什麼我們將聲學感測器建構成原始資料感測器,然後偵測所有聲學資訊並將其發送到執行感測演算法的集中網域控制站。如您所知,我們自行設計了聲學感測器,但使用現有的汽車網域控制器,如Xilinx FPGA和TI ADAS TDA SoC作為執行演算法的CPU。但是,由於每一家客戶都使用自己的網域控制器,因此我們僅將這些處理器作為參考硬體。當然,如果有客製的需要,我們都能將其輕鬆地部署在任何類型的網域控制器上。

為什麼說AutoHears是「硬體相關」(HW-dependent)

Abdelsabour:AutoHears作為感測器和感測演算法具有通用元件及特定硬體元件,這要取決於客戶所需的功能及其所使用的處理控制器。因此,如果客戶只知道聲音事件的方向(不知道距離發出聲音的物體多遠),則只需要使用一個感測器。如果客戶還想要偵測物體的距離,就需要使用多個感測器,以三角測量的方式探測物體的距離。這就是一個依賴於硬體功能的案例。

硬體相關性的另一方面是用於處理感測功能的網域控制器。我們的產品性能取決於執行及處理這些特性的處理器。當然,在硬體的性能和處理需求之間需要某種權衡。因此,舉例來說,如果我們希望AutoHears以1°解析度進行偵測,就需要用到更多的處理資源。如果我們降低所想要的性能,那麼處理的需求也會降低。此外,每個新硬體都將附帶一些特定客製硬體以針對微控制器的抽象層,例如,安裝到客戶基本軟體環境中的AutoHears感測器之驅動程式。

AutoHears目前的開發進度如何?什麼時候能上路測試?預計何時投入生產?

AbdelsabourAutoHears目前還在產品的開發階段。我們已經從技術和金融的角度證明了這個概念,並進行了展示和測試來證實其可行性,目前正致力於「產品化」開發。這包括公共道路驗證以及獲得汽車認證,這是我們從產品開發到商業化所需的兩個步驟。這些也是在投入生產之前必須採取的步驟。

是否有早期客戶測試解決方案?

Abdelsabour雖然我們自去年9月開始在AutoSens上發佈該產品,但已經在與客戶討論測試解決方案了。雖然我們嘗試著向汽車市場推出新的產品,但我們希望從客戶和合作夥伴中瞭解更多的市場預期和需求,並將我們的感測器整合到資料採集車隊中,以便收集更多資料來進行訓練和驗證。

(參考原文:AVs Need to See and Hear What’s Coming,by Anne-Françoise Pelé)

本文同步刊登於EDN Taiwan 2022年5月號雜誌

活動簡介

人工智慧(AI)無所不在。這一波AI浪潮正重塑並徹底改變科技產業甚至整個世界的未來。如何有效利用AI協助設計與開發?如何透過AI從設計、製造到生產創造增強的體驗?如何以AI作為轉型與變革的力量?打造綠色永續未來?AI面對的風險和影響又是什麼?

AI⁺ 技術論壇聚焦人工智慧/機器學習(AI/ML)技術,涵蓋從雲端到邊緣、從硬體到軟體、從演算法到架構的AI/ML技術相關基礎設施之設計、應用與部署,協助您全面掌握AI最新技術趨勢與創新,接軌AI生態系佈局,讓機器學習更快速、更經濟、更聰明也更有效率。

贊助廠商

加入LINE@,最新消息一手掌握!

發表評論