DMS如何利用模擬最佳化？

作者 : Tomas Geurts，OmniVision CTO辦公室資深總監

隨著駕駛人越來越容易分心、困倦以及機能障礙，駕駛人監控系統(DMS)被認為是預防事故的關鍵。但是我們是否過度設計了這些系統核心的感測器？

隨著駕駛人越來越容易分心、困倦以及機能障礙，駕駛人監控系統(DMS)被認為是預防事故的關鍵。但是我們是否過度設計了這些系統核心的感測器？使用新的感測器建模工具和深度神經網路(DNN)進行的模擬顯示，的確有可能是這樣的——而且還很常見。這意味著汽車感測器產業有機會在不犧牲關鍵性能的情況下大幅降低DMS功率和成本。

時間就是生命。自2024年起，在歐盟(EU)境內銷售的所有新車都必須配備DMS。同時，其他功能，如車內乘客監控和視訊會議，必須整合在同一個攝影機系統中。

DMS設計從感測器層級開始。當前設計的感測器產品具有完整的功能，因此可以在各種工作和照明條件下拍攝非常「漂亮的照片」。但是我們需要漂亮的照片嗎？或者這就像是在做用消防水帶撲滅火柴的工程？

加速HPC未來: 224G以太網IP推動力⏩參會有禮贏無線耳機！

DMS必須檢測臉部特徵，例如嘴巴、鼻子和眼睛，以確定駕駛人的警覺性(圖1)。我們能否簡化感測器的設計，使其即使在惡劣的環境條件下也能清晰地擷取相關資訊，並最佳化這些PPA (功耗、性能、面積)預算，同時降低成本？

在目前還沒出現L4級以上自動駕駛的情況下，DMS是保障駕駛安全的關鍵所在，包括BMW、凱迪拉克、特斯拉(Tesla)、長城、長安、蔚來等眾多廠商均已配備DMS產品。而隨著相關政策法規的逐步實行，DMS勢必將成為新發佈車型的標配產品，這一進程也需要整個汽車產業鏈的通力合作。

圖1：DMS必須檢測臉部特徵，例如嘴巴、鼻子和眼睛，以確定駕駛人的警覺性。（圖片來源：OmniVision）

OmniVision開發了一種供內部使用的模擬工具，並研究是否可以為其他應用最佳化感測器PPA的方法。此外，在與一些客戶分享的過程中，看看它是否也可以用於DMS感測器。初步測試顯示在此存在著巨大的最佳化潛力。

適度的參數

該公司希望使用此工具來協助確定最適用的DMS參數，並提出可製造的可用之最簡化影像感測器。最簡化的影像感測器？是的，沒錯。OmniVision並不想過度設計，這會增加成本和能耗。為了製作合適的DMS產品：首先要知道什麼是「剛剛好」，然後從那裡開始加以磨練。

DMS系統使用940nm紅外線(IR)光源，以短時、高功率脈衝巧妙地照亮駕駛人的臉部。這需要全域快門(GS)影像感測器，而不是您在手機中能找到的捲簾快門。然而，DMS GS參數的標準仍然主要針對拍攝「漂亮照片」的目標。

雖然DMS系統使用過度設計的感測器也沒問題，但隨著畫素縮小以及成本和性能要求的演變，或者需要添加新功能，它們需要更多客製的、應用特定的解決方案。

關鍵參數怎麼選？

在用於DMS的感測器中，關鍵的GS參數有雜訊性能、快門效率、類比/數位轉換(ADC)、高動態範圍和暗電流。根據經驗和用戶反饋表明，雖然這些參數很重要，但它們對於DMS與其起源的工業視覺應用不同。

例如，低光照不是DMS的主要問題。更重要的是對陽光的抗擾性設計，因為它可以遮擋940nm IR脈衝。此外，ADC解析度對DMS的重要性不如對工業視覺應用的重要性。瞭解不同的DMS要求為我們提供了最佳化的機會。

探究過度設計

如今，獲取感測器最佳化參數的流程是拍照和最佳化演算法，如圖2的第一行所示。相機抓取場景的影像並處理場景。接下來，針對視線方向的自動調整光學(AO)精度計算關鍵績效指標(KPI)，並將資訊反饋給演算法開發。

圖2 ：透過閉路模擬導出感測器參數的流程圖。（圖片來源：OmniVision）

探究過度設計的一種方法是建構一個性能較低的感測器，看看它是否足夠。但這顯然不是小事。相反地，我們希望發展的情況是可以在不需要矽感測器的情況下導入新的感測器特性。

因此，建議在閉路中添加模擬。同樣地，使用相機拍攝相同的影像，但現在透過模擬進行，讓這些影像變得較差些以測試感測器。

OmniVision的感測器模擬工具雖然是為更廣泛的用途而開發的，但也可以用於此目的。該工具涵蓋了從基本場景產生到影像處理的各方面。場景產生後，在感測器表面創建光學影像，對光電性能進行建模，並對輸出的影像進行影像處理。

電光模型還可用於攔截和後處理擷取的影像。這讓我們可以透過模擬降低影像品質。透過模擬色彩濾波陣列(CFA)和量子效率(QE)的性能，無論導入任何畫素結構和特性，都可以將光訊號轉換為電訊號，然後還能在任何適當的增益下處理電訊號，同時導入回應和暗電平非均勻性。這時，我們還可以導入暫態雜訊、暗電流、閃燥雜訊以及畫素串擾。

廣義而言，我們可以在新畫素發明的開發過程中使用模擬工具，因而可以對任何一種畫素結構或性能特徵進行「假設」分析，並評估其對系統性能的影響。

視線檢測用例

使用受人眼模型啟發的眼動追蹤神經網路，在實驗中對感測器模擬工具進行測試。目標是確定視線方向檢測的準確性。雖然與實際DMS用例相比條件得到了簡化，但高層次的結論仍然適用。所提出的模型是從眼睛影像中提取瞳孔等典型特徵來創建分割圖，因此每個卷積層的輸入僅依賴於前一層的輸出，並刪除了連接步驟以減少記憶體需求。這些簡化使網路能成功的以低成本執行。

本文利用此方法訓練了一個神經網路。使用人眼的常用影像(如圖3左)，本文使用這個訓練好的神經網路來獲得「參考標準」，以便在進一步分析中使用。

圖3 ：在8位元規格上執行7和10 DN的兩個案例，這遠遠超出了任何感測器真的需要做的事情，同時導入了RN、Hnoise和VFPN的所有組合。（圖片來源：OmniVision）

接下來，使用工具將不同雜訊級的隨機感測器雜訊添加到資料集(如圖3右)。這些退化的影像再次透過訓練的網路執行，將這些影像與參考標準進行比較，可以得出由於導入雜訊而產生的錯誤。不足為奇，性能並不好(如圖4)。視線檢測的準確度低於5%，並且分割經常完全失敗。畸形的眼睛分割會產生錯誤，如果分割中根本沒有瞳孔，則計算失敗；這些案例中的錯誤被削減到20%。

圖4： 視線方向的錯誤比例超過5%，許多情況下在分割過程中瞳孔檢測失敗(20%錯誤)。（圖片來源：OmniVision）

由於添加雜訊會使網路失效，因此決定重新訓練網路。再次向影像添加雜訊，但隨後在使用感測器模擬工具創建的雜訊影像上重新訓練神經網路，本質上就是在教會網路如何處理雜訊影像。

下一步，再次為影像添加雜訊並在重新訓練過的網路中運行。這次錯誤通常只有小於2%的失敗，並且分割失敗非常罕見(如圖5)。雜訊再訓練確保了分割的強韌性，表示取得了準確的瞳孔位置。這樣就可以針對各種類型雜訊的性能進行分類。

圖5 ：當對雜訊進行訓練時，視線檢測的錯誤大大改善(<2%)並且幾乎沒有任何分割失敗。（圖片來源：OmniVision）

這裡展示的系統絕不是專業的DMS。所使用的影像並不能代表DMS用例中的挑戰。然而，這個使用非常基本的神經網路進行的實驗表明，眼睛視線檢測從根本上對雜訊的敏感性很低。雖然DNN很可能無法處理充滿雜訊的影像，但針對雜訊訓練網路可以非常有效地處理雜訊。

發展需要生態

根據本文的簡單示例表明，今天的DMS感測器的過度設計貌似是合理的。然而，目前需要整個汽車產業的合作，進而使用更先進和專業的眼動追蹤演算法來建構可靠的系統模型，並考慮通常會降低準確性的各種環境情況。所使用的感測器模擬工具既可以整合到神經網路訓練，也可以整合於業界合作夥伴的人工演算法開發流程中，從迠些成果中也可以確定「剛剛好」。這是使系統運行絕對需要的最佳化性能，不多也不少。

OmniVision開發的這項工具支援神經網路或常規演算法開發的閉路需求分析，並提供了一個架構來導入與實體上一致的雜訊和其他非理想情況來模擬現實生活或合成影像。可以在系統模型中導入這些影像，來評估感測器雜訊、QE和調變傳遞函數的影響。

有了這類資料，感測器產業可以在更高效的新設計中考慮「假設」場景。這為改進和最佳化系統性能以及建構更強大的解決方案提供了機會。如果針對比現場遇到情況更糟糕的條件訓練網路或開發演算法，那麼它們在處理更好的條件時也會更加穩健，並且還將降低功耗與成本。

然而，由於這個問題的複雜性，需要整個設計供應鏈的參與者參與：從汽車製造商和一線供應商到演算法供應商和感測器公司。透過共用成果和向供應鏈開放此感測器模擬工具的部份內容，期望激發該開發鏈中不同參與者之間更廣泛的合作。

編譯：Ricardo Xie

(參考原文：There’s more to driver monitoring system than pretty pictures，by Tomas Geurts)