消費者和企業都希望以更少的價格獲得更多,而且他們永遠都會是這樣的;這也正推動著市場成長,並為技術創新者創造無限的機會。在系統領域,多多少少總是意味著一件事——更高層次的整合。將更多功能整合到單一晶片中,可以降低成本、使解決方案在價格敏感的市場上更具有競爭力,同時還能降低功耗、延長電池壽命、減少行動或遠端應用的維護或充電困擾。

我們已經習慣了在許多邊緣裝置中,使用人工智慧(AI)為基礎的電腦視覺(CV)。我們可以看到多個先進駕駛輔助系統(ADAS)應用,針對自動駕駛和半自動駕駛車輛提供避免碰撞(前進和後退駕駛)、車道偏離偵測以及更多功能。 無人機不再依賴我們導航、偵測和避開障礙物。擴增實境(AR)和虛擬實境(VR)裝置需要智慧化視覺和智慧來感知我們的位置和姿勢,以確保低延遲的高品質體驗(亦即最低限度的動暈感)。用於運動/動作相機的車身監視器正趨向使用AI擷取有趣的序列,以降低存儲需求。設施安全應用同樣只需擷取重要的序列(例如景框中的人影移動),以減少儲存要求,更進一步消除持續人工監控的需要。

為什麼我們要將影像處理添加到這些功能中?從任何需要的廣角視圖情況開始,甚至可能是360度全景圖。我們已經熟悉了在最近的車輛中,可在前/後視圖螢幕上選擇稍顯怪異的俯視圖選項。這是怎麼做到的?透過將兩個或更多個相機影像拼接在一起,然後進行校正,以產生某種程度不失真的影像。在處理過程中有明顯差異的品質層次,其中一些影像明顯不如其他影像有說服力。另一更重要的應用是,使用後視監視器以偵測倒車時的障礙物且自動觸發剎車。

影像處理的重要性在此更加明顯。原始設備製造商(因價格昂貴)並不想使用多個後照鏡攝影機,而改用帶有廣角鏡頭的單一攝影機。你可能以前見過這些魚眼攝影機影像——有趣但高度失真。加以校正(即時自我調整去扭曲),不僅為了美觀,在透過神經網路處理影像以進行物體偵測之前也很重要。此一觀點同樣適用於各種安全應用,如果你可以使用一個搭配校正的單一魚眼攝影機而非多組攝影機,可以降低整體設備成本。

影像穩定是另一個重要的應用,特別是針對喜愛運動的消費者。如果你在滑雪道快速滑行或在多岩石的山坡騎自行車,你絕不會希望頭戴式攝影機記錄每一次的顛簸和彈跳,而是希望所有生澀的動作都顯得順暢。影像處理也有助於在照明不足的條件下增強對比度,而且在自動對焦應用中也很有幫助。雖然這些功能需要不同類型的處理元件,但可將它們整合在一個高效的嵌入式處理器中,可以在核心中進一步最佳化性能和功耗,更重要的是,可以降低許多價格敏感的應用成本。

CEVA, edge AI, ski

(來源:CEVA)

這聽起來頗有道理,但這種緊密整合的解決方案在下一款產品版本中會不會過時?或在下一次產品更新中變得更糟?這難道不存在任何風險嗎?畢竟,神經網路演算法的演進非常快速。你如何證明將來不受這些變化的影響?首先,您肯定需要繪圖編譯器的支援,它能够從業界標準的學習平台映射,並經由選擇每層固定點寬度最佳化到您的目標網路。其次,您需要能夠根據需要重新設計該神經網路架構,並模擬您的更新以符合功率和性能,重新執行編譯器,將經過訓練後的網路重新映射到更新後的目標。

另一個理想狀況是針對影像處理保留大量冗餘,以便你可以利用最新的發展。透過專為成像和電腦視覺打造的邊緣AI處理器架構,例如CEVA NeuPro-S解決方案可望實現這一目標。