高效訊號處理實現高品質AR/VR應用
作者 : Yair Siegel/CEVA細分市場總監
2016年7月發佈的Pokémon Go僅僅過去了一年，那是AR技術演進的關鍵時刻。雖然在此之前另一款應用Blippar則將AR的概念導入了大眾市場，不過，Pokémon Go生動的示範科技是如何重塑一個經典的遊戲，讓它再次一夜成名。
2016年7月發佈的Pokémon Go僅僅過去了一年，那是擴增實境(AR)技術演進的關鍵時刻。雖然在此之前另一款應用Blippar則將AR的概念導入了大眾市場，不過，Pokémon Go生動的示範科技是如何重塑一個經典的遊戲，讓它再次一夜成名。
AR技術吸引用戶的是可以結合虛擬世界的事件和探索戶外真實環境，人們發現他們無需被文字的海洋與真實隔離，現在可以重新將生活和科技聯繫在一起。從此，很多科技公司致力於使AR技術無處不在，並和虛擬實境(VR)技術結合，開發AR技術更為廣闊的應用天地。
娛樂和遊戲
應用到手機上
今年夏天Google推出了ARCore框架。其目的是將AR和VR技術導入更為普及的Android設備，而不僅僅是之前的Project Tango專案。蘋果(Apple)也在今年5月推出了ARKit，隨後在新一代的蘋果手機上支援基本的AR功能：從基於安全應用的人臉辨識到智慧運動程式(它可以將相關統計數據投射到軟體檢測出的附近用戶的螢幕上)。
應用程式要將虛擬行動變成現實，所需要的能力不僅僅是高性能的影像操作。它還需要運作配套軟體來解釋探測到的運動，和從不同感測器陣列裡獲取的其他環境訊號，機器學習技術則將作為把這兩部分連接到AR基礎設施中的辨識演算法。
由內而外的追蹤
在某些應用環境中，AR應用會得到來自外部資源的幫助。比如在零售賣場，指向標提供位置數據給AR增強的室內導航應用。然而對於AR和VR技術無處不在的行動裝置而言，這種由內而外的追蹤將至關重要。
由內而外的追蹤可以控制行動裝置。與依賴於感測器訊號輸入的手機相比，由內而外的追蹤更加複雜和具有挑戰性，但在大多數情況實現了的巨大優勢。耦合合適的感測器和適當有效的線上處理意味著在大多數情況下，物體可以被檢測並且辨識，而且所有辨識在邊緣設備上處理完成。
第一批針對AR的設備依賴於專用感測器，如基於飛行時間(time-of-flight)原理的3D攝影鏡頭，針對距離檢測進行了最佳化。而最新的發展趨勢則是更重視應用現有的感測器。
感測器提供的數據經過更先進的訊號和視覺處理演算法處理，可以基於用戶的環境獲取更為廣泛的資訊。目前看來有兩種平行發展的趨勢：
1.透過簡單的感測器在現有設備上部署AR；
2.融合更為強大的硬體和專屬感測器的新設備將會帶來高品質的AR用戶體驗，新興產品的價格也會隨著產量的增加而下降。
AR與VR技術的結合將開拓更多應用。
這些趨勢的結果是改變原來手機處理的性質。僅僅依靠多核通用處理器和繪圖處理器(GPU)的MIPS值和MFLOPS能力是不夠的，且電池不能長期維持滿足這些高能耗子系統的水準。我們需要的是一個專注於高效訊號處理的架構，並且針對機器學習和環境感知演算法進行最佳化的調整。
CEVA是一家致力於把深度學習和類似演算法導入行動領域的公司。高度平行的架構可以精細化使用記憶體，這是傳統CPU和GPU不容易實現的。神經網路對於記憶體的訪問效率和處理器的數據吞吐對於整體性能同樣重要。
3D渲染是關鍵
支持高效AR和VR應用的另一方面取決於3D場景的渲染。人工部分的場景需要盡可能逼真，並且能夠應對轉動和傾斜手機造成突然的運動變化，這需要軟體將這些變化傳達給3D渲染引擎的時候具有非常低的延遲。
一旦延遲太高了，虛擬動作就很難耦合真實場景。如果用戶是戴著耳機注視著一個幾乎完全虛擬的場景，移動影像的延遲如同用戶自己在轉圈，最終會導致暈眩。
快速感測器追蹤也可以幫助提高渲染引擎的吞吐量。攝影鏡頭可以追蹤用戶的眼球運動，告訴渲染引擎用戶大部分的注意力集中在什麼地方。錐形渲染技術(foveated rendering)就是利用大腦最敏感的影像部分正好是目光直接注視的區域這一原理。周圍的元素可以使用較少的細節進行渲染。
高速訊號和視覺處理器可以處理來自多種類型感測器的數據是解決問題的關鍵。使用這些引擎比3D渲染管線本身更節約功耗，CEVA等公司正在將高品質的AR和VR技術變為可能，並且不會在短短幾個小時內耗盡電池電力。
從無線連接、更快的處理和運算、網路安全機制、更複雜的虛擬實境(VR)到人工智慧(AI)等技術，都將在未來的每一個嵌入式系統中發揮更關鍵功能。「嵌入式系統設計研討會」將全面涵蓋在電子產業最受熱議的「智慧」、「互連」、「安全」與「運算」等系統之相關硬體和軟體設計。
會中將邀請來自嵌入式設計相關領域的研究人員、代表廠商以及專家，透過專題演講、產品展示與互動交流，從元件、模組到系統，從概念設計到開發工具，深入介紹嵌入式系統設計領域的最新趨勢、創新和關注重點，並深入分享關於嵌入式系統設計的經驗、成果以及遇到的實際挑戰及其解決方案。
加入LINE@，最新消息一手掌握！
