為了實現業界技術先進大廠眼中所期望的未來「元宇宙」(metaverse)生活,如今在打造這一願景的硬體與軟體技術方面,我們還有多遠的路要走?
「元宇宙」(metaverse)一詞被廣泛討論,特別是隨著Facebook與Nvidia等公司提出他們對數位技術的未來願景。但是,究竟什麼是元宇宙,實現元宇宙在硬體方面會遇到什麼挑戰,以及哪些要素已經到位?
市場研究分析公司IDTechEx為此探討了與元宇宙有關的各種顯示器、影像感測器、光學、觸覺、擴增實境/虛擬實境(AR/VR)等硬體領域的最新發展。
元宇宙的最終目標是讓虛擬世界與現實世界能無縫地結合,兩者間的沉浸式互動改變我們對實體存在的感知。在這方面的軟體技術已經趨近成熟,但硬體方面仍有許多問題需要克服。
可用於AR裝置的各種微型顯示技術之解析度和視角。
元宇宙有望在社會交流方式上實現漸進式的改變,但如果沒有硬體技術,最終仍將是空想。我們仍然可以透過智慧型手機與筆電等裝置而與元宇宙互動,但這些終將成為過時的裝置。為了能讓自己沉浸其中,需要一個虛擬實境(VR)眼鏡;為了讓所產生出的東西能與實體真正結合,需要結合擴增實境(AR)裝置。
元宇宙需要具有AR、VR等裝置功能,同時還要能讓傳統裝置能夠在其中運行。(資料來源:IDTechEx)
AR/VR裝置領域的一塊試金石是社會接受度,而如果沒有感測、顯示與光學技術的進步,AR與VR眼鏡也無法實現這個目標。IDTechEx表示,儘管投入了數十億美元進行開發,但真正的AR眼鏡在外觀或顯示IMAX品質的影像方面仍遠遠未能達到與Ray-Bans眼鏡同等的程度。Meta公司(前身為Facebook)在更名的同時宣佈其AR眼鏡計劃,坦承其離可行性還有好幾年的時間。VR頭戴式裝置有時會被拿來與電影《機械戰警》(Robocop)作比較——只有最高階的裝置才會開始對真實與虛擬之間界限產生模糊感受。
長期來看,業界的目標在於打造能讓使用者整天輕巧舒適地戴著的裝置,能在AR與VR之間切換,同時實現與其他元宇宙用戶之間的自然互動。創造這種裝置所需的硬體技術之旅,呈現出比軟體更引人注意的發展與複雜的挑戰。
MicroLED顯示器:解決方案的一部份
把螢幕放在你的眼前,就可以發現我們在看手機或電視時未能注意到的東西。我們發現畫素之間的差距,這種現象被稱為「紗窗效應」(screen door effect),而經驗法則是每度視野需要60個畫素(ppd),VR或AR看起來較真實,這產生對解析度的巨大需求。除此之外,還需要光學裝置讓我們的視覺能正確聚焦並調整這些影像的大小。以AR的情況來看,這些光學裝置效能很低,因而產生對亮度的需求達到數百萬尼特(nit),相形之下,iPhone 13 Pro Max螢幕的最高亮度為1200尼特。
MicroLED顯示器能夠為AR與VR帶來極具前景的解決方案。MicroLED並不會像OLED顯示器那樣存在燒機(burn-in)的問題,而且具有極高亮度——上海顯耀顯示科技(Jade Bird Display)為AR應用定義了一個最大亮度為300萬尼特的顯示器。MicroLED還可以實現微小畫素間距,加州新創公司Mojo Vision生產所謂奈米LED顯示器Mojo Lens,甚至小到可以裝入隱形眼鏡中,其次畫素間距僅900奈米。
然而,目前存在一個主要問題:MicroLED微型顯示器無法產生全彩影像,藍色MicroLED的效率明顯高於其他顏色。在此,量子點(Quantum dot)色彩轉換是被看好的解決方案,能夠將藍光轉換為紅光與綠光,這些量子點可以透過噴墨列印或平版印刷來實現。此外,目前該技術仍然存在對產品壽命的考量,特別是在非常明亮的微型顯示器中,以及在許多方案中對重型金屬的依賴。IDTechE的報告中對於MicroLED在技術、商業化、機會、市場與參與業者方面及其發展時間表都有詳細介紹。
元宇宙的硬體要求。(資料來源:IDTechEx)
尤其在AR的最大戰場是組合型光學元件。這些裝置將投射的影像覆蓋在透明的鏡片上。為此,業界各家公司致力於實現最佳的色彩表現、最寬的視野(FoV)以及最大的眼動範圍(eye box),以期達到讓人信服的顯示體驗,並能適用於每個人的眼睛。
在這領域的重大新聞之一——「表面浮雕波導」(surface relief waveguide)備受該產業關注。去年5月,AR光學模組業者WaveOptics被Snap公司(另一家元宇宙社交媒體巨擘)收購;11月,三星電子(Samsung Electronics)等巨擘對台灣光學儀器公司虔茂(Digilens)投資額預估高達5億美元。二者都是無晶圓廠波導公司。Digilens開發的T-REx可變換波導技術,可以將有效的顯示解析度提高一倍,為達到60ppd的兵工廠提供一個有利武器。
各種AR/VR/MR裝置以及顯示技術的解析度和視角。(資料來源:IDTechEx)
眼球追蹤技術
如果你所打造的眼鏡,以60ppd的解析度覆蓋每個眼睛135°的視野角度,事情可能會變得難以控制。所幸只有我們的視覺中心要求高品質,而對於其外邊則沒有如此高的要求。透過追蹤我們的眼睛,解析度可以在用戶所看的中心區域最大化,同時降低其他部份的需求。
未來,這種眼球追蹤技術甚至可以用來透過雷射掃描將AR/VR影像直接投射到視網膜上,從而解決戴眼鏡的人對光學元件與矯正的要求:也就是說,如果消費者能夠接受這個想法的話。
為了更有效地追蹤眼睛,在此領域的公司正使用新興影像感測器技術。對於視覺可以幫助降低處理需求,經由記錄活動而非傳統的影像串流。使用印刷影像感測器,眼球追蹤技術可以結合到套裝軟體中。加拿大智慧材料和光子學公司Meta Materials (與Meta公司無關)已經將微型攝影機直接結合到眼鏡鏡片中,隨著技術的成熟,這種方法將被整合到AR與VR的光學元件或放大器中。
為了更有效地追蹤眼睛,業界廠商積極開發各種新興影像感測器技術。(資料來源:IDTechEx)
觸覺與感官體驗
如果你無法用與現實世界相近的方式互動,那到目前為止所討論的內容都不過就像在頭上綁著高階電視而已。AR與VR裝置不僅需要感知我們的動作,而且為了能完全沉浸,還需要觸覺(觸覺反饋)裝置。2021年11月,Meta公司的Reality Labs (RL)部門展示觸覺手套產品的原型,包括CEO祖克柏(Mark Zuckerberg)試用各種產品的示範影片。這款手套利用微流體系統向手的不同區域提供局部觸覺的反饋,像是為每個手指提供進一步的觸覺反饋。根據IDTechEx指出,儘管對這個原型與HaptX公司的產品相似存有一些爭議,但Meta公司的知識財產權(IP)立論強大,反映出專注元宇宙的公司正致力於提供超越視聽感官的體驗。
IDTechE分析師提到,最近的AR/VR眼鏡在感測方面的關鍵致勝點之一在於手部追蹤所用的飛時測距(ToF)感測相機,消除了對VR與AR裝置遊戲控制器互動的要求。蘋果(Apple)多年來持續投資VR/AR領域,2021年10月,業界人士指出LG Innotek已經開始為該公司提供ToF感測相機,以應用於其即將發表的VR頭戴式裝置。當Apple採用此項技術時,通常就是具有強力的聲明,表示它即將變得無處不在,代表著AR與VR在未來另一個爆發點。
IDTechEx最後保守地提出元宇宙時代已經來臨了。阻礙其全面實現的硬體開發巨山正在慢慢地被翻越,預計其輕巧且時尚的AR眼鏡取代如今的智慧型手機與筆電也是必然的趨勢。
(參考原文:Enabling the hardware for the metaverse,by Nitin Dahad)
從無線連接、更快的處理和運算、網路安全機制、更複雜的虛擬實境(VR)到人工智慧(AI)等技術,都將在未來的每一個嵌入式系統中發揮更關鍵功能。「嵌入式系統設計研討會」將全面涵蓋在電子產業最受熱議的「智慧」、「互連」、「安全」與「運算」等系統之相關硬體和軟體設計。
會中將邀請來自嵌入式設計相關領域的研究人員、代表廠商以及專家,透過專題演講、產品展示與互動交流,從元件、模組到系統,從概念設計到開發工具,深入介紹嵌入式系統設計領域的最新趨勢、創新和關注重點,並深入分享關於嵌入式系統設計的經驗、成果以及遇到的實際挑戰及其解決方案。
加入LINE@,最新消息一手掌握!