Oculus Quest:持續創新以開拓更廣闊的VR世界

作者 : Gina Roos,Electronic Products

從選擇適合的運算力、冷卻系統,到將所有元件裝進一個很小的外殼中,同時還要降低成本,虛擬實境(VR)系統的設計人員面臨許多挑戰。但最主要的挑戰也許是人機工程學,即確保用戶頭戴設備的舒適性。許多VR在設計中都考慮了外形尺寸,因為如果VR設備太重或使用中過熱,消費者根本就不會使用它…

從選擇適合的運算力、冷卻系統,到將所有元件裝進一個很小的外殼中,同時還要降低成本,虛擬實境(VR)系統的設計人員面臨許多挑戰。但最主要的挑戰也許是人機工程學,即確保用戶頭戴設備的舒適性。許多VR在設計中都考慮了外形尺寸,因為如果VR設備太重或使用中過熱,消費者根本就不會使用它。

在Facebook從事Oculus VR產品開發的VR硬體產品經理Prabhu Parthasarathy認為,人機工程學在VR設計中「至關重要」,它需要硬體、軟體和技術的獨特結合。

Parthasarathy說:「在設計任何產品時,我們都不會單獨地來看某個元件,而是從整體上考慮我們想要獲得的產品體驗,包括其獨特的用戶和應用範例。」

但Parthasarathy同時承認,只有當軟體和硬體結合時才會產生「魔力」。「魔力展現在兩個方面,一是編寫軟體,以及使它像施了魔法般的體驗,這是非常困難的部分;而另一部分則是要符合人體工程學,將一切都完美契合在設備中,讓使用者忘記硬體,感受虛擬世界。」

從頭說起

VR系統有幾種類型,從PC專用VR系統到VR一體機。PC專用VR系統中的頭戴設備是連接到PC,所有遊戲和影像處理的繁重工作都由PC完成;而VR一體機則在頭戴設備中執行所有軟體。

Oculus VR就是一個VR一體機的典範。Oculus曾在2012年提出,要讓所有人都買得起VR。兩年後,Facebook以20億美元的價格收購了Oculus,儘管那時它只有一個頭戴設備原型。

Parthasarathy解釋,Facebook看到了機會,他們認為,人們最終將只在虛擬的世界和社區中交流,人與人之間的聯繫會自然發展到這種情形。

Oculus的第一款產品是一種PC VR系統——Oculus Rift,它讓用戶可以在PC上運作為VR體驗而開發的遊戲。使用這種系統,遊戲開發人員就不會因為遊戲大小或圖形種類而受到限制;借助外部感測器,系統可以確定玩家在現實世界中的位置,並將其轉換至虛擬世界。

Oculus隨後推出了Oculus Go,這是該公司第一款不受限制的VR一體機。其軟體完全在頭戴設備中運作,但它受限於3自由度(DoF)方向追蹤。3DoF系統可以追蹤三個軸,在VR頭戴設備中,它可以檢測玩家向左/向右移動、或上下左右旋轉頭部的動作。

但是,它不能追蹤前進和後退,或者蹲下與站立。只有6DoF才能實現這些動作的追蹤,而這對系統軟硬體和成本都有很大影響。6DoF檢測六個軸上的位置:向前/向後、向左/向右和向上/向下。這樣的追蹤系統可能很複雜,需要額外的硬體和軟體,從而增加了成本。

Oculus Quest是該公司最近的創新產品,是其首款採用觸控控制器的6DoF VR一體機。它將之前的兩種系統很好地結合,需要硬體和軟體團隊之間的緊密合作。

圖1 Oculus Quest是採用觸控控制器的6DoF VR一體機。

VR功能模組

Parthasarathy以Oculus Quest VR系統為例,綜合介紹了VR系統設計中的關鍵元件。

像許多產品一樣,運算系統的核心是處理器,Oculus的工程團隊選擇了高通行動晶片組驍龍(Snapdragon)835作為其運算系統的核心。Snapdragon 835載有8個核心,時脈頻率高達2.45GHz,並配有Adreno 540 GPU。Oculus在設計該系統時使用了一個新型冷卻系統,CPU可以在更高的時脈頻率下運作,從而最佳化晶片性能,稍後再詳細介紹這個冷卻系統。

如果說處理器是系統的核心,那Oculus最大的亮點就是其追蹤系統。

為使追蹤工作正常進行,Quest設計師開發了Oculus Insight內向外追蹤系統,這是該公司最具競爭力也最具創新的部分。由於頭戴設備中的感測器(攝影機)能夠檢測到控制器的移動,用戶在現實世界中的動作才得以即刻反映在虛擬世界中。

Oculus Insight追蹤系統使用了大量來自慣性測量單元(IMU)、超廣角攝影機和紅外線LED的資料,以追蹤VR頭戴設備和控制器的6DoF位置。

Parthasarathy說,它是一個複雜的系統,由感測器、IMU等硬體,以及感測器融合、電腦視覺演算法等軟體組成。

Oculus Insight內向外追蹤系統的核心是同步定位與地圖建構(SLAM),它利用電腦視覺演算法「融合」由多個感測器輸入的資料,以確定目標在不斷更新的數位地圖中的位置。它還使用其他感測器資料,例如來自頭戴設備和控制器中IMU的加速度和速度資料,這些資料在行動晶片組上被即時處理。

Oculus Insight包含四個超廣角感測器,用於分析頭戴設備的外部環境;還採用電腦視覺演算法來即時追蹤精確定位。該系統全方位追蹤玩家的移動,並精確定位兩個手持控制器和頭戴設備的位置。

Parthasarathy說:「Insight利用感測器輸入的資訊創建玩家環境的3D地圖,將玩家的位置移動精確地轉換至VR,同時確保玩家安全地置身遊戲限定的空間邊界以內,從而獲得奇妙的沉浸式體驗。」

數位訊號處理的最佳化包括地圖的非同步更新,它根據使用者環境中背景的變化來更新地圖。IMU獨立運作,其輸出資料儲存在記憶體緩衝區中,以最大限度減少系統延遲。

圖2 Oculus Insight可即時同步處理多個資料執行緒。

接下來談談視覺系統,也就是顯示器和光學元件。Oculus在一些產品中採用了LCD技術,Quest則使用了OLED技術。OLED顯示器可以提供72Hz的更新頻率,和1,600×1,440的每眼解析度。Quest還提供鏡頭間距調節功能,以增加視覺舒適度。

Parthasarathy提到:「要得到身臨其境的VR體驗,其關鍵因素之一就是鏡頭。Oculus Insight採用的菲涅爾透鏡(Fresnel lens)非常特別,它可以根據頭戴設備的尺寸和形狀,以及想要的各種體驗進行定制。」

「在為Quest這樣一個無線頭戴設備選擇合適的顯示器時,我們考慮的是,功率要比較低,視覺效果還要出色,OLED顯示器與我們的一流鏡頭結合便可完美滿足這些要求。在Oculus Go中,我們也使用了相同的顯示器。」 Parthasarathy補充。

再來看看無線設備。由於Oculus Quest是獨立系統,因此它使用了Wi-Fi。除此之外,它還需要其他通訊元件,特別是對於兩個掌上型控制器,需要近乎即時地與頭戴設備進行通訊。

即時功能是一個巨大的挑戰,它減少了將玩家在現實世界中的動作轉換至虛擬世界的延遲。

Parthasarathy說:「VR的魔力在於,玩家在現實世界中的身體移動,幾乎可以即時呈現在虛擬世界中。如果現實世界中的動作與虛擬世界中所看到的動作之間存在時間差,當體驗太糟時玩家便會棄之不用。」

為了減少延遲,Quest設計人員開發了他們自己的協議,以實現控制器和頭戴設備之間的通訊。藍牙低功耗(BLE)是延遲最小的協議之一,其延遲時間約為7.5毫秒,「與之相比,Quest頭戴設備與控制器之間的通訊延遲時間約為2.5毫秒,這非常棒,」Parthasarathy表示。

圖3 Oculus Quest內部結構。

再來聊聊功率。Parthasarathy介紹,VR的一個關鍵是要帶給人們無阻礙的體驗,這意味著電池續航時間要夠長,讓他們完成想做的事情。

這並不是說在設備中放一塊大電池就可以了。Parthasarathy補充,「我們必須使用容量夠大的電池來提供這些體驗,但它又不能太重,以免降低設備的舒適性。」

Parthasarathy指出,Quest採用了定制電池組,但並未透露細節。可充電電池技術並不是什麼獨特的技術,不過電池的大小必須符合頭戴設備的要求。

產品說明顯示,Quest採用3,648毫安培可充電鋰離子電池組,額定功率為14瓦。雙電芯電池的標稱電壓為3.6V,重約70克。

Parthasarathy表示,Oculus主要使用現成技術,這通常需要設計人員與元件供應商緊密合作。無論是電池、顯示器還是其他元件,為了滿足需求,通常還需要進一步定制。

例如,用於追蹤系統的許多元件都是現成的元件,如紅外線LED。但在其他情況下,還需要對元件(如IMU)進行一些調整。

Parthasarathy提到:「我們採用的IMU通常也是現成的,但由於對追蹤的要求非常嚴格,所以有時候我們會去找供應商,在他們的產品規格90%都符合我們需求的情況下,請他們讓剩下的10%更加符合我們獨特的系統要求。我們並不想為每一個功能定制硬體,所以會儘量嘗試利用現成的元件。」

他說:「Oculus Quest中沒有多少元件可以拿來就用,找到供應商只說一句給我們一些零件,然後將它們整合到系統中,這樣是行不通的。通常,我們需要針對這些元件,例如光學元件和顯示器,與供應商進行非常密切的合作。」

另一個例子是系統冷卻,這是VR系統的一大設計挑戰。Oculus Quest結合了風扇、散熱器和非常「新穎的架構」,實現了良好的散熱,從而避免設備發燙。

它採用主動式風扇冷卻系統來調節溫度,使Quest可以在高得多的時脈頻率下持續工作,從而更有效地利用高通Snapdragon 835 SoC。除主動式混合風扇技術外,該系統還包括一個熱管,以及定制散熱通道。

一旦滿足了硬體要求,接下來的重要任務便是推動Oculus產品的軟體創新。Parthasarathy提到,要創造更誘人的新體驗,首先要令硬體全面滿足性能指標,然後再利用軟體來進行突破。

「軟體創新可以說明我們將硬體潛力發揮到極致,同時為玩家提供越來越好的體驗。」他說,「這是我們關注的重點。」

Parthasarathy舉例,最初在Rift S上提供的Passthrough+功能,就可以讓玩家在VR裡看到周圍環境的即時立體校正視圖。例如,玩家在戴著頭戴設備的情況下,能夠「透過」感測器看清周圍的環境。

「在Quest上實現這一功能,得益於先進的高性能影像處理和3D運算技術的支援。一旦超出遊戲空間的邊界,Passthrough+即會開啟,確保玩家能夠輕鬆返回。」

整體的權衡

人體工程學是一個重要的設計概念,在很多情況下,它與VR系統元件的選擇密切相關。為了獲得最佳設計,要綜合考慮所有因素,VR系統的所有關鍵元件都是設計的權衡與折衷。

Parthasarathy說,Oculus Quest設計實際上是要找到一種恰當的平衡,一方面要獲得完全沉浸式的體驗和舒適感,另一方面還要採用合適的硬體,使追蹤功能完善、電池壽命夠長、顯示效果夠好。

他說,試想一下,「你是想要一個戴在頭上的設備,還是想要一個具有同樣沉浸體驗的太陽眼鏡呢?恐怕每個人都想要太陽眼鏡這樣的設備。可惜的是,太陽眼鏡一般的設備大小,不太可能滿足所需的處理、電池、豐富的光學和顯示技術,同時還夠舒適。」

Parthasarathy指出:「最大的挑戰並不是人體工程學本身,而在於要提供吸引人的體驗就必須考慮系統的各方面。」

「如果只是想改善人體工程學很容易,就好像壓下一個單側槓桿。但這樣做會影響設備的其他方面,因此,一切都要取得折衷。」

最初的VR是將所有東西都放在PC上,現在設計人員正嘗試不依賴PC的大功率、顯示卡或大型冷卻系統,而獲得類似的體驗。

「為了在獨立式VR頭戴一體機中獲得類似的體驗,需要進行大量的工作,以及非常獨特的技術,例如採用固定注視點渲染技術,我們可以巧妙地減少工作量,而開發人員能夠充分利用GPU製作出色的遊戲。」Parthasarathy說。

「如果你問一問系統工程師就會知道,他們在冷卻、運算、影格率,以及運作頻率之間進行了大量的折衷。」他說,「這種折衷太多了,我們會一點一點地減少。」

目前Oculus在努力改善影像和遊戲體驗,讓玩家享受與PC媲美的體驗。其最近的一項創新是系統中不再使用控制器。去年底,Oculus開發了一個SDK,玩家無需控制器或其他週邊設備,而是使用自己的雙手來控制,這是前所未有的遊戲體驗。

Quest的電腦視覺團隊僅僅在Quest上使用單色攝影鏡頭,再利用深度學習就能瞭解玩家手指的位置。Oculus解釋說,這項技術創建了一組3D點,可以準確呈現玩家在VR中的手和手指的移動。

在實現手勢追蹤時,軟體發揮了重要作用。Parthasarathy說:「透過軟體創新,我們可以開啟全新的輸入和互動模式,而無需任何新硬體。對行動晶片組來說,這是一個巨大的挑戰。」

「為了實現這一功能,我們的電腦視覺團隊開發了一種新方法,利用Quest中內建的單色攝影鏡頭,透過深度學習來瞭解玩家手指的位置,而不需要主動深度感測攝影鏡頭、額外的感測器或者處理器。」

他說:「利用深度學習與基於模型的追蹤,可以預測用戶手,以及手上點的位置,然後在3D模型中重建使用者手和手指的『姿勢』。這一切都在行動處理器中完成,不必耗用屬於使用者應用程式的資源。」

從長遠來看,VR設計師仍然面臨許多設計挑戰,例如設計外形更小、更舒適的頭戴設備,同時仍提供相同的VR體驗,以及更長的電池續航力。其中有些是由用戶驅動的,例如,大約400~500美元的合理價位。

Parthasarathy表示:「我們正努力尋找最有效的方法來持續改善用戶體驗,滿足使用者的需要,同時突破技術限制使之更易實現。我們可以用2,500美元或3,000美元的頭戴設備解決這些問題,但這並非我們的初衷,我們希望大多數人都能用得起VR。」

(參考原文:Oculus’s Quest: bigger VR worlds on a budget without sacrificing innovation,by Gina Roos)

本文同步刊登於EDN Taiwan 2020年5月號雜誌

掃描或點擊QR Code立即加入 “EETimes技術論壇” Line 群組 !

 EET-Line技術論壇-QR

發表評論