在我以前撰寫的有關這個主題的文章中,我們討論了不同類型現實的具體含義,可參見《全新的虛擬實境、擴增實境、混合現實、超現實和削去實境世界》(A brave new world of virtual, augmented, hybrid, hyper, and diminished realities)一文。

2016年9月21~22日,在美國明尼亞波利斯(Minneapolis)舉行的嵌入式系統會議(ESC)上,曾經幫助開發Myst和26個其他視訊遊戲的插畫家兼動畫師Chuck Carter在他的主題演講「把玩新的遊戲:虛擬實境的挑戰和機會」中討論了虛擬實境的挑戰。

正如我們在前述文章中討論的那樣,擴增實境其實只是介導實境的一個子集,因為介導實境(mediated reality,MR)還包含了削去實境或刪除實境(Deletive Reality)。在本文中,我們將把注意力轉向各種呈現技術和潛在應用。

虛擬實境和介導實境的呈現技術

這方面我關心最多的是介導(擴增和/或削去)實境能夠呈現給使用者的方式。一種方式是透過智慧型手機或平板電腦的「視窗」觀察世界。YouTube上的視訊「您的手機可以快速翻譯標誌嗎?(Can Your PhoneTranslate Signs On The Fly)?」是一個很好的例子,它展示了標誌的即時翻譯。

另外一個例子是我在iPad裡安裝的GoSkyWatch應用程式。當你拿著平板電腦朝向夜晚的天空時,你會在螢幕上看到與真實天空中相同的星星和天體,只是螢幕上的星空標示了星座的名稱和輪廓等內容(圖1)。當你叫出星球列表並點擊其一,這個應用程式會引導你前往這個星球在蒼穹中的當前位置。(其實我不是十分肯定如何分類這個應用——它不完全是擴增實境,也不是真正的虛擬實境——我很想聽聽你對這個問題的想法。)

20170105NT01P1
圖1 GoSkyWatch應用程式。



如果偶爾拿起iPad觀看像夜空這樣的東西,我覺得是沒問題的,但我可不希望整天拿著智慧手機或平板電腦並透過它的螢幕來觀察世界。

Google眼鏡(Google Glass)給人較少的突兀感,在某種程度上很有用,但最終也會走向滅絕(說到這兒,Google眼鏡似乎在緊急救護領域找到了第二生命)。實際上我自己從未嘗試過這個東西,但我認為它不會給我提供我想要的沉浸式體驗(immersive experience)。

在未來的某一天,人們的眼睛或身體的其他部位會嵌入虛擬/介導實境系統。在這之前,我能想像到的就是透過隱形眼鏡把虛擬實境和介導實境直接投影到隱形眼鏡佩戴者的視網膜上(但我不知道如何解決供電問題)。

在我有生之年,我能想像這樣的情景:人們佩戴著類似Google眼鏡的產品,該產品將文字、影像和視訊資料疊加在現實場景之上。就我所知,這個領域中的領導者是一家名為MagicLeap的公司。看看該公司官網首頁上的影片截圖(圖2),可以讓你體會一下可能的情境。

20170105NT01P2
圖2 Magic Leap官網首頁影片截圖。



但是,不遠的將來會是什麼樣的呢?我能很容易地想到這樣的世界:到處是戴著Oculus Rift類型頭盔的人們。這些頭盔透過兩個前視攝影鏡頭增強雙眼視覺,預設狀態是這兩個攝影鏡頭的影像投映到佩戴者眼前的顯示畫面上,從而提供與用戶根本沒戴頭盔完全一樣的視覺感受,額外的資訊則可以分層疊加到現場世界場景之上。

此時此刻你可能會想,「Max已經失去理智了;穿成這樣的人出現在公共場合簡直就是不可思議的事情。」關於這一點,我想用以下一些小片段來回應:

˙ 龐客搖滾(punk rock)是1970年代中期登上舞台的,我記得就在那段時間曾拜訪過倫敦的好友,在我停留在倫敦的某一天,我發現自己坐在一列地鐵列車上,對面是一位穿西裝打領帶的商人,他還帶著一個公事包和一把傘。坐在這位商人一邊的是一位全副武裝的軍人;另一邊是龐克搖滾樂人,穿著一套有趣的服裝,戴著皮帶和項鍊,理著半邊剃了光頭並紮著粉色馬希坎式髮型的頭(我本身現在很崇尚「反馬希坎式」髮型——想到這個就感覺以前的世界真有趣)。關鍵是我看過這種場景,因此再看到時不會感到太吃驚。

˙我的岳母剛好趕上了這波技術潮流。她是StarTrek類型藍牙耳機的早期接受者之一。她也習慣於把她的手機設為自動回應模式。有次她來看我,我帶她到當地的超市去選購東西。由於她頭髮很長,我不知道她佩戴著耳機。正當我們在到處瀏覽商品時,她突然開始對著看不見的人大聲講起話來,而且手舞足蹈的樣子。老實說我以為她瘋了。有兩件事閃過我的腦海:(a)我將如何帶她離開商店?(b)當我們回到家時,我的妻子(美麗的吉娜)肯定會說,「天呀,你只是和我媽出去了30分鐘,你就讓她瘋掉了!」當然,現在當你看到很多女士在超市裡猛烈地揮舞著手臂並自說自話時不會感到太驚訝。(有時我會想有多少人真的在用手機?)

˙回到很早以前,我從大學畢業的那個夏天,就在我開始第一份工作之前,我和幾位朋友去希臘的一個小島過了幾周。當時我們到一個海灘遊玩…假如說這裡不鼓勵穿衣服,你可能覺得這會讓人感覺不安,但奇怪的是,如果你眼睛所能看到的每個人都是裸體,反而是穿了衣服的那個人會更尷尬。

我囉嗦半天的要點是,如果你看到只有一個人戴著Oculus Rift式的頭盔在公共場所到處走動,你會認為「很奇怪」,或「他看上去像個傻子(但他穿的花襯衫很好看)」。另一方面,如果你周邊一半的人都戴著這樣的頭盔,那麼用不了多久你就根本注意不到他們的存在了。

虛擬實境應用

老實說,我認為任何人都不清楚虛擬實境和介導實境技術會把我們帶往哪裡,不過我有一些想法和主意想跟大家分享。

遊戲是虛擬實境的一個明顯應用。以前我從未認為自己是一個遊戲玩家,但我必須承認我很喜歡戴上我的Oculus Rift玩遊戲(參考「It's (Virtual Reality) Life Jim, But NotAs We Know It」和「Minecraft + Oculus Rift Virtual Reality = MindGoes Boom」)。不過讓我們跳出這個思維侷限吧…

另外一個明顯的應用是教育。就拿義大利羅馬的競技場(也稱為Flavian圓形競技場) 為例。當我還是小孩子的時候,為了能看上書本中的黑白照片,我們需要赤腳在雪地裡走3英哩上坡路(哦,我多麼想念英國的夏日時光呀)。在後來的幾年中,學校經常會放映8mm的教育黑膠片。隨著時間的推移,這些內容逐漸被視訊替代。直到最近,老師開始播放DVD或來自某些教育資源的線上串流視訊。在不遠的將來,我可以想像老師和學生都戴著虛擬實境頭盔,開始有指引的遊覽,所有參與者都可以看到彼此的替身。可以到處瀏覽,全神貫注於感興趣的地方,對著身邊(虛擬)的朋友細聲說話,甚至離群走散和迷路(「Max這個 年輕小夥到哪兒去了?」),都會極大地增加體驗感受。

假設我們中的某人是全球分佈著很多辦公室和資料中心的大公司IT管理人員;再假設有人開始抱怨緩慢的回應時間。我不知道今天的IT人員是如何追蹤並解決這類問題的…也許我看了太多的科幻片…但我可以想像我們的IT專家戴上她的虛擬實境頭盔,使用手勢將她自己傳送到資訊裝置上方開始虛擬的鳥瞰,從那裡她可以觀察到進出大樓的虛擬網路高速通道。也許這些高速通道的大多數是健康的綠色,其中有一條是憤怒的紅色。因此我們沿著紅色通道「飛越」各國向上到達一顆衛星,跨越大洋到另一顆衛星,向下到達地面接收機,並橫穿大陸到達另一座大樓。現在我們飛進大樓,進入伺服器房間,發現有個伺服器主機狀態不對。

隨即我們跳入這個伺服器主機,發現有塊硬碟發生故障,因此拿一塊好的硬碟換上去,所有這一切都靜靜地發生在我們的虛擬世界中。同樣,我知道這聽起來像是未來電影的劇本,但我真的能夠感覺到類似場景迎面而來。

與上述場景一樣,假設你坐在一座像煉油廠這樣的大工廠的控制室內,這個大工廠佔地好幾平方英哩,有數百英哩的走線和管道,成千上萬的開關、閥門、感測器(Sensor)和執行器。現在假設聽到一種告警聲,指示某個東西出了故障。同樣,我能想像穿戴了虛擬實境頭盔的操作人員在工廠裡走來走去,瞄準故障裝置的視覺指示,觀看來自實際感測器的虛擬代表的值,並啟動控制器和閥門的虛擬代表——所有這些動作都能在實體世界中自動複現。

你覺得怎麼樣?我是坐著快速火車去往幻境嗎?或者你覺得所有這一切是一種(很小或很大的)概率?另外,雖然我們在這裡討論了一些,但你還能想到虛擬實境技術的任何其他商業和/或工業應用嗎?

介導實境應用

出於本文的目的,我仍然試圖讓自己回到刪除實境概念上來,因此讓我們把重點放到它們的對立面——擴增實境上來吧。

就像許多人認為虛擬實境的目標應用是遊戲,進而驚奇地發現還有許多更專業的應用一樣,許多人認為擴增實境的目標是現實世界,因此驚訝地發現這種技術還能應用於遊戲和教育領域。舉個例子,遠的不說,就拿Pokemon Go來說,它在2016年7月不知從哪兒就冒了出來,僅僅幾周後,每天北美地區的使用者數就超出了2,000萬人。

20170105NT01P3
圖3 虛擬實境頭盔體驗。



為了在理解這個專欄剩餘內容的同時給我們思考的素材,請在網路欣賞展示芝麻街擴增實境玩偶的視訊和展示一些非常有趣的擴增實境實現的視訊。

回到嚴肅的擴增實境應用,你能想像一架快要降落機場的小型飛機飛行員穿戴著擴增實境頭盔,看到一連串發光的矩形框疊加在真實場景上面,這些矩形框漂浮在空中並退向遠方的情景嗎?(在首部外星人電影中就有類似的場景)。飛行員所要做的就是駕駛飛機飛過每個矩形框的中心,找出最有燃油效率的著陸路徑。

與上述類似,航行在密西西比河的遊艇船長可以使用他的擴增實境頭盔瀏覽疊加在河道上的沿途虛擬港口和右舷浮標,同時還能看到有根虛線指示船隻行駛的最佳航線。

當你開車到一個陌生的地方會怎麼辦?今天的GPS系統著實令人驚訝,它們可以透過語音告訴你怎麼走。這點是不錯,但你偶爾還是必須要把注意力從道路上移開去檢查螢幕內容。如果能在你前方場景上疊加一個帶箭頭的虛線指示要在哪裡轉彎是不是很酷?如果你自己徘徊在一個陌生的城市,這個方案同樣適用——能夠定位一個比如當地博物館的目的地,然後用一個帶箭頭的虛線引導你到達這個目的地將是難以置信的方便。

雖然我不認識你,但我在記住人名和識別人臉方面真的很不在行。當在某次會議上,有人認為因為幾年前曾跟你見過面,你會認出他們但卻認不得時,真的會非常尷尬。如果能夠看到在每個人頭上懸浮著一些小的「資訊氣泡」,氣泡中詳細記載著他們的名字、公司和職位,並且有顏色指示你以前是否見過等等,那將是一件多麼賞心悅目的事情。

還是回到與人交流的主題上來,有時很難「讀懂」某個人的心情——是喜是憂,是困惑還是氣憤?如果將這類資訊通過擴增實境系統呈現出來不是很有用嗎?(我可以想像我跨進家門,看到我的妻子說了聲「你好,親愛的」——當她轉過身面對我時——我的擴增實境系統閃爍著這樣的消息「危險,快跑,跑得越遠越好!」)

同樣,當某人對你撒謊時你能看得出來嗎?(你看過《可以識別電子郵件和約會網站中謊言的演算法(Algorithm can spot lies in emails and dating sites)》那篇文章嗎?)假設你正在與一個二手車銷售人員聊天,他正在極力讚美其中的一輛車,而你的擴增實境系統可以在他每次說到要點時即時顯示綠鉤(「實話」)或紅叉(「假話」)。(注意,這種系統不必理解說的話——它可以觀察和分析銷售員的非語言線索。)

我還可以在這個話題上講很長時間。網路有段視訊展示了一種極端形式的擴增實境——超現實(這段視訊值得從頭到尾看完)。

所有這些看起來有點瘋狂,但我真的相信它所呈現出來的各種可能性很快就能變成現實。

坐穩了!

整個虛擬實境和擴增實境場景真的讓我腦洞大開。比如在虛擬實境情況下,想像在虛擬大樓中上演新版本的超級偵探Cluedo,在扮演偵查員時,你可以在大樓周圍行走並利用物體(比如查看掛鐘下方或照片背後)尋找線索。

進一步想像系統中增加了語音辨識和生成功能,因此允許你採訪角色,問他們問題,並嘗試檢測他們回答中存在的任何謊言或遺漏。如果你見證了Oculus Rift帶來的可能性,你就不會認為所有這一切還太遙遠。

在擴增實境情況中,我也認為不用多久(相對而言)這些系統中就會增加基於深度神經網路(DDN)的嵌入式視覺系統,用來執行即時目標檢測、識別和分類任務,並將結果呈現在場景上。我還能想像到每個人的擴增實境系統透過網路連接,允許每個人在出現緊急情況時作出正確回應。

在結束討論前,我想重申的是,我真的想像不出在不遠的將來,虛擬實境和介導實境技術會把我們帶到何處。我們幾乎每天都能看到新的消息發佈,比如將人的手臂變成虛擬鍵盤,使用智慧眼鏡以新的方式看世界,或者Google最近決定收購一家影像識別新創企業。

從我個人來講,我都等不及想看到所有這些成為現實。你呢?你是帶著恐懼還是高興的心情迎接虛擬未來和介導未來?什麼樣的虛擬應用和/或介導應用你最樂於見到?是什麼(如果有的話)會讓你對這些感到恐懼?