文 | 智東西 徐珊
編輯 | 云鵬
如何讓遠(yuǎn)在千里的朋友來你家下棋？
沒錯，是你住的家中，而不是你和朋友在手機上聯(lián)機下棋或者同時處于某個完全虛幻的場景中。
前不久，扎克伯格披露其高端頭顯產(chǎn)品，內(nèi)部代號為Project Cambria的VR頭顯即將實現(xiàn)這一場景。
▲Meta的Quest 2所呈現(xiàn)的黑白透視
Project Cambria將會給圖片內(nèi)的灰色全部“復(fù)原”色彩，讓你一時間很難分辨出哪些是虛擬物體，哪些是原有物品。而這背后離不開一項重要的技術(shù)——全彩透視（full-color passthrough）。
扎克伯格曾在其最新的財報會議上提到全彩透視技術(shù)將是Project Cambria最大的特點之一。
全彩透視技術(shù)屬于視頻透視技術(shù)（Video-seethrough）的一個分支，也就是通過相機捕捉到實時畫面，將虛擬世界和真實世界合成后，呈現(xiàn)豐富色彩的顯示畫面。
就像圖片中的吉他和花架，通過全彩透視技術(shù)巧妙地和其他物品融為一體。
▲通過全彩透視技術(shù)呈現(xiàn)的畫面
5月13日，美國專利商標(biāo)局公布了一項蘋果專利，指出一種用于頭顯的多透鏡組合方案，可實現(xiàn)視頻透視功能。再結(jié)合近期外媒The information的爆料信息，不少人士推斷蘋果的MR頭顯很有可能采用的也是全彩透視技術(shù)。
此外，一些初創(chuàng)企業(yè)也在瞄準(zhǔn)全彩透視技術(shù)的相關(guān)特性。VR頭顯公司Valve近期宣布與3D傳感技術(shù)公司Occipital的Arcturus Industries團(tuán)隊合作，為VR設(shè)備提供全彩色透視模式。
為何全彩透視技術(shù)能成為Meta頭顯的突破口？Meta在全彩透視技術(shù)方面做了哪些工作？全彩透視技術(shù)又將對VR/AR行業(yè)帶來哪些影響？我們與多位產(chǎn)業(yè)人士交流后，嘗試找到問題的答案。
01.給元宇宙“上色”，全彩透視分四步走
透視是指看到現(xiàn)實世界。目前的VR設(shè)備打造的是一個完全虛擬的環(huán)境，不會與現(xiàn)實世界產(chǎn)生互動，但是通過透視用戶就可以同時看到現(xiàn)實世界和數(shù)字世界。
而目前的透視方案分成兩大類，光學(xué)透視和視頻透視。
光學(xué)透視的顯示方案是通過特殊的透鏡設(shè)計將數(shù)字畫面投射到半透明的顯示裝置。而視頻透視的顯示方案則是通過相機實時捕捉畫面，再和虛擬世界本該呈現(xiàn)的畫面融合，最終呈現(xiàn)在顯示屏幕上。
▲光學(xué)透視（OST）和視頻透視（VST）兩種不同的光學(xué)路徑示意圖
由于光學(xué)透視的光路設(shè)計復(fù)雜，顯示的畫面視角有限，并且由于光線原因無法顯示純黑的畫面，以及光學(xué)零部件成本造價較高，因此VR設(shè)備的廠商們往往選擇已經(jīng)較為成熟的視頻透視方案。
回憶一下，當(dāng)你戴上VR頭顯，需要建立安全區(qū)域的時，是不是也能同時看到自己的房間。并且你還可以用VR手柄在房間里圈定一定的安全區(qū)域。
這時候，你眼中看到的現(xiàn)實場景和虛擬世界融合的場景正是通過視頻透視技術(shù)實現(xiàn)的。
盡管多數(shù)VR設(shè)備已經(jīng)搭載了透視技術(shù)，但基于目前VR設(shè)備上搭載的RGB攝像頭以及產(chǎn)品設(shè)計等因素，現(xiàn)有的VR設(shè)備上支持的多數(shù)為黑白透視。
據(jù)行業(yè)人士透露，黑白透視只需要利用空間定位攝像頭以及一些簡單的算法，就可以實現(xiàn)不錯的透視效果。
▲黑白透視場景
但要做到全彩透視，盡管只是簡單的“上色”一步，其背后則又需要考慮多個技術(shù)的融合。
目前，全彩透視主要可以分為四步：透視、空間錨點（放置AR物體）、三維重建、環(huán)境理解及對象識別。
值得注意的是，與AR設(shè)備顯示的畫面不同，全彩透視技術(shù)看到的現(xiàn)實世界，并非是通過人眼直接看到真實世界，事實上，人的眼睛看到的是機器拍攝現(xiàn)實世界場景，并經(jīng)過處理之后投射在顯示屏上的畫面。
02.從黑白到全彩，全彩透視需突破三大技術(shù)難點
從黑白透視到全彩透視究竟有多難？
經(jīng)過梳理，我們發(fā)現(xiàn)要實現(xiàn)全彩透視技術(shù)需要突破三大技術(shù)難點。
首先是硬件升級。影創(chuàng)科技創(chuàng)始人孫立認(rèn)為從硬件上來看，從黑白透視到全彩透視可能會涉及到攝像頭的升級，廠商們可能會將VR設(shè)備上的RGB的攝像頭進(jìn)行升級，甚至部分設(shè)備會配備深度傳感器，以實現(xiàn)更高精度、色彩豐富的畫面效果。
此前業(yè)內(nèi)也有傳聞證實這一點。據(jù)悉，相較于Quest 2，Project Cambria搭載了分辨率比Quest 2高三倍、專門設(shè)計用于彩色透視的深度傳感器和攝像頭，其能夠?qū)崿F(xiàn)以假亂真的混合現(xiàn)實體驗。
▲全彩透視場景
其次在算法上也提高了一定的要求。由于全彩透視對分辨率、色彩的還原度和準(zhǔn)確性要求較高，物體的位置和物體的大小范圍一一對應(yīng)，因此往往需要一套接近實時重構(gòu)的算法。這提高了對算法和算力的要求，也對頭顯自身處理計算的能力有了更高的要求。
因此，頭顯的成本價格就可能翻倍增長，甚至是成倍增長。據(jù)悉，Meta Project Cambria的價格上漲到800美元，蘋果的MR頭顯定價或?qū)⑦_(dá)到3000美元。
03.頭顯廠商為何攻向全彩透視方案？
為何諸多頭顯廠商紛紛鉚足勁攻克該方向呢？我們可以簡單的從Meta透露的信息中一觀全彩透視的好處。
首先，是用戶活動的場景變大。用戶不再受限于狹小的安全區(qū)范圍內(nèi)，可以自由地在房間內(nèi)選擇活動空間，甚至這次你的天花板也可以成為你的新“畫板”。
據(jù)5月25日官方信息披露，Quest 2房間設(shè)置新增實驗性功能，用戶可以標(biāo)記家中物體表面，勾勒出墻壁和內(nèi)部物體的大致范圍，將你的“家具”、“墻壁”等搬入“元宇宙”。該功能尚處于測試階段，將在v40更新版本中正式運行。
其次，我們可以看到，全彩透視也為辦公場景帶來了一些新的玩法。工作室的伙伴們可以在一起討論新的設(shè)計方案，并且實時表達(dá)自己的意見，進(jìn)行調(diào)整和修改。
“有了全彩透視，用戶可以通過VR頭顯看到真實世界，實現(xiàn)真實和虛擬的結(jié)合，極大地擴展了VR頭顯的使用場景，像是社交應(yīng)用和商務(wù)辦公等，讓VR不再只是娛樂終端，而可以拓展成為一種工具，一個計算平臺?！睈燮嫠嚻嬗鯲R頭顯的相關(guān)負(fù)責(zé)人說道。
▲黑白透視場景
最后，從用戶體驗上來看，全彩透視將“虛實融合”一詞的場景又重新推上了一個新的臺階。此前，VR/AR設(shè)備能夠?qū)崿F(xiàn)的僅僅是全部虛擬以及現(xiàn)實世界上增添一些簡單的數(shù)字信息。
哪怕現(xiàn)在Quest通過黑白透視呈現(xiàn)的部分場景，也只是在虛擬世界中“復(fù)現(xiàn)”現(xiàn)實世界的場景，遠(yuǎn)遠(yuǎn)沒有達(dá)到“融合”的效果。
有了全彩透視技術(shù)，你可以重新裝修你的新房間，為它添上很多你目前還無法安置的東西，可以是一把吉他、一只寵物狗或者是你遠(yuǎn)在他鄉(xiāng)的親朋好友。
▲當(dāng)虛擬寵物進(jìn)入現(xiàn)實生活
04.用Quest 2試水，Meta為全彩透視技術(shù)布局多時
事實上，Meta對全彩透視技術(shù)早已布局多時，并且已在Quest 2上試水。1月13日，Quest 2的透視功能正式開放SDK，并且接入了多款基于黑白透視功能開發(fā)的游戲，如《Cubism》、《Blaston》等。
我們可以看到，這是Meta為其全彩透視功能作出的一次鋪墊?；赒uest 2的黑白透視功能，VR內(nèi)容廠商已經(jīng)提供了一些新的玩法，隨后將基于Project Cambria的全彩透視功能做出相應(yīng)改良。
▲Meta的Project Cambria所呈現(xiàn)的虛實融合場景
前不久，多人VR創(chuàng)作應(yīng)用軟件《MultiBrush》宣布支持Meta Avatar系統(tǒng)頭像和透視模式。
同時，當(dāng)Quest 2開放透視模式之后，Quest 2也不能僅僅看作一款VR頭顯，它也具有一定的AR特性。
據(jù)消息人士透露，目前國內(nèi)外不少VR頭顯廠商也正在計劃引入全彩透視功能。如今看來，全彩透視功能很可能是未來VR頭顯升級的重要功能之一。
盡管Meta將全彩透視功能描述的天花亂墜，但這些還僅限于理論場景。
從發(fā)布時間來看，Project Cambria很有可能是第一款具備頭手6dof定位以及全彩透視的頭顯產(chǎn)品，因此增添全彩透視功能的頭顯設(shè)備究竟能帶來哪些體驗，還有待觀望。
但從智東西和不少VR/AR設(shè)備研發(fā)者交流中發(fā)現(xiàn)，他們都對于全彩透視持有看好的態(tài)度，甚至給出了“全彩透視是VR成為元宇宙入口的關(guān)鍵技術(shù)”的評價。
愛奇藝奇遇VR頭顯的相關(guān)負(fù)責(zé)人還提到，當(dāng)具有全彩透視功能的VR頭顯面世后，會在未來很長一段時間會成為市場的主流產(chǎn)品，并實現(xiàn)AR場景在消費領(lǐng)域的落地，也會對現(xiàn)有光學(xué)透視的AR產(chǎn)品帶來較大沖擊。
在調(diào)查的過程中，我們還發(fā)現(xiàn)一家國內(nèi)初創(chuàng)企業(yè)嘗試從光學(xué)透視和視頻透視兩種方案中走出一條新的道路。
據(jù)報道，國內(nèi)VR企業(yè)蟻視科技曾在2018年的CES大會上展示了蟻視Mix原型機該設(shè)備則應(yīng)用了蟻視獨家研發(fā)的的“時分透視TDST（Time-Division See-Through）”技術(shù)，可以將真實和虛擬環(huán)境的光線通過光學(xué)調(diào)制器快速切換融合在一起。
但可惜的是，通過多方調(diào)查，我們?nèi)晕粗廊缃裨擁椉夹g(shù)能夠?qū)崿F(xiàn)什么樣的效果。
05.結(jié)語：VR頭顯也可“看”現(xiàn)實世界，全彩透視為元宇宙帶來新玩法
目前VR設(shè)備上存在視頻透視、光學(xué)透視兩種方案。但是由于成本、FOV等影響問題，視頻透視成為主流的VR頭顯廠商選擇的方案。而如今，VR設(shè)備上所搭載的黑白視頻透視技術(shù)正在“升級”成全彩透視技術(shù)。
全彩透視技術(shù)的出現(xiàn)，一方面加速了產(chǎn)品形態(tài)的融合，打破了虛擬世界和現(xiàn)實世界之間的空間。另一方面，設(shè)備也在玩法上加強了用戶體驗以及開拓出更多的場景，釋放出更多的生產(chǎn)力。
Meta究竟將全彩透視玩得怎么樣？是否只是為了宣傳其新品的功能而強捧其技術(shù)效果？今年十月，我們或許能一窺真相。