文｜佰態(tài)
3個月之前，一家位于加拿大的VR內(nèi)容制作公司Felix & Paul工作室為了慶祝1969年的登月事件，聯(lián)合《時代周刊》共同發(fā)布了新一期的系列VR紀(jì)錄片《太空探索者》。
圖片來源：Felix & Paul工作室
毫無疑問，這部運用交互式虛擬視頻技術(shù)、號稱可以讓觀眾從國際空間站內(nèi)外體驗宇宙最后邊疆的紀(jì)錄片，出圈了。其中，整個系列紀(jì)錄片都以超高分辨率電影虛擬現(xiàn)實拍攝方式來呈現(xiàn)，影片的首次太空行走也成為全篇高潮。不難看出，作為“贏在未來的技術(shù)”、“通往元宇宙的鑰匙”，XR互動技術(shù)顯然迎來了長足的發(fā)展，并且催生出各式各樣的互動形態(tài)和內(nèi)容形式，讓人們其未來發(fā)展充滿了想象。
當(dāng)我們的交互方式開始由2D向著3D迭代演變，XR互動究竟意味著什么？
01、二十年歷程，XR發(fā)展如何打破桎梏？
想要弄明白這個問題，不妨先了解一下XR互動的具體內(nèi)核。事實上，XR是一個寬泛的“大雨傘”，涵蓋了VR（Virtual Reality，虛擬現(xiàn)實）、AR（Augmented Reality，增強現(xiàn)實）以及MR（Mixed Reality，混合現(xiàn)實）。三種技術(shù)的交集，共同構(gòu)筑了XR的技術(shù)底層。
實際上，隨著數(shù)字化進(jìn)程的不斷推進(jìn)，VR、AR、MR技術(shù)都已經(jīng)日臻成熟?；蛟S已經(jīng)有人聽說過AR/VR技術(shù)，但是XR技術(shù)卻是依然難以被大眾所知，但實際上在不知不覺中XR技術(shù)已經(jīng)悄然影響著我們的生活。那么，XR技術(shù)神秘面紗下的真面目究竟是什么呢？
從發(fā)展階段來看，XR技術(shù)的發(fā)展大致可以分為幾個階段：
在互聯(lián)網(wǎng)尚未完全普及的1999年，跳舞機開始風(fēng)靡全球。在大街小巷，玩家根據(jù)屏幕上的箭頭指示，在地上的跳舞毯用腳踩擊，動感十足的舞曲加上高手炫酷的表演，在彼時迅速掀起了全民跳舞潮。也許大多數(shù)人并沒有意識到，跳舞機事實上也是XR互動技術(shù)早期應(yīng)用的體現(xiàn)。但那個時候的體感互動設(shè)備，往往占地面積較大、投入成本較高，并且支持的互動操作也較為有限。
時間來到2006年，任天堂發(fā)售了最新的電視游戲主機——Wii，作為第一款引入體感功能的電視游戲主機，Wii最與眾不同的特色在于Wii Remote手柄。Wii Remote可以實現(xiàn)指向定位與動作感應(yīng)兩種操作。指向定位功能可用于控制屏幕上的光標(biāo)，動作感應(yīng)功能則可偵測三維空間中的移動及旋轉(zhuǎn)。在兩種功能的加持下，Wii Remote可在游戲中化為球棒、刀劍等道具，使用戶能夠?qū)崿F(xiàn)多種動作。自此，體感類游戲首次從街頭巷尾走進(jìn)了玩家的家中，但盡管體積有所縮小，但使用的門檻和價格卻進(jìn)一步提高，用戶需要花費高昂的價格購買專用的設(shè)備體驗。
2021年開始，市場風(fēng)起云涌，XR技術(shù)活躍在大眾視野下，包括HTC VIVE、Oculus Quest 2、PICO等虛擬現(xiàn)實設(shè)備的火爆，也讓市場看到了XR互動設(shè)備的潛力。XR設(shè)備開始更多地運用到在線演唱會、發(fā)布會現(xiàn)場、電影拍攝現(xiàn)場以及電視節(jié)目等場景，開始運用高科技感以及逼真感的XR技術(shù)，例如2021年的春節(jié)聯(lián)歡晚會就首次采用了XR技術(shù)來營造更為沉浸的影視體驗。此外，包括Meta、蘋果、華為等科技型企業(yè)均開始布局XR設(shè)備的研發(fā)。
但需要注意的是，從XR互動技術(shù)發(fā)展至今，均是基于新的設(shè)備和新的平臺進(jìn)行打造，對于用戶而言不僅需要購置新的體驗設(shè)備，還需要額外的學(xué)習(xí)成本才能夠?qū)崿F(xiàn)對于新設(shè)備的運用，這也成為了長期以來XR設(shè)備發(fā)展的最大痛點。
02、當(dāng)云游戲技術(shù)成為催化劑
日前，IDC發(fā)布《全球增強和虛擬現(xiàn)實支出指南》，報告中預(yù)測在2026年，亞太地區(qū)AR/VR支出將達(dá)166億美元，復(fù)合年增長率提升42.%。盡管XR互動技術(shù)存在痛點，但與整個蒸蒸日上的市場相比，這樣的短板也足以被市場忽視。但I(xiàn)DC分析師還預(yù)測，未來幾年內(nèi)AR/VR技術(shù)將對消費者更加友好，用戶體驗將得到改善。
在近期舉行的時尚虛擬偶像星瞳的生日會上，似乎讓人看到了XR互動進(jìn)階的新突破點。
11月3-5日，時尚虛擬偶像、QQ炫舞系列虛擬代言人星瞳在杭州競鵝酒店（騰訊電競聯(lián)名店）舉辦線下生日活動，活動中的互動環(huán)節(jié)引起了外界的注意——通過借助騰訊先鋒的虛實互動技術(shù)，可以讓真實用戶不借助綠幕摳圖和特殊裝備，僅憑手機便能實時投射在大屏的虛擬場景中，和星瞳進(jìn)行跳舞挑戰(zhàn)，還能通過系統(tǒng)對玩家骨骼姿態(tài)的判斷得到打分評級，共同解鎖AI虛實互動體驗。
顯然，這樣依靠大屏+手機的XR互動體驗，擺脫了此前對于專業(yè)XR互動設(shè)備的依賴，將XR設(shè)備繁瑣復(fù)雜的空間計算、圖形處理工作轉(zhuǎn)移至云端，僅以手機作為信號收集和互動入口的工具，并最終在大屏幕得以呈現(xiàn)，自然為用戶提供了更高的自由度以及上手體驗感。
誠然，對于XR行業(yè)而言，這樣的改變尚且不足以改變生態(tài)。但需要注意的是，這確實為一直以來依賴專業(yè)設(shè)備的行業(yè)提供了新的解決方案。
從這個方面來看，星瞳AI虛實互動體驗是如何實現(xiàn)的呢？這與其背后的騰訊先鋒虛實互動技術(shù)的三大核心技術(shù)能力息息相關(guān)。
一是實時無綠幕摳圖。作為XR行業(yè)的關(guān)鍵核心技術(shù)，視覺空間定位技術(shù)的發(fā)展，對整個XR生態(tài)有著至關(guān)重要的影響。而基于云端的實時4K視頻發(fā)絲級摳圖，讓用戶僅需使用普通手機攝像頭，無需綠幕、無需設(shè)備算力即可高質(zhì)量完成摳圖，幫助普通用戶將形象投射至虛擬場景中進(jìn)行流暢互動，幀率可達(dá)60FPS。對于企業(yè)而言，這無疑成為了已達(dá)瓶頸的視覺空間定位技術(shù)的突破點。
二是姿態(tài)估計與動作捕捉。傳統(tǒng)的動作捕捉系統(tǒng)包括傳感器、信號捕捉設(shè)備、數(shù)據(jù)傳輸設(shè)備、數(shù)據(jù)處理設(shè)備。不僅需要多組光學(xué)動作捕捉鏡頭互相配合確定三維坐標(biāo)，還需要動捕軟件算出目標(biāo)的位置、運動軌跡等信息，實現(xiàn)動作捕捉。但對于用戶而言，不僅意味著高昂的設(shè)備支出，也需要更大的空間容納相關(guān)設(shè)備。而騰訊先鋒這項技術(shù)的姿態(tài)估計與動作捕捉則不需要依賴特殊場地和拍攝設(shè)備，也無需額外穿戴，僅使用手機的普通RGB攝像頭，即可隨時隨地實現(xiàn)動作捕捉。并且支持包括身體、手部和表情在內(nèi)的高精度全身動捕，相關(guān)數(shù)據(jù)的處理也完全基于云端計算，無需用戶設(shè)備額外算力。
三是實時云端視頻流媒體AI通用處理架構(gòu)。XR頭顯可以提供最高分辨率和更清晰的視覺效果，但頭顯渲染虛擬內(nèi)容需要配備強大GPU的計算機，也進(jìn)一步限制了用戶探索XR頭顯的能力邊界。而該技術(shù)整合硬件編解碼和高效神經(jīng)網(wǎng)絡(luò)推理框架，基于云游戲的能力，構(gòu)建了完整的視頻流媒體處理與云端低延遲AI計算方案。最終在云端計算能力的輔助下，能夠更好地擺脫本地計算設(shè)備的限制，讓用戶再也無需擔(dān)心手機儲存空間和硬件配置，在功能較弱的機器上也能夠提供高質(zhì)量的XR體驗。這對于AI虛實互動體驗而言，無疑是突破軟硬件條件限制的突圍點。
事實上，以上的種種核心能力，均是基于騰訊先鋒在云游戲方面的探索所積累的經(jīng)驗，受游戲的啟發(fā)而不斷拓展，也逐漸超脫于游戲之外，為更多技術(shù)的更迭提供了助推力。
03、XR破局，應(yīng)用場景外延持續(xù)拓展
據(jù)Counterpoint Research報告顯示，截至2022年二季度，Meta AR/VR設(shè)備全球市場份額達(dá)66%，市場優(yōu)勢地位明顯。PICO緊隨其后，市場份額為11%。根據(jù)IDC，全球XR頭顯出貨量復(fù)合年均增長率預(yù)計將在2024年達(dá)到38%，行業(yè)的發(fā)展前景可見一斑。
XR互動設(shè)備乘風(fēng)起，或許，我們現(xiàn)在可以預(yù)想一下XR的應(yīng)用場景了。
事實上，當(dāng)前XR已經(jīng)形成豐富的應(yīng)用場景，當(dāng)下最主要的還是應(yīng)用于C端消費級，目前包括游戲、影視娛樂等等，而在制造業(yè)、零售業(yè)、醫(yī)療、教育等B端場景，XR也開始出現(xiàn)廣泛布局。據(jù)中國信通院發(fā)布的《虛擬（增強）現(xiàn)實白皮書》，2022年XR產(chǎn)業(yè)將正式步入深度沉浸階段，市場滲透率也在進(jìn)一步提升。
例如在工業(yè)方面，在《中國制造2025》重點領(lǐng)域技術(shù)路線圖重大政策文件中，虛擬現(xiàn)實被列為智能制造核心信息設(shè)備領(lǐng)域的關(guān)鍵技術(shù)之一，通過智能制造各個環(huán)節(jié)的信息獲取、實時通信，以實現(xiàn)動態(tài)交互、智能決策分析和智能控制。這樣的思路在行業(yè)內(nèi)也有了初步的應(yīng)用，包括奧迪、福特、寶馬、豐田、沃爾沃等主流車企積極引入XR技術(shù)用于汽車研發(fā)。以奧迪為例，基于VR的虛擬裝配線校驗，使流水線工人在三維虛擬空間內(nèi)完成對實際產(chǎn)品裝配工作的預(yù)估和校準(zhǔn)，顯著提升了生產(chǎn)與組裝效率；同樣地，福特使用VR技術(shù)檢查汽車的整個外觀與內(nèi)飾設(shè)計，并能夠查看特定細(xì)節(jié)，成為進(jìn)行階段性數(shù)據(jù)驗證、業(yè)務(wù)流程參考的重要支撐。
在生物醫(yī)藥大健康產(chǎn)業(yè)方面，隨著5G技術(shù)的成熟運用，也極大地加快了XR設(shè)備的傳輸速度，結(jié)合相關(guān)設(shè)備，也能夠作為傳統(tǒng)醫(yī)學(xué)手段的有效補充。例如，總部位于美國芝加哥的醫(yī)療科技初創(chuàng)公司Level Ex 研發(fā)的VR醫(yī)療軟件——Airway Ex，能夠通過對人體組織動力學(xué)、內(nèi)窺鏡設(shè)備光學(xué)和運動流體的現(xiàn)實模擬，針對外科手術(shù)醫(yī)生提供了一種避免對人產(chǎn)生傷害的手術(shù)訓(xùn)練方式。
而在教育培訓(xùn)領(lǐng)域，XR互動技術(shù)也起到了至關(guān)重要的作用。K12教育、職教領(lǐng)域，XR都有非常大的應(yīng)用空間，XR技術(shù)可以形象地對抽象的概念進(jìn)行具象表達(dá)，對難以實操的高價值設(shè)備進(jìn)行虛擬仿真實訓(xùn)學(xué)習(xí)。一直以來，NASA對XR技術(shù)情有獨鐘，此前在德克薩斯州休斯頓桑尼卡特訓(xùn)練基地中建立了一個中性浮力VR實驗室，主要用于模擬空間站環(huán)境，幫助宇航員們更好地適應(yīng)重力、完成各種工作，更直觀地了解、理解太空行走的流程和可能發(fā)生的危險狀況。
而在體感游戲領(lǐng)域，XR互動技術(shù)也將成為推動游戲互動形式迭代的重要推動力。據(jù)此前基于Valve和Steam的官方數(shù)據(jù)，Steam平臺頭顯每月的連接數(shù)保持上升趨勢，且增長幅度不斷加大；此外，支持XR設(shè)備的游戲數(shù)量也在持續(xù)增加，9月份Steam平臺共上線60款支持VR的游戲，相比上個月49款有所增加。據(jù)Steam平臺9月軟硬件調(diào)查結(jié)果顯示，2022年9月頭顯連接數(shù)量總體數(shù)量已經(jīng)達(dá)到Steam用戶總量的2.03%。
當(dāng)行業(yè)應(yīng)用加速落地，類似電影的《頭號玩家》時代究竟什么時候可以到來？
XR互動被行業(yè)寄予厚望，被看作是有能力接棒智能手機、成為下一代超級終端的產(chǎn)品。
總體來看，XR技術(shù)跨學(xué)科廣、涉及領(lǐng)域多、成熟速度慢，但一旦成熟將是全新的顛覆性計算平臺。值得注意的是，包括高通、蘋果、三星等企業(yè)都開始著手研發(fā)相關(guān)的硬件。但需要注意的是，距離XR黃金時代的到來，還尚且有一段距離。距離XR時代拐點的到來，還需要解決底層技術(shù)成熟度和終端設(shè)備輕量化的問題。
但這次騰訊先鋒攜手星瞳帶來的AI虛實互動體驗，也讓整個行業(yè)看到了基于云游戲技術(shù)實現(xiàn)XR互動，幫助XR產(chǎn)業(yè)更好開拓市場的可能性。
國人的創(chuàng)新是浪漫且充滿詩意的。
20世紀(jì)90年代初，錢學(xué)森在閱讀文獻(xiàn)時注意到了“Virtual Reality”，將之命名為“靈境”。也留下了這么一句話“靈境技術(shù)是繼計算機技術(shù)革命之后的又一項技術(shù)革命。它將引發(fā)一系列震撼全世界的變革，一定是人類歷史中的大事。”
值得慶幸的是，這樣的歷史大事，已經(jīng)悄然拉開帷幕，眾多企業(yè)也開啟了這場搶奪新時代先機的卡位戰(zhàn)。可以預(yù)見的是，隨著技術(shù)、生態(tài)的不斷完善，更豐富的場景不斷落地，市場對于XR的接納程度不斷提高，屬于XR互動的黃金時代也將隨之到來。