正在閱讀:

VR顛覆性時刻:扔掉手柄,進(jìn)入“無感駕駛”

掃一掃下載界面新聞APP

VR顛覆性時刻:扔掉手柄,進(jìn)入“無感駕駛”

為什么在元宇宙中用自己的雙手那么難?

文|智東西  徐珊

編輯|云鵬

萬萬沒想到,今年春天VR廠商們?yōu)椤耙浑p手”卷起來了。僅2022年上半年,就有四家VR巨頭對自家VR設(shè)備的手勢交互技術(shù)操刀改良。4月20日,Meta旗下的VR頭顯Oculus Quest 2手勢交互版本迭代至2.0,解決了手部定位丟失的問題。4月13日,字節(jié)跳動旗下的VR品牌Pico宣布其兩款企業(yè)級VR頭顯可以通過定制的手部追蹤配件,提升手勢交互體驗。VR廠商HTC也在今年1月發(fā)布了一款新款腕式追蹤器,輔助預(yù)測用戶的手部位置。

▲Oculus Quest 2手勢交互1.0版本和2.0版本在手部快速追蹤方面的對比

無論是裸手交互技術(shù),還是手部追蹤配件,用于VR設(shè)備的手勢交互技術(shù)一直在不斷迭代。同時,不少VR企業(yè)還在嘗試尋找新的手勢交互方式,比如說VR手套。5月6日,荷蘭VR手套制造商Manus宣布其新款采用磁力追蹤技術(shù)的VR手套Quantum Metagloves開啟預(yù)售。5月4日,國內(nèi)動捕技術(shù)巨頭諾亦騰發(fā)布Hi5 2.0 VR交互手套。而早在2021年11月,Meta就曾展現(xiàn)自家的VR觸感手套模型,分享自己在VR手勢交互方面的最新成果。

不僅如此,蘋果、谷歌、微軟等一些潛在VR玩家還獲批多項與智能戒指有關(guān)的專利,試圖將智能戒指打造為下一代手勢交互的關(guān)鍵輸入設(shè)備。手勢交互技術(shù)是最基礎(chǔ)也是最自然的交互方式,也是VR設(shè)備中主流的交互方式之一。一般來說,手勢交互是指通過數(shù)學(xué)算法來識別人類手勢的技術(shù),包括圖像獲取、手勢追蹤、手勢識別與分析等多個過程。其中,手部追蹤和手勢識別是手勢交互中較為關(guān)鍵的兩個步驟。

手部追蹤是指準(zhǔn)確地在VR頭顯中定位用戶雙手的位置,而如何精準(zhǔn)地識別每個手指的動作,識別手的各種形態(tài)等屬于手勢識別。手勢交互技術(shù)也暗藏巨大的市場空間。國際市場分析公司Markets and Markets發(fā)表報告稱,2024年“手勢識別和無觸碰感知”市場將達(dá)到340億美元。VR設(shè)備的手勢交互技術(shù)有了哪些新玩法?廠商為何都在近期升級自家VR設(shè)備的手勢交互技術(shù)?VR設(shè)備的手勢交互技術(shù)發(fā)展究竟如何?我們與諾亦騰CTO戴若犁、夢想綻放(愛奇藝智能)技術(shù)負(fù)責(zé)人史明以及HTC的技術(shù)負(fù)責(zé)人等多位行業(yè)人士深度交流后,試圖找到答案。

01.拋開手柄,VR游戲可以裸手玩

相較于其他移動設(shè)備,用于VR設(shè)備的手勢交互技術(shù)進(jìn)步較為緩慢。比如說,從3dof到6dof經(jīng)歷了近五年的發(fā)展時間,手柄交互到裸手交互仍處在初期階段。隨著技術(shù)不斷進(jìn)步,裸手交互也開始在不少消費級VR頭顯上普及。Meta曾在2019年發(fā)布手勢交互1.0版本,并將裸手交互引入Oculus Quest VR頭顯,讓用戶可以直接在虛擬世界中看到自己的雙手,并進(jìn)行一些簡單的交互操作。

時隔2年后,Oculus Quest 2擁有了手勢交互2.0版本。此次升級主要解決了兩大難題。一是解決了用戶雙手重疊時,手部追蹤困難的問題。在Quest 2的手勢交互1.0版本中,當(dāng)用戶的雙手相互阻擋或重疊時,系統(tǒng)很難識別用戶的手勢動作。二是在用戶快速揮動雙手時,系統(tǒng)也很容易丟失對于手部的追蹤。這兩種情況的發(fā)生都有可能會造成雙手從虛擬世界中突然消失。

▲Quest 2手勢交互1.0版本和2.0版本對比

至于是如何解決這兩項問題,Meta在其公告中說明,基于“重新設(shè)計的計算機(jī)視覺和機(jī)器學(xué)習(xí)方法”,新版本提高了手部跟蹤的性能可靠性。但自從版本更新后,我們看到不少用戶反饋到,盡管手勢交互功能有了更好的體驗,但是系統(tǒng)也出現(xiàn)了明顯的卡頓。對此現(xiàn)象,戴若犁解釋到VR頭顯處理計算的能力本身就比較有限,而Meta基于計算機(jī)視覺獲取數(shù)據(jù),并將一部分算力資源用來預(yù)測用戶手部位置,這種方案無疑將會為VR頭顯帶來較大的計算處理壓力,也是“系統(tǒng)卡頓”現(xiàn)象的主要原因。

HTC也在今年3月推出了新款的腕式追蹤器VIVE Wrist Tracker,并且在去年年底升級自家的手部追蹤版本。據(jù)HTC官網(wǎng)信息介紹,當(dāng)用戶將腕式追蹤器戴在手腕上時,即使在一段時間內(nèi)雙手離開相機(jī)視野,系統(tǒng)也可以通過腕式追蹤器的高頻IMU數(shù)據(jù)和運動學(xué)模型預(yù)測手部的運動軌跡。HTC的相關(guān)負(fù)責(zé)人還向智東西分享到,相比VIVE Focus 3控制器,VIVE Wrist Tracker移除了按鈕、觸覺輸入等零部件從而縮小電池尺寸,將控制器變得更小更輕。據(jù)介紹,HTC的手腕追蹤器比VIVE Focus 3控制器小85%,重量輕50%。

我們可以看到,Meta的裸手交互方案仍是計算機(jī)視覺為主,HTC的裸手交互方案則需要依靠腕式追蹤器等外設(shè)。前者能幫助用戶快速、有效地體驗裸手交互的樂趣,而后者通過慣性傳感器提高一定程度手勢交互的準(zhǔn)確性和可靠性。面對不同的應(yīng)用場景,不同廠商VR設(shè)備的裸手交互方案各有側(cè)重。但裸手交互一定會給人們帶來更好地體驗嗎?戴若犁在采訪時說:“在技術(shù)成熟度尚未達(dá)到的時間點,將裸手交互這類人機(jī)交互新方式嵌入操作系統(tǒng)中,會給人們過高的期待。”“從操作成功率和觸感反饋來說,手柄在樂趣以及操作準(zhǔn)確性上要遠(yuǎn)勝裸手交互。

”他解釋到,在人機(jī)交互領(lǐng)域,80%的操作準(zhǔn)確性和100%的操作準(zhǔn)確性給用戶帶來的交互體驗是完全不一樣的。微軟亞洲研究院網(wǎng)絡(luò)圖形組首席研究員童欣曾在2017年接受媒體采訪時證實這一點。“當(dāng)我手握手柄的時候,手柄不僅是一個輸入設(shè)備,同時也是輸出設(shè)備,它可以通過震動、力反饋給我一個輸出的反饋。而當(dāng)我空手在空氣中揮舞的時候,我就失去了自己的輸出渠道。”有限的計算消耗、較高的學(xué)習(xí)成本、較低的操作準(zhǔn)確性等都是阻礙VR設(shè)備裸手交互技術(shù)發(fā)展的主要原因。但在交互體驗上,裸手交互也將會給VR內(nèi)容生產(chǎn)者提供更多的發(fā)揮空間。不少VR設(shè)備中,裸手交互作為一種輔助的手勢交互方式。

02.大廠們爭著做的VR手套B站100元搞定?

為了在裸手交互帶來的沉浸感和VR手柄提供的高準(zhǔn)確性之間尋找到平衡點,VR廠商們又想出了另一種手勢交互方式——VR手套。目前,VR手套存在比較多的形態(tài),但是真正可以大規(guī)模量產(chǎn)和銷售的VR手套主要分為基于慣性傳感器和基于彎曲傳感器兩種類型。不同于基于計算機(jī)視覺手勢交互的數(shù)據(jù)處理方式,以慣性傳感器為主的VR手套將通過傳感器收集大量的手部定位和手指交互的數(shù)據(jù)。

而以彎曲傳感器為主的VR手套則測量精度較低,由于對于貼合程度的要求較高,其可穿戴設(shè)備的舒適度也較低。我們有機(jī)會搶先體驗到Hi5 2.0 VR交互手套。一副Hi5 2.0 VR交互手套共有12個慣性傳感器,每只手佩戴六個無線傳感器,分布五個手指和手背上。同時該套裝還將配有一個數(shù)據(jù)收發(fā)器,可以插在電腦或者VR頭顯上傳輸數(shù)據(jù)。

打開傳感器、安裝傳感器、固定好手部追蹤器,選擇校準(zhǔn)界面,Hi5 2.0 VR手套的校準(zhǔn)方式比我們想象的要復(fù)雜一些。在體驗過程中,我們發(fā)現(xiàn)Hi5 2.0 VR交互手套能提供較為精準(zhǔn)的手勢識別過程,比如說手部的位置和手勢的變化基本都能實時顯示變化。據(jù)官網(wǎng)介紹,該設(shè)備的姿態(tài)計算幀率從180fps提升至500fps,研發(fā)人員還通過算法提高了一定的抗磁干擾程度。

除此之外,研究人員也在嘗試不同的VR手套設(shè)計方案。2021年11月,Meta公布了其研發(fā)7年的VR觸感手套原型,這款VR手套用微型氣閥取代了電機(jī),通過復(fù)雜的控制系統(tǒng)調(diào)整手指上的充氣儀器,形成擬真壓力,從而模擬各種觸感。

荷蘭VR手套開發(fā)商Manus的Quantum Metagloods VR手套則是基于磁力追蹤技術(shù)打造而成。與諾亦騰選擇用算法去減輕天然環(huán)境造成的磁干擾,保證追蹤穩(wěn)定性的方案不同,通過磁力追蹤的手勢交互方案需要兩個設(shè)備協(xié)作完成,一個設(shè)備內(nèi)設(shè)xyz三個方向的線圈,同時VR手套中也將內(nèi)含一個線圈,兩個線圈將以高頻振動的方式產(chǎn)生磁力線,兩條磁力線互相切割,從而獲得手的位置變化。

盡管VR手套能提供較為準(zhǔn)確的手勢動作捕捉,但VR手套的價格成本決定了其只能面向小部分極客玩家和商用市場。據(jù)悉,Meta手套的原型成本約為5000美元(約33400元),而Manus的Quantum Metagloods的預(yù)售價為9000美元(約6萬元),諾亦騰的Hi5 2.0 VR交互手套,售價為9800元人民幣。

Meta曾將研發(fā)VR觸感手套的項目描述為“登月計劃”?!爱?dāng)我們開始研發(fā)VR觸感手套時,我們希望打造一款可以大規(guī)模量產(chǎn),消費者買得起的消費設(shè)備,讓人們在任何地方都能體驗到虛擬世界?!盡eta的項目負(fù)責(zé)人說:“但這幾乎不可能?!痹谡{(diào)查的過程中,我們還發(fā)現(xiàn)B站上有不少UP主自制VR手套,這些價格的成本從100元到350元不等,部分VR手套甚至擁有力反饋功能。我們看到這些自制的VR手套可以用于一些簡單的VR游戲中,可以做出拿、捏、翻轉(zhuǎn)等一些簡單手勢動作,但其顯示延遲情況也較為明顯,時常會出現(xiàn)一些鬼畜場景。

▲B站UP主們嘗試自制VR手套

面對VR手套的巨大價格差距,一位從事VR手套的行業(yè)人士分析認(rèn)為面向B端市場的VR手套成本主要在研發(fā)投入、零部件以及人力資源成本上,價格根據(jù)市場需求而定。這意味著可能做一幅普通VR手套的價格并不高,但做一副可以面向商用場景、提供準(zhǔn)確精度的VR手套需要較高的成本。盡管VR手套能兼顧VR設(shè)備的沉浸感和手勢交互的準(zhǔn)確性,如何降低VR手套的價格將是VR手套發(fā)展必須要解決的難題。

03.想要擁有自由的“雙手”?要從算法、工程、交互設(shè)計攻克難題

從裸手交互和VR手套交互兩種方式來看,VR設(shè)備的手勢交互技術(shù)發(fā)展正在不斷更新迭代,此前面臨的一些困境也逐步尋找到了解決方法。但整體而言,用于VR設(shè)備的手勢交互技術(shù)還存在不少難點。到底是什么阻礙了我們?nèi)拥鬡R手柄,無法采用新的手勢交互方式?國內(nèi)VR頭顯奇遇系列的研發(fā)人員、夢想綻放(愛奇藝智能)的技術(shù)負(fù)責(zé)人史明在接受智東西采訪時給出了三個要點。首先是算法層面。目前用于VR設(shè)備的手勢交互技術(shù)基本采用深度學(xué)習(xí)技術(shù),因此研發(fā)過程中需要依賴大量的業(yè)務(wù)場景標(biāo)注數(shù)據(jù)。而基于手勢的三維數(shù)據(jù)獲取成本高,并且難以保證數(shù)據(jù)質(zhì)量和一致性。

其次,手勢交互技術(shù)在工程優(yōu)化方面比較復(fù)雜。手勢交互技術(shù)需要以一個優(yōu)異模型為前提,需要做小模型推理演繹。而推理過程中,研究人員既要保證算法的精確度,又要保證數(shù)據(jù)的實時高效性。最后是在交互使用方面的設(shè)計。VR研發(fā)人員需要在設(shè)計手勢交互相關(guān)操作時規(guī)避視覺死角問題,同時還要為用戶提供較好的交互體驗。關(guān)于手勢交互的設(shè)計這一點,曾擔(dān)任Facebook Reality Labs設(shè)計師劉曉雨也曾在采訪中提到手勢交互技術(shù)很容易在使用期間出現(xiàn)遮擋情況,設(shè)計手勢交互動作時還需要考慮用戶的學(xué)習(xí)成本。

除此之外,微軟亞洲研究院網(wǎng)絡(luò)圖形組首席研究員童欣還曾提到對于手勢識別而言,機(jī)器很難分清輸入狀態(tài)和非輸入狀態(tài)。與鍵盤的按鍵交互方式不同,機(jī)器很難去分辨你搖手的動作,是做出一個揮手的手勢,還是玩累了想要甩手休息。總體而言,用于VR設(shè)備的手勢交互技術(shù)整體上主要面臨兩個方面的難題。一方面是哪一種手勢交互方式能兼顧沉浸感、準(zhǔn)確性并且成本低,能用于所有的VR設(shè)備。另一方面是,如何根據(jù)VR設(shè)備的基礎(chǔ)配置打造出最適合這款設(shè)備的手勢交互功能。可以預(yù)見的是,在裸手交互技術(shù)能獲得較高的精度、VR手套成本下降之前,手柄將仍是VR設(shè)備手勢交互的主流方案之一。

04.結(jié)語:手勢交互技術(shù)或成VR體驗升級關(guān)鍵

目前,用于VR設(shè)備的手勢交互總共分為三個方向:現(xiàn)有的手柄交互方式、正在逐步成為主流的裸手交互方式、和仍在小眾階段的外接可穿戴設(shè)備的交互方式。但值得注意的是,這三種交互方式并非替代關(guān)系,是可以實現(xiàn)共存。在手機(jī)、電腦快速發(fā)展的時期,無論是鍵入,還是觸屏的交互模式,都曾給人們帶來新的交互體驗,手勢交互同樣會給VR設(shè)備體驗和VR內(nèi)容生產(chǎn)帶來新的變化。手勢交互的技術(shù)發(fā)展總會有無窮無盡的方向,但被時代所留下的手勢交互技術(shù)終究是少數(shù),用于VR設(shè)備的手勢交互技術(shù)將會如何演進(jìn),或許時間能告訴我們答案。

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。

Facebook

4.9k
  • 佰維存儲:ePOP類存儲產(chǎn)品已應(yīng)用于閃極AI眼鏡
  • 只剩兩周!馬來西亞政府再喊話Meta、微信、TikTok等八家平臺必須在年內(nèi)拿到運營許可

評論

暫無評論哦,快來評價一下吧!

下載界面新聞

微信公眾號

微博

VR顛覆性時刻:扔掉手柄,進(jìn)入“無感駕駛”

為什么在元宇宙中用自己的雙手那么難?

文|智東西  徐珊

編輯|云鵬

萬萬沒想到,今年春天VR廠商們?yōu)椤耙浑p手”卷起來了。僅2022年上半年,就有四家VR巨頭對自家VR設(shè)備的手勢交互技術(shù)操刀改良。4月20日,Meta旗下的VR頭顯Oculus Quest 2手勢交互版本迭代至2.0,解決了手部定位丟失的問題。4月13日,字節(jié)跳動旗下的VR品牌Pico宣布其兩款企業(yè)級VR頭顯可以通過定制的手部追蹤配件,提升手勢交互體驗。VR廠商HTC也在今年1月發(fā)布了一款新款腕式追蹤器,輔助預(yù)測用戶的手部位置。

▲Oculus Quest 2手勢交互1.0版本和2.0版本在手部快速追蹤方面的對比

無論是裸手交互技術(shù),還是手部追蹤配件,用于VR設(shè)備的手勢交互技術(shù)一直在不斷迭代。同時,不少VR企業(yè)還在嘗試尋找新的手勢交互方式,比如說VR手套。5月6日,荷蘭VR手套制造商Manus宣布其新款采用磁力追蹤技術(shù)的VR手套Quantum Metagloves開啟預(yù)售。5月4日,國內(nèi)動捕技術(shù)巨頭諾亦騰發(fā)布Hi5 2.0 VR交互手套。而早在2021年11月,Meta就曾展現(xiàn)自家的VR觸感手套模型,分享自己在VR手勢交互方面的最新成果。

不僅如此,蘋果、谷歌、微軟等一些潛在VR玩家還獲批多項與智能戒指有關(guān)的專利,試圖將智能戒指打造為下一代手勢交互的關(guān)鍵輸入設(shè)備。手勢交互技術(shù)是最基礎(chǔ)也是最自然的交互方式,也是VR設(shè)備中主流的交互方式之一。一般來說,手勢交互是指通過數(shù)學(xué)算法來識別人類手勢的技術(shù),包括圖像獲取、手勢追蹤、手勢識別與分析等多個過程。其中,手部追蹤和手勢識別是手勢交互中較為關(guān)鍵的兩個步驟。

手部追蹤是指準(zhǔn)確地在VR頭顯中定位用戶雙手的位置,而如何精準(zhǔn)地識別每個手指的動作,識別手的各種形態(tài)等屬于手勢識別。手勢交互技術(shù)也暗藏巨大的市場空間。國際市場分析公司Markets and Markets發(fā)表報告稱,2024年“手勢識別和無觸碰感知”市場將達(dá)到340億美元。VR設(shè)備的手勢交互技術(shù)有了哪些新玩法?廠商為何都在近期升級自家VR設(shè)備的手勢交互技術(shù)?VR設(shè)備的手勢交互技術(shù)發(fā)展究竟如何?我們與諾亦騰CTO戴若犁、夢想綻放(愛奇藝智能)技術(shù)負(fù)責(zé)人史明以及HTC的技術(shù)負(fù)責(zé)人等多位行業(yè)人士深度交流后,試圖找到答案。

01.拋開手柄,VR游戲可以裸手玩

相較于其他移動設(shè)備,用于VR設(shè)備的手勢交互技術(shù)進(jìn)步較為緩慢。比如說,從3dof到6dof經(jīng)歷了近五年的發(fā)展時間,手柄交互到裸手交互仍處在初期階段。隨著技術(shù)不斷進(jìn)步,裸手交互也開始在不少消費級VR頭顯上普及。Meta曾在2019年發(fā)布手勢交互1.0版本,并將裸手交互引入Oculus Quest VR頭顯,讓用戶可以直接在虛擬世界中看到自己的雙手,并進(jìn)行一些簡單的交互操作。

時隔2年后,Oculus Quest 2擁有了手勢交互2.0版本。此次升級主要解決了兩大難題。一是解決了用戶雙手重疊時,手部追蹤困難的問題。在Quest 2的手勢交互1.0版本中,當(dāng)用戶的雙手相互阻擋或重疊時,系統(tǒng)很難識別用戶的手勢動作。二是在用戶快速揮動雙手時,系統(tǒng)也很容易丟失對于手部的追蹤。這兩種情況的發(fā)生都有可能會造成雙手從虛擬世界中突然消失。

▲Quest 2手勢交互1.0版本和2.0版本對比

至于是如何解決這兩項問題,Meta在其公告中說明,基于“重新設(shè)計的計算機(jī)視覺和機(jī)器學(xué)習(xí)方法”,新版本提高了手部跟蹤的性能可靠性。但自從版本更新后,我們看到不少用戶反饋到,盡管手勢交互功能有了更好的體驗,但是系統(tǒng)也出現(xiàn)了明顯的卡頓。對此現(xiàn)象,戴若犁解釋到VR頭顯處理計算的能力本身就比較有限,而Meta基于計算機(jī)視覺獲取數(shù)據(jù),并將一部分算力資源用來預(yù)測用戶手部位置,這種方案無疑將會為VR頭顯帶來較大的計算處理壓力,也是“系統(tǒng)卡頓”現(xiàn)象的主要原因。

HTC也在今年3月推出了新款的腕式追蹤器VIVE Wrist Tracker,并且在去年年底升級自家的手部追蹤版本。據(jù)HTC官網(wǎng)信息介紹,當(dāng)用戶將腕式追蹤器戴在手腕上時,即使在一段時間內(nèi)雙手離開相機(jī)視野,系統(tǒng)也可以通過腕式追蹤器的高頻IMU數(shù)據(jù)和運動學(xué)模型預(yù)測手部的運動軌跡。HTC的相關(guān)負(fù)責(zé)人還向智東西分享到,相比VIVE Focus 3控制器,VIVE Wrist Tracker移除了按鈕、觸覺輸入等零部件從而縮小電池尺寸,將控制器變得更小更輕。據(jù)介紹,HTC的手腕追蹤器比VIVE Focus 3控制器小85%,重量輕50%。

我們可以看到,Meta的裸手交互方案仍是計算機(jī)視覺為主,HTC的裸手交互方案則需要依靠腕式追蹤器等外設(shè)。前者能幫助用戶快速、有效地體驗裸手交互的樂趣,而后者通過慣性傳感器提高一定程度手勢交互的準(zhǔn)確性和可靠性。面對不同的應(yīng)用場景,不同廠商VR設(shè)備的裸手交互方案各有側(cè)重。但裸手交互一定會給人們帶來更好地體驗嗎?戴若犁在采訪時說:“在技術(shù)成熟度尚未達(dá)到的時間點,將裸手交互這類人機(jī)交互新方式嵌入操作系統(tǒng)中,會給人們過高的期待?!薄皬牟僮鞒晒β屎陀|感反饋來說,手柄在樂趣以及操作準(zhǔn)確性上要遠(yuǎn)勝裸手交互。

”他解釋到,在人機(jī)交互領(lǐng)域,80%的操作準(zhǔn)確性和100%的操作準(zhǔn)確性給用戶帶來的交互體驗是完全不一樣的。微軟亞洲研究院網(wǎng)絡(luò)圖形組首席研究員童欣曾在2017年接受媒體采訪時證實這一點。“當(dāng)我手握手柄的時候,手柄不僅是一個輸入設(shè)備,同時也是輸出設(shè)備,它可以通過震動、力反饋給我一個輸出的反饋。而當(dāng)我空手在空氣中揮舞的時候,我就失去了自己的輸出渠道?!庇邢薜挠嬎阆?、較高的學(xué)習(xí)成本、較低的操作準(zhǔn)確性等都是阻礙VR設(shè)備裸手交互技術(shù)發(fā)展的主要原因。但在交互體驗上,裸手交互也將會給VR內(nèi)容生產(chǎn)者提供更多的發(fā)揮空間。不少VR設(shè)備中,裸手交互作為一種輔助的手勢交互方式。

02.大廠們爭著做的VR手套B站100元搞定?

為了在裸手交互帶來的沉浸感和VR手柄提供的高準(zhǔn)確性之間尋找到平衡點,VR廠商們又想出了另一種手勢交互方式——VR手套。目前,VR手套存在比較多的形態(tài),但是真正可以大規(guī)模量產(chǎn)和銷售的VR手套主要分為基于慣性傳感器和基于彎曲傳感器兩種類型。不同于基于計算機(jī)視覺手勢交互的數(shù)據(jù)處理方式,以慣性傳感器為主的VR手套將通過傳感器收集大量的手部定位和手指交互的數(shù)據(jù)。

而以彎曲傳感器為主的VR手套則測量精度較低,由于對于貼合程度的要求較高,其可穿戴設(shè)備的舒適度也較低。我們有機(jī)會搶先體驗到Hi5 2.0 VR交互手套。一副Hi5 2.0 VR交互手套共有12個慣性傳感器,每只手佩戴六個無線傳感器,分布五個手指和手背上。同時該套裝還將配有一個數(shù)據(jù)收發(fā)器,可以插在電腦或者VR頭顯上傳輸數(shù)據(jù)。

打開傳感器、安裝傳感器、固定好手部追蹤器,選擇校準(zhǔn)界面,Hi5 2.0 VR手套的校準(zhǔn)方式比我們想象的要復(fù)雜一些。在體驗過程中,我們發(fā)現(xiàn)Hi5 2.0 VR交互手套能提供較為精準(zhǔn)的手勢識別過程,比如說手部的位置和手勢的變化基本都能實時顯示變化。據(jù)官網(wǎng)介紹,該設(shè)備的姿態(tài)計算幀率從180fps提升至500fps,研發(fā)人員還通過算法提高了一定的抗磁干擾程度。

除此之外,研究人員也在嘗試不同的VR手套設(shè)計方案。2021年11月,Meta公布了其研發(fā)7年的VR觸感手套原型,這款VR手套用微型氣閥取代了電機(jī),通過復(fù)雜的控制系統(tǒng)調(diào)整手指上的充氣儀器,形成擬真壓力,從而模擬各種觸感。

荷蘭VR手套開發(fā)商Manus的Quantum Metagloods VR手套則是基于磁力追蹤技術(shù)打造而成。與諾亦騰選擇用算法去減輕天然環(huán)境造成的磁干擾,保證追蹤穩(wěn)定性的方案不同,通過磁力追蹤的手勢交互方案需要兩個設(shè)備協(xié)作完成,一個設(shè)備內(nèi)設(shè)xyz三個方向的線圈,同時VR手套中也將內(nèi)含一個線圈,兩個線圈將以高頻振動的方式產(chǎn)生磁力線,兩條磁力線互相切割,從而獲得手的位置變化。

盡管VR手套能提供較為準(zhǔn)確的手勢動作捕捉,但VR手套的價格成本決定了其只能面向小部分極客玩家和商用市場。據(jù)悉,Meta手套的原型成本約為5000美元(約33400元),而Manus的Quantum Metagloods的預(yù)售價為9000美元(約6萬元),諾亦騰的Hi5 2.0 VR交互手套,售價為9800元人民幣。

Meta曾將研發(fā)VR觸感手套的項目描述為“登月計劃”。“當(dāng)我們開始研發(fā)VR觸感手套時,我們希望打造一款可以大規(guī)模量產(chǎn),消費者買得起的消費設(shè)備,讓人們在任何地方都能體驗到虛擬世界?!盡eta的項目負(fù)責(zé)人說:“但這幾乎不可能?!痹谡{(diào)查的過程中,我們還發(fā)現(xiàn)B站上有不少UP主自制VR手套,這些價格的成本從100元到350元不等,部分VR手套甚至擁有力反饋功能。我們看到這些自制的VR手套可以用于一些簡單的VR游戲中,可以做出拿、捏、翻轉(zhuǎn)等一些簡單手勢動作,但其顯示延遲情況也較為明顯,時常會出現(xiàn)一些鬼畜場景。

▲B站UP主們嘗試自制VR手套

面對VR手套的巨大價格差距,一位從事VR手套的行業(yè)人士分析認(rèn)為面向B端市場的VR手套成本主要在研發(fā)投入、零部件以及人力資源成本上,價格根據(jù)市場需求而定。這意味著可能做一幅普通VR手套的價格并不高,但做一副可以面向商用場景、提供準(zhǔn)確精度的VR手套需要較高的成本。盡管VR手套能兼顧VR設(shè)備的沉浸感和手勢交互的準(zhǔn)確性,如何降低VR手套的價格將是VR手套發(fā)展必須要解決的難題。

03.想要擁有自由的“雙手”?要從算法、工程、交互設(shè)計攻克難題

從裸手交互和VR手套交互兩種方式來看,VR設(shè)備的手勢交互技術(shù)發(fā)展正在不斷更新迭代,此前面臨的一些困境也逐步尋找到了解決方法。但整體而言,用于VR設(shè)備的手勢交互技術(shù)還存在不少難點。到底是什么阻礙了我們?nèi)拥鬡R手柄,無法采用新的手勢交互方式?國內(nèi)VR頭顯奇遇系列的研發(fā)人員、夢想綻放(愛奇藝智能)的技術(shù)負(fù)責(zé)人史明在接受智東西采訪時給出了三個要點。首先是算法層面。目前用于VR設(shè)備的手勢交互技術(shù)基本采用深度學(xué)習(xí)技術(shù),因此研發(fā)過程中需要依賴大量的業(yè)務(wù)場景標(biāo)注數(shù)據(jù)。而基于手勢的三維數(shù)據(jù)獲取成本高,并且難以保證數(shù)據(jù)質(zhì)量和一致性。

其次,手勢交互技術(shù)在工程優(yōu)化方面比較復(fù)雜。手勢交互技術(shù)需要以一個優(yōu)異模型為前提,需要做小模型推理演繹。而推理過程中,研究人員既要保證算法的精確度,又要保證數(shù)據(jù)的實時高效性。最后是在交互使用方面的設(shè)計。VR研發(fā)人員需要在設(shè)計手勢交互相關(guān)操作時規(guī)避視覺死角問題,同時還要為用戶提供較好的交互體驗。關(guān)于手勢交互的設(shè)計這一點,曾擔(dān)任Facebook Reality Labs設(shè)計師劉曉雨也曾在采訪中提到手勢交互技術(shù)很容易在使用期間出現(xiàn)遮擋情況,設(shè)計手勢交互動作時還需要考慮用戶的學(xué)習(xí)成本。

除此之外,微軟亞洲研究院網(wǎng)絡(luò)圖形組首席研究員童欣還曾提到對于手勢識別而言,機(jī)器很難分清輸入狀態(tài)和非輸入狀態(tài)。與鍵盤的按鍵交互方式不同,機(jī)器很難去分辨你搖手的動作,是做出一個揮手的手勢,還是玩累了想要甩手休息??傮w而言,用于VR設(shè)備的手勢交互技術(shù)整體上主要面臨兩個方面的難題。一方面是哪一種手勢交互方式能兼顧沉浸感、準(zhǔn)確性并且成本低,能用于所有的VR設(shè)備。另一方面是,如何根據(jù)VR設(shè)備的基礎(chǔ)配置打造出最適合這款設(shè)備的手勢交互功能??梢灶A(yù)見的是,在裸手交互技術(shù)能獲得較高的精度、VR手套成本下降之前,手柄將仍是VR設(shè)備手勢交互的主流方案之一。

04.結(jié)語:手勢交互技術(shù)或成VR體驗升級關(guān)鍵

目前,用于VR設(shè)備的手勢交互總共分為三個方向:現(xiàn)有的手柄交互方式、正在逐步成為主流的裸手交互方式、和仍在小眾階段的外接可穿戴設(shè)備的交互方式。但值得注意的是,這三種交互方式并非替代關(guān)系,是可以實現(xiàn)共存。在手機(jī)、電腦快速發(fā)展的時期,無論是鍵入,還是觸屏的交互模式,都曾給人們帶來新的交互體驗,手勢交互同樣會給VR設(shè)備體驗和VR內(nèi)容生產(chǎn)帶來新的變化。手勢交互的技術(shù)發(fā)展總會有無窮無盡的方向,但被時代所留下的手勢交互技術(shù)終究是少數(shù),用于VR設(shè)備的手勢交互技術(shù)將會如何演進(jìn),或許時間能告訴我們答案。

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。