正在閱讀:

從眼球到界面:揭秘眼動追蹤在VR領(lǐng)域的神奇應(yīng)用與未開發(fā)潛力

掃一掃下載界面新聞APP

從眼球到界面:揭秘眼動追蹤在VR領(lǐng)域的神奇應(yīng)用與未開發(fā)潛力

眼球追蹤技術(shù)通過特制傳感器監(jiān)測我們視線的移動,這一技術(shù)已在醫(yī)學(xué)研究、行為分析、工作場所安全、界面設(shè)計、汽車駕駛注意力監(jiān)測及計算機(jī)游戲等多個領(lǐng)域應(yīng)用了幾十年。

編譯|Metaverse元宇宙 王秦州

眼球追蹤技術(shù)通過特制傳感器監(jiān)測我們視線的移動,這一技術(shù)已在醫(yī)學(xué)研究、行為分析、工作場所安全、界面設(shè)計、汽車駕駛注意力監(jiān)測及計算機(jī)游戲等多個領(lǐng)域應(yīng)用了幾十年。 2017年,HTC首次將眼動追蹤技術(shù)融入其VR頭戴設(shè)備中;蘋果公司則計劃在2024年初推出的空間計算平臺Vision Pro中采用此技術(shù)。諸如索尼、惠普、Pico和Pimax等其他耳機(jī)制造商也已開始初步采用由眼動追蹤創(chuàng)新者Tobii研發(fā)的專用硬件與芯片,特別是在電腦游戲領(lǐng)域。

虛擬現(xiàn)實(VR)中的眼動追蹤技術(shù)能帶來圖像質(zhì)量優(yōu)化、用戶體驗革新、更精準(zhǔn)的研究手段以及適應(yīng)性更強(qiáng)的培訓(xùn)方案。同時,它也引發(fā)了對隱私的新關(guān)注,尤其是在精確追蹤注意力和收集深度醫(yī)療信息方面。 

在VR中,眼動追蹤是如何運(yùn)作的呢?人眼運(yùn)動是人體最快且最微妙的動作之一。盡管我們所見的世界相對靜態(tài),但眼睛卻以平滑追蹤、快速掃視以及每秒數(shù)百次微小顫動的方式聚焦于物體細(xì)節(jié)上。通過監(jiān)控這些動作的眼動追蹤工具能夠識別我們的視線焦點(diǎn),并揭示思維及身體內(nèi)部發(fā)生的活動。

早在古希臘時期,柏拉圖在其著作《蒂邁歐篇》中就提出觀看是一個積極的過程,即用注意力捕捉世界上的物體。如今,研究人員更加關(guān)注我們所見之物、觀察機(jī)制及其對身心可能產(chǎn)生的意義。早期的眼球追蹤技術(shù)復(fù)雜且具有侵入性,依賴于佩戴不舒適的磁性隱形眼鏡或監(jiān)聽眼部肌肉放電的傳感器。而現(xiàn)代眼動儀通常利用紅外光反射并通過視頻眼科描記法,借助多攝像頭來追蹤反射光。 

眼動追蹤器的性能以其赫茲(每秒幀數(shù))衡量,保真度則通過分辨率和準(zhǔn)確度來評判。分辨率代表可檢測到的最小細(xì)節(jié)級別,而準(zhǔn)確度則反映其與實際觀察位置的一致程度。例如,高端設(shè)備如SR Research的EyeLink II可以實現(xiàn)500 Hz的采樣率、0.01度的分辨率以及0.5度的準(zhǔn)確度,但這相對昂貴且體積較大,不適合應(yīng)用于VR頭戴設(shè)備。

目前,除蘋果以外的大多數(shù)VR和AR產(chǎn)品都采用了Tobii的眼動追蹤芯片,雖然Tobii未公布其VR耳機(jī)芯片的具體規(guī)格,但參考其最新的科研用頭戴式眼鏡,能達(dá)到120 Hz的刷新率和約0.6度的精度。

眼動追蹤為VR帶來的創(chuàng)新體驗 

眼動追蹤為VR帶來了動態(tài)注視點(diǎn)渲染的創(chuàng)新,通過提升視網(wǎng)膜最敏感區(qū)域的圖像質(zhì)量,從而提高視覺體驗。此外,如同鼠標(biāo)和觸摸屏一樣顛覆性的新用戶界面范例也可能因眼動追蹤技術(shù)得以實現(xiàn)。 

據(jù)SRI計算機(jī)視覺技術(shù)實驗室首席科學(xué)家朱志偉介紹,頻率超過200Hz、精度接近0.5度的眼動追蹤系統(tǒng)足以支持視力正常的用戶在VR中享受全新的交互體驗。蘋果在其Vision Pro平臺上便運(yùn)用了此類技術(shù),使用戶可以通過凝視虛擬物體并用手勢與其互動。 

HTC VIVE業(yè)務(wù)開發(fā)和企業(yè)解決方案副總裁Thomas Dexmier表示,新的用戶體驗取決于具體應(yīng)用場景。VIVE新型的眼睛和頭部追蹤器達(dá)到120 Hz的刷新率,這對于當(dāng)前和近期的應(yīng)用來說是最優(yōu)選擇。比如,許多消費(fèi)者研究主要集中在近距離行為觀察,如貨架陳列、衣物擺放或個人在虛擬觀眾面前的行為表現(xiàn)。即使是對復(fù)雜的3D模型進(jìn)行審視,也大多在短距離內(nèi)完成?!斑@意味著無需具備在遠(yuǎn)距離下毫米級精度跟蹤的能力,”Dexmier解釋道。 

他認(rèn)為,創(chuàng)造新體驗的最大挑戰(zhàn)在于如何讓設(shè)計師和研究人員輕松獲取這項技術(shù)。“一旦他們見識到眼動追蹤的可能性,便會迅速采納?!倍诩夹g(shù)層面,開發(fā)者需要廣泛的SDK來構(gòu)建未來基于眼動追蹤的應(yīng)用程序,同時簡化3D內(nèi)容和眼動追蹤數(shù)據(jù)格式,以便開發(fā)者更容易創(chuàng)建新穎體驗。 

進(jìn)一步改進(jìn)后,人們甚至有望僅憑眼神就能剪切粘貼文本,無需使用鼠標(biāo)。然而,IT服務(wù)和咨詢公司Diversified負(fù)責(zé)媒體解決方案創(chuàng)新的副總裁Jared Timmins認(rèn)為,眼動追蹤技術(shù)要達(dá)到傳統(tǒng)鼠標(biāo)和觸摸交互的流暢性,可能還需要多次迭代?!氨M管這些進(jìn)步令人矚目,但在提高大范圍視野的準(zhǔn)確性和精度、降低成本以及提升用戶舒適度等方面取得更多進(jìn)展仍然至關(guān)重要?!?nbsp;

克服眼動追蹤技術(shù)普及的障礙 

眼動追蹤技術(shù)普及面臨的障礙包括開發(fā)出能在不同光照條件和應(yīng)用場景下高效運(yùn)行的低延遲眼動追蹤系統(tǒng),以及適應(yīng)戴眼鏡的用戶或具有不同眼部解剖結(jié)構(gòu)的個體。在用戶界面設(shè)計上,關(guān)鍵是要創(chuàng)造出自然直觀的交互方式,利用眼球運(yùn)動而不引發(fā)不適或疲勞,避免常見的暈動癥或VR眩暈問題。

HarmonEyes和RightEye的聯(lián)合創(chuàng)始人兼首席執(zhí)行官Adam Gross指出,眼動追蹤模型和應(yīng)用程序在各類眼動追蹤設(shè)備間的互操作性仍有待提升。“當(dāng)前,將眼動追蹤模型和應(yīng)用轉(zhuǎn)移到任何新型或不同的眼動追蹤設(shè)備上,都需要手動驗證和測試?!?/p>

他的兩家公司正在研發(fā)眼動追蹤數(shù)據(jù)聚合與轉(zhuǎn)換工具,運(yùn)用人工智能和機(jī)器學(xué)習(xí)技術(shù)關(guān)聯(lián)不同追蹤器的數(shù)據(jù)結(jié)果,用于評估注意力、檢測腦震蕩影響、提升運(yùn)動表現(xiàn)和制定訓(xùn)練計劃等目的。 

保護(hù)隱私和道德規(guī)范對于眼動追蹤技術(shù)的推廣至關(guān)重要。隨著消費(fèi)者對點(diǎn)擊和點(diǎn)贊數(shù)據(jù)使用的日益謹(jǐn)慎,他們可能會對追蹤其在真實和虛擬世界中的視線內(nèi)容感到更為擔(dān)憂。因此,企業(yè)和客戶必須采取適當(dāng)?shù)陌踩胧┖驼邅斫鉀Q這些問題。正如Timmins所說:“如同對AI使用的顧慮一樣,強(qiáng)有力的數(shù)據(jù)保護(hù)實踐和自上而下的管理政策將成為所有采用眼動追蹤技術(shù)公司的必備盡職調(diào)查?!?nbsp;

VR眼動追蹤技術(shù)的未來展望 

眼動追蹤技術(shù)在虛擬現(xiàn)實(VR)領(lǐng)域的潛力無限,它不僅可以優(yōu)化圖形渲染和交互體驗,還可能催生全新的研究方法與培訓(xùn)方案。例如,在醫(yī)療領(lǐng)域,通過精確的眼球運(yùn)動數(shù)據(jù)可以分析病人的認(rèn)知狀態(tài)、注意力分布以及潛在的視覺障礙,這對于診斷神經(jīng)退行性疾病或評估創(chuàng)傷后康復(fù)進(jìn)程至關(guān)重要。 

對于游戲開發(fā)者而言,眼動追蹤能夠?qū)崿F(xiàn)更深層次的游戲沉浸感,讓玩家只需通過視線就能控制游戲內(nèi)角色或進(jìn)行互動,大大提升了用戶體驗。同時,眼動數(shù)據(jù)可用于動態(tài)調(diào)整場景光照、視角變化等參數(shù),使游戲畫面更加逼真且適應(yīng)個人視覺習(xí)慣。 

在教育領(lǐng)域,眼動追蹤可為教師提供關(guān)于學(xué)生學(xué)習(xí)過程中的注意力集中點(diǎn)和理解程度的實時反饋,有助于個性化教學(xué)策略并改進(jìn)課程內(nèi)容。此外,這項技術(shù)也能應(yīng)用于職業(yè)訓(xùn)練,如飛行員模擬訓(xùn)練、手術(shù)模擬等,通過跟蹤學(xué)員的眼球運(yùn)動來評估其決策速度和準(zhǔn)確性。 

然而,盡管眼動追蹤技術(shù)帶來了諸多益處,但在廣泛應(yīng)用前仍需解決一些關(guān)鍵問題。首先,需要確保眼動追蹤設(shè)備能在不同環(huán)境條件下穩(wěn)定、準(zhǔn)確地工作,并能舒適地適應(yīng)各種人群,包括佩戴眼鏡的用戶和其他具有特殊眼部特征的人群。其次,隱私保護(hù)措施必須到位,以消除用戶對眼球運(yùn)動數(shù)據(jù)被濫用的擔(dān)憂。最后,要建立統(tǒng)一的標(biāo)準(zhǔn)和接口,促進(jìn)眼動追蹤硬件與軟件生態(tài)系統(tǒng)的互操作性,降低開發(fā)成本并加快應(yīng)用創(chuàng)新的步伐。 

隨著技術(shù)的不斷進(jìn)步和完善,眼動追蹤將在未來虛擬現(xiàn)實及更多領(lǐng)域發(fā)揮更大的作用,從提升娛樂體驗到深化科學(xué)研究,再到推動教育培訓(xùn)方式變革,都將展現(xiàn)其強(qiáng)大的潛力與價值。 

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。

蘋果

6.4k
  • 臨港集團(tuán)獲得蘋果公司授權(quán)培訓(xùn)合作伙伴資質(zhì)
  • 印尼據(jù)悉批準(zhǔn)蘋果公司10億美元的投資計劃,將取消對iPhone 16的銷售禁令

評論

暫無評論哦,快來評價一下吧!

下載界面新聞

微信公眾號

微博

從眼球到界面:揭秘眼動追蹤在VR領(lǐng)域的神奇應(yīng)用與未開發(fā)潛力

眼球追蹤技術(shù)通過特制傳感器監(jiān)測我們視線的移動,這一技術(shù)已在醫(yī)學(xué)研究、行為分析、工作場所安全、界面設(shè)計、汽車駕駛注意力監(jiān)測及計算機(jī)游戲等多個領(lǐng)域應(yīng)用了幾十年。

編譯|Metaverse元宇宙 王秦州

眼球追蹤技術(shù)通過特制傳感器監(jiān)測我們視線的移動,這一技術(shù)已在醫(yī)學(xué)研究、行為分析、工作場所安全、界面設(shè)計、汽車駕駛注意力監(jiān)測及計算機(jī)游戲等多個領(lǐng)域應(yīng)用了幾十年。 2017年,HTC首次將眼動追蹤技術(shù)融入其VR頭戴設(shè)備中;蘋果公司則計劃在2024年初推出的空間計算平臺Vision Pro中采用此技術(shù)。諸如索尼、惠普、Pico和Pimax等其他耳機(jī)制造商也已開始初步采用由眼動追蹤創(chuàng)新者Tobii研發(fā)的專用硬件與芯片,特別是在電腦游戲領(lǐng)域。

虛擬現(xiàn)實(VR)中的眼動追蹤技術(shù)能帶來圖像質(zhì)量優(yōu)化、用戶體驗革新、更精準(zhǔn)的研究手段以及適應(yīng)性更強(qiáng)的培訓(xùn)方案。同時,它也引發(fā)了對隱私的新關(guān)注,尤其是在精確追蹤注意力和收集深度醫(yī)療信息方面。 

在VR中,眼動追蹤是如何運(yùn)作的呢?人眼運(yùn)動是人體最快且最微妙的動作之一。盡管我們所見的世界相對靜態(tài),但眼睛卻以平滑追蹤、快速掃視以及每秒數(shù)百次微小顫動的方式聚焦于物體細(xì)節(jié)上。通過監(jiān)控這些動作的眼動追蹤工具能夠識別我們的視線焦點(diǎn),并揭示思維及身體內(nèi)部發(fā)生的活動。

早在古希臘時期,柏拉圖在其著作《蒂邁歐篇》中就提出觀看是一個積極的過程,即用注意力捕捉世界上的物體。如今,研究人員更加關(guān)注我們所見之物、觀察機(jī)制及其對身心可能產(chǎn)生的意義。早期的眼球追蹤技術(shù)復(fù)雜且具有侵入性,依賴于佩戴不舒適的磁性隱形眼鏡或監(jiān)聽眼部肌肉放電的傳感器。而現(xiàn)代眼動儀通常利用紅外光反射并通過視頻眼科描記法,借助多攝像頭來追蹤反射光。 

眼動追蹤器的性能以其赫茲(每秒幀數(shù))衡量,保真度則通過分辨率和準(zhǔn)確度來評判。分辨率代表可檢測到的最小細(xì)節(jié)級別,而準(zhǔn)確度則反映其與實際觀察位置的一致程度。例如,高端設(shè)備如SR Research的EyeLink II可以實現(xiàn)500 Hz的采樣率、0.01度的分辨率以及0.5度的準(zhǔn)確度,但這相對昂貴且體積較大,不適合應(yīng)用于VR頭戴設(shè)備。

目前,除蘋果以外的大多數(shù)VR和AR產(chǎn)品都采用了Tobii的眼動追蹤芯片,雖然Tobii未公布其VR耳機(jī)芯片的具體規(guī)格,但參考其最新的科研用頭戴式眼鏡,能達(dá)到120 Hz的刷新率和約0.6度的精度。

眼動追蹤為VR帶來的創(chuàng)新體驗 

眼動追蹤為VR帶來了動態(tài)注視點(diǎn)渲染的創(chuàng)新,通過提升視網(wǎng)膜最敏感區(qū)域的圖像質(zhì)量,從而提高視覺體驗。此外,如同鼠標(biāo)和觸摸屏一樣顛覆性的新用戶界面范例也可能因眼動追蹤技術(shù)得以實現(xiàn)。 

據(jù)SRI計算機(jī)視覺技術(shù)實驗室首席科學(xué)家朱志偉介紹,頻率超過200Hz、精度接近0.5度的眼動追蹤系統(tǒng)足以支持視力正常的用戶在VR中享受全新的交互體驗。蘋果在其Vision Pro平臺上便運(yùn)用了此類技術(shù),使用戶可以通過凝視虛擬物體并用手勢與其互動。 

HTC VIVE業(yè)務(wù)開發(fā)和企業(yè)解決方案副總裁Thomas Dexmier表示,新的用戶體驗取決于具體應(yīng)用場景。VIVE新型的眼睛和頭部追蹤器達(dá)到120 Hz的刷新率,這對于當(dāng)前和近期的應(yīng)用來說是最優(yōu)選擇。比如,許多消費(fèi)者研究主要集中在近距離行為觀察,如貨架陳列、衣物擺放或個人在虛擬觀眾面前的行為表現(xiàn)。即使是對復(fù)雜的3D模型進(jìn)行審視,也大多在短距離內(nèi)完成?!斑@意味著無需具備在遠(yuǎn)距離下毫米級精度跟蹤的能力,”Dexmier解釋道。 

他認(rèn)為,創(chuàng)造新體驗的最大挑戰(zhàn)在于如何讓設(shè)計師和研究人員輕松獲取這項技術(shù)。“一旦他們見識到眼動追蹤的可能性,便會迅速采納?!倍诩夹g(shù)層面,開發(fā)者需要廣泛的SDK來構(gòu)建未來基于眼動追蹤的應(yīng)用程序,同時簡化3D內(nèi)容和眼動追蹤數(shù)據(jù)格式,以便開發(fā)者更容易創(chuàng)建新穎體驗。 

進(jìn)一步改進(jìn)后,人們甚至有望僅憑眼神就能剪切粘貼文本,無需使用鼠標(biāo)。然而,IT服務(wù)和咨詢公司Diversified負(fù)責(zé)媒體解決方案創(chuàng)新的副總裁Jared Timmins認(rèn)為,眼動追蹤技術(shù)要達(dá)到傳統(tǒng)鼠標(biāo)和觸摸交互的流暢性,可能還需要多次迭代?!氨M管這些進(jìn)步令人矚目,但在提高大范圍視野的準(zhǔn)確性和精度、降低成本以及提升用戶舒適度等方面取得更多進(jìn)展仍然至關(guān)重要?!?nbsp;

克服眼動追蹤技術(shù)普及的障礙 

眼動追蹤技術(shù)普及面臨的障礙包括開發(fā)出能在不同光照條件和應(yīng)用場景下高效運(yùn)行的低延遲眼動追蹤系統(tǒng),以及適應(yīng)戴眼鏡的用戶或具有不同眼部解剖結(jié)構(gòu)的個體。在用戶界面設(shè)計上,關(guān)鍵是要創(chuàng)造出自然直觀的交互方式,利用眼球運(yùn)動而不引發(fā)不適或疲勞,避免常見的暈動癥或VR眩暈問題。

HarmonEyes和RightEye的聯(lián)合創(chuàng)始人兼首席執(zhí)行官Adam Gross指出,眼動追蹤模型和應(yīng)用程序在各類眼動追蹤設(shè)備間的互操作性仍有待提升?!爱?dāng)前,將眼動追蹤模型和應(yīng)用轉(zhuǎn)移到任何新型或不同的眼動追蹤設(shè)備上,都需要手動驗證和測試?!?/p>

他的兩家公司正在研發(fā)眼動追蹤數(shù)據(jù)聚合與轉(zhuǎn)換工具,運(yùn)用人工智能和機(jī)器學(xué)習(xí)技術(shù)關(guān)聯(lián)不同追蹤器的數(shù)據(jù)結(jié)果,用于評估注意力、檢測腦震蕩影響、提升運(yùn)動表現(xiàn)和制定訓(xùn)練計劃等目的。 

保護(hù)隱私和道德規(guī)范對于眼動追蹤技術(shù)的推廣至關(guān)重要。隨著消費(fèi)者對點(diǎn)擊和點(diǎn)贊數(shù)據(jù)使用的日益謹(jǐn)慎,他們可能會對追蹤其在真實和虛擬世界中的視線內(nèi)容感到更為擔(dān)憂。因此,企業(yè)和客戶必須采取適當(dāng)?shù)陌踩胧┖驼邅斫鉀Q這些問題。正如Timmins所說:“如同對AI使用的顧慮一樣,強(qiáng)有力的數(shù)據(jù)保護(hù)實踐和自上而下的管理政策將成為所有采用眼動追蹤技術(shù)公司的必備盡職調(diào)查?!?nbsp;

VR眼動追蹤技術(shù)的未來展望 

眼動追蹤技術(shù)在虛擬現(xiàn)實(VR)領(lǐng)域的潛力無限,它不僅可以優(yōu)化圖形渲染和交互體驗,還可能催生全新的研究方法與培訓(xùn)方案。例如,在醫(yī)療領(lǐng)域,通過精確的眼球運(yùn)動數(shù)據(jù)可以分析病人的認(rèn)知狀態(tài)、注意力分布以及潛在的視覺障礙,這對于診斷神經(jīng)退行性疾病或評估創(chuàng)傷后康復(fù)進(jìn)程至關(guān)重要。 

對于游戲開發(fā)者而言,眼動追蹤能夠?qū)崿F(xiàn)更深層次的游戲沉浸感,讓玩家只需通過視線就能控制游戲內(nèi)角色或進(jìn)行互動,大大提升了用戶體驗。同時,眼動數(shù)據(jù)可用于動態(tài)調(diào)整場景光照、視角變化等參數(shù),使游戲畫面更加逼真且適應(yīng)個人視覺習(xí)慣。 

在教育領(lǐng)域,眼動追蹤可為教師提供關(guān)于學(xué)生學(xué)習(xí)過程中的注意力集中點(diǎn)和理解程度的實時反饋,有助于個性化教學(xué)策略并改進(jìn)課程內(nèi)容。此外,這項技術(shù)也能應(yīng)用于職業(yè)訓(xùn)練,如飛行員模擬訓(xùn)練、手術(shù)模擬等,通過跟蹤學(xué)員的眼球運(yùn)動來評估其決策速度和準(zhǔn)確性。 

然而,盡管眼動追蹤技術(shù)帶來了諸多益處,但在廣泛應(yīng)用前仍需解決一些關(guān)鍵問題。首先,需要確保眼動追蹤設(shè)備能在不同環(huán)境條件下穩(wěn)定、準(zhǔn)確地工作,并能舒適地適應(yīng)各種人群,包括佩戴眼鏡的用戶和其他具有特殊眼部特征的人群。其次,隱私保護(hù)措施必須到位,以消除用戶對眼球運(yùn)動數(shù)據(jù)被濫用的擔(dān)憂。最后,要建立統(tǒng)一的標(biāo)準(zhǔn)和接口,促進(jìn)眼動追蹤硬件與軟件生態(tài)系統(tǒng)的互操作性,降低開發(fā)成本并加快應(yīng)用創(chuàng)新的步伐。 

隨著技術(shù)的不斷進(jìn)步和完善,眼動追蹤將在未來虛擬現(xiàn)實及更多領(lǐng)域發(fā)揮更大的作用,從提升娛樂體驗到深化科學(xué)研究,再到推動教育培訓(xùn)方式變革,都將展現(xiàn)其強(qiáng)大的潛力與價值。 

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。