正在閱讀:

解密通往元宇宙的三大入口，VR先上AR緊跟，但腦機接口才是未來

掃一掃下載界面新聞APP

解密通往元宇宙的三大入口，VR先上AR緊跟，但腦機接口才是未來

VR、AR和腦機接口，誰是人類通往元宇宙的合適入口？

智東西 ·

文|華泰證券  黃樂平 等

編輯|智東西內(nèi)參

VR/AR/腦機接口是集合了微顯示、傳感器、芯片和算法等多項技術(shù)在內(nèi)的下一代人機交互平臺?；仡櫿麄€人機交互發(fā)展歷程，我們看到人機交互的指令輸入形式和反饋輸出形式都在朝著更低的操作門檻和更高的交互效率演變。當(dāng)前我們正站在智能手機時代和下一個交互形態(tài)的交界處，我們認為盡管 VR/AR 在輸入技術(shù)（傳感）和輸出技術(shù)（顯示）方面均較上一代交互設(shè)備有顯著飛躍，但目前仍處于發(fā)展的早期階段。隨著元宇宙應(yīng)用的發(fā)展和內(nèi)容生態(tài)的完善，元宇宙對硬件的需求逐步清晰，將推動 VR/AR/腦機接口設(shè)備的逐步升級，最終有望出現(xiàn)可以和 PC、智能手機媲美的下一代硬件。

本期的智能內(nèi)參，我們推薦華泰證券的報告《人機交互系統(tǒng)是通往元宇宙的入口》，分析VR、AR和腦機接口設(shè)備在元宇宙時代的發(fā)展趨勢。

01.元宇宙場景落地，定義下一代人機交互升級方向

隨著元宇宙應(yīng)用場景的清晰化，未來 VR/AR/腦機接口的發(fā)展方向逐漸明確。早期的硬件設(shè)備受制于應(yīng)用場景和內(nèi)容單一化、用戶對硬件設(shè)備的體驗不完善等缺陷，初代VR/AR 并未實現(xiàn)大規(guī)模增長。

現(xiàn)在，我們看到游戲、電商、協(xié)同辦公、社交、健身、醫(yī)療、視頻和等元宇宙應(yīng)用場景正逐漸清晰，這對 VR/AR/腦機接口硬件端提出了更高的需求，有望驅(qū)動包括微顯示技術(shù)、三維重建、生物傳感器、肌電/腦電處理、全身追蹤、空間定位在內(nèi)的多項底層技術(shù)不斷完善。

▲元宇宙各大應(yīng)用場景對沉浸感和交互感的要求

1、游戲：強調(diào)“沉浸感”的元宇宙游戲需要多平臺/VRAR/云原生技術(shù)作為底層技術(shù)支撐

當(dāng)前游戲已具備元宇宙所擁有的虛擬身份、朋友、經(jīng)濟系統(tǒng)等特點，但未能給玩家完全帶來“沉浸感”，硬件方面主要受制于近眼顯示和多維感官傳感技術(shù)不夠成熟。未來，元宇宙游戲?qū)⒊鼜姷某两信c更豐富的內(nèi)容生態(tài)方向發(fā)展，需要借助成熟的場景渲染和沉浸聲場技術(shù)增強聲畫效果，借助全身運動追蹤、傳感器、空間定位等技術(shù)增強臨場感。優(yōu)質(zhì)的游戲內(nèi)容創(chuàng)新將與 VR/AR 硬件升級互相形成正反饋效應(yīng)，促進元宇宙游戲生態(tài)的發(fā)展，并為高性能計算芯片、硅基 OLED、Micro LED 以及相關(guān)設(shè)備組裝企業(yè)帶來增量空間。

▲元宇宙游戲發(fā)展方向及底層技術(shù)

2、電商：虛實交融的沉浸式購物模式為近眼顯示、AI 芯片、傳感器帶來發(fā)展機遇

傳統(tǒng)電商平臺仍主要以圖片和視頻等平面化形式展示商品。盡管近年來電商直播、AR 試妝等形式興起，一定程度上彌補了傳統(tǒng)電商在購物時較為單薄的觀感體驗，然而對于服飾等SKU 豐富的非標(biāo)品類商品，用戶仍然無法對其進行在線試品。在“在線即在場”的終極需求驅(qū)動下，元宇宙時代的電商有望進一步突破物質(zhì)世界屏障，通過 AR/VR/MR 等新一代人機交互平臺實現(xiàn)視聽甚至觸覺等多感官交互的購物體驗，創(chuàng)造如 3D 虛擬商場、數(shù)字展館等消費者購買場景。我們認為這一進程主要依賴于近眼顯示、三維重建、觸覺傳感乃至虛擬人等技術(shù)的成熟，將為相關(guān)微顯示、傳感器、芯片企業(yè)帶來增長空間。

▲元宇宙電商有望借助 VR/AR/MR 實現(xiàn)“在線即在場”的沉浸式購物體驗

3、協(xié)同辦公/社交：借助手勢追蹤、語音識別、眼動追蹤、虛擬化身實現(xiàn)互動感

未來元宇宙辦公/社交有望突破物理空間的局限，將帶來最接近實地面對面的工作和交友體 驗，提升辦公生產(chǎn)、溝通、協(xié)作效率。當(dāng)前移動互聯(lián)網(wǎng)階段的遠程辦公距離理想模式有一定差距，工作效率與溝通效果仍存在局限性。而元宇宙辦公/社交則強調(diào)互動感，例如，用戶可以全程通過手勢操作，即可滿足在 VR 虛擬空間中舉手、豎大拇指點贊等功能，顯著降低人機交互平臺操作門檻，同時實現(xiàn)無距離感互動。這一場景的實現(xiàn)將主要借助手勢讀取、眼動追蹤、語音識別、空間定位等 VR/AR 底層技術(shù)。

4、醫(yī)療與健康：VR/AR/腦機硬件將搭載先進生物監(jiān)測以及腦電信號處理技術(shù)

在生物監(jiān)測方面，當(dāng)前隨著心率監(jiān)測、血氧檢測技術(shù)的成熟，已有部分智能手環(huán)和手表產(chǎn)品中引入了醫(yī)療級功能，向著更專業(yè)的醫(yī)療設(shè)備進化將是智能穿戴重要發(fā)展方向。未來，智能穿戴產(chǎn)品有望大規(guī)模搭載 ECG 心電圖以及無創(chuàng)血糖檢測等新功能，針對老年群體、慢病群體提供更專業(yè)的服務(wù)，這也對血糖、血氧等生物監(jiān)測技術(shù)提出了更高的要求。長期來看，人機交互硬件在醫(yī)療與健康領(lǐng)域有望拓展到服務(wù)神經(jīng)系統(tǒng)和肌肉系統(tǒng)癱瘓的患者（如腦、脊髓疾病、中風(fēng)、外傷等），這一需求將為腦機接口技術(shù)創(chuàng)造可觀的發(fā)展前景。

▲生物檢測與輔助健身場景

5、視頻：VR/AR 技術(shù)帶來高沉浸感的流媒體觀賞體驗

傳統(tǒng)影視作品、長視頻與短視頻仍主要通過電視、影院、視頻平臺等媒介傳播，受制于平面化的表現(xiàn)形式，內(nèi)容的表現(xiàn)力仍有較大提升空間。元宇宙時代，觀眾有望使用先進 VR/AR設(shè)備更沉浸地觀看電影、現(xiàn)場實況、音樂會等內(nèi)容，娛樂性與體驗感將迎來質(zhì)的飛躍。目前包括 Netflix 和愛奇藝在內(nèi)的長視頻平臺已對“元宇宙+視頻”的落地做出了積極探索。

6、模擬訓(xùn)練/教育：將實現(xiàn)虛擬空間中對實體環(huán)境的仿真映射

模擬訓(xùn)練是指將現(xiàn)實中的場景復(fù)刻到虛擬世界中，應(yīng)用于軍事訓(xùn)練、工業(yè)設(shè)計、教學(xué)訓(xùn)練、安全應(yīng)急演練等較為復(fù)雜或具有高危險系數(shù)的領(lǐng)域。工業(yè)領(lǐng)域中，制造業(yè)企業(yè)將在仿真虛擬空間中充分利用各類數(shù)據(jù)，優(yōu)化工業(yè)生產(chǎn)環(huán)節(jié)中的設(shè)備工藝和作業(yè)流程。

軍事和安全應(yīng)急領(lǐng)域均有進行模擬演練的需求，未來有望在虛擬場景開展更大規(guī)模和更復(fù)雜的軍事和應(yīng)急訓(xùn)練，實現(xiàn)節(jié)省訓(xùn)練成本、提高安全性的目的。鑒于模擬訓(xùn)練用途的特殊性，其對沉浸感和交互感的要求相對而言較低，無需依賴高端硬件設(shè)備加成，目前已有曼恒科技、壹傳誠等企業(yè)實現(xiàn)了商業(yè)化。

02.AR/VR，下一代人機交互平臺

VR 是 Virtual Reality（虛擬現(xiàn)實）的縮寫，指計算機圖形技術(shù)、計算機仿真技術(shù)、傳感器技術(shù)、顯示技術(shù)等多種科學(xué)技術(shù)，在多維信息空間上創(chuàng)建一個虛擬信息環(huán)境，提供使用者關(guān)于視覺、聽覺、觸覺等感官的模擬，能使用戶具有身臨其境的沉浸感，具有與環(huán)境完善的交互作用能力的一種嶄新的人機交互手段。

VR 頭顯經(jīng)歷 VR 盒子、VR 頭盔、VR 一體機三階段，爆款產(chǎn)品持續(xù)主導(dǎo)硬件消費市場。2Q21 全球 VR 產(chǎn)品出貨量達 212.6 萬臺，同比增長 136.4%，其中 Oculus Quest 2 出貨量占 75%，持續(xù)主導(dǎo)市場。從 2014 年開始，行業(yè)銷量由爆款產(chǎn)品主導(dǎo)的特點仍然沒有變化（2015-2017 年三星 VR 盒子、2016-2018 年 PS VR、2019 年至今 Oculus 一體機）。

▲VR 歷史銷量：VR 盒子、VR 頭盔、VR 一體機持續(xù)迭代

▲主流 VR 產(chǎn)品比較

2022 年 VR 將迎來一波創(chuàng)新技術(shù)潮流， MetaVR 產(chǎn)品迎來升級，蘋果推出高端產(chǎn)品。根據(jù)digitimes，推測 Meta 下一代 VR 升級產(chǎn)品將于明年推出，將引入 pancake 光學(xué)模組和更多傳感器，以實現(xiàn)產(chǎn)品輕量化，并升級手勢識別、眼動跟蹤等功能；而蘋果也將在 2022年底推出一款高端 VR 方案，這款高端產(chǎn)品能夠會重新定義 VR 這個產(chǎn)品形態(tài)。預(yù)計這款產(chǎn)品將配備 Micro-OLED 顯示屏，復(fù)合菲涅爾透鏡 pancake 方案，全彩影像透視、搭載更多傳感器，為消費者帶來全新混合現(xiàn)實體驗。

在 Meta 較早的pancake 技術(shù)專利中，我們可以看見一個顯示組件包括具有四分之一波片和部分反射表面的第一透鏡、具有反射偏振器的第二透鏡和顯示器，實現(xiàn)頭顯的輕薄化。我們認為，蘋果同樣在探索使用三個菲涅爾透鏡堆疊，形成輕薄透鏡組的方案。改進光學(xué)透鏡后的 VR 產(chǎn)品將實現(xiàn)輕薄化，頭顯重量或由原來的 500g 降低至 200-300g。

Meta 下一代 VR 產(chǎn)品與蘋果 MR 產(chǎn)品將會增加傳感器，主要是攝像頭的種類與數(shù)量。高通在其官網(wǎng)上披露，高通驍龍 XR2 芯片算力最多可支持 7 顆攝像頭（2 顆眼動追蹤，2 顆混合現(xiàn)實，2 顆頭部 6DoF追蹤，1 顆其他），并可以此實現(xiàn) MR 混合現(xiàn)實功能。我們認為 Meta 下一代或充分利用驍龍 XR2 算力，為產(chǎn)品進行功能升級。

根據(jù) digitimes 等雜志 2022 年 1 月中旬的報道，蘋果或?qū)⒋钶d與 M1 芯片相似算力高階處理器和一個負責(zé)傳感器的低階處理器，支持 5-8 個外置相機模組，2 個內(nèi)置眼動追蹤相機模組，1-2 個 ToF 攝像頭，以實現(xiàn)全彩RGB 影像透視和眼動追蹤、手勢追蹤等功能，實現(xiàn)內(nèi)容與應(yīng)用邊界的拓展，也為內(nèi)容生產(chǎn)商提供更多的數(shù)據(jù)支持。

為 Meta 下一代或沿用 FastLCD 屏幕，與 quest 2 分辨率差別不大，但具有像素級控制的先進背光，可以展示和 OLED 一樣的純黑底色；而蘋果或使用高分辨率、高對比度、寬色域、快速響應(yīng)的 Micro-OLED 顯示屏，隨之而來的或是高昂的售價，根據(jù)Digitimes 等媒體 2022 年 1 月中旬的報道，新一代蘋果 MR 產(chǎn)品售價可能達到 1500-3000美元，高于當(dāng)前 Oculus quest 2 的最低售價 299 美元。

03.AR：新技術(shù)強勢推動

AR（Augmented Reality，增強現(xiàn)實）是促使真實世界信息和虛擬世界信息內(nèi)容之間綜合在一起的較新的技術(shù)內(nèi)容，與 VR 不同的是，AR 能夠?qū)⒄鎸嵀h(huán)境和虛擬物體之間重疊之后，在同一個畫面以及空間中同時存在。AR 中的關(guān)鍵技術(shù)包括跟蹤定位技術(shù)、虛擬與現(xiàn)實合并技術(shù)、顯示技術(shù)與交互技術(shù)。

根據(jù) IDC，2020-2021 年 AR 年出貨（不含Screenless viewer）在 20-30 萬之間，增速波動大。從品牌來看，除 Epson 和微軟外，其他較多品牌并沒有實現(xiàn) AR 的持續(xù)大規(guī)模銷售，常常在 1-2 個季度的爆發(fā)后銷聲匿跡，消費端市場上沒能出現(xiàn)標(biāo)桿性的品牌，我們認為 AR 作為一款消費電子產(chǎn)品仍然處于概念期階段。

長期來看 AR 終端有望替代手機，實現(xiàn)年出貨量超過 10 億臺（對比手機出貨量超過 13 億臺），但目前來看實現(xiàn)這個目標(biāo)時日尚早。從應(yīng)用看，AR 產(chǎn)品仍未出現(xiàn)殺手級的應(yīng)用場景。從技術(shù)角度看，雖然OLED+Birdbath 方案已經(jīng)比較成熟，但因透光性差等原因，形似墨鏡的設(shè)計不能支持全環(huán)境的使用。而其他微顯示系統(tǒng)如 LBS/LCoS/DLP 等搭配光波導(dǎo)的方案仍在探索過程中。

一款合格 AR 眼鏡需要怎樣的配置？

顯示：由于 AR 像源產(chǎn)生的圖像將與太陽光一起進入人眼，戶外若不加墨鏡，入眼亮度需超過 2,000nits，甚至達到 5,000nits，才能在各種天氣狀況下清楚的顯示圖像。目前一款光波導(dǎo)眼鏡的光效率大約為 3-5%，即像源亮度至少要在10 萬 nits 左右，才能滿足 AR 眼鏡的亮度需求。此外，75Hz 以上的刷新率、25°視場下 720P的分辨率、支持局部刷新及低功耗狀態(tài)下靜態(tài)圖像的維持，是一款 AR 眼鏡的及格線。

人、機、環(huán)境的有效交互：為了實現(xiàn)虛擬信息和真實場景的疊加，需要實現(xiàn)使用者的空間定位追蹤和虛擬物體在真實空間中定位。除此之外，為了將虛擬信息與輸入的現(xiàn)實場景無縫結(jié)合在一起，增強 AR 使用者的體驗，還需要考慮虛擬事物與真實事物之間的遮擋關(guān)系以及實現(xiàn)幾何一致、模型真實、光照一致和色調(diào)一致。從上世紀(jì) 80 年代發(fā)展到現(xiàn)在，SLAM 傳感器、算法、技術(shù)框架等持續(xù)改進，是實現(xiàn)自我姿態(tài)評價以及虛擬圖像反饋，構(gòu)建人與虛擬內(nèi)容的有效交互的主要手段。

當(dāng)前已提出的微顯示技術(shù)包括 OLED（有機發(fā)光二極管）/ LCoS（硅基液晶）/ DLP（數(shù)字光處理）/LBS（激光束掃描儀）等待，但這些技術(shù)均無法兼顧成熟性、性能、成本等指標(biāo)。MicroLED 是業(yè)內(nèi)公認的 AR 顯示最佳解決方案，但存在技術(shù)尚不成熟、量產(chǎn)難度大等問題，真正大面積商用可能要到 2025 年左右。

▲微顯示技術(shù)一覽

LCoS —— 限制較多，逐漸淡出 。LCoS 作為微顯示技術(shù)存在比較明顯的限制，逐漸淡出微顯示領(lǐng)域。LCoS 的優(yōu)勢在于技術(shù)成熟，成本低廉，像素密度高且功耗低，在早期的 AR 設(shè)備中應(yīng)用較多，如靈犀微光靈犀AR(LCoS+幾何光波導(dǎo))，Magic Leap One (LCoS+衍射光波導(dǎo))。但劣勢也相對明顯，大量廠商都在積極尋求使用 LBS/DLP 等方案代替 LCoS，2018 年以后搭載 LCoS 的新機型逐漸淡出。

硅基 OLED —— 亮度較低，目前難以應(yīng)用于戶外 AR 場景。硅基 OLED 的缺點也比較明確，應(yīng)用局限于 VR 及類似設(shè)備。目前市場上主流的硅基 OLED產(chǎn)品亮度均小于 3000nits，與 10 萬 nits 的要求相去甚遠，難以應(yīng)用于戶外 AR 場景。同時，由于產(chǎn)品的生產(chǎn)工藝更加復(fù)雜，其價格比 LCoS 貴 50%以上，但使用壽命在高亮度模式下將低于 3000 小時且極有可能出現(xiàn)燒屏的情況，整體性價比更低。因此，雖已有部分 AR 廠商使用硅基 OLED 替代 LCoS，但其仍不是 AR 像源的最佳解決方案。

LBS —— 激光二極管對溫度敏感、分辨率較差。與 LCoS 等其他顯示技術(shù)相比，LBS 技術(shù)優(yōu)勢明顯。LBS 系統(tǒng)主要由激光、光學(xué)器件和MEMS Mirror 組成由于 LBS 使用激光光源進行逐像素渲染，相較其他非激光、逐幀渲染方案天然具有延遲低（激光納秒 vs 普通光源毫秒）、畫面滯留時間短、亮度高、能耗低、色彩豐富的優(yōu)勢。

當(dāng)前主流的 LBS 產(chǎn)品分辨率約720P，提高分辨率可能需要較高的成本。AR 硬件/軟件企業(yè) Rave 首席科學(xué)家 Karl Guttag將搭載 LBS 光機的 HoloLens 2 代和搭載 LCoS 光機的 HoloLens 1 代進行對比測試后發(fā)現(xiàn)，雖然 HoloLens 2 的垂直視場角較 1 代提升近一倍（30 度 vs 17.5 度），但其在分辨率、色彩均勻性等方面的表現(xiàn)均更差。此外，HoloLens 2 實拍圖色彩飽和度更低，觀感模糊，霧度也更大。

DLP —— 對溫度敏感，難以小型化。DLP 由于成本高、體積大等缺陷，在 AR 場景中的應(yīng)用有一定限制。DLP（Digital Light Processing）系統(tǒng)的核心是 TI 專利的 DMD 芯片（Digital Micromirror Device），它由數(shù)百萬個高反射的鋁制獨立微型鏡片組成，每個鏡片通過數(shù)量龐大的超小型數(shù)字光開關(guān)控制角度。這些開關(guān)可以接受電子訊號代表的資料字節(jié)，然后產(chǎn)生光學(xué)字節(jié)輸出，將輸入 DMD 的視頻或圖形信號轉(zhuǎn)換成高清晰度的、高灰度等級的圖像。

MircoLED —— 仍處在早期階段，較多技術(shù)問題需要解決。MicroLED 產(chǎn)品性能絕佳，是業(yè)內(nèi)公認的 AR 顯示最佳解決方案。Micro LED 即 LED 微縮技術(shù)，通過將傳統(tǒng) LED 陣列化、微縮化后定址巨量轉(zhuǎn)移到電路基板上形成超小間距 LED，可將毫米級別的 LED 長度進一步縮小到微米級（50um 左右，原本 LED 的 1%）。相較其它技術(shù)，MicroLED 產(chǎn)品性能在亮度、對比度、工作溫度范圍、刷新率、分辨率、色域、功耗、延時、體積、壽命等多方面具備較大優(yōu)勢，被期望為下一代主流顯示技術(shù)的重要路徑。

MicroLED 的發(fā)展瓶頸在于微米級的像素尺寸和間距給量產(chǎn)和全彩方案所帶來的巨大挑戰(zhàn)。MicroLED 的生產(chǎn)包括芯片和背板制造、巨量轉(zhuǎn)移、接合、驅(qū)動和檢測維修等環(huán)節(jié)，由于其晶粒尺寸在微米級，生產(chǎn)單個成品即需要處理數(shù)百萬甚至數(shù)千萬晶粒，對技術(shù)的效率和良率提出了極為嚴(yán)苛的要求，現(xiàn)有技術(shù)水平還無法滿足其量產(chǎn)需求。而 MicroLED 晶粒的發(fā) 光效率、波長一致性和良率也尚未達到 MicroLED 彩色化顯示的要求?；诖?，現(xiàn)有MicroLED 屏幕價格高昂，單片售價即大于 1000 美金。2018 年三星演示的采用 microLED技術(shù)的 The Wall 電視，146 寸版報價高于 10 萬美元。

光學(xué)模組：從幾何光學(xué)到納米光學(xué)。與 VR 的不同之處在于，AR 眼鏡需要透視（see-through），既要看到真實的外部世界，也要看到虛擬信息，所以成像系統(tǒng)不能擋在實現(xiàn)前方，這就需要多加一個或一組光學(xué)組合，通過層疊的方式，將虛擬信息和真實場景融為一體，設(shè)計包括自由曲面，光波導(dǎo)等。

▲AR 光學(xué)模組梳理

光波導(dǎo)技術(shù)是應(yīng) AR 需求而生的一個比較有特色的光學(xué)組件。因它的輕薄與外界光線的高穿透特性而被認為是消費級 AR 眼鏡的必選光學(xué)方案。

AR 眼鏡中光的傳輸關(guān)鍵在于“全反射”。其實，波導(dǎo)技術(shù)并不是新發(fā)明，光纖就是波導(dǎo)的一種，只不過傳輸?shù)氖俏覀兛床灰姷募t外波段的光。光機完成成像過程后，波導(dǎo)將光耦合進自己的玻璃基底中，通過“全反射”原理將光傳輸?shù)窖劬η胺皆籴尫懦鰜恚屯瓿闪藞D像的傳輸。

越是大的視場角，就需要越高折射率的玻璃基底來實現(xiàn)。因此傳統(tǒng)玻璃制造商比如康寧和肖特，近年來都在為近眼顯示市場研制專門的高折射率并且輕薄的玻璃基底，還在努力不斷增大晶元尺寸以降低波導(dǎo)生產(chǎn)的單位成本。

具體來看，當(dāng)前光波導(dǎo)技術(shù)可以分為下面三種：

1) 幾何/列陣光波導(dǎo)。該概念和專利一直由以色列公司 Lumus 提出并持續(xù)優(yōu)化迭代，基本原理是耦合光進入波導(dǎo)的一般是一個反射面或者棱鏡。在多輪全反射后光到達眼鏡前方時，會遇到一個“半透半反”鏡面陣列，將光耦合出波導(dǎo)。幾何/列陣光波導(dǎo)目前大都只能實現(xiàn)一維擴瞳。這里的“半透半反”鏡面陣列相當(dāng)于將出瞳沿水平方向復(fù)制了多份，每一個出瞳都輸出相同的圖像，這樣眼睛在橫向移動時都能看到圖像，這就是一維擴瞳技術(shù)(1D EPE)。

2) 浮雕光柵衍射光波導(dǎo)。傳統(tǒng)的光學(xué)結(jié)構(gòu)被平面的衍射光柵取代，通過材料表面浮雕出來的高峰和低谷，在材料中形成了一個折射率的周期性變化。通過設(shè)計光柵的參數(shù)(材料折射率、光柵形狀、厚度、占空比等)可以將某一衍射級(即某一方向)的衍射效率優(yōu)化到最高，從而使大部分光在衍射后主要沿這一方向傳播。

用衍射光柵可以實現(xiàn)二維擴瞳，digilens 和 WaveOptics 分別具有兩種技術(shù)方案。Hololens I, Vuzix Blade, Magic Leap One, Digilens 等使用的方法是，當(dāng)入射光柵將光耦合入波導(dǎo)后，會進入一個轉(zhuǎn)折光柵的區(qū)域，這個區(qū)域內(nèi)的光柵溝壑方向與入射光柵呈一定角度，那么它就像一個鏡子一樣將 X 方向打來的光反射一下變成沿 Y 方向傳播。另外一種實現(xiàn)二維擴瞳的方式是直接使用二維光柵，即光柵在至少兩個方向上都有周期，將單向“溝壑”變?yōu)橹鶢铌嚵小aveOptics 就是采用的這種結(jié)構(gòu)，從入射光柵耦合進波導(dǎo)的光直接進入一個具有二維柱狀陣列發(fā)區(qū)域，可以同時將光線在 X 和 Y 兩個方向?qū)崿F(xiàn)擴束，并且一邊傳播一邊將一部分光耦合出來進入人眼。

3) 布拉格光柵衍射光波導(dǎo)（也叫全息光柵光波導(dǎo)）。利用光全息術(shù)在記錄材料薄膜上記錄點光源的干涉條紋，再經(jīng)過處理制成光柵條紋結(jié)構(gòu)的薄膜光學(xué)元件，具有光束準(zhǔn)直、聚焦、偏轉(zhuǎn)等功能。其對光的衍射符合布拉格定律，只有滿足布拉格條件的入射光才會被衍射，不滿足布拉格條件的入射光不被衍射。目前在做全息體光柵(VHG)波導(dǎo)方案的廠家比較少，包括十年前就為美國軍工做 AR 頭盔的 Digilens，曾經(jīng)出過單色 AR 眼鏡的 Sony，還有由于被蘋果收購的 Akonia。

SLAM：理解環(huán)境與使用者，實現(xiàn)虛擬信息和現(xiàn)實世界的結(jié)合。SLAM（Simulataneous Localization and Mapping），同步定位與地圖構(gòu)建，指在運動過程中通過重復(fù)觀測到的環(huán)境特征定位自身位置和姿態(tài)，再根據(jù)自身位置構(gòu)建周圍環(huán)境的增量式地圖，從而達到同時定位和地圖構(gòu)建的目的。

現(xiàn)代流行的 SLAM 系統(tǒng)大概可以分為前端和后端。前端通過傳感器實現(xiàn)數(shù)據(jù)關(guān)聯(lián)，研究幀與幀之間變換關(guān)系，主要完成實時的位姿跟蹤，對輸入的圖像進行處理，計算姿態(tài)變化。后端主要對前端的輸出結(jié)果進行優(yōu)化，得到最優(yōu)的位姿估計和地圖。

SLAM 在 ARVR 中有較多應(yīng)用，AR 中主要是 1）現(xiàn)實物體與虛擬物體的有效交互，2）實現(xiàn)語義理解，優(yōu)化智能輔助功能：

實現(xiàn)虛擬世界和現(xiàn)實世界之間坐標(biāo)疊加、實現(xiàn)幾何物理信息交互。與電腦、平板、手機的3D 顯示不同，AR 更注重虛擬信息與真實信息的無縫融合，即圖像出現(xiàn)的平面位置與景深準(zhǔn)確、帶來沉浸感的良好體驗。這就需要利用 SLAM 算法，準(zhǔn)確疊加虛擬坐標(biāo)系和真實坐標(biāo)系。同時，真實環(huán)境中有高低起伏、有障礙物、有遮擋關(guān)系，AR 可以讓虛擬信息跟這些真實環(huán)境中的物理信息進行交互。

隨著機器學(xué)習(xí)和深度學(xué)習(xí)的發(fā)展，虛擬信息可以“理解”真實世界，讓二者的融合更趨于自然。當(dāng)前計算機已經(jīng)可以已經(jīng)可以認出圖片上的內(nèi)容，但沒有理解內(nèi)容之間的關(guān)系，當(dāng)前的一項研究方向是，應(yīng)用 SLAM+AI 技術(shù)，通過特征提取，實現(xiàn)機器的語義理解，優(yōu)化 AR 系統(tǒng)的輔助功能。

傳感器：交互方式與應(yīng)用場景升級推動傳感器升級。AR 中交互方式的升級，帶來更多樣信息需求。隨著人機交互由 2D 走向 3D，交互方式逐漸多樣化，向人類本能發(fā)展，手勢交互、姿勢交互、眼動交互、語音交互，甚至結(jié)合生物信號、周圍環(huán)境交互的方式不斷進化，這對更多種類的信息提出了要求，用戶運動類、生物類信息，以及其他環(huán)境信息都將為人機交互提供底層支持。

大量信息需求為運動類、生物類、環(huán)境類各型傳感器提供增量機會。當(dāng)前蘋果手機、手表廣泛運用多種運動、生物型傳感器，與之對比，VR 爆款產(chǎn)品 Oculus quest 2 頭顯僅搭載了4 顆黑白攝像頭，手柄配備了兩組陀螺儀加速度計傳感器。未來，為實現(xiàn)更深度沉浸和更便捷交互，測距攝像頭、眼動追蹤攝像頭、精細化壓力傳感器，甚至生物型、環(huán)境型傳感器，都將逐漸配備。

04.腦機接口離現(xiàn)實還有多遠？

腦機接口（Brain Computer Interface，BCI）1976 年由加州大學(xué)洛杉磯分校的雅克·維達爾(Jacques J. Vidal)提出。一個完整的腦機接口過程包括信號采集、信息解碼處理、信號 輸出/執(zhí)行、反饋四個步驟實現(xiàn)。腦機接口可以通過電、磁、光、聲進行信號采集與反饋，而腦電技術(shù)是目前主流探索方向。事實上采集中樞神經(jīng)信號以監(jiān)測大腦活動的方法有很多種，包括腦電、功能近紅外光譜（functional near-infrared spectroscopy, fNIRS）、功能磁共振成像（functional magneticresonance imaging, fMRI）等，反饋技術(shù)也同樣包括電、磁、聲、光多種。

馬斯克提出的一個經(jīng)典論述是“人類不能被 AI 淘汰，要與 AI 融合，在大腦和電腦之間創(chuàng)建一個接口”。隨著我們對腦科學(xué)的不斷認識和腦機接口技術(shù)下對人類肢體限制的不斷突破，人腦的潛能或得到釋放。

在各種監(jiān)測技術(shù)中，腦電因為時間分辨率高、設(shè)備價格低廉且便攜等優(yōu)點，逐漸成為腦機接口研究最主流的探索方向。腦機接口主要包括以下幾種技術(shù)：

1) 腦電采集：腦電采集是 BCI 的關(guān)鍵步驟，采集的效果、信號強弱、穩(wěn)定性及帶寬大小直接決定后續(xù)的處理及輸出。由于大腦的中樞神經(jīng)元膜電位的變化會產(chǎn)生鋒電位（spikes），或動作電位（action potentials），并且神經(jīng)細胞突觸間傳遞的離子移動會形成場電位（field potentials），通過在大腦皮質(zhì)的運動神經(jīng)位置外接或植入微型電極，可以采集并放大這些神經(jīng)生理信號。

2) 信號解碼處理：信號處理是將轉(zhuǎn)化為電信號的大腦活動，去除干擾電波以及其他信號，并將目標(biāo)分類并處理，轉(zhuǎn)化為可以執(zhí)行輸出的對應(yīng)信號。

3) 信號輸出及執(zhí)行：信號輸出指將收集并處理后的腦電波信號傳輸至已連接的設(shè)備器材，作為數(shù)據(jù)基礎(chǔ)加工內(nèi)容，或反饋到終端機器以形成指令，甚至實現(xiàn)直接交互。

4) 反饋：在信號執(zhí)行后，設(shè)備將產(chǎn)生動作或顯示內(nèi)容，參與者將通過視覺、觸覺或聽覺感受到第一步產(chǎn)生的腦電波已被執(zhí)行，并觸發(fā)反饋信號。

根據(jù)腦電的采集方式，當(dāng)前的腦機接口又可以分為侵入式、非侵入式 。

非侵入式是在人/動物大腦外部佩戴腦機接口設(shè)備，通過采集腦電、神經(jīng)電獲取腦部信息，但信息精度及分辨率較低，可用于簡單的信號判斷與反饋，但較難傳達復(fù)雜指令，如幫助肢體殘障人士通過意念操控機械骨骼，或用于 VR/AR游戲應(yīng)用的基礎(chǔ)手勢控制。非侵入式根據(jù)收集信息的不同可以分為 EEG（收集腦電）和MEG（收集磁場）兩種。

1）EEG：通過導(dǎo)電凝膠將 Ag/AgCI 電極固定在頭皮上，以測量頭皮腦電信號，但一般只能監(jiān)測到 0-50Hz 相對較窄頻帶中的信息。

2）MEG：通過測量細胞內(nèi)離子電流引起的小磁場獲得信號，但由于高昂的成本和操作方法的繁瑣（電磁封鎖環(huán)境，保持絕對靜止），MEG 并不是一個理想的解決方案。

侵入式腦機接口主要應(yīng)用于醫(yī)療康復(fù)領(lǐng)域。侵入式將設(shè)備直接植入到人/動物大腦灰質(zhì)或顱腔內(nèi)，能夠獲取相對高頻、準(zhǔn)確的神經(jīng)信號，不僅能夠通過讀取腦電信號來控制外部設(shè)備，還能夠通過精確的電流刺激讓大腦產(chǎn)生特定感覺。侵入式腦機接口可以分為 ECoG、LFP、SUA 等類型。

1） ECoG：測量大腦皮層電位，與 EEG 技術(shù)相似，但能夠監(jiān)測到更大帶寬的信息；

2） LFP、SUA：測量大腦皮層場電位與鋒電位，可以通過 Mircowire array，Michigan array，Utah array，Neurotrophic electrode 等多種傳感器實現(xiàn)。

侵入式采取電信號的方法，具有較高的空間分辨率、良好的信噪比和更寬的頻帶，但目前仍然面臨著有創(chuàng)帶來的安全問題、難以獲得長期穩(wěn)定的記錄、需要醫(yī)護人員長時間連續(xù)的觀察等問題，目前應(yīng)用仍局限于醫(yī)療康復(fù)領(lǐng)域。

隨著人們對大腦的認知、電極設(shè)計、和人工智能算法的精進，腦機接口領(lǐng)域應(yīng)用也持續(xù)拓展，并向更加精細化發(fā)展。腦機接口相關(guān)的研發(fā)已經(jīng)在仿生學(xué)、醫(yī)療診斷與干預(yù)、消費電子等多個領(lǐng)域進行持續(xù)探索，相關(guān)產(chǎn)品可能將在未來 20-30 年內(nèi)陸續(xù)商業(yè)化，支撐起近千億美元的市場規(guī)模。

目前來看，腦機接口在以下三個場景最有希望率先落地：

應(yīng)用場景1：醫(yī)療健康領(lǐng)域是腦機接口當(dāng)前最接近商業(yè)化的領(lǐng)域。腦機接口可以幫助實時監(jiān)控和測量神經(jīng)系統(tǒng)狀態(tài)，輔助臨床判讀?！氨O(jiān)測”型腦機接口應(yīng)用方向十分多樣，包括評測陷入深度昏迷患者的意識等級，測量視/聽覺障礙患者神經(jīng)通路狀態(tài)協(xié)助醫(yī)生定位病因等等。除此之外，通過結(jié)合腦電、視頻等多元信息進行診

監(jiān)測到的腦電信息可以用于加工、反饋，針對多動癥、中風(fēng)、抑郁癥等做對應(yīng)的恢復(fù)訓(xùn)練。例如，對于運動皮層相關(guān)部位受損的中風(fēng)病人，腦機接口可以從受損的皮層區(qū)采集信號，然后刺激失能肌肉或控制矯形器，改善手臂運動；運動想象類腦機接口可以用于孤獨癥兒童的康復(fù)訓(xùn)練，提升他們對于感覺運動皮層激活程度的自我控制能力，從而改善孤獨癥的癥狀，也可以通過腦電信號的反饋，訓(xùn)練使用者的專注力。療，能夠輔助醫(yī)生判讀腦損傷、腦發(fā)育等多種臨床適應(yīng)癥。

基于電、聲、光、磁刺激進行神經(jīng)調(diào)控的腦機接口已經(jīng)實現(xiàn)商業(yè)化。相關(guān)應(yīng)用包括：通過電刺激治療進行神經(jīng)康復(fù)，主要針對腦卒中、 帕金森等中樞神經(jīng)或周圍神經(jīng)損傷所致的運動功能障礙，如偏癱、肌萎縮、肌力低下、步行障礙、手功能障礙；通過顱磁刺激治療抑郁癥，以及對腦卒中所致的言語功能障礙、吞咽障礙、認知功能障礙進行治療。國內(nèi)外多家公司包括偉思醫(yī)療，Neuronetics，Brainsway等公司已經(jīng)推出相關(guān)產(chǎn)品。

BrainCo 強腦科技在 2019 年推出世界上第一款可以意識控制每一根手指的非侵入式智能仿生手后，在今年再次推出一款適合不同傷殘等級的仿生腿產(chǎn)品。根據(jù)公司介紹，這款產(chǎn)品每秒可提取 2 萬個肌電神經(jīng)電數(shù)據(jù)，因此能快速、準(zhǔn)確地識別用戶意圖，并根據(jù)環(huán)境、肌肉情況調(diào)整步態(tài)防止摔倒，實現(xiàn)高仿生體驗，還能夠支持攀巖、涉水等多種復(fù)雜操作，為殘障人士創(chuàng)造高品質(zhì)生活，拓展了腦機接口技術(shù)在義肢方向的應(yīng)用。

應(yīng)用場景2：消費電子與 AIoT 領(lǐng)域展開消費端應(yīng)用。腦機接口技術(shù)可以與消費產(chǎn)品相結(jié)合，提供更直覺交互體驗。早在 2014 年，加難道公司Thalmic Labs 就推出了一款臂帶式控制器 Myo，通過感知肌肉的生物電活動，可以讓使用者只需要動動手指就可以無線控制身邊的計算機和其他數(shù)字產(chǎn)品。隨著技術(shù)的持續(xù)升級，當(dāng)前臂帶式控制器可以實現(xiàn)通過識別活動意念帶來的電流進行控制，意念打字、意念操作玩具等已經(jīng)不是幻想。

在腦機接口的支持下，游戲玩家可以用意念來控制 VR 界面的菜單導(dǎo)航和選項控制，獲得了獨立于傳統(tǒng)游戲控制方式之外的新的操作體驗；同時人們也可以用意念控制開關(guān)等，甚至控制家庭服務(wù)機器人，實現(xiàn)全新意義上的智能家居。

滲透率或隨 AR 及其他可穿戴產(chǎn)品普及持續(xù)提升。當(dāng)前更加簡單形式的控制，比如眼動追蹤攝像頭、觸摸控制等或限制腦機接口交互需求。我們認為未來隨著一系列可穿戴設(shè)備比如 AR 眼鏡的普及，以及元宇宙的持續(xù)建設(shè)，基于腦機接口技術(shù)的消費電子產(chǎn)品滲透率將持續(xù)提升。

應(yīng)用場景3：實現(xiàn)大腦強化，運用于國防軍事領(lǐng)域 2020 年美國蘭德公司發(fā)布了一份名為《腦機接口：美國軍事應(yīng)用和意義的初步評估》（Brain-Computer Interfaces: U.S. Military Applications and Implications）的報告，指出雖然存在一定風(fēng)險，“腦機接口”很可能在改進未來作戰(zhàn)中提供相應(yīng)的支持，腦機接口在軍事 領(lǐng)域用途包括保證更高效和保密的軍事通信、提高決策速度與準(zhǔn)確性，允許操作員同時控 制多個平臺等。

進行更高效和更保密的軍事通信。2019 年，DARPA（美國國防部高級研究計劃局）就選擇了6個團隊來開發(fā)N3神經(jīng)技術(shù)研究計劃，旨在為美國軍方提供高精度的雙向腦機接口系統(tǒng)，使服役人員能夠與計算機系統(tǒng)進行通信。未來若腦機接口用于軍事通信的技術(shù)獲得成功，將顛覆現(xiàn)有通信技術(shù)的運轉(zhuǎn)模式。此前的通信解密都是在得到對方通信信號的基礎(chǔ)上，依據(jù)共同、公開的技術(shù)知識進行解密。理論上只要有足夠的時間，任何加密算法都可以被破譯。而腦機接口通信可能在雙方的主體意識尚未明確時就已經(jīng)完成;所以，不僅通信信號難以得到，即使得到信號，也缺乏解密所需的技術(shù)知識。

腦機接口或用于處理大量數(shù)據(jù)來提高決策效率。未來作戰(zhàn)中，智能設(shè)備、士兵穿戴式傳感器和無人機可向士兵提供大量的行動數(shù)據(jù)，大量的信息融合將增加決策的復(fù)雜性。通過腦機接口能夠使得機器與人之間連通性增強，促進數(shù)據(jù)在作戰(zhàn)人員和決策者之間快速而廣泛地流動，使得相互連接的軍事系統(tǒng)能夠順利運行。同時人工智能工具可能融入決策流程，幫助人類作戰(zhàn)人員評估環(huán)境，管理數(shù)據(jù)，并最終消化更大容量的信息。

▲全球主要腦機接口公司

智東西認為，人機交互是人類通往元宇宙的入口，借助于自然用戶界面，AR/VR帶來了遠遠高于圖形化展示更自然的交互模式，也是最有望實現(xiàn)元宇宙的第一個入口。但長遠來看，腦機接口才是元宇宙入口的真正形態(tài)，而其中的非侵入式腦機接口在未來或許成為元宇宙入口的一張“王炸”。

本文為轉(zhuǎn)載內(nèi)容，授權(quán)事宜請聯(lián)系原著作權(quán)人。

評論

暫無評論哦，快來評價一下吧！

下載界面新聞

微信公眾號

微博

解密通往元宇宙的三大入口，VR先上AR緊跟，但腦機接口才是未來

VR、AR和腦機接口，誰是人類通往元宇宙的合適入口？

智東西 · 2022/02/28 11:12

文|華泰證券  黃樂平 等

編輯|智東西內(nèi)參

VR/AR/腦機接口是集合了微顯示、傳感器、芯片和算法等多項技術(shù)在內(nèi)的下一代人機交互平臺?；仡櫿麄€人機交互發(fā)展歷程，我們看到人機交互的指令輸入形式和反饋輸出形式都在朝著更低的操作門檻和更高的交互效率演變。當(dāng)前我們正站在智能手機時代和下一個交互形態(tài)的交界處，我們認為盡管 VR/AR 在輸入技術(shù)（傳感）和輸出技術(shù)（顯示）方面均較上一代交互設(shè)備有顯著飛躍，但目前仍處于發(fā)展的早期階段。隨著元宇宙應(yīng)用的發(fā)展和內(nèi)容生態(tài)的完善，元宇宙對硬件的需求逐步清晰，將推動 VR/AR/腦機接口設(shè)備的逐步升級，最終有望出現(xiàn)可以和 PC、智能手機媲美的下一代硬件。

本期的智能內(nèi)參，我們推薦華泰證券的報告《人機交互系統(tǒng)是通往元宇宙的入口》，分析VR、AR和腦機接口設(shè)備在元宇宙時代的發(fā)展趨勢。

01.元宇宙場景落地，定義下一代人機交互升級方向

隨著元宇宙應(yīng)用場景的清晰化，未來 VR/AR/腦機接口的發(fā)展方向逐漸明確。早期的硬件設(shè)備受制于應(yīng)用場景和內(nèi)容單一化、用戶對硬件設(shè)備的體驗不完善等缺陷，初代VR/AR 并未實現(xiàn)大規(guī)模增長。

現(xiàn)在，我們看到游戲、電商、協(xié)同辦公、社交、健身、醫(yī)療、視頻和等元宇宙應(yīng)用場景正逐漸清晰，這對 VR/AR/腦機接口硬件端提出了更高的需求，有望驅(qū)動包括微顯示技術(shù)、三維重建、生物傳感器、肌電/腦電處理、全身追蹤、空間定位在內(nèi)的多項底層技術(shù)不斷完善。

▲元宇宙各大應(yīng)用場景對沉浸感和交互感的要求

1、游戲：強調(diào)“沉浸感”的元宇宙游戲需要多平臺/VRAR/云原生技術(shù)作為底層技術(shù)支撐

當(dāng)前游戲已具備元宇宙所擁有的虛擬身份、朋友、經(jīng)濟系統(tǒng)等特點，但未能給玩家完全帶來“沉浸感”，硬件方面主要受制于近眼顯示和多維感官傳感技術(shù)不夠成熟。未來，元宇宙游戲?qū)⒊鼜姷某两信c更豐富的內(nèi)容生態(tài)方向發(fā)展，需要借助成熟的場景渲染和沉浸聲場技術(shù)增強聲畫效果，借助全身運動追蹤、傳感器、空間定位等技術(shù)增強臨場感。優(yōu)質(zhì)的游戲內(nèi)容創(chuàng)新將與 VR/AR 硬件升級互相形成正反饋效應(yīng)，促進元宇宙游戲生態(tài)的發(fā)展，并為高性能計算芯片、硅基 OLED、Micro LED 以及相關(guān)設(shè)備組裝企業(yè)帶來增量空間。

▲元宇宙游戲發(fā)展方向及底層技術(shù)

2、電商：虛實交融的沉浸式購物模式為近眼顯示、AI 芯片、傳感器帶來發(fā)展機遇

傳統(tǒng)電商平臺仍主要以圖片和視頻等平面化形式展示商品。盡管近年來電商直播、AR 試妝等形式興起，一定程度上彌補了傳統(tǒng)電商在購物時較為單薄的觀感體驗，然而對于服飾等SKU 豐富的非標(biāo)品類商品，用戶仍然無法對其進行在線試品。在“在線即在場”的終極需求驅(qū)動下，元宇宙時代的電商有望進一步突破物質(zhì)世界屏障，通過 AR/VR/MR 等新一代人機交互平臺實現(xiàn)視聽甚至觸覺等多感官交互的購物體驗，創(chuàng)造如 3D 虛擬商場、數(shù)字展館等消費者購買場景。我們認為這一進程主要依賴于近眼顯示、三維重建、觸覺傳感乃至虛擬人等技術(shù)的成熟，將為相關(guān)微顯示、傳感器、芯片企業(yè)帶來增長空間。

▲元宇宙電商有望借助 VR/AR/MR 實現(xiàn)“在線即在場”的沉浸式購物體驗

3、協(xié)同辦公/社交：借助手勢追蹤、語音識別、眼動追蹤、虛擬化身實現(xiàn)互動感

未來元宇宙辦公/社交有望突破物理空間的局限，將帶來最接近實地面對面的工作和交友體 驗，提升辦公生產(chǎn)、溝通、協(xié)作效率。當(dāng)前移動互聯(lián)網(wǎng)階段的遠程辦公距離理想模式有一定差距，工作效率與溝通效果仍存在局限性。而元宇宙辦公/社交則強調(diào)互動感，例如，用戶可以全程通過手勢操作，即可滿足在 VR 虛擬空間中舉手、豎大拇指點贊等功能，顯著降低人機交互平臺操作門檻，同時實現(xiàn)無距離感互動。這一場景的實現(xiàn)將主要借助手勢讀取、眼動追蹤、語音識別、空間定位等 VR/AR 底層技術(shù)。

4、醫(yī)療與健康：VR/AR/腦機硬件將搭載先進生物監(jiān)測以及腦電信號處理技術(shù)

在生物監(jiān)測方面，當(dāng)前隨著心率監(jiān)測、血氧檢測技術(shù)的成熟，已有部分智能手環(huán)和手表產(chǎn)品中引入了醫(yī)療級功能，向著更專業(yè)的醫(yī)療設(shè)備進化將是智能穿戴重要發(fā)展方向。未來，智能穿戴產(chǎn)品有望大規(guī)模搭載 ECG 心電圖以及無創(chuàng)血糖檢測等新功能，針對老年群體、慢病群體提供更專業(yè)的服務(wù)，這也對血糖、血氧等生物監(jiān)測技術(shù)提出了更高的要求。長期來看，人機交互硬件在醫(yī)療與健康領(lǐng)域有望拓展到服務(wù)神經(jīng)系統(tǒng)和肌肉系統(tǒng)癱瘓的患者（如腦、脊髓疾病、中風(fēng)、外傷等），這一需求將為腦機接口技術(shù)創(chuàng)造可觀的發(fā)展前景。

▲生物檢測與輔助健身場景

5、視頻：VR/AR 技術(shù)帶來高沉浸感的流媒體觀賞體驗

傳統(tǒng)影視作品、長視頻與短視頻仍主要通過電視、影院、視頻平臺等媒介傳播，受制于平面化的表現(xiàn)形式，內(nèi)容的表現(xiàn)力仍有較大提升空間。元宇宙時代，觀眾有望使用先進 VR/AR設(shè)備更沉浸地觀看電影、現(xiàn)場實況、音樂會等內(nèi)容，娛樂性與體驗感將迎來質(zhì)的飛躍。目前包括 Netflix 和愛奇藝在內(nèi)的長視頻平臺已對“元宇宙+視頻”的落地做出了積極探索。

6、模擬訓(xùn)練/教育：將實現(xiàn)虛擬空間中對實體環(huán)境的仿真映射

模擬訓(xùn)練是指將現(xiàn)實中的場景復(fù)刻到虛擬世界中，應(yīng)用于軍事訓(xùn)練、工業(yè)設(shè)計、教學(xué)訓(xùn)練、安全應(yīng)急演練等較為復(fù)雜或具有高危險系數(shù)的領(lǐng)域。工業(yè)領(lǐng)域中，制造業(yè)企業(yè)將在仿真虛擬空間中充分利用各類數(shù)據(jù)，優(yōu)化工業(yè)生產(chǎn)環(huán)節(jié)中的設(shè)備工藝和作業(yè)流程。

軍事和安全應(yīng)急領(lǐng)域均有進行模擬演練的需求，未來有望在虛擬場景開展更大規(guī)模和更復(fù)雜的軍事和應(yīng)急訓(xùn)練，實現(xiàn)節(jié)省訓(xùn)練成本、提高安全性的目的。鑒于模擬訓(xùn)練用途的特殊性，其對沉浸感和交互感的要求相對而言較低，無需依賴高端硬件設(shè)備加成，目前已有曼恒科技、壹傳誠等企業(yè)實現(xiàn)了商業(yè)化。

02.AR/VR，下一代人機交互平臺

VR 是 Virtual Reality（虛擬現(xiàn)實）的縮寫，指計算機圖形技術(shù)、計算機仿真技術(shù)、傳感器技術(shù)、顯示技術(shù)等多種科學(xué)技術(shù)，在多維信息空間上創(chuàng)建一個虛擬信息環(huán)境，提供使用者關(guān)于視覺、聽覺、觸覺等感官的模擬，能使用戶具有身臨其境的沉浸感，具有與環(huán)境完善的交互作用能力的一種嶄新的人機交互手段。

VR 頭顯經(jīng)歷 VR 盒子、VR 頭盔、VR 一體機三階段，爆款產(chǎn)品持續(xù)主導(dǎo)硬件消費市場。2Q21 全球 VR 產(chǎn)品出貨量達 212.6 萬臺，同比增長 136.4%，其中 Oculus Quest 2 出貨量占 75%，持續(xù)主導(dǎo)市場。從 2014 年開始，行業(yè)銷量由爆款產(chǎn)品主導(dǎo)的特點仍然沒有變化（2015-2017 年三星 VR 盒子、2016-2018 年 PS VR、2019 年至今 Oculus 一體機）。

▲VR 歷史銷量：VR 盒子、VR 頭盔、VR 一體機持續(xù)迭代

▲主流 VR 產(chǎn)品比較

2022 年 VR 將迎來一波創(chuàng)新技術(shù)潮流， MetaVR 產(chǎn)品迎來升級，蘋果推出高端產(chǎn)品。根據(jù)digitimes，推測 Meta 下一代 VR 升級產(chǎn)品將于明年推出，將引入 pancake 光學(xué)模組和更多傳感器，以實現(xiàn)產(chǎn)品輕量化，并升級手勢識別、眼動跟蹤等功能；而蘋果也將在 2022年底推出一款高端 VR 方案，這款高端產(chǎn)品能夠會重新定義 VR 這個產(chǎn)品形態(tài)。預(yù)計這款產(chǎn)品將配備 Micro-OLED 顯示屏，復(fù)合菲涅爾透鏡 pancake 方案，全彩影像透視、搭載更多傳感器，為消費者帶來全新混合現(xiàn)實體驗。

在 Meta 較早的pancake 技術(shù)專利中，我們可以看見一個顯示組件包括具有四分之一波片和部分反射表面的第一透鏡、具有反射偏振器的第二透鏡和顯示器，實現(xiàn)頭顯的輕薄化。我們認為，蘋果同樣在探索使用三個菲涅爾透鏡堆疊，形成輕薄透鏡組的方案。改進光學(xué)透鏡后的 VR 產(chǎn)品將實現(xiàn)輕薄化，頭顯重量或由原來的 500g 降低至 200-300g。

Meta 下一代 VR 產(chǎn)品與蘋果 MR 產(chǎn)品將會增加傳感器，主要是攝像頭的種類與數(shù)量。高通在其官網(wǎng)上披露，高通驍龍 XR2 芯片算力最多可支持 7 顆攝像頭（2 顆眼動追蹤，2 顆混合現(xiàn)實，2 顆頭部 6DoF追蹤，1 顆其他），并可以此實現(xiàn) MR 混合現(xiàn)實功能。我們認為 Meta 下一代或充分利用驍龍 XR2 算力，為產(chǎn)品進行功能升級。

根據(jù) digitimes 等雜志 2022 年 1 月中旬的報道，蘋果或?qū)⒋钶d與 M1 芯片相似算力高階處理器和一個負責(zé)傳感器的低階處理器，支持 5-8 個外置相機模組，2 個內(nèi)置眼動追蹤相機模組，1-2 個 ToF 攝像頭，以實現(xiàn)全彩RGB 影像透視和眼動追蹤、手勢追蹤等功能，實現(xiàn)內(nèi)容與應(yīng)用邊界的拓展，也為內(nèi)容生產(chǎn)商提供更多的數(shù)據(jù)支持。

為 Meta 下一代或沿用 FastLCD 屏幕，與 quest 2 分辨率差別不大，但具有像素級控制的先進背光，可以展示和 OLED 一樣的純黑底色；而蘋果或使用高分辨率、高對比度、寬色域、快速響應(yīng)的 Micro-OLED 顯示屏，隨之而來的或是高昂的售價，根據(jù)Digitimes 等媒體 2022 年 1 月中旬的報道，新一代蘋果 MR 產(chǎn)品售價可能達到 1500-3000美元，高于當(dāng)前 Oculus quest 2 的最低售價 299 美元。

03.AR：新技術(shù)強勢推動

AR（Augmented Reality，增強現(xiàn)實）是促使真實世界信息和虛擬世界信息內(nèi)容之間綜合在一起的較新的技術(shù)內(nèi)容，與 VR 不同的是，AR 能夠?qū)⒄鎸嵀h(huán)境和虛擬物體之間重疊之后，在同一個畫面以及空間中同時存在。AR 中的關(guān)鍵技術(shù)包括跟蹤定位技術(shù)、虛擬與現(xiàn)實合并技術(shù)、顯示技術(shù)與交互技術(shù)。

根據(jù) IDC，2020-2021 年 AR 年出貨（不含Screenless viewer）在 20-30 萬之間，增速波動大。從品牌來看，除 Epson 和微軟外，其他較多品牌并沒有實現(xiàn) AR 的持續(xù)大規(guī)模銷售，常常在 1-2 個季度的爆發(fā)后銷聲匿跡，消費端市場上沒能出現(xiàn)標(biāo)桿性的品牌，我們認為 AR 作為一款消費電子產(chǎn)品仍然處于概念期階段。

長期來看 AR 終端有望替代手機，實現(xiàn)年出貨量超過 10 億臺（對比手機出貨量超過 13 億臺），但目前來看實現(xiàn)這個目標(biāo)時日尚早。從應(yīng)用看，AR 產(chǎn)品仍未出現(xiàn)殺手級的應(yīng)用場景。從技術(shù)角度看，雖然OLED+Birdbath 方案已經(jīng)比較成熟，但因透光性差等原因，形似墨鏡的設(shè)計不能支持全環(huán)境的使用。而其他微顯示系統(tǒng)如 LBS/LCoS/DLP 等搭配光波導(dǎo)的方案仍在探索過程中。

一款合格 AR 眼鏡需要怎樣的配置？

顯示：由于 AR 像源產(chǎn)生的圖像將與太陽光一起進入人眼，戶外若不加墨鏡，入眼亮度需超過 2,000nits，甚至達到 5,000nits，才能在各種天氣狀況下清楚的顯示圖像。目前一款光波導(dǎo)眼鏡的光效率大約為 3-5%，即像源亮度至少要在10 萬 nits 左右，才能滿足 AR 眼鏡的亮度需求。此外，75Hz 以上的刷新率、25°視場下 720P的分辨率、支持局部刷新及低功耗狀態(tài)下靜態(tài)圖像的維持，是一款 AR 眼鏡的及格線。

人、機、環(huán)境的有效交互：為了實現(xiàn)虛擬信息和真實場景的疊加，需要實現(xiàn)使用者的空間定位追蹤和虛擬物體在真實空間中定位。除此之外，為了將虛擬信息與輸入的現(xiàn)實場景無縫結(jié)合在一起，增強 AR 使用者的體驗，還需要考慮虛擬事物與真實事物之間的遮擋關(guān)系以及實現(xiàn)幾何一致、模型真實、光照一致和色調(diào)一致。從上世紀(jì) 80 年代發(fā)展到現(xiàn)在，SLAM 傳感器、算法、技術(shù)框架等持續(xù)改進，是實現(xiàn)自我姿態(tài)評價以及虛擬圖像反饋，構(gòu)建人與虛擬內(nèi)容的有效交互的主要手段。

當(dāng)前已提出的微顯示技術(shù)包括 OLED（有機發(fā)光二極管）/ LCoS（硅基液晶）/ DLP（數(shù)字光處理）/LBS（激光束掃描儀）等待，但這些技術(shù)均無法兼顧成熟性、性能、成本等指標(biāo)。MicroLED 是業(yè)內(nèi)公認的 AR 顯示最佳解決方案，但存在技術(shù)尚不成熟、量產(chǎn)難度大等問題，真正大面積商用可能要到 2025 年左右。

▲微顯示技術(shù)一覽

LCoS —— 限制較多，逐漸淡出 。LCoS 作為微顯示技術(shù)存在比較明顯的限制，逐漸淡出微顯示領(lǐng)域。LCoS 的優(yōu)勢在于技術(shù)成熟，成本低廉，像素密度高且功耗低，在早期的 AR 設(shè)備中應(yīng)用較多，如靈犀微光靈犀AR(LCoS+幾何光波導(dǎo))，Magic Leap One (LCoS+衍射光波導(dǎo))。但劣勢也相對明顯，大量廠商都在積極尋求使用 LBS/DLP 等方案代替 LCoS，2018 年以后搭載 LCoS 的新機型逐漸淡出。

硅基 OLED —— 亮度較低，目前難以應(yīng)用于戶外 AR 場景。硅基 OLED 的缺點也比較明確，應(yīng)用局限于 VR 及類似設(shè)備。目前市場上主流的硅基 OLED產(chǎn)品亮度均小于 3000nits，與 10 萬 nits 的要求相去甚遠，難以應(yīng)用于戶外 AR 場景。同時，由于產(chǎn)品的生產(chǎn)工藝更加復(fù)雜，其價格比 LCoS 貴 50%以上，但使用壽命在高亮度模式下將低于 3000 小時且極有可能出現(xiàn)燒屏的情況，整體性價比更低。因此，雖已有部分 AR 廠商使用硅基 OLED 替代 LCoS，但其仍不是 AR 像源的最佳解決方案。

LBS —— 激光二極管對溫度敏感、分辨率較差。與 LCoS 等其他顯示技術(shù)相比，LBS 技術(shù)優(yōu)勢明顯。LBS 系統(tǒng)主要由激光、光學(xué)器件和MEMS Mirror 組成由于 LBS 使用激光光源進行逐像素渲染，相較其他非激光、逐幀渲染方案天然具有延遲低（激光納秒 vs 普通光源毫秒）、畫面滯留時間短、亮度高、能耗低、色彩豐富的優(yōu)勢。

當(dāng)前主流的 LBS 產(chǎn)品分辨率約720P，提高分辨率可能需要較高的成本。AR 硬件/軟件企業(yè) Rave 首席科學(xué)家 Karl Guttag將搭載 LBS 光機的 HoloLens 2 代和搭載 LCoS 光機的 HoloLens 1 代進行對比測試后發(fā)現(xiàn)，雖然 HoloLens 2 的垂直視場角較 1 代提升近一倍（30 度 vs 17.5 度），但其在分辨率、色彩均勻性等方面的表現(xiàn)均更差。此外，HoloLens 2 實拍圖色彩飽和度更低，觀感模糊，霧度也更大。

DLP —— 對溫度敏感，難以小型化。DLP 由于成本高、體積大等缺陷，在 AR 場景中的應(yīng)用有一定限制。DLP（Digital Light Processing）系統(tǒng)的核心是 TI 專利的 DMD 芯片（Digital Micromirror Device），它由數(shù)百萬個高反射的鋁制獨立微型鏡片組成，每個鏡片通過數(shù)量龐大的超小型數(shù)字光開關(guān)控制角度。這些開關(guān)可以接受電子訊號代表的資料字節(jié)，然后產(chǎn)生光學(xué)字節(jié)輸出，將輸入 DMD 的視頻或圖形信號轉(zhuǎn)換成高清晰度的、高灰度等級的圖像。

MircoLED —— 仍處在早期階段，較多技術(shù)問題需要解決。MicroLED 產(chǎn)品性能絕佳，是業(yè)內(nèi)公認的 AR 顯示最佳解決方案。Micro LED 即 LED 微縮技術(shù)，通過將傳統(tǒng) LED 陣列化、微縮化后定址巨量轉(zhuǎn)移到電路基板上形成超小間距 LED，可將毫米級別的 LED 長度進一步縮小到微米級（50um 左右，原本 LED 的 1%）。相較其它技術(shù)，MicroLED 產(chǎn)品性能在亮度、對比度、工作溫度范圍、刷新率、分辨率、色域、功耗、延時、體積、壽命等多方面具備較大優(yōu)勢，被期望為下一代主流顯示技術(shù)的重要路徑。

MicroLED 的發(fā)展瓶頸在于微米級的像素尺寸和間距給量產(chǎn)和全彩方案所帶來的巨大挑戰(zhàn)。MicroLED 的生產(chǎn)包括芯片和背板制造、巨量轉(zhuǎn)移、接合、驅(qū)動和檢測維修等環(huán)節(jié)，由于其晶粒尺寸在微米級，生產(chǎn)單個成品即需要處理數(shù)百萬甚至數(shù)千萬晶粒，對技術(shù)的效率和良率提出了極為嚴(yán)苛的要求，現(xiàn)有技術(shù)水平還無法滿足其量產(chǎn)需求。而 MicroLED 晶粒的發(fā) 光效率、波長一致性和良率也尚未達到 MicroLED 彩色化顯示的要求?；诖?，現(xiàn)有MicroLED 屏幕價格高昂，單片售價即大于 1000 美金。2018 年三星演示的采用 microLED技術(shù)的 The Wall 電視，146 寸版報價高于 10 萬美元。

光學(xué)模組：從幾何光學(xué)到納米光學(xué)。與 VR 的不同之處在于，AR 眼鏡需要透視（see-through），既要看到真實的外部世界，也要看到虛擬信息，所以成像系統(tǒng)不能擋在實現(xiàn)前方，這就需要多加一個或一組光學(xué)組合，通過層疊的方式，將虛擬信息和真實場景融為一體，設(shè)計包括自由曲面，光波導(dǎo)等。

▲AR 光學(xué)模組梳理

光波導(dǎo)技術(shù)是應(yīng) AR 需求而生的一個比較有特色的光學(xué)組件。因它的輕薄與外界光線的高穿透特性而被認為是消費級 AR 眼鏡的必選光學(xué)方案。

AR 眼鏡中光的傳輸關(guān)鍵在于“全反射”。其實，波導(dǎo)技術(shù)并不是新發(fā)明，光纖就是波導(dǎo)的一種，只不過傳輸?shù)氖俏覀兛床灰姷募t外波段的光。光機完成成像過程后，波導(dǎo)將光耦合進自己的玻璃基底中，通過“全反射”原理將光傳輸?shù)窖劬η胺皆籴尫懦鰜?，就完成了圖像的傳輸。

越是大的視場角，就需要越高折射率的玻璃基底來實現(xiàn)。因此傳統(tǒng)玻璃制造商比如康寧和肖特，近年來都在為近眼顯示市場研制專門的高折射率并且輕薄的玻璃基底，還在努力不斷增大晶元尺寸以降低波導(dǎo)生產(chǎn)的單位成本。

具體來看，當(dāng)前光波導(dǎo)技術(shù)可以分為下面三種：

1) 幾何/列陣光波導(dǎo)。該概念和專利一直由以色列公司 Lumus 提出并持續(xù)優(yōu)化迭代，基本原理是耦合光進入波導(dǎo)的一般是一個反射面或者棱鏡。在多輪全反射后光到達眼鏡前方時，會遇到一個“半透半反”鏡面陣列，將光耦合出波導(dǎo)。幾何/列陣光波導(dǎo)目前大都只能實現(xiàn)一維擴瞳。這里的“半透半反”鏡面陣列相當(dāng)于將出瞳沿水平方向復(fù)制了多份，每一個出瞳都輸出相同的圖像，這樣眼睛在橫向移動時都能看到圖像，這就是一維擴瞳技術(shù)(1D EPE)。

2) 浮雕光柵衍射光波導(dǎo)。傳統(tǒng)的光學(xué)結(jié)構(gòu)被平面的衍射光柵取代，通過材料表面浮雕出來的高峰和低谷，在材料中形成了一個折射率的周期性變化。通過設(shè)計光柵的參數(shù)(材料折射率、光柵形狀、厚度、占空比等)可以將某一衍射級(即某一方向)的衍射效率優(yōu)化到最高，從而使大部分光在衍射后主要沿這一方向傳播。

用衍射光柵可以實現(xiàn)二維擴瞳，digilens 和 WaveOptics 分別具有兩種技術(shù)方案。Hololens I, Vuzix Blade, Magic Leap One, Digilens 等使用的方法是，當(dāng)入射光柵將光耦合入波導(dǎo)后，會進入一個轉(zhuǎn)折光柵的區(qū)域，這個區(qū)域內(nèi)的光柵溝壑方向與入射光柵呈一定角度，那么它就像一個鏡子一樣將 X 方向打來的光反射一下變成沿 Y 方向傳播。另外一種實現(xiàn)二維擴瞳的方式是直接使用二維光柵，即光柵在至少兩個方向上都有周期，將單向“溝壑”變?yōu)橹鶢铌嚵?。WaveOptics 就是采用的這種結(jié)構(gòu)，從入射光柵耦合進波導(dǎo)的光直接進入一個具有二維柱狀陣列發(fā)區(qū)域，可以同時將光線在 X 和 Y 兩個方向?qū)崿F(xiàn)擴束，并且一邊傳播一邊將一部分光耦合出來進入人眼。

3) 布拉格光柵衍射光波導(dǎo)（也叫全息光柵光波導(dǎo)）。利用光全息術(shù)在記錄材料薄膜上記錄點光源的干涉條紋，再經(jīng)過處理制成光柵條紋結(jié)構(gòu)的薄膜光學(xué)元件，具有光束準(zhǔn)直、聚焦、偏轉(zhuǎn)等功能。其對光的衍射符合布拉格定律，只有滿足布拉格條件的入射光才會被衍射，不滿足布拉格條件的入射光不被衍射。目前在做全息體光柵(VHG)波導(dǎo)方案的廠家比較少，包括十年前就為美國軍工做 AR 頭盔的 Digilens，曾經(jīng)出過單色 AR 眼鏡的 Sony，還有由于被蘋果收購的 Akonia。

SLAM：理解環(huán)境與使用者，實現(xiàn)虛擬信息和現(xiàn)實世界的結(jié)合。SLAM（Simulataneous Localization and Mapping），同步定位與地圖構(gòu)建，指在運動過程中通過重復(fù)觀測到的環(huán)境特征定位自身位置和姿態(tài)，再根據(jù)自身位置構(gòu)建周圍環(huán)境的增量式地圖，從而達到同時定位和地圖構(gòu)建的目的。

現(xiàn)代流行的 SLAM 系統(tǒng)大概可以分為前端和后端。前端通過傳感器實現(xiàn)數(shù)據(jù)關(guān)聯(lián)，研究幀與幀之間變換關(guān)系，主要完成實時的位姿跟蹤，對輸入的圖像進行處理，計算姿態(tài)變化。后端主要對前端的輸出結(jié)果進行優(yōu)化，得到最優(yōu)的位姿估計和地圖。

SLAM 在 ARVR 中有較多應(yīng)用，AR 中主要是 1）現(xiàn)實物體與虛擬物體的有效交互，2）實現(xiàn)語義理解，優(yōu)化智能輔助功能：

實現(xiàn)虛擬世界和現(xiàn)實世界之間坐標(biāo)疊加、實現(xiàn)幾何物理信息交互。與電腦、平板、手機的3D 顯示不同，AR 更注重虛擬信息與真實信息的無縫融合，即圖像出現(xiàn)的平面位置與景深準(zhǔn)確、帶來沉浸感的良好體驗。這就需要利用 SLAM 算法，準(zhǔn)確疊加虛擬坐標(biāo)系和真實坐標(biāo)系。同時，真實環(huán)境中有高低起伏、有障礙物、有遮擋關(guān)系，AR 可以讓虛擬信息跟這些真實環(huán)境中的物理信息進行交互。

隨著機器學(xué)習(xí)和深度學(xué)習(xí)的發(fā)展，虛擬信息可以“理解”真實世界，讓二者的融合更趨于自然。當(dāng)前計算機已經(jīng)可以已經(jīng)可以認出圖片上的內(nèi)容，但沒有理解內(nèi)容之間的關(guān)系，當(dāng)前的一項研究方向是，應(yīng)用 SLAM+AI 技術(shù)，通過特征提取，實現(xiàn)機器的語義理解，優(yōu)化 AR 系統(tǒng)的輔助功能。

傳感器：交互方式與應(yīng)用場景升級推動傳感器升級。AR 中交互方式的升級，帶來更多樣信息需求。隨著人機交互由 2D 走向 3D，交互方式逐漸多樣化，向人類本能發(fā)展，手勢交互、姿勢交互、眼動交互、語音交互，甚至結(jié)合生物信號、周圍環(huán)境交互的方式不斷進化，這對更多種類的信息提出了要求，用戶運動類、生物類信息，以及其他環(huán)境信息都將為人機交互提供底層支持。

大量信息需求為運動類、生物類、環(huán)境類各型傳感器提供增量機會。當(dāng)前蘋果手機、手表廣泛運用多種運動、生物型傳感器，與之對比，VR 爆款產(chǎn)品 Oculus quest 2 頭顯僅搭載了4 顆黑白攝像頭，手柄配備了兩組陀螺儀加速度計傳感器。未來，為實現(xiàn)更深度沉浸和更便捷交互，測距攝像頭、眼動追蹤攝像頭、精細化壓力傳感器，甚至生物型、環(huán)境型傳感器，都將逐漸配備。

04.腦機接口離現(xiàn)實還有多遠？

腦機接口（Brain Computer Interface，BCI）1976 年由加州大學(xué)洛杉磯分校的雅克·維達爾(Jacques J. Vidal)提出。一個完整的腦機接口過程包括信號采集、信息解碼處理、信號 輸出/執(zhí)行、反饋四個步驟實現(xiàn)。腦機接口可以通過電、磁、光、聲進行信號采集與反饋，而腦電技術(shù)是目前主流探索方向。事實上采集中樞神經(jīng)信號以監(jiān)測大腦活動的方法有很多種，包括腦電、功能近紅外光譜（functional near-infrared spectroscopy, fNIRS）、功能磁共振成像（functional magneticresonance imaging, fMRI）等，反饋技術(shù)也同樣包括電、磁、聲、光多種。

馬斯克提出的一個經(jīng)典論述是“人類不能被 AI 淘汰，要與 AI 融合，在大腦和電腦之間創(chuàng)建一個接口”。隨著我們對腦科學(xué)的不斷認識和腦機接口技術(shù)下對人類肢體限制的不斷突破，人腦的潛能或得到釋放。

在各種監(jiān)測技術(shù)中，腦電因為時間分辨率高、設(shè)備價格低廉且便攜等優(yōu)點，逐漸成為腦機接口研究最主流的探索方向。腦機接口主要包括以下幾種技術(shù)：

1) 腦電采集：腦電采集是 BCI 的關(guān)鍵步驟，采集的效果、信號強弱、穩(wěn)定性及帶寬大小直接決定后續(xù)的處理及輸出。由于大腦的中樞神經(jīng)元膜電位的變化會產(chǎn)生鋒電位（spikes），或動作電位（action potentials），并且神經(jīng)細胞突觸間傳遞的離子移動會形成場電位（field potentials），通過在大腦皮質(zhì)的運動神經(jīng)位置外接或植入微型電極，可以采集并放大這些神經(jīng)生理信號。

2) 信號解碼處理：信號處理是將轉(zhuǎn)化為電信號的大腦活動，去除干擾電波以及其他信號，并將目標(biāo)分類并處理，轉(zhuǎn)化為可以執(zhí)行輸出的對應(yīng)信號。

3) 信號輸出及執(zhí)行：信號輸出指將收集并處理后的腦電波信號傳輸至已連接的設(shè)備器材，作為數(shù)據(jù)基礎(chǔ)加工內(nèi)容，或反饋到終端機器以形成指令，甚至實現(xiàn)直接交互。

4) 反饋：在信號執(zhí)行后，設(shè)備將產(chǎn)生動作或顯示內(nèi)容，參與者將通過視覺、觸覺或聽覺感受到第一步產(chǎn)生的腦電波已被執(zhí)行，并觸發(fā)反饋信號。

根據(jù)腦電的采集方式，當(dāng)前的腦機接口又可以分為侵入式、非侵入式 。

非侵入式是在人/動物大腦外部佩戴腦機接口設(shè)備，通過采集腦電、神經(jīng)電獲取腦部信息，但信息精度及分辨率較低，可用于簡單的信號判斷與反饋，但較難傳達復(fù)雜指令，如幫助肢體殘障人士通過意念操控機械骨骼，或用于 VR/AR游戲應(yīng)用的基礎(chǔ)手勢控制。非侵入式根據(jù)收集信息的不同可以分為 EEG（收集腦電）和MEG（收集磁場）兩種。

1）EEG：通過導(dǎo)電凝膠將 Ag/AgCI 電極固定在頭皮上，以測量頭皮腦電信號，但一般只能監(jiān)測到 0-50Hz 相對較窄頻帶中的信息。

2）MEG：通過測量細胞內(nèi)離子電流引起的小磁場獲得信號，但由于高昂的成本和操作方法的繁瑣（電磁封鎖環(huán)境，保持絕對靜止），MEG 并不是一個理想的解決方案。

侵入式腦機接口主要應(yīng)用于醫(yī)療康復(fù)領(lǐng)域。侵入式將設(shè)備直接植入到人/動物大腦灰質(zhì)或顱腔內(nèi)，能夠獲取相對高頻、準(zhǔn)確的神經(jīng)信號，不僅能夠通過讀取腦電信號來控制外部設(shè)備，還能夠通過精確的電流刺激讓大腦產(chǎn)生特定感覺。侵入式腦機接口可以分為 ECoG、LFP、SUA 等類型。

1） ECoG：測量大腦皮層電位，與 EEG 技術(shù)相似，但能夠監(jiān)測到更大帶寬的信息；

2） LFP、SUA：測量大腦皮層場電位與鋒電位，可以通過 Mircowire array，Michigan array，Utah array，Neurotrophic electrode 等多種傳感器實現(xiàn)。

侵入式采取電信號的方法，具有較高的空間分辨率、良好的信噪比和更寬的頻帶，但目前仍然面臨著有創(chuàng)帶來的安全問題、難以獲得長期穩(wěn)定的記錄、需要醫(yī)護人員長時間連續(xù)的觀察等問題，目前應(yīng)用仍局限于醫(yī)療康復(fù)領(lǐng)域。

隨著人們對大腦的認知、電極設(shè)計、和人工智能算法的精進，腦機接口領(lǐng)域應(yīng)用也持續(xù)拓展，并向更加精細化發(fā)展。腦機接口相關(guān)的研發(fā)已經(jīng)在仿生學(xué)、醫(yī)療診斷與干預(yù)、消費電子等多個領(lǐng)域進行持續(xù)探索，相關(guān)產(chǎn)品可能將在未來 20-30 年內(nèi)陸續(xù)商業(yè)化，支撐起近千億美元的市場規(guī)模。

目前來看，腦機接口在以下三個場景最有希望率先落地：

應(yīng)用場景1：醫(yī)療健康領(lǐng)域是腦機接口當(dāng)前最接近商業(yè)化的領(lǐng)域。腦機接口可以幫助實時監(jiān)控和測量神經(jīng)系統(tǒng)狀態(tài)，輔助臨床判讀。“監(jiān)測”型腦機接口應(yīng)用方向十分多樣，包括評測陷入深度昏迷患者的意識等級，測量視/聽覺障礙患者神經(jīng)通路狀態(tài)協(xié)助醫(yī)生定位病因等等。除此之外，通過結(jié)合腦電、視頻等多元信息進行診

監(jiān)測到的腦電信息可以用于加工、反饋，針對多動癥、中風(fēng)、抑郁癥等做對應(yīng)的恢復(fù)訓(xùn)練。例如，對于運動皮層相關(guān)部位受損的中風(fēng)病人，腦機接口可以從受損的皮層區(qū)采集信號，然后刺激失能肌肉或控制矯形器，改善手臂運動；運動想象類腦機接口可以用于孤獨癥兒童的康復(fù)訓(xùn)練，提升他們對于感覺運動皮層激活程度的自我控制能力，從而改善孤獨癥的癥狀，也可以通過腦電信號的反饋，訓(xùn)練使用者的專注力。療，能夠輔助醫(yī)生判讀腦損傷、腦發(fā)育等多種臨床適應(yīng)癥。

基于電、聲、光、磁刺激進行神經(jīng)調(diào)控的腦機接口已經(jīng)實現(xiàn)商業(yè)化。相關(guān)應(yīng)用包括：通過電刺激治療進行神經(jīng)康復(fù)，主要針對腦卒中、 帕金森等中樞神經(jīng)或周圍神經(jīng)損傷所致的運動功能障礙，如偏癱、肌萎縮、肌力低下、步行障礙、手功能障礙；通過顱磁刺激治療抑郁癥，以及對腦卒中所致的言語功能障礙、吞咽障礙、認知功能障礙進行治療。國內(nèi)外多家公司包括偉思醫(yī)療，Neuronetics，Brainsway等公司已經(jīng)推出相關(guān)產(chǎn)品。

BrainCo 強腦科技在 2019 年推出世界上第一款可以意識控制每一根手指的非侵入式智能仿生手后，在今年再次推出一款適合不同傷殘等級的仿生腿產(chǎn)品。根據(jù)公司介紹，這款產(chǎn)品每秒可提取 2 萬個肌電神經(jīng)電數(shù)據(jù)，因此能快速、準(zhǔn)確地識別用戶意圖，并根據(jù)環(huán)境、肌肉情況調(diào)整步態(tài)防止摔倒，實現(xiàn)高仿生體驗，還能夠支持攀巖、涉水等多種復(fù)雜操作，為殘障人士創(chuàng)造高品質(zhì)生活，拓展了腦機接口技術(shù)在義肢方向的應(yīng)用。

應(yīng)用場景2：消費電子與 AIoT 領(lǐng)域展開消費端應(yīng)用。腦機接口技術(shù)可以與消費產(chǎn)品相結(jié)合，提供更直覺交互體驗。早在 2014 年，加難道公司Thalmic Labs 就推出了一款臂帶式控制器 Myo，通過感知肌肉的生物電活動，可以讓使用者只需要動動手指就可以無線控制身邊的計算機和其他數(shù)字產(chǎn)品。隨著技術(shù)的持續(xù)升級，當(dāng)前臂帶式控制器可以實現(xiàn)通過識別活動意念帶來的電流進行控制，意念打字、意念操作玩具等已經(jīng)不是幻想。

在腦機接口的支持下，游戲玩家可以用意念來控制 VR 界面的菜單導(dǎo)航和選項控制，獲得了獨立于傳統(tǒng)游戲控制方式之外的新的操作體驗；同時人們也可以用意念控制開關(guān)等，甚至控制家庭服務(wù)機器人，實現(xiàn)全新意義上的智能家居。

滲透率或隨 AR 及其他可穿戴產(chǎn)品普及持續(xù)提升。當(dāng)前更加簡單形式的控制，比如眼動追蹤攝像頭、觸摸控制等或限制腦機接口交互需求。我們認為未來隨著一系列可穿戴設(shè)備比如 AR 眼鏡的普及，以及元宇宙的持續(xù)建設(shè)，基于腦機接口技術(shù)的消費電子產(chǎn)品滲透率將持續(xù)提升。

應(yīng)用場景3：實現(xiàn)大腦強化，運用于國防軍事領(lǐng)域 2020 年美國蘭德公司發(fā)布了一份名為《腦機接口：美國軍事應(yīng)用和意義的初步評估》（Brain-Computer Interfaces: U.S. Military Applications and Implications）的報告，指出雖然存在一定風(fēng)險，“腦機接口”很可能在改進未來作戰(zhàn)中提供相應(yīng)的支持，腦機接口在軍事 領(lǐng)域用途包括保證更高效和保密的軍事通信、提高決策速度與準(zhǔn)確性，允許操作員同時控 制多個平臺等。

進行更高效和更保密的軍事通信。2019 年，DARPA（美國國防部高級研究計劃局）就選擇了6個團隊來開發(fā)N3神經(jīng)技術(shù)研究計劃，旨在為美國軍方提供高精度的雙向腦機接口系統(tǒng)，使服役人員能夠與計算機系統(tǒng)進行通信。未來若腦機接口用于軍事通信的技術(shù)獲得成功，將顛覆現(xiàn)有通信技術(shù)的運轉(zhuǎn)模式。此前的通信解密都是在得到對方通信信號的基礎(chǔ)上，依據(jù)共同、公開的技術(shù)知識進行解密。理論上只要有足夠的時間，任何加密算法都可以被破譯。而腦機接口通信可能在雙方的主體意識尚未明確時就已經(jīng)完成;所以，不僅通信信號難以得到，即使得到信號，也缺乏解密所需的技術(shù)知識。

腦機接口或用于處理大量數(shù)據(jù)來提高決策效率。未來作戰(zhàn)中，智能設(shè)備、士兵穿戴式傳感器和無人機可向士兵提供大量的行動數(shù)據(jù)，大量的信息融合將增加決策的復(fù)雜性。通過腦機接口能夠使得機器與人之間連通性增強，促進數(shù)據(jù)在作戰(zhàn)人員和決策者之間快速而廣泛地流動，使得相互連接的軍事系統(tǒng)能夠順利運行。同時人工智能工具可能融入決策流程，幫助人類作戰(zhàn)人員評估環(huán)境，管理數(shù)據(jù)，并最終消化更大容量的信息。

▲全球主要腦機接口公司

智東西認為，人機交互是人類通往元宇宙的入口，借助于自然用戶界面，AR/VR帶來了遠遠高于圖形化展示更自然的交互模式，也是最有望實現(xiàn)元宇宙的第一個入口。但長遠來看，腦機接口才是元宇宙入口的真正形態(tài)，而其中的非侵入式腦機接口在未來或許成為元宇宙入口的一張“王炸”。

本文為轉(zhuǎn)載內(nèi)容，授權(quán)事宜請聯(lián)系原著作權(quán)人。