編輯導語:隨著科技的發展,AR眼鏡這一產品也由之而生。通過AR眼鏡,我們能夠看見如同科幻電影的視覺效果,并無需屏幕即可實現交互。與此同時,AR交互方式也在與時俱進。本篇文章里,作者對AR眼鏡的相關技術知識進行了介紹,讓我們來看一下。
一、寫在前面
最近幾年互聯網的發展,相信大家對AR也不能并不陌生了,并且國內市場的AR眼鏡廠商魚龍混雜,真正成熟的可應用于真實場景的AR眼鏡設備少之又少。
可能你會提問,為什么可用的AR眼鏡少之又少?
來來來,接下來讓你像你了解手機一樣認識下AR眼鏡的技術構造。
在了解AR眼鏡之前,你得先知道什么是“增強現實”。
增強現實,用很官方的語言就是:真實的環境和虛擬的物體實時地疊加到了同一個畫面或空間同時存在。讀完這句話你可能會想象到之前看到的科幻電影里的情景,其實差不多是那個意思。再來一張草圖你可能會更清楚。
按照我的官方描述就是:你帶上AR眼鏡不僅能看到虛擬物體,也能看到你周圍的真實環境。
好了,了解完什么是增強現實,我們就可以真正去打開AR眼鏡的知識世界了。
先來個AR眼鏡的構造圖,想必會讓你從整體上對AR眼鏡有個初步的定位。
二、AR眼鏡的構造
AR眼鏡主要分為四大模塊:攝像頭、CPU處理中心、光學模組、架托。
1. 攝像頭
AR眼鏡上一般會存在多個攝像頭,并且每個攝像頭之間的分工是不一樣的,主要功能有三方面,一是用于提供基于視覺的跟蹤定位(SLAM)的圖像采集,二是進行交互手勢識別,三是日常的拍照和錄像。
這里重點講解下什么是SLAM,大家百度之后的官方解說是“即時定位與地圖構建,或并發建圖與定位”,SLAM應用的場景有很多,比如自動駕駛、AR/VR、機器人、三維重建等;其框架主要分為:
其工作流程大致為:
傳感器讀取數據后,視覺里程計估計兩個時刻的相對運動(Ego-motion),后端處理視覺里程計估計結果的累積誤差,建圖則根據前端與后端得到的運動軌跡來建立地圖,回環檢測考慮了同一場景不同時刻的圖像,提供了空間上約束來消除累積誤差。
那么SLAM在AR眼鏡中怎么工作的呢?首先是通過深度攝像頭將你視角內的環境傳遞給AR眼鏡,SLAM通過圖像識別、定位分析與AI計算,將當前環境進行三維重建,構造一個三維真實世界,以增強AR眼鏡對現實環境中相互作用的理解能力,為AR眼鏡賦予了復雜環境感知力和動態場景適應力。
再明白點就是,你知道這個是堵墻,不能過去,AR眼鏡也知道這個物體不能穿透過去。
關于SLAM更深層的技術實現問題,就比較深入了,涉及各種算法,在這里就不詳細敘述了,大家可以自行百度了解。
2. 核心交互
勢交互、語音交互、眼球追蹤等,裸手交互有望成為AR的核心交互方式之一,微軟的HoloLens2,已經實現了裸手交互,但是國內AR眼鏡普遍采用的還是隔空敲物的交互方式,通過識別指定的手勢對眼前的虛擬物體進行交互操作,目前市場上AR眼鏡最常用的手勢為兩種分別是確定和返回兩個手勢;這也是AR眼鏡解放雙手的優勢所在。
確定手勢
返回手勢
3. CPU處理大腦
作為AR眼鏡的大腦所處理的圖像和數據分為以下幾個方面:
- AI:從AR的輸入、虛實融合和輸出,整個一條鏈都需要AI的支持。
- 云計算和大數據:由于AR結合的是現實,所以它的計算量和數據量會呈現指數級上升,它的發展也離不開云計算和大數據的支持。
- 計算機視覺:比之于PC和手機,AR的本質是信息呈現方式的升級,由二維升級到三維。不管是AR的輸入,還是輸出,都離不開計算機視覺。
- 核心的交互技術:包括手勢交互、語音交互、眼球追蹤等。目前來看,裸手交互有望成為AR的核心交互方式之一。典型公司:leap motion、科大訊飛等。
- 操作系統:AR要成為下一代計算平臺,就必須有自己的操作系統,就像windows之于PC,ios/安卓之于手機一樣。操作系統的好處就在于給產業上下游一個行業標準,利于行業發展。典型公司:微軟、谷歌。
4. 光學模組
主要負責AR眼鏡的成像工作,AR不同于VR,雖然它們的近眼顯示系統都是將顯示器上的像素,通過一系列光學成像元件形成遠處的虛像并投射到人眼中。
不同之處在于,AR眼鏡需要透視(see-through),既要看到真實的外部世界,也要看到虛擬信息,所以成像系統不能擋在視線前方。這就需要多加一個或一組光學組合器(optical combiner),通過“層疊”的形式, 將虛擬信息和真實場景融為一體,互相補充,互相“增強”。這也是AR眼鏡的一個難點所在。
目前市場上主流的AR設備基本都采用光波導光學方案,光波導是引導光波在其中傳播的介質裝置,又稱介質光波導,光波導的材質輕薄,中間層薄度可達1-10微米,并且對于外界光線的穿透特性極高,因此被認為是消費級AR眼鏡的必選光學方案,價格自然而然也就上去 。
目前隨著市場上的主流AR眼鏡HoloLens2、Magic Leap One等對光波導技術的采用和設備量產,以及AR光學模組廠商DigiLens、耐德佳、靈犀微光等行業技術不斷升級,國內更多的AR眼鏡制造廠紛紛采用了光波導技術方案。
AR設備的光學顯示系統通常由微型顯示屏和光學元件組成。概括來說,目前市場上的AR眼鏡采用的顯示系統就是各種微型顯示屏和棱鏡、自由曲面、BirdBath、光波導等光學元件的組合,其中光學組合器的不同,是區分AR顯示系統的關鍵部分。
微型顯示屏,用來為設備提供顯示內容。它可以是自發光的有源器件,比如發光二極管面板像micro-OLED和現在很熱門的micro-LED,也可以是需要外部光源照明的液晶顯示屏(包括透射式的LCD和反射式的LCOS),還有基于微機電系統(MEMS)技術的數字微鏡陣列(DMD, 即DLP的核心)和激光束掃描儀(LBS)。
目前市面上的AR光學顯示系統的分類和產品有:
那么通過光波導怎么去實現所謂的既要看到真實的外部世界,也要看到虛擬信息的這個需求呢?
在AR眼鏡中,最重要的就是“全反射”,即光無論通過任何角度投射進來,都要完全反射,做到光在傳輸的過程中無損失無泄漏;那么想完成這個,需要滿足兩個條件:
- 傳輸介質比周圍介質高的折射率(如圖2所示n1> n2);
- 入射角需要大于臨界角γc。
光機完成成像過程后,波導將光耦合進自己的玻璃基底中,通過“全反射”原理將光傳輸到眼睛前方再釋放出來。這個過程中波導只負責傳輸圖像,是獨立于成像系統而存在的一個單獨元件。
關于更多深層次的光波導的技術原理,在本文就不詳細解說了,想繼續了解的朋友可以網上搜一下,有很多的。
三、總結
目前市場上微軟的HoloLens2無論在交互、SLAM定位、三維數據處理、散熱等表現是非常好的,但是由于操作系統的限制和價格的高昂,在我了解的工業行業使用的不是很多。
國內AR眼鏡做的比較好的有聯想的晨星AR-G2、影創action one、亮風臺的AIARG200等。
國內眼鏡的設計大多將處理中心與眼鏡分離,以保證處理中心的數據處理能力、續航能力和散熱能力,這樣做的比較好的一點就是減輕頭部的重量;但是缺點就是通過數據線連接,在工人作業過程中避免不了掛到,接頭接觸不良情況發生。
關于市面上AR眼鏡的詳細解析,我們放在下部進行詳細解說,歡迎大家及時關注了解!
本文由 @BLUE 原創發布于人人都是產品經理,未經許可,禁止轉載。
題圖來自 Unsplash,基于 CC0 協議