AR/VR行業兵家必爭之地(下)-眼動追蹤技術大全

VR/AR
2019
11/19
22:33
映維網
分享
評論

來源:映維網 作者 顏昳華

在本篇詳細說明AR/VR眼鏡上的眼動追蹤技術原理。其中分別包括蘋果、微軟、Magic leap、Facebook、索尼等大廠的最新公開的眼動追蹤技術方案。技術方案包括瞳孔角膜反射法、視網膜影像定位、結構光追蹤、角膜反射光強度、視網膜反射光強度、光波導眼動追蹤。

作者:陳濤,武漢天蝎科技創始人(微信:ct312036931)

一、眼球生理結構和特征

所有的眼動追蹤技術都是根據眼球的生理結構實現的,不同的眼動追蹤技術會用到不同的眼球生理特征,因此在了解眼動追蹤技術之前有必要先了解一下眼球的生理結構。

人類眼睛能夠感知周圍環境光線的明暗,主要包括眼球及人眼附屬器官。眼球所接收的外界光線通過視神經傳送給大腦,大腦對接收信號進行分析,支配人眼附屬器官完成眼球的轉動,使視線聚焦在目標區域。人眼生理結構如圖 1、圖2 所示。

圖1 人眼正視圖

圖2 人眼生理結構圖

(1) 鞏膜:是人類眼球白色的外圍部分,是保護眼球內部結構的最外層纖維膜。

(2) 角膜:是人眼最外層的一層透明薄膜,具有十分敏感的光線感知神經末梢,不但可以保護眼球內部,并且具有很強折光能力。角膜具有自己的曲率且不可調節,不同人的角膜曲率各不相同并且角膜中心是最高點。圖 1 中O2為角膜曲率中心。

(3) 虹膜:虹膜是位于黑色瞳孔和白色鞏膜之間的圓環狀部分,其包含有很多相互交錯的斑點、細絲、冠狀、條紋、隱窩等的細節特征。而且虹膜在胎兒發育階段形成后,在整個生命歷程中將是保持不變的。這些特征決定了虹膜特征的唯一性,同時也決定了身份識別的唯一性。因此,可以將眼睛的虹膜特征作為每個人的身份識別對象。

(4) 瞳孔:眼睛中心顏色更深的環形部分就是瞳孔,人類可以根據外界不同的光線強度條件反射地通過虹膜肌的運動調節瞳孔大小及形狀,進而將外界光線進入瞳孔的數量控制在一定范圍內。圖 1 中O1 為瞳孔中心。

(5) 晶狀體:晶狀體和照相機里的鏡頭非常相似,是眼球中比較重要的屈光間質之一。晶狀體對通過瞳孔進入的光線具有折射作用,并且其形狀和曲率可變,在不同距離觀測目標物體時使眼球聚光的焦點匯聚到視網膜上。

(6) 視網膜:視網膜是一個專門負責感光成像的薄膜。由瞳孔進入的光線經過晶狀體的折射作用匯聚到視網膜上,視網膜將匯聚的光信號轉化為電信號傳遞給大腦。視網膜的分辨能力是不均勻的,黃斑區域是對光感覺最敏感的部位,其中間有一個小凹為黃斑中心凹,它包含大量的感光細胞。圖 1 中P2 為中心凹。

視線追蹤系統中,黃斑中心凹 P2 與瞳孔中心O1 的連線稱為視軸,即人眼實際注視方向,而實際估計的為角膜中心 O2 與瞳孔中心O1 的連線,稱之為光軸。所以,大多數的視線追蹤系統需要有一個定標過程,消除人眼視軸與光軸固有的生理偏差,得到真正視線的方向或注視點的位置。

目前近眼顯示設備(例如Magic leap one)上的眼動追蹤技術方案各種各樣,全球的智能眼鏡企業為了實現眼動追蹤這個重要戰略級技術也都各顯神通,但是究其底層原理都是依據眼睛的生理結構實現的眼動追蹤技術。接下來我根據眼睛的生理結構來為全球的眼動追蹤技術進行分類,這將有助于我接下來的眼動追蹤技術講解。

二、眼動追蹤技術分類

第一種. 瞳孔角膜反射法:通過角膜中心和瞳孔中心的連線進行眼動追蹤。

代表企業:Magic Leap one 、Digilens、Tobii 、SMI、Apple、索尼。

圖3 眼球結構中視軸與光軸區別示意圖

第二種. 視網膜影像:因為視網膜上不規則的毛血管、中央凹等生理結構形成的圖案,通過計算視網膜圖像變化來進行眼動追蹤。

代表企業:Magic leap(第二代或者第三代)、lumuc、三星。

圖4 視網膜影像

第三種. 對眼睛建模后計算視覺中心:1.利用結構光對眼睛建模;2.利用光場相機對眼睛建模

代表企業:Facebook。

第四種. 視網膜反射光強度:激光透過角膜、瞳孔、晶狀體最終打在視網膜上,視網膜會對入射的激光反射,外部光敏傳感器通過檢測視網膜反射光強度確定眼球運動的方向。

代表企業:Facebook、 Lumuc。

第五種. 角膜的反射光強度:角膜外壁較為光滑,如果在眼睛的一側發射一束激光到角膜上時會被角膜反射。當激光剛好射在角膜中心時(角膜中心是最高點),激光的反射強度最大,因此通過光敏傳感器檢測角膜反射光的強度確定眼球運動的方向。

代表企業:微軟、華為、 Adhawk。

圖5 MEMS角膜中心反射示意圖

三、眼動追蹤技術詳細說明

在上述的眼動追蹤技術分類中,第一種瞳孔角膜反射法、第二種視網膜影像、第三種對眼睛建模后計算視覺中心這三種都需要用到攝像頭。其中第一種和第二種都是通過計算機對眼睛的圖像進行處理、特征點提取,進而獲得的眼睛視覺中心。第三種通過攝像頭(紅外相機、深度相機)對眼睛重建為三維模型再計算視覺中心。第四種和第五種僅僅可以通過一個或者幾個光敏傳感器元件捕獲眼睛反射光的強度獲取眼睛視覺中心,反射光可能來自角膜中心或者視網膜。

從眼睛生理結構的特性出發,目前全球主流的智能眼鏡公司的眼動追蹤方法就為上述的五種。但是目前已公開的上百篇眼動追蹤技術技術專利都有什么不一樣呢?主要的不同點在于光學路徑上的創新,圍繞著發射光源的傳播路徑,攝像頭獲取眼睛圖像的傳播路徑,使計算機獲取穩定的、清晰的眼睛圖像展開的。

接下來我將詳細的介紹這五種眼動追蹤的方法:

一、瞳孔角膜反射法:通過角膜中心和瞳孔中心的連線進行眼動追蹤。

首先,我們講講瞳孔角膜反射法的前身為單攝像頭無閃爍光源,該方法僅僅是通過攝像頭獲取眼睛的圖像,從眼睛圖像提取的瞳孔輪廓來計算瞳孔中心,進而推斷每幀照片中眼睛的位移量,結合眼球模型注視點被映射在顯示器上。這種眼動追蹤的方法不允許頭部的運動,因為這種方法的參考方法只有眼睛圖像,頭移動之后眼睛的圖像也會發生位移。并且眼動追蹤的誤差也很大,其原因在于該方法忽略了角膜的屈光度,角膜會引起光的折射,忽略角膜折射可以導致幾度的角度誤差(見圖6誤差示意圖)

圖6:(A)折射導致在角膜界面進入或離開眼睛的光線彎曲。(B)考慮到顯式瞳孔輪廓依賴于角膜的屈光特性,折射現象對無閃爍的注視估算方法提出了一個巨大的挑戰。上方:無折射,假定眼球是球型;下方:實際情況眼球并非完整的球型,角膜在眼球上突出,形成一個小型半球形。

問:為了解決角膜曲率引起的折射偏差,所以要把角膜曲率也作為一個影響因素帶入到眼動追蹤的計算。那么如何計算角膜的影響參數呢?

答案是:通過一個紅外光源照射在角膜上產生一個閃爍點-普爾欽斑(Purkinje image),該閃爍點由進入瞳孔的光線在角膜外表面上反射(cornealreflection,CR)而產生(如圖7)。由于眼球近似球體,照射在上面的閃爍點位置基本不會隨著眼球的轉動而改變。

圖7 閃爍點-普爾欽斑示意圖

在智能眼鏡的眼動追蹤系統中紅外光源、攝像機的位置都是不變條件下,并且在眼球模型的結構基礎上,利用閃爍點與光源位置計算得到角膜曲率中心。 利用圖像處理技術計算獲得瞳孔中心。通過角膜曲率中心與瞳孔中心的連線求得眼球光軸,并利用光軸和視軸之間的夾角計算得到了真實的視線方向—視軸。

需要校準的原因:所示如圖8,視線追蹤系統中,黃斑中心凹P2 與瞳孔中心O1 的連線稱為視軸,即人眼實際注視方向,而實際估計的為角膜中心O2 與瞳孔中心O1 的連線,稱之為光軸。所以,大多數的視線追蹤系統需要有一個定標過程,消除人眼視軸與光軸固有的生理偏差,得到真正視線的方向或注視點的位置。

圖8 眼球結構中視軸與光軸區別示意圖

利用多個紅外光源增強穩定性

問:上述的單攝像頭單光源的眼動追蹤方案在智能眼鏡的使用過程中仍然會出現很多問題。當用戶的頭迅速擺動或者眼睛大幅度運動時,智能眼鏡與眼睛的相對位置會改變,閃爍點在眼睛上的位置也會產生微量位移,因此就注視點位置會產生誤差。并且在智能眼鏡上眼動追蹤系統的光源和攝像頭距離眼睛很近,閃爍點可能會被眼臉、睫毛等擋住紅外攝像頭的視線,因而造成計算誤差。

為了解決上述問題會通過2個或者2個以上的紅外光源打在眼球上面。利用角膜上多個閃爍點共同計算角膜中心,圖像識別獲取瞳孔中心,帶入到3D眼睛模型中計算獲取三維空間的光軸。因此可以通過增加紅外光源解決上述問題,目前我們可以在很多的VR眼鏡上看到的眼動追蹤模塊都是一圈紅外光。索尼的眼動專利還提出動態的投射多個紅外光源到眼球上,以此降低外部因素對眼動追蹤精度的影像。

實施例:AR眼鏡Magic leapone眼動追蹤技術方案。

Magic leap one:在頭顯眼框底部位置發現了眼動追蹤紅外攝像頭。每個透鏡都內置了4個LED的紅外傳感器,而傳感器用于追蹤用戶的眼球運動。由于眼動追蹤攝像頭位于鏡片底部,所以當眼睛往下看時,眼動追蹤更加精準。

圖9 A.Magic leap one眼動追蹤模塊展示

圖9 B.Magic leap one眼動追蹤模塊展示

參考資料:

論文:一種基于眼球結構的視線映射幾何模型設計 鄭思儀;

論文:基于普爾欽斑點的人眼視線方向監測 李東升;

論文:基于瞳孔角膜反射法的視線追蹤 李亞萍;

網站:單攝像頭注視點估算,Pupil Labs帶來精準眼動追蹤效果

https://yivian.com/news/48065.html

索尼專利:信息處理設備,信息處理方法和記錄介質US20190191994

TOBII 專利:一種便攜式眼動儀 US20180131850

二、捕獲眼睛影像法:通過內置攝像設備捕獲經由不同光學路徑方案的眼睛圖像。

2.1 利用反光鏡傳輸眼睛影像

問:通過上圖9可以看出用于眼動追蹤的攝像頭在眼睛的下方,顯然Magic leap one是利用瞳孔角膜反射法進行眼動追蹤,并且目前市面上已經上市的大多數AR/VR眼鏡都是這種方法。圖9中相機的鏡頭對著眼睛以便于拍攝眼睛的圖像,攝像頭所在的位置必須要能夠拍攝到眼睛,并且保證獲取到的眼睛圖像盡可能減少畸變,以及攝像頭位置盡可能正對著眼睛。因此,若攝像頭位置太偏則使得眼動追蹤誤差太大,攝像頭位置太正又影響了AR/VR眼鏡上顯示區域的畫面顯示,這也將阻礙未來實現更大的視場角。目前全球范圍有很多都是在瞳孔角膜反射法的基礎上優化采集眼睛圖像的光學方案,以何種光學方案來獲取無畸變、平穩、清晰的眼睛圖像是眼動追蹤技術專利創新的不同點。

上述問題,在AR/VR眼鏡上可以通過添加一種正面反射光,同時背面還可以透光的光學元件的方法改變光學路徑可以使上述問題解決。下面以SMI和蘋果關于智能眼鏡上眼動追蹤專利技術作為講解。SMI和Apple的眼動追蹤技術方案:SMI眼動追蹤技術具有一定的權威性,是國際上知名的眼動追蹤設備生產商,并且國際上傳統的眼動心理學實驗中廣泛使用這家的眼動追蹤儀器。2017年5月SMI被蘋果收購。

圖10 SMI和Apple眼動追蹤技術示意圖(圖10中:10a眼動追蹤系統、12眼睛、12a瞳孔、E1放大透鏡、M熱鏡、C紅外相機、L紅外光源、18控制處理器、16顯示裝置、CV虛擬照相機)

紅外光源L發射的光接觸到熱鏡M后發生鏡面反射,紅外光經過E1打在瞳孔12a上形成了閃爍點,并且紅外入射光照亮了眼睛特征。熱鏡M光學特性是一面反射紅外光,一面可以透光,透光的一面可以經過顯示器虛擬影像,也可以經過現實世界的光。透鏡E1具有光學校正和放大影像的作用,瞳孔12a上的閃爍點和瞳孔、虹膜、鞏膜影像光被透鏡E1聚光收集后投射在熱鏡M,經熱鏡M反射后被相機C接收。因此,相機通過熱鏡E實現了在VR眼鏡狹小的空間結構中獲得了眼睛的閃爍點和瞳孔影像,利用瞳孔角膜反射算法可以計算出眼球注視點。

參考資料:SMI專利:眼鏡追蹤設備和用于操作眼睛追蹤設備的方法 WO 2016180702

APPLE專利:眼動追蹤裝置及通過鏡頭系統提供無漂移眼動追蹤的方法 US10354136

Google專利:基于棱鏡的眼動追蹤 US10303940

TOBII專利:VR和AR的眼動追蹤 US20190219818

2.2利用光波導傳輸眼睛影像

問:上述中VR眼睛的眼動追蹤利用反射鏡作為光學解決方案,那么AR智能眼鏡呢?AR眼鏡相比VR眼鏡有著更狹窄的硬件設計空間,這使得AR眼鏡使用反射鏡/棱鏡這類的光學元件改變發射光和接受眼睛圖像的光學路徑并不能很好解決方案。因為AR眼鏡上,我希望能夠把AR眼鏡設計的足夠小、足夠輕,最終達到普通的太陽眼鏡的大小,例如鋼鐵俠的AR眼鏡(圖11)。為了使AR智能眼鏡上眼動追蹤的光學方案盡可能的輕薄,眼動追蹤系統的攝像頭位置盡可能不影響視野和顯示系統,那么該使用什么樣的光學方案呢?

圖11 鋼鐵俠AR眼鏡

為了使AR眼鏡能夠達到最佳的設計效果,此時眼動追蹤系統需要與AR眼鏡的光學成像系統相結合。目前,AR智能眼鏡的光學顯示系統包括棱鏡技術-Google 眼鏡、自由曲面技術-EPSON智能眼鏡、離軸光學-Meta2、光波導-Magic leap one和HoloLens2。其中光波導光學顯示系統憑借體積小、鏡片厚度薄、重量輕、視場角大等優勢成為國內外主流AR智能眼鏡首選的近眼顯示成像方案。光波導成像技術原理與光纖的傳導原理類似,光以一定的入射角在光纖內壁上形成全反射,光通過無數個全反射被傳導至末端。利用此原理,AR眼鏡圖像顯示器的影像光被光波導鏡片傳導至眼睛前,然后被波導耦合元件耦合而出形成全息影像。同理在眼動追蹤技術,我們也可以通過光波導技術將眼睛反射光影像傳導至攝像頭,眼睛反射光影像相當于上述的顯示器的影像,攝像頭相當于上述的眼睛,此處的攝像頭隱藏在AR智能眼鏡內部結構中,避免了原始眼動追蹤系統中攝像頭的外露,使得攝像頭可以收集眼睛正前方的影像,而不至于在眼睛的邊緣收集影像,并且這為AR眼鏡的光學成像設計、外觀設計留下了很多的設計空間。

圖12 谷歌專利 使用帶有刻面組合器的光導進行眼動追蹤原理示意圖

圖12上部分中,所描繪的常規眼睛跟蹤系統100包括眼睛101,該眼睛101通過吸收穿過熱鏡104和透鏡109(例如沿z軸)的可見光103來觀看顯示面板102。熱鏡104被配置為反射特定光譜(通常是近紅外光譜)中的光,同時允許該光譜之外的光(即可見光)通過。光源110可以被布置成接近系統100,并且提供光111,例如IR光,其為圖像傳感器108提供眼睛101的增加的照明。IR光通常包括波長從大約750到1250納米(nm)的光。圖像傳感器108定位成接收從眼睛101反射并由熱鏡104反射的IR光111。圖像傳感器108捕獲由IR光107表示的眼睛101的一個或多個圖像。如圖12所示,當直接面向前時,熱鏡104通常相對于眼睛101的光軸成45度角或以45度角放置,以允許圖像傳感器108位于視野(FOV)的外部。熱鏡104的這種成角度的布置要求在眼睛101和顯示面板102之間有相當大的觀看距離112。與之相一致,常規的頭戴式顯示器(HDM)必須足夠大以容納熱鏡104。涵蓋了每只眼睛的大部分或整個視野。

圖12下部分中,與傳統的眼睛跟蹤系統相反,眼睛跟蹤系統120包括多面光波導122而不是熱鏡。光源125向眼睛101提供諸如紅外光126,紅外光126被眼睛反射形成反射光127,反射光127進入光波導122后被耦合光學114耦合偏轉方向,眼睛影像光127被傳導至圖像傳感器129,計算利用圖像傳感器129獲取到的圖像計算眼動追蹤。 因為這里呈現的眼睛跟蹤的實現基于波導,所以與基于具有類似功能的“熱鏡”的傳統方法相比,眼睛跟蹤的性能準確性得以保持或甚至改善,同時實現更小的封裝尺寸和整體更低的重量。

參考資料:

谷歌專利:使用帶有刻面組合器的光導進行眼動追蹤 US20190101757

https://patent.yivian.com/3163.html

關于光波導技術相關知識可參考如下:

揭秘光波導核心原理,了解AR眼鏡背后的挑戰(上)李琨;

揭秘光波導核心原理,了解AR眼鏡背后的挑戰(下)李琨。

2.3 利用光波導傳輸紅外光和眼睛影像

問:除了上述的將眼睛的反射光影像通過光波導元件傳送至攝像頭之外,還可以將照亮眼睛特征的紅外光也通過光波導傳送至眼睛,這樣紅外光源同樣可以隱藏設置在AR智能眼鏡內部,這樣的入射光方案優勢在于使得AR眼鏡的外觀整潔、硬件架構設計方便,同時紅外光可以充分且均勻的照射在眼球上。接下來以Magic leap的一個儲備專利技術為例(配備波導的增強現實顯示器可捕獲眼睛圖像 US20190086674)

圖13 示意性地示出了紅外光和影像光通過光波導元件傳送至眼睛的過程(如圖所示13 :眼動追蹤系統900、圖像投影儀930、照明源960、光學內耦合器942、紅外光源902、全反射傳到的紅外光源904、光波導鏡片940、光學外耦合器944、射出紅外光906、視網膜908、眼睛210、耦合光學元件952、攝像頭920)

圖14 示出了眼睛的反射光通過光波導元件傳送至攝像頭的過程(耦合進入波導鏡片的眼睛反射光914、一部分眼睛的光源圖像912、耦合光學元件952、被耦合偏轉角度的眼睛影像光924和926、攝像頭920)

三. 利用視網膜影像計算注視點

通過上述的光波導眼動追蹤技術,光波導不僅僅可以收集眼睛的鞏膜、虹膜、瞳孔圖像來計算視覺中心點,還可以采集人眼內部視網膜的影像,在上圖視網膜圖例中我們可以觀察到視網膜上的特征都包括的血管、中央凹、視盤、黃斑等生理特征,通過光波導傳輸給攝像頭每一幀視網膜圖像上不同的特征變化計算獲取眼球運動向量,其中原理類似激光鼠標。當然,有了圖像計算眼球運動向量的算法有很多,也可以視網膜全部影像計算機獲取后儲存起來,并將影像一一與眼球注視方向對應,從而根據實時所拍攝到的視網膜圖像計算獲得注視方向。

圖15 A圖眼球的位置對應著視網膜964區域的影像,B圖眼球位置對應視網膜966區域位置

參考資料:

LUMUS專利:基于光導成像光學元件的眼動儀 US20190056600

DIGILENS專利:全息波導眼動儀 US10209517

Magic leap專利:配備波導的增強現實顯示器可捕獲眼睛圖像 US 20190086674

Face book專利:光場波導集成眼動 US10168531

三星專利:用于輸出虛擬圖像的可穿戴設備和方法 US10175485

四. 重建三維模型法:

將眼球重建為三維模型進行眼球追蹤

至此,上述無論是瞳孔角膜反射法還是光學方案改進后的眼動追蹤方法都是通過攝像頭獲取眼睛上特征的圖像,計算機主要是通過處理圖像來計算眼球的運動。Facebook所公開的眼動追蹤技術中,其中提出了一種利用結構光或者光場相機實時對眼球重建為三維模型,通過計算眼球三維模型獲取眼球的運動方向,進而實現了眼動追蹤。例如在iPhone X 人臉識別技術中就充分運用了結構光。

結構光眼動追蹤說明:

圖16 結構化光發射器和照相機的結構光眼動追蹤系統示意圖

如圖16,結構光眼動追蹤方法中包括結構化的發光器310和照相機320。眼動追蹤系統或其元件是頭戴式顯示器的一部分。結構化光發射器310以結構化光圖案照射眼睛,例如結構光圖案315可以是矩形點陣、光柵條紋等。照相機捕獲用結構化光圖案照射的眼睛的圖像(例如,捕獲圖像作為視頻流)。發射器310和照相機320之間的視差可能導致照明圖案的圖像(圖像幀)失真。眼動追蹤基于捕獲圖像中明顯的失真來檢測結構光入射到其上的眼睛的表面的一部分的形狀。基于檢測到的眼睛形狀與模型的比較,眼睛跟蹤單元估計眼睛的方向。估計眼睛的方向可以包括例如確定眼睛的偏航,俯仰和側傾旋轉以及眼睛的平移矢量。在一些實施例中,估計眼睛的取向包括估計眼睛的中央凹軸的方向。通過估計眼睛的瞳孔軸335(光軸)的方向并使用在瞳孔軸和中央凹軸338之間的偏移,可以間接地估計中央凹軸338(視軸)的方向。估計的方向可以用于例如確定注視方向,

在一些實施例中,在眼睛跟蹤開始之前,可以通過訓練用戶的眼睛模型來校準系統。訓練模型可以包括控制電子顯示器以在電子顯示器上的位置處顯示視覺指示器;以及 所述攝像機捕獲所述發射器投射到眼睛上的第二變形照明圖案的第二圖像;并基于捕獲的第二圖像并基于視覺指示器的位置訓練模型。

結構光說明:結構光法就是使用提前設計好的具有特殊結構的圖案(比如離散光斑、條紋光、編碼結構光等),將圖案投影到三維空間物體表面上,使用另外一個相機觀察在三維物理表面成像的畸變情況。如果結構光圖案投影在該物體表面是一個平面,那么觀察到的成像中結構光的圖案就和投影的圖案類似,沒有變形,只是根據距離遠近產生一定的尺度變化。但是,如果物體表面不是平面,那么觀察到的結構光圖案就會因為物體表面不同的幾何形狀而產生不同的扭曲變形,而且根據距離的不同而不同,根據已知的結構光圖案及觀察到的變形,就能根據算法計算被測物的三維形狀及深度信息。

圖17 結構光法原理示意圖

參考資料:

Facebook專利:使用密集結構光圖案的眼動追蹤系統 US20190101978

Facebook專利:利用結構光進行眼動追蹤 US10268290

【深度相機系列一】iPhone X的原深感相機到底是個什么玩意?

https://blog.csdn.net/electech6/article/details/78348917

光場相機眼動追蹤說明

根據專利 US20180173303A1描述,這樣的頭戴式顯示器將具備多個光場攝像頭,以及位于設備內部可照亮用戶兩只眼睛的光源。光場攝像頭用于捕捉用戶眼睛的全光圖像,包括光強度數據和光線的方向數據。眼動追蹤系統基于來自全光圖像幀的深度信息來更新用戶眼睛的3D光場模型,進而利用3D光場模型識別用戶眼睛的虹膜平面,在通過識別虹膜平面中心的法線來確定用戶眼睛的注視方向。

圖18

光場攝像頭或全光攝像頭可以拍攝包括關于光強度和光線方向信息的圖像。與之相比,傳統攝像頭僅捕捉光強度的信息,不包含所述光線的方向信息。在光場攝像頭拍攝圖像之后,圖像處理技術可以重新聚焦在圖像的不同部分之上。例如,圖像最初聚焦在背景中的樹上,然后可以重新聚焦在前景附近的花朵上。

圖 19

由于光場攝像頭可以捕捉光方向數據,因而眼動追蹤系統不需要依靠角膜球面反射模型或閃爍位置來計算用戶眼睛的角膜中心。因此,不需要將外部照明源定位在相對于光場攝像頭的特定位置。光場攝像頭在頭顯內部的定位位置也擁有更多的自由度。最終實現用戶眼睛的注視方向用于控制頭顯的電子顯示器,對應用戶注視方向的電子顯示器部分以高分辨率渲染圖像,而其他部分以較低分辨率渲染圖像,從而節省頭顯系統的計算資源。

相關專利:Eye tracking using a light field camera on a head-mounteddisplay

http://appft.uspto.gov/netacgi/nph-Parser Sect1=PTO1&Sect2=HITOFF&d=PG01&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.html&r=1&f=G&l=50&s1=%2220180173303%22.PGNR.&OS=DN/20180173303&RS=DN/20180173303

五&六、視網膜/角膜反射法:

五,利用視網膜反射光強度檢測眼動追蹤法;

六,利用角膜頂點處的反射光強度檢測眼動追蹤法。

問:至此,上述所提到的眼動追蹤技術都是通過攝像頭實現的,無論是瞳孔角膜反射法,還是利用光波導傳導眼睛或視網膜圖像,亦或者利用結構光或光場相機對眼睛建模進行眼動追蹤,通通都是通過攝像頭實現的眼動追蹤(雖然用到相機的類型繁多)。既然是通過對攝像頭拍到的圖像進行計算,進而獲取眼球的注視位置,要知道該類圖像計算的追蹤方法對CUP計算量和電量的消耗是巨大的。我在上篇《AR/VR行業兵家必爭之地(上)-眼動追蹤應用大全》提到,眼動追蹤為AR智能眼鏡的光學顯示、交互控制、目標識別、身份驗證(虹膜識別)和活體檢測、健康檢測、虛擬社交有著重要的意義。在未來智能眼鏡應用場景成熟后,眼動追蹤可能會是一個需要實時開啟的硬件。因此,在未來的眼動追蹤模塊只有低功耗、高精度且輕便才能夠滿足未來的AR眼鏡的需求。

接下來重點我將講解兩種只需要眼鏡反射光強度就可以計算獲得眼睛注視方向的眼動追蹤技術方案。

五,利用檢測視網膜反射光強度實現眼動追蹤,來自Facebook專利嵌入式眼動儀,US10274730;

圖20 Facebook視網膜強度眼動追蹤示意圖

如圖20所示, Facebook構思的顯示設備包含四層元件:

1140為光敏傳感器陣列,是一個光敏傳感器和一個紅外光發射器設置在同一位置組成一組,該光敏傳感器陣列是由許許多多的組形成的二維陣列。光敏傳感器陣列設置在AR/VR眼鏡顯示器的后方。

1142為透鏡陣列,用于將來自發射器的光線引導至眼睛,并將眼睛反射的光線引導至傳感器。

1144是二維顯示塊陣列,用于對虛擬影像的成像,顯示塊陣列對紅外光透明。所以,傳感器面板發射的紅外光可以通過顯示塊陣列并到達眼睛。

1146,同樣是透鏡陣列,用于對顯示器圖像的校正或者是虛擬影像深度的調節。

這時,當1140光敏傳感器陣列上每個紅外光源發射紅外光,紅外光經過1142、1144、1146組件,直至穿過眼睛瞳孔,最終打在眼睛的視網膜上。視網膜會反射紅外光,反射光會經過原來的路徑最終被1140上的光敏傳感器接收。但是這里需要重點關注的是,只有和眼球瞳孔中心和角膜中心(光軸)在一條直線上的那個光敏傳感器所接收到的反射光強度是最大的,由于光敏傳感器的位置計算機已知,所以通過分析反射光最大強度就可以獲取相應光敏傳感器位置,光敏傳感器強度最大處位置就是眼球的注視位置。

視網膜反射光強度原理

圖21 視網膜上反射原理圖,提供的人眼的示意性側視圖,給出了針對不同入射角的鏡面反射和漫反射的幾何形狀

圖22 視網膜上反射原理圖;是本發明實施例提供的光線進入眼睛后被視網膜和虹膜反射示意圖

圖23 眼睛反射的光的強度的曲線圖,給出了來自視網膜的照射反射的變化作為角度的函數圖(通過改變瞳孔偏移而變化)

所示如圖21,描述利用視網膜的詳細特征進行反射捕獲的實施方式中進行了描述,來自視網膜的反射通常包括鏡面反射和漫反射。圖21中的眼睛200的簡化模型包括:圖21示出了垂直照射在視網膜201的中心上的軸上光線。強鏡面反射光202通過入射光瞳反射,因此在外部強烈地檢測到該反射。然而,當光以離軸角度204照射在視網膜上時,鏡面反射206不會離開瞳孔,并且僅有被去除的反射離開瞳孔(標記為虛線箭頭),因此外部光敏探測器檢測到的弱得多的信號。上述可以看出視網膜的中心區域具有比視網膜的非中心區域更高的反射率。

如圖22所示,進入眼睛201的光線212,214和216被眼睛201的視網膜反射,上述的入射光212、214、216比光線210和218更好地反射,光線210和218被眼睛201的鞏膜反射。此外,光線的光線214是由眼睛201的中心區域反射的光線215被眼睛201的非中心區域反射的光線212和216反射得更好。

圖23示意性地示出了由眼睛反射的光的強度的曲線圖。鏡面反射分量(表征為可變幅度A)是角度相關的(這里描述為光瞳位置),而漫反射大致恒定(表征為幅度B)。在圖19C中,由眼睛的中心區域反射的光具有比眼睛的非中心區域更高的強度。因此,在一些實施例中,眼睛的位置(例如,眼睛的瞳孔的位置)是由眼睛反射的光強度的輪廓確定的(例如,具有最高反射光強度的位置對應到眼睛中心的位置)。參考資料:LUMUS專利:基于光導成像光學元件的眼動儀 US20190056600

Facebook專利:光波導集成的眼動追蹤系統 US10268268

Facebook提出『內置眼動追蹤的AR顯示設備』,以實現緊湊輕便

https://yivian.com/news/60833.html

Facebook 專利:帶有嵌入式眼動儀的顯示器 US10274730

https://patent.yivian.com/3515.html

Facebook 專利:基于瞳孔位置的眼球投射 US10359629

Facebook專利:使用分段電極陣列增強空間分辨率US20190179205

六,利用角膜頂點處的反射光強度檢測眼動追蹤法。

圖 24

以上是加拿大Adhawk提出的眼動追蹤方案,也是本人看到最早提出利用MEMS掃描光照射眼睛角膜的眼動追蹤技術方案。該技術方案具體為在智能眼鏡的一側紅外激光發射的光束打在MEMS反射鏡上,MEMS反射鏡可以改變激光射向眼睛的角度,掃描激光在眼睛上的接觸點可以形成任意的掃描路徑,例如掃描路徑包括正弦余弦函數,還包括光柵掃描路徑、Lissajous圖案,rhodonea曲線,圓形路徑,橢圓路徑。掃描路徑在眼睛上形成的二維圖像就是眼球追蹤的掃描范圍,走完一次掃描就是對眼睛的一次采樣。其中,當執行一次掃描路徑時,在這個周期內的某一時刻必然會掃在角膜的中心點上(眼球最高位置),而入射激光這個點上所產生的鏡面反射會把光反射出去,這時另外一側的光敏傳感器所檢測到的反射光強度是最強的。光敏傳感器會將光信號轉化成電信號,電路中的比較器會篩選出最大電信號,并且中段器會記錄下電信號強度最大這一時刻的時間,最后計算機在利用時間和掃描路徑/MEMS反射鏡角度去反推眼睛的注視位置。

筆者認為這個眼動追蹤的的方法指的技術人員深入的學習,這個眼動追蹤的方法中利用MEMS掃描鏡和光敏傳感器、中斷器巧妙的將二維的掃描路徑轉化為一維的時間去表示和計算。相比于上述利用圖像計算進行眼球追蹤的技術方案,本段所述的MEMS掃描鏡眼動追蹤的計算量下降的不是一星半點,而且該技術方案的眼動追蹤硬件成本下降的也不是一星半點,硬件的體積也非常下,十分符合AR眼鏡輕便和功耗低的設計需求。從微軟目前已公開的近眼顯示設備上的眼動追蹤技術可知,微軟也是MEMS眼動技術的擁護者,相比于Facebook已公開的眼動追蹤技術,微軟更為專一,不像是Facebook廣撒網。微軟目前已公開的MEMS眼動技術分別在光學路徑、信號處理、傳感器硬件這幾個角度進行的專利保護。

光學路徑-利用反射傳播掃描光 US20190050051

光學路徑-利用光學繼電器傳播掃描光 US20190056599

光學路徑-利用波導鏡片傳導掃描光 US20190155046

微軟MEMS眼動技術信號處理-使用掃描光束和多個探測器進行眼動追蹤 (US10303248)

什么是MEMS?

MEMS(Micro electromechanical systems,微機電系統/微機械/微系統),是采用微電子技術、集成電路技術及其加工工藝制作而成的微米級別機械器件。MEMS往往會采用常見的機械零件和工具所對應微觀模擬元件,例如它們可能包含通道、孔、懸臂、膜、腔以及其它結構。MEMS傳感器、驅動器同樣可以實現眼球追蹤功能,并且具有極大的發展潛力。MEMS器件的特征長度從1毫米到1微米,相比之下頭發的直徑大約是50微米。MEMS器件主要優點是體積小、重量輕、功耗低、可靠性高、靈敏度高、易于集成等,是微型傳感器/驅動器的主力軍,正在逐漸取代傳統機械器件。其成本有可能通過工藝優化、批量生產大幅度降低,主要原因是由于MEMS生產不同于傳統加工制造生產,MEMS采用類似于集成電路的制造工藝,由于產品體積小,在一個二十厘米的硅片上可一次性生產出上千器件。若單個MEMS傳感器芯片面積為5mmx5mm (也有大量MEMS傳感器可以小于毫米尺度),則一個8英寸(直徑20厘米)硅片(wafer)可切割出約1000個MEMS傳感器芯片,分攤到每個芯片的成本則可大幅度降低。由于具有上述優勢,基于MEMS的眼動追蹤系統在AR/AR系統中具有不可比擬的優勢,也將成為VR/AR裝置小型化、低成本化的重要資本。

圖示為8英寸硅片上的MEMS芯片(5mmX5mm)示意圖

圖示為硅片,其上的重復單元可稱為芯片(chip 或die),每個重復單元可含有若干MEMS傳感器,甚至包含相應的集成電路

參考資料

微軟專利:使用掃描光束和多個探測器進行眼動追蹤 US10303248

微軟專利:利用MEMS和反射光的眼動追蹤 US20190050051

微軟專利:利用MEMS掃描和光學繼電器進行眼動追蹤 US20190056599

微軟專利:使用Mems掃描和光學繼電器進行眼動跟蹤US10394034

微軟專利:基于硅光電倍增管傳感器的高效基于Mems的眼動追蹤系統US20190250703

微軟專利:用于可見光顯示設備的眼睛跟蹤系統 US20190250704

Adhawk專利:System andMethod for Resonant Eye-Tracking US2018210547A1

Adhawk專利:眼球追蹤系統及方法US2017276934A1

Adhawk專利:眼動追蹤系統及其方法US2016166146A1

華為專利:一種眼球追蹤系統和眼球追蹤方法 CN107515466

華為專利:一種啟動眼球追蹤功能的方法及移動設備CN108027644A

從上述的AR/VR第一梯隊公司所眼動追蹤技術公開專利技術不難看出,幾乎所有的AR智能眼鏡公司都在布局自己的眼動追蹤技術,相對于中國的科技公司目前的在眼動技術上的布局很薄弱。同時從上面的分析不難看出目前的全球眼動追蹤技術都處于開始階段,后面還有需要大量的技術迭代,我認為好的眼動追蹤技術一定是需要和光波導元件、顯示光學方案一起考慮設計才能有更好的效果。眼動追蹤可以為波導顯示器提供更好的顯示效果,同時波導也可以為眼動追蹤提供更高追蹤精度。天蝎科技吸收全球的眼動追蹤技術的優點,也提出了一種利用眼動追蹤技術專利,希望能夠與我國的AR智能眼鏡生產商、波導鏡片生產商合作。

同時,天蝎科技擁有大量AR眼鏡上基于眼動追蹤應用軟件商業模式發明專利,可以完善AR眼鏡硬件公司的戰略布局。眼動追蹤應用具體可詳見 閱讀原文《AR/VR行業兵家必爭之地(上)-眼動追蹤應用大全》。

作者介紹:

天蝎科技來源于一部講述由天才黑客團隊的美劇《天蝎計劃》,目前團隊由90后組成的創業團隊。作者認為每個時代都有每個時代的饋贈,2000年 PC和互聯網成就了微軟;2010年 手機成就了蘋果;移動互聯網成就了微信和支付寶,同時在無數80后前輩的努力下也成就了許多互聯網產品。所以下個AR/VR、5G的時代90后必須參與。最后特別鳴謝:雖然本人與映維網劉總素未謀面,但是希望借此感謝映維網為中國AR/VR行業所提供的社會公共資源。尤其是專利板塊為我開啟了世界的大門,讓我這樣的草根創業者能夠接觸世界頂尖智能眼鏡公司的專利技術。使我們快速的吸收先進的技術。

武漢市天蝎科技創始人 陳濤

PS:如果您對本項目感興趣,有合作及投資意愿的朋友與我們聯系(微信號ct312036931)

原文鏈接:https://yivian.com/news/68949.html

THE END
廣告、內容合作請點擊這里 尋求合作
VR
免責聲明:本文系轉載,版權歸原作者所有;旨在傳遞信息,不代表砍柴網的觀點和立場。

相關熱點

DeepFovea是一種基于AI的注視點渲染系統,并主要用于虛擬現實和增強現實顯示器。據介紹,其采用了的像素數目較之原來系統要少數個量級,同時能夠實現逼真的注視點全畫質體驗。
VR
近日 《2018年中國移動NFC支付行業研究報告》出爐,據報告顯示線下支付逐漸成為移動支付新的增長點,而我國線下支付市場一直都是向著更加便捷的支付方式進行演變。移動NFC支付比二維碼支付操作更加簡便,...
VR
在今年的OC6大會上,Facebook發布了允許Quest用戶開玩Rift游戲的工具軟件Oculus Link,受到了許多玩家的喜愛,而在今天,這家公司終于發布了這款產品的beta版本。
VR
大眾汽車公司的首席執行官表示,這家電動汽車制造商可能會發現德國比其本州加州更能容納制造業。
VR
第十九屆中國虛擬現實大會(ChinaVR 2019)將于2019年11月21日至24日在深圳大學城會議中心舉行,500余名專家學者將齊聚一堂,共同研討相關領域最新理論、技術成果與行業應用。同期將舉辦虛擬現實產學研大...
VR

相關推薦

1
3
香港六肖中特官方公