Facebook研發AI注視點渲染DeepFovea,為一體機VR大大提升渲染效能

VR/AR
2019
11/19
22:32
映維網
分享
評論

來源:映維網 作者 吳羽樺

DeepFovea是一種基于AI的注視點渲染系統,并主要用于虛擬現實和增強現實顯示器。據介紹,其采用了的像素數目較之原來系統要少數個量級,同時能夠實現逼真的注視點全畫質體驗。

Facebook指出,這是第一個能夠根據非常稀疏的輸入來生成自然視頻片段的實用生成對抗網絡(Generative Adversarial Network;GAN)。在測試中,DeepFovea可以將渲染所需的計算資源量減少多達10-14倍,而人眼依然無法注意到任何圖像差異。

在下面這個視頻中,灰色正方形是用戶注視的區域。系統能夠對所述區域的圖像進行密集采樣,而其他地方則是稀疏采樣。DeepFovea可以實時有效地生成丟失的外圍像素,不會出現保真度丟失的情況。

1. 工作原理

當人眼直接注視對象時,我們可以在注視區域看到非常清晰的細節,但外圍視場的清晰度則較低。然而,由于人腦能夠推斷缺失信息,所以我們不會注意到影像差異。利用生成對抗網絡的最新進展,DeepFovea能夠通過生成感知一致的內容來“半透明化”丟失的外圍細節。研究人員通過饋送大量低像素密度的視頻片段來訓練系統。輸入可以模擬外圍圖像的質量下降,而目標能夠幫助網絡根據所所見視頻的統計信息來學習如何填充缺失的細節。結果是一個能夠根據稀疏像素流生成自然視頻的系統。Facebook指出,60×40度視場的外圍像素密度最高降低了99%。所述系統同時可以管理外圍視場的閃爍,鋸齒和其他視頻偽影,將其控制在人眼無法注意到的閾值。

2. 有何意義?

高質量的AR和VR體驗需要高圖像分辨率,高幀率和多視圖,而這需要耗費大量的資源。為了優化系統并把沉浸式體驗帶給更多的設備(如搭載移動芯片和小型電池的電子產品),我們需要顯著提升渲染效能。

DeepFovea說明了深度學習是如何通過注視點重建來幫助完成這項任務。這種方法具備跨硬件功能,并有望在下一代頭戴式顯示技術中成為重要的輔助工具。隨著社區正不斷探索在AR和VR應用眼動追蹤系統,構建諸如DeepFovea這樣的視線識別技術將能發揮重要的作用。Facebook表示:“這個系統是我們為優化AR/VR圖形而提出的數個研究項目之一。在它之前是旨在利用AI解決視覺輻輳沖突挑戰的DeepFocus。”

Facebook已經將源代碼托管至GitHub。另外,完整論文請點擊這里。

原文鏈接:https://yivian.com/news/68984.html

THE END
廣告、內容合作請點擊這里 尋求合作
VR
免責聲明:本文系轉載,版權歸原作者所有;旨在傳遞信息,不代表砍柴網的觀點和立場。

相關熱點

近日 《2018年中國移動NFC支付行業研究報告》出爐,據報告顯示線下支付逐漸成為移動支付新的增長點,而我國線下支付市場一直都是向著更加便捷的支付方式進行演變。移動NFC支付比二維碼支付操作更加簡便,...
VR
在今年的OC6大會上,Facebook發布了允許Quest用戶開玩Rift游戲的工具軟件Oculus Link,受到了許多玩家的喜愛,而在今天,這家公司終于發布了這款產品的beta版本。
VR
大眾汽車公司的首席執行官表示,這家電動汽車制造商可能會發現德國比其本州加州更能容納制造業。
VR
第十九屆中國虛擬現實大會(ChinaVR 2019)將于2019年11月21日至24日在深圳大學城會議中心舉行,500余名專家學者將齊聚一堂,共同研討相關領域最新理論、技術成果與行業應用。同期將舉辦虛擬現實產學研大...
VR
日前由洛杉磯劇院和Cinespia共同組織的《星球大戰外傳:俠盜一號》放映活動中,洛杉磯的影迷朋友同時體驗了一次步入虛擬現實的感受。
VR

相關推薦

1
3
香港六肖中特官方公