這項(xiàng)研究使用集成了眼球追蹤技術(shù)的頭戴顯示器，可以展現(xiàn)一個(gè)玩家豐富的面部表情。臉部表情是理解一個(gè)人在虛擬現(xiàn)實(shí)體驗(yàn)情緒的關(guān)鍵，它傳達(dá)著重要的社交活動(dòng)線索。

以下是 Google Research 的研究成果：

今天，我們提出了一種方法，通過分析臉部一小塊區(qū)域來推斷整個(gè)面部表情。具體來說，我們在 VR 頭顯中裝入紅外攝像頭，用于捕捉用戶眼睛區(qū)域，這足以推斷至少一部分面部表情，而無需使用任何外部攝像頭或額外的傳感器。

左邊：一個(gè)用戶戴著虛擬現(xiàn)實(shí)頭顯，使用眼球追蹤來進(jìn)行表情分類

右邊：從監(jiān)測到的眼睛圖像匹配我們的模型，從而推斷表情的表達(dá)

我們使用深度學(xué)習(xí)來區(qū)分眼睛和周圍區(qū)域的面部表情，這些區(qū)域通常包括虹膜、鞏膜和眼瞼，還可能包括眉毛和臉頰部分。從這樣的新型傳感器中獲取大量的數(shù)據(jù)是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，因此我們收集了 46 個(gè)實(shí)驗(yàn)對象的一系列面部表情訓(xùn)練數(shù)據(jù)。

為了達(dá)成臉部表情分類，我們微調(diào)了 TensorFlow 的 Inception 變體，并在 Imagenet 上訓(xùn)練了模型的權(quán)重。由于參與者的外貌差異，我們試圖在一定程度上消除這些差異。

我們已經(jīng)證明了，這種方式對于各種面部表情的識別是可靠的，而且捕獲眼睛區(qū)域的這些信息可以通過使用基于 CNN 的方式進(jìn)行解碼，即使對人類來說，僅從眼睛區(qū)域識別面部表情也是十分重要的。

我們的模型可以實(shí)時(shí)進(jìn)行推斷，并可以實(shí)時(shí)生成帶有面部表情的頭像，它可以用作虛擬現(xiàn)實(shí)用戶的社交表達(dá)的替代。這種交互機(jī)制還能產(chǎn)生一種更直觀的界面，例如在虛擬現(xiàn)實(shí)中分享表情，取代以前的手勢或鍵盤輸入。

目前的眼球追蹤技術(shù)可完全嵌入到消費(fèi)者 VR 頭顯中，而無需額外的外部攝像頭，這種方式捕捉用戶面部表情是一個(gè)可以移動(dòng)的解決方案。

這種技術(shù)的發(fā)展超越了動(dòng)畫卡通頭像，它可以用來提供更豐富的VR社交體驗(yàn)，通過更真實(shí)和更豐富的情感信息來增強(qiáng)虛擬現(xiàn)實(shí)的交流和社交活動(dòng)。