這項(xiàng)研究使用集成了眼球追蹤技術(shù)的頭戴顯示器，可以展現(xiàn)一個(gè)玩家豐富的面部表情。臉部表情是理解一個(gè)人在虛擬現(xiàn)實(shí)體驗(yàn)情緒的關(guān)鍵，它傳達(dá)著重要的社交活動(dòng)線(xiàn)索。

以下是 Google Research 的研究成果：

今天，我們提出了一種方法，通過(guò)分析臉部一小塊區(qū)域來(lái)推斷整個(gè)面部表情。具體來(lái)說(shuō)，我們?cè)?VR 頭顯中裝入紅外攝像頭，用于捕捉用戶(hù)眼睛區(qū)域，這足以推斷至少一部分面部表情，而無(wú)需使用任何外部攝像頭或額外的傳感器。

左邊：一個(gè)用戶(hù)戴著虛擬現(xiàn)實(shí)頭顯，使用眼球追蹤來(lái)進(jìn)行表情分類(lèi)

右邊：從監(jiān)測(cè)到的眼睛圖像匹配我們的模型，從而推斷表情的表達(dá)

我們使用深度學(xué)習(xí)來(lái)區(qū)分眼睛和周?chē)鷧^(qū)域的面部表情，這些區(qū)域通常包括虹膜、鞏膜和眼瞼，還可能包括眉毛和臉頰部分。從這樣的新型傳感器中獲取大量的數(shù)據(jù)是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，因此我們收集了 46 個(gè)實(shí)驗(yàn)對(duì)象的一系列面部表情訓(xùn)練數(shù)據(jù)。

為了達(dá)成臉部表情分類(lèi)，我們微調(diào)了 TensorFlow 的 Inception 變體，并在 Imagenet 上訓(xùn)練了模型的權(quán)重。由于參與者的外貌差異，我們?cè)噲D在一定程度上消除這些差異。

我們已經(jīng)證明了，這種方式對(duì)于各種面部表情的識(shí)別是可靠的，而且捕獲眼睛區(qū)域的這些信息可以通過(guò)使用基于 CNN 的方式進(jìn)行解碼，即使對(duì)人類(lèi)來(lái)說(shuō)，僅從眼睛區(qū)域識(shí)別面部表情也是十分重要的。

我們的模型可以實(shí)時(shí)進(jìn)行推斷，并可以實(shí)時(shí)生成帶有面部表情的頭像，它可以用作虛擬現(xiàn)實(shí)用戶(hù)的社交表達(dá)的替代。這種交互機(jī)制還能產(chǎn)生一種更直觀的界面，例如在虛擬現(xiàn)實(shí)中分享表情，取代以前的手勢(shì)或鍵盤(pán)輸入。

目前的眼球追蹤技術(shù)可完全嵌入到消費(fèi)者 VR 頭顯中，而無(wú)需額外的外部攝像頭，這種方式捕捉用戶(hù)面部表情是一個(gè)可以移動(dòng)的解決方案。

這種技術(shù)的發(fā)展超越了動(dòng)畫(huà)卡通頭像，它可以用來(lái)提供更豐富的VR社交體驗(yàn)，通過(guò)更真實(shí)和更豐富的情感信息來(lái)增強(qiáng)虛擬現(xiàn)實(shí)的交流和社交活動(dòng)。