蘋(píng)果公司最新獲批的Vision Pro相關(guān)專(zhuān)利,為頭顯設(shè)備中的FaceTime通話虛擬頭像技術(shù)揭開(kāi)了神秘面紗。這項(xiàng)專(zhuān)利不僅展示了高度逼真的虛擬形象如何在FaceTime通話中實(shí)現(xiàn),還詳細(xì)闡述了其背后的工作原理。
據(jù)科技媒體報(bào)道,Brian Tong在2024年的演示中,向公眾展示了Vision Pro頭顯設(shè)備的FaceTime通話體驗(yàn)。與以往的卡通化虛擬頭像不同,Vision Pro采用了高度逼真的虛擬形象,為用戶(hù)帶來(lái)了全新的通話體驗(yàn)。
最新獲批的專(zhuān)利揭示了這一功能的核心技術(shù)。該專(zhuān)利描述了一種利用射頻(RF)信號(hào)和低調(diào)天線系統(tǒng)的方法,能夠精準(zhǔn)地區(qū)分用戶(hù)的面部變形和手部姿態(tài)。這一系統(tǒng)通過(guò)頭戴設(shè)備底部集成的天線,利用自諧振頻率和性能變化,捕捉用戶(hù)面部和手部的細(xì)微動(dòng)作。
為了確保信號(hào)的準(zhǔn)確性和穩(wěn)定性,系統(tǒng)還采用了定向輻射模式來(lái)優(yōu)化信號(hào)強(qiáng)度。這一設(shè)計(jì)能夠減少手部、面部遮擋物(如胡須、口罩)或環(huán)境干擾對(duì)信號(hào)的影響,從而提供更可靠的面部和手部姿態(tài)捕捉。
專(zhuān)利中提到的槽形天線(Slot Antenna)設(shè)計(jì),因其低調(diào)且結(jié)構(gòu)簡(jiǎn)單,非常適合用于頭戴設(shè)備。部分天線甚至采用了折疊設(shè)計(jì),為次級(jí)天線提供了放置空間,從而進(jìn)一步提升了信號(hào)的分辨率和捕捉精度。
除了精準(zhǔn)的面部和手部姿態(tài)捕捉外,這項(xiàng)技術(shù)還可以用于創(chuàng)建個(gè)性化的虛擬形象(Persona)。這些虛擬形象不僅具有逼真的照片級(jí)表現(xiàn),還可以呈現(xiàn)為抽象化的動(dòng)畫(huà)形象,為用戶(hù)提供更多的選擇和個(gè)性化空間。
為了實(shí)現(xiàn)這一目標(biāo),系統(tǒng)結(jié)合了機(jī)器學(xué)習(xí)(ML)模型和規(guī)則算法,以及運(yùn)動(dòng)傳感器的輸入。這一組合能夠適應(yīng)用戶(hù)不同的頭部和手部朝向,確保精準(zhǔn)捕捉嘴部動(dòng)作(如閉嘴、微笑露齒)及手部動(dòng)作(如手指關(guān)節(jié)移動(dòng))。
值得注意的是,雖然面部和手部表情捕捉不需要高幀率,但需要高分辨率掃描來(lái)區(qū)分不同的姿態(tài)。而對(duì)于語(yǔ)音時(shí)的嘴部快速動(dòng)作,系統(tǒng)則可以通過(guò)較低分辨率捕捉整體形態(tài),從而實(shí)現(xiàn)高效且準(zhǔn)確的捕捉。