Red Pill Live靠人工智慧捕捉動作 虛擬網紅平民化時代來臨

虛擬網紅、虛擬主播,或稱VTuber、V-Liver,他們的人氣正在網路社群中逐漸崛起。讓這些角色活起來的動作捕捉技術也因此受到關注,有成本低、效果好的工具,人人都有機會成為虛擬網紅。Red Pill Live是由Red Pill Lab針對全身動作捕捉與表演所研發的軟體,基於人工智慧技術,只要6個感測器、1個麥克風,就可捕捉全身動作、表情和嘴型,成本相較傳統動作捕捉攝影棚大幅降低。

Red Pill Lab執行長石千泓(左)與技術長DOBRY TODOROV
▲ Red Pill Lab執行長石千泓(左)與技術長DOBRY TODOROV(圖/Matt Kan攝)

以好萊塢等級的動作捕捉系統而言,整套大約要30萬美金,扮演虛擬角色的演員身上、臉上大概也貼滿了感測器。我們之前參觀日本V-Liver工作室,攝影棚總共架了16台攝影機,演員身上穿了53個感測器,整間工作室大概有十幾位員工。不過類似的效果,以Red Pill Live一個人就可做到,整套設備一個背包就可以裝起來,也不需要攝影棚。

關鍵在於人工智慧技術。Red Pill Lab執行長石千泓表示,他們一年前加入NVIDIA專案計畫,蒐集了超過4,000個動作資料,運用NVIDIA Quadro RTX Tensor Core來訓練動作預測模型,靠捕捉頭、雙手、腰、雙腳共6個感測器,就可預測出人體動作。表情、嘴巴的部份則是靠聲音資料訓練,以演員說話的聲音預測情緒及嘴型。

我們實際觀察Red Pill Live現場示範,身體動作的反應相當即時。表情、嘴部動作也很即時,但沒有很精準。石千泓說明,表情他們是設定高、中、低、正常四種情緒,依據當下的口氣來預測情緒顯示。嘴型不是依據語言顯示,而是學習了如a、i、u、e、o等14種發音的嘴型,依據發音即時反應在虛擬角色嘴巴上。目前正不斷訓練人工智慧,希望未來可以更精準。


▲ Red Pill Live示範影片

但老實說,除了花大錢的影視、遊戲產業能做到相當逼真,一般網路上的虛擬網紅其實也不求真實,主要在傳達虛擬角色的形象、個性、互動。Red Pill Live的效果已經相當出色,而且可做即時直播,應可讓表演者有更大發揮空間。而且如果預算高一些,用支援虛幻引擎(Unreal Engine)的Red Pill Live版本、搭配NVIDIA Quadro RTX 6000 RT Core的話,可做到4K即時光線追蹤,輸出影像的光影效果更棒。


▲ Red Pill Live Unreal版搭配NVIDIA RTX 6000的效果

Red Pill Live內容導入、匯出使用流通的.fbx三維模型格式,可與Maya、3DS Max Studio專業動畫軟體橋接,或將動作捕捉資料導入商業引擎如虛幻引擎、Unity等驅動數位角色。目前客戶遍及台灣、大陸、日本、韓國、美國、加拿大,應用場景包含教育、動畫、互動劇場、遊戲等。

Red Pill Live企業版價格約幾十萬,石千泓表示今年計畫在Steam平台推出雲端版,採月租收費,屆時就適合個人使用了。

史塔夫短評:虛擬角色要遍地開花了。

留言