虛擬管風琴演奏家 顛覆古典樂

工研院運用生成式AI技術,將管風琴演奏家余曉怡轉化為虛擬偶像。 (工研院提供)

記者彭新茹∕新竹報導

工研院運用生成式AI技術(GAI),在一日登場的「二0二三福爾摩沙國際管風琴藝術節閉幕音樂會」中,管風琴演奏家余曉怡的虛擬偶像造型首度亮相,透過GAI隨樂曲變換生成不同動畫,打造與古典音樂高度融合的影像體驗,帶來視覺與聽覺的雙重享受。

工研院產業科技國際策略發展所所長林昭憲表示,隨著虛擬產製生態更為成熟,虛擬世界服務體驗平台大幅擴展。根據自主移動機器人全球市場研究報告(AMR)顯示,預期虛擬人的市值規模將從去年的一百一十三億美元,二0三0年將成長到二千九百五十一億美元,年複合成長率超過四成。虛擬人可做為虛擬偶像、虛擬助手、虛擬教師、虛擬客服等場景,主要應用在遊戲、零售、教育和汽車產業。

工研院針對古典樂特性,由GAI生成適合樂曲意境的景象,提升沉浸感。 (工研院提供)

工研院服務系統科技中心執行長鄭仁傑表示,工研院與福爾摩沙管風琴演奏家余曉怡合作,將GAI文生圖實際應用到音樂表演現場,在前台設置透明投影螢幕,讓余曉怡虛擬分身透過大量照片訓練後,由AI生成專屬於余曉怡且像她的虛擬模型,搭配GAI語音轉動畫自動生成與工研院前瞻計畫的語音風格轉化技術,只要提供文稿或一段語音,虛擬偶像便會以各種不同的造型及聲音呈現多樣的風貌,提供觀眾更豐富的視覺享受。

另一亮點在舞台上,過去演奏家表演時,舞台背景顯示的音景通常是與畫家配合,針對演奏曲目挑選或創作合適意境的畫;這次工研院針對古典樂特性,對GAI下指令生成相對應的景象,並顯示在管風琴的後上方,讓觀眾享受樂曲的同時,可以看到更具意象的畫面,提升沉浸感。