技術(shù)助力愛奇藝出海提速 這次讓AI當(dāng)上了“配音演員”
對標(biāo)國際制作水準(zhǔn),愛奇藝推出的大批高品質(zhì)自制內(nèi)容,不僅成功收獲了國內(nèi)眾多用戶好評,也深受海外用戶的喜愛。近日,App Annie 公布了11 月中國非游戲應(yīng)用出海收入排行榜,愛奇藝已躍升至第五位,同時也是國內(nèi)長視頻領(lǐng)域中唯一躋身Top 5的平臺。

App Annie 11 月中國非游戲應(yīng)用出海收入排行榜
其實,愛奇藝出海“成績“亮眼的背后,除了內(nèi)容質(zhì)量在線外,更離不開技術(shù)創(chuàng)新的持續(xù)支持。
目前,愛奇藝通過基于AI的語音轉(zhuǎn)換及合成技術(shù),推出了自研的IQDubbing配音平臺(簡稱IQDubbing)。依托該平臺完成的配音,不僅能最大化保留聲音情感,且相比傳統(tǒng)多人多角色配音,更實現(xiàn)了“一人分飾多角”。這一平臺的應(yīng)用有效提升了配音效率,提高了內(nèi)容供給速度。對于一集45min的電視劇來說,基于該模式完成的配音僅為人工配音總耗時的近1/6。
IQDubbing已支持多語種配音,除了中文外,還支持泰語、越南語等語言的配音。愛奇藝出品的《愛上特種兵》《月光變奏曲》《一生一世》《周生如故》《無神之地不下雨》等愛奇藝熱播劇集均通過IQDubbing完成配音。伴隨包括該技術(shù)在內(nèi)的更廣泛應(yīng)用,愛奇藝正在進一步提升影視內(nèi)容配音效率,降低成本。
“一人分飾多角還能這么玩?”
在“萬物皆可AI”的時代,人工智能技術(shù)正在驅(qū)動影視內(nèi)容配音模式的不斷進化。
影視作品因涉及角色的性別、年齡、身份不同,在后期配音環(huán)節(jié)通常需要“一人飾演一角”才能保證高質(zhì)量的配音效果。但主配角的配音工作量本就差異很大,且配音演員們的檔期很難協(xié)調(diào),因此完成一部作品的配音工期相對較長,再加上后期制作,內(nèi)容制作的整體時間被嚴(yán)重拉長,不利于作品的快速上線。
不同于傳統(tǒng)配音模式,愛奇藝自主研發(fā)的IQDubbing配音平臺,不僅能讓“一人分配多角”成為可能,還能最大化保證最終輸出的聲音 “帶有感情”。具體而言,IQDubbing僅需一位配音演員完成所有角色配音任務(wù),并輸出一份聲音素材即可,免去了尋找多位配音員且需要協(xié)調(diào)檔期的煩惱。

同時,IQDubbing還可以通過聲紋等多種特征的提取和比對,自動從音庫中推薦符合原始角色人設(shè)的AI音色。依托強大的語料庫和算法支持,IQDubbing通過AI算法能夠?qū)β曇羲夭闹械膬?nèi)容(臺詞)、韻律(情感)和音色(人物個性特征)等特征進行有效拆分?;诖?,在不影響內(nèi)容、韻律特征輸出的同時,該平臺可實現(xiàn)僅對不同角色所需音色特征做替換,并完成語音合成,從而確保合成后聲音韻律、內(nèi)容不受影響,并與劇情完美融合。此外,利用AI算法,IQDubbing還能實現(xiàn)聲音片段自動添加音效、音畫對齊、音量自動調(diào)節(jié)等后期制作。
以一集45min的電視劇為例,在保證整體配音效果的同時,基于該模式完成的配音僅為人工配音總耗時的近1/6。
技術(shù)創(chuàng)新持續(xù)護航內(nèi)容出海
愛奇藝作為首家將語音轉(zhuǎn)換技術(shù)應(yīng)用于配音領(lǐng)域的內(nèi)容平臺,正率先嘗試依托AI技術(shù)賦能優(yōu)質(zhì)內(nèi)容出海。目前,IQDubbing已支持中文配音、越南語配音、泰語配音,正在“憑實力”贏得更廣闊的海外應(yīng)用機會。
如今,IQDubbing已逐步在愛奇藝海外發(fā)行項目中得到應(yīng)用。愛奇藝熱門劇集如《愛上特種兵》《月光變奏曲》《一生一世》《周生如故》《無神之地不下雨》《奇妙的命運呀》《戀愛吧,食夢君》等的越南語配音,《青簪鎖三千》等的泰語配音,均通過該平臺完成。

《月光變奏曲》(左)、《愛上特種兵》(右)越南發(fā)行海報
此外,愛奇藝在技術(shù)上的持續(xù)探索和優(yōu)化,也不斷獲得國際頂級會議的接受和認(rèn)可。愛奇藝算法團隊聯(lián)合西北工業(yè)大學(xué)完成的論文《基于口音和說話人解耦的多到多語音轉(zhuǎn)換》(Accent and Speaker Disentanglement in Many-to-many Voice Conversion) 和論文《語音轉(zhuǎn)換中的源風(fēng)格到目標(biāo)風(fēng)格的遷移》(Enriching Source Style Transfer in Recognition-Synthesis based Non-Parallel Voice Conversion),分別被國際語音技術(shù)領(lǐng)域頂會Interspeech 2021、ISCSLP2021收錄。同時愛奇藝在該領(lǐng)域也申請了數(shù)十項發(fā)明專利。
從多語言臺詞翻譯技術(shù),在線審片系統(tǒng),到基于AI的IQDubbing配音平臺等……技術(shù)創(chuàng)新已成為愛奇藝近年來推動內(nèi)容出海的關(guān)鍵舉措。目前,愛奇藝已經(jīng)依靠包括AI等技術(shù)的創(chuàng)新應(yīng)用,持續(xù)優(yōu)化影視工業(yè)效率,有效降低海外市場運營成本。未來,伴隨IQDubbing的持續(xù)優(yōu)化,該平臺也將應(yīng)用于更多出海內(nèi)容的配音環(huán)節(jié),助力愛奇藝向世界各國的用戶展現(xiàn)中國優(yōu)秀的原創(chuàng)內(nèi)容。