通信界訊 10月31日消息,2023云棲大會上,喜馬拉雅展示其最新的自研語音技術成果,包括喜馬拉雅珠峰語音生成式大模型和第二代智能語音交互系統。
據介紹,喜馬拉雅珠峰語音生成式大模型,具備快速實現語音音色和風格定制的能力。這一技術支持豐富場景下的音色實時轉換,為聲音賦予了創造性的"變聲"能力,宛如給聲音涂上不同的“畫皮”。此前,喜馬拉雅珠峰實驗室團隊已通過AIGC方式創作了超過3.7萬部有聲書專輯,而AIGC作品的每日播放時長已超過250萬小時。

在云棲大會現場,喜馬拉雅展示了其自研的珠峰語音生成式大模型。該大模型由喜馬拉雅珠峰智人團隊與西北工業大學aslp lab展開合作,基于自研框架,實現音頻與文本在統一框架下的稠密訓練,用于語音生成任務,能夠實現語音風格和音色的zero shot的學習和遷移,實現風格和音色的任意組合,同時,喜馬拉雅基于阿里云數據湖3.0構建的云原生大數據平臺為語音大模型訓練提供了海量高質量數據, 是喜馬拉雅語音大模型不可或缺的“數據引擎”。
據喜馬拉雅首席科學家、珠峰實驗室負責人盧恒介紹,“喜馬拉雅語音生成式大模型目前已經取得了顯著的突破,在音色定制方面實現了5秒內的‘極速克隆’聲音。通過極少量的數據,該模型能夠克隆出具有90%相似度的基本音色,并在短短的10秒內快速生成定制音頻。未來,這項技術在短視頻創作、數字人配音、人機交互對話、名人IP復刻等領域有望發揮出巨大的潛在價值,有效解決商業場景中的溝通需求痛點。”
喜馬拉雅珠峰實驗室資深產品專家呂睿韜現場介紹到:該語音大模型采用基于語音向量和語義標記的新型語音編解碼器,其中語音向量包含用于高保真語音重建的聲學細節,而語義標記(LLM)則側重于語言建模的語音的語言內容,最終實現高效生成最富有語言表現力和最高保真度的語音(對話)內容。應用場景上,該語音大模型可應用于語音內容生成、口語對話、語音音色實時轉換、說話風格遷移、語音到語音跨語種翻譯、說話人匿名化等各種任務。
喜馬拉雅還將展示其第二代智能語音交互系統,這一系統以阿里云的“通義千問”大模型為基礎,以喜馬拉雅兒童形象代言人“波波”為中心,增強了他的自然連貫對話能力,凸顯了“波波”這一IP形象的特征。該智能語音交互系統已通過喜馬拉雅兒童APP和喜馬拉雅提供服務,波波球為家庭親子用戶提供陪伴對話功能。