3月6日,騰訊混元發(fā)布圖生視頻模型並對外開源,同時上線對口型與動作驅(qū)動等玩法,並支持生成背景音效及2K高質(zhì)量視頻?;秷D生視頻的能力,用戶只需上傳一張圖片,並簡短描述希望畫面如何運動、鏡頭如何調(diào)度等,混元即可按照用戶要求讓圖片動起來,變成5秒的短視頻,還能自動配上合適的背景音效。此外,上傳一張人物圖片,並輸入希望「對口型」的文字或音頻,圖片中的人物即可「說話」或「唱歌」;如果選擇動作模版,還能一鍵生成同款跳舞視頻。目前用戶通過混元AI視頻官網(wǎng)(https://video.hunyuan.tencent.com/)即可體驗,企業(yè)和開發(fā)者可在騰訊雲(yún)申請使用API接口使用。
據(jù)了解,此次開源的圖生視頻模型,是混元文生視頻模型開源工作的延續(xù),模型總參數(shù)量保持 130 億,適用於多種類型的角色和場景,包括寫實視頻製作、動漫角色甚至CGI角色製作的生成。開源內(nèi)容包含權(quán)重、推理代碼和LoRA訓(xùn)練代碼,支持開發(fā)者基於混元訓(xùn)練專屬LoRA等衍生模型。目前在Github、HuggingFace等主流開發(fā)者社區(qū)均可下載體驗。
據(jù)混元開源技術(shù)報告披露,混元視頻生成模型具備靈活的擴展性,圖生視頻和文生視頻在相同的數(shù)據(jù)集上開展預(yù)訓(xùn)練工作。在保持超寫實畫質(zhì)、流暢演繹大幅度動作、原生鏡頭切換等特性的基礎(chǔ)上,讓模型能夠捕捉到豐富的視覺和語義信息,並結(jié)合圖像、文本、音頻和姿態(tài)等多種輸入條件,實現(xiàn)對生成視頻的多維度控制。
混元視頻生成模型開源以來,一直保持較高的熱度,去年12 月登頂huggingface全站趨榜第一,目前Github平臺上Star數(shù)超過8.9K。多位開發(fā)者自發(fā)製作基於社區(qū)Hunyuanvideo的插件與衍生模型,積累超過 900 個衍生版本。更早開源的混元DiT文生圖模型,在國內(nèi)外衍生模型數(shù)量多達(dá)1600多個。
目前,混元開源系列模型已經(jīng)完整覆蓋文本、圖像、視頻和3D生成等多個模態(tài),在Github 累計獲得超 2.3 萬開發(fā)者關(guān)注和star。(記者 沛菡)