本報訊 (記者李喬宇)4月21日,昆侖萬維科技股份有限公司(以下簡稱“昆侖萬維”)SkyReels團隊正式發(fā)布并開源SkyReels-V2——全球首個使用擴散強迫(Diffusion-forcing)框架的無限時長電影生成模型,其通過結(jié)合多模態(tài)大語言模型(MLLM)、多階段預(yù)訓(xùn)練(Multi-stage Pretraining)、強化學(xué)習(ReinforcementLearning)和擴散強迫(Diffusion-forcing)框架實現(xiàn)協(xié)同優(yōu)化。
SkyReels-V2不僅在技術(shù)上實現(xiàn)了突破,還提供了多種有用的應(yīng)用場景,包括故事生成、圖生視頻、運鏡專家和多主體一致性視頻生成(SkyReels-A2)。
SkyReels-V2現(xiàn)已支持生成30秒、40秒的視頻,且具備生成高運動質(zhì)量、高一致性、高保真視頻的能力。
SkyReels-V2不僅在技術(shù)上實現(xiàn)了突破,還為多個實際應(yīng)用場景提供了強大的支持。第一,SkyReels-V2能夠生成理論上無限時長的視頻,通過滑動窗口方法,模型在生成新幀時會參考之前生成的幀和文本提示。這種方法不僅支持時間上的擴展,還能生成具有連貫敘事的長鏡頭視頻;第二,SkyReels-V2提供了兩種圖像到視頻(I2V)的生成方法;第三,SkyReels-V2在標注攝像機運動方面表現(xiàn)出色;第四,基于SkyReels-V2基座模型,昆侖萬維研發(fā)了SkyReels-A2方案,并提出了一種新的多元素到視頻(E2V)任務(wù),能夠?qū)⑷我庖曈X元素(如人物、物體和背景)組合成由文本提示引導(dǎo)的連貫視頻,同時確保對每個元素的參考圖像的高保真度。這一功能適合短劇、音樂視頻和虛擬電商內(nèi)容創(chuàng)作等應(yīng)用。
作為首個商業(yè)級E2V開源模型,SkyReels-A2在E2V評估Benchmark A2-Bench中的結(jié)果表明,其一致性和質(zhì)量維度上評估與閉源模型相當。未來,昆侖萬維計劃擴展框架以支持更多輸入模態(tài),如音頻和動作,旨在構(gòu)建一個統(tǒng)一的視頻生成系統(tǒng),以支持更廣泛的應(yīng)用。
(編輯 張明富)
5年后再啟航 全面實施自貿(mào)區(qū)提升戰(zhàn)略
自貿(mào)試驗區(qū)作為我國對外開放的重要窗口……[詳情]
12:31 | 傳化集團與浙江人形機器人創(chuàng)新中心... |
12:12 | 協(xié)鑫能科虛擬電廠調(diào)節(jié)能力突破550M... |
12:11 | 海特高新召開業(yè)績說明會:加強研發(fā)... |
11:01 | 工銀瑞信基金董事長趙桂才:提高權(quán)... |
11:00 | 嵐圖汽車正式登陸中東 |
10:59 | 第二屆電力行業(yè)科技創(chuàng)新大會在廣州... |
10:49 | 中金廈門安居REIT擴募獲受理 |
09:58 | 賀普藥業(yè):公司在研新藥的二期臨床... |
09:56 | 直擊同力股份年度股東大會:加速海... |
09:56 | 國芯科技聚焦核心方向 推動AI與量... |
09:55 | 行業(yè)景氣度提升驅(qū)動高速光模塊需求... |
09:55 | 老牌券商資管總經(jīng)理人選落定,成飛... |
版權(quán)所有《證券日報》社有限責任公司
互聯(lián)網(wǎng)新聞信息服務(wù)許可證 10120240020增值電信業(yè)務(wù)經(jīng)營許可證 京B2-20250455
京公網(wǎng)安備 11010602201377號京ICP備19002521號
證券日報網(wǎng)所載文章、數(shù)據(jù)僅供參考,使用前務(wù)請仔細閱讀法律申明,風險自負。
證券日報社電話:010-83251700網(wǎng)站電話:010-83251800 網(wǎng)站傳真:010-83251801電子郵件:xmtzx@zqrb.net
安卓
IOS
掃一掃,加關(guān)注
掃一掃,加關(guān)注