今天正式發(fā)布 MiniMax H3。這是一款通用的全模態(tài)生成模型支持對文本、圖像、視頻、聲音組成的多模態(tài)上下文的統(tǒng)一理解能力、能夠輸出具備原生雙聲道的音視頻最高可支持 15s 2K 分辨率。MiniMax H3 具備商用級的多場景內(nèi)容生成能力在指令遵循、文字與品牌信息呈現(xiàn)、V2V Motion Transfer視頻到視頻動作遷移等方面表現(xiàn)出色可實現(xiàn)精準、可控的多模態(tài)內(nèi)容編輯與生成廣泛適用于廣告、品牌、電商、產(chǎn)品設(shè)計、UI/UX、游戲等商業(yè)場景。同時得益于 Contextual Omni Representation、H3-VAE、H3-Omni Transformer、In-context Regeneration 等多項技術(shù)我們有能力提供行業(yè)內(nèi)最優(yōu)的性價比。我們默認提供 2K 的分辨率模型在 2K 分辨率下每秒價格不到主流模型的 1/3 768P 分辨率下不到 1/2。長期以來閉源模型一直占據(jù)視頻生成領(lǐng)域的主導(dǎo)地位迭代速度和生態(tài)開放性落后于大語言模型等領(lǐng)域。為了推動開源社區(qū)的發(fā)展、加速國產(chǎn)芯片適配H3 設(shè)計初期就考慮了多款現(xiàn)有國產(chǎn)芯片的兼容性)以及方便有需要的用戶定制自己的版本。我們計劃在未來幾天內(nèi)在符合相關(guān)法律法規(guī)的前提下開放模型權(quán)重。H3 的模型特色多模態(tài)上下文理解真實創(chuàng)作需要融合不同模態(tài)的復(fù)雜信息同時引入圖片、聲音、視頻等多模態(tài)信息源。如下面這個鏡頭 Prompt 為“參考視頻1的希區(qū)柯克鏡頭運動讓圖2中的人物唱歌歌聲參考音頻3”。通過語言描述清楚上下文和目標視頻的關(guān)系復(fù)雜的全模態(tài)理解工作 H3 會自己完成。輸入?yún)⒖家曨l、圖片和音頻就能生成想要的視頻H3 的設(shè)計理念打破任務(wù)的邊界從專用邁向通用我們之前研發(fā)過兩代模型Hailuo 01 從 0 到 1 構(gòu)建系統(tǒng)、Hailuo 02 專注于架構(gòu)效率、數(shù)據(jù)質(zhì)量和規(guī)模等核心組件的提升。在 H3 的設(shè)計過程中我們意識到過往生成模型在任務(wù)上的局限性圖片生成往往分為獨立的 T2I、Editing、主體參考、動作參考、風(fēng)格參考等為獨立的專家模型聲音生成中的人聲、音效、音樂也多作為獨立的領(lǐng)域被研究視頻生成更是分為文生視頻、圖生視頻、首尾幀、主體參考、動作參考、音色參考、視頻編輯等細分功能圖像、視頻、音頻之間也有著清晰的邊界。這些任務(wù)、能力、模態(tài)的隔離限制了使用上的自由度也從訓(xùn)練范式上限定了模型的泛化能力。這兩點對應(yīng)著應(yīng)用范式和訓(xùn)練范式的巨大變革空間。因此H3 構(gòu)建過程的第一綱領(lǐng)即是任務(wù)的統(tǒng)一和泛化?；诖撕喴爬ㄒ幌?H3 的預(yù)訓(xùn)練范式 ——數(shù)據(jù)和任務(wù)? 文生圖? 文生視頻· 帶有聯(lián)合的音頻生成所有的音頻輸出都是原生的雙聲道模式· 原生的多鏡頭建模? 文生音頻· 不區(qū)分人聲、音效、音樂統(tǒng)一聯(lián)合建模? 廣義的參考和編輯· 圖片到圖片的參考和編輯· 圖片到視頻的參考和編輯· 音頻到音頻的參考和編輯· 音視頻到音視頻的參考和編輯· 廣義的參考和編輯在我們的設(shè)計中是指a.完全由真實自然數(shù)據(jù)構(gòu)成從而具備較好的數(shù)據(jù)擴展性;b.由自然語言表述參考和編輯關(guān)系不局限于有限任務(wù)語言或者說廣義的智力結(jié)構(gòu)是泛化的橋梁H3 的技術(shù)選擇MiniMax H3 依托三大核心技術(shù)實現(xiàn)跨模態(tài)、跨任務(wù)通用能力Contextual Omni Representation上下文全模態(tài)表征重構(gòu)傳統(tǒng) Caption 機制不止描述單獨音視頻畫面還能理解素材之間、上下文與目標素材、音視頻聯(lián)動的復(fù)雜關(guān)聯(lián)語言作為通用橋梁統(tǒng)一各類任務(wù)表達造就強大的指令理解能力。配套專屬全模態(tài)理解管線原始素材約 100K Token 推理最終壓縮至 4K Token。H3-VAE全面升級 Tokenizer圖像重建效果、學(xué)習(xí)效率大幅提升超高壓縮率實現(xiàn)4 倍有效序列長度降低訓(xùn)練與推理成本也是模型原生支持 2K 分辨率的關(guān)鍵底座。H3-Omni Transformer以「任務(wù)泛化」為核心設(shè)計思路舍棄舊版 Hailuo-02 架構(gòu)規(guī)避冗余復(fù)雜度。針對多模態(tài)上下文帶來的序列長度波動、計算負載差異化問題采用理解 / 生成異構(gòu)訓(xùn)練架構(gòu)結(jié)合負載均衡優(yōu)化端到端訓(xùn)練吞吐提升近 30%。想體驗可以關(guān)注一下免費試用