1. 從能生成到往哪長(zhǎng)AI視頻模型這次分的是什么叉過(guò)去一年AI視頻生成領(lǐng)域的關(guān)鍵詞一直是能不能動(dòng)、動(dòng)得像不像。但最近一段時(shí)間行業(yè)里出現(xiàn)了一個(gè)很有意思的現(xiàn)象頭部模型不再朝著同一個(gè)方向卷了而是明顯分成了兩條路線。一條路線死磕時(shí)長(zhǎng)與敘事連貫性試圖把單次生成的故事從幾秒拉到30秒甚至更長(zhǎng)另一條路線死磕畫(huà)面分辨率與細(xì)節(jié)還原把輸出畫(huà)質(zhì)推到2K級(jí)別讓每一幀都經(jīng)得起放大看。這個(gè)分叉不是偶然。它背后是兩種完全不同的用戶(hù)需求在拉扯做短劇、做廣告分鏡、做故事類(lèi)內(nèi)容的人最頭疼的是鏡頭剛有點(diǎn)意思就斷了而做產(chǎn)品展示、做電商素材、做影視預(yù)演的人最頭疼的是畫(huà)面糊、細(xì)節(jié)崩、放大就露餡。一個(gè)要的是時(shí)間軸上的連續(xù)性一個(gè)要的是空間維度上的信息密度。這兩件事在當(dāng)前的算力條件下很難同時(shí)做到極致于是模型廠商開(kāi)始做取舍也就形成了所謂的分叉。我最近集中測(cè)試了幾個(gè)主流視頻模型在這兩個(gè)方向上的表現(xiàn)包括Wan3.0系列和MiniMax H3相關(guān)的能力。實(shí)測(cè)下來(lái)最大的感受是選模型之前先想清楚你的內(nèi)容到底是敘事驅(qū)動(dòng)還是畫(huà)面驅(qū)動(dòng)。這個(gè)判斷做錯(cuò)了后面調(diào)多少參數(shù)都是白費(fèi)。下面我把這段時(shí)間的測(cè)試記錄、參數(shù)配置、踩過(guò)的坑以及不同場(chǎng)景下的選型邏輯完整地梳理一遍。2. 30秒敘事路線把故事拉長(zhǎng)到底難在哪2.1 時(shí)長(zhǎng)不是簡(jiǎn)單地把幀數(shù)堆上去很多人以為視頻時(shí)長(zhǎng)就是幀數(shù)問(wèn)題生成5秒和生成30秒無(wú)非是把幀數(shù)乘以6。但實(shí)際跑過(guò)就知道完全不是這么回事。視頻模型在生成過(guò)程中每一幀都要參考前面幀的信息來(lái)保持連貫這個(gè)參考鏈越長(zhǎng)誤差累積就越嚴(yán)重。5秒的時(shí)候模型還能靠短期記憶把動(dòng)作和場(chǎng)景穩(wěn)住到了15秒以上角色衣服顏色開(kāi)始漂移、背景建筑慢慢變形、光線方向莫名其妙翻轉(zhuǎn)這些都是典型的長(zhǎng)時(shí)漂移。Wan3.0在這方面的思路是引入更強(qiáng)的時(shí)序建模機(jī)制簡(jiǎn)單說(shuō)就是讓模型在生成每一段的時(shí)候不僅看緊鄰的前幾幀還能回看更早的關(guān)鍵幀相當(dāng)于給模型加了一個(gè)長(zhǎng)時(shí)記憶的錨點(diǎn)。我實(shí)測(cè)用Wan3.0生成一段20秒左右的連續(xù)鏡頭角色面部特征在前15秒基本保持穩(wěn)定到18秒之后開(kāi)始有輕微變化但整體可接受。這個(gè)表現(xiàn)放在半年前是不可想象的。2.2 敘事連貫性的真正瓶頸是意圖保持比畫(huà)面漂移更麻煩的是敘事意圖的丟失。舉個(gè)例子你輸入一個(gè)人走進(jìn)咖啡館坐下拿起菜單翻看前5秒模型可能老老實(shí)實(shí)讓人走進(jìn)門(mén)但到了第10秒它可能已經(jīng)忘了咖啡館這個(gè)設(shè)定把場(chǎng)景漂移成了一個(gè)模糊的室內(nèi)空間。這不是畫(huà)面質(zhì)量問(wèn)題是模型對(duì)故事線的理解和保持能力問(wèn)題。我試過(guò)的一個(gè)有效技巧是在提示詞里用時(shí)間分段的方式明確敘事節(jié)點(diǎn)。比如不要寫(xiě)一整句描述而是拆成0-8秒推門(mén)進(jìn)入環(huán)境是暖色調(diào)咖啡館8-18秒走到靠窗座位坐下18-30秒拿起菜單翻看鏡頭緩慢推近。這種寫(xiě)法相當(dāng)于給模型一個(gè)時(shí)間軸上的路標(biāo)實(shí)測(cè)下來(lái)敘事連貫性提升非常明顯。MiniMax H3在導(dǎo)演模式Director下對(duì)這類(lèi)分段提示詞的響應(yīng)比較好它能識(shí)別時(shí)間段和動(dòng)作的對(duì)應(yīng)關(guān)系而不是把所有描述混在一起理解。2.3 長(zhǎng)視頻的算力賬要提前算清楚這里必須說(shuō)一個(gè)很現(xiàn)實(shí)的問(wèn)題30秒視頻的生成成本不是5秒的6倍可能是10倍甚至更多。因?yàn)殚L(zhǎng)時(shí)建模需要保留更多的中間狀態(tài)顯存占用和計(jì)算量都是非線性增長(zhǎng)的。我在本地部署環(huán)境下測(cè)試時(shí)發(fā)現(xiàn)生成10秒視頻顯存占用大約在18GB左右到20秒就逼近30GB30秒的話(huà)單卡基本吃不消需要做分片生成再拼接。如果你打算走本地部署路線建議先確認(rèn)硬件底線。以MiniMax H3的本地部署為例官方推薦配置和實(shí)際跑起來(lái)的差距不小我整理了一個(gè)實(shí)測(cè)對(duì)照表視頻時(shí)長(zhǎng)最低顯存實(shí)測(cè)推薦顯存單次生成耗時(shí)參考5秒12GB16GB約40秒10秒18GB24GB約2分鐘20秒28GB40GB約5分鐘30秒需分片80GB或分片方案約10分鐘以上注意上表是基于中等分辨率1080P和標(biāo)準(zhǔn)采樣步數(shù)的實(shí)測(cè)數(shù)據(jù)開(kāi)啟高分辨率或增加采樣步數(shù)會(huì)顯著增加顯存占用和耗時(shí)。不同硬件平臺(tái)如海光K100等的實(shí)際表現(xiàn)也有差異建議先跑短時(shí)長(zhǎng)測(cè)試再上長(zhǎng)視頻。分片生成再拼接是目前比較務(wù)實(shí)的方案。具體做法是把30秒拆成3段10秒每段之間保留2-3秒的重疊區(qū)域拼接時(shí)用重疊部分做過(guò)渡融合。這個(gè)方案的問(wèn)題是拼接處可能出現(xiàn)畫(huà)面跳變需要手動(dòng)調(diào)過(guò)渡幀或者用后期軟件做平滑處理。我一般會(huì)在提示詞里讓相鄰兩段的結(jié)尾和開(kāi)頭動(dòng)作有重疊比如第一段結(jié)尾是手伸向菜單第二段開(kāi)頭是手已經(jīng)放在菜單上這樣拼接時(shí)動(dòng)作是連續(xù)的觀感會(huì)好很多。3. 2K畫(huà)質(zhì)路線分辨率上去了然后呢3.1 2K不只是像素多是細(xì)節(jié)邏輯要重寫(xiě)把輸出分辨率從1080P提到2K像素?cái)?shù)量大約增加1.8倍。但模型面臨的挑戰(zhàn)遠(yuǎn)不止多算這些像素。在高分辨率下每一個(gè)區(qū)域都需要有合理的細(xì)節(jié)填充——皮膚紋理、布料編織、背景虛化里的光斑形狀這些在低分辨率下可以糊弄過(guò)去的東西到了2K就全暴露了。模型如果沒(méi)學(xué)好這些細(xì)節(jié)的生成邏輯輸出就會(huì)是高清的模糊看起來(lái)分辨率很高但放大一看全是涂抹感。MiniMax H3在2K輸出上的表現(xiàn)讓我比較意外。我測(cè)試了一段人物特寫(xiě)鏡頭在2K分辨率下面部毛孔、睫毛、嘴唇紋理都有可辨識(shí)的細(xì)節(jié)不是那種AI常見(jiàn)的塑料臉。這背后應(yīng)該是訓(xùn)練數(shù)據(jù)里加入了大量高分辨率素材并且模型架構(gòu)上做了針對(duì)高頻細(xì)節(jié)的優(yōu)化。不過(guò)代價(jià)也很明顯生成速度比1080P慢了大約2.5倍顯存占用增加約60%。3.2 什么場(chǎng)景真的需要2K不是所有內(nèi)容都需要2K。我見(jiàn)過(guò)不少人盲目追求高分辨率結(jié)果生成成本翻了幾倍實(shí)際用的時(shí)候還是壓縮到1080P發(fā)布。判斷是否需要2K我的經(jīng)驗(yàn)是看三個(gè)條件最終輸出介質(zhì)是否支持高分辨率如果只是發(fā)社交媒體1080P完全夠用平臺(tái)還會(huì)二次壓縮。畫(huà)面中是否有大量細(xì)節(jié)需要保留產(chǎn)品特寫(xiě)、紋理展示、文字標(biāo)識(shí)這類(lèi)內(nèi)容2K的價(jià)值很大純風(fēng)景或人物中遠(yuǎn)景1080P和2K的觀感差異沒(méi)那么明顯。是否需要后期裁剪或放大如果你打算在后期做畫(huà)面裁切或者局部放大那前期用2K拍生成能保留更多余地。我自己的做法是先出1080P版本確認(rèn)構(gòu)圖和動(dòng)作沒(méi)問(wèn)題確認(rèn)后再用同樣的提示詞跑2K版本做最終輸出。這樣避免在2K上反復(fù)抽卡浪費(fèi)算力。MiniMax H3支持在同一項(xiàng)目里切換分辨率重新生成這個(gè)工作流用起來(lái)比較順手。3.3 2K生成中的提示詞細(xì)節(jié)補(bǔ)償高分辨率下提示詞里對(duì)細(xì)節(jié)的描述也要相應(yīng)升級(jí)。1080P的時(shí)候你寫(xiě)一件紅色毛衣就夠了2K的時(shí)候模型會(huì)追問(wèn)什么材質(zhì)的紅毛衣粗針織還是細(xì)針織有沒(méi)有起球領(lǐng)口是什么形狀如果提示詞里不提供這些信息模型就會(huì)自己編編出來(lái)的細(xì)節(jié)不一定符合你的預(yù)期。我的經(jīng)驗(yàn)是2K生成時(shí)提示詞里至少要補(bǔ)充三類(lèi)細(xì)節(jié)材質(zhì)描述如粗針織羊毛、光照條件如側(cè)逆光邊緣有輪廓光、鏡頭參數(shù)如85mm焦段淺景深。這三類(lèi)信息能顯著提升2K輸出的可控性。實(shí)測(cè)下來(lái)加了這些描述的2K視頻一次通過(guò)率能從大概三成提升到六成以上。4. 兩條路線背后的技術(shù)取舍與模型選型4.1 為什么不能既要又要從技術(shù)角度看長(zhǎng)時(shí)連貫和高分辨率是兩個(gè)相互競(jìng)爭(zhēng)的目標(biāo)。長(zhǎng)時(shí)建模需要模型保留大量的時(shí)序狀態(tài)信息這些信息本身就占用顯存和計(jì)算資源高分辨率又要求模型在處理每一幀時(shí)維護(hù)更大的特征圖。兩者疊加資源需求是乘法關(guān)系而不是加法關(guān)系。在當(dāng)前硬件條件下大多數(shù)模型只能在一個(gè)方向上做到極致另一個(gè)方向做妥協(xié)。這就解釋了為什么會(huì)出現(xiàn)分叉Wan3.0把資源傾斜到了時(shí)序建模上在時(shí)長(zhǎng)和敘事連貫性上更有優(yōu)勢(shì)MiniMax H3則在畫(huà)面質(zhì)量和細(xì)節(jié)還原上投入更多2K輸出是它的強(qiáng)項(xiàng)。這不是誰(shuí)優(yōu)誰(shuí)劣的問(wèn)題是定位不同。4.2 選型對(duì)照你的項(xiàng)目該站哪一隊(duì)我把常見(jiàn)的使用場(chǎng)景和對(duì)應(yīng)的模型傾向整理了一下方便快速判斷場(chǎng)景類(lèi)型核心需求推薦傾向理由短劇/故事分鏡敘事連貫、動(dòng)作完整長(zhǎng)時(shí)路線如Wan3.0鏡頭不中斷比單幀畫(huà)質(zhì)更重要電商產(chǎn)品展示細(xì)節(jié)清晰、材質(zhì)還原高分辨率路線如MiniMax H3 2K產(chǎn)品紋理和標(biāo)識(shí)必須看得清影視預(yù)演構(gòu)圖準(zhǔn)確、運(yùn)鏡合理兩者均可優(yōu)先看項(xiàng)目階段預(yù)演階段重?cái)⑹露ǜ咫A段重畫(huà)質(zhì)社交媒體短視頻快速產(chǎn)出、觀感流暢1080P長(zhǎng)時(shí)路線平臺(tái)壓縮后畫(huà)質(zhì)差異縮小廣告TVC畫(huà)質(zhì)優(yōu)先、時(shí)長(zhǎng)可控2K路線分段生成畫(huà)質(zhì)要求高時(shí)長(zhǎng)通常較短這個(gè)表不是絕對(duì)的實(shí)際選型還要看你的具體預(yù)算、時(shí)間要求和硬件條件。但大方向上的判斷邏輯是清晰的敘事優(yōu)先選長(zhǎng)時(shí)畫(huà)質(zhì)優(yōu)先選高分。4.3 多模型協(xié)作的實(shí)際工作流有意思的是這兩個(gè)路線并不是非此即彼。我最近在嘗試一種協(xié)作工作流用長(zhǎng)時(shí)模型如Wan3.0生成完整的敘事草稿確認(rèn)故事線和動(dòng)作節(jié)奏沒(méi)問(wèn)題之后再把關(guān)鍵鏡頭用高分辨率模型如MiniMax H3 2K重新生成替換掉草稿里的對(duì)應(yīng)片段。這樣既保證了敘事連貫性又在關(guān)鍵畫(huà)面上拿到了高畫(huà)質(zhì)。這個(gè)工作流的關(guān)鍵是保持提示詞的一致性。草稿階段用的提示詞要完整保存重新生成時(shí)在此基礎(chǔ)上補(bǔ)充細(xì)節(jié)描述而不是重新寫(xiě)一套。我一般會(huì)把草稿提示詞存成一個(gè)模板文件高分辨率重生成時(shí)只修改分辨率相關(guān)參數(shù)和細(xì)節(jié)補(bǔ)充部分這樣能最大程度保證兩次生成的畫(huà)面風(fēng)格一致。5. 實(shí)操中容易翻車(chē)的幾個(gè)細(xì)節(jié)5.1 長(zhǎng)視頻生成中的角色漂移怎么救前面提到長(zhǎng)視頻會(huì)出現(xiàn)角色特征漂移這個(gè)問(wèn)題在實(shí)際項(xiàng)目中非常致命。我踩過(guò)的坑是生成了一段25秒的視頻前10秒角色是個(gè)短發(fā)女性到第20秒變成了中長(zhǎng)發(fā)衣服也從藍(lán)色變成了灰藍(lán)色。客戶(hù)看到直接打回來(lái)了。后來(lái)我總結(jié)了幾條應(yīng)對(duì)經(jīng)驗(yàn)。第一在提示詞里固定角色特征不要只寫(xiě)一個(gè)女性要寫(xiě)一個(gè)短發(fā)、圓臉、穿深藍(lán)色高領(lǐng)毛衣的女性特征描述越具體漂移越慢。第二使用參考圖如果模型支持圖生視頻傳一張角色參考圖進(jìn)去能大幅降低漂移概率。第三分段生成時(shí)保持角色描述完全一致不要這一段寫(xiě)短發(fā)下一段寫(xiě)齊耳短發(fā)模型會(huì)認(rèn)為是兩個(gè)不同的人。MiniMax H3在角色一致性上有一個(gè)角色鎖定功能實(shí)測(cè)能把20秒內(nèi)的角色特征漂移控制在可接受范圍內(nèi)。但這個(gè)功能會(huì)額外消耗算力生成時(shí)間增加約30%。值不值得用看你的項(xiàng)目對(duì)角色一致性的要求有多高。5.2 2K輸出的細(xì)節(jié)過(guò)載問(wèn)題高分辨率不總是好事。我遇到過(guò)一種情況2K生成出來(lái)的畫(huà)面背景細(xì)節(jié)過(guò)于豐富反而搶了主體的視覺(jué)焦點(diǎn)。比如人物站在街上2K輸出把遠(yuǎn)處每一塊磚、每一個(gè)招牌都渲染得清清楚楚觀眾眼睛不知道該看哪里。這個(gè)問(wèn)題在1080P下反而不明顯因?yàn)楸尘凹?xì)節(jié)被分辨率過(guò)濾掉了。到了2K所有東西都清晰就需要在提示詞里主動(dòng)做視覺(jué)引導(dǎo)。我的做法是在提示詞里加入景深控制比如背景虛化焦點(diǎn)在人物面部或者背景元素降低對(duì)比度。這樣模型在生成時(shí)會(huì)主動(dòng)弱化背景細(xì)節(jié)把視覺(jué)重心留給主體。5.3 本地部署的硬件匹配問(wèn)題如果你打算本地部署跑這些模型硬件匹配是個(gè)繞不過(guò)去的坎。我測(cè)試過(guò)幾種不同的硬件組合發(fā)現(xiàn)一個(gè)規(guī)律顯存帶寬比顯存容量更影響生成速度。同樣24GB顯存帶寬高的卡生成速度能快40%以上。所以在選硬件的時(shí)候不要只看顯存大小帶寬參數(shù)同樣重要。另外不同模型對(duì)硬件的優(yōu)化程度不一樣。有些模型對(duì)特定硬件平臺(tái)如海光K100系列做了深度優(yōu)化跑起來(lái)效率明顯更高有些模型則更依賴(lài)通用GPU。建議在采購(gòu)硬件之前先查一下你打算用的模型有沒(méi)有針對(duì)該硬件的優(yōu)化版本或者有沒(méi)有社區(qū)實(shí)測(cè)數(shù)據(jù)可以參考。提示本地部署的首次環(huán)境配置往往比預(yù)期耗時(shí)更長(zhǎng)驅(qū)動(dòng)版本、依賴(lài)庫(kù)版本、模型權(quán)重格式任何一個(gè)環(huán)節(jié)不匹配都可能導(dǎo)致跑不起來(lái)。建議預(yù)留至少半天時(shí)間做環(huán)境調(diào)試不要指望下載完就能跑。6. 從提示詞到成片我的完整操作鏈路6.1 提示詞的分層寫(xiě)法經(jīng)過(guò)這段時(shí)間的反復(fù)測(cè)試我形成了一套提示詞的分層寫(xiě)法這里完整分享出來(lái)。第一層是場(chǎng)景層描述環(huán)境、時(shí)間、天氣、整體色調(diào)第二層是主體層描述角色或物體的外觀特征、材質(zhì)、狀態(tài)第三層是動(dòng)作層按時(shí)間順序描述動(dòng)作變化第四層是鏡頭層描述機(jī)位、焦段、運(yùn)鏡方式第五層是畫(huà)質(zhì)層描述分辨率、細(xì)節(jié)要求、風(fēng)格傾向。這五層寫(xiě)下來(lái)提示詞會(huì)比較長(zhǎng)但實(shí)測(cè)效果比一句話(huà)描述好太多。以MiniMax H3為例生成5秒視頻的提示詞如果只寫(xiě)一句話(huà)大概20-30個(gè)字就夠了但要想控制得精細(xì)寫(xiě)到150-200字是常態(tài)。長(zhǎng)提示詞不會(huì)拖慢生成速度模型對(duì)提示詞長(zhǎng)度的處理是并行的但能顯著提升可控性。6.2 抽卡策略什么時(shí)候該重跑什么時(shí)候該調(diào)參AI視頻生成本質(zhì)上還是概率性的同一個(gè)提示詞跑兩次結(jié)果可能完全不同。我的策略是前三次純抽卡不做任何參數(shù)調(diào)整看看模型對(duì)這個(gè)提示詞的自然響應(yīng)范圍。如果三次都不行說(shuō)明提示詞本身有問(wèn)題需要回去改描述。如果三次里有一次方向?qū)α说?xì)節(jié)不對(duì)那就鎖定這個(gè)方向微調(diào)參數(shù)如采樣步數(shù)、引導(dǎo)強(qiáng)度再跑。最忌諱的是每次跑完都改一堆參數(shù)最后根本不知道是哪個(gè)參數(shù)起了作用。我一般一次只改一個(gè)變量改完跑兩次對(duì)比確認(rèn)有效再繼續(xù)調(diào)下一個(gè)。這樣雖然慢但能積累出可復(fù)用的參數(shù)經(jīng)驗(yàn)。6.3 后期拼接與過(guò)渡處理分段生成的視頻在拼接時(shí)過(guò)渡處理是決定成片質(zhì)量的關(guān)鍵。我常用的方法有三種交叉溶解適合場(chǎng)景變化不大的情況動(dòng)作匹配適合有連續(xù)動(dòng)作的情況遮擋過(guò)渡適合兩個(gè)片段之間有明顯差異需要掩蓋的情況。交叉溶解最簡(jiǎn)單但容易讓畫(huà)面顯得軟動(dòng)作匹配最自然但需要前期生成時(shí)就規(guī)劃好動(dòng)作銜接遮擋過(guò)渡最靈活可以用一個(gè)前景物體如走過(guò)的人、晃過(guò)的樹(shù)枝把拼接點(diǎn)蓋住觀眾注意力被轉(zhuǎn)移就不容易注意到跳變。我一般在前期分片生成時(shí)就會(huì)預(yù)留過(guò)渡空間比如每段結(jié)尾多生成2秒待機(jī)畫(huà)面給后期留出剪輯余地。7. 關(guān)于成本、效率與產(chǎn)出質(zhì)量的一些個(gè)人體會(huì)跑了一段時(shí)間下來(lái)我最大的體會(huì)是AI視頻生成目前還是一個(gè)概率游戲工程優(yōu)化的結(jié)合體。模型能力決定了上限但你的工作流設(shè)計(jì)決定了實(shí)際產(chǎn)出效率。同樣的模型有人一天出3條可用的片子有人一天出30條廢片差距不在模型在流程。成本方面如果走云端API路線30秒2K視頻的生成成本目前還比較高不適合大批量抽卡。我的做法是用低分辨率低時(shí)長(zhǎng)做創(chuàng)意驗(yàn)證確認(rèn)方向后再用高配置做最終輸出。這樣能把無(wú)效算力消耗降低一半以上。本地部署的話(huà)前期硬件投入不小但如果生成量大長(zhǎng)期算下來(lái)比按次付費(fèi)劃算。效率方面提示詞模板化是提速的關(guān)鍵。我把常用的場(chǎng)景、角色、鏡頭描述都做成了可替換的模塊寫(xiě)新提示詞的時(shí)候直接拼裝不用每次從零開(kāi)始。這個(gè)習(xí)慣讓我寫(xiě)提示詞的時(shí)間從平均15分鐘降到了5分鐘以?xún)?nèi)。最后說(shuō)一個(gè)容易被忽略的點(diǎn)AI視頻生成不是終點(diǎn)是素材生產(chǎn)環(huán)節(jié)。生成出來(lái)的片段最終還是要進(jìn)剪輯軟件做節(jié)奏調(diào)整、配音配樂(lè)、調(diào)色包裝。把AI生成當(dāng)成拍攝環(huán)節(jié)來(lái)看待用影視制作的流程思維去組織產(chǎn)出質(zhì)量會(huì)穩(wěn)定很多。單獨(dú)看每一段生成視頻可能都有瑕疵但經(jīng)過(guò)剪輯和包裝之后觀眾感知到的是整體效果瑕疵會(huì)被稀釋。這個(gè)領(lǐng)域變化很快今天的分叉可能明天就被新的架構(gòu)統(tǒng)一了。但敘事和畫(huà)質(zhì)這兩個(gè)基本需求不會(huì)消失理解它們背后的技術(shù)邏輯和取舍關(guān)系比追某一個(gè)具體模型版本更有長(zhǎng)期價(jià)值。