云平臺丨新一代 AV2 視頻編碼標(biāo)準(zhǔn)發(fā)布，壓縮效率提升約 30%，將帶來哪些改變？)
干安防集成這行多年從 H.264 熬到 AV1 大規(guī)模落地親眼見過每一代編碼標(biāo)準(zhǔn)出來時的行業(yè)熱鬧也踩過不少 “追新翻車” 的坑。今年 5 月 28 日 AOMedia 把 AV2 v1.0.0 規(guī)范正式定稿6 月初官方官宣之后同行群和朋友圈直接炸了好多開發(fā)商、集成商上來就問碼率省 30%是不是下個月就能把項(xiàng)目全換成 AV2 降成本說實(shí)話我第一反應(yīng)不是興奮是心里咯噔一下 —— 得又得挨個跟客戶解釋 “為啥不能明天就全量切換” 了。先給大伙交個底AOMedia 官方的說法是同畫質(zhì)下 AV2 比 AV1 省約 30% 的碼率屏幕內(nèi)容、HDR、8K 這類特定場景能接近 40%Netflix 的工程師 Norkin 放出的實(shí)測數(shù)據(jù)PSNR-YUV 下 BD-rate 改善約 28.7%VMAF 下約 32.6%和官方口徑基本對得上。但公道話得說在前頭獨(dú)立第三方的全場景驗(yàn)證還在推進(jìn)真實(shí)業(yè)務(wù)里的收益會跟著畫面場景浮動別被廠商宣傳里的 “暴降 30%” 帶跑了節(jié)奏。今天就跟同行說點(diǎn)實(shí)在的這 30% 到底是從流水線哪一環(huán)摳出來的落到咱們做 AIoT、做智慧安防的項(xiàng)目里到底是紅利還是坑架構(gòu)上該怎么準(zhǔn)備。盡量說人話不繞沒用的術(shù)語。先掰扯最容易被炒歪的一點(diǎn)AV2 不是 “AI 編碼器”這兩天刷到不少自媒體喊 “AV2 用上 AI 編碼了”—— 別鬧真不是這么回事。AV2 v1.0 的底層仍然是傳統(tǒng)混合塊編碼的老路子畫面切塊、預(yù)測、變換、量化、熵編碼、環(huán)路濾波和三十多年來所有主流編解碼器的核心框架沒區(qū)別。規(guī)范本身沒有把 AI/機(jī)器學(xué)習(xí)放進(jìn)核心編碼流程里核心目的就是保證解碼器足夠輕普通消費(fèi)級芯片就能跑不用額外搭 NPU。它所謂的 “數(shù)據(jù)驅(qū)動”是離線用機(jī)器學(xué)習(xí)訓(xùn)練出變換核、預(yù)測矩陣這些參數(shù)把訓(xùn)練好的固定結(jié)果固化到標(biāo)準(zhǔn)里。解碼的時候跑的還是經(jīng)典流水線不會實(shí)時跑神經(jīng)網(wǎng)絡(luò)。說白了是用 AI 輔助制定標(biāo)準(zhǔn)不是讓設(shè)備跑 AI 編碼這倆完全是兩碼事。當(dāng)然它也適合和外部 AI 模塊搭配比如在編碼器前面掛個 AI 降噪、超分的預(yù)處理層喂給 AV2 更干凈的源畫面整體壓縮效果還能再往上提一截。但這是兩套獨(dú)立的東西別混為一談。先潑完冷水再講更現(xiàn)實(shí)的代價按照 VideoLAN 負(fù)責(zé)人 Jean-Baptiste Kempf 對參考軟件的實(shí)測AV2 軟件解碼的復(fù)雜度大概是 AV1 的 5 倍編碼器復(fù)雜度只會更高。眼下沒有任何量產(chǎn)芯片帶 AV2 硬件解碼能力行業(yè)普遍預(yù)期硬件解碼器要到 2027-2028 年才會出現(xiàn)在商用芯片里真正大規(guī)模普及得等到 2028 年之后。也就是說未來三五年里AV1 和 AV2 一定是長期共存的狀態(tài)這點(diǎn)做技術(shù)選型的心里得先有數(shù)。30% 的碼率節(jié)省到底是怎么摳出來的很多人只記住了 30% 這個數(shù)字不知道收益是散在整條編碼流水線的每一個環(huán)節(jié)里每一處改動都帶著明確的取舍。挨個拆開說都是做工程的看懂了底層邏輯才好算自己項(xiàng)目里的真實(shí)收益。塊劃分超級塊翻一倍大塊省比特、小塊保細(xì)節(jié)AV1 的最大超級塊是 128×128AV2 直接拉到了 256×256。做安防的都懂監(jiān)控畫面里大半是天空、墻面、停車場這種大面積平滑區(qū)域用小塊切的話塊邊界多、額外開銷大換成 256×256 的大塊一整塊平滑區(qū)域可能就一個劃分開銷直接降下來。遇到文字、人臉、移動物體這種細(xì)節(jié)密集的地方再逐級往下拆成小塊。光做大塊還不行容易把解碼端的帶寬和算力拉爆。所以 AV2 加了個半解耦劃分SDP搭配好幾種非對稱劃分模式大尺寸塊里亮度和色度共享劃分策略省掉重復(fù)計算到 64×64 及以下的小塊又允許各自獨(dú)立劃分保住細(xì)節(jié)。做過邊緣設(shè)備優(yōu)化的都懂這種 “編碼端使勁卷、解碼端能省則省” 的設(shè)計有多重要 —— 直接關(guān)系到邊緣網(wǎng)關(guān)的硬件成本不是紙面參數(shù)那么簡單。預(yù)測參考幀變多預(yù)測越準(zhǔn)殘差越小壓縮的核心邏輯就是預(yù)測當(dāng)前這塊畫面能不能用旁邊的塊、或者前面幾幀的畫面拼出來。拼得越準(zhǔn)剩下的殘差就越小要編碼的數(shù)據(jù)就越少。幀內(nèi)預(yù)測這邊AV2 用了數(shù)據(jù)驅(qū)動幀內(nèi)預(yù)測DIP不是老一套的幾何角度插值而是用海量真實(shí)畫面離線訓(xùn)練出投影矩陣面對墻面、純色背景這種重復(fù)單調(diào)的紋理預(yù)測精度提升很明顯。CfL 亮度推導(dǎo)色度也做了優(yōu)化夜視低照度的 HDR 畫面適配性更好。幀間預(yù)測的改動更實(shí)在參考幀上限從 AV1 的 2 幀拉到了最多 7 幀還加了時間插值、光流運(yùn)動微調(diào)、簡化多參考幀這些工具。像慢云臺、移動車輛這類畫面運(yùn)動補(bǔ)償能貼得更準(zhǔn)殘差進(jìn)一步收縮。還有幀內(nèi)塊拷貝IBC的優(yōu)化對監(jiān)控里反復(fù)出現(xiàn)的標(biāo)牌、圍擋這類靜態(tài)圖案壓縮效率提升很直觀。當(dāng)然代價也有編碼器的搜索空間變大了復(fù)雜度又漲了一截。但解碼端只是按語法解析不用做復(fù)雜搜索咱們做平臺、做終端的解碼側(cè)壓力不會因?yàn)轭A(yù)測工具變多就暴漲這點(diǎn)還算厚道。變換數(shù)據(jù)驅(qū)動變換是這代最核心的改動這塊我得多說兩句個人覺得這是 AV2 和以往所有編碼標(biāo)準(zhǔn)最不一樣的地方。傳統(tǒng)編碼用的 DCT 離散余弦變換變換核是固定的數(shù)學(xué)公式。AV2 引入了 DDT 數(shù)據(jù)驅(qū)動變換 —— 提前用 KLT 算法拿海量真實(shí)視頻的殘差數(shù)據(jù)離線訓(xùn)練出多套變換核直接固化到標(biāo)準(zhǔn)里。說人話就是這個變換核是 “從真實(shí)視頻里學(xué)出來的”不是憑空推導(dǎo)的數(shù)學(xué)公式所以對真實(shí)場景殘差的能量集中能力比 DCT 強(qiáng)得多。同樣一塊殘差過一遍 DDT大部分能量都會塌縮到少數(shù)幾個低頻系數(shù)上后面量化的時候就能放心扔掉更多高頻細(xì)節(jié)又不怎么影響主觀畫質(zhì)。配合 DDT 的還有兩個輔助工具IST 二次變換給低頻系數(shù)再做一次降維進(jìn)一步擠掉無效信息CCTX 跨色度分量變換利用色度之間的相關(guān)性做聯(lián)合編碼。三者搭配下來殘差能量的集中程度比 AV1 高一大截這也是 30% 總收益里貢獻(xiàn)最大的單項(xiàng)技術(shù)之一。順帶提一句AV2 還把原生 64 點(diǎn) DCT 給砍了換成 32 點(diǎn)逆變換加殘差上采樣?？粗袷?“減配”實(shí)際上 256×256 大塊普及之后大尺寸變換的需求本身就在減少用極小的畫質(zhì)損失換來了硬件實(shí)現(xiàn)難度的大幅下降 —— 標(biāo)準(zhǔn)制定的人是真懂芯片設(shè)計的難處。量化扔掉查找表用網(wǎng)格找最優(yōu)解AV1 的量化靠好幾張查找表映射步長維護(hù)起來繁瑣。AV2 直接換成統(tǒng)一的指數(shù)公式做步長映射邏輯干凈了很多。真正的升級是 TCQ 網(wǎng)格編碼量化。它搞了 Q0、Q1 兩個子量化器重建電平錯開半個步長。編碼器用 Viterbi 動態(tài)規(guī)劃在 8 個狀態(tài)的網(wǎng)格里找率失真最優(yōu)的路徑 —— 說白了就是把 “每個系數(shù)量化用 Q0 還是 Q1” 變成了一個最短路徑問題找全局最優(yōu)解而不是逐系數(shù)單獨(dú)決策。單個系數(shù)看差別不大整幀算下來碼率和失真的平衡能做得更精細(xì)。同樣復(fù)雜度漲在編碼端解碼端只需要按語法查表重建感知不到 TCQ 的存在。熵編碼三個毫米級優(yōu)化積少成多熵編碼是壓縮的最后一公里單個工具提升幅度都不大但幾個小優(yōu)化疊起來對總收益的貢獻(xiàn)不容小覷。AV2 底層還是沿用 MS-AC 多符號算術(shù)編碼器沒換引擎只在 “怎么把數(shù)據(jù)喂給編碼器” 上做了三處微調(diào)。PARA 概率自適應(yīng)率調(diào)整通過偏移參數(shù)動態(tài)調(diào)節(jié) CDF 概率表的收斂速度監(jiān)控畫面經(jīng)常有場景突變、光線切換這個工具能讓概率模型更快貼合一新畫面的符號分布少浪費(fèi)比特。FSC 前向跳過編碼專門針對屏幕內(nèi)容。電腦屏幕、工控界面這類有大量銳利文字邊緣的畫面走頻域變換反而會打散能量AV2 干脆跳過變換直接對空間殘差做旁路編碼 —— 這也是 AV2 在屏幕內(nèi)容場景能省近 40% 碼率的核心原因做指揮大廳大屏、工業(yè) HMI 的同行可以重點(diǎn)關(guān)注。還有個很巧的 PH 奇偶校驗(yàn)隱藏當(dāng) AC 系數(shù)不少于 4 個時編碼器微調(diào)這些系數(shù)的奇偶性讓它們和 DC 系數(shù)的符號位保持一致。解碼端只要算一下 AC 系數(shù)的奇偶就能隱式推出 DC 的屬性直接省掉一個比特的顯式信令。這三項(xiàng)單個可能也就貢獻(xiàn) 0.5%-1% 的收益但架不住多。干過編解碼優(yōu)化的都懂到了 AV1 這個成熟度再想摳 30% 不可能靠某一項(xiàng)黑科技全是幾百個 0.1% 的優(yōu)化堆出來的AV2 干的就是這個笨功夫。環(huán)路濾波統(tǒng)一鏈路給解碼端減負(fù)AV1 的環(huán)路濾波是多級串聯(lián)去塊、CDEF、環(huán)路恢復(fù)一路算下來模塊多邏輯雜。AV2 換成了統(tǒng)一的通用去塊濾波器新增 GDF 導(dǎo)向細(xì)節(jié)濾波器和 CCSO 跨分量采樣偏移。CCSO 用亮度信息校正色度誤差對安防常用的 4:2:0 采樣格式特別友好夜視畫面的色度噪聲能壓得更干凈。整體思路和塊劃分的設(shè)計一脈相承編碼端可以使勁堆復(fù)雜度解碼端能省就省盡量控制硬件實(shí)現(xiàn)的門檻。落到安防場景紅利和坑各占一半講完技術(shù)原理還是得落回咱們的老本行。AV2 對智慧社區(qū)、園區(qū)安防、高空拋物這類項(xiàng)目的影響得拆開四個維度看不能只盯著碼率下降瞎樂。帶寬側(cè)的利好最直觀。比如 4K 高空拋物攝像頭單路上行碼率原本 4-8Mbps幾十路同時回傳的話公網(wǎng)帶寬是一筆不小的固定開銷。同畫質(zhì)下碼率約降 30%跨公網(wǎng)的帶寬成本、4G/5G 的流量成本都能明顯壓縮。但要注意這是理想場景的均值夜間低照度、車流密集的路口這類畫面實(shí)際節(jié)省會打折扣做預(yù)算別直接按 0.7 倍硬套。存儲側(cè)的收益也很實(shí)在。邊緣 NVR、云端冷存儲、取證片段歸檔的占用量都會同步收縮同樣的硬盤容量錄像留存周期能拉長一截。對有明確合規(guī)留存要求的項(xiàng)目成本壓力會小很多。但同樣別直接拿 30% 去做存儲規(guī)劃拿自己項(xiàng)目的真實(shí)樣本跑一遍實(shí)測最穩(wěn)妥。最容易踩坑的是邊緣側(cè)甚至有點(diǎn)反直覺碼率是降了但智能分析網(wǎng)關(guān)的整體算力壓力反而可能漲。原因很簡單 —— 現(xiàn)在沒有硬件解碼全靠 CPU 軟解復(fù)雜度是 AV1 的 5 倍。如果網(wǎng)關(guān)既要做 AV2 解碼又要并行跑高空拋物軌跡識別、周界入侵檢測這類 AI 推理很容易出現(xiàn)解碼把 CPU 占滿AI 推理算力不夠、延遲飆升的情況。我當(dāng)年 H.265 剛普及的時候就踩過類似的坑軟解吃滿處理器智能分析直接卡成 PPT。所以智能分析網(wǎng)關(guān)的硬件選型必須重新評估算力余量不能看見 “碼率降 30%” 就盲目樂觀。平臺側(cè)的改動相對可控。GB28181、RTSP 這些傳輸協(xié)議本身不用變但 AIoT 平臺的多媒體接入層、轉(zhuǎn)碼流水線、解碼庫都要做升級必須支持 AV1/AV2 雙棧兼容向下還要兼容 HEVC。畢竟未來三五年新老設(shè)備混裝是常態(tài)不可能一刀切全換成 AV2。物聯(lián)底座的價值把編碼迭代的成本收到底層編碼標(biāo)準(zhǔn)是隔幾年就迭代一次的東西如果每個項(xiàng)目、每代標(biāo)準(zhǔn)都從零重寫解析、轉(zhuǎn)碼、調(diào)度邏輯時間長了全是技術(shù)債。成熟的做法是把多媒體底層能力做抽象讓業(yè)務(wù)層專心做告警、做流程、做 AI 應(yīng)用不用跟著編碼標(biāo)準(zhǔn)反復(fù)改底層。像美暢智能物聯(lián)中臺UCC核心定位就是設(shè)備層和業(yè)務(wù)層之間的抽象層。向下把不同廠商的設(shè)備協(xié)議做歸一把 AV1、AV2、HEVC 多格式解析、轉(zhuǎn)碼調(diào)度都封裝到底層向上輸出標(biāo)準(zhǔn)化的事件和媒體接口還能給分布式的智能分析網(wǎng)關(guān)統(tǒng)一調(diào)度媒體處理任務(wù)。開發(fā)團(tuán)隊不用每一代編碼都重做一遍底層適配能省不少重復(fù)勞動。但邊界也得說清楚這類中臺能解決軟件層面的格式適配、調(diào)度管理問題解決不了芯片沒有硬解單元的硬件短板。軟解帶來的高算力消耗平臺再優(yōu)化也繞不開最終還是得等芯片廠商的硬件生態(tài)跟上來。別指望買一套中臺就能抹平硬件代差那不現(xiàn)實(shí)。給集成商的話Codec 升級避坑指南踩了這么多代編碼的坑總結(jié)幾條落地建議都是實(shí)打?qū)嵉慕?jīng)驗(yàn)大伙當(dāng)個參考。第一雙棧兼容漸進(jìn)遷移別搞一刀切。未來 3-5 年 AV1 和 AV2 必然共存架構(gòu)上一定要做 Codec 抽象層把編解碼模塊和業(yè)務(wù)邏輯解耦。后續(xù)不管是 AV2 迭代還是再出更新的標(biāo)準(zhǔn)改動都收攏在底層不用動業(yè)務(wù)代碼。邊緣設(shè)備的固件也要支持動態(tài)加載雙解碼庫根據(jù)碼流自動切換。第二邊緣算力賬要重新算別想當(dāng)然。AV2 軟解復(fù)雜度是 AV1 的 5 倍邊緣網(wǎng)關(guān)如果既要解碼又要跑 AI 推理算力配比要重新評估。個人建議實(shí)時分析類的邊緣節(jié)點(diǎn)等 2027-2028 年硬件解碼器普及了再規(guī)?；?AV2現(xiàn)階段用 AV1 過渡最穩(wěn)妥。第三純存儲、純轉(zhuǎn)發(fā)的場景可以先吃紅利。比如云端冷存儲、跨機(jī)房備份這類不需要實(shí)時解碼的場景AV2 的壓縮收益可以直接兌現(xiàn)風(fēng)險也低。這類后端存儲環(huán)節(jié)可以先遷前端實(shí)時分析環(huán)節(jié)暫緩分階段來最穩(wěn)。第四別信 “AV2 立即可用” 的宣傳。規(guī)范發(fā)布不等于設(shè)備就緒不等于生態(tài)成熟。官方自己都承認(rèn)第三方驗(yàn)證還在進(jìn)行中。咱們做落地的把它當(dāng)成 2-3 年后的技術(shù)儲備就行先做 POC 驗(yàn)證別急著上生產(chǎn)。第五做屏幕內(nèi)容、工業(yè) HMI 的團(tuán)隊可以提前布局。FSC 工具對屏幕類畫面的優(yōu)化是實(shí)打?qū)嵉慕咏?40% 的碼率節(jié)省不是虛的這類場景可以早做 POC收益會比普通監(jiān)控場景更明顯。寫在最后干了這么多年 codec越來越覺得每一代編碼標(biāo)準(zhǔn)的迭代從來不是什么顛覆性革命都是工程上一點(diǎn)點(diǎn)摳出來的進(jìn)步。AV2 這 30% 的增益是 256×256 大塊打底DDT 主攻殘差壓縮TCQ 優(yōu)化量化PARA/FSC/PH 在熵編碼里摳每一個比特再加上環(huán)路濾波給解碼端減負(fù)幾百個小優(yōu)化堆出來的結(jié)果。它的長期潛力毋庸置疑免專利費(fèi)的特性也讓它對商用項(xiàng)目很友好。但落地這件事從來不是紙面參數(shù)說了算得看芯片、固件、終端、平臺整條鏈的成熟度。對咱們做 B 端項(xiàng)目的人來說最理性的做法就是架構(gòu)上提前留好 AV2 的位置現(xiàn)階段用 AV1 扛住業(yè)務(wù)等硬件解碼成熟了再逐步切換。技術(shù)是用來解決問題的不是用來追新的。真正的工程智慧從來不是選最新的標(biāo)準(zhǔn)是選最合適的標(biāo)準(zhǔn)。AV2 是未來但未來還沒到。咱們做落地的總得在前沿和務(wù)實(shí)之間給自己留一條穩(wěn)妥的路。 暢聯(lián)云平臺丨新一代 AV2 視頻編碼標(biāo)準(zhǔn)發(fā)布，壓縮效率提升約 30%，將帶來哪些改變？
干安防集成這行多年從 H.264 熬到 AV1 大規(guī)模落地親眼見過每一代編碼標(biāo)準(zhǔn)出來時的行業(yè)熱鬧也踩過不少 “追新翻車” 的坑。今年 5 月 28 日 AOMedia 把 AV2 v1.0.0 規(guī)范正式定稿6 月初官方官宣之后同行群和朋友圈直接炸了好多開發(fā)商、集成商上來就問碼率省 30%是不是下個月就能把項(xiàng)目全換成 AV2 降成本說實(shí)話我第一反應(yīng)不是興奮是心里咯噔一下 —— 得又得挨個跟客戶解釋 “為啥不能明天就全量切換” 了。先給大伙交個底AOMedia 官方的說法是同畫質(zhì)下 AV2 比 AV1 省約 30% 的碼率屏幕內(nèi)容、HDR、8K 這類特定場景能接近 40%Netflix 的工程師 Norkin 放出的實(shí)測數(shù)據(jù)PSNR-YUV 下 BD-rate 改善約 28.7%VMAF 下約 32.6%和官方口徑基本對得上。但公道話得說在前頭獨(dú)立第三方的全場景驗(yàn)證還在推進(jìn)真實(shí)業(yè)務(wù)里的收益會跟著畫面場景浮動別被廠商宣傳里的 “暴降 30%” 帶跑了節(jié)奏。今天就跟同行說點(diǎn)實(shí)在的這 30% 到底是從流水線哪一環(huán)摳出來的落到咱們做 AIoT、做智慧安防的項(xiàng)目里到底是紅利還是坑架構(gòu)上該怎么準(zhǔn)備。盡量說人話不繞沒用的術(shù)語。先掰扯最容易被炒歪的一點(diǎn)AV2 不是 “AI 編碼器”這兩天刷到不少自媒體喊 “AV2 用上 AI 編碼了”—— 別鬧真不是這么回事。AV2 v1.0 的底層仍然是傳統(tǒng)混合塊編碼的老路子畫面切塊、預(yù)測、變換、量化、熵編碼、環(huán)路濾波和三十多年來所有主流編解碼器的核心框架沒區(qū)別。規(guī)范本身沒有把 AI/機(jī)器學(xué)習(xí)放進(jìn)核心編碼流程里核心目的就是保證解碼器足夠輕普通消費(fèi)級芯片就能跑不用額外搭 NPU。它所謂的 “數(shù)據(jù)驅(qū)動”是離線用機(jī)器學(xué)習(xí)訓(xùn)練出變換核、預(yù)測矩陣這些參數(shù)把訓(xùn)練好的固定結(jié)果固化到標(biāo)準(zhǔn)里。解碼的時候跑的還是經(jīng)典流水線不會實(shí)時跑神經(jīng)網(wǎng)絡(luò)。說白了是用 AI 輔助制定標(biāo)準(zhǔn)不是讓設(shè)備跑 AI 編碼這倆完全是兩碼事。當(dāng)然它也適合和外部 AI 模塊搭配比如在編碼器前面掛個 AI 降噪、超分的預(yù)處理層喂給 AV2 更干凈的源畫面整體壓縮效果還能再往上提一截。但這是兩套獨(dú)立的東西別混為一談。先潑完冷水再講更現(xiàn)實(shí)的代價按照 VideoLAN 負(fù)責(zé)人 Jean-Baptiste Kempf 對參考軟件的實(shí)測AV2 軟件解碼的復(fù)雜度大概是 AV1 的 5 倍編碼器復(fù)雜度只會更高。眼下沒有任何量產(chǎn)芯片帶 AV2 硬件解碼能力行業(yè)普遍預(yù)期硬件解碼器要到 2027-2028 年才會出現(xiàn)在商用芯片里真正大規(guī)模普及得等到 2028 年之后。也就是說未來三五年里AV1 和 AV2 一定是長期共存的狀態(tài)這點(diǎn)做技術(shù)選型的心里得先有數(shù)。30% 的碼率節(jié)省到底是怎么摳出來的很多人只記住了 30% 這個數(shù)字不知道收益是散在整條編碼流水線的每一個環(huán)節(jié)里每一處改動都帶著明確的取舍。挨個拆開說都是做工程的看懂了底層邏輯才好算自己項(xiàng)目里的真實(shí)收益。塊劃分超級塊翻一倍大塊省比特、小塊保細(xì)節(jié)AV1 的最大超級塊是 128×128AV2 直接拉到了 256×256。做安防的都懂監(jiān)控畫面里大半是天空、墻面、停車場這種大面積平滑區(qū)域用小塊切的話塊邊界多、額外開銷大換成 256×256 的大塊一整塊平滑區(qū)域可能就一個劃分開銷直接降下來。遇到文字、人臉、移動物體這種細(xì)節(jié)密集的地方再逐級往下拆成小塊。光做大塊還不行容易把解碼端的帶寬和算力拉爆。所以 AV2 加了個半解耦劃分SDP搭配好幾種非對稱劃分模式大尺寸塊里亮度和色度共享劃分策略省掉重復(fù)計算到 64×64 及以下的小塊又允許各自獨(dú)立劃分保住細(xì)節(jié)。做過邊緣設(shè)備優(yōu)化的都懂這種 “編碼端使勁卷、解碼端能省則省” 的設(shè)計有多重要 —— 直接關(guān)系到邊緣網(wǎng)關(guān)的硬件成本不是紙面參數(shù)那么簡單。預(yù)測參考幀變多預(yù)測越準(zhǔn)殘差越小壓縮的核心邏輯就是預(yù)測當(dāng)前這塊畫面能不能用旁邊的塊、或者前面幾幀的畫面拼出來。拼得越準(zhǔn)剩下的殘差就越小要編碼的數(shù)據(jù)就越少。幀內(nèi)預(yù)測這邊AV2 用了數(shù)據(jù)驅(qū)動幀內(nèi)預(yù)測DIP不是老一套的幾何角度插值而是用海量真實(shí)畫面離線訓(xùn)練出投影矩陣面對墻面、純色背景這種重復(fù)單調(diào)的紋理預(yù)測精度提升很明顯。CfL 亮度推導(dǎo)色度也做了優(yōu)化夜視低照度的 HDR 畫面適配性更好。幀間預(yù)測的改動更實(shí)在參考幀上限從 AV1 的 2 幀拉到了最多 7 幀還加了時間插值、光流運(yùn)動微調(diào)、簡化多參考幀這些工具。像慢云臺、移動車輛這類畫面運(yùn)動補(bǔ)償能貼得更準(zhǔn)殘差進(jìn)一步收縮。還有幀內(nèi)塊拷貝IBC的優(yōu)化對監(jiān)控里反復(fù)出現(xiàn)的標(biāo)牌、圍擋這類靜態(tài)圖案壓縮效率提升很直觀。當(dāng)然代價也有編碼器的搜索空間變大了復(fù)雜度又漲了一截。但解碼端只是按語法解析不用做復(fù)雜搜索咱們做平臺、做終端的解碼側(cè)壓力不會因?yàn)轭A(yù)測工具變多就暴漲這點(diǎn)還算厚道。變換數(shù)據(jù)驅(qū)動變換是這代最核心的改動這塊我得多說兩句個人覺得這是 AV2 和以往所有編碼標(biāo)準(zhǔn)最不一樣的地方。傳統(tǒng)編碼用的 DCT 離散余弦變換變換核是固定的數(shù)學(xué)公式。AV2 引入了 DDT 數(shù)據(jù)驅(qū)動變換 —— 提前用 KLT 算法拿海量真實(shí)視頻的殘差數(shù)據(jù)離線訓(xùn)練出多套變換核直接固化到標(biāo)準(zhǔn)里。說人話就是這個變換核是 “從真實(shí)視頻里學(xué)出來的”不是憑空推導(dǎo)的數(shù)學(xué)公式所以對真實(shí)場景殘差的能量集中能力比 DCT 強(qiáng)得多。同樣一塊殘差過一遍 DDT大部分能量都會塌縮到少數(shù)幾個低頻系數(shù)上后面量化的時候就能放心扔掉更多高頻細(xì)節(jié)又不怎么影響主觀畫質(zhì)。配合 DDT 的還有兩個輔助工具IST 二次變換給低頻系數(shù)再做一次降維進(jìn)一步擠掉無效信息CCTX 跨色度分量變換利用色度之間的相關(guān)性做聯(lián)合編碼。三者搭配下來殘差能量的集中程度比 AV1 高一大截這也是 30% 總收益里貢獻(xiàn)最大的單項(xiàng)技術(shù)之一。順帶提一句AV2 還把原生 64 點(diǎn) DCT 給砍了換成 32 點(diǎn)逆變換加殘差上采樣?？粗袷?“減配”實(shí)際上 256×256 大塊普及之后大尺寸變換的需求本身就在減少用極小的畫質(zhì)損失換來了硬件實(shí)現(xiàn)難度的大幅下降 —— 標(biāo)準(zhǔn)制定的人是真懂芯片設(shè)計的難處。量化扔掉查找表用網(wǎng)格找最優(yōu)解AV1 的量化靠好幾張查找表映射步長維護(hù)起來繁瑣。AV2 直接換成統(tǒng)一的指數(shù)公式做步長映射邏輯干凈了很多。真正的升級是 TCQ 網(wǎng)格編碼量化。它搞了 Q0、Q1 兩個子量化器重建電平錯開半個步長。編碼器用 Viterbi 動態(tài)規(guī)劃在 8 個狀態(tài)的網(wǎng)格里找率失真最優(yōu)的路徑 —— 說白了就是把 “每個系數(shù)量化用 Q0 還是 Q1” 變成了一個最短路徑問題找全局最優(yōu)解而不是逐系數(shù)單獨(dú)決策。單個系數(shù)看差別不大整幀算下來碼率和失真的平衡能做得更精細(xì)。同樣復(fù)雜度漲在編碼端解碼端只需要按語法查表重建感知不到 TCQ 的存在。熵編碼三個毫米級優(yōu)化積少成多熵編碼是壓縮的最后一公里單個工具提升幅度都不大但幾個小優(yōu)化疊起來對總收益的貢獻(xiàn)不容小覷。AV2 底層還是沿用 MS-AC 多符號算術(shù)編碼器沒換引擎只在 “怎么把數(shù)據(jù)喂給編碼器” 上做了三處微調(diào)。PARA 概率自適應(yīng)率調(diào)整通過偏移參數(shù)動態(tài)調(diào)節(jié) CDF 概率表的收斂速度監(jiān)控畫面經(jīng)常有場景突變、光線切換這個工具能讓概率模型更快貼合一新畫面的符號分布少浪費(fèi)比特。FSC 前向跳過編碼專門針對屏幕內(nèi)容。電腦屏幕、工控界面這類有大量銳利文字邊緣的畫面走頻域變換反而會打散能量AV2 干脆跳過變換直接對空間殘差做旁路編碼 —— 這也是 AV2 在屏幕內(nèi)容場景能省近 40% 碼率的核心原因做指揮大廳大屏、工業(yè) HMI 的同行可以重點(diǎn)關(guān)注。還有個很巧的 PH 奇偶校驗(yàn)隱藏當(dāng) AC 系數(shù)不少于 4 個時編碼器微調(diào)這些系數(shù)的奇偶性讓它們和 DC 系數(shù)的符號位保持一致。解碼端只要算一下 AC 系數(shù)的奇偶就能隱式推出 DC 的屬性直接省掉一個比特的顯式信令。這三項(xiàng)單個可能也就貢獻(xiàn) 0.5%-1% 的收益但架不住多。干過編解碼優(yōu)化的都懂到了 AV1 這個成熟度再想摳 30% 不可能靠某一項(xiàng)黑科技全是幾百個 0.1% 的優(yōu)化堆出來的AV2 干的就是這個笨功夫。環(huán)路濾波統(tǒng)一鏈路給解碼端減負(fù)AV1 的環(huán)路濾波是多級串聯(lián)去塊、CDEF、環(huán)路恢復(fù)一路算下來模塊多邏輯雜。AV2 換成了統(tǒng)一的通用去塊濾波器新增 GDF 導(dǎo)向細(xì)節(jié)濾波器和 CCSO 跨分量采樣偏移。CCSO 用亮度信息校正色度誤差對安防常用的 4:2:0 采樣格式特別友好夜視畫面的色度噪聲能壓得更干凈。整體思路和塊劃分的設(shè)計一脈相承編碼端可以使勁堆復(fù)雜度解碼端能省就省盡量控制硬件實(shí)現(xiàn)的門檻。落到安防場景紅利和坑各占一半講完技術(shù)原理還是得落回咱們的老本行。AV2 對智慧社區(qū)、園區(qū)安防、高空拋物這類項(xiàng)目的影響得拆開四個維度看不能只盯著碼率下降瞎樂。帶寬側(cè)的利好最直觀。比如 4K 高空拋物攝像頭單路上行碼率原本 4-8Mbps幾十路同時回傳的話公網(wǎng)帶寬是一筆不小的固定開銷。同畫質(zhì)下碼率約降 30%跨公網(wǎng)的帶寬成本、4G/5G 的流量成本都能明顯壓縮。但要注意這是理想場景的均值夜間低照度、車流密集的路口這類畫面實(shí)際節(jié)省會打折扣做預(yù)算別直接按 0.7 倍硬套。存儲側(cè)的收益也很實(shí)在。邊緣 NVR、云端冷存儲、取證片段歸檔的占用量都會同步收縮同樣的硬盤容量錄像留存周期能拉長一截。對有明確合規(guī)留存要求的項(xiàng)目成本壓力會小很多。但同樣別直接拿 30% 去做存儲規(guī)劃拿自己項(xiàng)目的真實(shí)樣本跑一遍實(shí)測最穩(wěn)妥。最容易踩坑的是邊緣側(cè)甚至有點(diǎn)反直覺碼率是降了但智能分析網(wǎng)關(guān)的整體算力壓力反而可能漲。原因很簡單 —— 現(xiàn)在沒有硬件解碼全靠 CPU 軟解復(fù)雜度是 AV1 的 5 倍。如果網(wǎng)關(guān)既要做 AV2 解碼又要并行跑高空拋物軌跡識別、周界入侵檢測這類 AI 推理很容易出現(xiàn)解碼把 CPU 占滿AI 推理算力不夠、延遲飆升的情況。我當(dāng)年 H.265 剛普及的時候就踩過類似的坑軟解吃滿處理器智能分析直接卡成 PPT。所以智能分析網(wǎng)關(guān)的硬件選型必須重新評估算力余量不能看見 “碼率降 30%” 就盲目樂觀。平臺側(cè)的改動相對可控。GB28181、RTSP 這些傳輸協(xié)議本身不用變但 AIoT 平臺的多媒體接入層、轉(zhuǎn)碼流水線、解碼庫都要做升級必須支持 AV1/AV2 雙棧兼容向下還要兼容 HEVC。畢竟未來三五年新老設(shè)備混裝是常態(tài)不可能一刀切全換成 AV2。物聯(lián)底座的價值把編碼迭代的成本收到底層編碼標(biāo)準(zhǔn)是隔幾年就迭代一次的東西如果每個項(xiàng)目、每代標(biāo)準(zhǔn)都從零重寫解析、轉(zhuǎn)碼、調(diào)度邏輯時間長了全是技術(shù)債。成熟的做法是把多媒體底層能力做抽象讓業(yè)務(wù)層專心做告警、做流程、做 AI 應(yīng)用不用跟著編碼標(biāo)準(zhǔn)反復(fù)改底層。像美暢智能物聯(lián)中臺UCC核心定位就是設(shè)備層和業(yè)務(wù)層之間的抽象層。向下把不同廠商的設(shè)備協(xié)議做歸一把 AV1、AV2、HEVC 多格式解析、轉(zhuǎn)碼調(diào)度都封裝到底層向上輸出標(biāo)準(zhǔn)化的事件和媒體接口還能給分布式的智能分析網(wǎng)關(guān)統(tǒng)一調(diào)度媒體處理任務(wù)。開發(fā)團(tuán)隊不用每一代編碼都重做一遍底層適配能省不少重復(fù)勞動。但邊界也得說清楚這類中臺能解決軟件層面的格式適配、調(diào)度管理問題解決不了芯片沒有硬解單元的硬件短板。軟解帶來的高算力消耗平臺再優(yōu)化也繞不開最終還是得等芯片廠商的硬件生態(tài)跟上來。別指望買一套中臺就能抹平硬件代差那不現(xiàn)實(shí)。給集成商的話Codec 升級避坑指南踩了這么多代編碼的坑總結(jié)幾條落地建議都是實(shí)打?qū)嵉慕?jīng)驗(yàn)大伙當(dāng)個參考。第一雙棧兼容漸進(jìn)遷移別搞一刀切。未來 3-5 年 AV1 和 AV2 必然共存架構(gòu)上一定要做 Codec 抽象層把編解碼模塊和業(yè)務(wù)邏輯解耦。后續(xù)不管是 AV2 迭代還是再出更新的標(biāo)準(zhǔn)改動都收攏在底層不用動業(yè)務(wù)代碼。邊緣設(shè)備的固件也要支持動態(tài)加載雙解碼庫根據(jù)碼流自動切換。第二邊緣算力賬要重新算別想當(dāng)然。AV2 軟解復(fù)雜度是 AV1 的 5 倍邊緣網(wǎng)關(guān)如果既要解碼又要跑 AI 推理算力配比要重新評估。個人建議實(shí)時分析類的邊緣節(jié)點(diǎn)等 2027-2028 年硬件解碼器普及了再規(guī)?；?AV2現(xiàn)階段用 AV1 過渡最穩(wěn)妥。第三純存儲、純轉(zhuǎn)發(fā)的場景可以先吃紅利。比如云端冷存儲、跨機(jī)房備份這類不需要實(shí)時解碼的場景AV2 的壓縮收益可以直接兌現(xiàn)風(fēng)險也低。這類后端存儲環(huán)節(jié)可以先遷前端實(shí)時分析環(huán)節(jié)暫緩分階段來最穩(wěn)。第四別信 “AV2 立即可用” 的宣傳。規(guī)范發(fā)布不等于設(shè)備就緒不等于生態(tài)成熟。官方自己都承認(rèn)第三方驗(yàn)證還在進(jìn)行中。咱們做落地的把它當(dāng)成 2-3 年后的技術(shù)儲備就行先做 POC 驗(yàn)證別急著上生產(chǎn)。第五做屏幕內(nèi)容、工業(yè) HMI 的團(tuán)隊可以提前布局。FSC 工具對屏幕類畫面的優(yōu)化是實(shí)打?qū)嵉慕咏?40% 的碼率節(jié)省不是虛的這類場景可以早做 POC收益會比普通監(jiān)控場景更明顯。寫在最后干了這么多年 codec越來越覺得每一代編碼標(biāo)準(zhǔn)的迭代從來不是什么顛覆性革命都是工程上一點(diǎn)點(diǎn)摳出來的進(jìn)步。AV2 這 30% 的增益是 256×256 大塊打底DDT 主攻殘差壓縮TCQ 優(yōu)化量化PARA/FSC/PH 在熵編碼里摳每一個比特再加上環(huán)路濾波給解碼端減負(fù)幾百個小優(yōu)化堆出來的結(jié)果。它的長期潛力毋庸置疑免專利費(fèi)的特性也讓它對商用項(xiàng)目很友好。但落地這件事從來不是紙面參數(shù)說了算得看芯片、固件、終端、平臺整條鏈的成熟度。對咱們做 B 端項(xiàng)目的人來說最理性的做法就是架構(gòu)上提前留好 AV2 的位置現(xiàn)階段用 AV1 扛住業(yè)務(wù)等硬件解碼成熟了再逐步切換。技術(shù)是用來解決問題的不是用來追新的。真正的工程智慧從來不是選最新的標(biāo)準(zhǔn)是選最合適的標(biāo)準(zhǔn)。AV2 是未來但未來還沒到。咱們做落地的總得在前沿和務(wù)實(shí)之間給自己留一條穩(wěn)妥的路。