簡(jiǎn)介這份PPT圍繞視頻數(shù)據(jù)標(biāo)注中的目標(biāo)跟蹤任務(wù)展開(kāi)以百度EasyDL平臺(tái)為操作主線(xiàn)面向剛接觸計(jì)算機(jī)視覺(jué)數(shù)據(jù)標(biāo)注的算法工程師、標(biāo)注團(tuán)隊(duì)或相關(guān)專(zhuān)業(yè)學(xué)生。內(nèi)容從創(chuàng)建模型、創(chuàng)建數(shù)據(jù)集、上傳數(shù)據(jù)開(kāi)始到在線(xiàn)標(biāo)注、添加標(biāo)簽、標(biāo)注關(guān)鍵幀與目標(biāo)消失幀逐步演示了目標(biāo)跟蹤標(biāo)注的完整流程能夠幫助初學(xué)者理解從原始視頻到可訓(xùn)練數(shù)據(jù)集的關(guān)鍵步驟與常見(jiàn)操作細(xì)節(jié)。PPT共1個(gè)演示文稿文件壓縮包大小3.13MB單文件便于按頁(yè)碼翻看步驟截圖與界面說(shuō)明。目前已有1109人學(xué)習(xí)瀏覽適合需要快速上手視頻目標(biāo)跟蹤標(biāo)注或準(zhǔn)備開(kāi)展數(shù)據(jù)標(biāo)注培訓(xùn)的讀者。通過(guò)這份PPT可直觀看到EasyDL目標(biāo)跟蹤標(biāo)注界面的操作節(jié)奏包括矩形框選目標(biāo)、多關(guān)鍵幀跟蹤、消失幀處理等實(shí)用技巧同時(shí)強(qiáng)化標(biāo)注質(zhì)量對(duì)模型精度的重要認(rèn)知有效節(jié)省自行摸索與踩坑時(shí)間。1. 視頻數(shù)據(jù)標(biāo)注的難點(diǎn)不在畫(huà)框而在時(shí)間軸早上打開(kāi)一份名為數(shù)據(jù)標(biāo)注視頻數(shù)據(jù)標(biāo)注案例.pptx的材料時(shí)如果只看到滿(mǎn)屏畫(huà)好的框那這份復(fù)盤(pán)大概率漏掉了真正重要的環(huán)節(jié)。視頻數(shù)據(jù)標(biāo)注和普通圖片標(biāo)注的差別不在框的數(shù)量而在于時(shí)間軸上目標(biāo)身份是否始終一致同一個(gè)行人在 25fps 的視頻里被車(chē)擋住兩秒標(biāo)注員很容易把它標(biāo)成兩段軌跡后面做跟蹤訓(xùn)練時(shí)算法再怎么調(diào)參也補(bǔ)不回來(lái)。對(duì)算法工程師、標(biāo)注團(tuán)隊(duì)負(fù)責(zé)人和數(shù)據(jù)標(biāo)注行業(yè)的新手來(lái)說(shuō)這篇文章按一線(xiàn)落地順序把鏈路拉通一遍需求維度怎么拆、抽幀和關(guān)鍵幀插值怎么設(shè)、半自動(dòng)標(biāo)注怎么提效、質(zhì)檢到底查哪幾個(gè)指標(biāo)以及最后用回放怎么驗(yàn)收。2. 視頻數(shù)據(jù)標(biāo)注的工具選型先定規(guī)范再選工具2.1 視頻數(shù)據(jù)標(biāo)注的三個(gè)維度空間框、時(shí)間流與屬性狀態(tài)視頻數(shù)據(jù)標(biāo)注和圖片數(shù)據(jù)標(biāo)注的本質(zhì)區(qū)別是每次操作都要面對(duì)一個(gè)隱含的第四維時(shí)間。標(biāo)注對(duì)象不再是靜止的單幀畫(huà)面而是一段連續(xù)動(dòng)作。按我處理園區(qū)車(chē)輛與行人混合視頻標(biāo)注項(xiàng)目的慣例所有視頻數(shù)據(jù)標(biāo)注任務(wù)從需求上都可以拆成三個(gè)維度。第一個(gè)維度是空間標(biāo)注。目標(biāo)檢測(cè)任務(wù)就是邊界框?qū)嵗指钊蝿?wù)就是多邊形語(yǔ)義分割任務(wù)就是像素級(jí)掩碼。這個(gè)維度和圖片標(biāo)注幾乎一致差別只在于要連續(xù)地在多幀上重復(fù)。第二個(gè)維度是時(shí)間流標(biāo)注。視頻數(shù)據(jù)標(biāo)注需要記錄目標(biāo)的跨幀軌跡同一個(gè)目標(biāo)從第 100 幀進(jìn)入畫(huà)面到第 420 幀離開(kāi)中間每一幀都要有同一個(gè) track_id。第三個(gè)維度是屬性狀態(tài)比如這輛車(chē)是否被遮擋這個(gè)行人是否在打電話(huà)這是后續(xù)做困難樣本挖掘和邏輯召回的關(guān)鍵字段。對(duì)三個(gè)維度的標(biāo)注深度做決定時(shí)數(shù)據(jù)標(biāo)注工具之間才具備真正意義上的可比性。很多團(tuán)隊(duì)把成本估算集中在畫(huà)框個(gè)數(shù)上忽略了屬性狀態(tài)的字段設(shè)計(jì)。一個(gè)真實(shí)踩過(guò)的坑共享單車(chē)園區(qū)違規(guī)停放監(jiān)控項(xiàng)目最初沒(méi)標(biāo)車(chē)籃是否有載物算法訓(xùn)練完無(wú)法區(qū)分載物和空載場(chǎng)景最后只能對(duì)整個(gè)視頻數(shù)據(jù)標(biāo)注任務(wù)回爐補(bǔ)標(biāo)整體返工了兩周。正確做法是在任務(wù)派發(fā)前先定屬性清單比如是否被遮擋是/否/未知?jiǎng)幼黝?lèi)型騎行/推行/靜止并寫(xiě)進(jìn)任務(wù)說(shuō)明確保所有標(biāo)注員口徑一致。2.2 數(shù)據(jù)標(biāo)注工具橫向?qū)Ρ菴VAT、Label Studio與X-AnyLabeling視頻數(shù)據(jù)標(biāo)注工具的選型通常不取決于哪個(gè)工具畫(huà)框手感好而取決于它能否支持關(guān)鍵幀插值、軌跡 ID 管理和視頻幀序列抽取。目前我常用的開(kāi)源數(shù)據(jù)標(biāo)注工具主要有三個(gè)各自的能力邊界不太一樣。工具視頻標(biāo)注能力插值方式適合場(chǎng)景注意點(diǎn)CVAT內(nèi)置視頻軌道標(biāo)注關(guān)鍵幀之間自動(dòng)插值可接 AI 模型檢測(cè)、跟蹤、分割一體部署偏重依賴(lài) DockerLabel Studio視頻幀序列標(biāo)注人工逐幀插件可擴(kuò)展事件打標(biāo)、動(dòng)作起止時(shí)間視頻目標(biāo)框標(biāo)注體驗(yàn)一般X-AnyLabeling視頻抽幀 模型預(yù)標(biāo)注SAM 按幀生成掩碼小團(tuán)隊(duì)快速出分割結(jié)果視頻過(guò)大需要先單獨(dú)抽幀CVAT 的插值模式是視頻數(shù)據(jù)標(biāo)注效率最高的實(shí)現(xiàn)方式標(biāo)注員只在選定的關(guān)鍵幀上畫(huà)框下一關(guān)鍵幀畫(huà)完中間幀由平臺(tái)自動(dòng)補(bǔ)全軌跡。但如果需求主要是動(dòng)作事件打標(biāo)而不是目標(biāo)跟蹤Label Studio 更輕量不需要起一套重型服務(wù)。X-AnyLabeling 更適合本地小規(guī)?？焖俪鲅诖a幾十個(gè) G 的視頻建議先按 3.1 的抽幀邏輯變成圖片序列再導(dǎo)入。2.3 數(shù)據(jù)標(biāo)注規(guī)范任務(wù)怎么拆、幀段怎么切視頻數(shù)據(jù)標(biāo)注規(guī)范不能只寫(xiě)框住所有目標(biāo)要寫(xiě)明任務(wù)切分和邊界交接規(guī)則。切視頻時(shí)我一般按一個(gè)動(dòng)作閉環(huán)來(lái)切不要讓一個(gè)視頻文件橫跨兩個(gè)光照完全不同的場(chǎng)景。比如行人從室外走進(jìn)室內(nèi)環(huán)境亮度和背景完全變化應(yīng)該切成兩個(gè)任務(wù)段否則標(biāo)注員會(huì)因目標(biāo)突然不可見(jiàn)產(chǎn)生困惑track 也容易斷。任務(wù)段的長(zhǎng)度也要控制。一個(gè)標(biāo)注員每天合理產(chǎn)出大約是 400 到 600 個(gè)有效關(guān)鍵幀如果每段抽幀后剩余 100 幀左右每人每天約處理 5 段。拆太短前一個(gè)任務(wù)段和后一個(gè)任務(wù)段之間的 ID 交接頻繁后處理要花時(shí)間合并拆太長(zhǎng)單任務(wù)盯太久容易疲勞錯(cuò)誤率在第二小時(shí)明顯上升。人員協(xié)作上要把 ID 一致性作為和框準(zhǔn)確率并列的考核指標(biāo)。多個(gè)標(biāo)注員協(xié)作時(shí)如果任務(wù)段之間存在同一目標(biāo)的跨段軌跡需要在導(dǎo)出結(jié)果里保留跨段交接字段或者直接在視頻切片時(shí)預(yù)留 5 幀重疊后處理腳本再做 ID 歸并。這個(gè)細(xì)節(jié)決定了最終數(shù)據(jù)能否訓(xùn)練跟蹤模型。3. 用關(guān)鍵幀插值跑通視頻標(biāo)注前置流程ffmpeg抽幀與任務(wù)打包視頻數(shù)據(jù)標(biāo)注項(xiàng)目的第一步不是打開(kāi)標(biāo)注平臺(tái)而是決定讓標(biāo)注員看到哪些幀。直接把 25fps 的視頻原樣導(dǎo)入工具一個(gè) 5 分鐘的視頻就有 7500 幀逐幀標(biāo)注成本完全不可控。常規(guī)做法是抽幀加上關(guān)鍵幀插值先選一部分幀作為人工標(biāo)注幀其余幀由數(shù)據(jù)標(biāo)注工具在時(shí)間軸上自動(dòng)補(bǔ)全。3.1 抽幀策略固定間隔還是場(chǎng)景切分默認(rèn)策略是固定間隔抽幀間隔取 5 到 10 幀。目標(biāo)運(yùn)動(dòng)越快、目標(biāo)在畫(huà)面里占據(jù)的像素越小間隔就要越短。比如園區(qū)出入口車(chē)輛起步慢10 幀間隔足夠但行人突然轉(zhuǎn)身或跑動(dòng)5 幀間隔下插值更容易貼合實(shí)際位置。下面這條命令按每 5 幀抽取一幀輸出的幀號(hào)按原視頻時(shí)間軸保留下來(lái)后續(xù)訓(xùn)練時(shí)可以根據(jù)幀號(hào)直接換算真實(shí)時(shí)間戳# 從 input.mp4 中每 5 幀取一幀輸出到 keyframes 目錄 ffmpeg -i input.mp4 -vf selectnot(mod(n,5)),setptsN/FRAME_RATE/TB -vsync 0 keyframes/frame_%06d.jpgselectnot(mod(n,5))里的n是解碼后的幀計(jì)數(shù)mod(n,5)取余數(shù)余數(shù)為 0 時(shí)保留當(dāng)前幀setptsN/FRAME_RATE/TB把輸出幀的時(shí)間戳重置為第 N 幀/幀率保證幀順序正確-vsync 0讓 ffmpeg 不要自作主張補(bǔ)幀或丟幀。很多人漏掉最后這個(gè)參數(shù)抽出來(lái)的幀序列偶爾會(huì)出現(xiàn)重復(fù)幀導(dǎo)致標(biāo)注平臺(tái)里軌跡抖動(dòng)。如果視頻場(chǎng)景切換頻繁固定間隔會(huì)浪費(fèi)大量標(biāo)注工作量在無(wú)關(guān)幀上?？梢韵扔苗R頭檢測(cè)腳本找出切變點(diǎn)再按切變點(diǎn)分片抽幀# 輸出發(fā)生場(chǎng)景切換的幀時(shí)刻用于后續(xù)切分視頻 ffmpeg -i input.mp4 -vf selectgt(scene,0.4),showinfo -f null - 21 | grep pts_time這里的scene分?jǐn)?shù)表示當(dāng)前幀與前一幀畫(huà)面的差異程度0.4 是保守閾值鏡頭切換、亮度突變都能捕獲到。拿到pts_time后按時(shí)間點(diǎn)把視頻切成短視頻再對(duì)每個(gè)分段做固定間隔抽幀能省掉場(chǎng)景空白段帶來(lái)的無(wú)效標(biāo)注。場(chǎng)景類(lèi)型建議幀間隔原因行人慢速行走10 幀位移小插值誤差小車(chē)輛轉(zhuǎn)彎、遮擋頻繁5 幀避免軌跡斷裂和插值偏移快速動(dòng)作識(shí)別3 幀動(dòng)作起止幀定位更準(zhǔn)攝像頭固定且畫(huà)面靜止1 幀即可減少存儲(chǔ)和無(wú)效工作量3.2 關(guān)鍵幀插值讓標(biāo)注員只畫(huà) 1/5 的幀抽幀完成后把圖片序列導(dǎo)入支持視頻標(biāo)注的工具打開(kāi)軌跡模式。標(biāo)注員只標(biāo)注第 0、5、10、15 幀也就是原視頻每 25 幀中的 5 幀剩余中間幀由工具根據(jù)相鄰關(guān)鍵幀自動(dòng)生成插值結(jié)果track_id 保持不變。這是視頻數(shù)據(jù)標(biāo)注區(qū)別于普通圖片標(biāo)注的最大效率來(lái)源。在 CVAT 里做插值的常見(jiàn)配置是創(chuàng)建任務(wù)時(shí)選擇插值標(biāo)注模式標(biāo)注員在時(shí)間軸上定位到關(guān)鍵幀畫(huà)框到下一關(guān)鍵幀再調(diào)整框的位置工具會(huì)自動(dòng)生成中間幀。參數(shù)上值得留意的是關(guān)鍵幀間隔不要設(shè)置過(guò)大默認(rèn)的 10 幀對(duì)快速移動(dòng)目標(biāo)來(lái)說(shuō)插值誤差偏高我一般手動(dòng)改成 5 幀以?xún)?nèi)的增量寧可讓人多畫(huà)一幀關(guān)鍵幀也不要讓插值結(jié)果在視覺(jué)上抖得沒(méi)法看。配合模型做自動(dòng)插值的流程是抽幀后先運(yùn)行檢測(cè)模型生成各幀目標(biāo)框再將檢測(cè)框按跟蹤算法關(guān)聯(lián)成軌跡最后把軌跡結(jié)果作為預(yù)標(biāo)注導(dǎo)入數(shù)據(jù)標(biāo)注工具標(biāo)注員負(fù)責(zé)刪除誤檢、補(bǔ)充漏檢、修改類(lèi)別和屬性。這樣標(biāo)注員每天的實(shí)際產(chǎn)出能從 400 幀提升到 1200 幀以上但前提是預(yù)標(biāo)注質(zhì)量本身不能太差。提示如果視頻里目標(biāo)大量相互遮擋預(yù)標(biāo)注軌跡容易發(fā)生 ID 切換。此時(shí)不要盲目調(diào)低置信度優(yōu)先檢查跟蹤器的max_age參數(shù)把目標(biāo)丟失后保留軌跡的時(shí)間從默認(rèn)值調(diào)大能明顯減少被遮擋物的 ID 跳變。3.3 構(gòu)建可追溯的數(shù)據(jù)標(biāo)注任務(wù)目錄標(biāo)注任務(wù)不是一次性生產(chǎn)產(chǎn)出后還要清洗、合并、回滾。任務(wù)目錄至少要能區(qū)分原始視頻、抽幀圖片、原始標(biāo)注、已檢核標(biāo)注四類(lèi)文件。我常用下面這套結(jié)構(gòu)PROJECTgate-monitor mkdir -p $PROJECT/videos $PROJECT/frames $PROJECT/raw_anns $PROJECT/verified_anns find $PROJECT/frames/gate01 -name *.jpg | sort $PROJECT/raw_anns/gate01.txtraw_anns里放平臺(tái)導(dǎo)出的原始標(biāo)注 JSON文件名和幀號(hào)一一對(duì)應(yīng)后續(xù)校驗(yàn)?zāi)_本直接從 JSON 重建標(biāo)注verified_anns只保留通過(guò)質(zhì)檢的版本。數(shù)據(jù)標(biāo)注工具導(dǎo)出的結(jié)果如果帶 track_id 字段后處理時(shí)一定要保留一旦丟掉后續(xù)要定位某條軌跡在某幀的框時(shí)只能回原視頻重看返工成本極高。4. 半自動(dòng)標(biāo)注與質(zhì)量校驗(yàn)跑通視頻數(shù)據(jù)標(biāo)注流水線(xiàn)的關(guān)鍵節(jié)點(diǎn)4.1 用跟蹤器和分割模型做視頻預(yù)標(biāo)注視頻數(shù)據(jù)標(biāo)注里最實(shí)用的提效手段是預(yù)標(biāo)注。以常見(jiàn)的 YOLO 加 ByteTrack 方案為例先把視頻切成幀列表用檢測(cè)模型跑出每一幀的框然后用跟蹤器為框分配穩(wěn)定的 ID把跟蹤結(jié)果導(dǎo)出成標(biāo)注平臺(tái)能識(shí)別的 JSON 格式標(biāo)注員只需單擊接受。下面的 Python 腳本示意了預(yù)標(biāo)注主流程用的是 ultralytics 庫(kù)的 track 接口from ultralytics import YOLO model YOLO(yolov8n.pt) # 檢測(cè)模型 results model.track( gate-cam.mp4, persistTrue, trackerbytetrack.yaml, classes[0], # 只保留人這個(gè)類(lèi)別 conf0.25, projectprelabel_out, nametracks, )persistTrue讓跟蹤器跨幀記憶同一個(gè)目標(biāo)同一目標(biāo)的框在連續(xù)幀中共享同一個(gè) track_idtrackerbytetrack.yaml指定 ByteTrack 配置它是一個(gè)以檢測(cè)框?yàn)檩斎氲妮p量跟蹤器classes[0]限定模型只輸出人這個(gè)類(lèi)別減少誤檢和無(wú)效關(guān)聯(lián)。輸出目錄里會(huì)生成一段帶標(biāo)注框的預(yù)覽視頻方便人工快速確認(rèn)預(yù)標(biāo)注效果。預(yù)標(biāo)注的正確使用循環(huán)是今天標(biāo)注、今晚訓(xùn)練、明早預(yù)標(biāo)注拿已標(biāo)注數(shù)據(jù)訓(xùn)一個(gè)初版模型第二天讓模型輔助標(biāo)注新的無(wú)標(biāo)注視頻如此迭代。半自動(dòng)標(biāo)注的核心價(jià)值不是消滅人工而是把標(biāo)注員的精力集中在修正最難的目標(biāo)上。4.2 質(zhì)量校驗(yàn)統(tǒng)計(jì)標(biāo)注框面積、ID與幀間跳變質(zhì)量校驗(yàn)我一般寫(xiě)一個(gè)腳本掃批量的標(biāo)注 JSON只檢查四件事track_id 是否連續(xù)覆蓋幀、同一 track 相鄰幀邊界框的重疊率是否突然掉到 0、框是否出現(xiàn)大面積絕對(duì)位置偏移、類(lèi)別名是否超出規(guī)范清單。示例腳本片段如下設(shè)計(jì)成無(wú)第三方依賴(lài)即可運(yùn)行import json with open(export_anns.json) as f: anns json.load(f) tracks {} for ann in anns: t_id ann[track_id] tracks.setdefault(t_id, []).append(ann) for t_id, frames in tracks.items(): frames.sort(keylambda x: x[frame_id]) for prev, curr in zip(frames, frames[1:]): gap curr[frame_id] - prev[frame_id] if gap 1: print(f[gap] track {t_id} frame {prev[frame_id]} - {curr[frame_id]}) iou compute_iou(prev[bbox], curr[bbox]) if iou 0.3: print(f[shift] track {t_id} frame {curr[frame_id]} iou{iou:.2f})邏輯說(shuō)明track_id是視頻數(shù)據(jù)標(biāo)注中判斷軌跡是否連續(xù)的錨點(diǎn)gap 1說(shuō)明中間有幀漏標(biāo)可能是插值任務(wù)沒(méi)保存IOU 小于 0.3 說(shuō)明框在相鄰關(guān)鍵幀之間跳變太大大概率是標(biāo)注員在關(guān)鍵幀之間漏畫(huà)了一幀需要回去補(bǔ)。compute_iou函數(shù)按兩個(gè)邊界框交并比實(shí)現(xiàn)具體公式就是兩個(gè)矩形的交集面積除以并集面積。質(zhì)量參數(shù)的合理閾值可以參考下表指標(biāo)閾值動(dòng)作相鄰關(guān)鍵幀 IOU不低于 0.4小于 0.4 查軌跡轉(zhuǎn)折點(diǎn)track_id 缺失幀 gap0記錄并補(bǔ)標(biāo)類(lèi)別取值與規(guī)范一致出現(xiàn)未知類(lèi)別查原始幀邊界框是否出畫(huà)不允許裁邊到畫(huà)面外視為異常4.3 格式導(dǎo)出與數(shù)據(jù)切分COCO、YOLO與MOT下游任務(wù)不同要的標(biāo)注格式也不同。目標(biāo)檢測(cè)用 YOLO 格式最方便實(shí)例分割用 COCO多目標(biāo)跟蹤直接吃 MOT 格式。視頻數(shù)據(jù)標(biāo)注工具導(dǎo)出的 JSON 一般都能轉(zhuǎn)成這些格式但切分時(shí)最常見(jiàn)的錯(cuò)誤是隨機(jī)切幀導(dǎo)致同一段軌跡的一部分幀進(jìn) train一部分進(jìn) val評(píng)估出來(lái)的指標(biāo)虛高。正確做法是按視頻維度整體切分。比如手里 10 個(gè)視頻來(lái)自同一環(huán)境、光照相似的 4 個(gè)放 val其余 6 個(gè)放 train不要從同一個(gè)視頻里一半一半地切。對(duì)跟蹤模型來(lái)說(shuō)MOT 格式必須保留frame_id和track_id兩列一行最小記錄長(zhǎng)這樣1, 1, 722.5, 246.0, 88.0, 46, 1, 1, 1, 1字段依次是幀號(hào)、track_id、左上角 x、左上角 y、寬、高、置信度、類(lèi)別、截?cái)酄顟B(tài)、保留字段。導(dǎo)出時(shí)如果標(biāo)注屬性里有截?cái)嗷蛘趽蹙陀成涞浇財(cái)酄顟B(tài)列別丟掉。核心轉(zhuǎn)換邏輯可以這樣寫(xiě)def ann_to_mot(ann, frame_id): x, y, w, h ann[bbox] return [frame_id, ann[track_id], round(x,1), round(y,1), round(w,1), round(h,1), 1, ann.get(cls_id, 0), 1, 1]參數(shù)說(shuō)明bbox是邊界框track_id對(duì)應(yīng)跟蹤 IDcls_id是類(lèi)別的整數(shù)編碼第 7 位的1是置信度占位值人工標(biāo)注通?？梢灾苯犹?1。5. 用可視化回放審查視頻數(shù)據(jù)標(biāo)注的時(shí)序一致性5.1 插值結(jié)果的常見(jiàn)失真點(diǎn)關(guān)鍵幀插值不是萬(wàn)能的。目標(biāo)做高速轉(zhuǎn)向時(shí)插值框會(huì)因?yàn)榫€(xiàn)性假設(shè)偏離目標(biāo)中心遮擋切換時(shí)插值框可能跟著背景里的其他目標(biāo)走鏡頭晃動(dòng)時(shí)中間幀的框會(huì)在目標(biāo)周?chē)?。這些異常在單張靜態(tài)幀上幾乎看不出問(wèn)題只有把幀連續(xù)播放起來(lái)才會(huì)暴露。更隱蔽的是軌跡屬性的連續(xù)性一個(gè)行人在第 40 幀被車(chē)擋住兩秒如果插值沒(méi)有處理遮擋關(guān)系車(chē)開(kāi)走時(shí)標(biāo)注工具可能重新創(chuàng)建一個(gè)新 ID算法會(huì)把同一個(gè)人當(dāng)成兩個(gè)人。檢查時(shí)必須專(zhuān)門(mén)盯著這些遮擋切換位置看。5.2 用OpenCV合成帶軌跡框的回放視頻快速驗(yàn)收我最后一步的做法是把標(biāo)注結(jié)果畫(huà)回到每一幀上合成一個(gè)和原視頻同幀率、同分辨率的 mp4然后以 1.5 到 2 倍速連續(xù)播放。這個(gè)回放視頻就是驗(yàn)收物比任何統(tǒng)計(jì)報(bào)表都直接。import cv2 cap cv2.VideoCapture(frames_seq.mp4) out cv2.VideoWriter(review.mp4, cv2.VideoWriter_fourcc(*mp4v), 25, (w, h)) while True: ok, img cap.read() if not ok: break boxes get_boxes_from_ann(img, frame_id) # 從JSON按幀取框 for b in boxes: cv2.rectangle(img, (b[0], b[1]), (b[2], b[3]), (0, 255, 0), 2) cv2.putText(img, str(b[4]), (b[0], b[1] - 6), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 255, 0), 2) out.write(img) out.release()get_boxes_from_ann負(fù)責(zé)從標(biāo)注 JSON 中按幀號(hào)取出所有邊界框b[4]是 track_id把它直接畫(huà)在框上方回放時(shí)能直觀看到同一目標(biāo)是否從頭到尾用同一個(gè)編號(hào)。合成速度不用太講究用 25fps 輸出即可因?yàn)榛胤胚€要調(diào)速看。我通常會(huì)把沒(méi)有通過(guò)回放的視頻段單獨(dú)截出來(lái)重新導(dǎo)入數(shù)據(jù)標(biāo)注工具用插值修正模式重跑一遍直到連續(xù)回放不再出現(xiàn)視覺(jué)跳躍。這個(gè)回放不過(guò)就重畫(huà)的較真動(dòng)作往往就是視頻數(shù)據(jù)標(biāo)注和圖片標(biāo)注團(tuán)隊(duì)拉開(kāi)差距的地方。本文還有配套的精品資源點(diǎn)擊獲取