字人克隆與本地部署)
30分鐘跑通Duix.Avatar數(shù)字人克隆與本地部署【免費下載鏈接】Duix-Avatar Truly open-source AI avatar(digital human) toolkit for offline video generation and digital human cloning.項目地址: https://gitcode.com/GitHub_Trending/he/Duix-AvatarDuix.Avatar 是硅基智能開源的 AI 數(shù)字人digital human工具支持本地部署與 API 調(diào)用上傳一段 10 秒左右的視頻即可克隆形象與聲音輸入文案或音頻后生成口型同步的口播視頻。全鏈路離線運行適合想低成本做數(shù)字人視頻的內(nèi)容創(chuàng)作者以及想集成數(shù)字人能力的開發(fā)者。 部署前的環(huán)境核對先確認機器滿足以下條件否則后三個 Docker 服務(wù)起不來項目要求系統(tǒng)Windows 1019042.1526 及以上或 Ubuntu 22.04 Desktop顯卡NVIDIA 顯卡且已裝驅(qū)動硬性要求內(nèi)存32GB 及以上磁盤WindowsC 盤空閑大于 100G鏡像、D 盤大于 30G數(shù)據(jù)Ubuntu空閑大于 100GC 盤空間不足時可以在 Docker Desktop 的 Settings → Resources → Advanced 里把 Disk image location 改到空間更大的磁盤。Windows 部署步驟確認 WSL 可用并更新wsl --list --verbose wsl --update安裝 Docker Desktop首次啟動時接受協(xié)議、跳過登錄??寺}庫并進入項目git clone https://gitcode.com/GitHub_Trending/he/Duix-Avatar cd Duix-Avatar進入/deploy目錄啟動服務(wù)端compose 文件就放在這個目錄里cd deploy docker-compose up -d這一步會拉取并啟動 duix-avatar-tts、duix-avatar-asr、duix-avatar-gen-video 三個服務(wù)鏡像約 70G首次啟動請預(yù)留半小時左右。想省資源可以改用輕量版只起一個 gen-video 服務(wù)cd deploy docker-compose -f docker-compose-lite.yml up -d執(zhí)行docker ps看到三個容器均為 Running 即部署成功。從項目 Release 頁下載對應(yīng)系統(tǒng)的預(yù)構(gòu)建安裝包Windows 雙擊.exe完成客戶端安裝。Ubuntu 22.04 部署步驟sudo apt update sudo apt install docker.io sudo apt install docker-compose按 NVIDIA 官方文檔安裝顯卡驅(qū)動nvidia-smi能顯示顯卡信息即成功。接著安裝 nvidia-container-toolkit 并配置 Docker 運行時sudo nvidia-ctk runtime configure --runtimedocker sudo systemctl restart docker啟動服務(wù)端cd deploy docker-compose -f docker-compose-linux.yml up -d客戶端下載 AppImage 版本直接雙擊運行root 用戶桌面環(huán)境下需在終端執(zhí)行并追加--no-sandbox參數(shù)。 部署成功后的使用流程創(chuàng)建數(shù)字人。主界面右側(cè)點 Create Avatar上傳一段 10 秒左右的視頻。注意視頻里必須有人清晰說話系統(tǒng)要同時提取面部特征和聲音特征無語音的視頻會直接報錯。你會看到成功后我的數(shù)字人列表里多出一張帶頭像的卡片可以重命名。生成口播視頻。點 Create Video 選中剛創(chuàng)建的數(shù)字人輸入文案或上傳音頻文件提交生成。你會看到作品出現(xiàn)在 My Works 列表并帶進度完成后直接播放、保存成片口型與語音自動對齊。管理與調(diào)試。My Works 支持關(guān)鍵詞搜索和分頁瀏覽歷史作品隨時可找。右上角 Setting 菜單可以打開客戶端日志、切換界面語言支持中、英、日、韓、法、德、阿、西 8 種、查看用戶協(xié)議。排查問題前先開日志效率最高。 生成卡住或服務(wù)起不來時看這里按現(xiàn)象 → 原因 → 動作逐條對照docker-compose up -d失敗報 request canceled / 連接超時→ Docker Hub 源不穩(wěn)定 → 在 Docker 配置的registry-mirrors里加國內(nèi)鏡像源后重試或換可直連源的網(wǎng)絡(luò)。三個服務(wù)起不來容器反復(fù)退出→ 沒有 NVIDIA 顯卡或驅(qū)動沒裝好 → 用nvidia-smi驗證本項目全部算力在本地?zé)o GPU 時服務(wù)必然啟動失敗。創(chuàng)建數(shù)字人失敗提示與聲音相關(guān)→ 上傳的視頻里沒有人在說話 → 重新拍攝 10-20 秒的說話視頻再上傳。創(chuàng)建時報 Connection refused→ asr 服務(wù)啟動慢或內(nèi)存不足16G 可能帶不動→ 等服務(wù)全部 Running 后再等幾分鐘重試必要時加大內(nèi)存。生成卡住或 heygen-tts 容器反復(fù)重啟→ 音頻處理環(huán)節(jié)出錯 → 點開對應(yīng)容器查看日志定位報錯重啟該服務(wù)再試。以上都解決不了時對照倉庫里的常見問題里面覆蓋了鏡像源、無聲視頻、asr 連接失敗等高頻問題。?? 服務(wù)端結(jié)構(gòu)與本地 API部署完的/deploy實際是三個獨立服務(wù)全部通過http://127.0.0.1本地調(diào)用不依賴外網(wǎng)duix-avatar-tts基于 fish-speech 的聲音克隆與文本轉(zhuǎn)語音本地端口 18180duix-avatar-asr基于 fun-asr 的音頻識別端口 10095duix-avatar-gen-video數(shù)字人視頻合成端口 8383。對開發(fā)者完整鏈路是三段式 API先調(diào) 18180 端口的模特訓(xùn)練接口/v1/preprocess_and_tran提取聲音參考再調(diào)/v1/invoke合成音頻最后調(diào) 8383 端口的/easy/submit提交視頻合成、/easy/query查進度。客戶端里這些調(diào)用的組織邏輯可以讀 視頻生成服務(wù) 和 聲音服務(wù) 兩個文件參數(shù)示例在 README 的開放 API一節(jié)。下一步Duix.Avatar 把形象克隆、聲音克隆和口播視頻生成串成了一條本地流水線主要成本是等待鏡像下載。遇到問題先看常見問題仍無解再到項目 Issue 區(qū)或技術(shù)交流群提問?!久赓M下載鏈接】Duix-Avatar Truly open-source AI avatar(digital human) toolkit for offline video generation and digital human cloning.項目地址: https://gitcode.com/GitHub_Trending/he/Duix-Avatar創(chuàng)作聲明:本文部分內(nèi)容由AI輔助生成(AIGC),僅供參考