戰(zhàn)指南：基于參考音頻與 Index-TTS 工作流的完整配置){kind=tracking}
Pixelle-Video 聲音克隆實(shí)戰(zhàn)指南基于參考音頻與 Index-TTS 工作流的完整配置【免費(fèi)下載鏈接】Pixelle-Video AI 全自動(dòng)短視頻引擎 | AI Fully Automated Short Video Engine項(xiàng)目地址: https://gitcode.com/GitHub_Trending/pi/Pixelle-Video聲音克隆Voice Cloning是 Pixelle-Video 中讓短視頻配音擁有專屬音色的核心能力只需一段 1030 秒的參考音頻即可讓 TTS 合成語(yǔ)音在音色、語(yǔ)氣上貼近參考人聲。本文圍繞 docs/zh/tutorials/voice-cloning.md 的完整使用流程結(jié)合倉(cāng)庫(kù)中 TTS 服務(wù)源碼、ComfyUI 工作流定義與 REST API 實(shí)現(xiàn)講解參考音頻的準(zhǔn)備規(guī)范、啟用聲音克隆的配置與操作步驟、不同 TTS 工作流的克隆能力差異以及常見(jiàn)坑位的排查思路。讀完本文你將能獨(dú)立完成準(zhǔn)備參考音頻 → 選擇克隆工作流 → 預(yù)覽效果 → 生成帶專屬音色的視頻的完整鏈路。一、聲音克隆在 Pixelle-Video 中的定位Pixelle-Video 是一套 AI 全自動(dòng)短視頻引擎TTS語(yǔ)音合成是其生成口播、旁白的關(guān)鍵環(huán)節(jié)。聲音克隆屬于 TTS 能力的一個(gè)進(jìn)階分支不是在所有 TTS 工作流上都可用而是依賴底層工作流是否內(nèi)置參考音頻reference audio輸入節(jié)點(diǎn)。從 TTSService 的源碼可以看到語(yǔ)音合成統(tǒng)一走pixelle_video.tts(text..., workflow..., ref_audio...)這一入口它支持兩種推理模式local 模式調(diào)用本地 Edge TTS免 API Key但不支持聲音克隆comfyui 模式將text、voice、speed以及ref_audio等參數(shù)注入指定工作流執(zhí)行聲音克隆正是通過(guò)給工作流傳入?yún)⒖家纛l實(shí)現(xiàn)。因此在動(dòng)手之前務(wù)必先確認(rèn)你選擇的 TTS 工作流是否包含參考音頻輸入否則克隆不會(huì)生效。二、準(zhǔn)備參考音頻格式、時(shí)長(zhǎng)與音質(zhì)要求根據(jù)原文檔參考音頻需滿足以下三個(gè)基本條件文件格式MP3 / WAV / FLAC 均可推薦使用 WAV無(wú)損、兼容性最好建議時(shí)長(zhǎng)1030 秒音質(zhì)要求避免背景噪音人聲清晰。從工作流定義可以印證參考音頻的載體形態(tài)selfhost/tts_index2.json 中使用VHS_LoadAudioUpload節(jié)點(diǎn)加載參考音頻reference_audio該節(jié)點(diǎn)支持上傳音頻文件并指定start_time與duration0 表示讀取完整文件。這意味著參考音頻可以是本地文件路徑也可以是上傳后返回的路徑見(jiàn)下文 API 一節(jié)若參考音頻較長(zhǎng)可在工作流節(jié)點(diǎn)中通過(guò)start_time/duration截取最干凈的人聲片段用于克隆。實(shí)操建議結(jié)合源碼邏輯錄制或剪輯時(shí)盡量保證單一人聲、無(wú)背景音樂(lè)、無(wú)回聲長(zhǎng)度落在 1030 秒?yún)^(qū)間過(guò)短會(huì)導(dǎo)致音色特征提取不充分過(guò)長(zhǎng)則引入多余噪聲。參考音頻的路徑需要在后續(xù)步驟中提供給工作流建議將音頻文件放在項(xiàng)目可訪問(wèn)的路徑下并記錄好相對(duì)路徑。三、啟用聲音克隆的完整步驟原文檔給出了四步操作流程下面逐一步驟結(jié)合界面與配置展開(kāi)步驟 1在語(yǔ)音設(shè)置中選擇支持聲音克隆的 TTS 工作流如 Index-TTSPixelle-Video 的 TTS 工作流按運(yùn)行環(huán)境分為兩類目錄workflows/runninghub/云端 RunningHub 工作流需在 config.example.yaml 中配置runninghub_api_keyworkflows/selfhost/本地 ComfyUI 工作流需在 config.example.yaml 中配置comfyui_url默認(rèn)http://127.0.0.1:8188。倉(cāng)庫(kù)內(nèi)置的 TTS 工作流包括工作流文件運(yùn)行環(huán)境是否支持聲音克隆runninghub/tts_index2.jsonRunningHub? 支持Index-TTSselfhost/tts_index2.json本地 ComfyUI? 支持Index-TTSrunninghub/tts_edge.jsonRunningHub? 不支持runninghub/tts_spark.jsonRunningHub取決于云端工作流節(jié)點(diǎn)selfhost/tts_edge.json本地 ComfyUI? 不支持其中 selfhost/tts_index2.json 的IndexTTS2BaseNode節(jié)點(diǎn)包含reference_audio輸入正是聲音克隆能力的實(shí)現(xiàn)載體而 selfhost/tts_edge.json 的EdgeTTS節(jié)點(diǎn)只有text、voice、speed、pitch輸入不含參考音頻節(jié)點(diǎn)因此不支持克隆。默認(rèn)工作流通過(guò)配置文件指定config.example.yaml 中comfyui: tts: default_workflow: selfhost/tts_edge.json # TTS workflow to use需要啟用聲音克隆時(shí)應(yīng)將默認(rèn)工作流改為selfhost/tts_index2.json本地或runninghub/tts_index2.json云端或在調(diào)用時(shí)顯式傳入workflow參數(shù)。步驟 2上傳參考音頻文件參考音頻通過(guò) TTS 請(qǐng)求中的ref_audio字段傳入。在 REST API 層TTSSynthesizeRequest 定義了該字段ref_audio: Optional[str] Field( None, descriptionReference audio path for voice cloning (optional). Can be a local file path or URL. )即ref_audio支持本地文件路徑或URL兩種形式由 tts.py 原樣透?jìng)鹘o TTS 服務(wù)最終注入工作流的reference_audio節(jié)點(diǎn)。若通過(guò) Web UI 操作對(duì)應(yīng)上傳參考音頻文件的交互若通過(guò) API 調(diào)用則直接指定音頻路徑見(jiàn)下文第四節(jié)的完整請(qǐng)求示例。步驟 3使用「預(yù)覽語(yǔ)音」測(cè)試效果合成前先用預(yù)覽功能驗(yàn)證克隆效果。在 tts.py 的POST /tts/synthesize接口中合成成功后會(huì)自動(dòng)調(diào)用 get_audio_duration 返回音頻時(shí)長(zhǎng){ success: true, message: Success, audio_path: output/xxxx.mp3, duration: 12.34 }預(yù)覽的核心價(jià)值在于快速驗(yàn)證參考音頻是否被正確識(shí)別、克隆音色是否符合預(yù)期而無(wú)需等待完整視頻渲染。若預(yù)覽音色偏差較大應(yīng)回到步驟 2 更換或重錄參考音頻。步驟 4生成視頻確認(rèn)預(yù)覽效果后即可在視頻生成流程中復(fù)用該 TTS 工作流與參考音頻讓最終成片使用克隆音色。至此參考音頻 → 克隆音色 → 視頻配音的鏈路閉環(huán)。四、通過(guò) REST API 使用聲音克隆源碼級(jí)示例除了 Web UIPixelle-Video 提供完整的 REST API。啟用聲音克隆的請(qǐng)求示例如下對(duì)應(yīng) tts.py 中給出的官方示例{ text: Hello, this is a cloned voice, workflow: runninghub/tts_index2.json, ref_audio: path/to/reference.wav }請(qǐng)求字段說(shuō)明字段類型必填說(shuō)明textstring?要合成的文本workflowstring可選TTS 工作流 key如runninghub/tts_index2.json缺省時(shí)使用配置文件中的default_workflowref_audiostring可選聲音克隆參考音頻路徑本地路徑或 URLvoice_idstring可選已廢棄deprecated建議改用workflow指定需要注意的兩點(diǎn)來(lái)自 tts.py 的兼容邏輯voice_id僅在未指定workflow時(shí)才會(huì)被當(dāng)作voice參數(shù)使用且會(huì)輸出 deprecation 警告新代碼不應(yīng)依賴它ref_audio只在workflow本身支持參考音頻節(jié)點(diǎn)時(shí)才會(huì)生效——若給tts_edge.json傳ref_audio該參數(shù)會(huì)被透?jìng)鞯?Edge 工作流中沒(méi)有對(duì)應(yīng)節(jié)點(diǎn)消費(fèi)它克隆不會(huì)發(fā)生。響應(yīng)體TTSSynthesizeResponse見(jiàn) api/schemas/tts.py返回合成音頻路徑與時(shí)長(zhǎng)可用于后續(xù)視頻合成流程。五、工作流層面的實(shí)現(xiàn)原理參考音頻如何驅(qū)動(dòng)克隆聲音克隆能否生效取決于工作流圖中是否存在參考音頻 → 合成模型的連線。以 selfhost/tts_index2.json 為例其關(guān)鍵結(jié)構(gòu)為{ 5: { inputs: { text: [3, 0], mode: Auto, temperature: 0.8, top_p: 0.9, top_k: 30, num_beams: 3, repetition_penalty: 10, max_mel_tokens: 1815, max_tokens_per_sentence: 120, reference_audio: [12, 0] }, class_type: IndexTTS2BaseNode }, 12: { inputs: { audio: 小裴錢(qián).wav, start_time: 0, duration: 0 }, class_type: VHS_LoadAudioUpload } }要點(diǎn)拆解IndexTTS2BaseNodeIndex-TTS 系列模型的工作流入口節(jié)點(diǎn)其reference_audio輸入即音色參考VHS_LoadAudioUpload負(fù)責(zé)加載上傳的音頻文件可通過(guò)start_time/duration截取片段audio字段在 tts_service.py 中會(huì)被請(qǐng)求參數(shù)覆蓋即你傳入的ref_audio路徑會(huì)替換這里的默認(rèn)值SaveAudioMP3將合成結(jié)果保存為 MP3filename_prefix為audio/ComfyUI。在服務(wù)層TTSService.call會(huì)根據(jù)推理模式路由local 模式直接調(diào)用 Edge TTSedge_tts含 5 次指數(shù)退避重試與并發(fā)限流comfyui 模式則調(diào)用 ComfyBaseService._resolve_workflow 解析工作流再通過(guò)共享 ComfyKit 實(shí)例執(zhí)行并解析返回的音頻文件tts_service.py 依次檢查result.audios、result.files、result.outputs中的音頻擴(kuò)展名。若工作流返回的是 URL 且指定了output_path服務(wù)會(huì)自動(dòng)下載到本地。六、注意事項(xiàng)與常見(jiàn)坑位原文檔明確指出三點(diǎn)限制結(jié)合源碼可進(jìn)一步給出排查建議不是所有 TTS 工作流都支持聲音克隆判斷標(biāo)準(zhǔn)是工作流是否包含參考音頻輸入節(jié)點(diǎn)。Edge 系列工作流runninghub/tts_edge.json、selfhost/tts_edge.json的節(jié)點(diǎn)只有text/voice/speed/pitch不支持克隆Index-TTS 系列tts_index2.json支持。選擇工作流前可先打開(kāi)對(duì)應(yīng) JSON 檢查是否存在reference_audio輸入。參考音頻質(zhì)量會(huì)影響克隆效果背景噪音、多說(shuō)話人混音、壓縮過(guò)度的低碼率音頻都會(huì)污染音色特征提取。建議使用 1030 秒、單一人聲、無(wú)背景音樂(lè)的高質(zhì)量片段必要時(shí)用start_time/duration截取最干凈的段落。Edge-TTS 不支持聲音克隆在 pixelle_video/utils/tts_util.py 的本地 Edge TTS 實(shí)現(xiàn)中參數(shù)僅有voice音色 ID、rate、volume、pitch其音色由微軟云端預(yù)置角色決定無(wú)法通過(guò)參考音頻自定義。本地模式inference_modelocal同樣無(wú)法克隆。其他實(shí)操提醒本地 ComfyUI 模式運(yùn)行tts_index2.json前需確認(rèn) ComfyUI 已安裝 Index-TTS 相關(guān)自定義節(jié)點(diǎn)IndexTTS2BaseNode、VHS_LoadAudioUpload、SaveAudioMP3等否則工作流執(zhí)行會(huì)失敗RunningHub 云端模式無(wú)需本地節(jié)點(diǎn)但需在配置中填入有效的runninghub_api_key并注意 config.example.yaml 中runninghub_concurrent_limit默認(rèn) 1的并發(fā)限制合成失敗時(shí)可查看服務(wù)日志本地模式關(guān)注 Edge TTS 的 401/NoAudioReceived 重試信息工作流模式關(guān)注 tts_service.py 打印的result.audios / result.files / result.outputs診斷信息據(jù)此判斷是工作流節(jié)點(diǎn)缺失還是音頻解析失敗。七、小結(jié)聲音克隆在 Pixelle-Video 中的完整鏈路可概括為準(zhǔn)備1030 秒、無(wú)噪、單人聲的 MP3/WAV/FLAC 參考音頻選型在語(yǔ)音設(shè)置或 API 中指定支持克隆的 TTS 工作流如tts_index2.jsonEdge-TTS 與本地模式不支持克隆注入通過(guò)ref_audio字段傳入?yún)⒖家纛l路徑本地或 URL工作流的reference_audio節(jié)點(diǎn)消費(fèi)該輸入驗(yàn)證用「預(yù)覽語(yǔ)音」/POST /tts/synthesize檢查合成音頻的audio_path與duration確認(rèn)音色符合預(yù)期成片在視頻生成流程中復(fù)用該工作流與參考音頻產(chǎn)出帶專屬音色的短視頻。如需進(jìn)一步了解 TTS 工作流的配置項(xiàng)default_workflow、runninghub_api_key、comfyui_url等可查閱 config.example.yaml 與 docs/zh/getting-started/configuration.md更完整的聲音克隆進(jìn)階教程多說(shuō)話人、情感控制等已在規(guī)劃中可先基于本倉(cāng)庫(kù)的 Index-TTS 工作流自行探索采樣參數(shù)temperature、top_p、num_beams等對(duì)克隆音色的影響?！久赓M(fèi)下載鏈接】Pixelle-Video AI 全自動(dòng)短視頻引擎 | AI Fully Automated Short Video Engine項(xiàng)目地址: https://gitcode.com/GitHub_Trending/pi/Pixelle-Video創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Pixelle-Video 聲音克隆實(shí)戰(zhàn)指南：基于參考音頻與 Index-TTS 工作流的完整配置
Pixelle-Video 聲音克隆實(shí)戰(zhàn)指南基于參考音頻與 Index-TTS 工作流的完整配置【免費(fèi)下載鏈接】Pixelle-Video AI 全自動(dòng)短視頻引擎 | AI Fully Automated Short Video Engine項(xiàng)目地址: https://gitcode.com/GitHub_Trending/pi/Pixelle-Video聲音克隆Voice Cloning是 Pixelle-Video 中讓短視頻配音擁有專屬音色的核心能力只需一段 1030 秒的參考音頻即可讓 TTS 合成語(yǔ)音在音色、語(yǔ)氣上貼近參考人聲。本文圍繞 docs/zh/tutorials/voice-cloning.md 的完整使用流程結(jié)合倉(cāng)庫(kù)中 TTS 服務(wù)源碼、ComfyUI 工作流定義與 REST API 實(shí)現(xiàn)講解參考音頻的準(zhǔn)備規(guī)范、啟用聲音克隆的配置與操作步驟、不同 TTS 工作流的克隆能力差異以及常見(jiàn)坑位的排查思路。讀完本文你將能獨(dú)立完成準(zhǔn)備參考音頻 → 選擇克隆工作流 → 預(yù)覽效果 → 生成帶專屬音色的視頻的完整鏈路。一、聲音克隆在 Pixelle-Video 中的定位Pixelle-Video 是一套 AI 全自動(dòng)短視頻引擎TTS語(yǔ)音合成是其生成口播、旁白的關(guān)鍵環(huán)節(jié)。聲音克隆屬于 TTS 能力的一個(gè)進(jìn)階分支不是在所有 TTS 工作流上都可用而是依賴底層工作流是否內(nèi)置參考音頻reference audio輸入節(jié)點(diǎn)。從 TTSService 的源碼可以看到語(yǔ)音合成統(tǒng)一走pixelle_video.tts(text..., workflow..., ref_audio...)這一入口它支持兩種推理模式local 模式調(diào)用本地 Edge TTS免 API Key但不支持聲音克隆comfyui 模式將text、voice、speed以及ref_audio等參數(shù)注入指定工作流執(zhí)行聲音克隆正是通過(guò)給工作流傳入?yún)⒖家纛l實(shí)現(xiàn)。因此在動(dòng)手之前務(wù)必先確認(rèn)你選擇的 TTS 工作流是否包含參考音頻輸入否則克隆不會(huì)生效。二、準(zhǔn)備參考音頻格式、時(shí)長(zhǎng)與音質(zhì)要求根據(jù)原文檔參考音頻需滿足以下三個(gè)基本條件文件格式MP3 / WAV / FLAC 均可推薦使用 WAV無(wú)損、兼容性最好建議時(shí)長(zhǎng)1030 秒音質(zhì)要求避免背景噪音人聲清晰。從工作流定義可以印證參考音頻的載體形態(tài)selfhost/tts_index2.json 中使用VHS_LoadAudioUpload節(jié)點(diǎn)加載參考音頻reference_audio該節(jié)點(diǎn)支持上傳音頻文件并指定start_time與duration0 表示讀取完整文件。這意味著參考音頻可以是本地文件路徑也可以是上傳后返回的路徑見(jiàn)下文 API 一節(jié)若參考音頻較長(zhǎng)可在工作流節(jié)點(diǎn)中通過(guò)start_time/duration截取最干凈的人聲片段用于克隆。實(shí)操建議結(jié)合源碼邏輯錄制或剪輯時(shí)盡量保證單一人聲、無(wú)背景音樂(lè)、無(wú)回聲長(zhǎng)度落在 1030 秒?yún)^(qū)間過(guò)短會(huì)導(dǎo)致音色特征提取不充分過(guò)長(zhǎng)則引入多余噪聲。參考音頻的路徑需要在后續(xù)步驟中提供給工作流建議將音頻文件放在項(xiàng)目可訪問(wèn)的路徑下并記錄好相對(duì)路徑。三、啟用聲音克隆的完整步驟原文檔給出了四步操作流程下面逐一步驟結(jié)合界面與配置展開(kāi)步驟 1在語(yǔ)音設(shè)置中選擇支持聲音克隆的 TTS 工作流如 Index-TTSPixelle-Video 的 TTS 工作流按運(yùn)行環(huán)境分為兩類目錄workflows/runninghub/云端 RunningHub 工作流需在 config.example.yaml 中配置runninghub_api_keyworkflows/selfhost/本地 ComfyUI 工作流需在 config.example.yaml 中配置comfyui_url默認(rèn)http://127.0.0.1:8188。倉(cāng)庫(kù)內(nèi)置的 TTS 工作流包括工作流文件運(yùn)行環(huán)境是否支持聲音克隆runninghub/tts_index2.jsonRunningHub? 支持Index-TTSselfhost/tts_index2.json本地 ComfyUI? 支持Index-TTSrunninghub/tts_edge.jsonRunningHub? 不支持runninghub/tts_spark.jsonRunningHub取決于云端工作流節(jié)點(diǎn)selfhost/tts_edge.json本地 ComfyUI? 不支持其中 selfhost/tts_index2.json 的IndexTTS2BaseNode節(jié)點(diǎn)包含reference_audio輸入正是聲音克隆能力的實(shí)現(xiàn)載體而 selfhost/tts_edge.json 的EdgeTTS節(jié)點(diǎn)只有text、voice、speed、pitch輸入不含參考音頻節(jié)點(diǎn)因此不支持克隆。默認(rèn)工作流通過(guò)配置文件指定config.example.yaml 中comfyui: tts: default_workflow: selfhost/tts_edge.json # TTS workflow to use需要啟用聲音克隆時(shí)應(yīng)將默認(rèn)工作流改為selfhost/tts_index2.json本地或runninghub/tts_index2.json云端或在調(diào)用時(shí)顯式傳入workflow參數(shù)。步驟 2上傳參考音頻文件參考音頻通過(guò) TTS 請(qǐng)求中的ref_audio字段傳入。在 REST API 層TTSSynthesizeRequest 定義了該字段ref_audio: Optional[str] Field( None, descriptionReference audio path for voice cloning (optional). Can be a local file path or URL. )即ref_audio支持本地文件路徑或URL兩種形式由 tts.py 原樣透?jìng)鹘o TTS 服務(wù)最終注入工作流的reference_audio節(jié)點(diǎn)。若通過(guò) Web UI 操作對(duì)應(yīng)上傳參考音頻文件的交互若通過(guò) API 調(diào)用則直接指定音頻路徑見(jiàn)下文第四節(jié)的完整請(qǐng)求示例。步驟 3使用「預(yù)覽語(yǔ)音」測(cè)試效果合成前先用預(yù)覽功能驗(yàn)證克隆效果。在 tts.py 的POST /tts/synthesize接口中合成成功后會(huì)自動(dòng)調(diào)用 get_audio_duration 返回音頻時(shí)長(zhǎng){ success: true, message: Success, audio_path: output/xxxx.mp3, duration: 12.34 }預(yù)覽的核心價(jià)值在于快速驗(yàn)證參考音頻是否被正確識(shí)別、克隆音色是否符合預(yù)期而無(wú)需等待完整視頻渲染。若預(yù)覽音色偏差較大應(yīng)回到步驟 2 更換或重錄參考音頻。步驟 4生成視頻確認(rèn)預(yù)覽效果后即可在視頻生成流程中復(fù)用該 TTS 工作流與參考音頻讓最終成片使用克隆音色。至此參考音頻 → 克隆音色 → 視頻配音的鏈路閉環(huán)。四、通過(guò) REST API 使用聲音克隆源碼級(jí)示例除了 Web UIPixelle-Video 提供完整的 REST API。啟用聲音克隆的請(qǐng)求示例如下對(duì)應(yīng) tts.py 中給出的官方示例{ text: Hello, this is a cloned voice, workflow: runninghub/tts_index2.json, ref_audio: path/to/reference.wav }請(qǐng)求字段說(shuō)明字段類型必填說(shuō)明textstring?要合成的文本workflowstring可選TTS 工作流 key如runninghub/tts_index2.json缺省時(shí)使用配置文件中的default_workflowref_audiostring可選聲音克隆參考音頻路徑本地路徑或 URLvoice_idstring可選已廢棄deprecated建議改用workflow指定需要注意的兩點(diǎn)來(lái)自 tts.py 的兼容邏輯voice_id僅在未指定workflow時(shí)才會(huì)被當(dāng)作voice參數(shù)使用且會(huì)輸出 deprecation 警告新代碼不應(yīng)依賴它ref_audio只在workflow本身支持參考音頻節(jié)點(diǎn)時(shí)才會(huì)生效——若給tts_edge.json傳ref_audio該參數(shù)會(huì)被透?jìng)鞯?Edge 工作流中沒(méi)有對(duì)應(yīng)節(jié)點(diǎn)消費(fèi)它克隆不會(huì)發(fā)生。響應(yīng)體TTSSynthesizeResponse見(jiàn) api/schemas/tts.py返回合成音頻路徑與時(shí)長(zhǎng)可用于后續(xù)視頻合成流程。五、工作流層面的實(shí)現(xiàn)原理參考音頻如何驅(qū)動(dòng)克隆聲音克隆能否生效取決于工作流圖中是否存在參考音頻 → 合成模型的連線。以 selfhost/tts_index2.json 為例其關(guān)鍵結(jié)構(gòu)為{ 5: { inputs: { text: [3, 0], mode: Auto, temperature: 0.8, top_p: 0.9, top_k: 30, num_beams: 3, repetition_penalty: 10, max_mel_tokens: 1815, max_tokens_per_sentence: 120, reference_audio: [12, 0] }, class_type: IndexTTS2BaseNode }, 12: { inputs: { audio: 小裴錢(qián).wav, start_time: 0, duration: 0 }, class_type: VHS_LoadAudioUpload } }要點(diǎn)拆解IndexTTS2BaseNodeIndex-TTS 系列模型的工作流入口節(jié)點(diǎn)其reference_audio輸入即音色參考VHS_LoadAudioUpload負(fù)責(zé)加載上傳的音頻文件可通過(guò)start_time/duration截取片段audio字段在 tts_service.py 中會(huì)被請(qǐng)求參數(shù)覆蓋即你傳入的ref_audio路徑會(huì)替換這里的默認(rèn)值SaveAudioMP3將合成結(jié)果保存為 MP3filename_prefix為audio/ComfyUI。在服務(wù)層TTSService.call會(huì)根據(jù)推理模式路由local 模式直接調(diào)用 Edge TTSedge_tts含 5 次指數(shù)退避重試與并發(fā)限流comfyui 模式則調(diào)用 ComfyBaseService._resolve_workflow 解析工作流再通過(guò)共享 ComfyKit 實(shí)例執(zhí)行并解析返回的音頻文件tts_service.py 依次檢查result.audios、result.files、result.outputs中的音頻擴(kuò)展名。若工作流返回的是 URL 且指定了output_path服務(wù)會(huì)自動(dòng)下載到本地。六、注意事項(xiàng)與常見(jiàn)坑位原文檔明確指出三點(diǎn)限制結(jié)合源碼可進(jìn)一步給出排查建議不是所有 TTS 工作流都支持聲音克隆判斷標(biāo)準(zhǔn)是工作流是否包含參考音頻輸入節(jié)點(diǎn)。Edge 系列工作流runninghub/tts_edge.json、selfhost/tts_edge.json的節(jié)點(diǎn)只有text/voice/speed/pitch不支持克隆Index-TTS 系列tts_index2.json支持。選擇工作流前可先打開(kāi)對(duì)應(yīng) JSON 檢查是否存在reference_audio輸入。參考音頻質(zhì)量會(huì)影響克隆效果背景噪音、多說(shuō)話人混音、壓縮過(guò)度的低碼率音頻都會(huì)污染音色特征提取。建議使用 1030 秒、單一人聲、無(wú)背景音樂(lè)的高質(zhì)量片段必要時(shí)用start_time/duration截取最干凈的段落。Edge-TTS 不支持聲音克隆在 pixelle_video/utils/tts_util.py 的本地 Edge TTS 實(shí)現(xiàn)中參數(shù)僅有voice音色 ID、rate、volume、pitch其音色由微軟云端預(yù)置角色決定無(wú)法通過(guò)參考音頻自定義。本地模式inference_modelocal同樣無(wú)法克隆。其他實(shí)操提醒本地 ComfyUI 模式運(yùn)行tts_index2.json前需確認(rèn) ComfyUI 已安裝 Index-TTS 相關(guān)自定義節(jié)點(diǎn)IndexTTS2BaseNode、VHS_LoadAudioUpload、SaveAudioMP3等否則工作流執(zhí)行會(huì)失敗RunningHub 云端模式無(wú)需本地節(jié)點(diǎn)但需在配置中填入有效的runninghub_api_key并注意 config.example.yaml 中runninghub_concurrent_limit默認(rèn) 1的并發(fā)限制合成失敗時(shí)可查看服務(wù)日志本地模式關(guān)注 Edge TTS 的 401/NoAudioReceived 重試信息工作流模式關(guān)注 tts_service.py 打印的result.audios / result.files / result.outputs診斷信息據(jù)此判斷是工作流節(jié)點(diǎn)缺失還是音頻解析失敗。七、小結(jié)聲音克隆在 Pixelle-Video 中的完整鏈路可概括為準(zhǔn)備1030 秒、無(wú)噪、單人聲的 MP3/WAV/FLAC 參考音頻選型在語(yǔ)音設(shè)置或 API 中指定支持克隆的 TTS 工作流如tts_index2.jsonEdge-TTS 與本地模式不支持克隆注入通過(guò)ref_audio字段傳入?yún)⒖家纛l路徑本地或 URL工作流的reference_audio節(jié)點(diǎn)消費(fèi)該輸入驗(yàn)證用「預(yù)覽語(yǔ)音」/POST /tts/synthesize檢查合成音頻的audio_path與duration確認(rèn)音色符合預(yù)期成片在視頻生成流程中復(fù)用該工作流與參考音頻產(chǎn)出帶專屬音色的短視頻。如需進(jìn)一步了解 TTS 工作流的配置項(xiàng)default_workflow、runninghub_api_key、comfyui_url等可查閱 config.example.yaml 與 docs/zh/getting-started/configuration.md更完整的聲音克隆進(jìn)階教程多說(shuō)話人、情感控制等已在規(guī)劃中可先基于本倉(cāng)庫(kù)的 Index-TTS 工作流自行探索采樣參數(shù)temperature、top_p、num_beams等對(duì)克隆音色的影響?！久赓M(fèi)下載鏈接】Pixelle-Video AI 全自動(dòng)短視頻引擎 | AI Fully Automated Short Video Engine項(xiàng)目地址: https://gitcode.com/GitHub_Trending/pi/Pixelle-Video創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考