體積縮小75%、推理更快roberta-base-go_emotions的ONNX與INT8量化版本部署指南【免費(fèi)下載鏈接】roberta-base-go_emotions項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/roberta-base-go_emotionsroberta-base-go_emotions 是一個(gè)基于 RoBERTa-Base 的文本情緒分類模型可在 go_emotions 數(shù)據(jù)集上識(shí)別 28 種人類情緒。本指南面向新手手把手教你部署它的 ONNX 與 INT8 量化版本模型體積縮小 75%、推理速度更快、依賴更輕且?guī)缀醪粨p失精度。 先認(rèn)識(shí)一下這個(gè)情緒分類模型在部署之前花一分鐘了解它是什么、由哪些文件組成能幫你少走彎路。訓(xùn)練基礎(chǔ)由 roberta-base 在 go_emotions 數(shù)據(jù)集源自 Reddit 的真實(shí)評(píng)論數(shù)據(jù)上微調(diào)而來(lái)任務(wù)類型多標(biāo)簽文本分類 —— 一段話可以同時(shí)帶有多種情緒輸出結(jié)果對(duì) 28 種情緒各輸出一個(gè) 0~1 的概率值通常用 0.5 作為閾值判斷是否命中28 種情緒標(biāo)簽包括admiration欽佩、amusement逗樂(lè)、anger憤怒、annoyance煩躁、approval贊同、caring關(guān)心、confusion困惑、curiosity好奇、desire渴望、disappointment失望、disapproval不認(rèn)可、disgust厭惡、embarrassment尷尬、excitement興奮、fear恐懼、gratitude感激、grief悲傷、joy喜悅、love愛(ài)、nervousness緊張、optimism樂(lè)觀、pride自豪、realization領(lǐng)悟、relief釋然、remorse懊悔、sadness難過(guò)、surprise驚訝、neutral中性。這些標(biāo)簽定義可查看 config.json。倉(cāng)庫(kù)文件一覽文件作用config.json模型結(jié)構(gòu)配置12 層 Transformer、隱藏層 768、28 個(gè)情緒標(biāo)簽映射tokenizer.json / vocab.json / merges.txt分詞器三件套負(fù)責(zé)把文本切成模型能讀的詞元special_tokens_map.json / tokenizer_config.json特殊符號(hào)與分詞參數(shù)最大長(zhǎng)度 512model.safetensors / pytorch_model.binPyTorch 原始權(quán)重float32 精度trainer_state.json訓(xùn)練日志共訓(xùn)練 3 個(gè) epoch最終評(píng)估 F1 約 0.586README.md官方說(shuō)明數(shù)據(jù)集介紹、評(píng)估指標(biāo)與使用方法 小知識(shí)從 trainer_state.json 可以看到模型第 1~3 輪的評(píng)估 F1 從 0.535 穩(wěn)步提升到 0.586說(shuō)明訓(xùn)練充分、效果穩(wěn)定。? 為什么要用 ONNX 與 INT8 量化版本直接使用 PyTorch 原始權(quán)重當(dāng)然沒(méi)問(wèn)題但官方同時(shí)提供了ONNX 格式版本包含INT8 量化 ONNX 版本對(duì)生產(chǎn)部署來(lái)說(shuō)優(yōu)勢(shì)非常明顯推理更快—— 尤其是小批量比如一次只判斷一兩句話的場(chǎng)景加速效果最明顯體積暴降 75%—— INT8 量化把權(quán)重從 32 位浮點(diǎn)壓縮到 8 位整數(shù)下載、存儲(chǔ)、加載成本大幅降低依賴大幅精簡(jiǎn)—— 只需安裝 onnxruntime 一個(gè)推理引擎不必拖上整個(gè) PyTorch跨平臺(tái)能力強(qiáng)—— 同一份 ONNX 模型可以在 CPU、GPU、NPU 甚至移動(dòng)端上運(yùn)行三個(gè)版本怎么選版本文件體積推理速度精度表現(xiàn)適用場(chǎng)景PyTorch 原版大float32基準(zhǔn)完整需要繼續(xù)訓(xùn)練、做實(shí)驗(yàn)ONNX 版與原版相當(dāng)更快基本無(wú)損追求速度、跨平臺(tái)部署INT8 量化 ONNX 版縮小 75%最快幾乎無(wú)損邊緣設(shè)備、高并發(fā)、帶寬受限一句話原則只做推理 → 選 ONNX追求極致體積與速度 → 選 INT8 量化版還要訓(xùn)練 → 留 PyTorch 原版。 ONNX 量化版本一鍵部署步驟第一步獲取項(xiàng)目文件git clone https://gitcode.com/hf_mirrors/ai-gitcode/roberta-base-go_emotions第二步安裝輕量級(jí)推理環(huán)境ONNX 路線只需要一個(gè)推理引擎pip install onnxruntime不需要安裝 PyTorch這一步就能少下載好幾個(gè) GB 的依賴。第三步加載模型并運(yùn)行推理import onnxruntime as ort from transformers import AutoTokenizer # 加載分詞器本倉(cāng)庫(kù)自帶 tokenizer AutoTokenizer.from_pretrained(roberta-base-go_emotions) # 加載 INT8 量化的 ONNX 模型換成 onnx 版文件名同理 session ort.InferenceSession(model_int8.onnx) text [今天真是糟糕的一天] inputs tokenizer(text, paddingTrue, truncationTrue, max_length512, return_tensorsnp) outputs session.run(None, { input_ids: inputs[input_ids], attention_mask: inputs[attention_mask], token_type_ids: inputs.get(token_type_ids, np.zeros_like(inputs[input_ids], dtypeint64)), }) # 28 個(gè)概率值按 0.5 閾值篩出命中的情緒 prob outputs[0][0] labels [admiration,amusement,anger,annoyance,approval,caring, confusion,curiosity,desire,disappointment,disapproval, disgust,embarrassment,excitement,fear,gratitude,grief, joy,love,nervousness,optimism,pride,realization, relief,remorse,sadness,surprise,neutral] print([l for l, p in zip(labels, prob) if p 0.5])三步完成整個(gè)推理鏈路不依賴 PyTorch部署到服務(wù)器、容器或邊緣盒子都很輕量。? 常見(jiàn)部署問(wèn)題 FAQQ1INT8 量化后精度掉多少官方說(shuō)明量化版本保留了幾乎全部的精度almost all the accuracy。對(duì)只用于推理的場(chǎng)景這個(gè)損失通?？梢院雎匀绻麡I(yè)務(wù)對(duì)個(gè)別情緒標(biāo)簽極其敏感建議先跑一遍 ONNX 未量化版做基線對(duì)比。Q2一次能輸入多長(zhǎng)的文本分詞器最大長(zhǎng)度為 512 個(gè)詞元見(jiàn) tokenizer_config.json 中的 model_max_length。超長(zhǎng)文本建議先截?cái)嗷蚍侄翁幚怼30.5 閾值可以調(diào)嗎可以。README.md 的評(píng)估章節(jié)顯示為每個(gè)標(biāo)簽單獨(dú)優(yōu)化閾值后整體 F1 可從 0.450 提升到 0.541。如果你的業(yè)務(wù)只關(guān)心抓得全高召回可以把閾值調(diào)低一些。Q4小批量和大批量場(chǎng)景下加速一樣嗎不一樣。ONNX 版在小批量1~16 條時(shí)加速最明顯大批量時(shí) PyTorch 的批處理優(yōu)勢(shì)也能發(fā)揮但 ONNX 版依然不吃虧且部署依賴更干凈。 總結(jié)roberta-base-go_emotions 用 28 個(gè)概率值描述一段文本的情緒是做多標(biāo)簽情緒識(shí)別的現(xiàn)成方案只做推理時(shí)優(yōu)先部署ONNX 版本更快、依賴更少、跨平臺(tái)追求極致體積與速度時(shí)上INT8 量化版模型文件縮小 75%精度幾乎無(wú)損需要繼續(xù)訓(xùn)練或?qū)嶒?yàn)再使用倉(cāng)庫(kù)中的 PyTorch 原始權(quán)重按選版本 → 裝 onnxruntime → 三步推理的路線走新手也能在幾分鐘內(nèi)把這個(gè)情緒分類模型跑起來(lái)。【免費(fèi)下載鏈接】roberta-base-go_emotions項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/roberta-base-go_emotions創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 體積縮小75%、推理更快：roberta-base-go_emotions的ONNX與INT8量化版本部署指南
體積縮小75%、推理更快roberta-base-go_emotions的ONNX與INT8量化版本部署指南【免費(fèi)下載鏈接】roberta-base-go_emotions項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/roberta-base-go_emotionsroberta-base-go_emotions 是一個(gè)基于 RoBERTa-Base 的文本情緒分類模型可在 go_emotions 數(shù)據(jù)集上識(shí)別 28 種人類情緒。本指南面向新手手把手教你部署它的 ONNX 與 INT8 量化版本模型體積縮小 75%、推理速度更快、依賴更輕且?guī)缀醪粨p失精度。 先認(rèn)識(shí)一下這個(gè)情緒分類模型在部署之前花一分鐘了解它是什么、由哪些文件組成能幫你少走彎路。訓(xùn)練基礎(chǔ)由 roberta-base 在 go_emotions 數(shù)據(jù)集源自 Reddit 的真實(shí)評(píng)論數(shù)據(jù)上微調(diào)而來(lái)任務(wù)類型多標(biāo)簽文本分類 —— 一段話可以同時(shí)帶有多種情緒輸出結(jié)果對(duì) 28 種情緒各輸出一個(gè) 0~1 的概率值通常用 0.5 作為閾值判斷是否命中28 種情緒標(biāo)簽包括admiration欽佩、amusement逗樂(lè)、anger憤怒、annoyance煩躁、approval贊同、caring關(guān)心、confusion困惑、curiosity好奇、desire渴望、disappointment失望、disapproval不認(rèn)可、disgust厭惡、embarrassment尷尬、excitement興奮、fear恐懼、gratitude感激、grief悲傷、joy喜悅、love愛(ài)、nervousness緊張、optimism樂(lè)觀、pride自豪、realization領(lǐng)悟、relief釋然、remorse懊悔、sadness難過(guò)、surprise驚訝、neutral中性。這些標(biāo)簽定義可查看 config.json。倉(cāng)庫(kù)文件一覽文件作用config.json模型結(jié)構(gòu)配置12 層 Transformer、隱藏層 768、28 個(gè)情緒標(biāo)簽映射tokenizer.json / vocab.json / merges.txt分詞器三件套負(fù)責(zé)把文本切成模型能讀的詞元special_tokens_map.json / tokenizer_config.json特殊符號(hào)與分詞參數(shù)最大長(zhǎng)度 512model.safetensors / pytorch_model.binPyTorch 原始權(quán)重float32 精度trainer_state.json訓(xùn)練日志共訓(xùn)練 3 個(gè) epoch最終評(píng)估 F1 約 0.586README.md官方說(shuō)明數(shù)據(jù)集介紹、評(píng)估指標(biāo)與使用方法 小知識(shí)從 trainer_state.json 可以看到模型第 1~3 輪的評(píng)估 F1 從 0.535 穩(wěn)步提升到 0.586說(shuō)明訓(xùn)練充分、效果穩(wěn)定。? 為什么要用 ONNX 與 INT8 量化版本直接使用 PyTorch 原始權(quán)重當(dāng)然沒(méi)問(wèn)題但官方同時(shí)提供了ONNX 格式版本包含INT8 量化 ONNX 版本對(duì)生產(chǎn)部署來(lái)說(shuō)優(yōu)勢(shì)非常明顯推理更快—— 尤其是小批量比如一次只判斷一兩句話的場(chǎng)景加速效果最明顯體積暴降 75%—— INT8 量化把權(quán)重從 32 位浮點(diǎn)壓縮到 8 位整數(shù)下載、存儲(chǔ)、加載成本大幅降低依賴大幅精簡(jiǎn)—— 只需安裝 onnxruntime 一個(gè)推理引擎不必拖上整個(gè) PyTorch跨平臺(tái)能力強(qiáng)—— 同一份 ONNX 模型可以在 CPU、GPU、NPU 甚至移動(dòng)端上運(yùn)行三個(gè)版本怎么選版本文件體積推理速度精度表現(xiàn)適用場(chǎng)景PyTorch 原版大float32基準(zhǔn)完整需要繼續(xù)訓(xùn)練、做實(shí)驗(yàn)ONNX 版與原版相當(dāng)更快基本無(wú)損追求速度、跨平臺(tái)部署INT8 量化 ONNX 版縮小 75%最快幾乎無(wú)損邊緣設(shè)備、高并發(fā)、帶寬受限一句話原則只做推理 → 選 ONNX追求極致體積與速度 → 選 INT8 量化版還要訓(xùn)練 → 留 PyTorch 原版。 ONNX 量化版本一鍵部署步驟第一步獲取項(xiàng)目文件git clone https://gitcode.com/hf_mirrors/ai-gitcode/roberta-base-go_emotions第二步安裝輕量級(jí)推理環(huán)境ONNX 路線只需要一個(gè)推理引擎pip install onnxruntime不需要安裝 PyTorch這一步就能少下載好幾個(gè) GB 的依賴。第三步加載模型并運(yùn)行推理import onnxruntime as ort from transformers import AutoTokenizer # 加載分詞器本倉(cāng)庫(kù)自帶 tokenizer AutoTokenizer.from_pretrained(roberta-base-go_emotions) # 加載 INT8 量化的 ONNX 模型換成 onnx 版文件名同理 session ort.InferenceSession(model_int8.onnx) text [今天真是糟糕的一天] inputs tokenizer(text, paddingTrue, truncationTrue, max_length512, return_tensorsnp) outputs session.run(None, { input_ids: inputs[input_ids], attention_mask: inputs[attention_mask], token_type_ids: inputs.get(token_type_ids, np.zeros_like(inputs[input_ids], dtypeint64)), }) # 28 個(gè)概率值按 0.5 閾值篩出命中的情緒 prob outputs[0][0] labels [admiration,amusement,anger,annoyance,approval,caring, confusion,curiosity,desire,disappointment,disapproval, disgust,embarrassment,excitement,fear,gratitude,grief, joy,love,nervousness,optimism,pride,realization, relief,remorse,sadness,surprise,neutral] print([l for l, p in zip(labels, prob) if p 0.5])三步完成整個(gè)推理鏈路不依賴 PyTorch部署到服務(wù)器、容器或邊緣盒子都很輕量。? 常見(jiàn)部署問(wèn)題 FAQQ1INT8 量化后精度掉多少官方說(shuō)明量化版本保留了幾乎全部的精度almost all the accuracy。對(duì)只用于推理的場(chǎng)景這個(gè)損失通?？梢院雎匀绻麡I(yè)務(wù)對(duì)個(gè)別情緒標(biāo)簽極其敏感建議先跑一遍 ONNX 未量化版做基線對(duì)比。Q2一次能輸入多長(zhǎng)的文本分詞器最大長(zhǎng)度為 512 個(gè)詞元見(jiàn) tokenizer_config.json 中的 model_max_length。超長(zhǎng)文本建議先截?cái)嗷蚍侄翁幚怼30.5 閾值可以調(diào)嗎可以。README.md 的評(píng)估章節(jié)顯示為每個(gè)標(biāo)簽單獨(dú)優(yōu)化閾值后整體 F1 可從 0.450 提升到 0.541。如果你的業(yè)務(wù)只關(guān)心抓得全高召回可以把閾值調(diào)低一些。Q4小批量和大批量場(chǎng)景下加速一樣嗎不一樣。ONNX 版在小批量1~16 條時(shí)加速最明顯大批量時(shí) PyTorch 的批處理優(yōu)勢(shì)也能發(fā)揮但 ONNX 版依然不吃虧且部署依賴更干凈。 總結(jié)roberta-base-go_emotions 用 28 個(gè)概率值描述一段文本的情緒是做多標(biāo)簽情緒識(shí)別的現(xiàn)成方案只做推理時(shí)優(yōu)先部署ONNX 版本更快、依賴更少、跨平臺(tái)追求極致體積與速度時(shí)上INT8 量化版模型文件縮小 75%精度幾乎無(wú)損需要繼續(xù)訓(xùn)練或?qū)嶒?yàn)再使用倉(cāng)庫(kù)中的 PyTorch 原始權(quán)重按選版本 → 裝 onnxruntime → 三步推理的路線走新手也能在幾分鐘內(nèi)把這個(gè)情緒分類模型跑起來(lái)。【免費(fèi)下載鏈接】roberta-base-go_emotions項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/roberta-base-go_emotions創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考