詳解：BitCPM4 三值量化與 MiniCPM4 應(yīng)用生態(tài)實戰(zhàn))
MiniCPM 歷史專題技術(shù)詳解BitCPM4 三值量化與 MiniCPM4 應(yīng)用生態(tài)實戰(zhàn)【免費下載鏈接】MiniCPMMiniCPM4 MiniCPM4.1: Ultra-Efficient LLMs on End Devices, achieving 3 generation speedup on reasoning tasks項目地址: https://gitcode.com/OpenBMB/MiniCPM本文面向希望系統(tǒng)了解 MiniCPM 系列早期模型技術(shù)與應(yīng)用生態(tài)的開發(fā)者主體依據(jù) OpenBMB 開源社區(qū) MiniCPM 倉庫中的歷史專題文檔整理并結(jié)合倉庫源碼、配置與評測數(shù)據(jù)進行了縱深講解。當前主推模型請參閱主 README本文對應(yīng)的英文版本見README-legacy.md。專題定位早期 MiniCPM 模型的附屬說明MiniCPM 倉庫在持續(xù)演進過程中將早期模型的說明沉淀為獨立的歷史專題文檔。該專題包含兩大板塊BitCPM4 模型量化基于 MiniCPM 系列模型經(jīng)量化感知訓(xùn)練QAT得到的三值量化模型聚焦訓(xùn)練效率與模型參數(shù)效率的聯(lián)合優(yōu)化MiniCPM4 應(yīng)用生態(tài)以 MiniCPM4-8B 為基座衍生出的綜述生成智能體MiniCPM4-Survey、MCP 協(xié)議增強的工具調(diào)用代理MiniCPM4-MCP以及面向 Intel 端側(cè)硬件的本地大模型客戶端MiniCPM Intel AIPC Client。這些內(nèi)容共同回答了在同等參數(shù)量下如何把模型做到更省、更小、更實用這一問題。下面逐板塊展開。BitCPM4面向參數(shù)效率的三值量化模型什么是 BitCPM4BitCPM4 是基于 MiniCPM 系列模型進行量化感知訓(xùn)練Quantization-Aware Training, QAT后得到的三值量化模型。所謂三值量化是指模型權(quán)重被約束為類似 {-1, 0, 1} 這樣的低比特取值集合從而以極低的位寬承載模型能力。文檔明確指出BitCPM4 在訓(xùn)練效率和模型參數(shù)效率兩個方面都實現(xiàn)了有效提升。訓(xùn)練方法改進BitCPM4 的訓(xùn)練方法包含兩條關(guān)鍵策略小模型風洞實驗搜索超參在小規(guī)模模型上預(yù)先進行風洞式實驗搜索訓(xùn)練所需的最優(yōu)訓(xùn)練超參數(shù)避免在大模型上盲目調(diào)參帶來的算力浪費一階段高精訓(xùn)練 二階段 QAT充分利用已經(jīng)完成或部分完成訓(xùn)練的高精度模型在其基礎(chǔ)上執(zhí)行量化感知訓(xùn)練從而極大地壓縮 QAT 階段所需要的算力。這一設(shè)計直擊量化訓(xùn)練的核心痛點——傳統(tǒng)從零開始的 QAT 往往需要大量額外訓(xùn)練資源而 BitCPM4 通過復(fù)用已有高精度模型權(quán)重把量化階段的開銷降到最低。1.58Bit 位寬與參數(shù)效率BitCPM4 使用1.58Bit 的位寬運行其性能可以對標同參數(shù)量級別的全精度模型模型參數(shù)效率高。這意味著在相同參數(shù)量下BitCPM4 的權(quán)重存儲與訪存開銷遠低于全精度模型為端側(cè)部署和資源受限場景提供了現(xiàn)實可行的量化路徑。BitCPM4 評測BitCPM4 在測試中的表現(xiàn)可以對標同級別的業(yè)界主流全精度模型。下圖為倉庫提供的 BitCPM4 基準對比結(jié)果從倉庫目錄結(jié)構(gòu)看assets/minicpm4/下同時存放了 MiniCPM4 系列的基準對比圖如 benchmark.png、benchmark4.1.png說明 BitCPM4 的評測體系與 MiniCPM4 系列保持同一套基準口徑讀者可將二者結(jié)合閱讀。BitCPM4 模型推理BitCPM4 開源的模型參數(shù)為偽量化形式可以直接使用 Hugging Face 框架進行推理——即權(quán)重雖按三值量化格式存儲但推理時無需額外的量化運行時或?qū)Ｓ猛评硪孀邩藴?Transformers 加載路徑即可極大降低了上手門檻。與 quantize 目錄歷史腳本的區(qū)分需要特別說明的是倉庫的 quantize/ 目錄保留的是早期 MiniCPM 1B / 2B 系列的歷史量化腳本含 bnb、gptq、awq 等路線其 readme 已明確說明當前發(fā)布包不再通過這里的腳本生成量化權(quán)重端側(cè)部署請優(yōu)先使用 llama.cpp / MLX 等路徑。這與 BitCPM4 采用的QAT 三值量化路線屬于不同方案、不同模型代際讀者在查閱時應(yīng)避免混淆quantize/bnb_quantize.py基于 bitsandbytes 的 4bit/8bit 后訓(xùn)練量化腳本可在腳本內(nèi)配置load_in_4bit、bnb_4bit_quant_typenf4、bnb_4bit_use_double_quant等參數(shù)quantize/quantize_eval.sh用于輸出量化模型的內(nèi)存占用與困惑度PPL等指標。BitCPM4 則是直接開源訓(xùn)練所得的低比特權(quán)重偽量化形式兩者在原理和產(chǎn)物形態(tài)上均有本質(zhì)區(qū)別。MiniCPM4 應(yīng)用總覽MiniCPM4 系列以 80 億參數(shù)的 MiniCPM4-8B 為基座衍生出面向不同真實場景的三類應(yīng)用覆蓋長文生成、工具調(diào)用、端側(cè)本地部署三條主線應(yīng)用基座模型核心能力MiniCPM4-SurveyMiniCPM4-8B接受用戶主題輸入自主生成可信的長篇綜述論文MiniCPM4-MCPMiniCPM-4-8B通過 MCP 協(xié)議與各類工具和數(shù)據(jù)資源交互MiniCPM Intel AIPC ClientMiniCPM 系列在 Intel Core Ultra 端側(cè)設(shè)備上本地運行大模型下面分別展開。MiniCPM4-Survey可信長篇綜述生成智能體MiniCPM4-Survey 由 THUNLP清華大學(xué)自然語言處理實驗室、中國人民大學(xué)和 ModelBest 聯(lián)合開發(fā)基于 MiniCPM4-8B 基座模型構(gòu)建能夠自主生成可信的長篇綜述論文其完整使用說明見 SurveyGeneration 目錄。核心特性計劃-檢索-寫作生成框架提出多智能體生成框架包含三個核心階段——計劃定義綜述的整體結(jié)構(gòu)、檢索生成合適的檢索關(guān)鍵詞、寫作利用檢索到的信息生成連貫段落高質(zhì)量數(shù)據(jù)集構(gòu)建收集并處理大量人類專家撰寫的綜述論文構(gòu)建高質(zhì)量訓(xùn)練集同時收集大量研究論文構(gòu)建檢索數(shù)據(jù)庫多方面獎勵設(shè)計精心設(shè)計包含結(jié)構(gòu)、內(nèi)容和引用的獎勵用于評估綜述質(zhì)量并在強化學(xué)習訓(xùn)練階段充當獎勵函數(shù)多步強化學(xué)習訓(xùn)練策略提出上下文管理器在促進有效推理的同時保留必要信息并構(gòu)建并行環(huán)境維持強化學(xué)習訓(xùn)練的高效性?？焖偕鲜謴臄?shù)據(jù)準備到全文生成1. 下載模型與表征模型從 Hugging Face 下載 MiniCPM4-Survey 模型并放置到model/MiniCPM4-Survey建議同時使用 MiniCPM-Embedding-Light 作為表征embedding模型放置到model/MiniCPM-Embedding-Light。2. 準備檢索環(huán)境從 Kaggle 下載 arXiv 論文數(shù)據(jù)并解壓然后依次運行數(shù)據(jù)處理與索引構(gòu)建腳本curl -L -o ~/Downloads/arxiv.zip https://www.kaggle.com/api/v1/datasets/download/Cornell-University/arxiv unzip ~/Downloads/arxiv.zip -d . mkdir data python ./src/preprocess/data_process.py mkdir index python ./src/preprocess/build_index.py這一步會生成兩份核心產(chǎn)物data/arxiv.jsonl由 data_process.py 將 arXiv 原始快照轉(zhuǎn)換為統(tǒng)一格式每條記錄包含bibkey如arxivid1234.5678和text由標題、摘要、作者拼接而成兩個字段index/index_abstract.faissindex/str_int_ids_abstract.csv由 build_index.py 使用 MiniCPM-Embedding-Light 對語料批量編碼encode_corpusmax_length1024構(gòu)建 FAISS 稠密檢索索引并通過IndexIDMap維護字符串 bibkey 與整數(shù) id 的映射同時支持faiss.index_cpu_to_all_gpus將索引加載到多 GPU 上以加速檢索。3. 啟動檢索服務(wù)并推理先啟動檢索服務(wù)再運行生成主程序python ./src/retriever.py bash ./scripts/run.shretriever.py 是一個基于 FastAPI 的檢索服務(wù)默認端口 8400啟動時加載 FAISS 索引與語料庫對外提供批量搜索接口。它接收模型側(cè)發(fā)來的tool_calls識別search_engine工具調(diào)用對多路查詢分別做向量檢索后用RRFReciprocal Rank Fusion融合排序返回帶 bibkey 的論文摘要列表run.sh 調(diào)用 generation/run.py通過--model_path、--query、--output_file指定模型、用戶主題與輸出文件。4. 使用前端實時查看生成過程如需帶前端界面運行可按以下方式啟動python ./src/retriever.py bash ./scripts/run_with_frontend.sh cd frontend/minicpm4-survey npm install npm run dev然后在瀏覽器訪問http://localhost:5173使用。run_with_frontend.sh 相比純命令行模式額外傳入了--port 8001使 run.py 以 FastAPI 服務(wù)形式運行通過 WebSocket 將每步的 Markdown 進度、搜索關(guān)鍵詞、當前更新內(nèi)容與引用論文推送到前端展示。源碼級流程多步計劃-檢索-寫作循環(huán)如何落地從 run.py 的代碼結(jié)構(gòu)看整個生成流程是一個多輪 Agent 循環(huán)初始化生成器OriginalvLLMRollout類基于 vLLM 初始化模型gpu_memory_utilization0.95、trust_remote_codeTrue采樣參數(shù)為temperature0.7, top_p0.8, top_k20, repetition_penalty1.05, max_tokens2748構(gòu)建提示BufferManager.build_prompt_for_generator()依據(jù)提示詞模板組裝當前綜述狀態(tài)、當前計劃與檢索結(jié)果模型生成調(diào)用 vLLM 生成響應(yīng)并通過BufferManager.parse_generator_response解析出answer更新綜述某章節(jié)與tool_call調(diào)用search_engine或finalize兩類動作環(huán)境反饋將解析出的 tool_calls 通過 HTTP POST 發(fā)送給檢索服務(wù)retriever_url默認http://localhost:8400取回檢索到的論文摘要前兩步循環(huán)使用topk20保證初期信息充足更新軌跡buffer_manager.update_trajectory記錄每步的檢索關(guān)鍵詞、總結(jié)與更新內(nèi)容直到達到max_turns上限或模型調(diào)用finalize工具導(dǎo)出 Markdownjson_to_markdown將最終綜述狀態(tài)轉(zhuǎn)換為 Markdown并將\cite{...}引用替換為編號引用自動在文末追加## References參考文獻列表。提示詞模板 prompts.py 中的系統(tǒng)提示要求模型每次迭代輸出兩個動作先用think思考如何基于檢索信息寫作再用answer{update: section-pos, content: paragraph}/answer更新指定章節(jié)位置支持title、abstract、introduction、section-1、section-1/subsection-1等多級路徑隨后決定下一步檢索計劃用tool_call{name: search_engine, arguments: {...}}/tool_call觸發(fā)檢索全部完成后調(diào)用finalize。上下文管理器buffer.py 中的SurveyManager維護綜述的標準結(jié)構(gòu)標題、摘要、引言、多級 sections、結(jié)論并提供parse_update_pos將模型輸出的章節(jié)位置字符串解析為統(tǒng)一路徑——這正是文檔所述上下文管理器在促進有效推理的同時保留必要信息的工程實現(xiàn)。評估結(jié)果下表為 GPT-4o 對綜述生成系統(tǒng)的性能比較來源見原專題文檔MethodRelevanceCoverageDepthNoveltyAvg.Fact ScoreNaive RAG (driven by G2FT)3.252.953.352.603.0443.68AutoSurvey (driven by G2FT)3.103.253.153.153.1646.56Webthinker (driven by WTR1-7B)3.303.002.752.502.89--Webthinker (driven by QwQ-32B)3.403.303.302.503.13--OpenAI Deep Research (driven by GPT-4o)3.503.953.553.003.50--MiniCPM4-Survey3.453.703.853.003.5068.73MiniCPM4-Surveyw/oRL3.553.353.302.253.1150.24注G2FT 代表 Gemini-2.0-Flash-ThinkingWTR1-7B 代表 Webthinker-R1-7B。由于 Webthinker 不包含引用功能、OpenAI Deep Research 在導(dǎo)出結(jié)果時不提供引用因此省略了對它們的 FactScore 評估。評測詳細信息見倉庫中的技術(shù)報告如 MiniCPM_4_Technical_Report.pdf。從該表可以觀察到一個值得注意的事實MiniCPM4-Survey 在Depth3.85與 Fact Score68.73兩個維度上明顯領(lǐng)先于對比系統(tǒng)且對比去除強化學(xué)習的消融版本Fact Score 50.24可以看出多步強化學(xué)習訓(xùn)練對引用真實性與事實一致性帶來了顯著增益而其 Relevance3.45略低于消融版3.55說明 RL 在信息覆蓋與事實可靠之間做了權(quán)衡取舍。MiniCPM4-MCPMCP 協(xié)議增強的工具調(diào)用MiniCPM4-MCP 由 THUNLP、中國人民大學(xué)與 ModelBest 聯(lián)合開發(fā)基于 MiniCPM-4-8B80 億參數(shù)是一個開源的本地大語言模型智能體能夠通過MCPModel Context Protocol協(xié)議與各種工具和數(shù)據(jù)資源交互解決多種真實世界任務(wù)。完整使用說明見 MCP 目錄。能力概覽覆蓋 16 個 MCP 服務(wù)器servers中的工具這些服務(wù)器橫跨辦公類、生活類、通訊類、資訊類、工作管理類等具體包括 Airbnb、Amap-Maps、Arxiv-MCP-Server、Calculator、Computer-Control-MCP、Desktop-Commander、Filesystem、Github、Gaode、MCP-Code-Executor、MCP-Docx、PPT、PPTx、Simple-Time-Server、Slack、Whisper單工具使用能力可使用符合 MCP 協(xié)議的工具進行單一工具的一步或多步調(diào)用跨工具組合使用能力可組合使用符合 MCP 協(xié)議的不同工具完成更復(fù)雜的真實任務(wù)。訓(xùn)練數(shù)據(jù)與格式MiniCPM4-MCP 主要采用**示范學(xué)習demonstration learning方法訓(xùn)練示范數(shù)據(jù)由大語言模型與 MCP 環(huán)境持續(xù)交互生成MiniCPM 通過監(jiān)督微調(diào)SFT**從這些示范中學(xué)習訓(xùn)練框架采用 LLaMA-Factory適配后的版本隨項目發(fā)布。倉庫 README 給出了示范數(shù)據(jù)的標準格式每條樣本包含conversationshuman/gpt/tool 多輪對話、toolsMCP 工具定義列表遵循 OpenAI 風格 function schema與system三部分。其中模型回復(fù)中通過|thought_start|/|thought_end|表達推理過程用|tool_call_start|/|tool_call_end|包裹 Python 形式的工具調(diào)用|tool_call_start| python get_currency_exchange_rate(from_currencyUSD, to_currencyEUR, amount500)|tool_call_end|### 訓(xùn)練與推理部署 **單機訓(xùn)練** bash llamafactory-cli train /path/to/config.yaml示例llamafactory-cli train ./LLaMA-Factory/examples/train_full/minicpm4/sft.yaml分布式訓(xùn)練所有節(jié)點需滿足軟件環(huán)境一致、網(wǎng)絡(luò)可連接如開放 TCP 端口 29500、可訪問相同訓(xùn)練數(shù)據(jù)。先獲取主節(jié)點 IPhostname -I | awk {print $1}隨后主節(jié)點節(jié)點 0與工作節(jié)點節(jié)點 1分別啟動# 主節(jié)點節(jié)點 0 export MASTER_ADDR$(hostname -I | awk {print $1}) FORCE_TORCHRUN1 NNODES2 RANK0 MASTER_ADDR$MASTER_ADDR MASTER_PORT29500 \ llamafactory-cli train /path/to/config.yaml # 工作節(jié)點節(jié)點 1 FORCE_TORCHRUN1 NNODES2 RANK1 MASTER_ADDR$MASTER_ADDR MASTER_PORT29500 \ llamafactory-cli train /path/to/config.yaml推理鏈路分為 MCP Servers 部署與 MCP Client 搭建兩步MCP Servers 部署按上述 16 個服務(wù)器各自的倉庫指引部署即可。需要注意這些服務(wù)器中包含的工具并非全部能在環(huán)境中順利跑通部分工具波動性較大會返回 timeout、http error 等報錯在訓(xùn)練數(shù)據(jù)構(gòu)造過程中失敗率過高的工具如模型在上百次嘗試后仍無法構(gòu)造出可成功調(diào)用的 query會被過濾掉MCP Client 搭建項目基于 mcp-cli 已實現(xiàn)的 MCP Client 進行修改實現(xiàn) MiniCPM 與 MCP Server 的交互。MCP Client 與 Server 握手后獲得工具列表樣例見 available_tool_example.json隨后用以下腳本基于指定模型生成結(jié)果python generate_example.py \ --tokenizer_path {minicpm4 tokenizer的路徑} \ --base_url {vllm部署的url} \ --model {vllm部署時的模型名} \ --output_path {結(jié)果保存路徑}generate_example.py 是理解 MiniCPM4 工具調(diào)用格式的最佳樣本它用tokenizer.apply_chat_template(messages, toolstools)將工具定義注入對話模板調(diào)用 vLLM 的 OpenAI 兼容接口生成回復(fù)再通過parse_tool_for_minicpm3從|tool_call_start|...|tool_call_end|之間提取 Python 代碼用AST 解析還原出{name, arguments}結(jié)構(gòu)并處理 Python 關(guān)鍵字轉(zhuǎn)義、連字符替換等邊界情況?？梢罁?jù)此邏輯為 MiniCPM4 實現(xiàn)自定義工具調(diào)用解析器。評估結(jié)果生成結(jié)束后運行評估腳本python eval_scripts.py --input_path {generate生成結(jié)果的保存路徑}該腳本評估模型在單輪工具調(diào)用中函數(shù)名預(yù)測的表現(xiàn)多輪調(diào)用情況下給定之前步驟的 ground-truth 信息即可評測模型在當前步驟生成的工具調(diào)用指令準確性每個步驟的評測邏輯與單輪相同。16 個 MCP 服務(wù)器上的完整結(jié)果如下MCP 服務(wù)器gpt-4o 函數(shù)名gpt-4o 參數(shù)名gpt-4o 數(shù)值qwen3 函數(shù)名qwen3 參數(shù)名qwen3 數(shù)值minicpm4 函數(shù)名minicpm4 參數(shù)名minicpm4 數(shù)值A(chǔ)irbnb89.367.953.692.860.750.096.467.950.0Amap-Maps79.877.550.074.472.041.089.385.739.9Arxiv-MCP-Server85.785.785.781.854.550.057.157.152.4Calculator100.0100.020.080.080.013.3100.0100.06.67Computor-Control-MCP90.090.090.090.090.090.090.090.086.7Desktop-Commander100.0100.0100.0100.0100.0100.0100.0100.0100.0Filesystem63.563.531.369.769.726.083.383.342.7Github92.080.058.080.550.027.762.825.717.1Gaode71.155.617.868.846.624.468.946.715.6MCP-Code-Executor85.080.070.080.080.070.090.090.065.0MCP-Docx95.886.767.194.981.660.195.186.676.1PPT72.649.840.985.950.737.591.272.156.7PPTx64.253.713.491.068.620.991.058.226.9Simple-Time-Server90.070.070.090.090.090.090.060.060.0Slack100.090.070.0100.0100.065.0100.0100.0100.0Whisper90.090.090.090.090.090.090.090.030.0平均值80.270.249.183.567.743.888.376.151.2從平均值看MiniCPM4-MCP 在函數(shù)名正確率88.3%與參數(shù)名正確率76.1%兩個維度上均優(yōu)于 gpt-4o 與 qwen3說明 8B 量級的端側(cè)模型經(jīng)過示范學(xué)習后已具備與更大模型可比甚至更優(yōu)的工具調(diào)用規(guī)劃能力同時數(shù)值正確率整體偏低三模型均不足 52%反映出工具調(diào)用中參數(shù)取值準確性仍是普遍挑戰(zhàn)這也與訓(xùn)練數(shù)據(jù)構(gòu)造中過濾不穩(wěn)定工具的做法相呼應(yīng)。MiniCPM Intel AIPC Client端側(cè)大模型客戶端MiniCPM Intel AIPC Client 是面壁智能與 Intel 合作推出的端側(cè)大模型客戶端專為搭載 Intel Core Ultra 系列處理器的設(shè)備設(shè)計旨在為開發(fā)者、研究人員與 AI 愛好者帶來低延遲、高效率、高隱私的本地大模型使用體驗。核心特性深度適配 Intel 硬件全面支持 Intel Core Ultra 系列處理器實現(xiàn)與硬件的深度融合充分釋放硬件性能用戶無需依賴云端即可在本地設(shè)備上流暢運行大模型基于 OpenVINO 的極致優(yōu)化基于 OpenVINO 推理框架深度優(yōu)化推理效率推理速度最高可達每秒 80 tokens確?？焖賳柎鹋c復(fù)雜任務(wù)處理都能高效完成隱私安全保障采用本地部署方式所有數(shù)據(jù)處理均在本地設(shè)備完成避免數(shù)據(jù)上傳云端帶來的隱私風險尤其適合對數(shù)據(jù)隱私要求較高的場景面向多元用戶群體無論是追求前沿技術(shù)的開發(fā)者、專注學(xué)術(shù)研究的科研人員還是熱衷于探索 AI 應(yīng)用的愛好者都可以通過該客戶端輕松體驗本地大模型的強大能力。配置要求與獲取運行該客戶端建議滿足以下硬件配置建議使用英特爾酷睿 Ultra 7 及以上移動端處理器建議運行內(nèi)存 32GB 及以上。應(yīng)用通過官方發(fā)布渠道Releases提供下載對應(yīng)版本為 2.4.2用戶可在 MiniCPM 倉庫的 Releases 頁面獲取安裝包。小結(jié)MiniCPM 歷史專題文檔集中展現(xiàn)了 MiniCPM 團隊在模型量化與應(yīng)用落地兩個方向上的工程沉淀BitCPM4通過一階段高精訓(xùn)練 二階段 QAT的三值量化路線以 1.58Bit 位寬實現(xiàn)對同參數(shù)量級全精度模型的性能對標并以偽量化權(quán)重形式降低推理門檻MiniCPM4-Survey以計劃-檢索-寫作多智能體框架 多步強化學(xué)習在長文綜述生成上取得了 Depth 3.85、Fact Score 68.73 的評測成績倉庫中從 數(shù)據(jù)處理、索引構(gòu)建、檢索服務(wù) 到 生成主循環(huán) 的完整代碼是一套可復(fù)現(xiàn)的 RAG Agent 工程范本MiniCPM4-MCP將 MCP 協(xié)議接入 8B 端側(cè)模型在 16 個 MCP 服務(wù)器上取得 88.3% 的平均函數(shù)名正確率示范數(shù)據(jù)格式與 AST 工具解析邏輯可直接復(fù)用MiniCPM Intel AIPC Client則驗證了端側(cè)本地部署在隱私、延遲與效率上的可行性。對于希望進一步深入研究的讀者建議重點閱讀倉庫中的 SurveyGeneration README、MCP README 以及 MiniCPM_4_Technical_Report.pdf結(jié)合本文源碼路徑逐文件對照即可完整復(fù)現(xiàn)上述能力鏈路?！久赓M下載鏈接】MiniCPMMiniCPM4 MiniCPM4.1: Ultra-Efficient LLMs on End Devices, achieving 3 generation speedup on reasoning tasks項目地址: https://gitcode.com/OpenBMB/MiniCPM創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 MiniCPM 歷史專題技術(shù)詳解：BitCPM4 三值量化與 MiniCPM4 應(yīng)用生態(tài)實戰(zhàn)
MiniCPM 歷史專題技術(shù)詳解BitCPM4 三值量化與 MiniCPM4 應(yīng)用生態(tài)實戰(zhàn)【免費下載鏈接】MiniCPMMiniCPM4 MiniCPM4.1: Ultra-Efficient LLMs on End Devices, achieving 3 generation speedup on reasoning tasks項目地址: https://gitcode.com/OpenBMB/MiniCPM本文面向希望系統(tǒng)了解 MiniCPM 系列早期模型技術(shù)與應(yīng)用生態(tài)的開發(fā)者主體依據(jù) OpenBMB 開源社區(qū) MiniCPM 倉庫中的歷史專題文檔整理并結(jié)合倉庫源碼、配置與評測數(shù)據(jù)進行了縱深講解。當前主推模型請參閱主 README本文對應(yīng)的英文版本見README-legacy.md。專題定位早期 MiniCPM 模型的附屬說明MiniCPM 倉庫在持續(xù)演進過程中將早期模型的說明沉淀為獨立的歷史專題文檔。該專題包含兩大板塊BitCPM4 模型量化基于 MiniCPM 系列模型經(jīng)量化感知訓(xùn)練QAT得到的三值量化模型聚焦訓(xùn)練效率與模型參數(shù)效率的聯(lián)合優(yōu)化MiniCPM4 應(yīng)用生態(tài)以 MiniCPM4-8B 為基座衍生出的綜述生成智能體MiniCPM4-Survey、MCP 協(xié)議增強的工具調(diào)用代理MiniCPM4-MCP以及面向 Intel 端側(cè)硬件的本地大模型客戶端MiniCPM Intel AIPC Client。這些內(nèi)容共同回答了在同等參數(shù)量下如何把模型做到更省、更小、更實用這一問題。下面逐板塊展開。BitCPM4面向參數(shù)效率的三值量化模型什么是 BitCPM4BitCPM4 是基于 MiniCPM 系列模型進行量化感知訓(xùn)練Quantization-Aware Training, QAT后得到的三值量化模型。所謂三值量化是指模型權(quán)重被約束為類似 {-1, 0, 1} 這樣的低比特取值集合從而以極低的位寬承載模型能力。文檔明確指出BitCPM4 在訓(xùn)練效率和模型參數(shù)效率兩個方面都實現(xiàn)了有效提升。訓(xùn)練方法改進BitCPM4 的訓(xùn)練方法包含兩條關(guān)鍵策略小模型風洞實驗搜索超參在小規(guī)模模型上預(yù)先進行風洞式實驗搜索訓(xùn)練所需的最優(yōu)訓(xùn)練超參數(shù)避免在大模型上盲目調(diào)參帶來的算力浪費一階段高精訓(xùn)練 二階段 QAT充分利用已經(jīng)完成或部分完成訓(xùn)練的高精度模型在其基礎(chǔ)上執(zhí)行量化感知訓(xùn)練從而極大地壓縮 QAT 階段所需要的算力。這一設(shè)計直擊量化訓(xùn)練的核心痛點——傳統(tǒng)從零開始的 QAT 往往需要大量額外訓(xùn)練資源而 BitCPM4 通過復(fù)用已有高精度模型權(quán)重把量化階段的開銷降到最低。1.58Bit 位寬與參數(shù)效率BitCPM4 使用1.58Bit 的位寬運行其性能可以對標同參數(shù)量級別的全精度模型模型參數(shù)效率高。這意味著在相同參數(shù)量下BitCPM4 的權(quán)重存儲與訪存開銷遠低于全精度模型為端側(cè)部署和資源受限場景提供了現(xiàn)實可行的量化路徑。BitCPM4 評測BitCPM4 在測試中的表現(xiàn)可以對標同級別的業(yè)界主流全精度模型。下圖為倉庫提供的 BitCPM4 基準對比結(jié)果從倉庫目錄結(jié)構(gòu)看assets/minicpm4/下同時存放了 MiniCPM4 系列的基準對比圖如 benchmark.png、benchmark4.1.png說明 BitCPM4 的評測體系與 MiniCPM4 系列保持同一套基準口徑讀者可將二者結(jié)合閱讀。BitCPM4 模型推理BitCPM4 開源的模型參數(shù)為偽量化形式可以直接使用 Hugging Face 框架進行推理——即權(quán)重雖按三值量化格式存儲但推理時無需額外的量化運行時或?qū)Ｓ猛评硪孀邩藴?Transformers 加載路徑即可極大降低了上手門檻。與 quantize 目錄歷史腳本的區(qū)分需要特別說明的是倉庫的 quantize/ 目錄保留的是早期 MiniCPM 1B / 2B 系列的歷史量化腳本含 bnb、gptq、awq 等路線其 readme 已明確說明當前發(fā)布包不再通過這里的腳本生成量化權(quán)重端側(cè)部署請優(yōu)先使用 llama.cpp / MLX 等路徑。這與 BitCPM4 采用的QAT 三值量化路線屬于不同方案、不同模型代際讀者在查閱時應(yīng)避免混淆quantize/bnb_quantize.py基于 bitsandbytes 的 4bit/8bit 后訓(xùn)練量化腳本可在腳本內(nèi)配置load_in_4bit、bnb_4bit_quant_typenf4、bnb_4bit_use_double_quant等參數(shù)quantize/quantize_eval.sh用于輸出量化模型的內(nèi)存占用與困惑度PPL等指標。BitCPM4 則是直接開源訓(xùn)練所得的低比特權(quán)重偽量化形式兩者在原理和產(chǎn)物形態(tài)上均有本質(zhì)區(qū)別。MiniCPM4 應(yīng)用總覽MiniCPM4 系列以 80 億參數(shù)的 MiniCPM4-8B 為基座衍生出面向不同真實場景的三類應(yīng)用覆蓋長文生成、工具調(diào)用、端側(cè)本地部署三條主線應(yīng)用基座模型核心能力MiniCPM4-SurveyMiniCPM4-8B接受用戶主題輸入自主生成可信的長篇綜述論文MiniCPM4-MCPMiniCPM-4-8B通過 MCP 協(xié)議與各類工具和數(shù)據(jù)資源交互MiniCPM Intel AIPC ClientMiniCPM 系列在 Intel Core Ultra 端側(cè)設(shè)備上本地運行大模型下面分別展開。MiniCPM4-Survey可信長篇綜述生成智能體MiniCPM4-Survey 由 THUNLP清華大學(xué)自然語言處理實驗室、中國人民大學(xué)和 ModelBest 聯(lián)合開發(fā)基于 MiniCPM4-8B 基座模型構(gòu)建能夠自主生成可信的長篇綜述論文其完整使用說明見 SurveyGeneration 目錄。核心特性計劃-檢索-寫作生成框架提出多智能體生成框架包含三個核心階段——計劃定義綜述的整體結(jié)構(gòu)、檢索生成合適的檢索關(guān)鍵詞、寫作利用檢索到的信息生成連貫段落高質(zhì)量數(shù)據(jù)集構(gòu)建收集并處理大量人類專家撰寫的綜述論文構(gòu)建高質(zhì)量訓(xùn)練集同時收集大量研究論文構(gòu)建檢索數(shù)據(jù)庫多方面獎勵設(shè)計精心設(shè)計包含結(jié)構(gòu)、內(nèi)容和引用的獎勵用于評估綜述質(zhì)量并在強化學(xué)習訓(xùn)練階段充當獎勵函數(shù)多步強化學(xué)習訓(xùn)練策略提出上下文管理器在促進有效推理的同時保留必要信息并構(gòu)建并行環(huán)境維持強化學(xué)習訓(xùn)練的高效性?？焖偕鲜謴臄?shù)據(jù)準備到全文生成1. 下載模型與表征模型從 Hugging Face 下載 MiniCPM4-Survey 模型并放置到model/MiniCPM4-Survey建議同時使用 MiniCPM-Embedding-Light 作為表征embedding模型放置到model/MiniCPM-Embedding-Light。2. 準備檢索環(huán)境從 Kaggle 下載 arXiv 論文數(shù)據(jù)并解壓然后依次運行數(shù)據(jù)處理與索引構(gòu)建腳本curl -L -o ~/Downloads/arxiv.zip https://www.kaggle.com/api/v1/datasets/download/Cornell-University/arxiv unzip ~/Downloads/arxiv.zip -d . mkdir data python ./src/preprocess/data_process.py mkdir index python ./src/preprocess/build_index.py這一步會生成兩份核心產(chǎn)物data/arxiv.jsonl由 data_process.py 將 arXiv 原始快照轉(zhuǎn)換為統(tǒng)一格式每條記錄包含bibkey如arxivid1234.5678和text由標題、摘要、作者拼接而成兩個字段index/index_abstract.faissindex/str_int_ids_abstract.csv由 build_index.py 使用 MiniCPM-Embedding-Light 對語料批量編碼encode_corpusmax_length1024構(gòu)建 FAISS 稠密檢索索引并通過IndexIDMap維護字符串 bibkey 與整數(shù) id 的映射同時支持faiss.index_cpu_to_all_gpus將索引加載到多 GPU 上以加速檢索。3. 啟動檢索服務(wù)并推理先啟動檢索服務(wù)再運行生成主程序python ./src/retriever.py bash ./scripts/run.shretriever.py 是一個基于 FastAPI 的檢索服務(wù)默認端口 8400啟動時加載 FAISS 索引與語料庫對外提供批量搜索接口。它接收模型側(cè)發(fā)來的tool_calls識別search_engine工具調(diào)用對多路查詢分別做向量檢索后用RRFReciprocal Rank Fusion融合排序返回帶 bibkey 的論文摘要列表run.sh 調(diào)用 generation/run.py通過--model_path、--query、--output_file指定模型、用戶主題與輸出文件。4. 使用前端實時查看生成過程如需帶前端界面運行可按以下方式啟動python ./src/retriever.py bash ./scripts/run_with_frontend.sh cd frontend/minicpm4-survey npm install npm run dev然后在瀏覽器訪問http://localhost:5173使用。run_with_frontend.sh 相比純命令行模式額外傳入了--port 8001使 run.py 以 FastAPI 服務(wù)形式運行通過 WebSocket 將每步的 Markdown 進度、搜索關(guān)鍵詞、當前更新內(nèi)容與引用論文推送到前端展示。源碼級流程多步計劃-檢索-寫作循環(huán)如何落地從 run.py 的代碼結(jié)構(gòu)看整個生成流程是一個多輪 Agent 循環(huán)初始化生成器OriginalvLLMRollout類基于 vLLM 初始化模型gpu_memory_utilization0.95、trust_remote_codeTrue采樣參數(shù)為temperature0.7, top_p0.8, top_k20, repetition_penalty1.05, max_tokens2748構(gòu)建提示BufferManager.build_prompt_for_generator()依據(jù)提示詞模板組裝當前綜述狀態(tài)、當前計劃與檢索結(jié)果模型生成調(diào)用 vLLM 生成響應(yīng)并通過BufferManager.parse_generator_response解析出answer更新綜述某章節(jié)與tool_call調(diào)用search_engine或finalize兩類動作環(huán)境反饋將解析出的 tool_calls 通過 HTTP POST 發(fā)送給檢索服務(wù)retriever_url默認http://localhost:8400取回檢索到的論文摘要前兩步循環(huán)使用topk20保證初期信息充足更新軌跡buffer_manager.update_trajectory記錄每步的檢索關(guān)鍵詞、總結(jié)與更新內(nèi)容直到達到max_turns上限或模型調(diào)用finalize工具導(dǎo)出 Markdownjson_to_markdown將最終綜述狀態(tài)轉(zhuǎn)換為 Markdown并將\cite{...}引用替換為編號引用自動在文末追加## References參考文獻列表。提示詞模板 prompts.py 中的系統(tǒng)提示要求模型每次迭代輸出兩個動作先用think思考如何基于檢索信息寫作再用answer{update: section-pos, content: paragraph}/answer更新指定章節(jié)位置支持title、abstract、introduction、section-1、section-1/subsection-1等多級路徑隨后決定下一步檢索計劃用tool_call{name: search_engine, arguments: {...}}/tool_call觸發(fā)檢索全部完成后調(diào)用finalize。上下文管理器buffer.py 中的SurveyManager維護綜述的標準結(jié)構(gòu)標題、摘要、引言、多級 sections、結(jié)論并提供parse_update_pos將模型輸出的章節(jié)位置字符串解析為統(tǒng)一路徑——這正是文檔所述上下文管理器在促進有效推理的同時保留必要信息的工程實現(xiàn)。評估結(jié)果下表為 GPT-4o 對綜述生成系統(tǒng)的性能比較來源見原專題文檔MethodRelevanceCoverageDepthNoveltyAvg.Fact ScoreNaive RAG (driven by G2FT)3.252.953.352.603.0443.68AutoSurvey (driven by G2FT)3.103.253.153.153.1646.56Webthinker (driven by WTR1-7B)3.303.002.752.502.89--Webthinker (driven by QwQ-32B)3.403.303.302.503.13--OpenAI Deep Research (driven by GPT-4o)3.503.953.553.003.50--MiniCPM4-Survey3.453.703.853.003.5068.73MiniCPM4-Surveyw/oRL3.553.353.302.253.1150.24注G2FT 代表 Gemini-2.0-Flash-ThinkingWTR1-7B 代表 Webthinker-R1-7B。由于 Webthinker 不包含引用功能、OpenAI Deep Research 在導(dǎo)出結(jié)果時不提供引用因此省略了對它們的 FactScore 評估。評測詳細信息見倉庫中的技術(shù)報告如 MiniCPM_4_Technical_Report.pdf。從該表可以觀察到一個值得注意的事實MiniCPM4-Survey 在Depth3.85與 Fact Score68.73兩個維度上明顯領(lǐng)先于對比系統(tǒng)且對比去除強化學(xué)習的消融版本Fact Score 50.24可以看出多步強化學(xué)習訓(xùn)練對引用真實性與事實一致性帶來了顯著增益而其 Relevance3.45略低于消融版3.55說明 RL 在信息覆蓋與事實可靠之間做了權(quán)衡取舍。MiniCPM4-MCPMCP 協(xié)議增強的工具調(diào)用MiniCPM4-MCP 由 THUNLP、中國人民大學(xué)與 ModelBest 聯(lián)合開發(fā)基于 MiniCPM-4-8B80 億參數(shù)是一個開源的本地大語言模型智能體能夠通過MCPModel Context Protocol協(xié)議與各種工具和數(shù)據(jù)資源交互解決多種真實世界任務(wù)。完整使用說明見 MCP 目錄。能力概覽覆蓋 16 個 MCP 服務(wù)器servers中的工具這些服務(wù)器橫跨辦公類、生活類、通訊類、資訊類、工作管理類等具體包括 Airbnb、Amap-Maps、Arxiv-MCP-Server、Calculator、Computer-Control-MCP、Desktop-Commander、Filesystem、Github、Gaode、MCP-Code-Executor、MCP-Docx、PPT、PPTx、Simple-Time-Server、Slack、Whisper單工具使用能力可使用符合 MCP 協(xié)議的工具進行單一工具的一步或多步調(diào)用跨工具組合使用能力可組合使用符合 MCP 協(xié)議的不同工具完成更復(fù)雜的真實任務(wù)。訓(xùn)練數(shù)據(jù)與格式MiniCPM4-MCP 主要采用**示范學(xué)習demonstration learning方法訓(xùn)練示范數(shù)據(jù)由大語言模型與 MCP 環(huán)境持續(xù)交互生成MiniCPM 通過監(jiān)督微調(diào)SFT**從這些示范中學(xué)習訓(xùn)練框架采用 LLaMA-Factory適配后的版本隨項目發(fā)布。倉庫 README 給出了示范數(shù)據(jù)的標準格式每條樣本包含conversationshuman/gpt/tool 多輪對話、toolsMCP 工具定義列表遵循 OpenAI 風格 function schema與system三部分。其中模型回復(fù)中通過|thought_start|/|thought_end|表達推理過程用|tool_call_start|/|tool_call_end|包裹 Python 形式的工具調(diào)用|tool_call_start| python get_currency_exchange_rate(from_currencyUSD, to_currencyEUR, amount500)|tool_call_end|### 訓(xùn)練與推理部署 **單機訓(xùn)練** bash llamafactory-cli train /path/to/config.yaml示例llamafactory-cli train ./LLaMA-Factory/examples/train_full/minicpm4/sft.yaml分布式訓(xùn)練所有節(jié)點需滿足軟件環(huán)境一致、網(wǎng)絡(luò)可連接如開放 TCP 端口 29500、可訪問相同訓(xùn)練數(shù)據(jù)。先獲取主節(jié)點 IPhostname -I | awk {print $1}隨后主節(jié)點節(jié)點 0與工作節(jié)點節(jié)點 1分別啟動# 主節(jié)點節(jié)點 0 export MASTER_ADDR$(hostname -I | awk {print $1}) FORCE_TORCHRUN1 NNODES2 RANK0 MASTER_ADDR$MASTER_ADDR MASTER_PORT29500 \ llamafactory-cli train /path/to/config.yaml # 工作節(jié)點節(jié)點 1 FORCE_TORCHRUN1 NNODES2 RANK1 MASTER_ADDR$MASTER_ADDR MASTER_PORT29500 \ llamafactory-cli train /path/to/config.yaml推理鏈路分為 MCP Servers 部署與 MCP Client 搭建兩步MCP Servers 部署按上述 16 個服務(wù)器各自的倉庫指引部署即可。需要注意這些服務(wù)器中包含的工具并非全部能在環(huán)境中順利跑通部分工具波動性較大會返回 timeout、http error 等報錯在訓(xùn)練數(shù)據(jù)構(gòu)造過程中失敗率過高的工具如模型在上百次嘗試后仍無法構(gòu)造出可成功調(diào)用的 query會被過濾掉MCP Client 搭建項目基于 mcp-cli 已實現(xiàn)的 MCP Client 進行修改實現(xiàn) MiniCPM 與 MCP Server 的交互。MCP Client 與 Server 握手后獲得工具列表樣例見 available_tool_example.json隨后用以下腳本基于指定模型生成結(jié)果python generate_example.py \ --tokenizer_path {minicpm4 tokenizer的路徑} \ --base_url {vllm部署的url} \ --model {vllm部署時的模型名} \ --output_path {結(jié)果保存路徑}generate_example.py 是理解 MiniCPM4 工具調(diào)用格式的最佳樣本它用tokenizer.apply_chat_template(messages, toolstools)將工具定義注入對話模板調(diào)用 vLLM 的 OpenAI 兼容接口生成回復(fù)再通過parse_tool_for_minicpm3從|tool_call_start|...|tool_call_end|之間提取 Python 代碼用AST 解析還原出{name, arguments}結(jié)構(gòu)并處理 Python 關(guān)鍵字轉(zhuǎn)義、連字符替換等邊界情況?？梢罁?jù)此邏輯為 MiniCPM4 實現(xiàn)自定義工具調(diào)用解析器。評估結(jié)果生成結(jié)束后運行評估腳本python eval_scripts.py --input_path {generate生成結(jié)果的保存路徑}該腳本評估模型在單輪工具調(diào)用中函數(shù)名預(yù)測的表現(xiàn)多輪調(diào)用情況下給定之前步驟的 ground-truth 信息即可評測模型在當前步驟生成的工具調(diào)用指令準確性每個步驟的評測邏輯與單輪相同。16 個 MCP 服務(wù)器上的完整結(jié)果如下MCP 服務(wù)器gpt-4o 函數(shù)名gpt-4o 參數(shù)名gpt-4o 數(shù)值qwen3 函數(shù)名qwen3 參數(shù)名qwen3 數(shù)值minicpm4 函數(shù)名minicpm4 參數(shù)名minicpm4 數(shù)值A(chǔ)irbnb89.367.953.692.860.750.096.467.950.0Amap-Maps79.877.550.074.472.041.089.385.739.9Arxiv-MCP-Server85.785.785.781.854.550.057.157.152.4Calculator100.0100.020.080.080.013.3100.0100.06.67Computor-Control-MCP90.090.090.090.090.090.090.090.086.7Desktop-Commander100.0100.0100.0100.0100.0100.0100.0100.0100.0Filesystem63.563.531.369.769.726.083.383.342.7Github92.080.058.080.550.027.762.825.717.1Gaode71.155.617.868.846.624.468.946.715.6MCP-Code-Executor85.080.070.080.080.070.090.090.065.0MCP-Docx95.886.767.194.981.660.195.186.676.1PPT72.649.840.985.950.737.591.272.156.7PPTx64.253.713.491.068.620.991.058.226.9Simple-Time-Server90.070.070.090.090.090.090.060.060.0Slack100.090.070.0100.0100.065.0100.0100.0100.0Whisper90.090.090.090.090.090.090.090.030.0平均值80.270.249.183.567.743.888.376.151.2從平均值看MiniCPM4-MCP 在函數(shù)名正確率88.3%與參數(shù)名正確率76.1%兩個維度上均優(yōu)于 gpt-4o 與 qwen3說明 8B 量級的端側(cè)模型經(jīng)過示范學(xué)習后已具備與更大模型可比甚至更優(yōu)的工具調(diào)用規(guī)劃能力同時數(shù)值正確率整體偏低三模型均不足 52%反映出工具調(diào)用中參數(shù)取值準確性仍是普遍挑戰(zhàn)這也與訓(xùn)練數(shù)據(jù)構(gòu)造中過濾不穩(wěn)定工具的做法相呼應(yīng)。MiniCPM Intel AIPC Client端側(cè)大模型客戶端MiniCPM Intel AIPC Client 是面壁智能與 Intel 合作推出的端側(cè)大模型客戶端專為搭載 Intel Core Ultra 系列處理器的設(shè)備設(shè)計旨在為開發(fā)者、研究人員與 AI 愛好者帶來低延遲、高效率、高隱私的本地大模型使用體驗。核心特性深度適配 Intel 硬件全面支持 Intel Core Ultra 系列處理器實現(xiàn)與硬件的深度融合充分釋放硬件性能用戶無需依賴云端即可在本地設(shè)備上流暢運行大模型基于 OpenVINO 的極致優(yōu)化基于 OpenVINO 推理框架深度優(yōu)化推理效率推理速度最高可達每秒 80 tokens確?？焖賳柎鹋c復(fù)雜任務(wù)處理都能高效完成隱私安全保障采用本地部署方式所有數(shù)據(jù)處理均在本地設(shè)備完成避免數(shù)據(jù)上傳云端帶來的隱私風險尤其適合對數(shù)據(jù)隱私要求較高的場景面向多元用戶群體無論是追求前沿技術(shù)的開發(fā)者、專注學(xué)術(shù)研究的科研人員還是熱衷于探索 AI 應(yīng)用的愛好者都可以通過該客戶端輕松體驗本地大模型的強大能力。配置要求與獲取運行該客戶端建議滿足以下硬件配置建議使用英特爾酷睿 Ultra 7 及以上移動端處理器建議運行內(nèi)存 32GB 及以上。應(yīng)用通過官方發(fā)布渠道Releases提供下載對應(yīng)版本為 2.4.2用戶可在 MiniCPM 倉庫的 Releases 頁面獲取安裝包。小結(jié)MiniCPM 歷史專題文檔集中展現(xiàn)了 MiniCPM 團隊在模型量化與應(yīng)用落地兩個方向上的工程沉淀BitCPM4通過一階段高精訓(xùn)練 二階段 QAT的三值量化路線以 1.58Bit 位寬實現(xiàn)對同參數(shù)量級全精度模型的性能對標并以偽量化權(quán)重形式降低推理門檻MiniCPM4-Survey以計劃-檢索-寫作多智能體框架 多步強化學(xué)習在長文綜述生成上取得了 Depth 3.85、Fact Score 68.73 的評測成績倉庫中從 數(shù)據(jù)處理、索引構(gòu)建、檢索服務(wù) 到 生成主循環(huán) 的完整代碼是一套可復(fù)現(xiàn)的 RAG Agent 工程范本MiniCPM4-MCP將 MCP 協(xié)議接入 8B 端側(cè)模型在 16 個 MCP 服務(wù)器上取得 88.3% 的平均函數(shù)名正確率示范數(shù)據(jù)格式與 AST 工具解析邏輯可直接復(fù)用MiniCPM Intel AIPC Client則驗證了端側(cè)本地部署在隱私、延遲與效率上的可行性。對于希望進一步深入研究的讀者建議重點閱讀倉庫中的 SurveyGeneration README、MCP README 以及 MiniCPM_4_Technical_Report.pdf結(jié)合本文源碼路徑逐文件對照即可完整復(fù)現(xiàn)上述能力鏈路?！久赓M下載鏈接】MiniCPMMiniCPM4 MiniCPM4.1: Ultra-Efficient LLMs on End Devices, achieving 3 generation speedup on reasoning tasks項目地址: https://gitcode.com/OpenBMB/MiniCPM創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考