就緒)
PrivateGPT Docker部署完全指南一條命令從本地跑通到生產(chǎn)就緒【免費(fèi)下載鏈接】privateGPTComplete API layer for private AI applications on local models: RAG, skills, tools, MCP, text-to-sql, and more. Works with any OpenAI-compatible inference server.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/pr/privateGPTPrivateGPT 是一個(gè)開源的本地 AI 應(yīng)用 API 層它把 Ollama、vLLM、llama.cpp 等本地模型變成生產(chǎn)級(jí)私有 AI 應(yīng)用的后端提供 RAG 檢索、引用溯源、工具調(diào)用、MCP 連接器和 Text-to-SQL 等能力。本文帶你用 Docker 部署 PrivateGPT一條docker run命令即可從本地跑通再進(jìn)階到生產(chǎn)就緒的配置。全程只需約 5 分鐘。為什么選擇 Docker 部署 PrivateGPT很多新手在本地跑通模型后會(huì)遇到第二個(gè)問題如何把模型變成一個(gè)可用的 AI 應(yīng)用后端Ollama、vLLM 回答的是怎么跑模型而 PrivateGPT 回答的是怎么在模型之上構(gòu)建應(yīng)用。用 Docker 部署 PrivateGPT 有三大好處環(huán)境隔離容器自帶 Python 3.11 運(yùn)行時(shí)、文檔解析庫LibreOffice、Poppler和瀏覽器依賴無需在本機(jī)裝任何環(huán)境可復(fù)現(xiàn)官方鏡像zylonai/private-gpt:latest預(yù)裝core全家桶隨時(shí)拉取、隨時(shí)回滾生產(chǎn)就緒容器化本身就是生產(chǎn)部署的標(biāo)準(zhǔn)形態(tài)后續(xù)擴(kuò)展為多容器編排毫無障礙鏡像的構(gòu)建細(xì)節(jié)可以查看倉庫中的 Dockerfile多階段構(gòu)建已經(jīng)把依賴安裝、瀏覽器緩存、編碼文件都提前打包好了。部署前的準(zhǔn)備工作啟動(dòng)你的 LLM 服務(wù)器PrivateGPT本身不跑模型它通過OPENAI_API_BASE連接任意兼容 OpenAI 協(xié)議的推理服務(wù)器。最簡單的新手選擇是 Ollama# 拉取一個(gè)對(duì)話模型LLM ollama pull qwen3.5:35b # 拉取一個(gè)嵌入模型EmbeddingsRAG 檢索必需 ollama pull mxbai-embed-large # 啟動(dòng)服務(wù)默認(rèn)監(jiān)聽 11434 端口 ollama serve 如果你用的是 LM Studio、llama.cpp 或 vLLM只要它們實(shí)現(xiàn)了/v1/chat/completions和/v1/models接口PrivateGPT 都能自動(dòng)發(fā)現(xiàn)并注冊(cè)模型無需任何配置文件。更多對(duì)比見 providers 文檔。一鍵 Docker 部署 PrivateGPTmacOS / Windows一條命令啟動(dòng)docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ zylonai/private-gpt:latesthost.docker.internal是 Docker 在 macOS 和 Windows 上訪問宿主機(jī)的特殊域名讓容器內(nèi)的 PrivateGPT 能找到你本機(jī)運(yùn)行的 Ollama。Linux 用戶使用 host 網(wǎng)絡(luò)模式docker run --network host \ -e OPENAI_API_BASEhttp://localhost:11434/v1 \ zylonai/private-gpt:latest如果 LLM 服務(wù)器需要 API Keydocker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:8000/v1 \ -e OPENAI_API_KEYyour-api-key \ zylonai/private-gpt:latest完整的分步說明見 Docker 安裝文檔。驗(yàn)證部署打開內(nèi)置 Workbench UI容器啟動(dòng)后打開瀏覽器訪問http://localhost:8080/ui你會(huì)看到 PrivateGPT 內(nèi)置的 Workbench 工作臺(tái)這個(gè) UI 不只是聊天窗口你可以用它快速驗(yàn)證部署是否成功發(fā)送消息確認(rèn)模型能正?；貜?fù)上傳文檔測試 RAG 檢索與引用溯源按會(huì)話開啟工具Web 搜索、代碼執(zhí)行等配置數(shù)據(jù)庫、MCP 連接器和自定義工具API 本體運(yùn)行在http://localhost:8080遵循 Anthropic 風(fēng)格 API 規(guī)范全部端點(diǎn)參考 API Reference。部署成功后Workbench 內(nèi)置的API Debugger還能實(shí)時(shí)抓包查看每一次請(qǐng)求與響應(yīng)排查問題時(shí)非常直觀生產(chǎn)就緒4 個(gè)關(guān)鍵配置從本地跑通到生產(chǎn)就緒只差下面 4 步1?? 掛載數(shù)據(jù)卷持久化上傳的文檔默認(rèn)情況下攝入的文檔存在容器內(nèi)部容器一刪就沒了。掛載一個(gè)卷即可解決docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ -v ./local_data:/home/worker/app/local_data \ zylonai/private-gpt:latest2?? 使用配置 Profile 管理模型參數(shù)PrivateGPT 通過 YAML 配置文件管理所有設(shè)置。項(xiàng)目根目錄的 settings.yaml 是所有配置的基線每個(gè)值都支持${環(huán)境變量:默認(rèn)值}的寫法因此改配置不用改代碼、不用重建鏡像。生產(chǎn)環(huán)境推薦創(chuàng)建獨(dú)立的 profile 文件如settings-prod.yaml啟動(dòng)時(shí)加載docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ -e PGPT_PROFILESprod \ zylonai/private-gpt:latestprofile 的加載與合并機(jī)制詳見 How it works 與 Settings Profiles。3?? 開啟鑒權(quán)與觀測鑒權(quán)在 profile 中設(shè)置server.auth.enabled: true并配置secret防止 API 被未授權(quán)訪問可觀測性設(shè)置observability.mode: arize_phoenix或opik把每一次 LLM 調(diào)用、嵌入請(qǐng)求和檢索步驟都變成可視化 trace詳見 Observability 文檔4?? 按需構(gòu)建自定義鏡像如果默認(rèn)鏡像不滿足需求比如要加隊(duì)列、可觀測性組件可以從源碼構(gòu)建并指定 extrasgit clone https://gitcode.com/GitHub_Trending/pr/privateGPT cd privateGPT docker build \ --build-arg EXTRAScore queue observability-opik \ -t private-gpt .常見問題排查癥狀可能原因解決方式容器啟動(dòng)后連接 LLM 超時(shí)OPENAI_API_BASE地址錯(cuò)誤Linux 用--network hostlocalhostmacOS/Windows 用host.docker.internalUI 打不開端口未映射確認(rèn)加了-p 8080:8080host 網(wǎng)絡(luò)模式除外上傳文檔檢索不到?jīng)]拉嵌入模型確認(rèn) Ollama 中已有mxbai-embed-large等嵌入模型重啟容器后文檔丟失未掛載數(shù)據(jù)卷添加-v ./local_data:/home/worker/app/local_data遇到更復(fù)雜的問題可以查閱 故障排查文檔或用 Workbench 里的 API Debugger 直接看請(qǐng)求詳情?？偨Y(jié)階段你完成了什么? 一條命令docker run啟動(dòng) PrivateGPT連接 Ollama? 本地驗(yàn)證/ui打開 Workbench發(fā)消息、傳文檔、看引用? 生產(chǎn)就緒數(shù)據(jù)卷持久化 配置 Profile 鑒權(quán) 可觀測性PrivateGPT 讓本地模型與生產(chǎn) AI 應(yīng)用之間只差一個(gè) Docker 容器。裝好它之后你的 Ollama 就不再只是能聊天的模型倉庫而是一個(gè)帶 RAG、工具、MCP 和數(shù)據(jù)查詢能力的完整私有 AI 后端。下一步建議從 Quickstart 指南 開始把消息 API 接入你自己的應(yīng)用。【免費(fèi)下載鏈接】privateGPTComplete API layer for private AI applications on local models: RAG, skills, tools, MCP, text-to-sql, and more. Works with any OpenAI-compatible inference server.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/pr/privateGPT創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 PrivateGPT Docker部署完全指南：一條命令從本地跑通到生產(chǎn)就緒
PrivateGPT Docker部署完全指南一條命令從本地跑通到生產(chǎn)就緒【免費(fèi)下載鏈接】privateGPTComplete API layer for private AI applications on local models: RAG, skills, tools, MCP, text-to-sql, and more. Works with any OpenAI-compatible inference server.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/pr/privateGPTPrivateGPT 是一個(gè)開源的本地 AI 應(yīng)用 API 層它把 Ollama、vLLM、llama.cpp 等本地模型變成生產(chǎn)級(jí)私有 AI 應(yīng)用的后端提供 RAG 檢索、引用溯源、工具調(diào)用、MCP 連接器和 Text-to-SQL 等能力。本文帶你用 Docker 部署 PrivateGPT一條docker run命令即可從本地跑通再進(jìn)階到生產(chǎn)就緒的配置。全程只需約 5 分鐘。為什么選擇 Docker 部署 PrivateGPT很多新手在本地跑通模型后會(huì)遇到第二個(gè)問題如何把模型變成一個(gè)可用的 AI 應(yīng)用后端Ollama、vLLM 回答的是怎么跑模型而 PrivateGPT 回答的是怎么在模型之上構(gòu)建應(yīng)用。用 Docker 部署 PrivateGPT 有三大好處環(huán)境隔離容器自帶 Python 3.11 運(yùn)行時(shí)、文檔解析庫LibreOffice、Poppler和瀏覽器依賴無需在本機(jī)裝任何環(huán)境可復(fù)現(xiàn)官方鏡像zylonai/private-gpt:latest預(yù)裝core全家桶隨時(shí)拉取、隨時(shí)回滾生產(chǎn)就緒容器化本身就是生產(chǎn)部署的標(biāo)準(zhǔn)形態(tài)后續(xù)擴(kuò)展為多容器編排毫無障礙鏡像的構(gòu)建細(xì)節(jié)可以查看倉庫中的 Dockerfile多階段構(gòu)建已經(jīng)把依賴安裝、瀏覽器緩存、編碼文件都提前打包好了。部署前的準(zhǔn)備工作啟動(dòng)你的 LLM 服務(wù)器PrivateGPT本身不跑模型它通過OPENAI_API_BASE連接任意兼容 OpenAI 協(xié)議的推理服務(wù)器。最簡單的新手選擇是 Ollama# 拉取一個(gè)對(duì)話模型LLM ollama pull qwen3.5:35b # 拉取一個(gè)嵌入模型EmbeddingsRAG 檢索必需 ollama pull mxbai-embed-large # 啟動(dòng)服務(wù)默認(rèn)監(jiān)聽 11434 端口 ollama serve 如果你用的是 LM Studio、llama.cpp 或 vLLM只要它們實(shí)現(xiàn)了/v1/chat/completions和/v1/models接口PrivateGPT 都能自動(dòng)發(fā)現(xiàn)并注冊(cè)模型無需任何配置文件。更多對(duì)比見 providers 文檔。一鍵 Docker 部署 PrivateGPTmacOS / Windows一條命令啟動(dòng)docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ zylonai/private-gpt:latesthost.docker.internal是 Docker 在 macOS 和 Windows 上訪問宿主機(jī)的特殊域名讓容器內(nèi)的 PrivateGPT 能找到你本機(jī)運(yùn)行的 Ollama。Linux 用戶使用 host 網(wǎng)絡(luò)模式docker run --network host \ -e OPENAI_API_BASEhttp://localhost:11434/v1 \ zylonai/private-gpt:latest如果 LLM 服務(wù)器需要 API Keydocker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:8000/v1 \ -e OPENAI_API_KEYyour-api-key \ zylonai/private-gpt:latest完整的分步說明見 Docker 安裝文檔。驗(yàn)證部署打開內(nèi)置 Workbench UI容器啟動(dòng)后打開瀏覽器訪問http://localhost:8080/ui你會(huì)看到 PrivateGPT 內(nèi)置的 Workbench 工作臺(tái)這個(gè) UI 不只是聊天窗口你可以用它快速驗(yàn)證部署是否成功發(fā)送消息確認(rèn)模型能正?；貜?fù)上傳文檔測試 RAG 檢索與引用溯源按會(huì)話開啟工具Web 搜索、代碼執(zhí)行等配置數(shù)據(jù)庫、MCP 連接器和自定義工具API 本體運(yùn)行在http://localhost:8080遵循 Anthropic 風(fēng)格 API 規(guī)范全部端點(diǎn)參考 API Reference。部署成功后Workbench 內(nèi)置的API Debugger還能實(shí)時(shí)抓包查看每一次請(qǐng)求與響應(yīng)排查問題時(shí)非常直觀生產(chǎn)就緒4 個(gè)關(guān)鍵配置從本地跑通到生產(chǎn)就緒只差下面 4 步1?? 掛載數(shù)據(jù)卷持久化上傳的文檔默認(rèn)情況下攝入的文檔存在容器內(nèi)部容器一刪就沒了。掛載一個(gè)卷即可解決docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ -v ./local_data:/home/worker/app/local_data \ zylonai/private-gpt:latest2?? 使用配置 Profile 管理模型參數(shù)PrivateGPT 通過 YAML 配置文件管理所有設(shè)置。項(xiàng)目根目錄的 settings.yaml 是所有配置的基線每個(gè)值都支持${環(huán)境變量:默認(rèn)值}的寫法因此改配置不用改代碼、不用重建鏡像。生產(chǎn)環(huán)境推薦創(chuàng)建獨(dú)立的 profile 文件如settings-prod.yaml啟動(dòng)時(shí)加載docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ -e PGPT_PROFILESprod \ zylonai/private-gpt:latestprofile 的加載與合并機(jī)制詳見 How it works 與 Settings Profiles。3?? 開啟鑒權(quán)與觀測鑒權(quán)在 profile 中設(shè)置server.auth.enabled: true并配置secret防止 API 被未授權(quán)訪問可觀測性設(shè)置observability.mode: arize_phoenix或opik把每一次 LLM 調(diào)用、嵌入請(qǐng)求和檢索步驟都變成可視化 trace詳見 Observability 文檔4?? 按需構(gòu)建自定義鏡像如果默認(rèn)鏡像不滿足需求比如要加隊(duì)列、可觀測性組件可以從源碼構(gòu)建并指定 extrasgit clone https://gitcode.com/GitHub_Trending/pr/privateGPT cd privateGPT docker build \ --build-arg EXTRAScore queue observability-opik \ -t private-gpt .常見問題排查癥狀可能原因解決方式容器啟動(dòng)后連接 LLM 超時(shí)OPENAI_API_BASE地址錯(cuò)誤Linux 用--network hostlocalhostmacOS/Windows 用host.docker.internalUI 打不開端口未映射確認(rèn)加了-p 8080:8080host 網(wǎng)絡(luò)模式除外上傳文檔檢索不到?jīng)]拉嵌入模型確認(rèn) Ollama 中已有mxbai-embed-large等嵌入模型重啟容器后文檔丟失未掛載數(shù)據(jù)卷添加-v ./local_data:/home/worker/app/local_data遇到更復(fù)雜的問題可以查閱 故障排查文檔或用 Workbench 里的 API Debugger 直接看請(qǐng)求詳情?？偨Y(jié)階段你完成了什么? 一條命令docker run啟動(dòng) PrivateGPT連接 Ollama? 本地驗(yàn)證/ui打開 Workbench發(fā)消息、傳文檔、看引用? 生產(chǎn)就緒數(shù)據(jù)卷持久化 配置 Profile 鑒權(quán) 可觀測性PrivateGPT 讓本地模型與生產(chǎn) AI 應(yīng)用之間只差一個(gè) Docker 容器。裝好它之后你的 Ollama 就不再只是能聊天的模型倉庫而是一個(gè)帶 RAG、工具、MCP 和數(shù)據(jù)查詢能力的完整私有 AI 后端。下一步建議從 Quickstart 指南 開始把消息 API 接入你自己的應(yīng)用。【免費(fèi)下載鏈接】privateGPTComplete API layer for private AI applications on local models: RAG, skills, tools, MCP, text-to-sql, and more. Works with any OpenAI-compatible inference server.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/pr/privateGPT創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考