雜文檔并問(wèn)答？)
如何用 GroundX 與本地 Ollama 在 ai-engineering-hub 處理含表格和圖形的復(fù)雜文檔并問(wèn)答【免費(fèi)下載鏈接】ai-engineering-hubIn-depth tutorials on LLMs, RAGs and real-world AI agent applications.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/ai/ai-engineering-hub在 ai-engineering-hub 的groundX-doc-pipeline項(xiàng)目中目標(biāo)是搭一條文檔處理流水線(xiàn)把含表格、圖形和密集文本的復(fù)雜文檔交給 Ground X 做解析與 X-Ray 分析再用本地 Ollama 服務(wù)的大模型對(duì)文檔內(nèi)容進(jìn)行問(wèn)答。整條鏈路是Streamlit 界面上傳文檔 → Ground X 云端解析出結(jié)構(gòu)化數(shù)據(jù) → 在多個(gè) Tab 中查看提取文本、摘要、關(guān)鍵詞等結(jié)果 → 在聊天界面直接向文檔提問(wèn)回答由本地phi3:mini模型生成。適用的前提是系統(tǒng)裝有 Python 3.8.1 或更高版本你有一個(gè) GroundX API Key并能本地運(yùn)行 Ollama。準(zhǔn)備環(huán)境依賴(lài)、API Key 與本地模型在 groundX-doc-pipeline 目錄下依次完成三步。安裝依賴(lài)。項(xiàng)目使用uv管理依賴(lài)在目錄內(nèi)執(zhí)行uv syncpyproject.toml 聲明了requires-python 3.8.1核心依賴(lài)包括streamlit1.28.0、groundx0.1.0、python-dotenv、requests、PyMuPDF等。配置 GroundX API Key。把.env.example復(fù)制為.env按 README 的說(shuō)明寫(xiě)入GROUNDX_API_KEYyour_groundx_api_key_here其中your_groundx_api_key_here是占位寫(xiě)法替換為你自己的 GroundX API Key。倉(cāng)庫(kù)中的 .env.example 還包含OPENAI_API_KEY和COMET_API_KEY兩項(xiàng)它們是評(píng)測(cè)腳本run_evaluation_cli.py使用的跑通文檔處理 問(wèn)答這條主鏈路時(shí)不需要配置。啟動(dòng)本地 Ollama 并拉取模型。應(yīng)用固定調(diào)用phi3:mini所以模型名必須一致# 安裝 Ollama 后拉取所需模型 ollama pull phi3:mini # 啟動(dòng) Ollama 服務(wù) ollama serve啟動(dòng) Streamlit 應(yīng)用在groundX-doc-pipeline目錄下運(yùn)行streamlit run app.py啟動(dòng)后 app.py 會(huì)做兩件準(zhǔn)備工作通過(guò) groundx_utils.py 中的create_client()初始化 Ground X 客戶(hù)端若讀不到 Key頁(yè)面會(huì)直接報(bào)No GROUNDX_API_KEY found in secrets, .env, or environment.再用ensure_bucket()確保名為gx_demo的存儲(chǔ)桶存在不存在則自動(dòng)創(chuàng)建。如果桶里已經(jīng)存在應(yīng)用默認(rèn)查找的文檔頁(yè)面會(huì)自動(dòng)加載它的 X-Ray 數(shù)據(jù)并在側(cè)邊欄顯示Auto-loaded此時(shí)可直接跳到底部用 Chat Tab 提問(wèn)。上傳復(fù)雜文檔并查看 X-Ray 解析結(jié)果在頁(yè)面?zhèn)冗厵诘?Choose a document 處上傳文件。根據(jù) README 和 app.py 中的上傳控件支持 PDF、PNG、JPG、JPEG、DOCX 五類(lèi)文件正好覆蓋含表格和圖形的復(fù)雜文檔這一場(chǎng)景。倉(cāng)庫(kù)的file/目錄下提供了file/electricity.pdf和file/energy-plus.pdf兩個(gè)示例 PDF可作為驗(yàn)證解析效果的練習(xí)文檔它們同時(shí)也被評(píng)測(cè)腳本run_evaluation_cli.py用作輸入。上傳后應(yīng)用進(jìn)入處理流程側(cè)邊狀態(tài)區(qū)會(huì)依次顯示上傳到 Ground X、處理中、拉取 X-Ray 數(shù)據(jù)的進(jìn)度源碼中通過(guò)輪詢(xún)process_id的 processing status 直到狀態(tài)變?yōu)閏omplete最長(zhǎng)等待 600 秒。處理成功時(shí)頁(yè)面顯示Document parsed successfully! Explore the results below.如果同名文件已在桶里則顯示Used existing file in bucket并直接復(fù)用已有解析結(jié)果。解析完成后頁(yè)面頂部會(huì)展示文檔指標(biāo)File Type、Language、Pages、Keywords下方是六個(gè)結(jié)果 TabJSON Output原始 X-Ray 分析數(shù)據(jù)Narrative Summary從文檔各頁(yè) chunks 中提取的敘述性文本File Summary文檔整體概述Suggested TextAI 建議的內(nèi)容Extracted Text按頁(yè)拼接的原始提取文本Keywords文檔關(guān)鍵詞列表。對(duì)含表格、圖形的文檔建議重點(diǎn)核對(duì) Extracted Text 與 JSON Output 兩個(gè) Tab判斷表格文字和圖注是否被正確抽取出來(lái)。用本地 Ollama 對(duì)文檔問(wèn)答切到Chat頁(yè)簽在輸入框輸入問(wèn)題即可。app.py 中prepare_chat_context()會(huì)先從 X-Ray 數(shù)據(jù)組裝上下文fileSummary全文加上前 2 頁(yè)、每頁(yè)前 3 個(gè) chunks每個(gè) chunk 截取前 500 字符的提取文本再附上fileType和language元數(shù)據(jù)。generate_chat_response()則向本地 Ollama 的http://localhost:11434/api/generate發(fā)起請(qǐng)求參數(shù)固定為{ model: phi3:mini, stream: false, options: { temperature: 0.3, top_p: 0.9, num_predict: 300, top_k: 10, repeat_penalty: 1.1 } }提示詞中要求模型直接、簡(jiǎn)潔地回答且在信息不足時(shí)回復(fù)I dont have enough information to answer that question。因此如果某個(gè)問(wèn)題涉及文檔第 3 頁(yè)之后的內(nèi)容模型可能因上下文中根本沒(méi)有那些內(nèi)容而回答信息不足——這是上下文組裝邏輯的既定邊界不是故障。驗(yàn)證結(jié)果與常見(jiàn)報(bào)錯(cuò)跑通整條鏈路的判斷依據(jù)來(lái)自界面本身給出的狀態(tài)文本處理成功顯示Document parsed successfully或Analysis complete!并能打開(kāi)六個(gè)結(jié)果 Tab解析失敗顯示Error processing document: ...。groundx_utils.py 中定義了兩類(lèi)具體錯(cuò)誤輪詢(xún)超過(guò) 600 秒拋出Ground X ingest timed out.ingest 以error或cancelled結(jié)束時(shí)拋出Ingest finished with status: ...問(wèn)答失敗聊天區(qū)返回Im having trouble accessing the AI model right now. Status: ...或Error: ...說(shuō)明請(qǐng)求localhost:11434失敗或狀態(tài)碼非 200先確認(rèn)ollama serve在運(yùn)行、phi3:mini已拉取完成。側(cè)邊欄還提供Re-process File與Clear Analysis按鈕用于強(qiáng)制重新處理或清空本次會(huì)話(huà)的分析狀態(tài)。邊界與限制問(wèn)答的上下文只覆蓋文檔前 2 頁(yè)的前 3 個(gè) chunks且單個(gè) chunk 截?cái)嗟?500 字符長(zhǎng)文檔后段的細(xì)節(jié)問(wèn)答不在該上下文設(shè)計(jì)范圍內(nèi)。num_predict固定為 300回答長(zhǎng)度受此上限約束。項(xiàng)目還包含基于 Opik GEval 的評(píng)測(cè)工具evaluation_geval.py、run_evaluation_cli.py它需要OPENAI_API_KEY和COMET_API_KEY屬于獨(dú)立于問(wèn)答鏈路之外的對(duì)比評(píng)測(cè)任務(wù)本文不展開(kāi)。若需要把該 Streamlit 服務(wù)托管到云端server.py 給出了基于 Beam 的部署入口配置了 8501 端口、4 CPU、2Gi 內(nèi)存可作為部署參考?！久赓M(fèi)下載鏈接】ai-engineering-hubIn-depth tutorials on LLMs, RAGs and real-world AI agent applications.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/ai/ai-engineering-hub創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 如何用 GroundX 與本地 Ollama 在 ai-engineering-hub 處理含表格和圖形的復(fù)雜文檔并問(wèn)答？
如何用 GroundX 與本地 Ollama 在 ai-engineering-hub 處理含表格和圖形的復(fù)雜文檔并問(wèn)答【免費(fèi)下載鏈接】ai-engineering-hubIn-depth tutorials on LLMs, RAGs and real-world AI agent applications.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/ai/ai-engineering-hub在 ai-engineering-hub 的groundX-doc-pipeline項(xiàng)目中目標(biāo)是搭一條文檔處理流水線(xiàn)把含表格、圖形和密集文本的復(fù)雜文檔交給 Ground X 做解析與 X-Ray 分析再用本地 Ollama 服務(wù)的大模型對(duì)文檔內(nèi)容進(jìn)行問(wèn)答。整條鏈路是Streamlit 界面上傳文檔 → Ground X 云端解析出結(jié)構(gòu)化數(shù)據(jù) → 在多個(gè) Tab 中查看提取文本、摘要、關(guān)鍵詞等結(jié)果 → 在聊天界面直接向文檔提問(wèn)回答由本地phi3:mini模型生成。適用的前提是系統(tǒng)裝有 Python 3.8.1 或更高版本你有一個(gè) GroundX API Key并能本地運(yùn)行 Ollama。準(zhǔn)備環(huán)境依賴(lài)、API Key 與本地模型在 groundX-doc-pipeline 目錄下依次完成三步。安裝依賴(lài)。項(xiàng)目使用uv管理依賴(lài)在目錄內(nèi)執(zhí)行uv syncpyproject.toml 聲明了requires-python 3.8.1核心依賴(lài)包括streamlit1.28.0、groundx0.1.0、python-dotenv、requests、PyMuPDF等。配置 GroundX API Key。把.env.example復(fù)制為.env按 README 的說(shuō)明寫(xiě)入GROUNDX_API_KEYyour_groundx_api_key_here其中your_groundx_api_key_here是占位寫(xiě)法替換為你自己的 GroundX API Key。倉(cāng)庫(kù)中的 .env.example 還包含OPENAI_API_KEY和COMET_API_KEY兩項(xiàng)它們是評(píng)測(cè)腳本run_evaluation_cli.py使用的跑通文檔處理 問(wèn)答這條主鏈路時(shí)不需要配置。啟動(dòng)本地 Ollama 并拉取模型。應(yīng)用固定調(diào)用phi3:mini所以模型名必須一致# 安裝 Ollama 后拉取所需模型 ollama pull phi3:mini # 啟動(dòng) Ollama 服務(wù) ollama serve啟動(dòng) Streamlit 應(yīng)用在groundX-doc-pipeline目錄下運(yùn)行streamlit run app.py啟動(dòng)后 app.py 會(huì)做兩件準(zhǔn)備工作通過(guò) groundx_utils.py 中的create_client()初始化 Ground X 客戶(hù)端若讀不到 Key頁(yè)面會(huì)直接報(bào)No GROUNDX_API_KEY found in secrets, .env, or environment.再用ensure_bucket()確保名為gx_demo的存儲(chǔ)桶存在不存在則自動(dòng)創(chuàng)建。如果桶里已經(jīng)存在應(yīng)用默認(rèn)查找的文檔頁(yè)面會(huì)自動(dòng)加載它的 X-Ray 數(shù)據(jù)并在側(cè)邊欄顯示Auto-loaded此時(shí)可直接跳到底部用 Chat Tab 提問(wèn)。上傳復(fù)雜文檔并查看 X-Ray 解析結(jié)果在頁(yè)面?zhèn)冗厵诘?Choose a document 處上傳文件。根據(jù) README 和 app.py 中的上傳控件支持 PDF、PNG、JPG、JPEG、DOCX 五類(lèi)文件正好覆蓋含表格和圖形的復(fù)雜文檔這一場(chǎng)景。倉(cāng)庫(kù)的file/目錄下提供了file/electricity.pdf和file/energy-plus.pdf兩個(gè)示例 PDF可作為驗(yàn)證解析效果的練習(xí)文檔它們同時(shí)也被評(píng)測(cè)腳本run_evaluation_cli.py用作輸入。上傳后應(yīng)用進(jìn)入處理流程側(cè)邊狀態(tài)區(qū)會(huì)依次顯示上傳到 Ground X、處理中、拉取 X-Ray 數(shù)據(jù)的進(jìn)度源碼中通過(guò)輪詢(xún)process_id的 processing status 直到狀態(tài)變?yōu)閏omplete最長(zhǎng)等待 600 秒。處理成功時(shí)頁(yè)面顯示Document parsed successfully! Explore the results below.如果同名文件已在桶里則顯示Used existing file in bucket并直接復(fù)用已有解析結(jié)果。解析完成后頁(yè)面頂部會(huì)展示文檔指標(biāo)File Type、Language、Pages、Keywords下方是六個(gè)結(jié)果 TabJSON Output原始 X-Ray 分析數(shù)據(jù)Narrative Summary從文檔各頁(yè) chunks 中提取的敘述性文本File Summary文檔整體概述Suggested TextAI 建議的內(nèi)容Extracted Text按頁(yè)拼接的原始提取文本Keywords文檔關(guān)鍵詞列表。對(duì)含表格、圖形的文檔建議重點(diǎn)核對(duì) Extracted Text 與 JSON Output 兩個(gè) Tab判斷表格文字和圖注是否被正確抽取出來(lái)。用本地 Ollama 對(duì)文檔問(wèn)答切到Chat頁(yè)簽在輸入框輸入問(wèn)題即可。app.py 中prepare_chat_context()會(huì)先從 X-Ray 數(shù)據(jù)組裝上下文fileSummary全文加上前 2 頁(yè)、每頁(yè)前 3 個(gè) chunks每個(gè) chunk 截取前 500 字符的提取文本再附上fileType和language元數(shù)據(jù)。generate_chat_response()則向本地 Ollama 的http://localhost:11434/api/generate發(fā)起請(qǐng)求參數(shù)固定為{ model: phi3:mini, stream: false, options: { temperature: 0.3, top_p: 0.9, num_predict: 300, top_k: 10, repeat_penalty: 1.1 } }提示詞中要求模型直接、簡(jiǎn)潔地回答且在信息不足時(shí)回復(fù)I dont have enough information to answer that question。因此如果某個(gè)問(wèn)題涉及文檔第 3 頁(yè)之后的內(nèi)容模型可能因上下文中根本沒(méi)有那些內(nèi)容而回答信息不足——這是上下文組裝邏輯的既定邊界不是故障。驗(yàn)證結(jié)果與常見(jiàn)報(bào)錯(cuò)跑通整條鏈路的判斷依據(jù)來(lái)自界面本身給出的狀態(tài)文本處理成功顯示Document parsed successfully或Analysis complete!并能打開(kāi)六個(gè)結(jié)果 Tab解析失敗顯示Error processing document: ...。groundx_utils.py 中定義了兩類(lèi)具體錯(cuò)誤輪詢(xún)超過(guò) 600 秒拋出Ground X ingest timed out.ingest 以error或cancelled結(jié)束時(shí)拋出Ingest finished with status: ...問(wèn)答失敗聊天區(qū)返回Im having trouble accessing the AI model right now. Status: ...或Error: ...說(shuō)明請(qǐng)求localhost:11434失敗或狀態(tài)碼非 200先確認(rèn)ollama serve在運(yùn)行、phi3:mini已拉取完成。側(cè)邊欄還提供Re-process File與Clear Analysis按鈕用于強(qiáng)制重新處理或清空本次會(huì)話(huà)的分析狀態(tài)。邊界與限制問(wèn)答的上下文只覆蓋文檔前 2 頁(yè)的前 3 個(gè) chunks且單個(gè) chunk 截?cái)嗟?500 字符長(zhǎng)文檔后段的細(xì)節(jié)問(wèn)答不在該上下文設(shè)計(jì)范圍內(nèi)。num_predict固定為 300回答長(zhǎng)度受此上限約束。項(xiàng)目還包含基于 Opik GEval 的評(píng)測(cè)工具evaluation_geval.py、run_evaluation_cli.py它需要OPENAI_API_KEY和COMET_API_KEY屬于獨(dú)立于問(wèn)答鏈路之外的對(duì)比評(píng)測(cè)任務(wù)本文不展開(kāi)。若需要把該 Streamlit 服務(wù)托管到云端server.py 給出了基于 Beam 的部署入口配置了 8501 端口、4 CPU、2Gi 內(nèi)存可作為部署參考?！久赓M(fèi)下載鏈接】ai-engineering-hubIn-depth tutorials on LLMs, RAGs and real-world AI agent applications.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/ai/ai-engineering-hub創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考