百頁 PDF)
PageIndex 完整教程讓 Claude 和 Cursor 不靠向量庫讀懂數(shù)百頁 PDF【免費下載鏈接】PageIndex PageIndex: Document Index for Vectorless, Reasoning-based RAG項目地址: https://gitcode.com/GitHub_Trending/pa/PageIndexPageIndex MCP 接入是讓 Claude 與 Cursor 處理長文檔的常用做法。PageIndex 是一個開源文檔索引框架采用推理式 RAG它為長 PDF 生成目錄式樹狀索引由大模型沿樹檢索無需向量數(shù)據(jù)庫、不做文本分塊。本教程帶你完成安裝、調(diào)優(yōu)與接入 Claude/Cursor。長文檔問答的痛點相似不等于相關(guān)想象你手里有一份 200 多頁的財報或監(jiān)管文件想直接問 AI這個季度的現(xiàn)金流為什么下降用傳統(tǒng)向量 RAG 時常見的翻車方式是切塊切斷上下文一個完整論證被拆成幾個碎片模型只看到其中一塊答非所問相似 ≠ 相關(guān)向量檢索返回的是字面相近的段落而答案往往在語義相關(guān)但用詞不同的位置結(jié)果不可追溯回答從哪來、為什么選這幾段說不清楚專業(yè)場景不敢用。PageIndex 的思路是模仿人類專家查書的方式先看目錄定位章節(jié)再翻頁細讀。它把檢索從相似度計算變成了模型的一次次推理判斷。PageIndex 的原理兩步完成推理式 RAG整個流程分兩步核心索引邏輯在 pageindex/page_index_classic.py生成樹狀索引把整份 PDF 組織成類似目錄的結(jié)構(gòu)每個節(jié)點帶標題、起止頁碼、摘要和子節(jié)點樹搜索檢索把問題連同索引交給 LLM讓它逐步推理答案可能在哪個節(jié)點再讀取對應頁面內(nèi)容作答。生成的索引長這樣真實示例見 examples/documents/results/q1-fy25-earnings_structure.json{ title: Financial Stability, node_id: 0006, start_index: 21, end_index: 22, summary: The Federal Reserve ..., nodes: [ { title: Monitoring Financial Vulnerabilities, start_index: 22, end_index: 28 } ] }對比項傳統(tǒng)向量 RAGPageIndex依賴組件向量數(shù)據(jù)庫 分塊一棵樹 LLM 推理檢索單位人工切出的 chunk文檔的自然章節(jié)可追溯性低近似匹配高每步推理有據(jù)可查上下文注入需微調(diào)嵌入模型直接把專家知識寫進檢索提示詞最后一行是它做專家化檢索的關(guān)鍵想讓它查 10-K 財報時優(yōu)先看 Item 7MDA只需在樹搜索提示詞里加一句專家經(jīng)驗即可方法見 examples/tutorials/tree-search/。三步安裝并生成第一個文檔索引環(huán)境要求 Python 3.8。克隆并安裝依賴只需一條命令git clone https://gitcode.com/GitHub_Trending/pa/PageIndex cd PageIndex pip3 install --upgrade -r requirements.txt第 2 步配置模型密鑰。在根目錄建一個.env文件寫入OPENAI_API_KEY你的密鑰。通過 LiteLLM 也支持其他廠商比如把 pageindex/config.yaml 里的模型改為anthropic/claude-sonnet-4-6。第 3 步運行索引生成。python3 run_pageindex.py --pdf_path /path/to/your/document.pdf輸出就是上述格式的*_structure.json。常用可選參數(shù)與默認值如下按需調(diào)整即可參數(shù)默認值作用與調(diào)優(yōu)建議--modelgpt-4o-2024-11-20建樹所用 LLM--toc-check-pages20在文檔前多少頁內(nèi)查找目錄頁--max-pages-per-node10章節(jié)粒度粗的文檔可調(diào)大內(nèi)容密集則調(diào)小--max-tokens-per-node20000單個節(jié)點容納的 token 上限--if-add-node-summaryyes是否為每個節(jié)點生成摘要檢索質(zhì)量關(guān)鍵兩點提醒如果 Markdown 文件的標題層級#、##是可靠的也可以用--md_path直接對 md 建樹但從 PDF/HTML 轉(zhuǎn)換來的 md 大多丟失層級不建議走這條路。用 PageIndex Flash 快速生成樹索引標準模式靠 LLM 逐段判斷結(jié)構(gòu)長文檔要花不少時間。pageindex/flash/ 提供的 Flash 模式基于版面統(tǒng)計規(guī)則提取結(jié)構(gòu)生成樹的過程完全不需要 LLM摘要仍會調(diào)用一次模型千頁級文檔也能在秒級出結(jié)構(gòu)python3 run_pageindex.py --flash --pdf_path document.pdf加--optimize可讓 LLM 再對樹做一輪合并/展開得到更適合檢索的結(jié)構(gòu)。下圖是官方基準中耗時 vs 文檔頁數(shù)的關(guān)系可見 585 頁、1098 頁的長文檔依舊在可接受范圍內(nèi)最快接入 Claude 和 Cursor 的方法PageIndex 通過 MCP 協(xié)議對外提供服務倉庫內(nèi)置了 MCP 橋接pageindex/mcp_bridge.py與各 SDK 適配器pageindex/integrations/同一個索引能力可以接到不同工作環(huán)境里。Claude 桌面版在 Claude 桌面版設(shè)置的 MCP Servers 中添加 PageIndex MCP 服務器條目即可。之后可以直接把 PDF 交給對話讓它基于樹索引檢索作答回答會落到具體章節(jié)與頁碼。Cursor在 Cursor 的 MCP 設(shè)置里添加同一套 PageIndex 服務器配置。適合邊寫代碼邊查技術(shù)手冊把 API 文檔或規(guī)格書索引好后在聊天窗口提問模型沿樹定位到相關(guān)小節(jié)再回答不用你手動翻文檔。以 SDK 方式接入自己的程序如果要做自動化流水線pageindex/client.py 的PageIndexClient提供了一組現(xiàn)成入口as_claude_mcp()/claude_agent_config()直接產(chǎn)出 Claude Agent SDK 可用的mcp_servers配置as_openai_tools()對接 OpenAI Agents SDKagent_tools()任意 Agent 框架LangChain、PydanticAI 等都能用的普通函數(shù)工具。本地模式不傳 API key會用你自己的 LLM 密鑰在本地建索引和檢索云端模式則上傳 PDF 由服務端完成增強 OCR 與建樹接口一致。三個典型使用場景附適用人群財報與監(jiān)管文檔分析適用人群金融分析師、合規(guī)人員、投研團隊。SEC 文件、財報、監(jiān)管披露是這套方法最被驗證的場景基于 PageIndex 構(gòu)建的 Mafin 2.5 系統(tǒng)在 FinanceBench 金融文檔問答基準上取得了98.7% 的準確率大幅領(lǐng)先傳統(tǒng)向量 RAG 方案。樹搜索提示詞還可以注入領(lǐng)域規(guī)則例如問到 EBITDA 調(diào)整時優(yōu)先查 Item 7 和 Item 8 腳注。技術(shù)手冊與 API 文檔查詢適用人群研發(fā)工程師、技術(shù)文檔維護者。幾百頁的產(chǎn)品手冊索引后某個參數(shù)的取值范圍是什么這類問題可以秒級定位到章節(jié)。需要跨多份文檔檢索時examples/tutorials/doc-search/ 給出了按元數(shù)據(jù)、按語義、按描述三種輕量策略按文檔數(shù)量選擇即可。學術(shù)論文與長教材適用人群科研人員、研究生。examples/documents/ 里就放了 PRML758 頁等論文和教材的樣例索引Flash 基準也覆蓋了 15 頁的 Attention 論文到 1098 頁的機器學習教材如果想跳過 OCR、直接對頁面圖像做視覺推理可以看 cookbook/vision_RAG_pageindex.ipynb。從這些材料繼續(xù)深入材料路徑適合誰快速上手聊天cookbook/pageIndex_chat_quickstart.ipynb第一次跑通流程最小推理式 RAG 示例cookbook/pageindex_RAG_simple.ipynb想理解原理Agentic 無向量 RAG 完整示例examples/agentic_vectorless_rag_demo.py想自建 Agent 管線樹搜索 / 多文檔檢索教程examples/tutorials/想調(diào)優(yōu)檢索策略真實文檔與生成的樹examples/documents/results/想看索引長什么樣團隊還在持續(xù)擴展文檔格式支持、更強的推理檢索與更大規(guī)模的語料索引。建議就從手頭那份總也讀不完的 PDF 開始先跑一遍索引再把目錄樹喂給 Claude 或 Cursor 問一個問題感受下推理式檢索和向量檢索的差距?！久赓M下載鏈接】PageIndex PageIndex: Document Index for Vectorless, Reasoning-based RAG項目地址: https://gitcode.com/GitHub_Trending/pa/PageIndex創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 PageIndex 完整教程：讓 Claude 和 Cursor 不靠向量庫讀懂數(shù)百頁 PDF
PageIndex 完整教程讓 Claude 和 Cursor 不靠向量庫讀懂數(shù)百頁 PDF【免費下載鏈接】PageIndex PageIndex: Document Index for Vectorless, Reasoning-based RAG項目地址: https://gitcode.com/GitHub_Trending/pa/PageIndexPageIndex MCP 接入是讓 Claude 與 Cursor 處理長文檔的常用做法。PageIndex 是一個開源文檔索引框架采用推理式 RAG它為長 PDF 生成目錄式樹狀索引由大模型沿樹檢索無需向量數(shù)據(jù)庫、不做文本分塊。本教程帶你完成安裝、調(diào)優(yōu)與接入 Claude/Cursor。長文檔問答的痛點相似不等于相關(guān)想象你手里有一份 200 多頁的財報或監(jiān)管文件想直接問 AI這個季度的現(xiàn)金流為什么下降用傳統(tǒng)向量 RAG 時常見的翻車方式是切塊切斷上下文一個完整論證被拆成幾個碎片模型只看到其中一塊答非所問相似 ≠ 相關(guān)向量檢索返回的是字面相近的段落而答案往往在語義相關(guān)但用詞不同的位置結(jié)果不可追溯回答從哪來、為什么選這幾段說不清楚專業(yè)場景不敢用。PageIndex 的思路是模仿人類專家查書的方式先看目錄定位章節(jié)再翻頁細讀。它把檢索從相似度計算變成了模型的一次次推理判斷。PageIndex 的原理兩步完成推理式 RAG整個流程分兩步核心索引邏輯在 pageindex/page_index_classic.py生成樹狀索引把整份 PDF 組織成類似目錄的結(jié)構(gòu)每個節(jié)點帶標題、起止頁碼、摘要和子節(jié)點樹搜索檢索把問題連同索引交給 LLM讓它逐步推理答案可能在哪個節(jié)點再讀取對應頁面內(nèi)容作答。生成的索引長這樣真實示例見 examples/documents/results/q1-fy25-earnings_structure.json{ title: Financial Stability, node_id: 0006, start_index: 21, end_index: 22, summary: The Federal Reserve ..., nodes: [ { title: Monitoring Financial Vulnerabilities, start_index: 22, end_index: 28 } ] }對比項傳統(tǒng)向量 RAGPageIndex依賴組件向量數(shù)據(jù)庫 分塊一棵樹 LLM 推理檢索單位人工切出的 chunk文檔的自然章節(jié)可追溯性低近似匹配高每步推理有據(jù)可查上下文注入需微調(diào)嵌入模型直接把專家知識寫進檢索提示詞最后一行是它做專家化檢索的關(guān)鍵想讓它查 10-K 財報時優(yōu)先看 Item 7MDA只需在樹搜索提示詞里加一句專家經(jīng)驗即可方法見 examples/tutorials/tree-search/。三步安裝并生成第一個文檔索引環(huán)境要求 Python 3.8。克隆并安裝依賴只需一條命令git clone https://gitcode.com/GitHub_Trending/pa/PageIndex cd PageIndex pip3 install --upgrade -r requirements.txt第 2 步配置模型密鑰。在根目錄建一個.env文件寫入OPENAI_API_KEY你的密鑰。通過 LiteLLM 也支持其他廠商比如把 pageindex/config.yaml 里的模型改為anthropic/claude-sonnet-4-6。第 3 步運行索引生成。python3 run_pageindex.py --pdf_path /path/to/your/document.pdf輸出就是上述格式的*_structure.json。常用可選參數(shù)與默認值如下按需調(diào)整即可參數(shù)默認值作用與調(diào)優(yōu)建議--modelgpt-4o-2024-11-20建樹所用 LLM--toc-check-pages20在文檔前多少頁內(nèi)查找目錄頁--max-pages-per-node10章節(jié)粒度粗的文檔可調(diào)大內(nèi)容密集則調(diào)小--max-tokens-per-node20000單個節(jié)點容納的 token 上限--if-add-node-summaryyes是否為每個節(jié)點生成摘要檢索質(zhì)量關(guān)鍵兩點提醒如果 Markdown 文件的標題層級#、##是可靠的也可以用--md_path直接對 md 建樹但從 PDF/HTML 轉(zhuǎn)換來的 md 大多丟失層級不建議走這條路。用 PageIndex Flash 快速生成樹索引標準模式靠 LLM 逐段判斷結(jié)構(gòu)長文檔要花不少時間。pageindex/flash/ 提供的 Flash 模式基于版面統(tǒng)計規(guī)則提取結(jié)構(gòu)生成樹的過程完全不需要 LLM摘要仍會調(diào)用一次模型千頁級文檔也能在秒級出結(jié)構(gòu)python3 run_pageindex.py --flash --pdf_path document.pdf加--optimize可讓 LLM 再對樹做一輪合并/展開得到更適合檢索的結(jié)構(gòu)。下圖是官方基準中耗時 vs 文檔頁數(shù)的關(guān)系可見 585 頁、1098 頁的長文檔依舊在可接受范圍內(nèi)最快接入 Claude 和 Cursor 的方法PageIndex 通過 MCP 協(xié)議對外提供服務倉庫內(nèi)置了 MCP 橋接pageindex/mcp_bridge.py與各 SDK 適配器pageindex/integrations/同一個索引能力可以接到不同工作環(huán)境里。Claude 桌面版在 Claude 桌面版設(shè)置的 MCP Servers 中添加 PageIndex MCP 服務器條目即可。之后可以直接把 PDF 交給對話讓它基于樹索引檢索作答回答會落到具體章節(jié)與頁碼。Cursor在 Cursor 的 MCP 設(shè)置里添加同一套 PageIndex 服務器配置。適合邊寫代碼邊查技術(shù)手冊把 API 文檔或規(guī)格書索引好后在聊天窗口提問模型沿樹定位到相關(guān)小節(jié)再回答不用你手動翻文檔。以 SDK 方式接入自己的程序如果要做自動化流水線pageindex/client.py 的PageIndexClient提供了一組現(xiàn)成入口as_claude_mcp()/claude_agent_config()直接產(chǎn)出 Claude Agent SDK 可用的mcp_servers配置as_openai_tools()對接 OpenAI Agents SDKagent_tools()任意 Agent 框架LangChain、PydanticAI 等都能用的普通函數(shù)工具。本地模式不傳 API key會用你自己的 LLM 密鑰在本地建索引和檢索云端模式則上傳 PDF 由服務端完成增強 OCR 與建樹接口一致。三個典型使用場景附適用人群財報與監(jiān)管文檔分析適用人群金融分析師、合規(guī)人員、投研團隊。SEC 文件、財報、監(jiān)管披露是這套方法最被驗證的場景基于 PageIndex 構(gòu)建的 Mafin 2.5 系統(tǒng)在 FinanceBench 金融文檔問答基準上取得了98.7% 的準確率大幅領(lǐng)先傳統(tǒng)向量 RAG 方案。樹搜索提示詞還可以注入領(lǐng)域規(guī)則例如問到 EBITDA 調(diào)整時優(yōu)先查 Item 7 和 Item 8 腳注。技術(shù)手冊與 API 文檔查詢適用人群研發(fā)工程師、技術(shù)文檔維護者。幾百頁的產(chǎn)品手冊索引后某個參數(shù)的取值范圍是什么這類問題可以秒級定位到章節(jié)。需要跨多份文檔檢索時examples/tutorials/doc-search/ 給出了按元數(shù)據(jù)、按語義、按描述三種輕量策略按文檔數(shù)量選擇即可。學術(shù)論文與長教材適用人群科研人員、研究生。examples/documents/ 里就放了 PRML758 頁等論文和教材的樣例索引Flash 基準也覆蓋了 15 頁的 Attention 論文到 1098 頁的機器學習教材如果想跳過 OCR、直接對頁面圖像做視覺推理可以看 cookbook/vision_RAG_pageindex.ipynb。從這些材料繼續(xù)深入材料路徑適合誰快速上手聊天cookbook/pageIndex_chat_quickstart.ipynb第一次跑通流程最小推理式 RAG 示例cookbook/pageindex_RAG_simple.ipynb想理解原理Agentic 無向量 RAG 完整示例examples/agentic_vectorless_rag_demo.py想自建 Agent 管線樹搜索 / 多文檔檢索教程examples/tutorials/想調(diào)優(yōu)檢索策略真實文檔與生成的樹examples/documents/results/想看索引長什么樣團隊還在持續(xù)擴展文檔格式支持、更強的推理檢索與更大規(guī)模的語料索引。建議就從手頭那份總也讀不完的 PDF 開始先跑一遍索引再把目錄樹喂給 Claude 或 Cursor 問一個問題感受下推理式檢索和向量檢索的差距?！久赓M下載鏈接】PageIndex PageIndex: Document Index for Vectorless, Reasoning-based RAG項目地址: https://gitcode.com/GitHub_Trending/pa/PageIndex創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考