鍵安全修復(fù)、11 項(xiàng)新特性與升級(jí)遷移完全指南)
Crawl4AI v0.8.0 深度解析Docker API 關(guān)鍵安全修復(fù)、11 項(xiàng)新特性與升級(jí)遷移完全指南【免費(fèi)下載鏈接】crawl4ai Crawl4AI: Open-source LLM Friendly Web Crawler Scraper. Dont be shy, join here: https://discord.gg/jP8KfhDhyN項(xiàng)目地址: https://gitcode.com/GitHub_Trending/craw/crawl4aiCrawl4AI v0.8.02026-01-12 發(fā)布前一版本 v0.7.6是一次以安全為核心主線的版本它修復(fù)了 Docker API 部署中的兩個(gè)高危漏洞Hook 遠(yuǎn)程代碼執(zhí)行 RCE 與file://本地文件包含 LFI同時(shí)引入了 11 項(xiàng)新特性覆蓋 init_scripts 隱身注入、CDP 連接增強(qiáng)、深度爬取崩潰恢復(fù)、兩階段預(yù)取爬取Prefetch、代理增強(qiáng)與 Sitemap 智能 TTL 緩存。讀完本文你將理解這兩項(xiàng)破壞性變更Breaking Changes的確切影響與遷移方法掌握全部新特性的可用參數(shù)與源碼實(shí)現(xiàn)位置并能按照官方升級(jí)清單安全地從 v0.7.x 遷移到 v0.8.0。版本概覽項(xiàng)目?jī)?nèi)容發(fā)布日期2026 年 1 月CHANGELOG.md 記錄為 2026-01-12前一版本v0.7.6發(fā)布狀態(tài)Release Candidate核心主線Docker API 安全修復(fù)RCE / LFI 11 項(xiàng)新特性 2 項(xiàng)破壞性變更該版本的發(fā)布說(shuō)明位于 docs/blog/release-v0.8.0.md配套變更記錄見(jiàn) CHANGELOG.md安全漏洞報(bào)告草稿見(jiàn) docs/security/GHSA-DRAFT-RCE-LFI.md。破壞性變更Breaking Changesv0.8.0 包含兩項(xiàng)必須知曉的破壞性變更兩者都直接服務(wù)于安全加固。變更 1Docker API 的 Hooks 默認(rèn)禁用變更內(nèi)容Docker API 上的hooks參數(shù)默認(rèn)被禁用。原因修復(fù)遠(yuǎn)程代碼執(zhí)行RCE漏洞。影響范圍在/crawl請(qǐng)求中使用hooks參數(shù)的 Docker API 用戶。遷移方式——如果你確認(rèn)信任所有 API 調(diào)用方可以顯式重新開(kāi)啟# 重新啟用 hooks僅在你信任所有 API 用戶時(shí) export CRAWL4AI_HOOKS_ENABLEDtrue從源碼看該開(kāi)關(guān)在 deploy/docker/server.py 中讀取環(huán)境變量并做嚴(yán)格布爾判定HOOKS_ENABLED os.environ.get(CRAWL4AI_HOOKS_ENABLED, false).lower() true當(dāng)請(qǐng)求攜帶 hooks 而開(kāi)關(guān)未開(kāi)啟時(shí)/crawl與/crawl/stream兩個(gè)端點(diǎn)都會(huì)直接返回 403見(jiàn) server.py 的 403 攔截if crawl_request.hooks and not HOOKS_ENABLED: raise HTTPException(403, Hooks are disabled. Set CRAWL4AI_HOOKS_ENABLEDtrue to enable.)值得注意的是v0.8.0 對(duì) Hook 體系的改造不止于默認(rèn)關(guān)閉。舊版 hook_manager 采用編譯 exec()用戶 Python 的方式其沙箱可被__subclasses__MRO 遍歷等手段逃逸v0.8.0 引入了聲明式 Hook 注冊(cè)表deploy/docker/hook_registry.py請(qǐng)求只能在固定的一組 action 中選擇如屏蔽資源、注入 cookie/請(qǐng)求頭、滾動(dòng)加載、等待參數(shù)經(jīng)過(guò) Pydantic schema 校驗(yàn)每個(gè) action 映射到服務(wù)端編寫的單一 Playwright 操作——用戶字符串不再進(jìn)入任何解釋器。API 側(cè)可通過(guò)/hooks/info端點(diǎn)server.py查詢可用 action 及參數(shù) schema。真正需要任意 hook 代碼的進(jìn)階用戶官方建議改用自托管、進(jìn)程內(nèi)in-process的方式調(diào)用crawler_strategy.set_hook(...)此時(shí)調(diào)用方是可信的。deploy/docker/config.yml中的注釋也明確了生產(chǎn)環(huán)境建議config.yml# - Set jwt_enabled: true for authentication # - Set CRAWL4AI_HOOKS_ENABLEDtrue only if you need hooks (RCE risk) security: jwt_enabled: false # 生產(chǎn)環(huán)境建議改為 true相關(guān)回歸測(cè)試位于 deploy/docker/tests/test_security_fixes.py驗(yàn)證了CRAWL4AI_HOOKS_ENABLED在 true/false/未設(shè)置三種取值下的行為。變更 2Docker API 攔截 file:// URL變更內(nèi)容/execute_js、/screenshot、/pdf、/html端點(diǎn)現(xiàn)在會(huì)拒絕file://URL。原因修復(fù)本地文件包含LFI漏洞。影響范圍此前通過(guò) Docker API 讀取本地文件的用戶。遷移方式——本地文件處理請(qǐng)直接使用 Python 庫(kù)# 不再通過(guò) API 傳 file:// URL而是直接使用庫(kù) from crawl4ai import AsyncWebCrawler async with AsyncWebCrawler() as crawler: result await crawler.arun(urlfile:///path/to/file.html)從源碼看URL 白名單集中定義在 deploy/docker/server.pyALLOWED_URL_SCHEMES (http://, https://) ALLOWED_URL_SCHEMES_WITH_RAW (http://, https://, raw:, raw://) def validate_url_scheme(url: str, allow_raw: bool False) - None: Validate URL scheme (LFI) and destination (SSRF). allowed ALLOWED_URL_SCHEMES_WITH_RAW if allow_raw else ALLOWED_URL_SCHEMES if not url.startswith(allowed): schemes , .join(allowed) raise HTTPException(400, fURL must start with {schemes}) validate_url_destination(url)即普通端點(diǎn)只允許http:///https://需要接受本地 HTML 輸入的端點(diǎn)額外放行raw:前綴file://、javascript:、data:等 scheme 一律以 400 拒絕。validate_url_scheme同時(shí)串聯(lián)了目標(biāo)地址校驗(yàn)validate_url_destinationdeploy/docker/utils.py一并約束 SSRF 風(fēng)險(xiǎn)。/crawl端點(diǎn)對(duì) URL 的 scheme 前置檢查見(jiàn) server.py。安全修復(fù)細(xì)節(jié)Critical通過(guò) Hooks 的遠(yuǎn)程代碼執(zhí)行RCE項(xiàng)目?jī)?nèi)容嚴(yán)重等級(jí)CRITICALCVSS 10.0影響范圍v0.8.0 之前的所有 Docker API 部署攻擊向量攜帶惡意hooks參數(shù)的POST /crawl漏洞原理hook 代碼中__import__內(nèi)建函數(shù)可用攻擊者可借此導(dǎo)入os、subprocess等模塊執(zhí)行任意命令。修復(fù)措施兩道防線從允許的 builtins 中移除__import__阻斷任意模塊導(dǎo)入默認(rèn)禁用 hooksCRAWL4AI_HOOKS_ENABLEDfalse即使第一道防線被繞過(guò)攻擊面也已關(guān)閉。測(cè)試用例 test_security_fixes.py 中保留了典型攻擊載荷樣本如__import__(os).system(id)用于回歸驗(yàn)證修復(fù)有效性。High通過(guò) file:// URL 的本地文件包含LFI項(xiàng)目?jī)?nèi)容嚴(yán)重等級(jí)HIGHCVSS 8.6影響范圍v0.8.0 之前的所有 Docker API 部署攻擊向量攜帶file:///etc/passwd的POST /execute_js及其他端點(diǎn)漏洞原理API 端點(diǎn)接受file://URL攻擊者可讀取服務(wù)器上的任意文件。修復(fù)措施引入 URL scheme 校驗(yàn)僅允許http://、https://以及接受本地 HTML 的端點(diǎn)額外允許raw:。漏洞致謝由 ProjectDiscovery 的 Neo 于 2025 年 12 月負(fù)責(zé)任務(wù)披露Responsible Disclosure。11 項(xiàng)新特性1. BrowserConfig 支持 init_scripts頁(yè)面加載前注入 JavaScript用于隱身反檢測(cè)stealth evasionconfig BrowserConfig( init_scripts[ Object.defineProperty(navigator, webdriver, {get: () false}) ] )腳本在頁(yè)面文檔加載之前執(zhí)行因此能覆蓋如navigator.webdriver這類會(huì)在頁(yè)面加載后固化的檢測(cè)點(diǎn)。倉(cāng)庫(kù)中init_scripts的處理鏈貫穿 crawl4ai/async_configs.py、crawl4ai/browser_manager.py 與 crawl4ai/browser_adapter.py配合 crawl4ai/js_snippet/ 目錄下的官方腳本如navigator_overrider.js、remove_consent_popups.js等可快速構(gòu)建隱身方案。2. CDP 連接增強(qiáng)支持 WebSocket URLws://、wss://直接連接cdp_cleanup_on_closeTrue實(shí)現(xiàn)正確的資源清理支持在多個(gè)連接間復(fù)用同一瀏覽器。從源碼看crawl4ai/browser_manager.py 對(duì) CDP URL 做了識(shí)別支持ws://localhost:9222/devtools/browser/xxx形式關(guān)閉時(shí)依據(jù)cdp_cleanup_on_close決定是否斷開(kāi)并清理瀏覽器進(jìn)程browser_manager.py。相關(guān)行為由 tests/browser/test_cdp_cleanup_reuse.py 與 tests/browser/test_cdp_strategy.py 覆蓋驗(yàn)證。3. 深度爬取策略的崩潰恢復(fù)Crash RecoveryBFS、DFS、Best-First 三種深度爬取策略全部支持?jǐn)帱c(diǎn)續(xù)爬from crawl4ai.deep_crawling import BFSDeepCrawlStrategy strategy BFSDeepCrawlStrategy( max_depth3, resume_statesaved_state, # 從檢查點(diǎn)恢復(fù) on_state_changesave_callback # 實(shí)時(shí)持久化狀態(tài) )從源碼實(shí)現(xiàn)看以 crawl4ai/deep_crawling/bfs_strategy.py 為例構(gòu)造函數(shù)接收resume_state恢復(fù)快照與on_state_change異步回調(diào)兩個(gè)可選參數(shù)爬取啟動(dòng)時(shí)若存在resume_state會(huì)還原visited集合、待處理隊(duì)列pending、各 URL 深度depths與pages_crawled計(jì)數(shù)bfs_strategy.py實(shí)現(xiàn)從檢查點(diǎn)繼續(xù)每當(dāng)狀態(tài)推進(jìn)時(shí)調(diào)用on_state_change落盤bfs_strategy.py保證進(jìn)程隨時(shí)中斷都能保留最近的進(jìn)度Best-First 策略crawl4ai/deep_crawling/bff_strategy.py額外維護(hù)了一個(gè)隊(duì)列影子列表_queue_shadow僅在設(shè)置on_state_change時(shí)啟用用于把隊(duì)列內(nèi)容完整序列化進(jìn)快照。配套測(cè)試見(jiàn) tests/deep_crawling/test_deep_crawl_resume.py 與 tests/deep_crawling/test_deep_crawl_resume_integration.py示例腳本見(jiàn) docs/examples/deep_crawl_crash_recovery.py。4. 為 raw:/file:// URL 生成 PDF 和 MHTML可對(duì)已緩存的 HTML 內(nèi)容離線生成 PDF 與 MHTML 格式產(chǎn)物無(wú)需重新抓取頁(yè)面。5. 為 raw:/file:// URL 截圖渲染已緩存的 HTML 并捕獲截圖與第 4 項(xiàng)配合讓離線內(nèi)容獲得與在線 URL 一致的產(chǎn)物能力。6. CrawlerRunConfig 新增 base_url 參數(shù)為raw:HTML 處理提供正確的相對(duì)鏈接解析基準(zhǔn)config CrawlerRunConfig(base_urlhttps://example.com) result await crawler.arun(urlraw:{html}, configconfig)在 crawl4ai/async_configs.py 中base_url的文檔說(shuō)明為用于 markdown 鏈接解析的基準(zhǔn) URL與 raw: HTML 配合使用即當(dāng)傳入的原始 HTML 里存在相對(duì)鏈接時(shí)Markdown 產(chǎn)物中的鏈接會(huì)以base_url為基準(zhǔn)補(bǔ)全為絕對(duì) URL。7. 兩階段深度爬取的 Prefetch 模式快速提取鏈接而不做完整頁(yè)面處理適合先廣撒網(wǎng)、再精細(xì)處理的兩階段深度爬取config CrawlerRunConfig(prefetchTrue)從源碼定義看async_configs.py其語(yǔ)義為返回 HTML 鏈接列表跳過(guò)重處理skip heavy processing。配合深度爬取策略第一階段用 prefetch 快速建圖第二階段再對(duì)目標(biāo)頁(yè)面做完整提取。集成測(cè)試見(jiàn) tests/test_prefetch_mode.py、tests/test_prefetch_integration.py示例見(jiàn) docs/examples/prefetch_two_phase_crawl.py。8. 代理輪換與配置增強(qiáng)增強(qiáng)的代理輪換能力并支持粘性會(huì)話sticky sessions——同一目標(biāo)會(huì)話保持同一出口代理避免頻繁換 IP 觸發(fā)風(fēng)控。相關(guān)測(cè)試覆蓋在 tests/proxy/ 目錄test_sticky_sessions.py、test_proxy_config.py、test_proxy_rotation相關(guān)回歸示例腳本見(jiàn) docs/examples/proxy_rotation_demo.py。9. HTTP 策略支持代理非瀏覽器爬蟲HTTP 直連策略現(xiàn)在也支持代理與瀏覽器策略的代理能力對(duì)齊輕量抓取場(chǎng)景同樣可以走代理池。10. 為 raw:/file:// URL 提供瀏覽器管線新增process_in_browser參數(shù)強(qiáng)制讓本地內(nèi)容走瀏覽器管線config CrawlerRunConfig( process_in_browserTrue, # 強(qiáng)制瀏覽器處理 screenshotTrue ) result await crawler.arun(urlraw:html.../html, configconfig)該參數(shù)定義于 async_configs.py文檔說(shuō)明為If True, forces raw:/file:// URLs to be processed through the browser。默認(rèn)情況下raw:/file://內(nèi)容走輕量管線而本地內(nèi)容若需要 JS 渲染、截圖、PDF 等瀏覽器能力此前無(wú)法達(dá)成process_in_browserTrue打通了這條路。11. Sitemap URL Seeder 的智能 TTL 緩存Sitemap 抓取的智能緩存失效機(jī)制config SeedingConfig( cache_ttl_hours24, validate_sitemap_lastmodTrue )從源碼看async_configs.py兩個(gè)參數(shù)的默認(rèn)值即為cache_ttl_hours24、validate_sitemap_lastmodTruecache_ttl_hourssitemap 緩存過(guò)期時(shí)間小時(shí)設(shè)為 0 可禁用 TTLvalidate_sitemap_lastmod為 True 時(shí)將 sitemap 中的lastmod與緩存中記錄的版本對(duì)比若站點(diǎn)聲明內(nèi)容已更新則使緩存失效。實(shí)際校驗(yàn)邏輯在 crawl4ai/async_url_seeder.py 的_is_cache_valid()中先比 TTL再按需比對(duì) lastmodasync_url_seeder.py。參數(shù)詳解文檔見(jiàn) docs/md_v2/core/url-seeding.md示例見(jiàn) docs/examples/url_seeder/url_seeder_demo.py。Bug 修復(fù)raw: URL 在 # 字符處被截?cái)鄦?wèn)題CSS 顏色碼如#eee在解析raw:URL 時(shí)被當(dāng)作 URL 片段分隔符截?cái)?。修?fù)前raw:body{background:#eee}→body{background:修復(fù)后raw:body{background:#eee}→body{background:#eee}raw:URL 的識(shí)別與剝離邏輯位于 crawl4ai/async_webcrawler.py修復(fù)后不再以首個(gè)#作為 HTML 內(nèi)容的截止點(diǎn)。緩存系統(tǒng)改進(jìn)對(duì)緩存校驗(yàn)與持久化做了多項(xiàng)修復(fù)與上述 Sitemap 智能 TTL 緩存同屬緩存鏈路的質(zhì)量加固。文檔更新多樣本 Schema 生成Multi-sample schema generation文檔URL Seeder 智能 TTL 緩存參數(shù)說(shuō)明安全文檔 SECURITY.md漏洞報(bào)告與披露流程。升級(jí)指南v0.7.x → v0.8.0分步操作升級(jí)包pip install --upgrade crawl4aiDocker API 用戶注意Hooks 默認(rèn)已禁用如確需 hooksexport CRAWL4AI_HOOKS_ENABLEDtruefile://URL 在 API 上不再可用請(qǐng)改用 Python 庫(kù)處理本地文件。審查安全配置生產(chǎn)環(huán)境推薦# config.yml - 生產(chǎn)環(huán)境推薦 security: enabled: true jwt_enabled: true部署到生產(chǎn)前完成集成測(cè)試。破壞性變更自查清單確認(rèn)你的 API 調(diào)用是否使用了hooks參數(shù)確認(rèn)你是否通過(guò) API 使用file://URL必要時(shí)更新環(huán)境變量CRAWL4AI_HOOKS_ENABLED審查安全配置JWT 認(rèn)證、安全開(kāi)關(guān)完整變更歷史完整版本歷史見(jiàn) CHANGELOG.md其中 v0.8.0 條目同時(shí)收錄了本文覆蓋的安全修復(fù)、破壞性變更、11 項(xiàng)新增特性、Bug 修復(fù)與文檔更新。小結(jié)v0.8.0 的基調(diào)非常明確先把不可信邊界Docker API收緊再擴(kuò)充核心能力。兩項(xiàng)破壞性變更分別對(duì)應(yīng) RCE 與 LFI 兩個(gè)真實(shí)可利用的漏洞且都提供了清晰的遷移路徑11 項(xiàng)新特性則以raw:/file://內(nèi)容管線、兩階段深度爬取和代理增強(qiáng)為主線顯著提升了離線處理與大規(guī)模爬取的工程可用性。如果你正在運(yùn)行 v0.7.x 的 Docker API 部署建議按上文的破壞性變更自查清單逐項(xiàng)核對(duì)后升級(jí)?！久赓M(fèi)下載鏈接】crawl4ai Crawl4AI: Open-source LLM Friendly Web Crawler Scraper. Dont be shy, join here: https://discord.gg/jP8KfhDhyN項(xiàng)目地址: https://gitcode.com/GitHub_Trending/craw/crawl4ai創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Crawl4AI v0.8.0 深度解析：Docker API 關(guān)鍵安全修復(fù)、11 項(xiàng)新特性與升級(jí)遷移完全指南
Crawl4AI v0.8.0 深度解析Docker API 關(guān)鍵安全修復(fù)、11 項(xiàng)新特性與升級(jí)遷移完全指南【免費(fèi)下載鏈接】crawl4ai Crawl4AI: Open-source LLM Friendly Web Crawler Scraper. Dont be shy, join here: https://discord.gg/jP8KfhDhyN項(xiàng)目地址: https://gitcode.com/GitHub_Trending/craw/crawl4aiCrawl4AI v0.8.02026-01-12 發(fā)布前一版本 v0.7.6是一次以安全為核心主線的版本它修復(fù)了 Docker API 部署中的兩個(gè)高危漏洞Hook 遠(yuǎn)程代碼執(zhí)行 RCE 與file://本地文件包含 LFI同時(shí)引入了 11 項(xiàng)新特性覆蓋 init_scripts 隱身注入、CDP 連接增強(qiáng)、深度爬取崩潰恢復(fù)、兩階段預(yù)取爬取Prefetch、代理增強(qiáng)與 Sitemap 智能 TTL 緩存。讀完本文你將理解這兩項(xiàng)破壞性變更Breaking Changes的確切影響與遷移方法掌握全部新特性的可用參數(shù)與源碼實(shí)現(xiàn)位置并能按照官方升級(jí)清單安全地從 v0.7.x 遷移到 v0.8.0。版本概覽項(xiàng)目?jī)?nèi)容發(fā)布日期2026 年 1 月CHANGELOG.md 記錄為 2026-01-12前一版本v0.7.6發(fā)布狀態(tài)Release Candidate核心主線Docker API 安全修復(fù)RCE / LFI 11 項(xiàng)新特性 2 項(xiàng)破壞性變更該版本的發(fā)布說(shuō)明位于 docs/blog/release-v0.8.0.md配套變更記錄見(jiàn) CHANGELOG.md安全漏洞報(bào)告草稿見(jiàn) docs/security/GHSA-DRAFT-RCE-LFI.md。破壞性變更Breaking Changesv0.8.0 包含兩項(xiàng)必須知曉的破壞性變更兩者都直接服務(wù)于安全加固。變更 1Docker API 的 Hooks 默認(rèn)禁用變更內(nèi)容Docker API 上的hooks參數(shù)默認(rèn)被禁用。原因修復(fù)遠(yuǎn)程代碼執(zhí)行RCE漏洞。影響范圍在/crawl請(qǐng)求中使用hooks參數(shù)的 Docker API 用戶。遷移方式——如果你確認(rèn)信任所有 API 調(diào)用方可以顯式重新開(kāi)啟# 重新啟用 hooks僅在你信任所有 API 用戶時(shí) export CRAWL4AI_HOOKS_ENABLEDtrue從源碼看該開(kāi)關(guān)在 deploy/docker/server.py 中讀取環(huán)境變量并做嚴(yán)格布爾判定HOOKS_ENABLED os.environ.get(CRAWL4AI_HOOKS_ENABLED, false).lower() true當(dāng)請(qǐng)求攜帶 hooks 而開(kāi)關(guān)未開(kāi)啟時(shí)/crawl與/crawl/stream兩個(gè)端點(diǎn)都會(huì)直接返回 403見(jiàn) server.py 的 403 攔截if crawl_request.hooks and not HOOKS_ENABLED: raise HTTPException(403, Hooks are disabled. Set CRAWL4AI_HOOKS_ENABLEDtrue to enable.)值得注意的是v0.8.0 對(duì) Hook 體系的改造不止于默認(rèn)關(guān)閉。舊版 hook_manager 采用編譯 exec()用戶 Python 的方式其沙箱可被__subclasses__MRO 遍歷等手段逃逸v0.8.0 引入了聲明式 Hook 注冊(cè)表deploy/docker/hook_registry.py請(qǐng)求只能在固定的一組 action 中選擇如屏蔽資源、注入 cookie/請(qǐng)求頭、滾動(dòng)加載、等待參數(shù)經(jīng)過(guò) Pydantic schema 校驗(yàn)每個(gè) action 映射到服務(wù)端編寫的單一 Playwright 操作——用戶字符串不再進(jìn)入任何解釋器。API 側(cè)可通過(guò)/hooks/info端點(diǎn)server.py查詢可用 action 及參數(shù) schema。真正需要任意 hook 代碼的進(jìn)階用戶官方建議改用自托管、進(jìn)程內(nèi)in-process的方式調(diào)用crawler_strategy.set_hook(...)此時(shí)調(diào)用方是可信的。deploy/docker/config.yml中的注釋也明確了生產(chǎn)環(huán)境建議config.yml# - Set jwt_enabled: true for authentication # - Set CRAWL4AI_HOOKS_ENABLEDtrue only if you need hooks (RCE risk) security: jwt_enabled: false # 生產(chǎn)環(huán)境建議改為 true相關(guān)回歸測(cè)試位于 deploy/docker/tests/test_security_fixes.py驗(yàn)證了CRAWL4AI_HOOKS_ENABLED在 true/false/未設(shè)置三種取值下的行為。變更 2Docker API 攔截 file:// URL變更內(nèi)容/execute_js、/screenshot、/pdf、/html端點(diǎn)現(xiàn)在會(huì)拒絕file://URL。原因修復(fù)本地文件包含LFI漏洞。影響范圍此前通過(guò) Docker API 讀取本地文件的用戶。遷移方式——本地文件處理請(qǐng)直接使用 Python 庫(kù)# 不再通過(guò) API 傳 file:// URL而是直接使用庫(kù) from crawl4ai import AsyncWebCrawler async with AsyncWebCrawler() as crawler: result await crawler.arun(urlfile:///path/to/file.html)從源碼看URL 白名單集中定義在 deploy/docker/server.pyALLOWED_URL_SCHEMES (http://, https://) ALLOWED_URL_SCHEMES_WITH_RAW (http://, https://, raw:, raw://) def validate_url_scheme(url: str, allow_raw: bool False) - None: Validate URL scheme (LFI) and destination (SSRF). allowed ALLOWED_URL_SCHEMES_WITH_RAW if allow_raw else ALLOWED_URL_SCHEMES if not url.startswith(allowed): schemes , .join(allowed) raise HTTPException(400, fURL must start with {schemes}) validate_url_destination(url)即普通端點(diǎn)只允許http:///https://需要接受本地 HTML 輸入的端點(diǎn)額外放行raw:前綴file://、javascript:、data:等 scheme 一律以 400 拒絕。validate_url_scheme同時(shí)串聯(lián)了目標(biāo)地址校驗(yàn)validate_url_destinationdeploy/docker/utils.py一并約束 SSRF 風(fēng)險(xiǎn)。/crawl端點(diǎn)對(duì) URL 的 scheme 前置檢查見(jiàn) server.py。安全修復(fù)細(xì)節(jié)Critical通過(guò) Hooks 的遠(yuǎn)程代碼執(zhí)行RCE項(xiàng)目?jī)?nèi)容嚴(yán)重等級(jí)CRITICALCVSS 10.0影響范圍v0.8.0 之前的所有 Docker API 部署攻擊向量攜帶惡意hooks參數(shù)的POST /crawl漏洞原理hook 代碼中__import__內(nèi)建函數(shù)可用攻擊者可借此導(dǎo)入os、subprocess等模塊執(zhí)行任意命令。修復(fù)措施兩道防線從允許的 builtins 中移除__import__阻斷任意模塊導(dǎo)入默認(rèn)禁用 hooksCRAWL4AI_HOOKS_ENABLEDfalse即使第一道防線被繞過(guò)攻擊面也已關(guān)閉。測(cè)試用例 test_security_fixes.py 中保留了典型攻擊載荷樣本如__import__(os).system(id)用于回歸驗(yàn)證修復(fù)有效性。High通過(guò) file:// URL 的本地文件包含LFI項(xiàng)目?jī)?nèi)容嚴(yán)重等級(jí)HIGHCVSS 8.6影響范圍v0.8.0 之前的所有 Docker API 部署攻擊向量攜帶file:///etc/passwd的POST /execute_js及其他端點(diǎn)漏洞原理API 端點(diǎn)接受file://URL攻擊者可讀取服務(wù)器上的任意文件。修復(fù)措施引入 URL scheme 校驗(yàn)僅允許http://、https://以及接受本地 HTML 的端點(diǎn)額外允許raw:。漏洞致謝由 ProjectDiscovery 的 Neo 于 2025 年 12 月負(fù)責(zé)任務(wù)披露Responsible Disclosure。11 項(xiàng)新特性1. BrowserConfig 支持 init_scripts頁(yè)面加載前注入 JavaScript用于隱身反檢測(cè)stealth evasionconfig BrowserConfig( init_scripts[ Object.defineProperty(navigator, webdriver, {get: () false}) ] )腳本在頁(yè)面文檔加載之前執(zhí)行因此能覆蓋如navigator.webdriver這類會(huì)在頁(yè)面加載后固化的檢測(cè)點(diǎn)。倉(cāng)庫(kù)中init_scripts的處理鏈貫穿 crawl4ai/async_configs.py、crawl4ai/browser_manager.py 與 crawl4ai/browser_adapter.py配合 crawl4ai/js_snippet/ 目錄下的官方腳本如navigator_overrider.js、remove_consent_popups.js等可快速構(gòu)建隱身方案。2. CDP 連接增強(qiáng)支持 WebSocket URLws://、wss://直接連接cdp_cleanup_on_closeTrue實(shí)現(xiàn)正確的資源清理支持在多個(gè)連接間復(fù)用同一瀏覽器。從源碼看crawl4ai/browser_manager.py 對(duì) CDP URL 做了識(shí)別支持ws://localhost:9222/devtools/browser/xxx形式關(guān)閉時(shí)依據(jù)cdp_cleanup_on_close決定是否斷開(kāi)并清理瀏覽器進(jìn)程browser_manager.py。相關(guān)行為由 tests/browser/test_cdp_cleanup_reuse.py 與 tests/browser/test_cdp_strategy.py 覆蓋驗(yàn)證。3. 深度爬取策略的崩潰恢復(fù)Crash RecoveryBFS、DFS、Best-First 三種深度爬取策略全部支持?jǐn)帱c(diǎn)續(xù)爬from crawl4ai.deep_crawling import BFSDeepCrawlStrategy strategy BFSDeepCrawlStrategy( max_depth3, resume_statesaved_state, # 從檢查點(diǎn)恢復(fù) on_state_changesave_callback # 實(shí)時(shí)持久化狀態(tài) )從源碼實(shí)現(xiàn)看以 crawl4ai/deep_crawling/bfs_strategy.py 為例構(gòu)造函數(shù)接收resume_state恢復(fù)快照與on_state_change異步回調(diào)兩個(gè)可選參數(shù)爬取啟動(dòng)時(shí)若存在resume_state會(huì)還原visited集合、待處理隊(duì)列pending、各 URL 深度depths與pages_crawled計(jì)數(shù)bfs_strategy.py實(shí)現(xiàn)從檢查點(diǎn)繼續(xù)每當(dāng)狀態(tài)推進(jìn)時(shí)調(diào)用on_state_change落盤bfs_strategy.py保證進(jìn)程隨時(shí)中斷都能保留最近的進(jìn)度Best-First 策略crawl4ai/deep_crawling/bff_strategy.py額外維護(hù)了一個(gè)隊(duì)列影子列表_queue_shadow僅在設(shè)置on_state_change時(shí)啟用用于把隊(duì)列內(nèi)容完整序列化進(jìn)快照。配套測(cè)試見(jiàn) tests/deep_crawling/test_deep_crawl_resume.py 與 tests/deep_crawling/test_deep_crawl_resume_integration.py示例腳本見(jiàn) docs/examples/deep_crawl_crash_recovery.py。4. 為 raw:/file:// URL 生成 PDF 和 MHTML可對(duì)已緩存的 HTML 內(nèi)容離線生成 PDF 與 MHTML 格式產(chǎn)物無(wú)需重新抓取頁(yè)面。5. 為 raw:/file:// URL 截圖渲染已緩存的 HTML 并捕獲截圖與第 4 項(xiàng)配合讓離線內(nèi)容獲得與在線 URL 一致的產(chǎn)物能力。6. CrawlerRunConfig 新增 base_url 參數(shù)為raw:HTML 處理提供正確的相對(duì)鏈接解析基準(zhǔn)config CrawlerRunConfig(base_urlhttps://example.com) result await crawler.arun(urlraw:{html}, configconfig)在 crawl4ai/async_configs.py 中base_url的文檔說(shuō)明為用于 markdown 鏈接解析的基準(zhǔn) URL與 raw: HTML 配合使用即當(dāng)傳入的原始 HTML 里存在相對(duì)鏈接時(shí)Markdown 產(chǎn)物中的鏈接會(huì)以base_url為基準(zhǔn)補(bǔ)全為絕對(duì) URL。7. 兩階段深度爬取的 Prefetch 模式快速提取鏈接而不做完整頁(yè)面處理適合先廣撒網(wǎng)、再精細(xì)處理的兩階段深度爬取config CrawlerRunConfig(prefetchTrue)從源碼定義看async_configs.py其語(yǔ)義為返回 HTML 鏈接列表跳過(guò)重處理skip heavy processing。配合深度爬取策略第一階段用 prefetch 快速建圖第二階段再對(duì)目標(biāo)頁(yè)面做完整提取。集成測(cè)試見(jiàn) tests/test_prefetch_mode.py、tests/test_prefetch_integration.py示例見(jiàn) docs/examples/prefetch_two_phase_crawl.py。8. 代理輪換與配置增強(qiáng)增強(qiáng)的代理輪換能力并支持粘性會(huì)話sticky sessions——同一目標(biāo)會(huì)話保持同一出口代理避免頻繁換 IP 觸發(fā)風(fēng)控。相關(guān)測(cè)試覆蓋在 tests/proxy/ 目錄test_sticky_sessions.py、test_proxy_config.py、test_proxy_rotation相關(guān)回歸示例腳本見(jiàn) docs/examples/proxy_rotation_demo.py。9. HTTP 策略支持代理非瀏覽器爬蟲HTTP 直連策略現(xiàn)在也支持代理與瀏覽器策略的代理能力對(duì)齊輕量抓取場(chǎng)景同樣可以走代理池。10. 為 raw:/file:// URL 提供瀏覽器管線新增process_in_browser參數(shù)強(qiáng)制讓本地內(nèi)容走瀏覽器管線config CrawlerRunConfig( process_in_browserTrue, # 強(qiáng)制瀏覽器處理 screenshotTrue ) result await crawler.arun(urlraw:html.../html, configconfig)該參數(shù)定義于 async_configs.py文檔說(shuō)明為If True, forces raw:/file:// URLs to be processed through the browser。默認(rèn)情況下raw:/file://內(nèi)容走輕量管線而本地內(nèi)容若需要 JS 渲染、截圖、PDF 等瀏覽器能力此前無(wú)法達(dá)成process_in_browserTrue打通了這條路。11. Sitemap URL Seeder 的智能 TTL 緩存Sitemap 抓取的智能緩存失效機(jī)制config SeedingConfig( cache_ttl_hours24, validate_sitemap_lastmodTrue )從源碼看async_configs.py兩個(gè)參數(shù)的默認(rèn)值即為cache_ttl_hours24、validate_sitemap_lastmodTruecache_ttl_hourssitemap 緩存過(guò)期時(shí)間小時(shí)設(shè)為 0 可禁用 TTLvalidate_sitemap_lastmod為 True 時(shí)將 sitemap 中的lastmod與緩存中記錄的版本對(duì)比若站點(diǎn)聲明內(nèi)容已更新則使緩存失效。實(shí)際校驗(yàn)邏輯在 crawl4ai/async_url_seeder.py 的_is_cache_valid()中先比 TTL再按需比對(duì) lastmodasync_url_seeder.py。參數(shù)詳解文檔見(jiàn) docs/md_v2/core/url-seeding.md示例見(jiàn) docs/examples/url_seeder/url_seeder_demo.py。Bug 修復(fù)raw: URL 在 # 字符處被截?cái)鄦?wèn)題CSS 顏色碼如#eee在解析raw:URL 時(shí)被當(dāng)作 URL 片段分隔符截?cái)?。修?fù)前raw:body{background:#eee}→body{background:修復(fù)后raw:body{background:#eee}→body{background:#eee}raw:URL 的識(shí)別與剝離邏輯位于 crawl4ai/async_webcrawler.py修復(fù)后不再以首個(gè)#作為 HTML 內(nèi)容的截止點(diǎn)。緩存系統(tǒng)改進(jìn)對(duì)緩存校驗(yàn)與持久化做了多項(xiàng)修復(fù)與上述 Sitemap 智能 TTL 緩存同屬緩存鏈路的質(zhì)量加固。文檔更新多樣本 Schema 生成Multi-sample schema generation文檔URL Seeder 智能 TTL 緩存參數(shù)說(shuō)明安全文檔 SECURITY.md漏洞報(bào)告與披露流程。升級(jí)指南v0.7.x → v0.8.0分步操作升級(jí)包pip install --upgrade crawl4aiDocker API 用戶注意Hooks 默認(rèn)已禁用如確需 hooksexport CRAWL4AI_HOOKS_ENABLEDtruefile://URL 在 API 上不再可用請(qǐng)改用 Python 庫(kù)處理本地文件。審查安全配置生產(chǎn)環(huán)境推薦# config.yml - 生產(chǎn)環(huán)境推薦 security: enabled: true jwt_enabled: true部署到生產(chǎn)前完成集成測(cè)試。破壞性變更自查清單確認(rèn)你的 API 調(diào)用是否使用了hooks參數(shù)確認(rèn)你是否通過(guò) API 使用file://URL必要時(shí)更新環(huán)境變量CRAWL4AI_HOOKS_ENABLED審查安全配置JWT 認(rèn)證、安全開(kāi)關(guān)完整變更歷史完整版本歷史見(jiàn) CHANGELOG.md其中 v0.8.0 條目同時(shí)收錄了本文覆蓋的安全修復(fù)、破壞性變更、11 項(xiàng)新增特性、Bug 修復(fù)與文檔更新。小結(jié)v0.8.0 的基調(diào)非常明確先把不可信邊界Docker API收緊再擴(kuò)充核心能力。兩項(xiàng)破壞性變更分別對(duì)應(yīng) RCE 與 LFI 兩個(gè)真實(shí)可利用的漏洞且都提供了清晰的遷移路徑11 項(xiàng)新特性則以raw:/file://內(nèi)容管線、兩階段深度爬取和代理增強(qiáng)為主線顯著提升了離線處理與大規(guī)模爬取的工程可用性。如果你正在運(yùn)行 v0.7.x 的 Docker API 部署建議按上文的破壞性變更自查清單逐項(xiàng)核對(duì)后升級(jí)?！久赓M(fèi)下載鏈接】crawl4ai Crawl4AI: Open-source LLM Friendly Web Crawler Scraper. Dont be shy, join here: https://discord.gg/jP8KfhDhyN項(xiàng)目地址: https://gitcode.com/GitHub_Trending/craw/crawl4ai創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考