Crawl4AI v0.7.5 深度解析Docker Hooks 系統(tǒng)、函數(shù)式鉤子與 HTTPS 鏈接保留實(shí)戰(zhàn)【免費(fèi)下載鏈接】crawl4ai Crawl4AI: Open-source LLM Friendly Web Crawler Scraper. Dont be shy, join here: https://discord.gg/jP8KfhDhyN項(xiàng)目地址: https://gitcode.com/GitHub_Trending/craw/crawl4aiCrawl4AI v0.7.5 是一個(gè)圍繞可擴(kuò)展性 安全性展開(kāi)的版本它把自定義 Python 函數(shù)注入到爬取流水線關(guān)鍵節(jié)點(diǎn)的能力Docker Hooks 系統(tǒng)正式產(chǎn)品化并提供了函數(shù)到字符串的自動(dòng)轉(zhuǎn)換工具鏈同時(shí)增強(qiáng)了 LLM 集成的提供商與參數(shù)控制能力修復(fù)了 HTTPS 內(nèi)部鏈接被降級(jí)的問(wèn)題。讀完本文你將掌握在 Docker 部署形態(tài)下通過(guò) REST API 或 SDK 客戶端注入鉤子的完整方式、鉤子底層執(zhí)行機(jī)制、hooks_to_string()的實(shí)現(xiàn)原理與限制以及preserve_https_for_internal_links等配置項(xiàng)的落地細(xì)節(jié)。版本總覽v0.7.5 的官方發(fā)布說(shuō)明見(jiàn) docs/md_v2/blog/releases/v0.7.5.md主要新增內(nèi)容如下Docker Hooks 系統(tǒng)在爬取流水線的關(guān)鍵節(jié)點(diǎn)以函數(shù)形式注入自定義 Python 邏輯函數(shù)式鉤子新增hooks_to_string()工具Docker 客戶端可自動(dòng)完成函數(shù)到字符串的轉(zhuǎn)換增強(qiáng)的 LLM 集成支持自定義提供商、temperature 控制與 base URL 配置HTTPS 保留內(nèi)部鏈接在處理過(guò)程中保持 HTTPS 協(xié)議Bug 修復(fù)解決多個(gè)社區(qū)上報(bào)的問(wèn)題改進(jìn)的 Docker 錯(cuò)誤處理更完整的調(diào)試信息與可靠性。配套的完整可運(yùn)行演示腳本位于 docs/releases_review/demo_v0.7.5.py它覆蓋了 Docker 鉤子字符串與函數(shù)兩種形態(tài)、LLM 配置和 HTTPS 保留三大主題本文后文的代碼示例與其保持一致。Docker Hooks 系統(tǒng)在 8 個(gè)關(guān)鍵節(jié)點(diǎn)注入自定義邏輯每個(gè)抓取項(xiàng)目都需要自定義邏輯——認(rèn)證注入、資源屏蔽提速、懶加載滾動(dòng)。傳統(tǒng)方案要么 fork 代碼要么依賴復(fù)雜的繞路寫(xiě)法。Docker Hooks 讓你在不改源碼的前提下把自定義 Python 函數(shù)掛到爬取流水線的關(guān)鍵位置。字符串鉤子REST API 完整示例最直接的用法是把鉤子寫(xiě)成字符串隨請(qǐng)求體一起發(fā)到 Docker API。以下是對(duì) httpbin.org 的真實(shí)可用配置演示了屏蔽圖片提速、滾動(dòng)到底部加載懶加載內(nèi)容、注入自定義請(qǐng)求頭三類典型場(chǎng)景import requests # 針對(duì) httpbin.org 的真實(shí)可用鉤子 hooks_config { on_page_context_created: async def hook(page, context, **kwargs): print(Hook: Setting up page context) # 屏蔽圖片加速爬取 await context.route(**/*.{png,jpg,jpeg,gif,webp}, lambda route: route.abort()) print(Hook: Images blocked) return page , before_retrieve_html: async def hook(page, context, **kwargs): print(Hook: Before retrieving HTML) # 滾動(dòng)到底部觸發(fā)懶加載內(nèi)容 await page.evaluate(window.scrollTo(0, document.body.scrollHeight)) await page.wait_for_timeout(1000) print(Hook: Scrolled to bottom) return page , before_goto: async def hook(page, context, url, **kwargs): print(fHook: About to navigate to {url}) # 添加自定義請(qǐng)求頭 await page.set_extra_http_headers({ X-Test-Header: crawl4ai-hooks-test }) return page } # 通過(guò) Docker API 測(cè)試 payload { urls: [https://httpbin.org/html], hooks: { code: hooks_config, timeout: 30 } } response requests.post(http://localhost:11235/crawl, jsonpayload) result response.json() if result.get(success): print(? Hooks executed successfully!) print(fContent length: {len(result.get(markdown, ))} characters)請(qǐng)求體中hooks是一個(gè)對(duì)象code為鉤子點(diǎn)名稱 → 函數(shù)源碼字符串的映射timeout為鉤子執(zhí)行的超時(shí)時(shí)間秒?？捎勉^子點(diǎn)清單及其觸發(fā)時(shí)機(jī)發(fā)布說(shuō)明中列出的 8 個(gè)鉤子點(diǎn)如下鉤子點(diǎn)觸發(fā)時(shí)機(jī)on_browser_created瀏覽器實(shí)例創(chuàng)建完成后on_page_context_created頁(yè)面上下文創(chuàng)建后可配置路由攔截、視口等before_goto導(dǎo)航goto之前適合設(shè)置請(qǐng)求頭after_goto導(dǎo)航完成之后on_user_agent_updatedUser Agent 被更新時(shí)on_execution_started本次爬取執(zhí)行初始化時(shí)before_retrieve_html提取 HTML 之前適合滾動(dòng)/等待before_return_html返回最終 HTML 之前鉤子點(diǎn)清單在源碼中集中定義async_crawler_strategy.py 在策略初始化時(shí)構(gòu)建了 9 個(gè)鉤子點(diǎn)的字典——除上表 8 個(gè)外還包含一個(gè)on_execution_ended執(zhí)行結(jié)束時(shí)觸發(fā)文檔的 8 點(diǎn)清單是 Docker API 對(duì)外暴露的集合。每個(gè)鉤子點(diǎn)在流水線中的實(shí)際調(diào)用位置可以從源碼中逐一印證on_browser_created在start()中瀏覽器啟動(dòng)后觸發(fā)接收browser與context參數(shù)見(jiàn) async_crawler_strategy.py#L127-L136on_page_context_created頁(yè)面上下文就緒后調(diào)用同時(shí)傳入page、context、configon_execution_started執(zhí)行開(kāi)始時(shí)觸發(fā)async_crawler_strategy.py#L1019before_retrieve_html/before_return_html分別位于 HTML 提取前后before_return_html還能拿到當(dāng)前html字符串用于最終加工async_crawler_strategy.py#L1088。兩個(gè)值得注意的實(shí)現(xiàn)細(xì)節(jié)來(lái)自 set_hook / execute_hook 源碼同步與異步鉤子都受支持execute_hook()會(huì)用asyncio.iscoroutinefunction()判斷鉤子類型是協(xié)程函數(shù)就await否則同步調(diào)用。因此文檔示例統(tǒng)一用async def hook(page, context, **kwargs)但同步函數(shù)同樣可行透?jìng)髡Z(yǔ)義若某鉤子點(diǎn)未設(shè)置鉤子execute_hook()直接返回第一個(gè)位置參數(shù)通常是page保證流水線在無(wú)鉤子時(shí)行為不變。在本地非 Docker進(jìn)程中同一套鉤子機(jī)制通過(guò)crawler_strategy.set_hook(hook_type, hook)直接注冊(cè)hook_type取值與上表一致非法類型會(huì)拋出ValueError。函數(shù)式鉤子hooks_to_string() 工具把鉤子寫(xiě)成字符串雖然可行但失去了 IDE 補(bǔ)全、類型檢查和 linting 能力。v0.7.5 引入了函數(shù)式寫(xiě)法先寫(xiě)普通 Python 函數(shù)再用hooks_to_string()批量轉(zhuǎn)換為 API 所需的字符串形態(tài)。from crawl4ai import hooks_to_string import requests # 以普通 Python 函數(shù)定義鉤子享有完整 IDE 支持 async def on_page_context_created(page, context, **kwargs): 屏蔽圖片加速爬取 await context.route(**/*.{png,jpg,jpeg,gif,webp}, lambda route: route.abort()) await page.set_viewport_size({width: 1920, height: 1080}) return page async def before_goto(page, context, url, **kwargs): 添加自定義請(qǐng)求頭 await page.set_extra_http_headers({ X-Crawl4AI: v0.7.5, X-Custom-Header: my-value }) return page # 將函數(shù)轉(zhuǎn)換為字符串 hooks_code hooks_to_string({ on_page_context_created: on_page_context_created, before_goto: before_goto }) # 交給 REST API payload { urls: [https://httpbin.org/html], hooks: {code: hooks_code, timeout: 30} } response requests.post(http://localhost:11235/crawl, jsonpayload)hooks_to_string()的實(shí)現(xiàn)位于 utils.py#L3750-L3794邏輯非常直接def hooks_to_string(hooks: Dict[str, Callable]) - Dict[str, str]: result {} for hook_name, hook_func in hooks.items(): if not callable(hook_func): raise ValueError(fHook {hook_name} must be a callable function, got {type(hook_func)}) try: source inspect.getsource(hook_func) source textwrap.dedent(source) result[hook_name] source except (OSError, TypeError) as e: raise ValueError( fCannot extract source code for hook {hook_name}. fMake sure the function is defined in a file (not interactively). Error: {e} ) return result由此可以確認(rèn)兩點(diǎn)約束函數(shù)必須定義在文件中能通過(guò)inspect.getsource()取到源碼交互式解釋器里臨時(shí)定義的函數(shù)會(huì)轉(zhuǎn)換失敗報(bào)錯(cuò)信息明確提示了這一點(diǎn)取值前會(huì)用textwrap.dedent()去掉縮進(jìn)保證生成的字符串是可直接執(zhí)行的干凈源碼。該工具已從包頂層導(dǎo)出from crawl4ai import hooks_to_string即可使用見(jiàn) crawl4ai/init.py#L111。Docker 客戶端自動(dòng)轉(zhuǎn)換推薦用法更進(jìn)一步Crawl4aiDockerClient支持直接傳函數(shù)對(duì)象轉(zhuǎn)換在服務(wù)端請(qǐng)求構(gòu)造時(shí)自動(dòng)完成from crawl4ai.docker_client import Crawl4aiDockerClient async def on_page_context_created(page, context, **kwargs): await context.route(**/*.{png,jpg,jpeg,gif,webp}, lambda route: route.abort()) return page async def before_retrieve_html(page, context, **kwargs): # 滾動(dòng)以加載懶加載內(nèi)容 await page.evaluate(window.scrollTo(0, document.body.scrollHeight)) await page.wait_for_timeout(1000) return page # 使用 Docker 客戶端 —— 轉(zhuǎn)換自動(dòng)發(fā)生 client Crawl4aiDockerClient(base_urlhttp://localhost:11235) results await client.crawl( urls[https://httpbin.org/html], hooks{ on_page_context_created: on_page_context_created, before_retrieve_html: before_retrieve_html }, hooks_timeout30 ) if results and results.success: print(f? Hooks executed! HTML length: {len(results.html)})自動(dòng)轉(zhuǎn)換發(fā)生在 _prepare_request()它對(duì)hooks字典逐值檢查只要發(fā)現(xiàn)任意值是callable就整體走h(yuǎn)ooks_to_string()轉(zhuǎn)換如果傳入的已經(jīng)是字符串形態(tài)則原樣透?jìng)饕虼俗址^子依然可用無(wú)破壞性變更。最終的請(qǐng)求體結(jié)構(gòu)與直接調(diào) REST API 時(shí)完全一致{code: ..., timeout: ...}hooks_timeout缺省值為 30 秒。函數(shù)式鉤子帶來(lái)的收益完整的 IDE 補(bǔ)全與高亮、類型檢查與 lint、更易測(cè)試與調(diào)試、可跨項(xiàng)目復(fù)用、Docker 客戶端內(nèi)自動(dòng)轉(zhuǎn)換。一個(gè)值得了解的前向演進(jìn)從當(dāng)前倉(cāng)庫(kù)的源碼結(jié)構(gòu)看Docker 服務(wù)端在安全加固后引入了聲明式鉤子注冊(cè)表 deploy/docker/hook_registry.py——請(qǐng)求只能從block_resources、add_cookies、set_headers、scroll_to_bottom、wait_for_timeout等固定動(dòng)作中按參數(shù)選擇而不再對(duì)任意用戶代碼做編譯執(zhí)行對(duì)確實(shí)需要任意鉤子代碼的自托管場(chǎng)景仍保留進(jìn)程內(nèi)crawler_strategy.set_hook(...)的完整能力。如果你正在使用較新的服務(wù)端鏡像建議以服務(wù)端實(shí)際接受的鉤子格式為準(zhǔn)。增強(qiáng)的 LLM 集成v0.7.5 增強(qiáng)了 LLM 提取鏈路支持自定義提供商、temperature 參數(shù)控制生成隨機(jī)性以及自定義base_url指向私有/兼容端點(diǎn)。多提供商與 temperature 控制from crawl4ai import AsyncWebCrawler, CrawlerRunConfig from crawl4ai.extraction_strategy import LLMExtractionStrategy async def test_llm_providers(): # 自定義提供商 temperature openai_strategy LLMExtractionStrategy( providergemini/gemini-2.5-flash-lite, api_tokenyour-api-token, temperature0.7, # v0.7.5 新增 instructionSummarize this page in one sentence ) async with AsyncWebCrawler() as crawler: result await crawler.arun( https://example.com, configCrawlerRunConfig(extraction_strategyopenai_strategy) ) if result.success: print(? LLM extraction completed) print(result.extracted_content)在源碼側(cè)extraction_strategy.py 中的 LLM 配置構(gòu)造支持base_url參數(shù)自定義 API 端點(diǎn)并通過(guò)extra_args透?jìng)鱰emperature、max_tokens等請(qǐng)求級(jí)參數(shù)——這正是發(fā)布說(shuō)明中自定義 temperature 控制創(chuàng)意度base_url 指向自定義 API 端點(diǎn)兩項(xiàng)能力的落點(diǎn)。多提供商的環(huán)境變量支持與 Docker API 集成也是本版本的增強(qiáng)點(diǎn)。Docker API 側(cè)的 LLM 配置通過(guò) REST API 調(diào)用時(shí)/md端點(diǎn)同樣接受 LLM 參數(shù)llm_payload { url: https://example.com, f: llm, q: Summarize this page in one sentence., provider: gemini/gemini-2.5-flash-lite, temperature: 0.7 } response requests.post(http://localhost:11235/md, jsonllm_payload)即providertemperature與q指令一起下發(fā)服務(wù)端按指定提供商執(zhí)行 LLM 摘要/提取。HTTPS 保留讓內(nèi)部鏈接始終走安全協(xié)議問(wèn)題現(xiàn)代 Web 應(yīng)用普遍要求全站 HTTPS。當(dāng)爬蟲(chóng)在處理過(guò)程中把內(nèi)部鏈接從 HTTPS 降級(jí)為 HTTP 時(shí)認(rèn)證會(huì)失敗、瀏覽器會(huì)出現(xiàn)安全告警。方案v0.7.5 新增preserve_https_for_internal_links配置在鏈接歸一化階段保持安全協(xié)議不降級(jí)。該參數(shù)定義于 async_configs.py#L1674缺省值為False即舊行為并會(huì)進(jìn)入配置的dump()序列化async_configs.py#L2168開(kāi)啟后由內(nèi)容抓取鏈路把preserve_https標(biāo)記傳遞下去見(jiàn) content_scraping_strategy.py#L263從而在內(nèi)部鏈接處理時(shí)保留原協(xié)議。完整用法配合過(guò)濾鏈與 BFS 深度爬取策略from crawl4ai import AsyncWebCrawler, CrawlerRunConfig, FilterChain, URLPatternFilter, BFSDeepCrawlStrategy async def test_https_preservation(): # 配置只爬目標(biāo)站點(diǎn) url_filter URLPatternFilter( patterns[^(https:\/\/)?quotes\.toscrape\.com(\/.*)?$] ) config CrawlerRunConfig( exclude_external_linksTrue, preserve_https_for_internal_linksTrue, # v0.7.5 新增 deep_crawl_strategyBFSDeepCrawlStrategy( max_depth2, max_pages5, filter_chainFilterChain([url_filter]) ) ) async with AsyncWebCrawler() as crawler: async for result in await crawler.arun( urlhttps://quotes.toscrape.com, configconfig ): # 所有內(nèi)部鏈接均保持 HTTPS internal_links [link[href] for link in result.links[internal]] https_links [link for link in internal_links if link.startswith(https://)] print(fHTTPS links preserved: {len(https_links)}/{len(internal_links)}) for link in https_links[:3]: print(f → {link})適用前提該參數(shù)影響的是內(nèi)部鏈接的協(xié)議處理對(duì)外部鏈接的排除/保留仍由exclude_external_links與過(guò)濾器鏈路共同控制。Bug 修復(fù)與配置更新主要修復(fù)URL 處理修復(fù)查詢參數(shù)中號(hào)丟失的問(wèn)題#1332代理配置增強(qiáng)代理字符串解析舊的proxy參數(shù)被棄用Docker 錯(cuò)誤處理提供更完整的錯(cuò)誤信息與狀態(tài)碼內(nèi)存管理修復(fù)長(zhǎng)會(huì)話下的內(nèi)存泄漏JWT 認(rèn)證修復(fù) Docker JWT 校驗(yàn)問(wèn)題#1442Playwright Stealth修復(fù) stealth 特性在 Playwright 集成下的失效#1481API 配置修復(fù)配置處理邏輯避免覆蓋用戶顯式提供的設(shè)置#1505Docker 過(guò)濾器序列化解決深度爬取策略的 JSON 編碼錯(cuò)誤#1419LLM 提供商支持修復(fù)自適應(yīng)爬蟲(chóng)的自定義 LLM 提供商集成#1291性能問(wèn)題修復(fù)退避策略失效與超時(shí)處理#989。此外還修復(fù)了社區(qū)通過(guò) issue 與社區(qū)討論上報(bào)的若干問(wèn)題瀏覽器配置引用錯(cuò)誤、與 cssselect 的依賴沖突、認(rèn)證失敗時(shí)的錯(cuò)誤信息改進(jìn)、多種代理配置的兼容性、URL 歸一化的邊界情況等。代理配置的新結(jié)構(gòu)與proxy參數(shù)棄用配套代理改為結(jié)構(gòu)化配置# 舊代理配置已棄用 # browser_config BrowserConfig(proxyhttp://proxy:8080) # 新的增強(qiáng)代理配置 browser_config BrowserConfig( proxy_config{ server: http://proxy:8080, username: optional-user, password: optional-pass } )新結(jié)構(gòu)把服務(wù)地址與認(rèn)證信息拆開(kāi)便于配合代理輪轉(zhuǎn)、粘性會(huì)話等更復(fù)雜的代理場(chǎng)景。破壞性變更要求 Python 3.10不再支持 Python 3.9升級(jí)前需先升級(jí)運(yùn)行環(huán)境proxy參數(shù)棄用請(qǐng)遷移到上文proxy_config結(jié)構(gòu)新增依賴cssselect用于改進(jìn) CSS 選擇器處理?？焖偕鲜? 安裝指定版本 pip install crawl4ai0.7.5 # Docker 部署 docker pull unclecode/crawl4ai:latest docker run -p 11235:11235 unclecode/crawl4ai:latest服務(wù)就緒后默認(rèn)端口 11235可以直接運(yùn)行發(fā)布說(shuō)明中提到的演示腳本驗(yàn)證三大特性# 運(yùn)行 v0.7.5 官方可運(yùn)行示例Docker 鉤子、LLM 配置、HTTPS 保留 python docs/releases_review/demo_v0.7.5.py該腳本會(huì)先探測(cè)http://localhost:11235上的 Docker 服務(wù)是否可用不可用時(shí)給出docker run -p 11235:11235 unclecode/crawl4ai:latest的啟動(dòng)提示適合在升級(jí)后做一次端到端冒煙驗(yàn)證。小結(jié)v0.7.5 的核心價(jià)值在于把流水線定制從 fork 源碼變成了 API 能力8 個(gè)鉤子點(diǎn)覆蓋了從瀏覽器創(chuàng)建到 HTML 返回的完整生命周期字符串鉤子保證與現(xiàn)有集成兼容函數(shù)式鉤子 hooks_to_string() Docker 客戶端自動(dòng)轉(zhuǎn)換則補(bǔ)上了開(kāi)發(fā)體驗(yàn)短板配合 LLM 提供商/temperature 的細(xì)粒度控制和 HTTPS 內(nèi)部鏈接保留這個(gè)版本在可擴(kuò)展性與安全性上都向前邁了一步。升級(jí)時(shí)只需注意 Python 3.10 的底線與proxy→proxy_config的遷移這兩點(diǎn)破壞性變更。【免費(fèi)下載鏈接】crawl4ai Crawl4AI: Open-source LLM Friendly Web Crawler Scraper. Dont be shy, join here: https://discord.gg/jP8KfhDhyN項(xiàng)目地址: https://gitcode.com/GitHub_Trending/craw/crawl4ai創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考