Scrapy 是一套基於 Twisted 的異步處理框架,純 Python 實現的爬蟲框架,用户只需要定製開發幾個模塊就可以輕鬆的實現一個爬蟲,用來抓取網頁內容以及各種圖片。它也可以用於廣泛的目的,從數據挖掘、監控到自動測試等。
Scrapy 2.14.0 現已發佈,具體更新內容包括:
亮點:
- 更多基於協程的 Deferred-based API 替代方案
- 默認優先級隊列現在是
DownloaderAwarePriorityQueue - 已停止支持 Python 3.9 和 PyPy 3.10
- 改進並完善了自定義下載處理程序的 API 文檔
Modified requirements
- 已停止支持 Python 3.9。(issue 7121)
- 已停止支持 PyPy 3.10。(issue 7050)
- 提高了以下依賴項的最低版本要求:
- lxml:4.6.0 → 4.6.4
- Pillow(可選依賴項):8.0.0 → 8.3.2
- botocore(可選依賴項):1.4.87 → 1.13.45
- 已恢復對 Scrapy 2.13.4 中已移除的
brotlicffi支持。其最低支持版本現已為1.2.0.0。(issue 7160)
更多詳情可查看:https://docs.scrapy.org/en/latest/news.html#scrapy-2-14-0-2026-01-05