Scrapy 2.14.0 發佈,Python 爬蟲框架

新聞
HongKong
3
11:27 AM · Jan 06 ,2026

Scrapy 是一套基於 Twisted 的異步處理框架,純 Python 實現的爬蟲框架,用户只需要定製開發幾個模塊就可以輕鬆的實現一個爬蟲,用來抓取網頁內容以及各種圖片。它也可以用於廣泛的目的,從數據挖掘、監控到自動測試等。

Scrapy 2.14.0 現已發佈,具體更新內容包括:

亮點:

  • 更多基於協程的 Deferred-based API 替代方案
  • 默認優先級隊列現在是DownloaderAwarePriorityQueue
  • 已停止支持 Python 3.9 和 PyPy 3.10
  • 改進並完善了自定義下載處理程序的 API 文檔

Modified requirements

  • 已停止支持 Python 3.9。(issue 7121)
  • 已停止支持 PyPy 3.10。(issue 7050)
  • 提高了以下依賴項的最低版本要求:
    • lxml:4.6.0 → 4.6.4
    • Pillow(可選依賴項):8.0.0 → 8.3.2
    • botocore(可選依賴項):1.4.87 → 1.13.45
  • 已恢復對 Scrapy 2.13.4 中已移除的brotlicffi支持。其最低支持版本現已為1.2.0.0。(issue 7160)

更多詳情可查看:https://docs.scrapy.org/en/latest/news.html#scrapy-2-14-0-2026-01-05

user avatar
0 位用戶收藏了這個故事!
收藏

發佈 評論

Some HTML is okay.