博客 / 列表

GeoffZhu - NodeJs爬蟲框架-Spider

gz-spider 一個基於Puppeteer和Axios的NodeJs爬蟲框架 源碼倉庫 為什麼需要爬蟲框架 爬蟲框架可以簡化開發流程,提供統一規範,提升效率。一套優秀的爬蟲框架會利用多線程,多進程,分佈式,IP池等能力,幫助開發者快速開發出易於維護的工業級爬蟲,長期受用。 特性 可配置代理 支持任務重試 支持Puppeteer 異步隊列服務友好 多進程友好 安裝 npm i gz

框架 , node.js , nodejs爬蟲 , 網頁爬蟲 , Javascript