tag nodejs爬蟲

標籤
貢獻14
15
01:48 PM · Nov 23 ,2025
qinyuanqiblog 頭像 sorrybro 頭像 iapplus 頭像 rockswang 頭像 vincehua 頭像 cryptorzz 頭像 messchow 頭像 codinger 頭像 geoffzhu 頭像 invalidnull 頭像 apifox 頭像 bell_lemon 頭像

@nodejs爬蟲 / 博客 RSS 訂閱

sorrybro 頭像

待你如初 - 前端爬蟲框架-puppeteer的入門使用（1）

Puppeteer 前言 開始學習這門技術的起因是因為之前想要去做一個類似於人人影視的電影資源網站，因此想要通過學習爬蟲獲取到相關的電影資源以供自己下載使用。 之前瞭解爬蟲大多數都是聽到使用python來實現，而因為平時工作比較忙，也沒太多時間去學習新的語言，於是自己就去網上搜索看有沒有前端使用的爬蟲框架。 而網上大多推薦的是node庫--puppeteer 什麼是Puppeteer？ Puppe

puppeteer , node.js , nodejs爬蟲

收藏 評論

iapplus 頭像

iapplus - electron多個窗口使用各自的remote-debug-port,目前是一個應用一個remote-debug,如何解決?

const { app, BrowserWindow } = require('electron'); // Add custom command line arguments before app is ready app.commandLine.appendSwitch('host-rules', 'MAP example.com 127.0.0.1'); app.commandLine.a

nodejs爬蟲 , electron

收藏 評論

rockswang 頭像

rockswang - 微軟小冰的顏值鑑定接口

把我的老鐵機器人的顏值鑑定接口源碼放出來，邏輯都在execute函數裏面，看不懂也不解釋了。 const sharp = require('sharp') const _ = require('lodash') const { sendMsg, Recent, localPic } = require('../qq_api') const { rp, UA, auraCdChk, num } =

nodejs爬蟲 , 網頁爬蟲 , 小冰 , 人工智能 , 逆向工程

收藏 評論

vincehua 頭像

vincehua - 用Node EJS寫一個爬蟲腳本每天定時給心愛的她發一封暖心郵件

本文首發於個人博客：Vince'Blog 項目源碼：NodeMail，歡迎star，説不定哪天脱單了就能用到了 寫在前面 自從用郵箱註冊了很多賬號後，便會收到諸如以下類似的郵件,剛開始還以為是一張圖片，後來仔細一看不是圖片呀，好像還是HTML呀，於是好奇寶寶我Google一下，查閲多篇資料後總結出怎麼用前端知識和Node做一個這樣的“郵件網頁”。 確認主題 知道怎麼實現功能後，思考着我該寫什麼主

node.js , nodejs爬蟲 , 腳本 , ejs , Javascript

收藏 評論

cryptorzz 頭像

CryptoRzz - node對接期貨行情數據API 碳排放 貴金屬 外匯API

以下是使用 Node.js 對接 StockTV API 的項目實現。我們將使用 axios 進行 HTTP 請求，並使用 ws 庫處理 WebSocket 連接。 項目結構 stocktv-api-node/ │ ├── src/ │ ├── StockAPI.js │ ├── ForexAPI.js │ ├── FuturesAPI.js │ ├── CryptoAPI.js

nodejs爬蟲

收藏 評論

qinyuanqiblog 頭像

qinyuanqiblog - nodjs 爬取喜歡的的背景圖片

直接從幕布考過來的，懶得改排版了， 😄😄😄， 幕布地址： https://mubu.com/doc/_77_RCP9GG 前言 公司搬家了， 換了新的電腦， 感覺桌面有點空蕩蕩，想去搞幾張高級的背景圖片來裝下13，於是便有了這個項目 經過一番谷歌，感覺比較喜歡wallhaven這種風格的背景圖，開始搞起 ~~~ 搞搞搞

node.js , nodejs爬蟲

收藏 評論

messchow 頭像

messchow - puppeteer運行出現，Could not find browser revision 809590.

puppeteer運行出現： Could not find browser revision 809590. Run "PUPPETEER_PRODUCT=firefox npm install" or "PUPPETEER_PRODUCT=firefox yarn install"報錯，顯然時沒找到對應版本的瀏覽器。 GitHub上issues上提供解決方案試了一圈度沒用。後來在官方

puppeteer , node.js , nodejs爬蟲

收藏 評論

codinger 頭像

codinger - 教你如何用express+mysql+cheerio+swaggerUI開發爬蟲項目API接口

項目基於express+sequelize+mysql+express-validator 基於node+express爬蟲 API接口項目,包括全國高校信息、成語詩歌、星座運勢、歷史的今天、音樂數據接口、圖片壁紙、搞笑視頻、熱點新聞資訊 詳情接口數據 項目地址： https://github.com/ecitlm/Nod... [x] express作為基礎框架 [x] seq

node.js , nodejs爬蟲 , nodejs-express , 前端 , Javascript

收藏 評論

qinyuanqiblog 頭像

qinyuanqiblog - puppeteer模擬用户爬取網站（附贈Chromium 無法下載的解決辦法）

起源 最近被前同事問是否可以幫他去爬取一個網站的數據，然後他把網站發給我了，之後我就去研究了下， 本來計劃用spider-flow 這個東西來爬的，畢竟能不寫代碼的，為啥我要去寫代碼，然後研究了下spider-flow 發現滿足不了需求，浪費了兩天時間， 😄😄😄， 還是老老實實手寫把,對spider-flow 感興趣的可以看看我寫的：https://www.mubucm

puppeteer , nodejs爬蟲

收藏 評論

geoffzhu 頭像

GeoffZhu - NodeJs爬蟲框架-Spider

gz-spider 一個基於Puppeteer和Axios的NodeJs爬蟲框架 源碼倉庫 為什麼需要爬蟲框架 爬蟲框架可以簡化開發流程，提供統一規範，提升效率。一套優秀的爬蟲框架會利用多線程，多進程，分佈式，IP池等能力，幫助開發者快速開發出易於維護的工業級爬蟲，長期受用。 特性 可配置代理 支持任務重試 支持Puppeteer 異步隊列服務友好 多進程友好 安裝 npm i gz

框架 , node.js , nodejs爬蟲 , 網頁爬蟲 , Javascript

收藏 評論

invalidnull 頭像

註銷 - 使用 npm config set script-shell 實現跨平台的腳本執行需求

npm config set script-shell C:\\app\\Git20180223\\bin\\bash.exe 這個命令的準確含義是設置npm的腳本(shell)執行環境為"C:\app\Git20180223\bin\bash.exe"。這個命令用於修改npm的配置，具體來説，它修改了npm的一個配置項，該配置項用於指定在執行npm腳本時使用的shell程序。在這個例子中，將sh

npm-cli , node.js , nodejs爬蟲 , nodejs-express , npm

收藏 評論

apifox 頭像

Apifox - Node.js 是什麼？Node.js 簡介及安裝配置詳解指南！

Node.js 是一個基於 Chrome V8 引擎的開源、跨平台的 JavaScript 運行時環境。它允許開發者使用 JavaScript 構建高性能、可擴展的網絡應用程序，使 JavaScript 能夠在服務器端運行，而不僅僅侷限於瀏覽器端。Node.js 的包管理器 npm，是全球最大的開源庫生態系統。使用 Node.js 可以實現前端開發和後端開發，它具有事件驅動、非阻塞 IO 模型等特

node.js , nodejs爬蟲 , 程序員 , 前端 , Javascript

收藏 評論

bell_lemon 頭像

糖糖 - 淺嘗一下Node爬蟲吧～

新建一個文件夾，這裏我命名為“爬”。 mkdir pa 初始化一個工程，並安裝相關模塊。 cd pa // 安裝package.json npm init // 安裝cheerio，用來在服務端使用jq語法操作dom npm install cheerio --save 新建文件命名為app.js，按照需求爬取數據，並保存到data.txt。 cons

node.js , cheerio , nodejs爬蟲 , 爬蟲

收藏 評論

jsoncode 頭像

jsoncode - 使用nodejs的http和https下載遠程資源,post數據

經常用到nodejs下載資源的情況（簡單的爬蟲），可以考慮直接使用nodejs內置的http/https模塊。 test.mjs import https from 'https' import fs from 'fs' import URL from 'url' let urlObj = URL.parse(url) https.get({ ...urlObj, rej

node.js , 下載 , nodejs爬蟲 , HTTP , HTTPS

收藏 評論

ethan_5a5e13fa54709 頭像

Ethan - node爬蟲遇到的各種問題（cheerio+puppeteer)

時間：2021年4月1號，文中各版本號以該時間為背景 問題一、網頁採用gb2312編碼，爬取後中文全部亂碼 環境：node@8.12.0，cheerio@0.22.0 網站使用的gb2312編碼，開始用http直接訪問網頁，cheerio加載後console出來中文全部亂碼： const http = require('http') const cheerio = require('

puppeteer , cheerio , nodejs爬蟲

收藏 評論