博客 / 詳情

返回

教你如何用express+mysql+cheerio+swaggerUI開發爬蟲項目API接口

項目基於express+sequelize+mysql+express-validator
基於node+express爬蟲 API接口項目,包括全國高校信息、成語詩歌、星座運勢、歷史的今天、音樂數據接口、圖片壁紙、搞笑視頻、熱點新聞資訊 詳情接口數據

項目地址: https://github.com/ecitlm/Nod...

  • [x] express作為基礎框架
  • [x] sequelize操作mysql
  • [x] mysql存儲數據
  • [x] express-validator參數表單校驗
  • [x] 使用cheerio解析爬蟲頁面
  • [x] 集成ejs模板
  • [x] 集成swaggerUI接口文檔
  • [x] nodemon項目開發動態熱更新
  • [x] dotenv管理配置系統參數
  • [x] 包含接口sign請求驗證
  • [x] log4js 錯誤日誌收集

環境要求

需要安裝node環境,mysql數據庫

部署運行

$ git clone https://github.com/ecitlm/Node-SpliderApi.git
$ npm install
#  start project dev
$ npm run dev
# starting prd
$ npm run prd
#localhost:3001

服務器部署

在服務器中使用 pm2node 服務進行進程守護
#啓動進程/應用
pm2 start npm --watch --name tools -- run prd
pm2 restart tools
pm2 stop tools
pm2 delete tools

數據庫

mysql中包含、唐詩300、成語、歷史的今天、星座運勢(聚合平台數據-需要申請自己的APPCODE)、用户表等數據
項目目錄bak-file文件夾可查看

接口文檔

啓動項目之後http://localhost:3001/api-docs/ 可查看接口文檔頁面,
api.png
api2.png

錯誤碼説明

狀態碼 含義 備註
200 響應正常
1001 參數無效、如一個不存在的id
1002 參數為空、驗證不通過、參數類型錯誤
1003 請求籤名異常、非法
404 請求不存在
405 請求方式錯誤
9999 第三方接口請求異常
500 系統異常
user avatar
0 位用戶收藏了這個故事!

發佈 評論

Some HTML is okay.