本文首發於 https://imagician.net/archives/93/ 。歡迎到我的博客 https://imagician.net/ 瞭解更多。 前排提示：本文是一個入門級教程，講述基本的爬蟲與服務器關係。諸如無頭瀏覽器、js挖取等技術暫不討論。 面對大大小小的爬蟲應用，反爬是一個經久不衰的問題。網站會進行一些限制措施，以阻止簡單的程序無腦的獲取大量頁面，這會對網站造成極大的請求壓力。
