博客 / 詳情

返回

從零開始使用Springboot,selenium進行爬蟲

環境

  • 系統:ubuntu 22.04.1
  • java:11
  • Chrome瀏覽器:126.0.6478.126
  • Chrome瀏覽器驅動:126.0.6478.126
  • idea:2024社區版

    下載Chrome和對應chromedriver

    點擊下面網址下載:
    https://googlechromelabs.github.io/chrome-for-testing/#stable
    下載對應平台和版本的Chrome和Chromedriver,複製網址下載:
    DESC

配置chromedriver的路徑(可以不配,項目啓動指定路徑也可以)

  • linux

    • 使用終端查看系統的PATH環境變量

      • 終端輸入:echo $PATH 查看系統的PARH環境變量
      • DESC
    • 將chromedriver文件放入PATH環境變量的目錄下

      • 這裏是把下載好的Chromedriver放在了上面表的目錄裏,裏面的chromedriver要放在PATH環境變量的目錄下
      • DESC
  • windows

    • 配置環境變量 網上很多

也可以都不配置後續只需要指定路徑即可

項目構建

創建Springboot項目

這裏有很詳細的創建方式,而且支持社區版也能用:https://www.opensnn.com/os/article/10000759

添加對應依賴

在pom文件添加對應依賴

<dependency>
            <groupId>org.seleniumhq.selenium</groupId>
            <artifactId>selenium-java</artifactId>
            <version>4.22.0</version>
        </dependency>

添加簡單的demo案例

public class seleniumDemo {
    public static void main(String[] args) throws IOException {
        // 設置ChromeDriver路徑,後面改成自己下載好的chromedriver,指定到chromedriver文件夾裏面的chromedriver文件
        System.setProperty("webdriver.chrome.driver", "/usr/local/bin/chromedriver");
        // 創建ChromeDriver實例
        WebDriver driver = new ChromeDriver();
        // 打開網頁
        driver.get("https://www.baidu.com");
        // 輸出網頁標題
        System.out.println("Title: " + driver.getTitle());
        // 關閉瀏覽器
        driver.quit();
    }
}

發現報錯

DESC

點擊

DESC

發現版本不對,既有3.141的版本也有4.22的版本
DESC

解決 org.openqa.selenium.internal/Require

將之前的
DESC

修改成

DESC

最終效果

刪除後再重新導入
DESC
運行程序,結果

DESC
轉載自開思通智網:https://www.opensnn.com/os/article/10000982

user avatar
0 位用戶收藏了這個故事!

發佈 評論

Some HTML is okay.