用selenium的webdriver開啟chrome瀏覽器

selenium python chrome

在運用爬蟲時遇到難抓取的網頁時的殺手鐧,就是Selenium,Selenium主要用於瀏覽器的自動化測試,就像是在控制一個機器人為您操作Chrome。

在之前操作selenium的webdriver時,都是使用phantomJS ,但phantomJS 早已停止更新 ,不過我們有chrome的headless模式可以用,當然firefox也可以,這篇只對 chromedriver 安裝做介紹。

1.首先要安裝 chrome ,或許你會說chrome誰不會裝呀! 不過我會裝在一個小的虛擬機上,上面跑linux(mini-installed),用最小的資源來抓資料,這樣我能同時派數隻爬蟲抓資料而互不影響,因此要在mini-installed 的linux上先裝chrome.
方法如下:

在root下 (或用 sudo)
nano /etc/yum.repos.d/google.repo

[google-chrome]
name=google-chrome
baseurl=http://dl.google.com/linux/chrome/rpm/stable/x86_64
enabled=1
gpgcheck=1
gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub

yum install –y google-chrome-stable

裝好後 用 google-chrome --version 看一下 chrome 的版本
以我為例
Google Chrome 80.0.3987.16
Google Chrome 79.0.3945.79

2. 安裝chromeDriver ,到 http://chromedriver.chromium.org/downloads 下載你相對應的的ChromeDriver

Current Releases

Chrome80選 ChromeDriver 80.0.3987.16 ,Chrome79就選ChromeDriver 79.0.3945.36 中 linux64 版本的,另外你也會看到win32與mac64版本的。下載回來後用unzip解開放在你要的路徑中,我自己會放在 /uar/local/bin 中。
之後你忘了他在哪的時候只要下指令 which chromedriver
就會告訴你 /usr/local/bin/chromedriver。

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *