文章标题

进行爬虫学习后，初步爬了静态网页中的链接，但是想通过控制浏览器的方式来点击到下一页，下一页的链接是隐藏在JavaScript中的。

1.安装selenium模块

cmd：pip install selenium

2.

from selenium import webdriver

没有消息就是最好的消息，即安装成功

3.尝试控制Chrome

下载驱动chromedriver并放到chrome的安装目录下…\Google\Chrome\Application\ ,然后设置path环境变量，把chrome的安装目录（我的：C:\Program Files\Google\Chrome\Application），然后再调用运行：

from selenium import webdriver

driver = webdriver.Chrome()

driver.get('www.baidu.com')

print driver.title

driver.quit()

报错：

raise exception_class(message, screen, stacktrace)

selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited normally

(Driver info: chromedriver=2.9.248315,platform=Windows NT 6.1 x86_64)

看其他人的说法用Chrome可能存在兼容或扩展崩溃等问题。反复配置未能成功。。。

于是转向Firefox

下载驱动geckodriver.exe

from selenium import webdriver

driver = webdriver.Chrome()

driver.get('www.baidu.com')

print driver.title

driver.quit()

报错driver.get(‘www.baidu.com’)不是合法的URL。改成‘http://www.baidu.com’ok了~