利用selenium获取动态页面的html数据
2013-10-21 15:16
411 查看
selenium调用浏览器获取动态html值,再调用其API,可以很方面获取动态数据。经测试,确实简单易用,至于效率方面就没细究了。代码参考:http://my.oschina.net/flashsword/blog/147334(向原作者致敬)。
【前言】 我看其他文章中说到设置环境变量path,还提及selenium-server和Selenium-rc,我这篇文章没那么复杂,没有设置path,只是使用webdriver技术,调用本机chrome,获取动态页面渲染后的html,在进行解析。代码如下:
【后言】 需要从http://www.seleniumhq.org/download/下载【chrome驱动器】和【java的jar包】。
【前言】 我看其他文章中说到设置环境变量path,还提及selenium-server和Selenium-rc,我这篇文章没那么复杂,没有设置path,只是使用webdriver技术,调用本机chrome,获取动态页面渲染后的html,在进行解析。代码如下:
public static void main(String[] args) { System.getProperties().setProperty("webdriver.chrome.driver", "D:\\Code\\chromedriver.exe"); //这个参数就是【chrome驱动器的位置】 WebDriver webDriver = new ChromeDriver(); webDriver.get("http://www.facejoking.com/top/12001/0"); WebElement webElement = webDriver.findElement(By.id("ColumnContainer")); List<WebElement> listLink = webElement.findElements(By.tagName("a")); for (int i = 0; (i + 2) < 50; i += 2) { System.out.println(listLink.get(i).getAttribute("href") + "/" + listLink.get(i + 1).getText()); } System.out.println("chrome driver"); // 关闭窗口,释放资源。 webDriver.close(); }
【后言】 需要从http://www.seleniumhq.org/download/下载【chrome驱动器】和【java的jar包】。
相关文章推荐
- python下利用Selenium获取动态页面数据
- html利用jquery获取其他页面的数据并输出
- JS-利用ajax获取json数据,并传入页面生成动态tab
- 利用ASP.NET技术动态生成HTML页面
- 动态获取html页面的内容,并且取其中的某块元素的方法
- 利用XMLHTTP 从其他页面获取数据
- 第一次使用echart从后台获取数据动态显示到页面
- 利用js将ajax获取到的后台数据动态加载至网页中
- 如何利用ASP.NET技术动态生成HTML页面
- 利用ASP.NET技术动态生成HTML页面
- 动态获取html页面的内容,并且取其中的某块元素的方法
- 在phpstorm中利用post方法提交form表单后,在响应页面获取不到数据的解决办法
- 利用JQuery的load函数动态加载页面 以及jQuery动态加载页面和请求所返回的数据
- 利用Jsoup获取HTML页面的标签信息
- MVC4中AJAX Html页面打开调用后台方法实现动态加载数据库中的数据
- 动态创建服务器控件,获取HTML输出(用于生成静态文件,简化页面,简化编程等)
- 利用localStorage防止页面动态添加数据刷新后数据丢失
- 【HTML/JS】利用JQuery的load函数动态加载其它页面的内容的实现代码
- jQuery发起get/post请求_或_获取html页面数据