[Java爬虫] 使用 Jsoup + HttpClient 爬取网页图片
2018-03-20 08:48
826 查看
一、前言
把一篇图文并茂的优秀文章全部爬取下来,就少不了 Java 爬虫里边的 图片爬取 技术了。很多人都用来爬取美女图片,但是笔者觉得这貌似有点俗。下面笔者使用它来爬取 CSDN 【今日推荐】文章附带的图片二、代码、依赖
笔者对本代码经过多次修订,逻辑可以说是最简单的了,但性能上可能就算不上是最优的了,基本用法都注释在代码里边,该注意的地方都打 ✔ 了①目录
(使用 SpringBoot 创建的工程,当然也可以使用 Java Project、web Project、Maven Project)② 代码
package com.cun.test; import java.io.File; import java.io.IOException; import java.io.InputStream; import org.apache.commons.io.FileUtils; import org.apache.http.HttpEntity; import org.apache.http.client.ClientProtocolException; import org.apache.http.client.methods.CloseableHttpResponse; import org.apache.http.client.methods.HttpGet; import org.apache.http.impl.client.CloseableHttpClient; import org.apache.http.impl.client.HttpClients; import org.apache.http.util.EntityUtils; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; /** * 1、使用 HttpClient 获取网页文档对象 * 2、使用 Jsoup 获取所需的信息 * 3、不足:没有判断图片类型,但是没什么影响 * @author linhongcun * */ public class JsoupHttpClient { public static void main(String[] args) throws ClientProtocolException, IOException { // 创建httpclient实例 CloseableHttpClient httpclient = HttpClients.createDefault(); // 创建httpget实例 HttpGet httpget = new HttpGet("https://www.csdn.net/"); // 执行get请求 CloseableHttpResponse response = httpclient.execute(httpget); HttpEntity entity = response.getEntity(); // 获取返回实体 String content = EntityUtils.toString(entity, "utf-8"); // 解析网页 得到文档对象 Document doc = Jsoup.parse(content); // 获取指定的 <img /> Elements elements = doc.select(".img_box img"); for (int i = 0; i < 15; i++) { Element element = elements.get(i); // 获取 <img /> 的 src String url = element.attr("src"); // 再发请求最简单了,并由于该链接是没有 https:开头的,得人工补全 ✔ HttpGet PicturehttpGet = new HttpGet("https:" + url); CloseableHttpResponse pictureResponse = httpclient.execute(PicturehttpGet); HttpEntity pictureEntity = pictureResponse.getEntity(); InputStream inputStream = pictureEntity.getContent(); // 使用 common-io 下载图片到本地,注意图片名不能重复 ✔ FileUtils.copyToFile(inputStream, new File("C://LLLLLLLLLLLLLLLLLLL//imagesTest//" + i + ".jpg")); pictureResponse.close(); // pictureResponse关闭 } response.close(); // response关闭 httpclient.close(); // httpClient关闭 } }
③ pom 依赖
<!-- https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient --> <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.5</version> </dependency> <!-- https://mvnrepository.com/artifact/org.jsoup/jsoup --> <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.11.2</version> </dependency> <!-- 文件下载 --> <dependency> <groupId>commons-io</groupId> <artifactId>commons-io</artifactId> <version>2.5</version> </dependency>
三、效果
四、小结
1、优化:
可以根据图片的后缀 .jpg、.png、.gif 保存相应格式的图片到本地,不要一味 .jpg 结尾保存2、附上 CSDN 主页部分源码
相关文章推荐
- java爬虫实战简单用Jsoup框架进行网页爬虫(如抓取网页图片)
- 【Java Utility】Jsoup网页爬虫工具-使用选择器查找元素【八】
- 【Java Utility】Jsoup网页爬虫工具--使用DOM方法浏览Document【七】
- java爬虫(使用jsoup设置代理,抓取网页内容)
- java中用jsoup抓取网页源码,并批量下载图片
- java学习--网络爬虫(使用jsoup爬取网页内容)
- Java中使用正则表达式获取网页中所有图片的路径
- WebCollector爬虫使用内置的Jsoup进行网页抽取
- [Java] 知乎下巴第5集:使用HttpClient工具包和宽度爬虫
- 使用java开源工具httpClient及jsoup抓取解析网页数据
- [Java]使用HttpClient实现一个简单爬虫,抓取煎蛋妹子图
- JAVA使用爬虫抓取网站网页内容的方法
- [Java] 知乎下巴第5集:使用HttpClient工具包和宽度爬虫
- 使用java开源工具httpClient及jsoup抓取解析网页数据
- 使用JAVA爬取网页图片
- Java使用Jsoup解析网页
- Java网页资源抓取例子(使用第三方包Jsoup解析Html)
- 网络爬虫框架的搭建以及使用HttpClient抓取解析网页的详细步骤
- 如何使用HttpClient和Jsoup抓取网页及分析网页
- 使用java开源工具httpClient及jsoup抓取解析网页数据