Java实现https访问
2017-05-05 21:12
465 查看
背景:
在ImportNew上看文章的时候,偶遇一个Java豆瓣电影爬虫的文章,处于好奇就点开看了,里面记录的是楼主写这个小程序的详解。正好学习一下就从楼主的GitHub仓库中下载了源码。。。。。。
想要将这个小程序与之前仿写的一个爬虫小程序结合起来。之前的爬的是知乎网站上的信息,由于之前知乎的网站使用的是http协议,而现在知乎使用的是https协议,所以之前的程序就不能正常运行了,于是捣鼓了一下午,终于可以抓取页面信息了,现在将遇到的问题记录如下:
之前抓取知乎网页信息的代码片段(http):
新的网页信息抓取代码片段(https):
在ImportNew上看文章的时候,偶遇一个Java豆瓣电影爬虫的文章,处于好奇就点开看了,里面记录的是楼主写这个小程序的详解。正好学习一下就从楼主的GitHub仓库中下载了源码。。。。。。
想要将这个小程序与之前仿写的一个爬虫小程序结合起来。之前的爬的是知乎网站上的信息,由于之前知乎的网站使用的是http协议,而现在知乎使用的是https协议,所以之前的程序就不能正常运行了,于是捣鼓了一下午,终于可以抓取页面信息了,现在将遇到的问题记录如下:
之前抓取知乎网页信息的代码片段(http):
String result = ""; URL url = new URL(“网址”); URLConnection conn = url.openConnection(); conn.connection(); BufferedReader br = new BufferedReader(new InputStreamReader(conn.getInputStream, "utf-8")); String line = ""; while((line = br.readLine() != null){ result += line; }
新的网页信息抓取代码片段(https):
String result = ""; URL url = new URL("网址"); HttpsURLConnection conn = (HttpsURLConnection)url.openConnection(); conn.setDoInput(true); conn.setSSLSocketFactory(sslSocketFactory); conn.setHostNameVerifier(new HostNameVerifier(){ public boolean verify(String hostName, SSLSession session){ return true; } }); conn.connect(); BufferedReader br = new BufferedReader(new InputStreamReader(conn.getInputStream(), "utf-8")); String line = ""; while((line = br.readLine()) != null){ result += line; }
相关文章推荐
- Java访问https接口实现
- JAVA实现http/https的Post、Get、代理访问请求
- Java访问https接口实现
- Java访问https接口实现
- Java访问https接口实现
- Java访问https接口实现(JDK/Httpclient4)
- java+oracle+web(第七天) tomcat介绍 (四)实现https://www.igo.com 直接访问我的主页
- 在华为实现的java访问https,多线程,写日志
- java用ssl和url共同类实现访问某https网站
- Java 实现连接sql server 2000(JDBC数据库访问例子)
- IIS 6.0下安装SSL数字证书实现https访问
- Java 访问数据库 --java与DataBase相关知识总结(四) java数据库连接池实现
- C#、VB.NET使用HttpWebRequest访问https地址(SSL)的实现
- IIS 6.0下安装SSL数字证书实现https访问
- C#、VB.NET使用HttpWebRequest访问https地址(SSL)的实现
- javabean操作文件正确,但是Jsp调用javabean时文件路径出错问题解决之JavaBean访问本地文件实现路径无关实现方法
- JAVA操作SSL协议,通过Socket访问Https的程序代码例子
- Java 实现连接sql server 2000(JDBC数据库访问例子)-2
- [转]C#、VB.NET使用HttpWebRequest访问https地址(SSL)的实现
- 通过jcifs实现java访问网络共享文件