您的位置:首页 > 理论基础 > 计算机网络

Java实现https访问

2017-05-05 21:12 465 查看
背景:

在ImportNew上看文章的时候,偶遇一个Java豆瓣电影爬虫的文章,处于好奇就点开看了,里面记录的是楼主写这个小程序的详解。正好学习一下就从楼主的GitHub仓库中下载了源码。。。。。。

想要将这个小程序与之前仿写的一个爬虫小程序结合起来。之前的爬的是知乎网站上的信息,由于之前知乎的网站使用的是http协议,而现在知乎使用的是https协议,所以之前的程序就不能正常运行了,于是捣鼓了一下午,终于可以抓取页面信息了,现在将遇到的问题记录如下:

之前抓取知乎网页信息的代码片段(http):

String result = "";

URL url = new URL(“网址”);

URLConnection conn = url.openConnection();

conn.connection();

BufferedReader br = new BufferedReader(new InputStreamReader(conn.getInputStream, "utf-8"));

String line = "";

while((line = br.readLine() != null){

result += line;

}

新的网页信息抓取代码片段(https):

String result = "";

URL url = new URL("网址");

HttpsURLConnection conn = (HttpsURLConnection)url.openConnection();

conn.setDoInput(true);

conn.setSSLSocketFactory(sslSocketFactory);

conn.setHostNameVerifier(new HostNameVerifier(){

public boolean verify(String hostName, SSLSession session){

return true;

}

});

conn.connect();

BufferedReader br = new BufferedReader(new InputStreamReader(conn.getInputStream(), "utf-8"));

String line = "";

while((line = br.readLine()) != null){

result += line;

}
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: