HttpClient4抓取网页返回乱码的解决办法

1、先看代码 。下面是一个通过Http协议以get方式去向指定的URL请求信息。

String pageUrl=“http://www.baidu.com/”

String html = null;

HttpHost proxy = null;

proxy = new HttpHost(“10.221.41.192”,808 "http");

DefaultHttpClient httpClient = new DefaultHttpClient();// 创建httpClient对象

try {

URL url = new URL(pageUrl);

URI uri = new URI(url.getProtocol(), url.getHost(), url.getPath(), url.getQuery(), null);//防止pageUrl中出现空格竖杠等特殊字符导致httpget请求失败

HttpGet httpget = new HttpGet(uri);// 以get体式格式请求该URL

httpClient.getParams().setParameter(ConnRoutePNames.DEFAULT_PROXY, proxy);

HttpResponse responce = httpClient.execute(httpget);// 获得responce对象

int resStatu = responce.getStatusLine().getStatusCode();// 返回码

if (resStatu == HttpStatus.SC_OK) {// 200正常 其它就代表错误

HttpEntity entity = responce.getEntity(); // 获得响应实体

if (entity != null) {

html = EntityUtils.toString(entity, ContentType.getOrDefault(entity).getCharset().toString());// 对返回的html代码进行解析

}

}

} catch (Exception e) {

log.error(e.toString());

} finally {

httpClient.getConnectionManager().shutdown();//关闭Http连接

}

return html;

}

代码完毕！

看到这如果没有遇到任何问题的基本上不用往下看了。

上面的那个程序是请求百度的首页，返回的html页面是正常的，不会乱码，可能你在换几个网站，返回的html页面还不是乱码。就这样在暗自得意的时候，不经意间遇到了一个URL地址，你再用上面的程序，结果他给你返回的是乱码。检查了好半天，编码什么的都正确。到底为什么还会乱码？后来仔细查看一下原来server端给你返回的是gzip格式的压缩网页，而不是普通的html页面。这样终于想明白了。最后进行进行代码修正。

String html = null;

HttpHost proxy = null;

proxy = new HttpHost(“10.221.41.192”,808 "http");

DefaultHttpClient httpClientOld = new DefaultHttpClient();// 创建httpClient对象

DecompressingHttpClient httpClient = new DecompressingHttpClient(httpClientOld);//避免返回compressed格式的Entity出现乱码

try {

URL url = new URL(pageUrl);

URI uri = new URI(url.getProtocol(), url.getHost(), url.getPath(), url.getQuery(), null);// 防止pageUrl中出现空格等特殊字符导致请求失败

HttpGet httpget = new HttpGet(uri);// 以get体式格式请求该URL

httpClient.getParams().setParameter(ConnRoutePNames.DEFAULT_PROXY, proxy);

HttpResponse responce = httpClient.execute(httpget);// 获得responce对象

int resStatu = responce.getStatusLine().getStatusCode();// 返回码

if (resStatu == HttpStatus.SC_OK) {// 200正常 其它就不合错误

HttpEntity entity = responce.getEntity(); // 获得响应实体

if (entity != null) {

html = EntityUtils.toString(entity, ContentType.getOrDefault(entity).getCharset().toString());// 对返回的html代码进行解析转码

}

} else {

System.out.println("状态返回异常");

}

} catch (Exception e) {

log.error(e.toString());

} finally {

httpClient.getConnectionManager().shutdown();

}

return html;