HttpClient使用详解

在实际开发中，常常用到开源项目 HttpClinet 。HttpClinet 用到一个基础的 jar 包，如 httpcore-4.1.2.jar、应用层的 jar 包、httpclient-4.1.2.jar 包、commons-logging-1.1.1.jar 包

使用 HTTP GET 方法下载网页（其中，增加判断网页字符编码）

public static string downHtml(String url) throws IOException {

//创建一个客户端，类似于打开一个浏览器
DefaultHttpClient httpclient = new DefaultHttpClient();
try{
//创建一个 GET 方法，类似于在浏览器地址栏输入一个地址
HttpGet httpget = new HttpGet(url);
//类似于在浏览器地址栏中输入回车，获得网页内容
HttpResponse response = httpclient.execute(httpget);

//网页字符编码判断
Pattern pattern = Pattern.compile("text/html;[\\s*charset=(.*)]");
Header arr = response.getHeaders("Content-Type");
String charset = "utf-8";
if(arr!=null || arr.length!=0){
String content = arr[0].getValue().toLowerCase();
Matcher m = pattern.matcher(content);
if(m.find()){
charset = m.group(1);
}
}

//查看返回的网页内容，类似于在浏览器查看网页源代码
HttpEntity entity = response.getEntity();
if(entity != null){
InputStream instream = entity.getContent();
InputStreamReader ir = new InputStreamReader(instream, charset);
BufferedReader reader = new BufferedReader(ir);
StringBuilder builder = new StringBuidler();
char[] chars = new char[4096];
int length = 0;
while(0<(length=reader.read(chars))){
builder.append(chars, 0, length);
}
return builder.toString();
} catch(Exception e) {
e.printStackTrace();
} finally {
httpclient.getConnectionManager().shutdown();  //释放连接
}
return null;
}

HttpClient 使用 POST 方法下载网页

例子：按城市抓取酒店信息，http://xxx.aspx

<form name="aspnetForm" method="post" action="SearchHotel.aspx" id="aspnetFrom">
<input type="hidden" name="cityId" value="" />
<input type="hidden" name="checkIn" value="" />
<input type="hidden" name="checkOut" value="" />
</form>

由于 POST 方法需要提交的三个参数分别包括键和值，NameValuePair 是一个接口，而 BasicNameValuePair 则是这个接口的实现，使用 BasicNameValuePair 封装键值对，例如 参数 cityId 对应的值是 1,代码如下所示

new BasicNameValuePair("cityId", "1");

HttpClient httpclient = new DefaultHttpClient();

//使用 HttpPost 发送 POST 请求
HttpPost httppost = newPost("http://xxx.aspx");
//POST 数据
List<NameValuePair> nameValuePairs = new ArrayList<NameValuePair>(3);  // 3 个参数
nameValuePairs.add(new BasicNameValuePair("checkIn", "2011-4-15"));    //入住日期
nameValuePairs.add(new BasicNameValuePair("checkOut", "2011-4-25"));   //离店日期
nameValuePairs.add(new BasicNameValuePair("cityId", "1"));             //城市编码
httppost.setEntity(new UrlEncodedFormEntity(nameValuePairs));

//执行 HTTP POST 请求
HttpResponse response = httpclient.execute(httppost);

//取得内容流
HttpEntity entity = response.getEntity();
InputStream is = entity.getContent();
BufferedInputStream bis = new BufferedInputStream(is);
ByteArrayBuffer baf = new ByteArrayBuffer(20);

//按字节读入内容流到字节数组缓存
int current = 0;
while((current=bis.read()) != -1){
baf.append((byte) current);
}
String text = new String(baf.toByteArray(), "utf-8");  //指定编码
System.out.println(text);

//当不再需要 HttpClient 实例时，关闭连接管理器，以确保立即释放所有系统资源
httpclient.getConnectionManager().shutdown();