1、java网页抓取技术

1.apache HttpClient

HttpClient相比传统JDK自带的URLConnection，增加了易用性和灵活性，它不仅是客户端发送Http请求变得容易，而且也方便了开发人员测试接口（基于Http协议的），即提高了开发的效率，也方便提高代码的健壮性。

HttpClient是Apache Jakarta Common下的子项目，用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包，并且它支持HTTP协议最新的版本和建议。HttpClient已经应用在很多的项目中，比如Apache Jakarta上很著名的另外两个开源项目Cactus和HTMLUnit都使用了HttpClient。

使用方法

使用HttpClient发送请求、接收响应很简单，一般需要如下几步即可。

1. 创建HttpClient对象。

2. 创建请求方法的实例，并指定请求URL。如果需要发送GET请求，创建HttpGet对象；如果需要发送POST请求，创建HttpPost对象。

3. 如果需要发送请求参数，可调用HttpGet、HttpPost共同的setParams(HetpParams params)方法来添加请求参数；对于HttpPost对象而言，也可调用setEntity(HttpEntity entity)方法来设置请求参数。

4. 调用HttpClient对象的execute(HttpUriRequest request)发送请求，该方法返回一个HttpResponse。

5. 调用HttpResponse的getAllHeaders()、getHeaders(String name)等方法可获取服务器的响应头；调用HttpResponse的getEntity()方法可获取HttpEntity对象，该对象包装了服务器的响应内容。程序可通过该对象获取服务器的响应内容。

6. 释放连接。无论执行方法是否成功，都必须释放连接

package org.nick.util;
import java.io.InputStream;
import java.util.Scanner;
import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.util.EntityUtils;
public class HttpClientTest {
public static void main(String[] args) {
//创建默认的 HttpClient 实例
HttpClient httpClient = new DefaultHttpClient();

try {
//创建 httpUriRequest 实例
HttpGet httpGet = new HttpGet("http://www.baidu.com");

httpGet.setHeader("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
httpGet.setHeader("Accept-Language", "zh-cn,zh;q=0.8");
httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 5.1; rv:7.0.1) Gecko/20100101 Firefox/7.0.1)");
//要对资源进行判断，如果不是压缩包之类的，注销掉下面这句话
//            httpGet.setHeader("Accept-Encoding", "gzip, deflate");
httpGet.setHeader("Accept-Charset", "GB2312,utf-8;q=0.7,*;q=0.7");
httpGet.setHeader("Host", "www.baidu.com");
httpGet.setHeader("Connection", "Keep-Alive");
System.out.println("uri=" + httpGet.getURI());
//执行 get 请求
HttpResponse httpResponse = httpClient.execute(httpGet);
//获取响应实体
HttpEntity httpEntity = httpResponse.getEntity();
//打印响应状态
System.out.println(httpResponse.getStatusLine());
if (httpEntity != null) {
//响应内容的长度
long length = httpEntity.getContentLength();
//响应内容
String content = EntityUtils.toString(httpEntity);
System.out.println("Response content length:" + length);
System.out.println("Response content:" + content);
}
//有些教程里没有下面这行
httpGet.abort();
} catch (Exception e) {
e.printStackTrace();
} finally {
//关闭连接，释放资源
httpClient.getConnectionManager().shutdown();
}
}
}

网络爬虫（Spider）Java实现原理

Java语言在此非常适合构建一个“蜘蛛”程序，其内建了对HTTP协议的支持，通过它可以传输大部分的网页信息；其还内建了一个HTML解析器，正是这两个原因使Java语言能称为为“spider”。

1、多线程爬虫