Java 爬虫解决readline 读取缓慢问题

传统的使用URLconnection做连接之后通常使用in.readline()来获取网页代码。显而易见的是这种方法效率奇低。我简单的做了一下比较

Python  time：0.205786745268 s =205ms

传统 readline（） time: 1975ms

charBuffer time: 265 ms

try {
// 将string转成url对象
URL realUrl = new URL(surl);
// 初始化一个链接到那个url的连接
URLConnection connection = realUrl.openConnection();
// 开始实际的连接
connection.connect();
// 初始化 BufferedReader输入流来读取URL的响应
in = new BufferedReader(new InputStreamReader(connection.getInputStream()));
// 用来临时存储抓取到的每一行的数据
String line;
long startMili=System.currentTimeMillis();// 当前时间对应的毫秒数
//                  while ((line = in.readLine()) != null) {
//                      // 遍历抓取到的每一行并将其存储到result里面
//                      Log.i(">>line",line);
//                      result += line + "\n";
//                  }
CharBuffer bos = CharBuffer.allocate(20480);
int read = 0;
StringBuilder builder = new StringBuilder();
try {
while (in.read(bos) != -1) {
bos.flip();
builder.append(bos.toString());
}
} catch (IOException e1) {
e1.printStackTrace();
}
//System.out.println(builder.toString());
result=builder.toString();
//写入byte数组中。再依次读取出来即可。
//System.out.print(result);
long endMili=System.currentTimeMillis();// 当前时间对应的毫秒数

Log.i(">>time1","总耗时为："+(endMili-startMili)+"毫秒");
} catch (Exception e) {
Log.i(">>>parsing","发送GET请求出现异常！" + e);
e.printStackTrace();
}
// 使用finally来关闭输入流
finally {
try {
if (in != null) {
in.close();
}
} catch (Exception e2) {
e2.printStackTrace();
}
finally {
TAG=true;
}
}
}

孰优孰劣简单易得，在能够大致预见网页大小的时候，很明显使用charBuffer效率高出了10多倍。