从网页中爬取小说内容并保存为文本文件的小程序

起因：本人特别喜欢看小说，网上有很多连载的小说。比如这样一个网站http://www.yi-see.com/art_5165_9215.html 下面是网站的截图：



一篇文章有很多小节，我想把所有的小节下下来，合并到一个文本文件中比如novel.txt。这样可以放在手机上，躺在被窝里看。于是写了这样一个小程序。这个小程序只是针对该网站的布局来写的，因此非常的不灵活。

这件事情看起来很复杂，首先需要从网站中把各个小节的超链接提取出来，然后连接每一个超链接，找到小说内容所在的标签，提取出内容下载到本地文件。每一项工作都很难实现，不像一个小程序能够完成的任务。但是因为有了她，一切都简单了。这就是牛逼的HTML分析库Jsoup。Jsoup接口做的非常的友好，大家一看就知道什么意思。

首先用Jsoup来实现提取各小节的网址的功能。共分三步

第一步：和网站建立连接，一句代码搞定。Document doc = Jsoup.connect(url).get();url为网站的网址。

第二步：提取所有的超链接地址，一句代码搞定。Elements links = doc.select("a[href]");这句代码的意思是把所有含有属性href的a标签提取出来。

第三步：在第二步中提取了所有的超链接，但是我们想要的是每一小节的超链接，下面就要对超链接进行筛选，通过观察网站的源代码，我们发现每一小节的地址都是以read开头，Jsoup牛逼的地方就体现出来了，它提供了通过正则表达式对元素进行筛选的功能。Elements links = doc.select("a[href~=read.*]");如果要跟正则表达式等号前面要加一个~符号。

下面就是提取出来的网址：

<read_83437_5165.html> (第1节)
<read_83440_5165.html> (第4节)
<read_83438_5165.html> (第2节)
<read_83441_5165.html> (第5节)
<read_83439_5165.html> (第3节)
<read_83442_5165.html> (第6节)

我们会发现，网址不是按顺序排列的，这样提取内容时，顺序也会发生问题，还需要对网址排序，排序很容易，见代码。

然后分析网页的结构找到小说内容所在的标签，会发现小说内容位于标签<td>中，而且该标签还有一个属性<td class=”ART”>提取小说内容也就非常简单了二句代码搞定。

text=doc2.select("td[class=ART]").first();
String str=text.html().replaceAll("<br />", "\r\n");

最后就是把内容保存到本地文件了非常简单，见代码

import org.jsoup.Jsoup;
import org.jsoup.helper.Validate;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
import java.io.PrintWriter;

public class JsoupTest {
public static void main(String[] args) throws IOException {
Validate.isTrue(args.length == 1, "usage: supply url to fetch");
String url = args[0];
PrintWriter output = new PrintWriter("F:/novel.txt","gb2312");
Document doc = Jsoup.connect(url).get();
Elements links = doc.select("a[href~=read.*]");
String stringLink[]=new String[288];
print("\nLinks: (%d)", links.size());
for (Element link : links) {
String temp=link.text();
int index=Integer.valueOf(temp.substring(1, temp.length()-1));
stringLink[index]=link.attr("abs:href");
}
Document doc2;
Element text;
for(int i=1;i<288;i++)
{
print("%s",stringLink[i]);
doc2=Jsoup.connect(stringLink[i]).get();
text=doc2.select("td[class=ART]").first();
String str=text.html().replaceAll("<br />", "\r\n");
output.write(str);
output.write("<--------------------------------------------------------------------->\n");
output.flush();
}
}