Java爬虫爬取python百度百科词条及相关词条页面

Java爬虫爬取python百度百科词条及相关词条页面

本实例爬取关于python词条页面及关联词条页面的简介，把词条的简介写入txt文本中， 本实例效果：

实例基于使用第三方jar包Jsoup

1首先分析python词条页面：





可以发现其他词条的超链接都带有"/item"以及词条的简介都包含在class为lemma-summary的div里面。 超链接里面"/item"后面的字符串就是代表了那个词条的地址，所以处理的时候是这样："https://baike.baidu.com"加上提取出来的字符串。
所以要想取得超链接以及简介的内容，可以有这两个处理方法：

处理超链接：

public  void parse_a(Document document,List<String> urls) throws IOException {
/*提取出href属性里面/item以及后面的字符*/
Elements links = document.select("[href*=/item]");
/*迭代输出，并且加入到url集合里面*/
for (Element link : links) {
String url  = "https://baike.baidu.com"+link.attr("href");
/*过滤掉重复的url地址*/
if (!urls.contains(url)) {
urls.add(url);
}
}
}

提取简介里面的内容：

public void parse_content(Document document,List<String> contents ) {
/*使用Jsoup里面的选择器，详细用法可以查看jsoup的官方文档*/
Elements links = document.select("div.lemma-summary");
for(Element link:links){
contents.add(link.text());
}

}

关于jsoup可以查看官方文档，简单易上手。

2通过url获取页面用于解析：

利用jsoup的Jsoup.connect(url).get()。

代码：

public static Document getDom(String url) throws IOException {
Document document = Jsoup.connect(url).get();
return document;
}

3URL管理器，本实例需要从当前页面获取超链接并且不断获取新的词条页面的URL

/*设置迭代顺序，从第一个开始迭代*/
int i=0;
public  void getNewURL(List<String> urls) throws IOException {
/*从url集合里面获取一个并且进行解析*/
Document document = ConnectNet.getDom(urls.get(i));
i+=1;
Elements links = document.select("[href*=/item]");
/*通过迭代循环，不断往url集合里面添加新的URL*/
for (Element link : links) {
String url  = "https://baike.baidu.com"+link.attr("href");
if(!urls.contains(url)) {
urls.add(url);
}
}

}

4储存数据，把获得的简介数据添加进txt文本中

public void store_contents(List<String> contents) throws IOException {
File file = new File("my6.txt");
FileWriter fileWriter = new FileWriter(file);
for(int i=0;i<contents.size();i++) {
fileWriter.write(contents.get(i));
/*换行和分隔*/
fileWriter.write("\r\n");
fileWriter.write("-----------");
fileWriter.write("\r\n");
fileWriter.flush();
}

}

下面贴出完整代码:

URL管理器:

package myspyder;

import java.io.IOException;
import java.util.List;

import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class URLManager {
/*设置迭代顺序，从第一个开始迭代*/
int i=0;
public  void getNewURL(List<String> urls) throws IOException {
/*从url集合里面获取一个并且进行解析*/
Document document = ConnectNet.getDom(urls.get(i));
i+=1;
Elements links = document.select("[href*=/item]");
/*通过迭代循环，不断往url集合里面添加新的URL*/
for (Element link : links) {
String url  = "https://baike.baidu.com"+link.attr("href");
if(!urls.contains(url)) {
urls.add(url);
}
}

}
}

存储类：

package myspyder;

import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import java.util.List;

public class Store {

public void store_contents(List<String> contents) throws IOException {
File file = new File("my6.txt");
FileWriter fileWriter = new FileWriter(file);
for(int i=0;i<contents.size();i++) {
fileWriter.write(contents.get(i));
/*换行和分隔*/
fileWriter.write("\r\n");
fileWriter.write("-----------");
fileWriter.write("\r\n");
fileWriter.flush();
}

}
}

获取DOM对象类：

package myspyder;

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class ConnectNet {

public static Document getDom(String url) throws IOException {
Document document = Jsoup.connect(url).get();
return document;
}

}

网页解析类：

package myspyder;

import java.io.IOException;
import java.net.CookieHandler;
import java.util.List;
import java.util.Set;

import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class ParseHtml {
int num=1;
public  void parse_a(Document document,List<String> urls) throws IOException {
/*提取出href属性里面/item以及后面的字符*/
Elements links = document.select("[href*=/item]");
/*迭代输出，并且加入到url集合里面*/
for (Element link : links) {
String url  = "https://baike.baidu.com"+link.attr("href");
/*过滤掉重复的url地址*/
if (!urls.contains(url)) {
urls.add(url);
}
}
}

public void parse_content(Document document,List<String> contents ) {
/*使用Jsoup里面的选择器，详细用法可以查看jsoup的官方文档*/
Elements links = document.select("div.lemma-summary");
for(Element link:links){
contents.add(link.text());
}

}

}

启动类：

package myspyder;

import java.io.IOException;
import java.net.URLStreamHandler;
import java.util.ArrayList;
import java.util.HashSet;
import java.util.Iterator;
import java.util.List;
import java.util.Set;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class StartSpyder {

public static void main(String[] args) throws IOException {
/*根url，python词条页面*/
String rooturl = "http://baike.baidu.com/link?url=y9cRcLYxzn5I12dTAXUqJJuY50B0TVvsdkeqmHetkVfkRlXGxUa0tFL53dQwpSQaF7js4yRmTwLjqXyJN-hWWK";
Document rootdocument = Jsoup.connect(rooturl).get();
int index=1;
ParseHtml parseHtml = new ParseHtml();
ConnectNet connectNet = new ConnectNet();
Store store = new Store();
/*放置要迭代的url*/
List<String> urls = new ArrayList<>();
/*放置简介字符串*/
List<String> contents = new ArrayList<>();

parseHtml.parse_a(rootdocument, urls);
URLManager urlManager = new URLManager();
/*纯粹用来计数*/
int flag=1;
/*
* 首先判断url集合里面是否还有可以爬取的url，然后从中按照顺序获取一个URL
* 然后URL管理器继续进行添加新的url，从提取出的URL获取dom对象，进行解析，存入txt文本，
* 循环进行，直到没有新的url可以爬取。
*/
while(urls!=null) {
String url = urls.get(index-1);
index+=1;
urlManager.getNewURL(urls);
Document document = connectNet.getDom(url);
parseHtml.parse_content(document, contents);
store.store_contents(contents);
System.out.println("StartSpyder.main()");
System.out.println(flag);
flag+=1;
}

}

}