用Jsoup解析静态网页数据

在个人开发中,很多人都会遇到这样的问题:我有了一个好想法,但是却没有数据源,有时找到了数据,但是那是人家的数据,你没有接口.

这时候你会不会像看着肉却不能吃的那种干着急呢.现在告诉你一个好工具Jsoup,它能够帮我们把人家的网页数据窃取出来,不过Jsoup

有个缺陷,就是只能解析静态的网页数据,对于动态的数据,那是无能为力.还有窃取数据是有被告的风险的,所以呢,不要把人家未授权

的数据用作商业用途.还有就是这是解析的数据,万一某天人家的网页结构更改了,你也就无法再获取数据了,这时候你的程序就有可能出现崩溃哦。当然你也可以根据新的网页结构重新编写解析代码,再次获取数据。

1.首先要学会Html的Dom结构

关于Html的Dom的讲解,在W3school上有比较全面的讲解,常用方法有：

Document.getElementById(String id)返回带有指定ID的元素

Document.getElementsByClass(String className) :返回包含带有指定类名的所有元素的节点列表.

Document.getElementsByTagName(String tag) :返回包含带有指定标签名称的所有元素的节点列表（集合/节点数组）

对于Elements,我们可以通过select(String tag)获取Elements下的子节点集合Elements.

Elements可以通过get(int index)获取集合的特定节点,获取到特定节点后我们可以调用节点的text()方法,就可以获取节点包含的文字内容.

如果要获取节点的内部属性:比如说href,bgcolor等.我们可以使用节点的attr(String属性)来取得。

还有一些节点的方法比如说：child(int index)获取特定节点的特定子节点

children()：特定节点的获取所有子节点

2.分析网页的Html结构

找到你要的网页数据,鼠标右键查看元素,这时候就会弹出Html的代码。这时候我们就可以分析观察它的结构了。最重要的是把获取的 Document的文本打印到 控制台,看看数据是否在里面,要不然就是白忙活了.毕竟有些是动态的数据。



我们可以看到一个<tbody></tbody>包含了很多个<tr节点,这些内容就在<td节点的子节点<a里面。 我们可以看到<tr的节点的class属性都是一样的,我们可以很轻易地获取所有的<tr节点;接下来呢就要获取内容所在的<td节点了.这里只有第1和第2个节点有内容(下标是从0开始的),所以只获取它们就好了;接着取出<a节点的文本内容和href属性,因为我们要获取新闻条对应的内容.

3.最后就是解析你的数据了.

首先获取Jsoup的jar包,这个网上可以下载.

获取Document对象,有两种方法。

1.Jsoup.connect(String url).timeout(int millis).get();

2.你可以通过HttpGet(String url)取得Html的实体.然后通过Jsoup.parse(String html)获得对应的Document对象

获取玩了就回到开始的解析数据的方法,然后就是得到你想要的数据了。

下面是我解析的例子,你们也可以参考张鸿洋大牛的博客,至于动态的网页解析你们自己去探索吧。

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import android.content.ContentValues;
import android.database.sqlite.SQLiteDatabase;
import android.os.AsyncTask;
import android.util.Log;

import com.shite.jobsmile_adapter.NewsAdapter;
import com.shite.jobsmile_db.CampusNewsBase;
import com.shite.jobsmile_modle.News;

/**
* 解析学校网页新闻的异步类
*
* @author HuberJobs
*
*/
public class NewsAsyncTask extends AsyncTask<Void, Void, List<News>> {

private NewsAdapter adapter;
private String table;

private CampusNewsBase campusNewsBase;
private SQLiteDatabase newsWriter;

public NewsAsyncTask(NewsAdapter adapter, CampusNewsBase campusNewsBase, String table) {
this.adapter = adapter;
this.table =table;
this.campusNewsBase = campusNewsBase;
}

public NewsAsyncTask(NewsAdapter adapter) {
this.adapter = adapter;
}

//获取新闻的同时更新数据库
@Override
protected List<News> doInBackground(Void... params) {

String URL = "http://xc.hfut.edu.cn/120/list.htm";
List<News> newsList = new ArrayList<News>();
Document doc;
newsWriter = campusNewsBase.getWritableDatabase();
newsWriter.delete(table, null, null);

try {
doc = Jsoup.connect(URL).timeout(3000).get();
// 拿到<tr>节点集,每个<tr>节点包含了一条新闻标题和日期
Elements elements = doc.getElementsByClass("articlelist2_tr");
for (Element links : elements) {
// 取得每条新闻的标题日期和资源地址
String news_title = links.select("td").get(1).text();
String news_date = links.select("td").get(2).text();
String news_href = links.select("td").get(1).child(0).attr("href");

//新闻写入数据库
ContentValues newsValues = new ContentValues();
newsValues.put("news_title", news_title);
newsValues.put("news_date", news_date);
newsValues.put("news_href", news_href);
newsWriter.insert(table, null, newsValues);

//新闻对象
News news = new News();
news.setTitle(news_title);
news.setTime(news_date);
news.setUrl(news_href);

newsList.add(news);

}
Log.i("ListData", newsList.size() + ".....");
} catch (IOException e) {
e.printStackTrace();
}finally{

newsWriter.close();
}
return newsList;
}

@Override
protected void onPostExecute(List<News> result) {
super.onPostExecute(result);
adapter.setNewsData(result);
adapter.notifyDataSetChanged();
System.out.println("网络操作。。。");
}

}