JAVA 利用Jsoup 在网络获取数据

package com.mashensoft.jsoup;

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

/**
* 在电影天堂获取一个电影的下载地址
* @author PeicongHe
*http://www.dytt8.net/html/gndy/dyzz/20170129/53098.html
*步骤：
*  获取网页文本
*  通过匹配属性价值获取元素
*  获取属性
* 这里只能获取一个下载地址，如果想获取多个下载地址，就要用到循环
*/
public class ShowTest {
public static void test1() {
Document doc;
try {
doc = Jsoup.connect("http://www.dytt8.net/html/gndy/dyzz/20170129/53098.html").get();
// 获取网页文本
Elements elements = doc.getElementsByAttributeValueMatching("href", "ftp");
//通过匹配属性的内容获取元素
for (int i = 0; i < elements.size(); i++) {
System.out.println("元素的长度:  "+elements.size());// 元素的长度为1
Element element = elements.get(i);
System.out.println("获取的数据： "+element.attr("href"));
// 显示元素下的属性
}
} catch (IOException e) {
e.printStackTrace();
}
}
public static void main(String[] args){
test1();
}
}

public static void test1x() {
try {
System.out.println(Jsoup.connect("http://www.dytt8.net/html/gndy/dyzz/20170129/53098.html").get()
.getElementsByAttributeValueMatching("href", "ftp").get(0).attr("href"));
// 获取网页文本 ->通过匹配属性价值获取元素 ->获取属性内容
System.out.println("成功获取属性内容");
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}

/**
* 功能：读取http://www.dytt8.net/html/gndy/dyzz/index.html 页面里所有电影下载地址
* 步骤：
* ->获取网页文本 ->通过类型那个获取元素组（获取到的元素是多个的） ->在元素组里获取第i个元素
*/
public static void test2() {
try {
Document doc = Jsoup.connect("http://www.dytt8.net/html/gndy/dyzz/index.html").get();
// 获取网页文本
Elements elements = doc.getElementsByClass("ulink");
// 通过类型那个获取元素组（获取到的元素是多个的）
System.out.println("捕获元素个数: "+elements.size());
// 输出元素长度
for (int i = 0; i < elements.size(); i++) {
Element element = elements.get(i);
// 在元素组里获取第i个元素
System.out.println(" 第"+i+"地址："+element.attr("href"));
// 打印出第i个元素的属性内容
}
} catch (IOException e) {
e.printStackTrace();
}
System.out.println("成功捕获所有电影地址！");
}
public static void main(String[] args){
test2();
}

/**
* 功能：读取http://www.dytt8.net/html/gndy/dyzz/index.html
* 页面里的分页栏
* 步骤：
* ->获取网页文本
* ->通过类型那个获取元素组（获取到的元素是多个的） ->在元素组里获取第i个元素
*/
public static void test3() {
try {
Document doc = Jsoup.connect("http://www.dytt8.net/html/gndy/dyzz/index.html").get();
// 获取网页文本
Elements elements = doc.getElementsByAttributeValueMatching("name", "sldd").get(0)
.getElementsByTag("option");
// 通过匹配属性内容获取元素
// 再通过标签获取元素
System.out.println("获取元素成功！");
System.out.println("该分页栏分页数： "+elements.size());
// 打印分页的长度
for (int i = 0; i < elements.size(); i++) {
Element element = elements.get(i);
System.out.println("第"+(i+1)+"分页地址： "+element.attr("value"));
// 打印元素的属性内容
}

} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
System.out.println("成功获取该网页的分页所有地址！！");

}