asp.net/C#网页数据采集
2012-03-19 09:40
309 查看
http://blog.sina.com.cn/s/blog_5a39b0c70100ed6m.html
早在以前就听说过数据采集这个神奇的功能,当时对这个是多么的奢望啊。~00~,后来想要给自己开个采集的网站,就想到了整个电影的采集站。
在好奇的动力下,开始疯狂的查阅以及学习关于网页采集,数据采集等相关信息。不过网上大部都是asp的和php的,关于.net的很少。无奈之下只要硬着头皮学习。经过几天的努力,最终还是给我研究出来了。心里还是挺高兴的袄。其实网页采集也没有用到什么高深的技术,都是些普普通通的技术,只不过效果比较神奇,就会让人感觉到整个都比较深奥,如果你想学习.net的数据采集,以及思路,那么请看完。
数据采集大体可以分为两部曲:
一部曲:
因为要采集别人网页上的内容,所有我们先要得到要采集网页上的html代码,获取html代码还是比较简单。利用WebClient的DownloadData(url)得带byte数组,然后在转换成string字符串。
具体代码如下:
///<summary>
/// 获取网页源代码
///</summary>
///<param name="url">URL路径</param>
///<param name="encoding">编码方式</param>
publicstring GetHTML(string url,
string encoding)
{
WebClient web =
newWebClient();
byte[] buffer = web.DownloadData(url);
returnEncoding.GetEncoding(encoding).GetString(buffer);
}
二部曲:
现在我们得到了目标网页的html代码,那么我们就开始时得扣取我们想要的数据。扣取数据无疑就要用到强大的正则表达式了。利用正则表达式的匹配来获取我们要的内容,这里可以过滤掉制定的html代码,剩下的就是内容了。
具体代码如下:
Htmlhtml =
newHtml();
//得到指定页面的html代码,第一个参数为url(貌似都知道),第二个是目标网页的编码集
string htmlCode = html.GetHTML("http://gvod.tom59.cn/List.asp?ClassId=3",
"gb2312");
//正则表达式
Regex regexarticles =
newRegex("<td\\s+height=\"\\d+\"><a\\s+href=\".+DataId=(?<id>\\d+)\"\\s+target=\"_blank\">(?<title>.+)</a>.*</td>");
//所有匹配表达式的内容
MatchCollection marticles = regexarticles.Matches(htmlCode);
///遍历匹配内容
foreach (Match m
in marticles)
{
Console.Write("标题:"+
m.Groups["title"].Value+"\n");
Console.Write("id:" + m.Groups["id"].Value +
"\n");
Console.Write("\n");
}
以上就是采集数据的核心代码,关于正则表达式我在这里就不详细讲解了(其实正则表达式我也是菜鸟哈)。
结语:大部分看似很神奇的功能,都是我们平常所用的功能拼加起来的,其实仔细分析起来也没有多大的难度,只要能够认真研究。
早在以前就听说过数据采集这个神奇的功能,当时对这个是多么的奢望啊。~00~,后来想要给自己开个采集的网站,就想到了整个电影的采集站。
在好奇的动力下,开始疯狂的查阅以及学习关于网页采集,数据采集等相关信息。不过网上大部都是asp的和php的,关于.net的很少。无奈之下只要硬着头皮学习。经过几天的努力,最终还是给我研究出来了。心里还是挺高兴的袄。其实网页采集也没有用到什么高深的技术,都是些普普通通的技术,只不过效果比较神奇,就会让人感觉到整个都比较深奥,如果你想学习.net的数据采集,以及思路,那么请看完。
数据采集大体可以分为两部曲:
一部曲:
因为要采集别人网页上的内容,所有我们先要得到要采集网页上的html代码,获取html代码还是比较简单。利用WebClient的DownloadData(url)得带byte数组,然后在转换成string字符串。
具体代码如下:
///<summary>
/// 获取网页源代码
///</summary>
///<param name="url">URL路径</param>
///<param name="encoding">编码方式</param>
publicstring GetHTML(string url,
string encoding)
{
WebClient web =
newWebClient();
byte[] buffer = web.DownloadData(url);
returnEncoding.GetEncoding(encoding).GetString(buffer);
}
二部曲:
现在我们得到了目标网页的html代码,那么我们就开始时得扣取我们想要的数据。扣取数据无疑就要用到强大的正则表达式了。利用正则表达式的匹配来获取我们要的内容,这里可以过滤掉制定的html代码,剩下的就是内容了。
具体代码如下:
Htmlhtml =
newHtml();
//得到指定页面的html代码,第一个参数为url(貌似都知道),第二个是目标网页的编码集
string htmlCode = html.GetHTML("http://gvod.tom59.cn/List.asp?ClassId=3",
"gb2312");
//正则表达式
Regex regexarticles =
newRegex("<td\\s+height=\"\\d+\"><a\\s+href=\".+DataId=(?<id>\\d+)\"\\s+target=\"_blank\">(?<title>.+)</a>.*</td>");
//所有匹配表达式的内容
MatchCollection marticles = regexarticles.Matches(htmlCode);
///遍历匹配内容
foreach (Match m
in marticles)
{
Console.Write("标题:"+
m.Groups["title"].Value+"\n");
Console.Write("id:" + m.Groups["id"].Value +
"\n");
Console.Write("\n");
}
以上就是采集数据的核心代码,关于正则表达式我在这里就不详细讲解了(其实正则表达式我也是菜鸟哈)。
结语:大部分看似很神奇的功能,都是我们平常所用的功能拼加起来的,其实仔细分析起来也没有多大的难度,只要能够认真研究。
相关文章推荐
- asp.net(c#)做一个网页数据采集工具
- asp.net(c#)做一个网页数据采集工具
- asp.net(c#)做一个网页数据采集工具
- asp.net/C#网页数据采集
- 浅析基于ASP.NET网页的C#数据采集
- 使用PHP的CURL模拟POST采集开了viewstate的asp.net网页数据
- 使用PHP的CURL模拟POST采集开了viewstate的asp.net网页数据
- 使用PHP的CURL模拟POST采集开了viewstate的asp.net网页数据
- asp.net(C#)数据采集类
- c#网页数据抓取/asp.net网页数据抓取
- asp.net(C#)数据采集类
- asp.net(C#)数据采集类
- ASP.net_C#向XML添加数据
- asp.net网页代码清理文件夹下面的数据
- ASP.NET,c#制作在网页游动的层
- 如何用C#在Asp.net中实现打开新网页而不关闭当前页
- ASP.NET 2.0 - 如何于网页上新增包括图片在内的数据至数据库
- Asp.net 数据采集基类(远程抓取,分解,保存,匹配)
- 用ASP.NET在同一网页中显示主从关系表的相关数据
- 【C#】对异步请求处理程序IHttpAsyncHandler的理解和分享一个易用性封装 【手记】走近科学之为什么明明实现了IEnumerable<T>的类型却不能调用LINQ扩展方法 【手记】手机网页弹出层后屏蔽底层的滑动响应 【手记】ASP.NET提示“未能创建类型”处理 【Web】一个非常简单的移动web消息框 【手记】解决EXCEL跑SQL遇“查询无法运行或数据库表无法打开...”