使用HtmlAgilityPack批量抓取网页数据

相关软件点击下载

登录的处理。因为有些网页数据需要登陆后才能提取。这里要使用ieHTTPHeaders来提取登录时的提交信息。

抓取网页
HtmlAgilityPack.HtmlDocument htmlDoc;

if (!string.IsNullOrEmpty(登录URL))

else

ArrayList list = new ArrayList();

list.add("//table/tr[1]/td");

list.add("//table/tr[2]/td");

//获取循环的节点的xpath，比如：//table/tr

HtmlNodeCollection repeatNodes = htmlDoc.DocumentNode.SelectNodes("//table/tr");

//循环节点

foreach (HtmlNode node in repeatNodes)

htmlWeb.DefaultEncoding = System.Text.Encoding.GetEncoding(strEncode);