.NET中获取HTML页面并提取其中的超链接

下列的函数分别用于获取HTML页面和提取页面中的超链接。

using System.Net;
using System.IO;
using System.Text;
using System.Text.RegularExpressions;

string[] GetLink(string strHtml)
{
Regex reg = new Regex("href[//s//r]*=[//s//r]*[/"/']{0,1}([^/"/'//s//r>]*)[/"/'//s//r]{0,1}", RegexOptions.IgnoreCase);
MatchCollection mc = reg.Matches(strHtml);
if (mc.Count > 0)
{
string[] strHref = new string[mc.Count];
int i = 0;
foreach (Match m in mc)
{
strHref[i] = m.Groups[1].Value;
++i;
}
return strHref;
}
return null;
}

string GetHttp(string strUrl)
{
string strHtml = "";
WebResponse wrp = null;

try
{
WebRequest wrq = WebRequest.Create(strUrl);
wrq.Timeout = 60000;
wrp = wrq.GetResponse();
}
catch (WebException e)
{

}
catch (Exception e)
{

}
finally
{
if (wrp != null)
{
StreamReader sr = new StreamReader(wrp.GetResponseStream(), Encoding.GetEncoding("GB2312"));
strHtml = sr.ReadToEnd();
sr.Close();
wrp.Close();
}
}

return strHtml;
}

可首先使用GetHttp获取指定URL的页面内容，然后将此内容作为参数传给GetLink，GetLink返回的String数组中的每个元素代表一个超链接。