HttpWebRequest 抓取页面异常处理办法
2015-02-06 11:21
387 查看
抓取页面异常处理办法
public static string GetHtmlTest(string URI) { string fullhtml = null; while (true) { try { HttpWebRequest req = (HttpWebRequest)WebRequest.Create(URI); req.Method = "GET"; req.UserAgent = "Opera/9.25 (Windows NT 6.0; U; en)"; req.KeepAlive = true; req.Timeout = 6000000; HttpWebResponse resp = (HttpWebResponse)req.GetResponse(); if (resp.StatusCode != HttpStatusCode.OK) //如果服务器未响应,那么继续等待相应 continue; StreamReader sr = new StreamReader(resp.GetResponseStream(), Encoding.UTF8); fullhtml = sr.ReadToEnd().Trim(); resp.Close(); sr.Close(); break; } catch (WebException e) { e.StackTrace.ToString(); System.Diagnostics.Trace.WriteLine(e.Message); if (true) continue; } } return fullhtml; }
相关文章推荐
- HttpWebRequest 抓取页面异常处理方法
- HttpWebRequest.GetResponse出异常时的解决办法
- HttpWebRequest抓取网页数据返回异常:远程服务器返回错误: (503) 服务器不可用
- HttpWebRequest请求超时异常的处理方法(重新发送请求到成功为止)
- [C#]用HttpWebRequest加载证书建立SSL通道时发生异常的解决办法
- python scrapy request页面抓取异常报错及处理
- [dotNET]用HttpWebRequest加载证书建立SSL通道时发生异常的解决办法
- 用HttpWebRequest加载证书建立SSL通道时发生异常的解决办法zt
- [C#]用HttpWebRequest加载证书建立SSL通道时发生异常的解决办法
- [dotNET]用HttpWebRequest加载证书建立SSL通道时发生异常的解决办法
- [dotNET]用HttpWebRequest加载证书建立SSL通道时发生异常的解决办法
- HttpWebRequest抓取网页数据返回异常:远程服务器返回错误: (503) 服务器不可用
- [C#]用HttpWebRequest加载证书建立SSL通道时发生异常的解决办法
- HttpWebRequest 返回417异常的处理
- [C#]用HttpWebRequest加载证书建立SSL通道时发生异常的解决办法
- [dotNET]用HttpWebRequest加载证书建立SSL通道时发生异常的解决办法
- HttpWebRequest使用注意(发生阻塞的解决办法)
- Sys.WebForms.PageRequestManagerServerErrorException: 在服务器上处理请求时出现未知错误解决办法
- HttpHandler:处理特定类型的web页面
- HttpWebRequest 获取页面