HttpWebRequest与HttpWebResponse进行数据采集时的注意点
2009-02-19 10:05
411 查看
一般的数据采集使用WebClient可以很方便的进行,但是一些比较复杂(指需要较多的设置请求标头,以及重定向)的采集一般会使用HttpWebRequest或HttpWebResponse.
在需要给当前请求附加Cookie时,一般可以使用
request.Headers.Add("Cookie", "ASPXSESSION=12345");
或者 使用类似下面的语句
CookieCollection cookies = container.GetCookies(logUri);
request.CookieContainer = new CookieContainer();
foreach (Cookie cookie in cookies)
{
cookie.Domain = dataUri.Host; //使用目标数据页的主机部分
request.CookieContainer.Add(cookie);
}
当然多数情况下我们会使用前一种, 需要注意的是同时设置这两个属性时,后一种 request.CookieContainer = new CookieContainer(); 会屏蔽掉前一种, 同时响应流中的resposne.Cookies可用, 使用Headers.Add("xxxxx")方式时,
你无法通过过response.Cookies 获取返回的Cookie信息(Session标志等), 不过两种方式多可以通过resposne.Headers["Set-Cookie"]获取返回的Cookie(session标志等)
使用 HttpWebRequest与HttpWebResponse获取Session标志
//注意当value中包含如 "&","=","+"时需要使用,
//HttpUtility.UrlEncode( "+++xxx为什么不编码也可以",Encoding.GetEncoding("GB2312")) 进行编码
//HttpUtility.UrlEncode(string) 默认使用UTF-8进行编码
byte[] data = Encoding.GetEncoding("GB2312").GetBytes("name1=value1&name2=value2&name3=value3");
HttpWebRequest request = HttpWebRequest.Create("http://www.xxx.com/Login.jsp") as HttpWebRequest;
request.AllowAutoRedirect = false;//禁止自动重定向
request.Method = "POST"; //使用post方法
request.ContentType = "application/x-www-form-urlencoded";//form提交时使用urlencode
request.ContentLength = data.Length;
//添加Cookie如果有必要
request.Headers.Add("Cookie", "ASPXSESSION=12345");
Stream uploadStream = request.GetRequestStream();
uploadStream.Write(data, 0, data.Length); //发送表单数据
uploadStream.Close();
HttpWebResponse resposne = request.GetResponse() as HttpWebResponse;
StreamReader sr = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));
//获取反回的页面内容
string html = sr.ReadToEnd();
resposne.Close();
//获取Cookie(Session标志等) Jsp一般为JSESSIONID=DA205A5E8FA2CE1CC39F3DA94076CF4F
string session = resposne.Headers["Set-Cookie"];
resposne.Close();
在需要给当前请求附加Cookie时,一般可以使用
request.Headers.Add("Cookie", "ASPXSESSION=12345");
或者 使用类似下面的语句
CookieCollection cookies = container.GetCookies(logUri);
request.CookieContainer = new CookieContainer();
foreach (Cookie cookie in cookies)
{
cookie.Domain = dataUri.Host; //使用目标数据页的主机部分
request.CookieContainer.Add(cookie);
}
当然多数情况下我们会使用前一种, 需要注意的是同时设置这两个属性时,后一种 request.CookieContainer = new CookieContainer(); 会屏蔽掉前一种, 同时响应流中的resposne.Cookies可用, 使用Headers.Add("xxxxx")方式时,
你无法通过过response.Cookies 获取返回的Cookie信息(Session标志等), 不过两种方式多可以通过resposne.Headers["Set-Cookie"]获取返回的Cookie(session标志等)
使用 HttpWebRequest与HttpWebResponse获取Session标志
//注意当value中包含如 "&","=","+"时需要使用,
//HttpUtility.UrlEncode( "+++xxx为什么不编码也可以",Encoding.GetEncoding("GB2312")) 进行编码
//HttpUtility.UrlEncode(string) 默认使用UTF-8进行编码
byte[] data = Encoding.GetEncoding("GB2312").GetBytes("name1=value1&name2=value2&name3=value3");
HttpWebRequest request = HttpWebRequest.Create("http://www.xxx.com/Login.jsp") as HttpWebRequest;
request.AllowAutoRedirect = false;//禁止自动重定向
request.Method = "POST"; //使用post方法
request.ContentType = "application/x-www-form-urlencoded";//form提交时使用urlencode
request.ContentLength = data.Length;
//添加Cookie如果有必要
request.Headers.Add("Cookie", "ASPXSESSION=12345");
Stream uploadStream = request.GetRequestStream();
uploadStream.Write(data, 0, data.Length); //发送表单数据
uploadStream.Close();
HttpWebResponse resposne = request.GetResponse() as HttpWebResponse;
StreamReader sr = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));
//获取反回的页面内容
string html = sr.ReadToEnd();
resposne.Close();
//获取Cookie(Session标志等) Jsp一般为JSESSIONID=DA205A5E8FA2CE1CC39F3DA94076CF4F
string session = resposne.Headers["Set-Cookie"];
resposne.Close();
相关文章推荐
- HttpWebRequest与HttpWebResponse进行数据采集时的注意点
- http和https进行数据 采集使用.net类 httpwebrequest和httpwebresponse
- http和https进行数据 采集使用.net类 httpwebrequest和httpwebresponse
- C#网页采集数据的几种方式(WebClient、WebBrowser和HttpWebRequest/HttpWebResponse)
- C#网页采集数据的几种方式(WebClient、WebBrowser和HttpWebRequest/HttpWebResponse)
- 【转载】C#网页采集数据的几种方式(WebClient、WebBrowser和HttpWebRequest/HttpWebResponse)
- winform 使用httpwebrequest httpwebresponse 抓取数据
- C#网页数据采集(三)HttpWebRequest
- Asp.net HttpWebRequest和HttpWebResponse发送和接受任何类型数据
- NodeJs+http+fs+request+cheerio 采集,保存数据,并在网页上展示(构建web服务器)
- C# HttpWebRequest\HttpWebResponse\WebClient发送请求解析json数据
- 黄聪:C#模拟网站页面POST数据提交表单(二)--HttpWebRequest以及HttpWebResponse (转)
- 【整理】Asp.net HttpWebRequest和HttpWebResponse发送和接受任何类型数据
- 使用HttpWebRequest post数据时要注意UrlEncode
- C#中用HttpWebRequest/HttpWebResponse来发送/接收数据
- Asp.net HttpWebRequest和HttpWebResponse发送和接受任何类型数据
- 使用HttpWebRequest post数据时要注意UrlEncode
- HttpWebRequest的GetResponse 方法 注意事项
- 使用HttpWebRequest和HttpWebResponse在后台进行文件的请求和响应
- HttpWebRequest 采集网站数据