VC中使用CInternetSession抓取网页内容

VC中使用CInternetSession抓取网页内容

2010-09-02 20:23:13| 分类：

vc++ MFC | 标签：
|字号大中小 订阅

VC:
#include "afxinet.h"

#include <string>
CString url ("http://localhost/web?cmd=start&sn=123456&ai=abcd");

CInternetSession session;

CHttpFile* pfile = (CHttpFile*)session.OpenURL(url,1,INTERNET_FLAG_TRANSFER_ASCII||INTERNET_FLAG_RELOAD,NULL,0);
DWORD dwStatusCode;

pfile -> QueryInfoStatusCode(dwStatusCode);

if(dwStatusCode == HTTP_STATUS_OK)

{

char strBuff[1025] = {0};

std::string strHtml;

while ((pfile->Read((void*)strBuff, 1024)) > 0)

{

strHtml += strBuff;

}
CString str;

str = strHtml.c_str();
int rcS = str.Find(_T("<rc>"));

int rcE = str.Find(_T("</rc>"));

CString rc = str.Mid(rcS + 4,rcE - rcS - 4);
int msgS = str.Find(_T("<msg>"));

int msgE = str.Find(_T("</msg>"));
CString msg = str.Mid( msgS + 5,msgE - msgS - 5);

}

pfile -> Close();

delete pfile;

session.Close();
C#:

using System.Net;
using System.IO;
string url = "http://localhost/web?cmd=start&sn=123456&ai=abcd";

WebRequest wrq = WebRequest.Create(url);
WebRequest wrs = wrq.GetResponse();
Stream stream = wrs.GetResponseStream();

StreamReader sr = new StreamReader(stream);
string response;
while ((response = sr.ReadLine()) != null)
{
int rcS = response.LastIndexOf("<rc>");
int rcE = response.LastIndexOf("</rc>");
if (idS != -1 && idE != -1)
{
string rc = response.Substring(rcS + 4, rcE - rcS - 4);
}
if (msgS != -1 && msgE != -1)
{
string msg = response.Substring(msgS + 5, msgE - msgS - 5);
}
}
---------------------------------------------------------------------------------------------------------------------------------------
//头部包含afxinet.h

#include <afxinet.h>
CInternetSession::OpenURL函数原型为：
CStdioFile* OpenURL( LPCTSTR pstrURL, //文件URL地址

DWORD dwContext = 1, //上下文ID

DWORD dwFlags = INTERNET_FLAG_TRANSFER_ASCII, //标记

LPCTSTR pstrHeaders = NULL, //发送到服务器的数据头

DWORD dwHeadersLength = 0 );//发送到服务器的数据头长度
dwFlags可以为：

INTERNET_FLAG_RELOAD 强制重读数据

INTERNET_FLAG_DONT_CACHE 不保存到缓存

INTERNET_FLAG_TRANSFER_ASCII 使用文本数据

INTERNET_FLAG_TRANSFER_BINARY 使用二进制数据
在 VC 中用 WinInet 的 CInternetSession::OpenURL(url),得到一个 CFile,读取其中的内容即可，详细代码如下

#include <stdio.h>

#include <afxinet.h>

int main(int argc, char* argv[])

{

CInternetSession session("HttpClient");

char * url = " http://www.imobile.com.cn/simcard.php?simcard=1392658";
CHttpFile* pfile = (CHttpFile *)session.OpenURL(url);

DWORD dwStatusCode;

pfile -> QueryInfoStatusCode(dwStatusCode);

if(dwStatusCode == HTTP_STATUS_OK)

{

CString content;

CString data;

while (pfile -> ReadString(data))

{

content += data + "\r\n";

}

content.TrimRight();

printf(" %s\n " ,(LPCTSTR)content);

}

pfile -> Close();

delete pfile;

session.Close();

return 0 ;

--------------------------------------------------------------------------------------------------------------------------------------------------------------

在 VC 中用 WinInet 的 CInternetSession::OpenURL(url),得到一个 CFile,读取其中的内容即可，细致代码如下

　　#include <stdio.h>

　　#include <afxinet.h>

　　int main(int argc, char* argv[])

　　{

　　CInternetSession session("HttpClient");

　　char * url = " http://www.imobile.com.cn/simcard.php?simcard=1392658";
　　CHttpFile* pfile = (CHttpFile *)session.OpenURL(url);

　　DWORD dwStatusCode;

　　pfile -> QueryInfoStatusCode(dwStatusCode);

　　if(dwStatusCode == HTTP_STATUS_OK)

　　{

　　CString content;

　　CString data;

　　while (pfile -> ReadString(data))

　　{

　　content　+= data + "rn";

　　}

　　content.TrimRight();

　　printf(" %sn " ,(LPCTSTR)content);

　　}

　　pfile -> Close();

　　delete pfile;

　　session.Close();

　　return　 0 ;

　　}

　　#include <stdio.h>

　　#include <afxinet.h>

　　int main(int argc, char* argv[])

　　{

　　CInternetSession session("HttpClient");

　　char * url = " http://www.imobile.com.cn/simcard.php?simcard=1392658";
　　CHttpFile* pfile = (CHttpFile *)session.OpenURL(url);

　　DWORD dwStatusCode;

　　pfile -> QueryInfoStatusCode(dwStatusCode);

　　if(dwStatusCode == HTTP_STATUS_OK)

　　{

　　CString content;

　　CString data;

　　while (pfile -> ReadString(data))

　　{

　　content　+= data + "rn";

　　}

　　content.TrimRight();

　　printf(" %sn " ,(LPCTSTR)content);

　　}

　　pfile -> Close();

　　delete pfile;

　　session.Close();

　　return　 0 ;

　　}

　　其他如不从缓存中读取内容及如何使用代理连接现在就不说了，能够参考下面的链接，或者下次补上。另外不妨看看 Java 是如何读取 URL 内容的，更简单

　　GetMethod httpMethod = new GetMethod("http://unmi.blogcn.com");

　　int statusCode = new HttpClient().executeMethod(httpMethod);

　　if(statusCode == HttpStatus.SC_OK)

　　{

　　System.out.println(httpMethod.getResponseBodyAsString());

　　}

　　httpMethod.releaseConnection();

　　GetMethod httpMethod = new GetMethod("http://unmi.blogcn.com");

　　int statusCode = new HttpClient().executeMethod(httpMethod);

　　if(statusCode == HttpStatus.SC_OK)

　　{

　　System.out.println(httpMethod.getResponseBodyAsString());

　　}

　　httpMethod.releaseConnection();

　　内容取过来之后，分是希望从中拣出需要的数据，可惜 VC6 中没有本人的正则表达式库，所以下一步要学用 boost 的正则表达式库。